11 декабря 2018 - Группа разработчиков из Вашингтонского университета и Facebook под руководством Иры Кемельмахер-Шлицерман (Ira Kemelmacher-Shlizerman) создала алгоритм, способный оживлять фигуры людей на двумерных изображениях. Он создает для нарисованного человека трехмерную модель, а затем воспроизводит анимацию с выбегающей из картины моделью. Созданная исследователями система представляет собой связку из нескольких разработанных ранее алгоритмов и собственного кода. Изначально она принимает двумерное изображение и обрабатывает его с помощью нейросети Mask R-CNN. На этом этапе алгоритм распознает на изображении область с человеком и отделяет ее от фона. Затем еще один разработанный ранее алгоритм превращает область изображения с человеком в двумерную модель скелета, состоящую из прямых сегментов и их соединений. После этого еще один алгоритм создает реалистичный фон в областях кадра, изначально закрытых человеком. После создания двумерной модели алгоритм создает на ее базе трехмерную модель и накладывает на нее текстуру, созданную на основе изображения человека из исходного кадра. В результате пользователь получает модель, которая может совершать произвольные движения, к примеру, выбегать из кадра. Кроме того, пользователь может вручную изменить положение частей тела модели перед началом анимации. https://nplus1.ru/news/2018/12/10/wake-up
13 июля 2017 - Группа Иры Кемельмахер-Шлицерман создала другой алгоритм для создания реалистичной анимации. Он способен вставлять запись чужой речи в произвольный видеоряд, изменяя мимику человека на ролике таким образом, чтобы она соответствовала произносимым в этот момент словам. https://nplus1.ru/news/2017/07/13/obama-lip-sync
10 апреля 2018 - Индийские разработчики представили систему, которая умеет создавать короткие видео из размытых изображений. Алгоритм работает на основе сверточных и рекуррентных нейросетей и позволяет превращать артефакты движения на снимках в короткие (до десяти кадров) видео. https://nplus1.ru/news/2018/04/10/blurred-image-reconstruction
