Google представила нейросеть VLOGGER для генерации анимированных роликов с реалистичной мимикой человека по фотографии
Нейросеть генерирует движение губ, моргание глаз, жесты руками и наклоны головы. VLOGGER также можно использовать, чтобы отредактировать уже готовое видео (например, синхронизировать движения губ человека с речью на другом языке).
«Наша цель — создать фотореалистичное видео переменной длины, изображающее речь целевого человека, включая его голову и жесты. Наш метод состоит из 1) стохастической модели диффузии движения человека в 3D и 2) новой архитектуры, основанной на диффузии, которая дополняет модели преобразования текста в изображение как временным, так и пространственным контролем», — поясняют исследователи.
