Новая нейросеть MagicAnimate реалистично «оживляет» изображения

Исследователи из Национального университета Сингапура разработали нейросеть MagicAnimate, которая способна «оживлять» изображения. По словам создателей, она в значительной мере превосходит по эффективности похожие решения.

Для создания анимации MagicAnimate берет исходное изображение и последовательность кадров из библиотеки DensePose. Затем, с помощью диффузионной модели, генерирует кадры будущей анимации на основе эталонного изображения. Результат «склеивается» в готовый ролик.

Разработчики отмечают, что нейросеть сама дорисовывает недостающие элементы объекта, а пользователь может указать уточняющий запрос для генерации. Примеры работы MagicAnimate показывают, что она эффективно «оживляет» даже несуществующих персонажей, созданных нейросетью DALL-E 3, а также хорошо справляется с анимированием групповых снимков.

Бесплатно пользователи могут загрузить с 1 аккаунта до 5 фото в день и до 30 — в целом. Обработка фото занимает от 30 до 60 минут в зависимости от загруженности сервиса, при этом приоритет отдается пользователям с оформленной подпиской.

Фото: Freepik