Alibaba DAMO Academy представила EMO: Система ИИ, оживляющая портреты (ВИДЕО)

EMO способна анимировать статические изображения людей, делая их говорящими или поющими с реалистичной мимикой и движениями губ.

08.03.2024    
 12624
Автор: Silas Pierce

Исследователи из Института интеллектуальных вычислений Alibaba (Alibaba DAMO Academy) разработали новую систему искусственного интеллекта под названием EMO (Emote Portrait Alive). EMO способна анимировать статические изображения людей, делая их говорящими или поющими с реалистичной мимикой и движениями губ.

Alibaba DAMO Academy представила EMO: Система ИИ, оживляющая портреты (ВИДЕО)

Alibaba DAMO Academy представила EMO: Система ИИ, оживляющая портреты (ВИДЕО)


В основе EMO лежит диффузионная модель ИИ, которая уже зарекомендовала себя как инструмент для создания реалистичных изображений. EMO обучалась на массиве данных, включающем более 250 часов видео говорящих людей: выступлений, фрагментов фильмов, телешоу и вокальных выступлений.

EMO может синхронизировать движения губ и мимику человека с произносимыми словами. Система также способна генерировать реалистичные движения губ и мимику человека, поющего песню. Кроме этого, EMO может генерировать видео произвольной продолжительности на основе аудио, сохраняя особенности лица и мимики человека при анимации.

Система проста в использовании и не требует специальных навыков. Она может использоваться для создания различных видов контента, от обучающих видео до музыкальных клипов.


В новом ИИ скрыт большой потенциал для использования в различных областях, от образования до развлечений. 

Например, его может использовать для создания обучающих видео с участием "виртуальных учителей", музыкальных клипов, видеороликов для социальных сетей и других видов развлекательного и обучающего контента. Не исключена возможность  использования EMO для создания более реалистичных и интерактивных видеозвонков.

Да, пока система находится на стадии разработки и не доступна для широкой аудитории пользователей, но Alibaba DAMO Academy планирует выпустить EMO в открытый доступ уже в этом году.

Важно понимать, что подобные системы, такие как EMO, могут может быть использован как для этических, так и для неэтичных целей. Пользователи EMO должны осознавать потенциальные риски и ограничения этой технологии.


ЕЩЕ В РАЗДЕЛЕ Технологии

НОВОСТИ С ВИДЕО
ВИДЕО
Роботизированный «мотоконь» Corleo: новинка от Kawasaki (ВИДЕО)
Роботизированный «мотоконь» Corleo: новинка от Kawasaki (ВИДЕО)
07.04.2025   1304
ВИДЕО
Quake II созданый ИИ: Microsoft экспериментирует с Muse
Quake II созданый ИИ: Microsoft экспериментирует с Muse
07.04.2025   1251
ВИДЕО
Assassin`s Creed Shadows бьет рекорды — 2 миллиона игроков
Assassin`s Creed Shadows бьет рекорды — 2 миллиона игроков
26.03.2025   2075
ВИДЕО
Chernobylite 2: Exclusion Zone — сиквел вышел. Первые впечатления
Chernobylite 2: Exclusion Zone — сиквел вышел. Первые впечатления
18.03.2025   2332
ВИДЕО
Xiaomi Modular Optical System: Компания бросает вызов зеркальным камерам
Xiaomi Modular Optical System: Компания бросает вызов зеркальным камерам
03.03.2025   3488
ПОПУЛЯРНЫЕ НОВОСТИ