Исследователи из Института интеллектуальных вычислений Alibaba (Alibaba DAMO Academy) разработали новую систему искусственного интеллекта под названием EMO (Emote Portrait Alive). EMO способна анимировать статические изображения людей, делая их говорящими или поющими с реалистичной мимикой и движениями губ.
Alibaba DAMO Academy представила EMO: Система ИИ, оживляющая портреты (ВИДЕО)
В основе EMO лежит диффузионная модель ИИ, которая уже зарекомендовала себя как инструмент для создания реалистичных изображений. EMO обучалась на массиве данных, включающем более 250 часов видео говорящих людей: выступлений, фрагментов фильмов, телешоу и вокальных выступлений.
EMO может синхронизировать движения губ и мимику человека с произносимыми словами. Система также способна генерировать реалистичные движения губ и мимику человека, поющего песню. Кроме этого, EMO может генерировать видео произвольной продолжительности на основе аудио, сохраняя особенности лица и мимики человека при анимации.
Система проста в использовании и не требует специальных навыков. Она может использоваться для создания различных видов контента, от обучающих видео до музыкальных клипов.
В новом ИИ скрыт большой потенциал для использования в различных областях, от образования до развлечений.
Например, его может использовать для создания обучающих видео с участием "виртуальных учителей", музыкальных клипов, видеороликов для социальных сетей и других видов развлекательного и обучающего контента. Не исключена возможность использования EMO для создания более реалистичных и интерактивных видеозвонков.
Да, пока система находится на стадии разработки и не доступна для широкой аудитории пользователей, но Alibaba DAMO Academy планирует выпустить EMO в открытый доступ уже в этом году.
Важно понимать, что подобные системы, такие как EMO, могут может быть использован как для этических, так и для неэтичных целей. Пользователи EMO должны осознавать потенциальные риски и ограничения этой технологии.
