Seaweed-7B задаёт новый стандарт в генерации видео с помощью ИИ

Китайская технологическая компания ByteDance, известная своим приложением TikTok, представила Seaweed-7B — модель искусственного интеллекта для генерации видео, которая обещает стать настоящим прорывом в этой технологической нише. С параметрами всего в 7 миллиардов, она конкурирует с моделями вдвое большего размера, требуя при этом втрое меньше затрат на обучение. Рассказываем, почему эта разработка может изменить индустрию.

Технология, опережающая время

Seaweed-7B, разработанная командой ByteDance Seed, основана на архитектуре DiT (Diffusion Transformer) и обучена с использованием 665 тысяч часов работы GPU H100. Это значительно меньше, чем требуется для аналогичных моделей, таких как Wan 2.1 с 14 миллиардами параметров, которые используют свыше 2 миллионов GPU-часов. Модель демонстрирует выдающиеся результаты в задачах генерации видео из текста и изображений, обеспечивая высокую детализацию, реалистичность движений и синхронизацию аудио и видео.

Ключевые преимущества Seaweed-7B

• Эффективность
  Генерация видео 720p при 24 кадрах в секунду в реальном времени с использованием всего 40 ГБ видеопамяти.
• Многофункциональность
  Поддержка создания длинных видео до 60 секунд, многосценовых историй и синхронизации аудио с видео.
• Доступность
  Меньшие требования к ресурсам делают модель подходящей для небольших команд и стартапов.
• Качество
  В тестах Seaweed-7B обошла конкурентов, набрав Elo 1047 в генерации видео из изображений с 58% побед против 53% у Wan 2.1.

Применение и перспективы

Seaweed-7B уже вызывает ажиотаж среди разработчиков и компаний. Модель поддерживает создание реалистичных человеческих движений, сложных сцен и высококачественных анимаций, что делает её идеальной для маркетинга, образовательного контента и короткометражных фильмов. Например, в сочетании с моделью OmniHuman-1 от ByteDance она позволяет создавать виртуальных персонажей для коротких драм. Эксперты прогнозируют, что открытие исходного кода модели может спровоцировать волну инноваций среди глобальных разработчиков.

Конкуренция и вызовы

ByteDance вступает в жёсткую конкуренцию с такими гигантами, как OpenAI (Sora) и Google (Veo). Хотя Seaweed-7B демонстрирует впечатляющие результаты, пользователи отмечают необходимость улучшений в генерации сверхдлинных видео и точности текстового соответствия. Тем не менее, низкая стоимость и высокая производительность модели делают её серьёзным игроком на рынке.

Запуск Seaweed-7B подчёркивает стратегический поворот ByteDance к корпоративным решениям и AI-технологиям. Модель уже доступна на платформе JiMeng AI, а её профессиональная версия ожидается в ближайшее время. Если ByteDance решит открыть исходный код, это может демократизировать доступ к передовым технологиям видеогенерации, изменив ландшафт индустрии.