Xiaomi открыла исходный код своего ИИ на 1 триллион параметров

Китайский технологический гигант Xiaomi объявил о масштабном обновлении своей стратегии в области искусственного интеллекта, открыв исходный код новейшего семейства моделей MiMo-V2.5. Решение компании опубликовать наработки под свободной лицензией MIT вызвало широкий резонанс в экспертном сообществе. Впервые модель такого масштаба — с общим числом параметров, превышающим триллион — становится доступной для свободного использования, модификации и коммерческого внедрения сторонними разработчиками.

Архитектура Mixture-of-Experts: эффективность против масштаба

Ключевой особенностью флагманской модели MiMo-V2.5-Pro стала реализация архитектуры Mixture-of-Experts (MoE). Несмотря на колоссальный общий объем в 1,02 триллиона параметров, система сохраняет высокую скорость работы и относительно низкие требования к вычислительным ресурсам во время инференса. Это достигается за счет того, что в каждый конкретный момент времени активируются лишь 42 миллиарда параметров, наиболее подходящих для решения поставленной задачи.

Такой аналитический подход позволяет Xiaomi конкурировать с крупнейшими закрытыми проприетарными решениями, предлагая при этом гибкость открытого ПО. Использование лицензии MIT подчеркивает стремление компании к формированию открытой экосистемы вокруг своих продуктов, что может значительно ускорить развитие локальных ИИ-приложений.

Омнимодальность и работа с длинным контекстом

Второе решение в линейке — базовая модель MiMo-V2.5 — представляет собой омнимодальную систему на 310 миллиардов параметров. В отличие от традиционных текстовых нейросетей, она является «нативно» мультимодальной. Это означает, что модель способна обрабатывать и генерировать не только текстовый контент, но и работать с видеорядом, аудиосигналами и статичными изображениями без использования промежуточных адаптеров.

Особого внимания заслуживает работа с контекстом. Обе модели поддерживают впечатляющее контекстное окно объемом до одного миллиона токенов. Инженеры Xiaomi внедрили гибридную архитектуру внимания, в которой скользящее (sliding window) и глобальное внимание чередуются в строгой пропорции 6:1. Данная технологическая инновация позволила сократить объем хранимого KV-кэша почти в семь раз, что критически важно при анализе сверхдлинных документов или полнометражных видео.

Технические характеристики моделей семейства MiMo-V2.5

Для детального понимания возможностей новинок, технические параметры сведены в следующую таблицу:

Влияние на рынок и перспективы внедрения

Публикация моделей такого уровня под лицензией MIT меняет ландшафт рынка генеративного ИИ. Ранее модели с триллионом параметров оставались прерогативой закрытых лабораторий. Теперь же Open Source сообщество получает инструмент, способный на равных состязаться с GPT-4 или Gemini в специфических задачах автоматизации бизнеса.

Благодаря оптимизации KV-кэша и гибридному вниманию, внедрение MiMo-V2.5 станет экономически оправданным для компаний, работающих с большими массивами данных. Профессиональный рерайтинг кода, глубокая аналитика длинных видеостримов и мгновенная обработка сложной технической документации — лишь малая часть сценариев применения новой разработки от Xiaomi. В долгосрочной перспективе этот шаг может укрепить позиции бренда не только как производителя гаджетов, но и как лидера в области фундаментальных ИИ-технологий.