Цифровая независимость с обновлением Immich 3.0Триллион параметров вне экосистемы Nvidia

Создание модели масштаба в один триллион параметров требует не только колоссальных объемов данных, но и безупречной синхронизации тысяч вычислительных узлов. Meituan подошла к этой задаче системно, инвестируя в собственную AI-инфраструктуру на протяжении трех лет. Результатом стал LongCat 2.0 — первая модель такого объема, полностью обученная на китайских процессорах. Хотя официально производитель чипов не назван, технические характеристики указывают на использование Huawei Ascend 910C в количестве 50 000 единиц.
Основным вызовом при работе с таким массивом железа становится стабильность распределенных систем. В индустрии принято считать, что чем больше кластер, тем выше вероятность каскадного сбоя. Инженерам LongCat удалось снизить частоту критических ошибок на 70%, что позволило достичь впечатляющей пропускной способности в один триллион токенов в сутки.
С технической точки зрения модель представляет собой сложный гибрид. Общий объем параметров достигает 1,6 трлн, однако благодаря использованию Mixture of Experts (MoE) — смеси экспертов — активными при каждом запросе остаются лишь 48 млрд параметров. Это позволяет сочетать глубокие познания модели с приемлемой скоростью генерации. Обучение проходило на массиве из 35 трлн токенов, причем значительная часть данных включала контекстные окна длиной до одного миллиона токенов. Ранее такие объемы памяти и обработки требовали сложнейших инженерных надстроек даже при использовании флагманских GPU от Nvidia.
Особый интерес вызывает внутреннее устройство LongCat 2.0. Разработчики внедрили массивные n-gram эмбеддинги, которые занимают почти 10% всего объема параметров модели (в экспериментальной версии Flash-Lite этот показатель доходит до половины). Для управления такими объемами данных был реализован 6D-параллелизм — многомерный подход к распределению вычислений между чипами. Кроме того, была глубоко переработана система разреженного внимания на базе DSA, что позволило оптимизировать работу с длинными последовательностями текста.
Практическая проверка модели проходила в режиме «стелс» на платформе OpenRouter под кодовым именем Owl Alpha. Результаты тестирования показывают, что LongCat 2.0 не является революционным прорывом в области чистого интеллекта или логики, но демонстрирует высокую стабильность и предсказуемость ответов.
На текущий момент доступ к модели открыт через API с тарификацией $0,75 за миллион входных и $3 за миллион выходных токенов. Несмотря на то что стоимость выше, чем у многих локальных конкурентов, главным событием становится решение опубликовать модель под лицензиями Apache 2.0 или MIT. Это превращает LongCat 2.0 в первый открытый «триллионник», созданный полностью на не-Nvidia стеке.
В конечном итоге LongCat 2.0 — это больше, чем просто очередной инструмент для генерации текста. Это доказательство того, что архитектурные ограничения и аппаратные санкции могут быть преодолены за счет глубокой оптимизации софта и масштабирования альтернативного железа. Китай продемонстрировал, что путь к созданию AGI-систем может лежать вне зависимости от западных полупроводниковых гигантов.

