06 июля 2026
Сбер опубликовал в открытом доступе GigaChat 3.5 Ultra — новую флагманскую языковую модель на 432 миллиарда параметров. Несмотря на то, что модель стала компактнее предшественницы GigaChat 3.1 Ultra (у которой было 700 млрд параметров), она превосходит её по качеству в коде, агентных сценариях и сложных задачах. Релиз стал результатом более чем 1500 экспериментов с данными, архитектурой и пайплайном обучения.
Собственная гибридная архитектура
Команда впервые масштабировала собственную гибридную архитектуру на сотни миллиардов параметров. В ней совмещены MLA-слои с GatedDeltaNet и добавлены стабилизирующие механизмы для устойчивого обучения на таком масштабе. За счёт архитектурных решений в 432B-модели используется примерно в четыре раза меньше KV-кэша на токен, в ту же память помещается более чем в два раза больше контекста, а пропускная способность выросла примерно на 20%.
Ускорение генерации
В модель добавлены дополнительные MTP-головы для self-speculative decoding. Основной прирост дают первые две головы — они ускоряют greedy-декодирование в 2,2 раза. Также на всех этапах обучения применяется FP8-точность, что ускорило обучение на десятки процентов и снизило потребление памяти без потери качества.
Новый подход к данным
В предыдущих релизах фундамент pretrain строился во многом на синтетических данных. Но при сотнях миллиардов параметров синтетика со временем «схлопывается» в однотипность. Поэтому в GigaChat 3.5 для основы обучающих данных используются органические, натуральные тексты.
HTML-документы прогонялись через LLM-парсинг — на выходе получался чистый Markdown с сохранением формул, таблиц и структуры. Это дало значительный прирост на метриках MMLU, MATH и других бенчмарках. Поддержка языков программирования расширена с 16 до более чем 600.
Online RL на этапе выравнивания
После цепочки Pretrain → Stage 1.5 → SFT → DPO добавлен новый этап — Online RL. Он улучшил Instruction Following, математические способности и качество модели на аренах сравнения.
Модель доступна в открытом репозитории и продолжает развитие линейки GigaChat, демонстрируя, что отечественные разработчики способны создавать фронтирные модели на мировой уровне.