Что обновилось в Nova AI

Российский разработчик инфраструктурного ПО Orion soft выпустил обновление платформы Nova AI, предназначенной для разработки и эксплуатации ИИ/ML-сервисов. В новой версии появилось автоматическое управление распределением GPU-ресурсов, расширенные инструменты для развёртывания моделей, более широкий мониторинг инфраструктуры и улучшенная рабочая среда для ML-инженеров.

Как устроена платформа

Nova AI построена на базе Kubernetes и объединяет в единой системе кластеризацию GPU, распределение вычислительных ресурсов между командами и проектами, а также среды разработки для инженеров, работающих с моделями машинного обучения. Помимо этого платформа предоставляет инструменты для развёртывания и эксплуатации моделей в продакшене.

Планировщик Volcano: очередь задач по приоритету

Центральное новшество обновления — планировщик Volcano, который автоматически ставит в очередь задачи ИИ/ML в зависимости от их приоритета и доступности ресурсов. Это позволяет продакшен-сервисам, обучению моделей и экспериментам работать в рамках одного кластера без постоянного ручного перераспределения вычислительных мощностей.

Планировщик учитывает как вычислительную мощность GPU, так и объём видеопамяти, оптимизируя распределение задач для эффективного использования оборудования. Неиспользуемые мощности можно направлять на эксперименты и разработку, а не держать в резерве на случай пиковой нагрузки продакшен-сервисов.

Почему нехватка GPU — типовая проблема для ИИ-проектов

По мере роста числа ИИ-проектов внутри компании команды начинают конкурировать за одни и те же GPU-ресурсы: обучение новых моделей, дообучение существующих и обслуживание продакшен-сервисов претендуют на одно и то же оборудование одновременно. Как отметил руководитель направлений Nova AI и StarGuard AI в Orion soft Никита Векессер, задача инфраструктурной платформы — не просто предоставить вычислительные мощности, а распределить их в соответствии с бизнес-приоритетами.

Для российских компаний эта проблема особенно актуальна: доступность специализированного оборудования ограничена сильнее, чем на глобальном рынке, поэтому эффективное использование уже имеющихся GPU становится не менее важной задачей, чем закупка нового железа.

Что ещё вошло в обновление

  • Обновлённые инференс-бэкенды для TensorFlow, PyTorch и Triton;
  • Поддержка SGLang — фреймворка для ускоренного инференса больших языковых моделей;
  • Сокращение усилий на интеграцию и упрощённая подготовка моделей к продакшену.

Управление GPU как отдельная инженерная дисциплина

Ещё несколько лет назад вопрос распределения вычислительных ресурсов решался точечно — вручную выделяемыми серверами под конкретные задачи. С ростом числа ИИ-проектов внутри организаций такой подход перестаёт масштабироваться: без автоматического планировщика GPU-кластер быстро превращается в поле конкуренции команд за одни и те же мощности. Появление в отечественных платформах инструментов, аналогичных тем, что развивают крупные мировые облачные провайдеры, отражает общий тренд — инфраструктурный слой для ИИ становится отдельной зоной ответственности, а не побочной функцией DevOps-инструментов.

Итог: Обновление Nova AI показывает, что российские разработчики инфраструктурного ПО следуют за реальным спросом бизнеса — автоматизированное управление GPU снижает издержки при ограниченном доступе к дорогостоящему оборудованию. Для компаний, развивающих несколько ИИ-проектов одновременно, такие инструменты становятся практическим способом ускорить эксперименты, не увеличивая парк оборудования.

Читайте также: