По мере того как ИИ-ассистенты в компаниях получают всё больше самостоятельности — от ответов на вопросы до выполнения многошаговых задач без участия человека, — на первый план выходит вопрос контроля. О том, какие риски несёт рост автономности агентов и как выстроить архитектуру безопасности вокруг них, рассказал технический директор российского вендора «Инполюс» Юрий Заболотников.

Что требуется от архитектуры корпоративного ИИ-ассистента

По словам Заболотникова, для корпоративных ИИ-систем недостаточно обеспечить безопасность самой модели — важна архитектура всей окружающей среды. Она должна чётко разделять три уровня: принятие решений, полномочия агента и непосредственное выполнение действий в информационных системах компании. Это разделение — не формальность, а способ гарантировать, что даже при ошибке или манипуляции на уровне «мышления» агента его реальные полномочия в системах остаются ограниченными.

Что охватывает безопасность ИИ-агентов

  • идентификация и пользователей, и самих агентов;
  • контроль доступа к данным и моделям;
  • использование инструментов и внешних API;
  • работа агента с памятью — тем, что он «запоминает» между сессиями;
  • взаимодействие между разными агентами внутри системы;
  • журналирование и контроль всех выполняемых действий.

Главный риск — не автономность, а неконтролируемые полномочия

Заболотников подчёркивает: основной риск возникает не из-за автономности агента как таковой, а тогда, когда он получает слишком широкие или плохо контролируемые полномочия. Отдельная опасность — ситуация, при которой один агент может самостоятельно создавать или подключать других агентов: без ограничений это открывает путь к неконтролируемому расширению полномочий во всей системе, когда никто в компании уже не может точно сказать, кто из агентов и на каком основании может выполнять то или иное действие.

Почему постоянный контроль вручную не работает

Задача информационной безопасности, по мнению эксперта, не в том, чтобы непрерывно следить за каждым действием ИИ — при высокой скорости работы агентов это практически невозможно физически. Вместо этого ограничения должны быть встроены непосредственно в архитектуру системы и применяться автоматически при выполнении любого действия, а не проверяться постфактум человеком-оператором.

Как меняется роль человека

По мере развития агентных систем человек будет всё меньше управлять отдельными операциями и всё больше — целями, полномочиями и правилами работы всей системы. Ответственность при этом не исчезает, а смещается: вместо контроля каждого шага человек определяет правила, по которым система действует самостоятельно. Фактически роль меняется от непосредственного оператора ИИ к управляющему сложной системой цифровых исполнителей.

Что предлагает Inpolus Universal AI Assistant

Безопасная работа с ИИ, по словам Заболотникова, требует единой среды, где можно управлять не только доступом пользователей к моделям, но и работой самих ассистентов и агентов. Платформа Inpolus Universal AI Assistant позиционируется именно как такая среда — она объединяет различных ассистентов и агентов, корпоративные источники данных, локальные и облачные модели и сервисы в едином управляемом контуре. В перспективе такой подход позволяет перейти от разрозненных отдельных ИИ-помощников к управляемой корпоративной среде, где могут одновременно работать несколько специализированных агентов с разными ролями и уровнями полномочий.

Каким будет рынок ИИ-ассистентов через 2-3 года

По прогнозу эксперта, развитие пойдёт от отдельных универсальных ассистентов к системам специализированных ИИ-агентов, выстроенным в многоуровневую архитектуру: человек или организация ставит цель управляющему агенту, тот декомпозирует её и делегирует задачи доменным агентам, а те, в свою очередь, привлекают узкоспециализированных агентов-исполнителей — причём вместе с задачей делегируются и соответствующие полномочия. В итоге вместо одного универсального «суперассистента» на предприятиях могут появиться своего рода цифровые организации из множества взаимодействующих агентов: одни отвечают за постановку и декомпозицию целей, другие — за координацию, третьи — за конкретные исполнительные действия.

Итог: Контроль над ИИ-агентами всё меньше держится на постоянном ручном надзоре и всё больше — на архитектуре, которая заранее ограничивает полномочия и автоматически применяет правила безопасности. Компаниям, внедряющим автономных ИИ-ассистентов, стоит закладывать такую архитектуру заранее, а не пытаться контролировать агентов вручную по мере роста их числа и полномочий.

Читайте также: