Проблемы управления агентным ИИ в соответствии с Законом ЕС об ИИ 2026 года

Поскольку положения Закона ЕС об искусственном интеллекте вступают в силу в августе 2025 года, а полные обязательства по соблюдению требований распространяются на 2026 год, перед технологическими лидерами по всей Европе и за ее пределами возникает новая и сложная проблема. Агентные системы искусственного интеллекта, которые автономно выполняют многоэтапные задачи в корпоративных средах, выявляют серьезные пробелы в управлении, для решения которых существующие системы обеспечения соответствия требованиям никогда не были предназначены.

Ставки огромны. Организациям, внедряющим этих автономных агентов, грозят потенциальные штрафы в размере до 35 миллионов евро или 7% от годового глобального оборота за наиболее серьезные нарушения. И неприятная реальность заключается в том, что у многих предприятий в настоящее время нет надежного способа объяснить, что делают их агенты ИИ, не говоря уже о том, чтобы доказать законность этих действий.

Что является причиной кризиса управления?

В отличие от традиционных моделей ИИ, которые реагируют на один запрос и выдают один результат, агентные системы ИИ работают с такой степенью независимости, которая коренным образом меняет расчет рисков. Эти агенты могут перемещать данные между платформами, инициировать транзакции, взаимодействовать с внешними API и объединять последовательности решений — часто с минимальным участием человека на каждом этапе.

Именно эта автономность делает их ценными. Такие компании, как Salesforce, Microsoft и Google, за последние восемнадцать месяцев сделали значительные ставки на агентные архитектуры. Платформа Agentforce от Salesforce, агенты Copilot от Microsoft и агенты Vertex AI от Google обещают автоматизировать сложные бизнес-процессы, которые ранее требовали вмешательства человека на каждом этапе.

Но вот в чем заключается проблема управления: когда агент принимает важное решение — например, отклоняет страховой случай, сортирует медицинские данные пациента или отмечает сотрудника для оценки его работы — организации, использующей его, необходим полный аудиторский след. Кто санкционировал действия агента? Какие данные легли в основу решения? Был ли обеспечен значимый человеческий контроль? В соответствии с требованиями Закона ЕС об искусственном интеллекте для систем высокого риска, эти вопросы не являются необязательными. Они законодательно закреплены.

Почему закон ЕС об искусственном интеллекте делает это неотложным вопросом

Закон ЕС об искусственном интеллекте классифицирует приложения ИИ по уровням риска, и наиболее строгие обязательства распространяются на сценарии использования с высоким риском, включая решения о трудоустройстве, оценку кредитоспособности, правоохранительную деятельность, управление миграцией и критическую инфраструктуру. Для более глубокого понимания этих категорий см. наш обзор « 5 архитектур вычислительных систем ИИ, которые должен знать каждый инженер в 2025 году» .

Вот что должны продемонстрировать организации, внедряющие агентные системы в этих областях:

• Отслеживаемость: Полная регистрация действий, входных и выходных данных агента на протяжении всего его операционного цикла.
• Человеческий контроль: механизмы, позволяющие квалифицированным лицам вмешиваться, отменять или отключать систему в любой момент.
• Управление рисками: Постоянная оценка того, как автономное поведение агента может привести к вредным или дискриминационным последствиям.
• Прозрачность: Четкая документация, позволяющая регулирующим органам и заинтересованным лицам понять, как принимались решения.

Проблема в том, что во многих системах ИИ, использующих агентные модели, размываются границы ответственности. Когда агент координирует действия в нескольких системах — извлекает данные из одной базы данных, выполняет вывод с помощью другой модели и передает результат в третье приложение — цепочка принятия решений становится непрозрачной. Даже инженерам, создавшим систему, может быть сложно восстановить точную логику, лежащую в основе конкретного результата.

Лидерам необходимо устранить разрыв в подотчетности

Руководители предприятий несут полную ответственность за развертываемые ими системы, независимо от того, насколько автономными эти системы становятся. Этот принцип прямо подтверждается Законом ЕС об искусственном интеллекте. Развертывание систем ИИ, представляющих высокий риск, — а не только разработчики — влечет за собой существенные обязательства по соблюдению нормативных требований.

Однако исследование McKinsey, проведенное в начале 2025 года, показало, что хотя 72% организаций внедрили ту или иную форму ИИ в свою деятельность, менее половины из них создали формальные структуры управления для этих внедрений. В случае с агентными системами разрыв, вероятно, еще больше, поскольку многие предприятия все еще находятся на стадии пилотных проектов и рассматривают управление как проблему, которую нужно решить позже.

Такой подход быстро становится неприемлемым. Аналитики отрасли предупреждают, что организациям необходимо подходить к управлению агентами ИИ с той же строгостью, с какой они относятся к финансовому контролю или защите данных в соответствии с GDPR. Если вы не можете это проверить, вы не сможете это защитить — и регулирующие органы в конечном итоге начнут это проверять.

Что говорят эксперты?

Ряд видных деятелей в области политики в сфере ИИ указали на агентные системы как на «слепое пятно» в регулировании. Исследователи из Института Ады Лавлейс утверждают, что существующие рамки управления ИИ предполагают относительно статичную взаимосвязь между входными и выходными данными — предположение, которое перестает быть верным, когда агенты принимают множество автономных решений в течение определенного времени.

Между тем, компания Gartner еще в конце 2024 года предсказала, что к 2028 году не менее 15% ежедневных бизнес-решений будут приниматься автономно агентами ИИ — по сравнению с практически нулевым показателем в 2023 году. Такая траектория предполагает, что проблема управления будет только усугубляться по мере масштабирования внедрения.

Для ИТ-руководителей вывод очевиден: ждать, пока нормативные указания станут директивными, прежде чем действовать, — это проигрышная стратегия. Закон ЕС об ИИ устанавливает широкие обязательства, и организациям предстоит продемонстрировать их выполнение посредством документированных и обоснованных методов управления. Тем, кто заинтересован в создании надежных программ контроля за ИИ, следует ознакомиться с нашим руководством по обеспечению безопасности агентов ИИ во время выполнения с помощью инструментария Microsoft Open-Source Toolkit .

Что произойдет дальше?

В течение оставшейся части 2025 года и в 2026 году следует внимательно следить за рядом событий:

1. Документы с нормативными указаниями: Ожидается, что Европейское бюро по искусственному интеллекту опубликует подробные рекомендации по соблюдению требований в условиях высокого риска, которые могут касаться, в частности, многоагентных и агентных систем.
2. Функции обеспечения подотчетности поставщика: Крупные облачные провайдеры, вероятно, будут внедрять расширенные функции ведения журналов, объяснения событий и контроля для своих агентских платформ по мере усиления давления со стороны регулирующих органов.
3. Изменения в сфере страхования и ответственности: следует ожидать появления специализированных страховых продуктов для ИИ, поскольку предприятия стремятся переложить часть регуляторных рисков, связанных с автономными системами.
4. Напряженность в трансграничном правоприменении: Компании, штаб-квартиры которых находятся за пределами ЕС, но которые обслуживают европейских клиентов, столкнутся со сложными юрисдикционными вопросами о том, как принципы управления агентами применяются к их деятельности.

Итог

Агентный ИИ представляет собой один из наиболее значительных сдвигов в корпоративных технологиях со времен появления облачных вычислений. Но та же автономность, которая делает эти системы мощными, также затрудняет их управление — и сроки вступления в силу Закона ЕС об ИИ не оставляют места для самоуспокоения.

Руководители, которые относятся к управлению как к второстепенному вопросу, рискуют не только получить штрафы от регулирующих органов, но и подорвать доверие клиентов, сотрудников и партнеров. В условиях новых правил преуспеют те организации, которые изначально внедряют принципы подотчетности в свои системы управления, а не перестраивают их после того, как кризис, связанный с несоблюдением нормативных требований, вынуждает их к этому.