
As EU AI Act enforcement ramps up through 2025 and 2026, organizations deploying agentic AI systems face serious governance challenges. Autonomous agents that chain decisions across enterprise systems create accountability gaps that leaders must urgently address to avoid steep regulatory penalties.
随着欧盟人工智能法案的执行条款于2025年8月开始生效(全面合规义务将持续到2026年),欧洲乃至全球的技术领导者们正面临着一个全新且棘手的问题。能够自主执行跨企业环境的多步骤任务的智能体人工智能系统,暴露出现有合规框架从未设计用于应对的深层治理漏洞。
风险巨大。部署这些自主代理的组织,如果违规行为最为严重,可能面临高达3500万欧元或全球年营业额7%的罚款。而令人不安的现实是,许多企业目前根本没有可靠的方法来解释其人工智能代理的行为,更遑论证明这些行为的合法性。
与传统人工智能模型仅响应单一指令并产生单一输出不同,智能体人工智能系统具有高度的独立性,从根本上改变了风险评估方式。这些智能体可以在平台之间传输数据、发起交易、与外部API通信,并将一系列决策串联起来——而且通常每一步都只需极少的人工干预。
正是这种自主性赋予了它们价值。过去18个月里,Salesforce、微软和谷歌等公司都对智能体架构进行了大量投资。Salesforce的Agentforce平台、微软的Copilot智能体和谷歌的Vertex AI智能体都承诺能够自动化以往需要人工干预的复杂业务流程。
但治理方面的挑战在于:当智能体做出影响重大的决策时——例如,拒绝保险索赔、对患者医疗数据进行分类或标记员工进行绩效考核——部署该智能体的组织需要完整的审计追踪。谁授权了智能体的行动范围?决策依据哪些数据?是否存在有效的人工监督?根据欧盟《人工智能法案》对高风险系统的要求,这些问题并非可选项,而是法律强制要求。
欧盟人工智能法案将人工智能应用按风险等级划分,其中高风险应用场景(包括雇佣决策、信用评分、执法、移民管理和关键基础设施)需承担最严格的义务。如需更深入了解这些类别,请参阅我们关于“2025年每位工程师都必须了解的5种人工智能计算架构”的概述。
以下是这些领域中部署智能体的组织必须证明的:
问题在于,许多智能体人工智能部署模糊了责任界限。当一个智能体协调多个系统中的操作——从一个数据库提取数据,通过另一个模型进行推理,并将结果推送到第三个应用程序——决策链就会变得不透明。即使是构建系统的工程师,也可能难以重构特定结果背后的精确逻辑。
企业领导者对其部署的系统负有最终责任,无论这些系统实现的自主程度如何。欧盟人工智能法案明确强调了这一原则。高风险人工智能系统的部署者——而不仅仅是开发者——承担着重大的合规义务。
然而, 麦肯锡2025年初的一项调查发现,虽然72%的组织已在其运营中采用了某种形式的人工智能,但只有不到一半的组织为这些部署建立了正式的治理结构。具体到智能体系统,这一差距可能更大,因为许多企业仍处于试点阶段,并将治理视为以后再解决的问题。
这种做法正迅速变得站不住脚。行业分析师警告说,各组织需要像对待财务控制或GDPR下的数据保护一样,严格对待人工智能代理的治理。如果无法审计,就无法辩护——监管机构最终会来调查。
人工智能政策领域的几位知名人士指出,智能体系统是监管方面的一个盲点。艾达·洛夫莱斯研究所的研究人员认为,现有的人工智能治理框架假定输入和输出之间存在相对静态的关系——而当智能体随着时间的推移做出多个自主决策时,这种假设就不成立了。
与此同时,Gartner 在 2024 年底预测,到 2028 年,至少 15% 的日常业务决策将由人工智能代理自主做出——而 2023 年这一比例几乎为零。这一发展趋势表明,随着部署规模的扩大,治理问题只会愈演愈烈。
对于IT领导者而言,信息很明确:等待监管指南出台后再采取行动是一种失败的策略。欧盟人工智能法案规定了广泛的义务,各组织需要通过有据可查、站得住脚的治理实践来证明其已履行这些义务。有兴趣构建健全的人工智能监管程序的人士,可以参考我们关于“Microsoft Open-Source Toolkit Secures AI Agents at Runtime”(微软开源工具包在运行时保护人工智能代理)的指南。
在2025年剩余时间和2026年,有几项发展值得密切关注:
自云计算出现以来,智能体人工智能代表了企业技术领域最具深远影响的变革之一。然而,赋予这些系统强大功能的自主性也使其难以监管——欧盟人工智能法案的执行时间表不容许任何懈怠。
那些将公司治理视为事后补救措施的领导者,不仅会面临监管处罚,还会失去客户、员工和合作伙伴的信任。在新规下蓬勃发展的组织,将是那些从一开始就将问责制融入其代理体系的组织,而不是在合规危机迫使他们采取行动之后才进行补救。