Herausforderungen der Governance agentischer KI gemäß dem EU-KI-Gesetz 2026

Mit dem Inkrafttreten der Durchsetzungsbestimmungen des EU-KI-Gesetzes im August 2025 – und der vollständigen Umsetzungspflichten ab 2026 – zeichnet sich für Technologieführer in Europa und darüber hinaus ein neues und heikles Problem ab. Agentische KI-Systeme, die autonom mehrstufige Aufgaben in Unternehmensumgebungen ausführen, legen gravierende Governance-Lücken offen, für die bestehende Compliance-Rahmenwerke nie ausgelegt waren.

Es steht viel auf dem Spiel. Unternehmen, die diese autonomen Agenten einsetzen, riskieren bei schwerwiegendsten Verstößen Geldstrafen von bis zu 35 Millionen Euro oder 7 % ihres weltweiten Jahresumsatzes. Die unangenehme Realität ist, dass viele Unternehmen derzeit keine verlässliche Möglichkeit haben, das Vorgehen ihrer KI-Agenten zu erklären, geschweige denn deren Rechtmäßigkeit nachzuweisen.

Was treibt die Regierungskrise an?

Anders als herkömmliche KI-Modelle, die auf eine einzelne Eingabe reagieren und ein einzelnes Ergebnis liefern, arbeiten agentenbasierte KI-Systeme mit einem Grad an Unabhängigkeit, der die Risikobewertung grundlegend verändert. Diese Agenten können Daten zwischen Plattformen übertragen, Transaktionen initiieren, mit externen APIs kommunizieren und Entscheidungssequenzen verketten – oft mit minimaler menschlicher Aufsicht in jedem einzelnen Schritt.

Diese Autonomie macht sie so wertvoll. Unternehmen wie Salesforce, Microsoft und Google haben in den letzten 18 Monaten massiv in agentenbasierte Architekturen investiert. Salesforces Agentforce-Plattform, Microsofts Copilot-Agenten und Googles Vertex-KI-Agenten versprechen allesamt die Automatisierung komplexer Geschäftsprozesse, die bisher in jedem Schritt menschliches Eingreifen erforderten.

Hier liegt die Herausforderung für die Governance: Trifft ein Systemagent eine weitreichende Entscheidung – beispielsweise die Ablehnung eines Versicherungsantrags, die Priorisierung von Patientendaten oder die Meldung eines Mitarbeiters für eine Leistungsbeurteilung –, benötigt die einsetzende Organisation einen lückenlosen Prüfpfad. Wer hat den Handlungsspielraum des Agenten autorisiert? Auf welchen Daten basierte die Entscheidung? Gab es eine angemessene menschliche Kontrolle? Gemäß den Anforderungen des EU-KI-Gesetzes für Hochrisikosysteme sind diese Fragen nicht optional, sondern gesetzlich vorgeschrieben.

Warum die EU-KI-Gesetzgebung dies dringlich macht

Der EU-KI-Gesetzentwurf kategorisiert KI-Anwendungen in Risikostufen. Die strengsten Auflagen gelten für Hochrisiko-Anwendungsfälle – darunter Personalentscheidungen, Kreditwürdigkeitsprüfung, Strafverfolgung, Migrationsmanagement und kritische Infrastrukturen. Für ein tieferes Verständnis dieser Kategorien lesen Sie unsere Übersicht „ 5 KI-Rechenarchitekturen, die jeder Ingenieur 2025 kennen muss“ .

Folgendes müssen Organisationen nachweisen, die agentenbasierte Systeme in diesen Bereichen einsetzen:

• Rückverfolgbarkeit: Vollständige Protokollierung der Aktionen, Eingaben und Ausgaben des Agenten während seines gesamten Betriebslebenszyklus.
• Menschliche Aufsicht: Mechanismen, die es qualifizierten Personen ermöglichen, jederzeit in das System einzugreifen, es zu übersteuern oder abzuschalten.
• Risikomanagement: Laufende Beurteilung, inwieweit das autonome Verhalten des Agenten schädliche oder diskriminierende Folgen haben könnte.
• Transparenz: Eine klare Dokumentation, die es den Aufsichtsbehörden und den betroffenen Personen ermöglicht, nachzuvollziehen, wie Entscheidungen zustande gekommen sind.

Das Problem besteht darin, dass viele Implementierungen agentenbasierter KI die Verantwortlichkeiten verwischen. Wenn ein Agent Aktionen über mehrere Systeme hinweg koordiniert – Daten aus einer Datenbank abruft, Schlussfolgerungen mit einem anderen Modell zieht und ein Ergebnis an eine dritte Anwendung weiterleitet –, wird die Entscheidungskette undurchsichtig. Selbst die Entwickler des Systems haben dann oft Schwierigkeiten, die genaue Logik hinter einem bestimmten Ergebnis nachzuvollziehen.

Die Verantwortlichkeitslücke, die Führungskräfte schließen müssen

Unternehmensleiter tragen die letztendliche Verantwortung für die von ihnen eingesetzten Systeme, unabhängig davon, wie autonom diese Systeme werden. Dieses Prinzip wird im EU-KI-Gesetz ausdrücklich bekräftigt. Betreiber risikoreicher KI-Systeme – nicht nur Entwickler – unterliegen erheblichen Compliance-Pflichten.

Eine McKinsey-Studie von Anfang 2025 ergab jedoch, dass zwar 72 % der Unternehmen KI in irgendeiner Form in ihren Betriebsabläufen eingeführt hatten, aber weniger als die Hälfte formale Governance-Strukturen für diese Implementierungen implementiert hatte. Bei agentenbasierten Systemen dürfte die Lücke sogar noch größer sein, da sich viele Unternehmen noch in der Pilotphase befinden und die Governance als ein Problem betrachten, das erst später gelöst werden soll.

Dieser Ansatz wird zunehmend unhaltbar. Branchenanalysten warnen davor, dass Unternehmen die Governance von KI-Agenten mit der gleichen Strenge behandeln müssen wie Finanzkontrollen oder den Datenschutz gemäß DSGVO. Was nicht geprüft werden kann, lässt sich nicht verteidigen – und die Aufsichtsbehörden werden früher oder später nachfragen.

Was Experten sagen

Mehrere prominente Stimmen in der KI-Politik haben agentenbasierte Systeme als regulatorischen blinden Fleck hervorgehoben. Forscher des Ada Lovelace Institute argumentieren, dass bestehende KI-Governance-Rahmenwerke von einer relativ statischen Beziehung zwischen Input und Output ausgehen – eine Annahme, die nicht mehr zutrifft, wenn Agenten im Laufe der Zeit mehrere autonome Entscheidungen miteinander verknüpfen.

Gartner prognostizierte Ende 2024, dass bis 2028 mindestens 15 % der täglichen Geschäftsentscheidungen autonom von KI-Systemen getroffen werden würden – gegenüber praktisch null im Jahr 2023. Diese Entwicklung lässt vermuten, dass sich das Governance-Problem mit zunehmender Verbreitung der Systeme nur noch verschärfen wird.

Für IT-Verantwortliche ist die Botschaft klar: Abzuwarten, bis regulatorische Vorgaben konkret werden, bevor man handelt, ist eine Strategie, die zum Scheitern verurteilt ist. Der EU-KI-Gesetzentwurf legt weitreichende Verpflichtungen fest, und es liegt in der Verantwortung der Unternehmen, deren Einhaltung durch dokumentierte und nachvollziehbare Governance-Praktiken nachzuweisen. Wer an der Entwicklung robuster KI-Aufsichtsprogramme interessiert ist, sollte unseren Leitfaden zum Thema „Microsoft Open-Source Toolkit sichert KI-Agenten zur Laufzeit“ konsultieren.

Was geschieht als Nächstes?

Einige Entwicklungen verdienen es, im restlichen Jahr 2025 und bis ins Jahr 2026 hinein genau beobachtet zu werden:

1. Leitliniendokumente für die Regulierung: Es wird erwartet, dass das Europäische Amt für Künstliche Intelligenz detaillierte Leitlinien zur Einhaltung von Vorschriften bei hohem Risiko veröffentlichen wird, die sich möglicherweise speziell mit Multiagenten- und agentenbasierten Systemen befassen.
2. Anbieterverantwortlichkeit: Angesichts des zunehmenden Compliance-Drucks werden große Cloud-Anbieter voraussichtlich verbesserte Protokollierungs-, Erklärbarkeits- und Kontrollfunktionen für ihre Agentenplattformen bereitstellen.
3. Verlagerung von Versicherungs- und Haftungsrisiken: Es ist mit dem Aufkommen KI-spezifischer Haftpflichtversicherungsprodukte zu rechnen, da Unternehmen versuchen, einen Teil des mit autonomen Systemen verbundenen regulatorischen Risikos zu übertragen.
4. Spannungen bei der grenzüberschreitenden Rechtsdurchsetzung: Unternehmen mit Hauptsitz außerhalb der EU, die europäische Kunden bedienen, werden mit komplexen Fragen der Zuständigkeit konfrontiert sein, wie die Agentenaufsicht auf ihre Geschäftstätigkeit anzuwenden ist.

Fazit

Agentenbasierte KI stellt eine der folgenreichsten Umwälzungen in der Unternehmens-IT seit dem Aufkommen des Cloud-Computing dar. Doch dieselbe Autonomie, die diese Systeme so leistungsstark macht, erschwert auch ihre Regulierung – und der Zeitplan des EU-KI-Gesetzes lässt wenig Raum für Selbstzufriedenheit.

Führungskräfte, die Governance vernachlässigen, riskieren nicht nur behördliche Strafen, sondern auch einen Vertrauensverlust bei Kunden, Mitarbeitern und Partnern. Die Organisationen, die unter diesen neuen Regeln erfolgreich sein werden, sind diejenigen, die Verantwortlichkeit von Grund auf in ihre Organisationssysteme integrieren, anstatt sie erst nach einer Compliance-Krise nachträglich einzuführen.