Výzvy v oblasti správy agentní umělé inteligence podle zákona EU o umělé inteligenci z roku 2026

Vzhledem k tomu, že v srpnu 2025 začnou platit vynucovací ustanovení zákona EU o umělé inteligenci – s tím, že plné povinnosti v oblasti dodržování předpisů se kaskádovitě rozšíří do roku 2026 – vyvstává pro technologické lídry v celé Evropě i mimo ni nový a složitý problém. Systémy agentní umělé inteligence, které autonomně provádějí vícestupňové úkoly v podnikových prostředích, odhalují hluboké mezery v řízení, k jejichž řešení stávající rámce pro dodržování předpisů nikdy nebyly navrženy.

V sázce je obrovské riziko. Organizace nasazující tyto autonomní agenty čelí za nejzávažnější porušení potenciálním pokutám až do výše 35 milionů eur, neboli 7 % celosvětového ročního obratu. A nepříjemnou realitou je, že mnoho podniků v současné době nemá žádný spolehlivý způsob, jak vysvětlit, co jejich agenti s umělou inteligencí dělají, natož aby dokázali, že tyto činy jsou zákonné.

Co je příčinou krize správy věcí veřejných

Na rozdíl od tradičních modelů umělé inteligence, které reagují na jediný pokyn a produkují jediný výstup, fungují agentní systémy umělé inteligence s určitou mírou nezávislosti, která zásadně mění kalkulaci rizik. Tito agenti mohou přesouvat data mezi platformami, iniciovat transakce, komunikovat s externími API a řetězit sekvence rozhodnutí – často s minimálním lidským dohledem v každém kroku.

Právě tato autonomie je činí cennými. Společnosti jako Salesforce, Microsoft a Google v posledních osmnácti měsících výrazně vsadily na agentní architektury. Platforma Agentforce od Salesforce, agenti Copilot od Microsoftu a agenti Vertex s umělou inteligencí od Googlu slibují automatizaci složitých obchodních pracovních postupů, které dříve vyžadovaly lidský zásah na každém kroku.

Ale tady je výzva v oblasti správy a řízení: když agent učiní závažné rozhodnutí – například zamítne pojistnou událost, prověří zdravotní údaje pacienta nebo označí zaměstnance k posouzení výkonu – organizace, která jej nasazuje, potřebuje kompletní auditní záznam. Kdo autorizoval rozsah působnosti agenta? Jaká data ovlivnila rozhodnutí? Byl existenční smysluplný lidský dohled? Podle požadavků zákona EU o umělé inteligenci na vysoce rizikové systémy nejsou tyto otázky volitelné. Jsou ze zákona nařízeny.

Proč je to podle zákona EU o umělé inteligenci naléhavé

Zákon EU o umělé inteligenci kategorizuje aplikace umělé inteligence do úrovní rizika a nejpřísnější povinnosti se vztahují na vysoce rizikové případy užití – včetně rozhodování o zaměstnání, kreditního skóre, vymáhání práva, řízení migrace a kritické infrastruktury. Pro hlubší pochopení těchto kategorií si přečtěte náš přehled 5 výpočetních architektur umělé inteligence, které by měl v roce 2025 znát každý inženýr .

Zde je to, co musí organizace nasazující agentní systémy v těchto doménách prokázat:

• Sledovatelnost: Kompletní protokolování akcí, vstupů a výstupů agenta po celou dobu jeho provozního životního cyklu.
• Lidský dohled: Mechanismy, které umožňují kvalifikovaným osobám zasáhnout, potlačit nebo vypnout systém kdykoli.
• Řízení rizik: Průběžné hodnocení toho, jak by autonomní chování agenta mohlo vést ke škodlivým nebo diskriminačním výsledkům.
• Transparentnost: Jasná dokumentace, která umožňuje regulačním orgánům a dotčeným osobám pochopit, jak byla rozhodnutí dosažena.

Problém je v tom, že mnoho nasazení agentní umělé inteligence stírá hranice odpovědnosti. Když agent organizuje akce napříč více systémy – stahuje data z jedné databáze, provádí inferenci prostřednictvím jiného modelu a odesílá výsledek do třetí aplikace – rozhodovací řetězec se stává neprůhledným. Dokonce i inženýři, kteří systém vytvořili, mohou mít potíže s rekonstrukcí přesné logiky, která stojí za konkrétním výsledkem.

Mezera v odpovědnosti, kterou musí vedoucí představitelé překlenout

Vedoucí pracovníci podniků nesou konečnou odpovědnost za systémy, které nasazují, bez ohledu na to, jak autonomní se tyto systémy stanou. Tuto zásadu výslovně posiluje zákon EU o umělé inteligenci. Nasazení vysoce rizikových systémů umělé inteligence – nejen vývojáři – nesou značné povinnosti v oblasti dodržování předpisů.

Průzkum společnosti McKinsey z počátku roku 2025 však zjistil, že ačkoli 72 % organizací zavedlo nějakou formu umělé inteligence ve svých operacích, méně než polovina z nich implementovala formální struktury řízení pro tato nasazení. Konkrétně u agentních systémů je rozdíl pravděpodobně větší, protože mnoho podniků je stále v pilotních fázích a řízení považují za problém, který bude řešit později.

Tento přístup se rychle stává neudržitelným. Analytici z oboru varují, že organizace musí k řízení agentů umělé inteligence přistupovat se stejnou přísností, jakou uplatňují k finančním kontrolám nebo ochraně dat v rámci GDPR. Pokud to nemůžete auditovat, nemůžete to ani obhájit – a regulační orgány se nakonec o to samé zeptají.

Co říkají odborníci

Několik prominentních hlasů v oblasti politiky umělé inteligence označilo agentické systémy za slepé místo v regulaci. Výzkumníci z Institutu Ady Lovelaceové argumentovali, že stávající rámce pro správu umělé inteligence předpokládají relativně statický vztah mezi vstupem a výstupem – předpoklad, který se hroutí, když agenti v průběhu času řetězí více autonomních rozhodnutí.

Společnost Gartner mezitím koncem roku 2024 předpověděla, že do roku 2028 bude nejméně 15 % každodenních obchodních rozhodnutí činěno autonomně agenty umělé inteligence – oproti prakticky nule v roce 2023. Tato trajektorie naznačuje, že problém s řízením se bude s rostoucím nasazením pouze prohlubovat.

Pro IT lídry je poselství jasné: čekání na to, až se regulační pokyny stanou normativními, než začnete jednat, je prohrávající strategie. Zákon EU o umělé inteligenci stanoví široké povinnosti a bude na organizacích, aby je prokázaly prostřednictvím zdokumentovaných a obhajitelných postupů řízení. Zájemci o budování robustních programů dohledu nad umělou inteligencí by si měli prohlédnout našeho průvodce Sada nástrojů Microsoft Open-Source Toolkit zabezpečuje agenty umělé inteligence za běhu .

Co se stane dál

Během zbytku roku 2025 a v roce 2026 stojí za to bedlivě sledovat několik událostí:

1. Regulační pokyny: Očekává se, že Evropský úřad pro umělou inteligenci zveřejní podrobné pokyny k dodržování předpisů s vysokým rizikem, které se mohou konkrétně zaměřit na multiagentní a agentní systémy.
2. Funkce odpovědnosti dodavatelů: Hlavní poskytovatelé cloudových služeb pravděpodobně s rostoucím tlakem na dodržování předpisů nabídnou pro své agentské platformy vylepšené funkce protokolování, vysvětlení a kontroly.
3. Posuny v pojištění a odpovědnosti: Očekávejte vznik produktů pojištění odpovědnosti specificky zaměřených na umělou inteligenci, jelikož se podniky snaží přenést část regulačních rizik spojených s autonomními systémy.
4. Napětí v přeshraničním vymáhání práva: Společnosti se sídlem mimo EU, které však slouží evropským zákazníkům, budou čelit složitým jurisdikčním otázkám ohledně toho, jak se řízení agentů vztahuje na jejich operace.

Sečteno a podtrženo

Agentní umělá inteligence představuje jeden z nejvýznamnějších posunů v podnikových technologiích od nástupu cloud computingu. Stejná autonomie, která činí tyto systémy výkonnými, však zároveň ztěžuje jejich správu – a časový harmonogram vymáhání zákona EU o umělé inteligenci nenechává mnoho prostoru pro uspokojení se s realitou.

Vedoucí pracovníci, kteří se na správu a řízení dívají spíše jako na vedlejší věc, riskují nejen regulační sankce, ale také narušení důvěry se zákazníky, zaměstnanci a partnery. Organizace, které za těchto nových pravidel prosperují, budou ty, které do svých agentních systémů zabudují odpovědnost od základů, spíše než aby je doplňovaly poté, co je k tomu donutí krize v oblasti dodržování předpisů.