Tantangan Tata Kelola AI Agentik di bawah Undang-Undang AI Uni Eropa 2026

Seiring dengan berlakunya ketentuan penegakan Undang-Undang AI Uni Eropa pada Agustus 2025 — dengan kewajiban kepatuhan penuh yang berlanjut hingga tahun 2026 — masalah baru dan pelik muncul bagi para pemimpin teknologi di seluruh Eropa dan sekitarnya. Sistem AI agen, yang secara otonom menjalankan tugas multi-langkah di seluruh lingkungan perusahaan, mengungkap kesenjangan tata kelola yang mendalam yang tidak pernah dirancang untuk ditangani oleh kerangka kerja kepatuhan yang ada.

Risikonya sangat besar. Organisasi yang menerapkan agen otonom ini menghadapi potensi denda hingga €35 juta atau 7% dari omset tahunan global untuk pelanggaran paling serius. Dan kenyataan yang tidak menyenangkan adalah bahwa banyak perusahaan saat ini tidak memiliki cara yang andal untuk menjelaskan apa yang dilakukan agen AI mereka, apalagi membuktikan bahwa tindakan tersebut sah menurut hukum.

Apa yang Mendorong Krisis Tata Kelola Pemerintahan?

Berbeda dengan model AI tradisional yang merespons satu perintah dan menghasilkan satu keluaran, sistem AI berbasis agen beroperasi dengan tingkat kemandirian yang secara fundamental mengubah perhitungan risiko. Agen-agen ini dapat memindahkan data antar platform, memulai transaksi, berkomunikasi dengan API eksternal, dan merangkai serangkaian keputusan — seringkali dengan pengawasan manusia minimal di setiap langkahnya.

Otonomi itulah yang membuat mereka berharga. Perusahaan seperti Salesforce, Microsoft, dan Google semuanya telah melakukan investasi signifikan pada arsitektur berbasis agen dalam delapan belas bulan terakhir. Platform Agentforce milik Salesforce, agen Copilot milik Microsoft, dan agen Vertex AI milik Google semuanya menjanjikan otomatisasi alur kerja bisnis kompleks yang sebelumnya membutuhkan intervensi manusia di setiap langkahnya.

Namun, inilah tantangan tata kelolanya: ketika sebuah agen membuat keputusan penting — misalnya, menolak klaim asuransi, memilah data medis pasien, atau menandai karyawan untuk evaluasi kinerja — organisasi yang menggunakannya membutuhkan jejak audit yang lengkap. Siapa yang mengotorisasi ruang lingkup tindakan agen tersebut? Data apa yang mendasari keputusan tersebut? Apakah ada pengawasan manusia yang berarti? Berdasarkan persyaratan Undang-Undang AI Uni Eropa untuk sistem berisiko tinggi, pertanyaan-pertanyaan ini bukanlah pilihan. Pertanyaan-pertanyaan ini diwajibkan secara hukum.

Mengapa Undang-Undang AI Uni Eropa Membuat Hal Ini Mendesak?

Undang-Undang AI Uni Eropa mengkategorikan aplikasi AI ke dalam tingkatan risiko, dan kewajiban yang paling ketat berlaku untuk kasus penggunaan berisiko tinggi — termasuk keputusan ketenagakerjaan, penilaian kredit, penegakan hukum, manajemen migrasi, dan infrastruktur penting. Untuk pemahaman yang lebih mendalam tentang kategori-kategori ini, lihat ikhtisar kami tentang 5 Arsitektur Komputasi AI yang Harus Diketahui Setiap Insinyur di Tahun 2025 .

Berikut adalah hal-hal yang harus dibuktikan oleh organisasi yang menerapkan sistem berbasis agen di domain ini:

• Ketertelusuran: Pencatatan lengkap tindakan, masukan, dan keluaran agen sepanjang siklus operasionalnya.
• Pengawasan manusia: Mekanisme yang memungkinkan individu yang berkualifikasi untuk campur tangan, mengesampingkan, atau mematikan sistem kapan saja.
• Manajemen risiko: Penilaian berkelanjutan tentang bagaimana perilaku otonom agen dapat menghasilkan hasil yang merugikan atau diskriminatif.
• Transparansi: Dokumentasi yang jelas yang memungkinkan regulator dan individu yang terdampak untuk memahami bagaimana keputusan diambil.

Masalahnya adalah banyak penerapan AI berbasis agen mengaburkan batasan akuntabilitas. Ketika sebuah agen mengatur tindakan di berbagai sistem — mengambil data dari satu basis data, menjalankan inferensi melalui model lain, dan mengirimkan hasilnya ke aplikasi ketiga — rantai pengambilan keputusan menjadi tidak jelas. Bahkan para insinyur yang membangun sistem tersebut mungkin kesulitan untuk merekonstruksi logika yang tepat di balik hasil tertentu.

Kesenjangan Akuntabilitas yang Harus Ditutup oleh Para Pemimpin

Para pemimpin perusahaan memikul tanggung jawab utama atas sistem yang mereka terapkan, terlepas dari seberapa otonom sistem tersebut nantinya. Ini adalah prinsip yang secara eksplisit ditegaskan oleh Undang-Undang AI Uni Eropa. Para pengimplementasikan sistem AI berisiko tinggi — bukan hanya pengembang — memiliki kewajiban kepatuhan yang substansial.

Namun, survei McKinsey dari awal tahun 2025 menemukan bahwa meskipun 72% organisasi telah mengadopsi beberapa bentuk AI dalam operasional mereka, kurang dari setengahnya telah menerapkan struktur tata kelola formal untuk penerapan tersebut. Khusus untuk sistem berbasis agen, kesenjangan tersebut kemungkinan lebih lebar, karena banyak perusahaan masih dalam tahap uji coba dan memperlakukan tata kelola sebagai masalah yang akan diselesaikan kemudian.

Pendekatan tersebut dengan cepat menjadi tidak dapat dipertahankan. Analis industri memperingatkan bahwa organisasi perlu memperlakukan tata kelola agen AI dengan ketelitian yang sama seperti yang mereka terapkan pada kontrol keuangan atau perlindungan data berdasarkan GDPR. Jika Anda tidak dapat mengauditnya, Anda tidak dapat mempertahankannya — dan regulator pada akhirnya akan datang meminta.

Apa Kata Para Ahli

Beberapa tokoh terkemuka dalam kebijakan AI telah menyoroti sistem berbasis agen sebagai titik buta regulasi. Para peneliti di Ada Lovelace Institute berpendapat bahwa kerangka kerja tata kelola AI yang ada mengasumsikan hubungan yang relatif statis antara input dan output — sebuah asumsi yang runtuh ketika agen menghubungkan beberapa keputusan otonom dari waktu ke waktu.

Sementara itu, Gartner memprediksi pada akhir tahun 2024 bahwa pada tahun 2028, setidaknya 15% keputusan bisnis harian akan dibuat secara otomatis oleh agen AI — meningkat dari hampir nol pada tahun 2023. Tren tersebut menunjukkan bahwa masalah tata kelola hanya akan semakin intensif seiring dengan peningkatan skala implementasi.

Bagi para pemimpin TI, pesannya jelas: menunggu panduan regulasi menjadi preskriptif sebelum bertindak adalah strategi yang merugikan. Undang-Undang AI Uni Eropa menetapkan kewajiban yang luas, dan terserah kepada organisasi untuk menunjukkan bahwa mereka telah memenuhinya melalui praktik tata kelola yang terdokumentasi dan dapat dipertanggungjawabkan. Mereka yang tertarik membangun program pengawasan AI yang kuat dapat mempelajari panduan kami tentang Microsoft Open-Source Toolkit Secures AI Agents at Runtime .

Apa yang Terjadi Selanjutnya?

Beberapa perkembangan patut dipantau secara cermat hingga akhir tahun 2025 dan memasuki tahun 2026:

1. Dokumen panduan regulasi: Kantor AI Eropa diharapkan akan merilis panduan terperinci tentang kepatuhan risiko tinggi, yang mungkin secara khusus membahas sistem multi-agen dan sistem berbasis agen.
2. Fitur akuntabilitas vendor: Penyedia layanan cloud utama kemungkinan akan meluncurkan fitur pencatatan, penjelasan, dan kontrol yang lebih baik untuk platform agen mereka seiring meningkatnya tekanan kepatuhan.
3. Pergeseran asuransi dan tanggung jawab: Perkirakan munculnya produk asuransi tanggung jawab khusus AI, karena perusahaan berupaya mentransfer sebagian risiko regulasi yang terkait dengan sistem otonom.
4. Ketegangan penegakan hukum lintas batas: Perusahaan yang berkantor pusat di luar Uni Eropa tetapi melayani pelanggan Eropa akan menghadapi pertanyaan yurisdiksi yang kompleks tentang bagaimana tata kelola agen berlaku untuk operasi mereka.

Intinya

AI berbasis agen merupakan salah satu pergeseran paling signifikan dalam teknologi perusahaan sejak munculnya komputasi awan. Namun, otonomi yang sama yang membuat sistem ini ampuh juga membuatnya sulit untuk diatur — dan jangka waktu penegakan Undang-Undang AI Uni Eropa tidak memberi ruang untuk berpuas diri.

Para pemimpin yang menganggap tata kelola sebagai hal yang kurang penting berisiko bukan hanya menghadapi sanksi regulasi, tetapi juga terkikisnya kepercayaan dari pelanggan, karyawan, dan mitra. Organisasi yang akan berkembang di bawah aturan baru ini adalah organisasi yang membangun akuntabilitas ke dalam sistem keagenan mereka dari awal, daripada hanya menyesuaikannya setelah krisis kepatuhan memaksa mereka untuk melakukannya.