Perusahaan yang menerapkan agen AI otonom menghadapi tantangan keamanan yang semakin kompleks. Data terbaru menunjukkan bahwa sebagian besar organisasi masih mengandalkan praktik berbagi kredensial, yang berisiko menimbulkan insiden keamanan. Meski demikian, para pakar menegaskan bahwa perbaikan pada aspek identitas hanyalah langkah awal.
Mukesh Karki dari NTT DATA AIVista dan Mayank Upadhyay dari Snowflake menjelaskan bahwa otorisasi berbasis tindakan serta jejak audit yang tahan manipulasi harus diintegrasikan ke setiap interaksi agen. Tanpa pendekatan ini, penerapan sistem otonom dalam skala besar berpotensi melanggar persyaratan regulator.
Dalam lingkungan perangkat lunak tradisional, tindakan bersifat deterministik dan mudah diprediksi. Sebaliknya, agen AI memiliki kemampuan untuk mengeksplorasi berbagai jalur secara mandiri. Pemberian izin yang terlalu luas dapat memicu efek samping yang tidak diinginkan, terutama ketika satu kunci API statis tertanam di dalam agen.
Kondisi ini menjadi lebih kritis di sektor yang diatur ketat seperti asuransi, layanan kesehatan, dan keuangan. Kredensial berskala terbatas dianggap sebagai prasyarat minimal, namun tidak cukup untuk memenuhi aturan yurisdiksi yang berbeda antar wilayah. Setiap tindakan agen harus divalidasi secara real-time berdasarkan konteks organisasi dan regulasi setempat.
Analogi dengan karyawan baru sering digunakan untuk menggambarkan proses adaptasi agen AI. Namun, pendekatan ini memiliki keterbatasan karena perusahaan tidak dapat melakukan pemeriksaan latar belakang secara individual terhadap ribuan agen. Upadhyay menyarankan memperlakukan agen seperti peserta magang yang memerlukan pengawasan ketat sambil membangun kepercayaan secara bertahap.
Governance yang efektif harus ditempatkan di luar agen itu sendiri. Pendekatan tiga lapis mencakup lapisan agen untuk pengelolaan identitas dan izin alat, lapisan model untuk mencegah injeksi prompt tidak langsung, serta lapisan data yang menerapkan akses berbasis peran dengan arsitektur zero-copy.
Dampak dari kurangnya tata kelola yang memadai dapat memperbesar risiko kepatuhan di industri yang diawasi regulator. Selain itu, ketidakmampuan membuktikan tindakan agen secara forensik dapat menghambat proses audit dan menurunkan kepercayaan pemangku kepentingan.
Perusahaan disarankan memulai audit dengan memeriksa izin untuk rahasia statis serta mengatasi shadow AI melalui gateway MCP. Langkah-langkah ini membantu memberikan visibilitas menyeluruh tanpa membatasi inovasi secara berlebihan.
Provabilitas harus dibangun sejak tahap perancangan sistem. Upaya retrofit setelah agen beroperasi terbukti jauh lebih sulit dan berisiko tinggi, terutama ketika bukti diperlukan untuk memenuhi standar regulasi yang terus berkembang.
