Dalam lingkungan yang terus berubah, kepercayaan terhadap agen AI telah menjadi tantangan yang harus dikelola secara berkelanjutan. Organisasi sering kali menganggap kepercayaan sebagai proses yang selesai sebelum penerapan, padahal interaksi nyata di dunia produksi dapat mengubah kondisi tersebut dengan cepat.
Vin Sharma, pendiri dan CEO Vijil, menjelaskan bahwa pendekatan tradisional terhadap sistem AI mirip dengan cara pandang terhadap aplikasi SaaS atau mobile yang bersifat statis. Agen AI dirancang untuk mempersepsi lingkungan, bernalar, bertindak, serta belajar dari perbedaan antara harapan dan kenyataan. Namun, model dasar yang digunakan dibangun dari data pelatihan statis yang sudah tidak relevan saat mencapai tahap produksi.
Evaluasi berbasis benchmark tradisional hanya memberikan penilaian kemampuan pada satu titik waktu tertentu. Benchmark bersifat statis, tidak mencerminkan realitas secara sempurna, dan bersifat publik sehingga rentan dimasukkan ke dalam data pelatihan model selanjutnya. Hasilnya, skor tinggi pada benchmark tidak menjamin kinerja yang andal di lingkungan produksi yang dinamis.
Konsep fiduciary agent muncul sebagai respons terhadap kebutuhan untuk memprioritaskan kepercayaan di atas sekadar kemampuan. Model ini menuntut agen AI memenuhi kewajiban kompetensi, kehati-hatian, dan loyalitas terhadap organisasi yang mendelegasikan tugas. Meskipun agen AI tidak memiliki kesadaran, kewajiban fidusia dapat diterapkan sebagai persyaratan fungsional yang dapat diuji.
Keandalan, keamanan, dan keselamatan menjadi tiga komponen utama dalam menilai risiko delegasi tugas kepada agen AI. Pendekatan ini menghasilkan skor yang dapat dibandingkan dengan peringkat kredit konsumen, tetapi dibangun dari data perilaku aktual. Pengujian berbasis tujuan, persona, dan kebijakan memungkinkan evaluasi yang lebih adaptif terhadap alur kerja spesifik organisasi.
Kegagalan kepercayaan yang muncul di produksi sering kali disebabkan oleh pergeseran data dan konsep yang tidak terdeteksi pada tahap pengujian awal. Selain itu, sistem multi-agen memperkenalkan risiko baru berupa kolusi antar agen yang tidak dapat dideteksi pada level individu. Situasi ini menuntut organisasi beralih dari pencegahan kegagalan menuju ketahanan yang cepat dalam pemulihan.
Manajemen kepercayaan berkelanjutan mencakup penemuan agen bayangan, pemberian identitas beban kerja yang terpisah, serta penegakan kontrol berbasis kebijakan. Dua indikator kinerja baru yang relevan adalah waktu untuk mencapai kepercayaan dan waktu pemulihan dari kerentanan.
Dalam konteks regulasi yang semakin ketat di berbagai yurisdiksi, pendekatan fiduciary dapat mendukung kepatuhan terhadap standar tata kelola AI yang menekankan akuntabilitas. Selain itu, penerapan model ini berpotensi mengurangi biaya operasional jangka panjang akibat insiden keamanan yang tidak terduga pada sistem agen yang kompleks.
