Xavi Amatriain, Chief AI and Data Officer pertama Expedia Group, menyatakan bahwa evaluasi atau evals kini menggantikan peran dokumen PRD tradisional dalam pengembangan sistem AI. Pernyataan ini disampaikan dalam acara VB Transform 2026 di Menlo Park. Menurutnya, evals memungkinkan perusahaan mengenkode persyaratan produk, termasuk aspek keamanan dan red teaming, sebelum proses pengkodean dimulai.
Pendekatan ini menjadi semakin relevan seiring penggunaan kode yang dibantu AI. Amatriain menekankan bahwa seluruh proses pemikiran strategis akan terpusat pada penyusunan evals yang komprehensif. Hal ini mencerminkan pergeseran paradigma di mana pengujian tidak lagi dilakukan setelah produk selesai, melainkan menjadi fondasi utama desain.
Data dari survei VB Pulse menunjukkan bahwa 66 persen dari 157 perusahaan yang disurvei telah mengizinkan penerapan produksi tanpa tinjauan manusia atau berencana melakukannya dalam 12 bulan ke depan. Namun, hanya 5 persen yang sepenuhnya mempercayai evaluasi otomatis. Separuh responden bahkan pernah merilis agen yang lolos evaluasi internal namun gagal saat berhadapan dengan pelanggan nyata.
Salah satu analisis penting yang muncul adalah bagaimana pendekatan evals ini dapat mempercepat adopsi AI di sektor perjalanan yang sangat bergantung pada data real-time seperti harga tiket dan ketersediaan kamar hotel. Dengan menanamkan persyaratan keamanan sejak awal, perusahaan dapat meminimalkan risiko kesalahan yang berdampak langsung pada kepercayaan konsumen.
Amatriain juga menyoroti pentingnya mengurangi guardrails berlebihan agar tidak mengganggu loop umpan balik dari pengguna. Guardrails dianggap sebagai kejahatan yang diperlukan, namun tujuannya adalah meminimalkan pengaruhnya seiring waktu. Pendekatan ini berbeda dengan pandangan beberapa pembicara lain yang tetap menekankan perlunya guardrails ketat untuk tindakan berisiko tinggi.
Expedia menerapkan tata kelola AI melalui tiga lapisan: prinsip tingkat tinggi, proses dan alat pendukung, serta otomatisasi. Prinsip-prinsip ini dirancang untuk memandu pengambilan keputusan terdistribusi di organisasi besar. Analisis tambahan menunjukkan bahwa model ini dapat menjadi acuan bagi perusahaan teknologi Indonesia yang tengah membangun sistem AI berskala besar, karena menekankan kesesuaian antara tingkat risiko dan tingkat pengawasan.
Arsitektur yang diusung Expedia lebih mengutamakan agen khusus daripada model tunggal yang monolitik. Komponen disusun menjadi keterampilan, kemudian sub-agen, dan akhirnya sistem agenik lengkap. Pendekatan komposisi ini memudahkan evaluasi dan pengamanan setiap bagian secara terpisah sebelum diintegrasikan.
Dalam praktiknya, Expedia tetap mempertahankan kendali akhir di tangan pengguna, terutama untuk transaksi seperti pemesanan hotel atau tiket pesawat. Agen hanya memberikan rekomendasi dan diskusi, sementara klik akhir tetap menjadi tanggung jawab manusia. Kebijakan ini juga berfungsi sebagai keputusan keamanan yang mengurangi kebutuhan guardrails tambahan.
Amatriain memperingatkan bahwa ancaman keamanan di masa depan tidak hanya datang dari manusia, tetapi juga dari sistem agen eksternal yang semakin canggih. Oleh karena itu, evaluasi harus digeser ke fase paling awal desain. Loop umpan balik dari sinyal operasional ke suite evaluasi menjadi krusial untuk mempercepat perbaikan.
Model toll gate berbasis risiko yang diterapkan Expedia menawarkan kerangka kerja yang adaptif. Dengan mengkalibrasi pengawasan sesuai tingkat risiko, perusahaan dapat menjaga keseimbangan antara inovasi dan keamanan tanpa menghambat pengembangan.
