Waymo, perusahaan kendaraan otonom di bawah Alphabet, menekankan bahwa sebuah proyek kecerdasan buatan belum siap diterapkan hingga proses evaluasinya telah matang sepenuhnya. Pendekatan ini berbeda dari praktik umum yang hanya mengandalkan performa model saat pelatihan. Manasi Joshi, direktur rekayasa sistem intelijen dan pembelajaran mesin Waymo, menjelaskan bahwa evaluasi menjadi bagian inti dari seluruh siklus pengembangan, bukan sekadar pemeriksaan akhir sebelum peluncuran.
Dalam praktiknya, Waymo menerapkan metode yang disebut eval-forced development. Kematangan suatu proyek dinilai berdasarkan kualitas dan kelengkapan evaluasi yang menyertainya. Evaluasi dilakukan secara berkelanjutan, mencakup tahap pelatihan model, pengujian pasca-pelatihan, serta simulasi open-loop dan closed-loop. Pendekatan ini memastikan bahwa sistem mampu menangani skenario kompleks di jalan raya sebelum benar-benar digunakan.
Waymo telah mencatat lebih dari 220 juta mil perjalanan otonom penuh. Data internal menunjukkan tingkat cedera kecelakaan serius 17 kali lebih rendah dibandingkan pengemudi manusia pada jarak yang sama. Pencapaian ini dicapai melalui kombinasi data mengemudi langsung, data pihak ketiga, dan simulasi yang mencakup miliaran mil sintetis. Fokus evaluasi diarahkan pada kasus langka namun berisiko tinggi, seperti interaksi dengan pejalan kaki, perlintasan kereta api, dan zona konstruksi.
Evaluasi tidak berhenti setelah peluncuran. Waymo memperlakukan proses ini sebagai aktivitas berkelanjutan yang mencakup pemantauan performa di lapangan, pembaruan model, serta penyesuaian terhadap perubahan perilaku pengguna dan kondisi jalan. Langkah ini penting karena model yang awalnya andal dapat mengalami penurunan performa ketika data masukan berubah.
Salah satu analisis penting yang muncul dari praktik Waymo adalah bahwa pendekatan evaluasi berkelanjutan dapat mengurangi risiko tanggung jawab hukum di industri yang sangat diatur seperti transportasi. Dengan menghubungkan metrik evaluasi langsung ke hasil keselamatan nyata, perusahaan mampu menunjukkan akuntabilitas yang lebih kuat kepada regulator dan masyarakat.
Analisis kedua berkaitan dengan investasi infrastruktur. Perusahaan yang ingin menerapkan metode serupa perlu membangun sistem penyimpanan dan pemrosesan data yang skalabel sejak awal. Tanpa infrastruktur yang memadai, evaluasi berkelanjutan akan menjadi beban operasional yang berat dan berpotensi menghambat inovasi.
Waymo juga menegaskan bahwa keputusan peluncuran tidak diserahkan sepenuhnya kepada sistem otomatis. Tinjauan kesiapan produksi selalu melibatkan pengawasan manusia, termasuk persetujuan dari pimpinan keselamatan internal. Prinsip ini relevan bagi perusahaan lain yang mengembangkan agen AI di bidang keuangan atau layanan pelanggan, di mana kesalahan dapat berdampak finansial atau reputasi.
Selain itu, Waymo menerapkan efisiensi data dengan memilih contoh pelatihan yang paling informatif daripada mengandalkan volume besar. Perusahaan ini telah menggunakan model transformer sejak 2017 dan kini mengintegrasikan model multimodal generatif sebagai bagian dari strategi fondasi. Optimalisasi dilakukan baik pada sistem onboard kendaraan maupun infrastruktur off-board untuk menjaga keseimbangan antara efisiensi komputasi dan keandalan.
Agen AI internal Waymo juga dievaluasi secara ketat untuk memastikan hasil analisis data yang akurat. Tujuannya adalah mempercepat pekerjaan investigasi tanpa mengarahkan insinyur ke jalur yang tidak produktif. Pelajaran utama bagi organisasi lain adalah bahwa penerapan agen AI memerlukan tujuan yang jelas, data evaluasi representatif, pengujian berkelanjutan, serta penanggung jawab manusia yang bertanggung jawab atas keputusan akhir.
Dengan demikian, keberhasilan proyek AI tidak hanya ditentukan oleh kekuatan model, melainkan oleh kedewasaan sistem evaluasi yang mendukungnya.
