Dalam pengembangan aplikasi kecerdasan buatan berbasis retrieval, banyak tim mengalami situasi di mana sistem yang awalnya akurat tiba-tiba memberikan jawaban yang salah secara konsisten. Masalah ini sering muncul setelah beberapa bulan beroperasi tanpa ada perubahan pada model atau prompt yang digunakan. Penyebab utamanya bukan pada konteks yang buruk, melainkan pada kualitas data yang tidak lagi terkendali seiring perubahan dunia nyata.
Sistem AI tidak membedakan antara data yang masih valid dan data yang sudah usang. Dokumen harga lama dapat diambil dengan skor relevansi yang sama tinggi seperti dokumen terkini. Begitu pula dengan catatan data yang kehilangan field secara diam-diam, sistem tetap memprosesnya karena pipeline hanya memeriksa ketersediaan dan relevansi, bukan kebenaran.
Kondisi ini membuat kegagalan menjadi tidak terlihat. Dashboard tetap menunjukkan status hijau, sementara jawaban yang dihasilkan sudah tidak akurat. Pengalaman serupa pernah terjadi di pipeline fintech ketika perubahan field di sistem hulu tidak terdeteksi oleh tim hilir, sehingga data yang salah terus mengalir hingga ditemukan oleh pelanggan.
Tim yang menghadapi masalah ini biasanya melakukan diagnosis yang keliru dua kali. Pertama, mereka menyalahkan model bahasa besar dan mencoba menggantinya. Kedua, mereka mengalihkan fokus ke lapisan retrieval dengan membeli solusi baru. Padahal akar masalah berada di lapisan data engineering yang lebih awal, di mana monitoring hanya memeriksa apakah pekerjaan selesai, bukan apakah data yang dipindahkan masih benar.
Data observability menjadi elemen yang sering kurang diperhatikan. Konsep ini mencakup empat dimensi utama: correctness, freshness, consistency, dan lineage. Correctness memastikan setiap record memenuhi aturan skema dan rentang nilai yang ditetapkan. Freshness mengukur seberapa terkini data relatif terhadap sumbernya dengan SLA yang disesuaikan per dataset. Consistency mendeteksi ketidaksesuaian antar sistem yang menggunakan sumber sama. Lineage memungkinkan pelacakan asal data hingga transformasi yang dilaluinya.
Penerapan observability ini memberikan dampak nyata pada skalabilitas sistem AI di lingkungan enterprise. Ketika data observability diintegrasikan sejak tahap awal, risiko kesalahan berulang dapat ditekan sebelum mencapai pengguna akhir. Selain itu, pendekatan ini mendorong kolaborasi lebih erat antara tim data engineering dan tim pengembang AI, sehingga validasi data tidak lagi menjadi tanggung jawab tunggal.
Langkah praktis yang dapat dilakukan adalah memeriksa empat pertanyaan kunci: apakah data divalidasi sesuai standar konsumen, berapa usia konten tertua yang masih disajikan dengan kepercayaan tinggi, apakah dua potongan data dari sumber sama dapat bertentangan, serta apakah asal data dapat dilacak jika terjadi kesalahan. Menjawab pertanyaan-pertanyaan tersebut mengarahkan perbaikan pada pipeline data, bukan pada pergantian model atau arsitektur retrieval.
AI hanya memperlihatkan kelemahan yang sudah lama ada dalam praktik data engineering. Membangun lapisan validasi yang tepat menjadi prasyarat agar sistem tetap andal seiring pertumbuhan kompleksitas aplikasi.
