Model bahasa besar sering kali unggul saat diminta membuat skrip Python sederhana, namun kesulitan ketika harus menyusun pipeline pemrosesan data yang kompleks dan dapat diaudit. Para peneliti dari Peking University, Zhongguancun Academy, serta Shanghai’s Institute for Advanced Algorithms Research memperkenalkan DataFlow-Harness, kerangka kerja sumber terbuka yang mengarahkan agen AI untuk membangun alur kerja data visual dan terstruktur secara bertahap.
Pendekatan ini mengatasi kesenjangan yang disebut NL2Pipeline gap, yaitu perbedaan antara permintaan bahasa alami pengguna dengan kebutuhan lingkungan produksi akan artefak pipeline yang persisten dan dapat diedit. Ketika agen AI dibatasi untuk hanya menggunakan blok bangunan platform tertentu, tingkat keberhasilan Claude Code turun dari 94,2 persen menjadi 83,3 persen. DataFlow-Harness berhasil menutup celah tersebut dengan mencapai tingkat kelulusan end-to-end sebesar 93,3 persen pada tolok ukur 12 tugas rekayasa data.
Kerangka kerja ini terdiri dari empat komponen utama yang saling terintegrasi. Data Pipeline Backend menyimpan representasi pipeline sebagai directed acyclic graph yang menjadi sumber kebenaran tunggal. DataFlow-Skills berisi berkas markdown yang memasukkan pengetahuan domain ke dalam konteks model, termasuk aturan kompatibilitas operator dan inferensi skema. MCP Tools Layer memungkinkan agen mengakses registry operator dan status pipeline secara langsung, sementara DataFlow-WebUI menyediakan antarmuka percakapan sekaligus editor grafis DAG.
Hasil pengujian menunjukkan efisiensi biaya yang signifikan. DataFlow-Harness menurunkan biaya API hingga 72,5 persen dibandingkan Vanilla CC dan memangkas latensi respons sebesar 49,9 persen. Pada tugas ekstraksi textbook-to-VQA yang melibatkan parsing PDF, OCR, serta pencocokan pertanyaan-jawaban multimodal, kerangka kerja ini mencapai presisi 97,2 persen dan cakupan 87,3 persen.
Dari perspektif tim MLOps, penggunaan artefak pipeline yang dapat divisualisasikan mengurangi akumulasi utang teknis yang biasanya muncul dari skrip sekali pakai. Pipeline yang dihasilkan tetap dapat diperiksa, diuji, dan diatur melalui kontrol produksi standar, sehingga mendukung kebutuhan audit dan kepatuhan yang semakin ketat di lingkungan enterprise. Selain itu, pendekatan ini membuka peluang standarisasi prosedur rekayasa data di berbagai organisasi karena setiap perubahan divalidasi terhadap metadata platform sebelum dieksekusi.
Implementasi saat ini bersifat native terhadap platform DataFlow dan memerlukan adaptor jika ingin diintegrasikan dengan Airflow, Prefect, atau Spark. Organisasi perlu memelihara registry operator serta mendefinisikan skema dan Skills agar agen AI tetap berada dalam batasan yang ditetapkan. Meskipun demikian, DataFlow-Harness menunjukkan bahwa pembagian tugas antara agen dan insinyur manusia dapat ditingkatkan: agen menangani konstruksi berulang dalam batas eksplisit, sementara insinyur tetap bertanggung jawab atas keputusan semantik dan kebijakan yang memerlukan akuntabilitas domain.
