Thinking Machines memperkenalkan Inkling-Small, model bahasa multimodal open source berukuran lebih kecil namun tetap mempertahankan performa kompetitif dibandingkan pendahulunya. Model ini dirilis hanya dua minggu setelah peluncuran Inkling, model andalan perusahaan yang dipimpin mantan Chief Technology Officer OpenAI, Mira Murati.
Inkling-Small memiliki 276 miliar parameter total dengan 12 miliar parameter aktif per token. Model ini mendekati skor Intelligence Index 40 dari Artificial Analysis, hanya satu poin di bawah Inkling yang berukuran 975 miliar parameter. Inkling-Small menerima input teks, gambar, dan audio, menghasilkan output teks, serta mendukung konteks hingga satu juta token.
Arsitektur Mixture-of-Experts yang digunakan memungkinkan model mengaktifkan hanya sebagian parameter saat inferensi. Setiap token diarahkan ke enam dari 256 expert khusus ditambah dua expert bersama. Pendekatan ini menjaga kapasitas besar sekaligus menekan kebutuhan komputasi secara signifikan.
Performa Inkling-Small unggul pada beberapa benchmark seperti SWE-bench Verified dengan skor 80,2 persen dan Terminal Bench 2.1 sebesar 64,7 persen. Model ini juga menunjukkan keunggulan pada SciCode, GPQA Diamond, dan Humanity’s Last Exam. Namun, Inkling masih lebih baik pada tugas pengetahuan faktual dan beberapa skenario agentik.
Bagi perusahaan, keunggulan utama terletak pada pengurangan biaya inferensi dan jejak perangkat keras. Model ini membutuhkan sekitar 600 GB memori GPU agregat dalam format BF16, yang dapat diturunkan menjadi 180 GB melalui kuantisasi NVFP4. Konfigurasi yang didukung mencakup empat GPU NVIDIA B300 atau delapan GPU H200.
Lisensi Apache 2.0 yang diterapkan memberikan fleksibilitas hukum lebih besar dibandingkan lisensi custom yang kerap digunakan perusahaan lain. Organisasi dapat memodifikasi, mendistribusikan ulang, dan mengintegrasikan model ke produk proprietary tanpa ambang pendapatan atau pembatasan tambahan.
Thinking Machines juga menawarkan diskon 50 persen pada peluncuran, dengan harga API Inkling-Small standar menjadi 0,58 dolar per juta token input dan 1,44 dolar per juta token output. Dukungan fine-tuning tersedia melalui Tinker API.
Rilis ini mencerminkan pematangan pipeline pengembangan Thinking Machines. Proses yang sebelumnya memerlukan banyak sumber daya kini menjadi lebih rutin berkat peningkatan data pra-pelatihan dan distilasi on-policy. Pendekatan ini berpotensi mempercepat inovasi model multimodal open source di industri secara keseluruhan.
Dalam konteks persaingan global, model berlisensi permisif seperti ini dapat mendorong adopsi lebih luas di kalangan perusahaan menengah Asia Tenggara yang memiliki keterbatasan infrastruktur GPU. Efisiensi biaya dan ukuran yang lebih kecil membuka peluang integrasi AI ke dalam sistem internal tanpa bergantung sepenuhnya pada penyedia cloud besar.
Thinking Machines mendistribusikan bobot penuh melalui Hugging Face serta mendukung deployment melalui SGLang, vLLM, dan Unsloth. Kombinasi ini memberikan berbagai jalur implementasi bagi pengembang yang membutuhkan kontrol atas data dan perilaku model.
