GPU memory menjadi sumber daya paling mahal dan cepat habis dalam produksi kecerdasan buatan skala besar. Jendela konteks yang panjang serta percakapan multi-turn memaksa model AI menghitung ulang informasi yang sudah diproses sebelumnya, sehingga membuang siklus komputasi yang seharusnya dapat digunakan untuk melayani pengguna lain.
Weka menawarkan pendekatan berbeda dengan memperluas memori GPU menggunakan teknologi penyimpanan flash yang jauh lebih murah. Platform NeuralMesh 6 yang baru diluncurkan bersama perangkat keras Wekapod 3 memperkenalkan Augmented Memory Grid, yaitu metode agregasi NAND flash agar berperilaku seperti memori GPU dengan biaya per terabyte yang lebih rendah.
Fitur utama NeuralMesh 6 mencakup composable dan virtual multi-tenancy yang memberikan isolasi tingkat perangkat keras bagi tenant utama sekaligus mendukung hingga 50.000 tenant virtual dalam satu kluster. Selain itu, unified file dan object storage memungkinkan data yang sama diakses langsung melalui jalur file maupun S3 tanpa lapisan terjemahan tambahan.
Metadata-first replication menjadi keunggulan lain, karena lingkungan tujuan dapat dijelajahi sebelum seluruh salinan data selesai ditransfer. Proses ini memungkinkan organisasi memanfaatkan alokasi GPU baru dalam waktu kurang dari satu jam, bukan menunggu berhari-hari.
AlloyFlash menggabungkan TLC dan QLC dalam satu kluster, secara otomatis mengarahkan beban kerja sensitif latensi ke TLC sementara beban kerja berkapasitas besar berjalan di QLC. Data reduction kini berjalan secara default, memberikan jaminan kontraktual terhadap klaim pengurangan data.
Masalah konteks yang semakin kompleks pada sesi multi-turn seperti chat atau coding menjadi fokus Augmented Memory Grid. Setiap prompt melewati tahap prefill yang mahal secara komputasi dan decode yang lebih ringan. Tanpa caching, sepuluh putaran percakapan dapat menyebabkan perhitungan ulang hingga seratus kali lipat.
Dengan menyimpan seluruh token yang telah dihitung sebelumnya di NAND flash, sistem menghilangkan kebutuhan untuk mengulang prefill. Pendekatan ini memberikan efisiensi GPU yang signifikan bagi organisasi yang menjalankan AI pada skala besar.
Dalam konteks pasar yang semakin ramai, NeuralMesh 6 menonjol karena dirancang sejak awal untuk beban kerja AI, bukan sekadar adaptasi dari solusi penyimpanan tradisional. Hal ini berdampak langsung pada pengurangan konsumsi daya pusat data, karena komputasi yang tidak perlu dapat dihindari secara sistematis.
Selain itu, teknologi ini mendukung percepatan adopsi AI di sektor yang membutuhkan interaksi panjang, seperti layanan pelanggan berbasis agen atau sistem retrieval dengan konteks luas, tanpa harus menambah jumlah GPU secara proporsional.
