Konteks 256K pada RTX 3050 8GB di stasiun kerja DDR3

Pada 11 November 2026, hasil diterbitkan dari stasiun kerja P3001: Intel Xeon E5-2697 v2 (12 inti / 24 utas, hanya AVX1), 64GB RAM ECC DDR3 terpasang (sistem melihat sekitar 62GB) pada 1333 MT/s, NVIDIA RTX 3050 8GB, SSD NVMe, dan Ubuntu 24.04. Perangkat lunaknya adalah Strata 0.1.55 (build kompatibel AVX) dengan Qwen3.8-Flash-Next IQ3_S, model yang dikompresi.

Konfigurasi 16K sebelumnya: 59 tok/s pada teks nyata

Lebih awal pada hari yang sama, konfigurasi konteks 16K dengan tembolok KV 8-bit dilaporkan pada mesin yang sama. Tembolok KV adalah memori kerja model untuk token yang sudah diproses. Angka yang diterbitkan bersama kiriman itu:

Kiriman yang sama menyatakan 59 tok/s pada pengodean balik teks nyata dan 120–132 tok/s prefill. Utas kemudian merinci bahwa 59 tok/s itu berasal dari pengodean balik spekulatif: Strata memprediksi beberapa token berikutnya dan memverifikasinya bersama. Pada teks nyata, penerimaan prediksi tinggi; pada isian acuan semu, tidak (sekitar 70% penerimaan pada isian sintetis, menurut kiriman 16K). Prefill dibatasi oleh DDR3-1333 dan AVX1; dalam konfigurasi 16K itu, 8GB VRAM membatasi konteks hingga 16K.

Konfigurasi 256K

Tujuan yang dinyatakan adalah jendela konteks 256K token — kapasitas sekitar 262.144 token dalam satu permintaan. Percobaan pertama hanya menaikkan batas ke 256K dengan tembolok KV 8-bit. Menurut kiriman, Strata kemudian mencoba menahan terlalu banyak memori kerja itu di 8GB VRAM GPU, tembolok pakar di GPU turun ke nol slot, lalu muncul kesalahan cuBLAS. Server masih merespons, tetapi percepatan GPU tidak berfungsi dengan benar.

Solusi yang diterbitkan: memindahkan tembolok KV dari int8 ke q4_0 (kompresi 4-bit), dengan memori per token turun dari sekitar 71KB ke 29,5KB; mengatur –kv-resident 20480, sehingga hanya 20.480 posisi KV yang tetap tinggal di memori GPU dan data KV tambahan datang dari RAM sistem; menahan 46,47GB pakar model di RAM DDR3 yang dikunci halaman (page-locked); mempertahankan 498 slot tembolok pakar di memori GPU; dan membatasi tembolok perintah ke satu titik periksa aktif. Pengaturan akhir yang dinyatakan: –max-context 262144, –kv q4_0, –kv-resident 20480, –prompt-cache 1, –prompt-cache-every 0. Kiriman menyatakan bahwa Strata kemudian mulai dengan benar dan melaporkan max_context: 262144, loaded: true.

Kecepatan terukur

Angka berikut adalah pengukuran mesin inferensi itu sendiri, satu uji jalan per baris — data awal, bukan rata-rata dari acuan berulang. Prefill adalah pemrosesan masukan sebelum jawaban; decode adalah pembentukan token demi token; TTFT adalah waktu tunggu hingga token jawaban pertama.

Kiriman mencatat bahwa menaikkan masukan dari sekitar 6K ke 160K token hanya menurunkan prefill dari 188 ke 173 tok/s, sementara decode tetap sekitar 23–26 tok/s. Uji jalan berulang 24K token dengan konteks dalam tembolok menurunkan TTFT dari 128,3 detik menjadi 0,49 detik. Masukan dingin 160K token memakan waktu sekitar 15,5 menit hingga token jawaban pertama — dikaitkan dengan hambatan Xeon lama dan memori DDR3. Laporan agen tentang uji jalan 200K token disebutkan, tetapi baris angka lengkap uji jalan itu tidak ada dalam tabel.

Pembedaan penting dalam utas: 256K adalah batas konteks yang dikonfigurasi dan dinyatakan. Pengukuran rinci mencapai 160K, bukan 256K penuh. Jendela 262K penuh belum diukur pada saat kiriman. Sebuah balasan memperkirakan sekitar 26 menit prefill dingin untuk 262K penuh, dan menyatakan bahwa itu masih perlu diukur. Angka 59 tok/s belum ditetapkan untuk beban konteks 256K. Prefill konfigurasi baru lebih tinggi daripada konfigurasi 16K sebelumnya; utas memperlakukannya sebagai perbedaan yang diamati antarkonfigurasi, bukan sebagai bukti satu penyebab, karena format KV dan tata letak memori juga berubah.

Batasan dan perkiraan energi

Batasan yang disebutkan dalam utas: memori GPU hampir penuh, sekitar 7,5–7,7GB dari 8GB terpakai, dengan beberapa uji jalan memperingatkan bahwa hanya 193–331MB yang tersisa bebas; RAM sistem sekitar 53GB dari 62GB, dengan sekitar 46,5GB ditempati pakar model yang dikunci dalam memori; hanya satu titik periksa hangat tembolok perintah, sehingga berpindah antarpercakapan yang sangat besar dapat menuntut pemrosesan ulang masukan (satu titik periksa 200K token saja dapat menempati sekitar 4,7GB); dan perintah panjang yang dingin lambat.

Perkiraan kasar energi untuk prefill 160K dinyatakan sebagai 300W × 15,5 menit ≈ 0,078 kWh. Pada 0,25 €/kWh, itu sekitar 0,02 € listrik. Kiriman menandainya sebagai perkiraan, bukan pengukuran energi.

Kesimpulan praktis utas adalah bahwa AI lokal yang hemat tidak dimaksudkan untuk bersaing dengan model awan pada sesi panjang dan menuntut, di mana layanan awan sering lebih cepat dan lebih hemat. Keunggulan utama komputer lama dan murah ini adalah privasi: mengolah dokumen sensitif secara lokal. Untuk banyak tugas seperti itu, jendela konteks kecil sudah cukup. Hasil yang diterbitkan adalah bahwa RTX 3050 8GB dapat menjalankan model lokal yang dikonfigurasi pada 256K tanpa memindahkan seluruh memori kerjanya ke VRAM. Pengukuran lebih lanjut — termasuk rentang konteks penuh, pengulangan, dan mutu pada tugas — masih diperlukan.

Hasil pengukuran dan log diterbitkan di repositori publik.

Repositori proyek di GitHub · Postingan di X · Hasil 16K · Semua berita