Konfigurasi eksperimental kami: model ~83,6 GB yang berjalan secara lokal dengan anggaran RTX 3060

Ini luar biasa!

Qwen3.8-Flash-Next IQ3_S (~83,6 GB) berjalan secara lokal dengan anggaran RTX 3060 12 GB hanya dengan 48 GB RAM sistem!

Hingga 68 token/decoding detik, ~916 token/pemrosesan prompt detik, dan prompt 30K - token diproses hanya dalam 34 detik.

Didukung oleh Strata oleh coldniko. Tidak ada inferensi cloud. Hanya perangkat keras konsumen yang terjangkau!

Tolok ukur lengkap, spesifikasi perangkat keras, pengoptimalan, dan trade - off di bawah ini.

Anda dapat langsung melompat ke takeaways utama di bagian akhir.

Perangkat keras di balik hasil ini

Tidak ada GPU pusat data, tidak ada server multi - GPU yang mahal, dan tidak ada konfigurasi RAM yang masif.

Seluruh percobaan dilakukan pada PC konsumen/workstation yang cukup biasa.

CPU

• Intel Core Ultra 7 265 (Arrow Lake)
• 20 core / 20 ulir
• Hingga 5,3 GHz
• Cache L3 30 MB
• Dukungan AVX - VNNI/BF16; tidak ada AVX -512

Motherboard

• ASUS Pro Q870I-C
• Chipset Intel Q870, LGA1851
• Faktor bentuk mini - ITX

Memori

• 48 GB DDR5-5600 (2 × 24 GB Micron)
• Sekitar 46 GiB dapat digunakan

GPU

• NVIDIA GeForce RTX 3060 12 GB
• GA106, kemampuan komputasi 8,6
• PCIe 4.0 ×16
• 170 W batas daya yang dikonfigurasi

Penyimpanan

• Lexar NM1090 PRO 2 TB
• PCIe 5.0 ×4 NVMe

OS

• Ubuntu 24.04.5 LTS
• Kernel Linux 7.0.0-38
• Driver NVIDIA 615.71.10

Jaringan

• Intel 1 GbE Ethernet

Detail krusial: model ini jauh lebih besar daripada gabungan VRAM dan RAM yang tersedia.

Itulah yang membuat eksperimen ini menarik.

Arsitektur model, mesin, dan memori

Model

Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S

Dua pecahan GGUF:

• 54.82 GB
• 28.80 GB
• Total: 83,62 GB (77,87 GiB)

Komponen tambahan

• Bobot padat yang dikemas: ~ 1,5 GiB
• MTP speculative - decoding drafter
• Adaptor penglihatan BF16: ~866 MB
• Encoder visi berbasis CPU (12 utas)

Mesin inferensi

• Strata engine 0.1.52
• CUDA 13.0 backend
• Arsitektur CUDA sm_86

Alokasi memori aktual

• GPU VRAM: 11,14 GiB digunakan
• Pakar residen dalam RAM sistem: 24 GiB
• Sisa data ahli yang dialirkan dari NVMe
• Tidak ada aktivitas swap selama inferensi normal

Pengaturan konfigurasi penting

--expert-cache auto
--prefill 4096
--spec 4
--spec-min-p 0.5
--mtp mtp/rt
--max-context 32768
--kv int8
--kv-grow
--kv-resident 32768
--vision
--vram-reserve-mib 960
--pool-workers 12
--conversation-cache-mib 1536
--prompt-cache-tail
--prompt-cache-spread
--resident-experts
--resident-budget-gib 24

Ini bukan pengaturan "memuat seluruh model ke memori GPU" konvensional.

Strata menggunakan memori GPU, RAM sistem, caching ahli, dan penyimpanan NVMe bersama - sama.

Optimalisasi yang penting adalah meminimalkan transfer ahli yang mahal sekaligus menjaga GPU tetap produktif.

Hasil tolok ukur nyata

Model yang sama, perangkat keras yang sama, dua konfigurasi perutean.

Mode A: perutean ahli yang cepat dan bias residensi (sebelumnya = 1,5)

Waktu dingin untuk token pertama:

• 1K: 3.7 s
• 4K: 4.9 s
• 8K: 9.7 s
• 16K: 17.3 s
• 30K: 33.9 s

Sebagai perbandingan, Mode B menonaktifkan routing yang bias residensi (sebelum = 0):

Lari pembangkitan 500 token:

• Cepat: 62 tok/dtk, total 7,1 dtk
• Tepat: 21 tok/dtk, total 20,8 dtk

Pengukuran kecepatan diperiksa silang terhadap timing streaming sisi klien.

Pengamatan utama:

Menonaktifkan routing berbasis cache dapat mengurangi kecepatan decoding sekitar2-2.4 ×.

Tetapi ada alasan penting untuk tidak mengaktifkan routing agresif untuk setiap beban kerja. Lebih lanjut tentang itu di bagian berikutnya.

Kecepatan vs kualitas model: trade - off tersembunyi

Pada versi mesin Strata ini, GPU dengan VRAM ≤13 GB secara otomatis menggunakan routing berbasis residensi:

STRATA_ROUTE_PRIOR=1.5

Ini menguntungkan para ahli yang sudah tersedia dalam memori cepat alih - alih selalu memilih para ahli yang lebih disukai oleh router asli.

Manfaatnya dramatis:

• Tingkat hit cache ahli: 97,2% dalam mode cepat
• Tanpa bias: 65,3%
• Penyimpanan dibaca selama beban kerja yang dibandingkan: 5,5 GiB vs 46 GiB
• Kecepatan decoding: sekitar 2× lebih cepat

Tapi ini BUKAN pengoptimalan gratis.

Mengubah pemilihan ahli dapat mengubah perilaku model, meningkatkan divergensi dari model asli, dan mempengaruhi penalaran panjang atau alur kerja agen.

Menurut evaluasi pengembang pada 10 tugas agen:

• Routing sebelum 1.5: 4.5/10
• Routing sebelum 0: 5.6/10

Hasil baseline sendiri bervariasi antar run, jadi ini adalah hasil directional, bukan pengukuran kualitas definitif.

Enam cek agen pendek saya sendiri lulus dalam kedua mode.

Namun, stres terpisah menjalankan pengulangan yang terpapar:

• Mode cepat: 205 baris, 96 duplikat
• Mode presisi: 209 baris, 79 duplikat

Kesimpulannya sangat mudah:

• Routing cepat untuk obrolan, penggunaan interaktif, dan tugas singkat.
• Routing asli untuk alur kerja agen yang lebih lama dan peka terhadap kualitas.

Dan kecepatan tolok ukur saja tidak boleh disalahartikan dengan kualitas model.

Caching yang cepat mengubah segalanya

Salah satu hasil yang paling mengesankan bukanlah kecepatan decoding. Itu adalah waktu respons untuk permintaan berulang menggunakan prompt yang sama.

Dengan prompt yang sepenuhnya di - cache:

Itu kira - kira 45 -90× lebih sedikit waktu untuk token pertama dalam rangkaian ini.

Cache prompt membuat perbedaan besar ketika berulang kali menanyakan dokumen panjang yang sama atau mempertahankan percakapan dengan konteks yang stabil.

Mesin juga dikonfigurasi untuk caching percakapan:

• Anggaran cache 1.536 MiB
• Minimum 4.096 token untuk parkir
• Ambang batas memori bebas minimum: 1.536 MiB

Ada tangkapan: hasil ini untuk petunjuk yang identik dengan cache yang dapat digunakan kembali sepenuhnya.

Ini tidak berarti permintaan token 30K baru yang sewenang - wenang akan diproses dalam setengah detik.

Tetapi untuk AI lokal interaktif, cache yang hangat adalah pengubah permainan.

Misteri SSD: PCIe 5.0 bukan bottleneck

Pada awalnya, drive NVMe tampak mencurigakan lambat. Kami menyelidiki tautan PCIe, topologi penyimpanan, dan perilaku I/O aktual.

Drive: Lexar NM1090 PRO 2 TB, PCIe 5.0 ×4.

Koneksi PCIe terverifikasi:

• Tautan saat ini: 32,0 GT/s ×4
• Tautan maksimum: 32,0 GT/s ×4
• Port root CPU: 32,0 GT/s ×4

Jadi drive berjalan pada kecepatan tautan PCIe 5.0 penuh.

Tolok ukur baca uncached langsung:

• Aliran tunggal, 1 -4 blok MiB: 2,9 -3,4 GB/dtk
• Empat aliran paralel: 10,94 GB/dtk
• Empat aliran, 64 blok KiB: 2,25 GB/dtk
• Empat aliran, 4 blok KiB: 0,26 GB/s (~63K IOPS)

Hasil paralel 10,94 GB/s itu sangat penting: melebihi bandwidth praktis PCIe 4.0 ×4.

Mengapa throughput single - stream jauh lebih rendah?

Karena bandwidth PCIe tidak sama dengan throughput tingkat aplikasi.

Kedalaman antrian, ukuran I/O, paralelisme permintaan, dan latensi semua materi.

Pola pemuatan ahli Strata jauh lebih dekat dengan kasus konkurensi yang lebih rendah daripada tolok ukur throughput maksimum sintetis.

Throughput penyimpanan mesin yang diamati:

• Perutean cepat: ~ 0,3 GB/dtk
• Routing asli: ~2,4 GB/dtk

Perbedaannya berasal dari berapa banyak ahli yang harus diambil, bukan dari downgrade PCIe.

Satu lagi detail yang berguna: RTX 3060 itu sendiri adalah perangkat PCIe 4.0. Melihat tautannya jatuh ke Gen1 saat menganggur adalah perilaku manajemen daya yang normal.

Selalu periksa perangkat mana yang Anda ukur sebelum mendiagnosis masalah PCIe.

Pelajaran penting: jangan biarkan Linux meng - cache model 83,6 GB pada mesin 48 GB

Kami mengalami masalah serius selama startup awal.

Konfigurasi pertama memungkinkan pemuatan buffer dari file model.

Modelnya adalah ~83,6 GB, sedangkan sistem hanya memiliki 48 GB RAM fisik.

Di bawah beban kerja itu, Linux memasuki tekanan reklamasi memori yang parah. Mesin menjadi hampir tidak responsif, termasuk konektivitas SSH, dan memerlukan restart paksa.

Solusinya adalah mengubah strategi pemuatan dan memperkenalkan pengamanan memori.

Pengaturan saat ini:

• STRATA_UNBUFFERED_LOAD=1
• STRATA_RESIDENT_HEADROOM_GIB=10
• Anggaran ahli penduduk 24 GiB
• Ketersediaan memori diperiksa sebelum peluncuran
• Margin keselamatan tambahan 12 GiB dalam kebijakan peluncuran

Setelah perubahan ini:

• Tidak ada aktivitas swap selama inferensi normal
• Sekitar 34,6 GiB RAM digunakan pada titik yang diamati
• Sekitar 12,7 GiB tersedia
• Pembangkitan stabil di bawah beban

Pelajarannya:

Menjalankan model yang lebih besar dari memori fisik Anda adalah mungkin, tetapi penghitungan memori sangat penting.

Tekanan cache halaman, data model yang disematkan, ahli residen, dan cache KV harus dipertimbangkan bersama.

Jangan menyalin flag kinerja maksimum secara membabi buta dari mesin dengan konfigurasi RAM yang jauh lebih besar.

Konsumsi daya, termal, dan biaya inferensi

Ini adalah kejutan menyenangkan lainnya.

Daya komponen terukur:

Diam dengan model dimuat:

• CPU: ~5.8 W
• GPU: 15–18 W

Selama generasi:

• CPU: ~62.8 W
• GPU: 152–167 W
• Puncak GPU singkat sekitar 174 W

Perkiraan total daya sistem di dinding (tidak diukur menggunakan pengukur dinding):

• Diam: ~54 W
• Generasi: ~280 W

Suhu yang diamati:

• GPU di bawah beban: 62 -68° C
• GPU saat diam: ~40°C
• NVMe: 38–47°C

Tidak ada pelambatan termal yang diamati.

Dengan asumsi harga listrik € 0,25/kWh:

• 24 jam menganggur: ~€ 0,32
• 30 hari terus menganggur: ~€ 9,72
• Satu jam generasi aktif: ~€ 0,07

Ini membuatnya sepenuhnya realistis untuk mengoperasikan titik akhir AI lokal yang mampu menjaga privasi di rumah.

Tentu saja, itu adalah perkiraan biaya listrik, bukan total biaya kepemilikan. Tidak termasuk penyusutan, pendinginan, dan pemeliharaan perangkat keras.

Di mana pengaturan RTX 3060 berhenti masuk akal

Konfigurasi ini sangat baik untuk permintaan interaktif singkat, tetapi memiliki batasan.

Yang terpenting:

• Konteks maksimum: 32.768 token
• Prompt di dekat 32K menyisakan ruang yang tidak mencukupi untuk pembangkitan
• Plafon tolok ukur praktis adalah ~30.165 token input
• Berpikir/bernalar dapat mengkonsumsi ratusan token tambahan yang dihasilkan
• Sesi agen jangka panjang dengan cepat menjadi terbatas

Sebagai perbandingan, saya menjalankan model yang sama pada sistem lokal yang lebih kuat dengan GPU 24 GB.

Kinerja terukur pada sistem itu:

• Prefill prompt 4K: 1.339 tok/s
• Dekode 4K: 94 tok/s
• Prefill prompt 16K: 2.956 tok/s
• 16K decode: 125 tok/s
• Konteks maksimum: 262.144 token
• 15 utas pekerja

Sistem RTX 3060 memberikan throughput prefill yang jauh lebih rendah dan kira - kira setengah throughput decoding dalam kasus yang sebanding, dengan seperdelapan dari konteks yang tersedia.

Namun, kartu 12 GB jauh lebih mudah diakses dan tetap sangat berguna.

Pendekatan saya saat ini:

• Perangkat keras yang lebih kuat untuk agen yang kompleks dan tahan lama
• GPU 12 GB yang terjangkau untuk obrolan, alur kerja singkat, eksperimen, dan kesimpulan cadangan

Intinya bukan berpura - pura GPU murah menggantikan mesin kelas atas.

Intinya adalah seberapa banyak AI lokal yang berguna sudah dapat berjalan pada perangkat keras yang murah.

Apa yang masih bisa dioptimalkan?

Sistem ini sudah berkinerja baik, tetapi ada beberapa jalan menarik untuk eksperimen lebih lanjut.

Concurrent inference

Opsi --slots 2 dapat meningkatkan throughput total dengan dua percakapan simultan.

Perkiraan +10 -12% throughput agregat dimungkinkan untuk beban kerja ini, tetapi perlu validasi.

Ini tidak berarti satu percakapan menjadi 12% lebih cepat.

Batch prefill yang lebih besar

Saat ini: --prefill 4096

Kandidat: --prefill auto:16384

Jendela prefill yang lebih besar mungkin meningkatkan pemrosesan jangka panjang, tetapi VRAM yang tersedia sudah ketat.

Dengan sekitar 11,14 GiB dari 12 GiB GPU yang ditempati, perilaku memori harus diukur dengan hati - hati.

Ram sistem lebih banyak

Menggunakan --ple-io ram dapat membawa lebih banyak data model ke memori sistem dan mengurangi pembacaan penyimpanan.

Dokumentasi pengembang menunjukkan:

• +16 -31% kinerja prefill
• +3 -11% kinerja decoding

Tetapi konfigurasi ini akan membutuhkan RAM yang jauh lebih besar, sekitar 72+ GiB untuk tata letak yang diukur.

Ini tidak praktis pada konfigurasi 48 GB saat ini.

Penguraian spekulatif

MTP speculative decoding sudah diaktifkan.

Penerimaan yang diamati: ~33 -41 token yang diterima dari 50 -60 yang disusun, atau sekitar 65 -70%.

Konteks yang lebih panjang

Batas 32K saat ini adalah batas konfigurasi operasional, bukan bukti bahwa model itu sendiri hanya mendukung 32K.

Meningkatkannya membutuhkan pengecekan ulang kapasitas memori, perilaku cache KV, latensi, dan stabilitas.

Untuk beban kerja ini, mengurangi pembacaan ahli yang mahal dan meningkatkan pola akses mungkin lebih penting daripada meningkatkan bandwidth sekuensial maksimum drive.

Seperti biasa: patokan beban kerja sebenarnya, bukan hanya angka pemasaran perangkat keras.

Pemikiran akhir

Inilah yang ditunjukkan oleh eksperimen ini.

Model Moe terkuantisasi ~ 83,6 GB dapat berjalan secara lokal pada:

• RTX 3060 12 GB
• 48 GB DDR5 RAM
• CPU Intel Konsumen
• PCIe 5.0 NVMe SSD
• Ubuntu + Strata

Dengan hasil terukur hingga:

• 68 tok/s decoding hangat
• 916 tok/s pemrosesan cepat
• 30K - token cold prompt dalam ~34 detik
• Prompt 30K yang sepenuhnya di - cache: ~0,44 detik ke token pertama
• Tidak ada swap dalam kondisi operasi normal

Tapi ada peringatan penting.

• Konteks terkonfigurasi maksimum adalah 32K
• Perilaku model perubahan perutean ahli yang cepat
• Kecepatan tertinggi belum tentu kualitas tertinggi
• Kinerja penyimpanan tergantung pada pola akses
• Manajemen memori membutuhkan penyetelan yang cermat
• Agen jangka panjang mendapat manfaat dari perangkat keras yang lebih kuat

Saya sangat tertarik dengan ekonomi praktis AI lokal.

Bukan hanya tolok ukur maksimum pada sistem € 10.000, tetapi kinerja yang berguna yang dapat dicapai pada mesin konsumen dan konfigurasi yang terjangkau mulai sekitar € 1.000.

Privasi, kemandirian, biaya operasional yang terkendali, dan kegunaan dunia nyata lebih penting daripada mengejar angka tolok ukur yang mengesankan saja.

Ini masih merupakan eksperimen yang terus berkembang, dan saya akan terus membagikan pengukuran, kegagalan, perubahan konfigurasi, dan peningkatan.

Masa depan AI lokal sudah menjadi sangat terjangkau.

Penambahan nanti

Oh, saya lupa menyebutkan bahwa GPU berjalan dengan NVIDIA Unlock, yang dirilis beberapa hari yang lalu, minggu lalu.

Sekarang saya telah meminta agen AI saya untuk menjalankan tolok ukur yang sama tanpa membuka kunci, jadi kami akan dapat membandingkan hasilnya dalam waktu sekitar 15 -20 menit.

Dalam beberapa hari ke depan, meskipun tidak hari ini, saya akan menginstal GPU ini dalam sistem dengan biaya kurang dari $ 1.000 dan melihat kinerjanya di sana.

Utas asli pada X · Semua berita