RTX 3060 12 GB di bawah beban berkelanjutan: 60 -68 tok/s ke token terakhir

Pada tanggal 30 Oktober 2026 kami menjalankan serangkaian pengukuran panjang di B2003, komputer percobaan kami dengan RTX 3060 12 GB. Hasilnya: dengan penalaran pada (default), Qwen3.8-Flash-Next IQ3_S di Strata memegang 60 -68 tok/s dari token pertama ke 8192 dengan prompt 16K, tanpa penurunan. Dengan penalaran off berjalan pada 79 -96 tok/s. Konteks yang hampir penuh harganya hanya sekitar 8%: dari permintaan 1K ke 30K, mediannya naik dari 88 menjadi 84 tok/dtk.

Artikel kami sebelumnya melaporkan hingga 68 tok/s decoding pada kartu ini. Dua pertanyaan yang paling banyak ditanyakan pada X adalah apakah kecepatan itu bertahan melalui jawaban yang panjang atau hanya puncak pemanasan, dan apakah kinerja bertahan di paruh kedua konteks yang panjang. Untuk menjawabnya, kami mengatur waktu setiap token streaming alih - alih rata - rata atas seluruh jawaban.

Kami memeriksa kecepatan dalam interval jawaban yang sama, konteks dari token 1K hingga 30K, cache prompt yang dingin dan hangat, perutean ahli yang cepat dan tepat, tiga jenis konten (JSON, kode C, prosa teknis Rusia), daya GPU, jam dan suhu, dan apakah output itu sendiri tetap benar.

Pengaturan

• Mesin B2003: ASUS Pro Q870I - C, Intel Core Ultra 7 265, 2×24 GiB DDR5 -5600.
• GPU: RTX 3060 12 GB (GA106), driver 615.71.10, GPU unlock on, power limit 170 W.
• Penyimpanan: Lexar NM1090 PRO 2 TB NVMe (PCIe 5.0 ×4).
• Sistem: Ubuntu 24.04.5, kernel 7.0.0-38.
• Mesin: Strata 0.1.52 (build f -027 - rel).
• Model: Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S (78 GiB, 2 pecahan).

--max-context 32768 --prefill 4096 --pool-workers 12 --spec 4 --spec-min-p 0.5
--kv int8 --kv-resident 32768 --conversation-cache-mib 1536
--resident-experts --resident-budget-gib 24
STRATA_UNBUFFERED_LOAD=1  STRATA_RESIDENT_HEADROOM_GIB=10

Metodologi

• Server tidak mengekspos /memberi token, sehingga token dihitung dari stempel waktu potongan SSE yang dialirkan (1 potongan ≈ 1 token; periksa: 5478 potongan terhadap 5479 token dalam usage.completion_tokens) dan berlabuh ke jumlah token akhir yang tepat. Kata - kata dan baris tidak digunakan.
• Prompt dikalibrasi dengan probe menggunakan MAX_TOKENS: 1 (20,2 token per kalimat pengisi, 145 token overhead tetap); ukuran sebenarnya diperiksa terhadap usage.prompt_tokens.
• Panjang jawaban adalah 32768 dikurangi prompt dikurangi margin, hingga 8192 token; pada 30K ini adalah 2048 token.
• Setiap skenario utama diulang setidaknya 3 kali; kami melaporkan median, minimum dan maksimum. Derau dekode ±20% dan derau prefill ±5%; perbedaan yang lebih kecil tidak dihitung sebagai hasil.
• Telemetri perangkat keras dicatat setiap 3 detik (jam, daya, suhu, pemanfaatan, VRAM, Ram gratis, swap, penghitung baca NVMe). Prefill, MTP draft acceptance, expert - cache hits dan file - tier reads berasal dari log engine.
• Dua mode perutean ahli: cepat (perutean default, sebelum 1,5) dan tepat (STRATA_ROUTE_PRIOR=0). Mode dialihkan dengan menghidupkan kembali mesin.
• 4 baris dalam file mode presisi dihasilkan oleh mesin cepat karena skrip blok ditulis ulang selama pengoperasian. Mereka dikeluarkan dari tabel dan disimpan dalam arsip sebagaimana adanya.
• Secara total: 52 berjalan terukur dalam 13 file JSONL (14 dalam mode cepat, 13 dalam mode presisi dan 25 varian: penalaran, cache hangat, kode, prosa, batas konteks, kalibrasi), ditambah 4 baris yang dikecualikan.

Hasil: kecepatan di dalam jawaban

Nilai dalam tok/s, median (min - max). Konteks adalah ukuran prompt dalam token; jawabannya adalah hingga 8192 token (2048 pada 30K).

Mode cepat, penalaran mati

Mode cepat, penalaran aktif (perilaku default)

Mode tepat, penalaran mati

Dalam mode cepat, kecepatannya rata atau naik menjelang akhir jawaban (16K: 79 → 93, ekor 95). Perlambatan menuju akhir hanya muncul dalam mode yang tepat: 29 → 22 lebih dari 8000 token (−24%). Mode yang tepat dengan penalaran pada 16K memberikan 25 tok/s untuk seluruh jawaban. Routing cepat adalah 3,8× lebih cepat daripada routing yang tepat.

Jenis konten (mode cepat, konteks 16K)

Perbedaannya beberapa kali lebih besar daripada kebisingan decode: struktur yang dapat diprediksi mempercepat pembangkitan 2–2.3×, prosa bebas memperlambatnya. Ini adalah properti konten, bukan perlambatan dari waktu ke waktu.

Isi awal, waktu untuk token pertama dan minta cache

Cache prompt hangat menghapus hampir semua prefill (17,4 detik → 0,2 detik pada 16K, 33,6 detik → 0,4 detik pada 30K) dan tidak mengubah kecepatan decode. Expert - cache hits adalah 98,7 -98,8% dalam mode cepat; NVMe dibaca 1,1 -3,3 GB/s sementara para ahli memuat dan hampir nol selama decoding JSON yang stabil.

Pada prompt 30.151 token dengan batas 32.768, mesin memangkas anggaran jawaban itu sendiri dan diakhiri dengan berhenti atau panjang, tanpa kesalahan. Hanya prompt yang tidak sesuai dengan kesalahan pengembaliannya sendiri 400.

Perangkat keras selama pengoperasian

Rentang di seluruh blok yang diukur; nilai puncak dalam tanda kurung. Mode cepat dibatasi oleh daya GPU: pada tutup 170 W jam turun dari 2160 MHz ke 1815 -1875 MHz pada 75 °C, tanpa pelambatan termal, 11,4 dari 12,3 GiB VRAM yang digunakan dan tanpa swap. Dalam mode presisi GPU menarik sekitar setengah daya pada jam maksimum: GPU menunggu para ahli daripada bekerja, itulah sebabnya kecepatan turun.

Kualitas output

• Format JSON tidak terputus: di semua 12 run terputus dengan batas setiap catatan tetap valid; hanya array itu sendiri yang dibiarkan tidak tertutup.
• Instruksi dari awal prompt masih diikuti pada 30K (aturan tag yang diadakan di ekor, 50/50 dan 22/22).
• Penanda dari tengah dokumen dipanggil kembali pada 16K dan 24K tetapi hilang pada 30K, dalam kedua mode.
• Kelemahan utama mode cepat adalah mengulangi entitas dalam daftar panjang (26 -28 kode unik dari sekitar 190) dan satu lingkaran 122 baris duplikat pada 30K. Mode yang tepat pada 16K tetap 168/168 dan 193/193 unik, tetapi pada 24K dan 30K juga dapat runtuh menjadi 26 -33 kode unik dalam satu run.
• Kode C dalam mode cepat menghasilkan 255 baris berulang dari 681, sehingga tugas kode dalam mode cepat tidak dapat diandalkan.

Batas percobaan ini

Satu mesin dan satu build: kesimpulan tentang batas daya GPU dan pasokan ahli berlaku untuk kartu ini dengan batas 170 W dan 12 GiB VRAM. Mode dialihkan dengan menghidupkan ulang mesin, sehingga berjalan dalam satu mode berturut - turut dan urutannya tidak sepenuhnya acak. Mode presisi dengan cache hangat dijalankan sekali, dan mode presisi pada 1K dan 8K memiliki 2 pengulangan, bukan 3.

Apa artinya bagi pelanggan Box

• Kartu 12 GB yang terjangkau menyimpan 60 -68 tok/s melalui jawaban yang panjang, tidak hanya di awal.
• Dokumen panjang dalam konteks membutuhkan sedikit kecepatan, dan konteks yang berulang dijawab hampir seketika berkat cache prompt.
• Mode dipilih per tugas: cepat untuk data terstruktur, tepat ketika daftar panjang harus tetap unik; kode yang dihasilkan perlu ditinjau.

Data mentah

Semua 145 file percobaan ini tersedia untuk diunduh: 13 file hasil JSONL, 102 teks jawaban dan penalaran, telemetri perangkat keras, log mesin, skrip, status sistem, laporan asli dalam bahasa Rusia, dan draf pos dalam bahasa Inggris. Kunci akses, alamat internal, nama pengguna, dan jalur internal telah dihapus sebelum publikasi.

Unduh tar.gz (264 KB) · Unduh zip (298 KB)

Artikel RTX 3060 · Semua berita