Nyheter
RTX 3060 12 GB under långvarig belastning: 60-68 tok/s till den sista token
Vi mätte hastigheten inuti varje långt svar, token för token, istället för att i genomsnitt: 60-68 tok/s med resonemang över ett 8192-token-svar i 16K-sammanhang, 79-96 tok/s utan resonemang, och endast cirka 8% förlorade från en 1K till en 30k-prompt. Alla 145 raw-filer finns att ladda ner.
Den 30 oktober 2026 körde vi en lång serie mätningar på B2003, vår experimentdator med en RTX 3060 12 GB. Resultatet: med resonemang på (standard), Qwen3.8-Flash-Next IQ3_S på Strata håller 60-68 tok/s från den första token till 8192nd vid en 16K prompt, utan droppar. Med reasoning off körs den på 79-96 tok/s.ett nästan fullständigt sammanhang kostar bara cirka 8%: från en 1K till en 30k-prompt går medianen från 88 till 84 tok/s.
Vår tidigare artikel rapporterade upp till 68 tok/s avkodning på detta kort. De två frågorna vi ställs mest på X är om den hastigheten håller genom ett långt svar eller bara är en uppvärmningstopp, och om prestanda håller i andra halvan av ett långt sammanhang. För att svara på dem, vi tidsinställda varje strömmade token i stället för medelvärde över hela svaret.
Vi kontrollerade hastighet i intervaller med samma svar, sammanhang från 1K till 30k-tokens, en kall och en varm snabb cache, snabb och exakt expertrutning, tre innehållstyper (JSON, C-kod, Rysk teknisk prosa), GPU-kraft, klockor och temperatur, och om själva utgången stannade korrekt.
Setup
- Maskinen B2003: ASUS Pro Q870I-C, Intel Core Ultra 7 265, 2 Jnist 24 GiB DDR5-5600.
- GPU: RTX 3060 12 GB (GA106), drivrutin 615.71.10, GPU-upplåsning på, effektgräns 170 W.
- Lagring: Lexar NM1090 PRO 2 TB NVMe(PCIe 5.0 4).
- System: Ubuntu 24.04.5, kärna 7.0.0-38.
- Motor: Strata 0.1.52 (bygga f-027-rel).
- Modell: Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S (78 GiB, 2 skärvor).
--max-context 32768 --prefill 4096 --pool-workers 12 --spec 4 --spec-min-p 0.5
--kv int8 --kv-resident 32768 --conversation-cache-mib 1536
--resident-experts --resident-budget-gib 24
STRATA_UNBUFFERED_LOAD=1 STRATA_RESIDENT_HEADROOM_GIB=10Metod
- Servern exponerar inte /tokeniserar, så tokens räknades från tidsstämplarna för strömmade SSE-bitar (1 chunk xx 1 token; kontrollera: 5478 bitar mot 5479 tokens i användning.completion_tokens) och förankrad till den exakta slutliga token räkna. Ord och rader användes inte.
- Uppmaningar kalibrerades med sonder med max_tokens: 1 (20,2 tokens per fyllnads mening, 145 tokens av fast overhead); den faktiska storleken kontrollerades mot användning.prompt_tokens.
- Svarlängden var 32768 minus prompten minus en marginal, upp till 8192 tokens; vid 30K är detta 2048 tokens.
- Varje nyckelscenario upprepades minst 3 gånger; vi rapporterar median, minimum och maximum. Avkodningsbrus är 20% och förfyllningsbrus 5%; mindre skillnader räknades inte som resultat.
- Hårdvarutelemetri registrerades var 3: e sekund (klockor, effekt, temperatur, utnyttjande, VRAM, fri RAM, byte, NVMe-läsmätare). Förfyllning, MTP-utkast, expert-cache-träffar och fil-tier-läsningar kom från motorloggen.
- Två expert routing lägen: snabb (Standard routing, före 1.5) och exakt (STRATA_ROUTE_PRIOR=0). Lägen byttes genom att starta om motorn.
- 4 rader i filen precise-mode producerades av fast engine eftersom blockskriptet skrevs om under körningen. De är undantagna från tabellerna och förvaras i arkivet som de är.
- Totalt: 52 uppmätta körningar i 13 JSONL-filer (14 i snabbläge, 13 i exakt läge och 25 varianter: resonemang, varm cache, kod, prosa, kontextgräns, kalibrering), plus de 4 uteslutna raderna.
Resultat: hastighet inuti svaret
Värden i tok/s, median (min-max). Kontext är snabbstorleken i tokens; svaret är upp till 8192 tokens (2048 vid 30K).
Snabbläge, resonemang av
| Sammanhang | Köra | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | Svans | Hela svaret |
|---|---|---|---|---|---|---|---|---|---|
| 983–1516 | 3 | 86 (56–86) | 87 (87–88) | 86 (85–88) | 88 (88–90) | — | — | 92 | 88 (55–89) |
| 7865 | 2 | 84 (81–87) | 96 (93–99) | 94 | 95 (94–96) | — | — | 94 | 93 (93–94) |
| 15816 | 3 | 79 (77–88) | 86 (86–96) | 90 (90–96) | 92 (90–98) | 93 (93–96) | 93 (92–96) | 95 | 91 (90–96) |
| 23917 | 3 | 81 (77–85) | 86 (83–91) | 83 (81–92) | 90 (80–90) | 96 | — | 83 | 86 (80–92) |
| 30153 | 3 | 78 (77–78) | 86 (86–87) | 86 (85–88) | — | — | — | 86 | 84 (84–85) |
Snabbläge, resonemang på (standardbeteende)
| Sammanhang | Köra | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | Svans | Hela svaret |
|---|---|---|---|---|---|---|---|---|---|
| 15854 | 1 | 61 | 68 | 61 | 59 | 58 | 60 | 85 | 60 |
| 30191 | 1 | 66 | 56 | 65 | — | — | — | 96 | 63 |
Exakt läge, resonemang av
| Sammanhang | Köra | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | Svans | Hela svaret |
|---|---|---|---|---|---|---|---|---|---|
| 1011 | 2 | 27 (26–29) | 28 (26–29) | 27 (26–28) | 25 (24–26) | 25 (24–25) | 23 | 26 | 25 (25–26) |
| 7893 | 2 | 29 (29–30) | 30 (29–31) | 28 (24–31) | 27 (22–31) | 26 (21–31) | 27 | 24 | 26 (23–30) |
| 15814 | 3 | 29 (26–32) | 27 (25–32) | 26 (22–28) | 23 (20–24) | 23 (20–23) | 22 | 21 | 24 (21–24) |
| 23915 | 3 | 31 (30–32) | 32 (31–34) | 29 (26–31) | 25 (25–28) | 24 | — | 24 | 26 (26–29) |
| 30151 | 3 | 32 (28–32) | 32 (30–33) | 29 (29–30) | — | — | — | 29 | 30 |
I snabbläge är hastigheten platt eller stiger mot slutet av svaret (16K: 79 x 93, svans 95). En avmattning mot slutet visas endast i exakt läge: 29 xnumx 22 över 8000 tokens (-24%). Exakt läge med resonemang på vid 16K ger 25 tok/s för hela svaret. Snabb routing är 3,8 jd snabbare än exakt routing.
Innehållstyp (snabbläge, 16K sammanhang)
| Uppgift | Svar, tokens | Hela svaret, tok/s | MTP-utkast accepterade |
|---|---|---|---|
| JSON array of records | 8192 | 91 (90–96) | 92% (90–98%) |
| C-kod | 7332 | 59 | 74% |
| Rysk teknisk prosa | 4730 | 40 (40–43) | 38% (1327/3485) |
Skillnaderna är flera gånger större än avkoda brus: förutsägbar struktur hastigheter generation upp 2–2.3×, fri prosa saktar ner det. Detta är en egenskap av innehållet, inte en avmattning över tiden.
Förfyllning, tid till första token och snabb cache
| Fall | Prompt, tokens | Kall förfyllning, tok/s | Kall TTFT | Varm TTFT | Återanvända tokens |
|---|---|---|---|---|---|
| 1K | 983–1516 | 293 | 3.4–3.8 s | — | 0 |
| 8K | 7865 | 865 | 9.1–9.2 s | — | 0 |
| 16K | 15816 | 908 | 17.3–17.6 s | 0.2 s | 15 803 |
| 24K | 23917 | 914 | 25.4–26.3 s | — | 0 |
| 30K | 30153 | 892 | 33.6–34.5 s | 0.4 s | 30 141 |
En varm prompt cache tar bort nästan all förfyllning (17.4 s 0.2 s vid 16K, 33.6 s 0.4 s vid 30K) och ändrar inte avkodningshastigheten. Expert-cache-träffar var 98,7–98,8% i snabbläge; NVMe-läsningar var 1,1-3,3 GB/s medan experter laddade och nästan noll under stadig JSON-avkodning.
Vid en 30,151-token-prompt med en 32,768-gräns trimmar motorn själva svarsbudgeten och slutar med stopp eller längd, utan fel. Endast en prompt som inte passar på egen retur fel 400.
Hårdvara under körningarna
| Block | Makt | Temperatur | SM klocka | VRAM | Swap | NVMe läs |
|---|---|---|---|---|---|---|
| Snabbläge | 162–169 W (max 170.2) | 74–76 °C | 1815–1875 MHz | 11 409–11 423 MiB | 0 | 0.2–4.7 GB/s (6.6) |
| Exakt läge | 88–105 W (max 167) | 62–71 °C | 1965–1972 MHz | 11 425 MiB | 0 | 1.6–2.3 GB/s (6.1) |
Intervall över de uppmätta blocken; toppvärden inom parentes. Snabbläget är begränsat av GPU-effekt: vid 170 W-locket sjunker klockorna från 2160 MHz till 1815-1875 MHz vid 75 ch, utan termisk strypning, 11,4 av 12,3 GiB VRAM i bruk och ingen byte. I exakt läge drar GPU ungefär hälften av kraften vid maximala Klockor: den väntar på experter snarare än att arbeta, varför hastigheten sjunker.
Utskriftskvalitet
- JSON-formatet bryts inte: i alla 12 körningar som avbröts av gränsen var varje post giltig; endast själva matrisen lämnades oavslutad.
- En instruktion från början av prompten följs fortfarande vid 30K (taggregeln hålls i svansen, 50/50 och 22/22).
- En markör från mitten av dokumentet återkallas vid 16K och 24K men förloras vid 30K, i båda lägena.
- Den största svagheten i snabbläge är att upprepa enheter i långa listor (26-28 unika koder av cirka 190) och en slinga med 122 dubbla rader vid 30K. exakt läge vid 16K höll 168/168 och 193/193 unikt, men vid 24K och 30K kan det också kollapsa till 26-33 unika koder i en körning.
- C-kod i snabbläge producerade 255 upprepade rader av 681, så koduppgifter i snabbläge är inte tillförlitliga.
Gränserna för detta experiment
En maskin och en byggnad: slutsatserna om GPU-effektgränsen och expertförsörjningen gäller för detta kort med en 170 W-gräns och 12 GiB VRAM. Lägen byttes genom att motorn startades om, så körningar inom ett läge var på varandra följande och ordningen var inte helt randomiserad. Exakt läge med en varm cache kördes en gång, och exakt läge vid 1K och 8K hade 2 upprepningar istället för 3.
Vad detta betyder för en Box-kund
- Ett prisvärt 12 GB-kort håller 60-68 tok/s genom långa svar, inte bara i början.
- Långa dokument i sammanhang kostar lite hastighet, och ett upprepat sammanhang besvaras nästan omedelbart tack vare snabbcachen.
- Läget väljs per uppgift: snabbt för strukturerad data, exakt när långa listor måste förbli unika; genererad kod behöver granskas.
Rådata
Alla 145-filer i detta experiment är tillgängliga för nedladdning: 13 jsonl-resultatfiler, 102 svars-och resonemangstexter, hårdvarutelemetri, motorloggar, skript, systemtillståndet, den ursprungliga rapporten på ryska och postutkastet på engelska. Åtkomstnycklar, interna adresser, användarnamn och interna sökvägar togs bort innan publicering.