Nyheder
3060 12 GB under vedvarende belastning: 60-68 tok/s til det sidste token
Vi målte hastighed inden for hvert langt svar, token for token, i stedet for gennemsnit: 60-68 tok/s med ræsonnement på tværs af et 8192-token svar ved 16K kontekst, 79-96 tok/s uden ræsonnement, og kun omkring 8% tabt fra en 1K til en 30K prompt. Alle 145 rå filer er tilgængelige at hente.
Den 30. oktober 2026 kørte vi en lang række målinger på B2003, vores eksperimentcomputer med en 3060 12 GB. Resultatet: med begrundelse på (Standard), 3.8-Flash-Next 3_S på Strata holder 60-68 tok/s fra det første token til 8192nd ved en 16K prompt, uden dråber. Med ræsonnement fra det kører på 79-96 tok/s. en næsten fuld kontekst koster kun omkring 8%: fra en 1K til en 30K prompt medianen går fra 88 til 84 tok/s.
Vores tidligere artikel rapporterede op til 68 Tok / s dekodning på dette kort. De to spørgsmål, vi stilles mest på, er, om denne hastighed holder gennem et langt svar eller kun er en opvarmningstop, og om ydeevnen holder i anden halvdel af en lang kontekst. For at besvare dem timede vi hvert streamet token i stedet for at beregne gennemsnittet over hele svaret.
Vi kontrollerede hastighed i intervaller med det samme svar, kontekst fra 1K til 30K tokens, en kold og en varm hurtig cache, hurtig og præcis ekspertrouting, tre indholdstyper (JSON, C-kode, russisk teknisk prosa), GPU-strøm, Ure og temperatur, og om selve output forblev korrekt.
Setup
- Maskine B2003: ASUS Pro 870I-C, Intel Core Ultra 7 265, 2 24 Gib DDR5-5600.
- GPU: 3060 12 GB (GA106), driver 615.71.10, GPU Lås op, strømgrænse 170 V.
- Opbevaring: Leksar NM1090 PRO 2 TB NVMe (PCIe 5.0 deling 4).
- System: Ubuntu 24.04.5, kerne 7.0.0-38.
- Motor: Strata 0.1.52 (byg f-027-rel).
- Model: Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S (78 GiB, 2 skår).
--max-context 32768 --prefill 4096 --pool-workers 12 --spec 4 --spec-min-p 0.5
--kv int8 --kv-resident 32768 --conversation-cache-mib 1536
--resident-experts --resident-budget-gib 24
STRATA_UNBUFFERED_LOAD=1 STRATA_RESIDENT_HEADROOM_GIB=10Metode
- Serveren udsætter / tokeniserer ikke, så tokens blev talt fra tidsstemplerne for streamede SSE-bidder (1 del, der viser 1 token; tjek: 5478 bidder mod 5479 tokens i brug.completion_tokens) og forankret til den nøjagtige endelige token tæller. Ord og linjer blev ikke brugt.
- Prompter blev kalibreret med prober ved hjælp af maks_tokens: 1 (20,2 tokens pr.fyldningssætning, 145 tokens med fast overhead); den faktiske størrelse blev kontrolleret mod brug.prompt_tokens.
- Svarlængde var 32768 minus prompten minus en margin, op til 8192 tokens; ved 30K er dette 2048 tokens.
- Hvert nøglescenarie blev gentaget mindst 3 gange; vi rapporterer median, minimum og maksimum. Dekodningsstøj er 20% og forfyldningsstøj 5%; mindre forskelle blev ikke medregnet som resultater.
- Der blev registreret telemetri hvert 3.sekund (ure, strøm, temperatur, udnyttelse, VRAM, fri RAM, bytte, NVMe-læsetællere). Forfyld, MTP udkast accept, ekspert-cache hits og fil-tier læser kom fra motoren log.
- To ekspert routing tilstande: hurtig (Standard routing, prior 1.5) og præcis (STRATA_ROUTE_PRIOR=0). Modes blev skiftet ved at genstarte motoren.
- 4 rækker i den præcise fil blev produceret af fast engine, fordi blokskriptet blev omskrevet under kørslen. De er udelukket fra tabellerne og opbevares i arkivet, som de er.
- I alt: 52 målte kørsler i 13 JSONL-filer (14 i hurtig tilstand, 13 i præcis tilstand og 25 varianter: ræsonnement, varm cache, kode, prosa, kontekstgrænse, kalibrering) plus de 4 udelukkede rækker.
Resultater: hastighed inde i svaret
Værdier i Tok / s, median (min-maks). Kontekst er den hurtige størrelse i tokens; svaret er op til 8192 tokens (2048 ved 30K).
Hurtig tilstand, begrundelse slukket
| Forbindelse | Køre | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | Hale | Hele svaret |
|---|---|---|---|---|---|---|---|---|---|
| 983–1516 | 3 | 86 (56–86) | 87 (87–88) | 86 (85–88) | 88 (88–90) | — | — | 92 | 88 (55–89) |
| 7865 | 2 | 84 (81–87) | 96 (93–99) | 94 | 95 (94–96) | — | — | 94 | 93 (93–94) |
| 15816 | 3 | 79 (77–88) | 86 (86–96) | 90 (90–96) | 92 (90–98) | 93 (93–96) | 93 (92–96) | 95 | 91 (90–96) |
| 23917 | 3 | 81 (77–85) | 86 (83–91) | 83 (81–92) | 90 (80–90) | 96 | — | 83 | 86 (80–92) |
| 30153 | 3 | 78 (77–78) | 86 (86–87) | 86 (85–88) | — | — | — | 86 | 84 (84–85) |
Hurtig tilstand, ræsonnement på (standard adfærd)
| Forbindelse | Køre | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | Hale | Hele svaret |
|---|---|---|---|---|---|---|---|---|---|
| 15854 | 1 | 61 | 68 | 61 | 59 | 58 | 60 | 85 | 60 |
| 30191 | 1 | 66 | 56 | 65 | — | — | — | 96 | 63 |
Præcis tilstand, begrundelse slukket
| Forbindelse | Køre | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | Hale | Hele svaret |
|---|---|---|---|---|---|---|---|---|---|
| 1011 | 2 | 27 (26–29) | 28 (26–29) | 27 (26–28) | 25 (24–26) | 25 (24–25) | 23 | 26 | 25 (25–26) |
| 7893 | 2 | 29 (29–30) | 30 (29–31) | 28 (24–31) | 27 (22–31) | 26 (21–31) | 27 | 24 | 26 (23–30) |
| 15814 | 3 | 29 (26–32) | 27 (25–32) | 26 (22–28) | 23 (20–24) | 23 (20–23) | 22 | 21 | 24 (21–24) |
| 23915 | 3 | 31 (30–32) | 32 (31–34) | 29 (26–31) | 25 (25–28) | 24 | — | 24 | 26 (26–29) |
| 30151 | 3 | 32 (28–32) | 32 (30–33) | 29 (29–30) | — | — | — | 29 | 30 |
I hurtig tilstand er hastigheden flad eller stiger mod slutningen af svaret (16K: 79 med 93, hale 95). En afmatning mod slutningen vises kun i præcis tilstand: 29 22 over 8000 tokens (-24%). Præcis tilstand med ræsonnement på ved 16K giver 25 tok/s for hele svaret. Hurtig routing er 3,8 hurtigere end præcis routing.
Indholdstype (hurtig tilstand, 16K kontekst)
| Opgave | Svar, tokens | Hele svaret, tok/s | MTP-udkast accepteret |
|---|---|---|---|
| JSON array of records | 8192 | 91 (90–96) | 92% (90–98%) |
| C-kode | 7332 | 59 | 74% |
| Russisk teknisk prosa | 4730 | 40 (40–43) | 38% (1327/3485) |
Forskellene er flere gange større end afkode støj: forudsigelig struktur hastigheder generation op 2–2.3×, fri prosa bremser det ned. Dette er en egenskab ved indholdet, ikke en afmatning over tid.
Forfyld, tid til første token og prompt cache
| Tilfælde | Spørg, tokens | Kold forfyldning, tok/s | Kold TTFT | Varm TTFT | Genbrugte tokens |
|---|---|---|---|---|---|
| 1K | 983–1516 | 293 | 3.4–3.8 s | — | 0 |
| 8K | 7865 | 865 | 9.1–9.2 s | — | 0 |
| 16K | 15816 | 908 | 17.3–17.6 s | 0.2 s | 15 803 |
| 24K | 23917 | 914 | 25.4–26.3 s | — | 0 |
| 30K | 30153 | 892 | 33.6–34.5 s | 0.4 s | 30 141 |
En varm prompt-cache fjerner næsten al forfyldning (17,4 s.0,2 s. ved 16K, 33,6 s. 0,4 s. ved 30K) og ændrer ikke afkode hastighed. Ekspert-cache-hits var 98,7-98,8% i hurtig tilstand; NVMe–læsninger var 1,1-3,3 GB/s, mens eksperter indlæste og næsten nul under stabil JSON-dekoding.
Ved en 30.151-token-prompt med en 32.768-grænse trimmer motoren selve svarbudgettet og slutter med stop eller længde uden en fejl. Kun en prompt, der ikke passer på egen hånd, returnerer fejl 400.
Udstyr under kørslen
| Blok | Magt | Temperatur | SM ur | VRAM | Swap | NVMe Læs |
|---|---|---|---|---|---|---|
| Hurtig tilstand | 162–169 W (max 170.2) | 74–76 °C | 1815–1875 MHz | 11 409–11 423 MiB | 0 | 0.2–4.7 GB/s (6.6) |
| Præcis tilstand | 88–105 W (max 167) | 62–71 °C | 1965–1972 MHz | 11 425 MiB | 0 | 1.6–2.3 GB/s (6.1) |
Intervaller på tværs af de målte blokke; spidsværdier i parentes. Hurtig tilstand er begrænset af GPU-strøm: ved 170 V-hætten falder urene fra 2160 MHV.til 1815-1875 MHV. ved 75 gange C, uden termisk throttling, 11,4 af 12,3 GiB VRAM i brug og ingen bytte. I præcis tilstand trækker GPU omkring halvdelen af strømmen ved maksimale ure: Den venter på eksperter snarere end at arbejde, hvorfor hastigheden falder.
Printkvalitet
- JSON-formatet bryder ikke: i alle 12 runs afskåret af grænsen forblev hver rekord gyldig; kun selve arrayet blev efterladt lukket.
- En instruktion fra begyndelsen af prompten følges stadig ved 30K (tagreglen holdt i halen, 50/50 og 22/22).
- En markør fra midten af dokumentet er tilbagekaldt ved 16K og 24K, men tabt ved 30K, i begge tilstande.
- Den største svaghed ved hurtig tilstand er gentagne enheder i lange lister (26-28 unikke koder ud af omkring 190) og en sløjfe på 122 duplikerede linjer ved 30K. præcis tilstand ved 16K holdt 168/168 og 193/193 unikke, men ved 24K og 30K kan den også kollapse til 26-33 unikke koder i et løb.
- C-kode i hurtig tilstand producerede 255 gentagne linjer ud af 681, så kodeopgaver i hurtig tilstand er ikke pålidelige.
Grænser for dette eksperiment
En maskine og en bygning: konklusionerne om GPU-strømgrænsen og ekspertforsyningen gælder for dette kort med en grænse på 170 V og 12 GiB VRAM. Tilstande blev skiftet ved at genstarte motoren, så kørsler inden for en tilstand var på hinanden følgende, og rækkefølgen blev ikke helt randomiseret. Præcis tilstand med en varm cache blev kørt en gang, og præcis tilstand ved 1K og 8K havde 2 gentagelser i stedet for 3.
Hvad det betyder for en Box-kunde
- Et overkommeligt 12 GB-kort holder 60-68 tok/s gennem lange svar, ikke kun i starten.
- Lange dokumenter i sammenhæng koster lidt hastighed, og en gentagen kontekst besvares næsten øjeblikkeligt takket være den hurtige cache.
- Funktionen vælges pr. opgave: hurtig til strukturerede data, præcis, når lange lister skal forblive unikke; genereret kode skal gennemgås.
Rådata
Alle 145 filer fra dette eksperiment kan hentes: 13 jsonl-resultatfiler, 102 svar-og ræsonnementstekster, maskintelemetri, motorlogfiler, scripts, systemtilstanden, den oprindelige rapport på russisk og postudkastet på engelsk. Adgangsnøgler, interne adresser, brugernavne og interne stier blev fjernet før offentliggørelsen.