Novinky
RTX 3060 12 GB při trvalém zatížení: 60-68 tok/s na poslední token
Měřili jsme rychlost uvnitř každé dlouhé odpovědi, token po tokenu, místo průměrování: 60-68 tokenů/s s uvažováním napříč odpovědí 8192 tokenů v kontextu 16K, 79-96 tokenů / s bez uvažování a pouze asi 8% ztraceno z výzvy 1K na 30K. Všech 145 souborů raw je k dispozici ke stažení.
Dne 30. října 2026 jsme provedli dlouhou sérii měření na B2003, našem experimentálním počítači s RTX 3060 12 GB. Výsledek: s uvažováním na (výchozí), Qwen3.8-Flash-Next Iq3_s na Strata drží 60-68 tok/s od prvního tokenu do 8192nd na výzvu 16K, bez kapek. S uvažováním off běží na 79-96 tok/s. téměř plný kontext stojí jen asi 8%: z 1K na 30K výzvu medián jde z 88 na 84 tok/s.
Náš dřívější článek informoval o dekódování až 68 tok/s na této kartě. Dvě otázky, na které se nejvíce ptáme X, jsou, zda tato rychlost drží dlouhou odpověď, nebo je pouze zahřívacím vrcholem, a zda výkon drží ve druhé polovině dlouhého kontextu. Abychom na ně odpověděli, načasovali jsme každý streamovaný token místo průměrování celé odpovědi.
Zkontrolovali jsme rychlost v intervalech stejné odpovědi, kontext od 1K do 30K tokenů, studenou a teplou rychlou mezipaměť, rychlé a přesné odborné směrování, tři typy obsahu (JSON, c kód, ruská technická próza), výkon GPU, hodiny a teplota a zda samotný výstup zůstal správný.
Nastavení
- Stroj B2003: ASUS pro Q870I-C, Intel Core Ultra 7 265, 2×24 GiB DDR5-5600.
- GPU: RTX 3060 12 GB (GA106), ovladač 615.71.10, odemknutí GPU zapnuto, limit výkonu 170 W.
- Úložiště: Lexar NM1090 pro 2 TB NVMe (PCIe 5.0 ×4).
- Systém: Ubuntu 24.04.5, jádro 7.0.0-38.
- Motor: Strata 0.1.52 (sestavení f-027-rel).
- Model: Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S (78 GiB, 2 střepy).
--max-context 32768 --prefill 4096 --pool-workers 12 --spec 4 --spec-min-p 0.5
--kv int8 --kv-resident 32768 --conversation-cache-mib 1536
--resident-experts --resident-budget-gib 24
STRATA_UNBUFFERED_LOAD=1 STRATA_RESIDENT_HEADROOM_GIB=10Metodik
- Server nevystavuje / tokenizuje, takže tokeny byly počítány z časových razítek streamovaných bloků SSE (1 blok ≈ 1 token; kontrola: 5478 bloků proti 5479 tokenům v použití.completion_tokens) a ukotven k přesnému konečnému počtu tokenů. Slova a řádky nebyly použity.
- Výzvy byly kalibrovány sondami pomocí max_tokens: 1 (20,2 tokenů na větu výplně, 145 tokenů pevné režie); skutečná velikost byla zkontrolována proti použití.prompt_tokens.
- Délka odpovědi byla 32768 minus výzva minus marže, až 8192 tokenů; při 30K je to 2048 tokenů.
- Každý klíčový scénář byl opakován nejméně 3krát; uvádíme medián, minimum a maximum. Šum dekódování je ±20% a šum předplnění ±5%; menší rozdíly nebyly započítány jako výsledky.
- Hardwarová telemetrie byla zaznamenávána každé 3 sekundy (hodiny, výkon, teplota, využití, VRAM, volná RAM, swap, čítače čtení NVMe). Předplnění, přijetí konceptu MTP, zásahy do mezipaměti odborníků a čtení na úrovni souborů pocházely z protokolu motoru.
- Dva režimy expertního směrování: rychlé (výchozí směrování, předchozí 1.5) a přesné (STRATA_ROUTE_PRIOR=0). Režimy byly přepnuty restartováním motoru.
- 4 řádky v souboru přesného režimu byly vytvořeny rychlým motorem, protože blokový skript byl během běhu přepsán. Jsou vyloučeny z tabulek a uchovávány v archivu tak, jak jsou.
- Celkem: 52 měřených běhů ve 13 souborech JSONL (14 v rychlém režimu, 13 v přesném režimu a 25 variant: uvažování, teplá mezipaměť, kód, próza, kontextový limit, kalibrace) plus 4 vyloučené řádky.
Výsledky: rychlost uvnitř odpovědi
Hodnoty v tok/s, medián (min-max). Kontext je velikost výzvy v tokenech; odpověď je až 8192 tokenů (2048 při 30K).
Rychlý režim, uvažování vypnuto
| Kontext | TED | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | Ocas | Celá odpověď |
|---|---|---|---|---|---|---|---|---|---|
| 983–1516 | 3 | 86 (56–86) | 87 (87–88) | 86 (85–88) | 88 (88–90) | — | — | 92 | 88 (55–89) |
| 7865 | 2 | 84 (81–87) | 96 (93–99) | 94 | 95 (94–96) | — | — | 94 | 93 (93–94) |
| 15816 | 3 | 79 (77–88) | 86 (86–96) | 90 (90–96) | 92 (90–98) | 93 (93–96) | 93 (92–96) | 95 | 91 (90–96) |
| 23917 | 3 | 81 (77–85) | 86 (83–91) | 83 (81–92) | 90 (80–90) | 96 | — | 83 | 86 (80–92) |
| 30153 | 3 | 78 (77–78) | 86 (86–87) | 86 (85–88) | — | — | — | 86 | 84 (84–85) |
Rychlý režim, uvažování (výchozí chování)
| Kontext | TED | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | Ocas | Celá odpověď |
|---|---|---|---|---|---|---|---|---|---|
| 15854 | 1 | 61 | 68 | 61 | 59 | 58 | 60 | 85 | 60 |
| 30191 | 1 | 66 | 56 | 65 | — | — | — | 96 | 63 |
Přesný režim, uvažování vypnuto
| Kontext | TED | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | Ocas | Celá odpověď |
|---|---|---|---|---|---|---|---|---|---|
| 1011 | 2 | 27 (26–29) | 28 (26–29) | 27 (26–28) | 25 (24–26) | 25 (24–25) | 23 | 26 | 25 (25–26) |
| 7893 | 2 | 29 (29–30) | 30 (29–31) | 28 (24–31) | 27 (22–31) | 26 (21–31) | 27 | 24 | 26 (23–30) |
| 15814 | 3 | 29 (26–32) | 27 (25–32) | 26 (22–28) | 23 (20–24) | 23 (20–23) | 22 | 21 | 24 (21–24) |
| 23915 | 3 | 31 (30–32) | 32 (31–34) | 29 (26–31) | 25 (25–28) | 24 | — | 24 | 26 (26–29) |
| 30151 | 3 | 32 (28–32) | 32 (30–33) | 29 (29–30) | — | — | — | 29 | 30 |
V rychlém režimu je rychlost plochá nebo stoupá ke konci odpovědi (16K: 79 → 93, ocas 95). Zpomalení ke konci se objeví pouze v přesném režimu: 29 → 22 přes 8000 tokenů (-24%). Přesný režim s uvažováním na 16K dává 25 tok/s pro celou odpověď. Rychlé směrování je 3,8× rychlejší než přesné směrování.
Typ obsahu (rychlý režim, 16K kontext)
| Úkol | Odpověď, žetony | Celá odpověď, tok/s | Návrhy MTP přijaty |
|---|---|---|---|
| JSON pole záznamů | 8192 | 91 (90–96) | 92% (90–98%) |
| Kód C | 7332 | 59 | 74% |
| Ruská technická próza | 4730 | 40 (40–43) | 38% (1327/3485) |
Rozdíly jsou několikanásobně větší než dekódování šumu: předvídatelná struktura zrychluje generování 2–2.3×, volná próza ji zpomaluje. Toto je vlastnost obsahu, nikoli zpomalení v průběhu času.
Předvyplnění, čas do prvního tokenu a mezipaměť výzvy
| Případ | Prompt, tokeny | Předplnění za studena, tok/s | Cold TTFT | Teplé TTFT | Znovu použité žetony |
|---|---|---|---|---|---|
| 1K | 983–1516 | 293 | 3.4–3.8 s | — | 0 |
| 8K | 7865 | 865 | 9.1–9.2 s | — | 0 |
| 16K | 15816 | 908 | 17.3–17.6 s | 0.2 s | 15 803 |
| 24K | 23917 | 914 | 25.4–26.3 s | — | 0 |
| 30K | 30153 | 892 | 33.6–34.5 s | 0.4 s | 30 141 |
Teplá mezipaměť výzvy odstraní téměř všechny předvyplnění (17,4 s → 0,2 s při 16K, 33,6 s → 0,4 s při 30K) a nezmění rychlost dekódování. Hity Expert-cache byly 98,7-98,8% v rychlém režimu; čtení NVMe bylo 1,1–3,3 GB/s, zatímco odborníci se načítali, a téměř nulové během stabilního dekódování JSON.
Při výzvě 30 151 tokenů s limitem 32 768 motor sám ořízne rozpočet odpovědi a končí zastavením nebo délkou bez chyby. Pouze výzva, která se nevejde na vlastní, vrátí chybu 400.
Hardware během běhu
| Blok | Moc | Teplota | SM hodiny | VRAM | Vyměnit | NVMe číst |
|---|---|---|---|---|---|---|
| Rychlý režim | 162–169 W (max 170.2) | 74–76 °C | 1815–1875 MHz | 11 409–11 423 MiB | 0 | 0.2–4.7 GB/s (6.6) |
| Přesný režim | 88–105 W (max 167) | 62–71 °C | 1965–1972 MHz | 11 425 MiB | 0 | 1.6–2.3 GB/s (6.1) |
Rozsahy napříč měřenými bloky; špičkové hodnoty v závorkách. Rychlý režim je omezen výkonem GPU: při uzávěru 170 W klesají hodiny z 2160 MHz na 1815-1875 MHz při 75 °C, bez tepelného škrcení, 11,4 z 12,3 GiB VRAM v provozu a bez výměny. V přesném režimu GPU čerpá přibližně polovinu výkonu při maximálních hodinách: čeká spíše na odborníky než na práci, a proto rychlost klesá.
Kvalita výstupu
- Formát JSON se nerozbije: ve všech 12 běhech odříznutých limitem zůstal každý záznam platný; pouze samotné pole zůstalo neuzavřené.
- Instrukce od samého začátku výzvy je stále dodržována na 30K (pravidlo značky držené v ocasu, 50/50 a 22/22).
- Značka ze středu dokumentu je vyvolána na 16K a 24K, ale ztracena na 30K, v obou režimech.
- Hlavní slabinou rychlého režimu jsou opakující se entity v dlouhých seznamech (26-28 jedinečných kódů z asi 190) a jedna smyčka 122 duplicitních řádků při 30K. přesný režim při 16K udržel 168/168 a 193/193 jedinečných, ale při 24K a 30K se může také sbalit na 26-33 jedinečných kódů v běhu.
- Kód C v rychlém režimu vytvořil 255 opakovaných řádků z 681, takže úlohy kódu v rychlém režimu nejsou spolehlivé.
Limity tohoto experimentu
Jeden stroj a jedno sestavení: závěry o limitu výkonu GPU a odborném napájení platí pro tuto kartu s limitem 170 W a 12 GiB VRAM. Režimy byly přepínány restartováním motoru, takže běhy v jednom režimu byly po sobě jdoucí a pořadí nebylo zcela náhodné. Přesný režim s teplou mezipamětí byl spuštěn jednou a přesný režim při 1K a 8K měl 2 opakování místo 3.
Co to znamená pro zákazníka Box
- Cenově dostupná 12 GB karta udržuje 60-68 tok/s dlouhými odpověďmi, a to nejen na začátku.
- Dlouhé dokumenty v kontextu stojí malou rychlost a opakovaný kontext je zodpovězen téměř okamžitě díky rychlé mezipaměti.
- Režim je vybrán pro každý úkol: rychlý pro strukturovaná data, přesný, když dlouhé seznamy musí zůstat jedinečné; vygenerovaný kód potřebuje kontrolu.
Nezpracovaná data
Všech 145 souborů tohoto experimentu je k dispozici ke stažení: 13 výsledkových souborů JSONL, 102 textů odpovědí a úvah, hardwarová telemetrie, protokoly motorů, skripty, stav systému, původní zpráva v ruštině a post koncept v angličtině. Před zveřejněním byly odstraněny přístupové klíče, interní adresy, uživatelská jména a interní cesty.