News
RTX 3060 12 GB unter Dauerlast: 60-68 tok/s bis zum letzten Token
Wir haben die Geschwindigkeit in jeder langen Antwort Token für Token gemessen, anstatt zu mitteln: 60-68 tok/s mit Argumentation über eine 8192-Token-Antwort im 16K-Kontext, 79-96 tok/s ohne Argumentation und nur etwa 8% Verlust von einer 1K zu einer 30K-Eingabeaufforderung. Alle 145 RAW-Dateien stehen zum Download zur Verfügung.
Am 30.Oktober 2026 haben wir eine lange Messreihe auf B2003, unserem Experimentiercomputer mit einem RTX 3060 12 GB, durchgeführt. Das Ergebnis: Mit eingeschalteter Argumentation (Standardeinstellung) hält Qwen3.8-Flash-Next IQ3_S auf Schichten 60-68 tok/s vom ersten Token bis zum 8192. an einer 16-KB-Eingabeaufforderung ohne Drops. Mit Argumentation läuft es bei 79-96 tok/s. Ein fast vollständiger Kontext kostet nur etwa 8%: Von einer 1K- bis zu einer 30K-Eingabeaufforderung steigt der Median von 88 auf 84 tok/s.
Unser früherer Artikel berichtete von bis zu 68 tok/s Dekodierung auf dieser Karte. Die beiden Fragen, die uns bei X am häufigsten gestellt werden, sind, ob diese Geschwindigkeit eine lange Antwort durchhält oder nur ein Aufwärmgipfel ist und ob die Leistung in der zweiten Hälfte eines langen Kontexts anhält. Um sie zu beantworten, haben wir jedes gestreamte Token zeitlich festgelegt, anstatt über die gesamte Antwort zu mitteln.
Wir überprüften die Geschwindigkeit in Intervallen der gleichen Antwort, den Kontext von 1K bis 30K Token, einen kalten und einen warmen Aufforderungs-Cache, schnelles und präzises Experten-Routing, drei Inhaltstypen (JSON, C-Code, russische technische Prosa), GPU-Leistung, Uhren und Temperatur und ob die Ausgabe selbst korrekt blieb.
Setup
- Maschine B2003: ASUS Pro Q870I-C, Intel Kern Ultra 7 265, 2 × 24 GiB DDR 5-5600.
- GPU: RTX 3060 12 GB (GA106), Treiber 615.71.10, GPU-Entsperrung aktiviert, Leistungsbegrenzung 170 W.
- Lagerung: Lexar NM1090 PRO 2 TB NVMe (PCIe 5.0 × 4).
- System: Ubuntu 24.04.5, Kern 7.0.0-38.
- Motor: Schichten 0.1.52 (Build f-027-rel).
- Modell: Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S (78 GiB, 2 Scherben).
--max-context 32768 --prefill 4096 --pool-workers 12 --spec 4 --spec-min-p 0.5
--kv int8 --kv-resident 32768 --conversation-cache-mib 1536
--resident-experts --resident-budget-gib 24
STRATA_UNBUFFERED_LOAD=1 STRATA_RESIDENT_HEADROOM_GIB=10Methodik
- Der Server stellt keine Token zur Verfügung, daher wurden Token anhand der Zeitstempel der gestreamten SSE-Blöcke gezählt (1 Block ≈ 1 Token; Überprüfung: 5478 Blöcke gegen 5479 verwendete Token.completion_tokens) und an der genauen endgültigen Token-Anzahl verankert. Wörter und Zeilen wurden nicht verwendet.
- Eingabeaufforderungen wurden mit Sonden unter Verwendung von max_tokens: 1 kalibriert (20,2 Token pro Füllsatz, 145 Token mit festem Overhead); Die tatsächliche Größe wurde gegen die Verwendung überprüft.prompt_tokens.
- Die Antwortlänge betrug 32768 minus der Eingabeaufforderung minus einer Marge, bis zu 8192 Token; Bei 30K sind das 2048 Token.
- Jedes Schlüsselszenario wurde mindestens 3 Mal wiederholt; Wir geben den Median, das Minimum und das Maximum an. Das Decodierrauschen beträgt ±20% und das Vorfüllrauschen ± 5%; kleinere Unterschiede wurden nicht als Ergebnisse gezählt.
- Hardware-Telemetrie wurde alle 3 Sekunden aufgezeichnet (Uhren, Leistung, Temperatur, Auslastung, VRAM, freier RAM, Swap, NVMe-Lesezähler). Vorbefüllung, MTP-Entwurfsannahme, Experten-Cache-Treffer und Dateiebenen-Lesevorgänge stammten aus dem Engine-Protokoll.
- Zwei Experten-Routing-Modi: schnell (Standard-Routing, vor 1.5) und präzise (STRATA_ROUTE_PRIOR = 0). Die Modi wurden durch Neustart des Motors umgeschaltet.
- 4 Zeilen in der Präzisionsmodus-Datei wurden von der schnellen Engine erzeugt, da das Blockskript während des Laufs neu geschrieben wurde. Sie werden aus den Tabellen ausgeschlossen und unverändert im Archiv aufbewahrt.
- Insgesamt: 52 gemessene Läufe in 13 JSONL-Dateien (14 im schnellen Modus, 13 im präzisen Modus und 25 Varianten: Argumentation, warmer Cache, Code, Prosa, Kontextlimit, Kalibrierung) plus die 4 ausgeschlossenen Zeilen.
Ergebnisse: Geschwindigkeit in der Antwort
Werte in tok/s, Median (min-max). Kontext ist die Eingabeaufforderungsgröße in Token; Die Antwort ist bis zu 8192 Token (2048 bei 30K).
Schneller Modus, Argumentation aus
| Kontext | Laufen | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | Schwanz | Ganze Antwort |
|---|---|---|---|---|---|---|---|---|---|
| 983–1516 | 3 | 86 (56–86) | 87 (87–88) | 86 (85–88) | 88 (88–90) | — | — | 92 | 88 (55–89) |
| 7865 | 2 | 84 (81–87) | 96 (93–99) | 94 | 95 (94–96) | — | — | 94 | 93 (93–94) |
| 15816 | 3 | 79 (77–88) | 86 (86–96) | 90 (90–96) | 92 (90–98) | 93 (93–96) | 93 (92–96) | 95 | 91 (90–96) |
| 23917 | 3 | 81 (77–85) | 86 (83–91) | 83 (81–92) | 90 (80–90) | 96 | — | 83 | 86 (80–92) |
| 30153 | 3 | 78 (77–78) | 86 (86–87) | 86 (85–88) | — | — | — | 86 | 84 (84–85) |
Schneller Modus, Argumentation ein (Standardverhalten)
| Kontext | Laufen | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | Schwanz | Ganze Antwort |
|---|---|---|---|---|---|---|---|---|---|
| 15854 | 1 | 61 | 68 | 61 | 59 | 58 | 60 | 85 | 60 |
| 30191 | 1 | 66 | 56 | 65 | — | — | — | 96 | 63 |
Präziser Modus, Argumentation aus
| Kontext | Laufen | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | Schwanz | Ganze Antwort |
|---|---|---|---|---|---|---|---|---|---|
| 1011 | 2 | 27 (26–29) | 28 (26–29) | 27 (26–28) | 25 (24–26) | 25 (24–25) | 23 | 26 | 25 (25–26) |
| 7893 | 2 | 29 (29–30) | 30 (29–31) | 28 (24–31) | 27 (22–31) | 26 (21–31) | 27 | 24 | 26 (23–30) |
| 15814 | 3 | 29 (26–32) | 27 (25–32) | 26 (22–28) | 23 (20–24) | 23 (20–23) | 22 | 21 | 24 (21–24) |
| 23915 | 3 | 31 (30–32) | 32 (31–34) | 29 (26–31) | 25 (25–28) | 24 | — | 24 | 26 (26–29) |
| 30151 | 3 | 32 (28–32) | 32 (30–33) | 29 (29–30) | — | — | — | 29 | 30 |
Im schnellen Modus ist die Geschwindigkeit flach oder steigt gegen Ende der Antwort an (16 KM: 79 → 93, Schwanz 95). Eine Verlangsamung gegen Ende tritt nur im präzisen Modus auf: 29 → 22 über 8000 Token (-24%). Präziser Modus mit eingeschalteter Argumentation bei 16K ergibt 25 tok/s für die gesamte Antwort. Schnelles Routing ist 3,8 × schneller als präzises Routing.
Inhaltstyp (schneller Modus, 16K-Kontext)
| Aufgabe | Antwort, Token | Ganze Antwort, tok/s | MTP-Entwürfe akzeptiert |
|---|---|---|---|
| JSON-Array von Datensätzen | 8192 | 91 (90–96) | 92% (90–98%) |
| C-Code | 7332 | 59 | 74% |
| Russische technische Prosa | 4730 | 40 (40–43) | 38% (1327/3485) |
Die Unterschiede sind um ein Vielfaches größer als das Decodierungsrauschen: Vorhersagbare Strukturen beschleunigen die Generierung um 2–2.3×, freie Prosa verlangsamt sie. Dies ist eine Eigenschaft des Inhalts, keine Verlangsamung im Laufe der Zeit.
Vorausfüllen, Zeit bis zum ersten Token und Aufforderungscache
| Fall | Eingabeaufforderung, Token | Kalte Vorfüllung, tok/s | Kaltes TFTF | Warmes TFTF | Wiederverwendete Token |
|---|---|---|---|---|---|
| 1K | 983–1516 | 293 | 3.4–3.8 s | — | 0 |
| 8K | 7865 | 865 | 9.1–9.2 s | — | 0 |
| 16K | 15816 | 908 | 17.3–17.6 s | 0.2 s | 15 803 |
| 24K | 23917 | 914 | 25.4–26.3 s | — | 0 |
| 30K | 30153 | 892 | 33.6–34.5 s | 0.4 s | 30 141 |
Ein Warm-Prompt-Cache entfernt fast alle Vorbefüllungen (17,4 s → 0,2 s bei 16K, 33,6 s → 0,4 s bei 30K) und ändert die Dekodierungsgeschwindigkeit nicht. Experten-Cache-Treffer waren 98,7-98,8% im schnellen Modus; NVMe–Lesevorgänge waren 1,1-3,3 GB / s, während Experten geladen wurden, und fast Null während der stetigen JSON-Dekodierung.
Bei einer Eingabeaufforderung mit 30.151 Token und einem Limit von 32.768 Token schneidet die Engine das Antwortbudget selbst ab und endet fehlerfrei mit stop oder length . Nur eine Eingabeaufforderung, die nicht alleine passt, gibt den Fehler 400 zurück.
Hardware während der Läufe
| Block | Macht | Temperatur | SM Uhr | VRAM | Swap | NVMe lesen |
|---|---|---|---|---|---|---|
| Schneller Modus | 162–169 W (max 170.2) | 74–76 °C | 1815–1875 MHz | 11 409–11 423 MiB | 0 | 0.2–4.7 GB/s (6.6) |
| Präziser Modus | 88–105 W (max 167) | 62–71 °C | 1965–1972 MHz | 11 425 MiB | 0 | 1.6–2.3 GB/s (6.1) |
Bereiche über die gemessenen Blöcke; Spitzenwerte in Klammern. Der Fast-Modus wird durch die GPU-Leistung begrenzt: Bei der 170-W-Obergrenze sinken die Taktraten von 2160 MHz auf 1815-1875 MHz bei 75 ° C, ohne thermische Drosselung, 11,4 von 12,3 GiB VRAM im Einsatz und ohne Swap. Im Präzisionsmodus verbraucht die GPU bei maximalen Takten etwa die Hälfte der Leistung: Sie wartet auf Experten, anstatt zu arbeiten, weshalb die Geschwindigkeit sinkt.
Ausgabequalität
- Das JSON-Format bricht nicht: In allen 12 durch das Limit abgeschnittenen Läufen blieb jeder Datensatz gültig; Nur das Array selbst wurde nicht geschlossen gelassen.
- Eine Anweisung vom Anfang der Eingabeaufforderung wird immer noch bei 30K befolgt (die Tag-Regel im Schwanz, 50/50 und 22/22).
- Eine Markierung aus der Mitte des Dokuments wird bei 16K und 24K abgerufen, geht jedoch bei 30K in beiden Modi verloren.
- Die Hauptschwäche des schnellen Modus ist die Wiederholung von Entitäten in langen Listen (26-28 eindeutige Codes von etwa 190) und eine Schleife von 122 doppelten Zeilen bei 30K. Der präzise Modus bei 16K behielt 168/168 und 193/193 eindeutige Codes bei, aber bei 24K und 30K kann er auch in einem Lauf auf 26-33 eindeutige Codes reduziert werden.
- C-Code im schnellen Modus erzeugte 255 von 681 wiederholten Zeilen, sodass Codeaufgaben im schnellen Modus nicht zuverlässig sind.
Grenzen dieses Experiments
Eine Maschine und ein Build: Die Schlussfolgerungen zum GPU-Leistungslimit und zur Expertenversorgung gelten für diese Karte mit einem 170-W-Limit und 12 GiB VRAM. Die Modi wurden durch Neustart des Motors gewechselt, sodass die Läufe innerhalb eines Modus aufeinanderfolgend waren und die Reihenfolge nicht vollständig zufällig war. Der präzise Modus mit einem warmen Cache wurde einmal ausgeführt, und der präzise Modus bei 1K und 8K hatte 2 Wiederholungen anstelle von 3.
Was das für Box-Kunden bedeutet
- Eine günstige 12-GB-Karte hält 60-68 tok/s durch lange Antworten, nicht nur zu Beginn.
- Lange Dokumente im Kontext kosten wenig Geschwindigkeit, und ein wiederholter Kontext wird dank des Eingabeaufforderungscaches fast sofort beantwortet.
- Der Modus wird pro Aufgabe ausgewählt: schnell für strukturierte Daten, präzise, wenn lange Listen eindeutig bleiben müssen; Generierter Code muss überprüft werden.
Rohdaten
Alle 145 Dateien dieses Experiments stehen zum Download zur Verfügung: 13 JSONL-Ergebnisdateien, 102 Antwort- und Argumentationstexte, Hardware-Telemetrie, Engine-Protokolle, Skripte, der Systemstatus, der Originalbericht auf Russisch und der Post-Entwurf auf Englisch. Zugriffsschlüssel, interne Adressen, Benutzernamen und interne Pfade wurden vor der Veröffentlichung entfernt.
Laden Sie tar herunter.englisch (264 KB) · Zip herunterladen (298 KB)