Actualités
RTX 3060 12 Go sous charge soutenue: 60-68 tok/s jusqu'au dernier jeton
Nous avons mesuré la vitesse à l'intérieur de chaque réponse longue, jeton par jeton, au lieu de faire la moyenne: 60-68 tok/s avec raisonnement sur une réponse de 8192 jetons dans un contexte de 16K, 79-96 tok/s sans raisonnement, et seulement environ 8% perdu d'une invite de 1K à 30K. Les 145 fichiers raw sont disponibles au téléchargement.
Le 30 octobre 2026, nous avons effectué une longue série de mesures sur B2003, notre ordinateur d'expérimentation avec un RTX 3060 12 Go. Le résultat: avec le raisonnement activé( par défaut), Qwen3.8-Flash-Next IQ3_S sur les Strata contient 60 à 68 tok/s du premier jeton au 8192e à une invite de 16K, sans chute. Avec le raisonnement éteint, il tourne à 79-96 tok/s. Un contexte presque complet ne coûte qu'environ 8%: d'une invite de 1K à 30K, la médiane passe de 88 à 84 tok/s.
Notre article précédent rapportait jusqu'à 68 tok/s de décodage sur cette carte. Les deux questions qui nous sont le plus posées sur X sont de savoir si cette vitesse tient à travers une réponse longue ou n'est qu'un pic d'échauffement, et si la performance tient dans la seconde moitié d'un contexte long. Pour y répondre, nous avons chronométré chaque jeton diffusé au lieu de faire la moyenne sur l'ensemble de la réponse.
Nous avons vérifié la vitesse par intervalles de la même réponse, le contexte de 1K à 30K jetons, un cache d'invite froide et chaude, un routage expert rapide et précis, trois types de contenu (JSON, code C, prose technique russe), la puissance du GPU, les horloges et la température, et si la sortie elle-même est restée correcte.
Configuration
- Ordinateur B2003: ASUS Pro Q870I-C, processeur Intel Core Ultra 7 265, 2 × 24 Go de mémoire DDR5-5600.
- GPU: RTX 3060 12 Go (GA106), pilote 615.71.10, déverrouillage du GPU activé, limite de puissance 170 W.
- Stockage: Lexar NM1090 PRO NVMe de 2 To (PCIe 5,0 ×4).Caractéristiques principales
- Système: Ubuntu 24.04.5, noyau 7.0.0-38.
- Moteur: Strata 0.1.52 (build f-027-rel).
- Modèle: Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S (78 Go, 2 fragments).
--max-context 32768 --prefill 4096 --pool-workers 12 --spec 4 --spec-min-p 0.5
--kv int8 --kv-resident 32768 --conversation-cache-mib 1536
--resident-experts --resident-budget-gib 24
STRATA_UNBUFFERED_LOAD=1 STRATA_RESIDENT_HEADROOM_GIB=10Méthodologie
- Le serveur n'expose pas /ne crée pas de jetons, les jetons ont donc été comptés à partir des horodatages des morceaux SSE diffusés (1 morceau ≈ 1 jeton; vérifiez: 5478 morceaux contre 5479 jetons utilisés.completion_tokens) et ancré au décompte final exact des jetons. Les mots et les lignes n'ont pas été utilisés.
- Les invites ont été calibrées avec des sondes en utilisant max_tokens: 1 (20,2 jetons par phrase de remplissage, 145 jetons de surcharge fixe); la taille réelle a été vérifiée par rapport à l'utilisation.prompt_tokens.
- La longueur de la réponse était de 32768 moins l'invite moins une marge, jusqu'à 8192 jetons; à 30K, cela fait 2048 jetons.
- Chaque scénario clé a été répété au moins 3 fois; nous rapportons la médiane, le minimum et le maximum. Le bruit de décodage est de ±20% et le bruit de préremplissage de ±5%; de plus petites différences n'ont pas été comptées comme résultats.
- La télémétrie matérielle était enregistrée toutes les 3 secondes (horloges, puissance, température, utilisation, VRAM, RAM libre, swap, compteurs de lecture NVMe). Le préremplissage, l'acceptation du brouillon MTP, les accès au cache expert et les lectures de niveau fichier provenaient du journal du moteur.
- Deux modes de routage expert: rapide (routage par défaut, antérieur à 1.5) et précis (STRATA_ROUTE_PRIOR = 0). Les modes ont été commutés en redémarrant le moteur.
- 4 lignes du fichier en mode précis ont été produites par le moteur rapide car le script de bloc a été réécrit pendant l'exécution. Ils sont exclus des tables et conservés dans les archives tels quels.
- Au total: 52 exécutions mesurées dans 13 fichiers JSONL (14 en mode rapide, 13 en mode précis et 25 variantes: raisonnement, cache chaud, code, prose, limite de contexte, calibration), plus les 4 lignes exclues.
Résultats: la vitesse à l'intérieur de la réponse
Valeurs en tok/s, médiane (min-max). Le contexte est la taille de l'invite en jetons; la réponse est jusqu'à 8192 jetons (2048 à 30K).
Mode rapide, raisonnement désactivé
| Contexte | Courses | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | Queue | Réponse complète |
|---|---|---|---|---|---|---|---|---|---|
| 983–1516 | 3 | 86 (56–86) | 87 (87–88) | 86 (85–88) | 88 (88–90) | — | — | 92 | 88 (55–89) |
| 7865 | 2 | 84 (81–87) | 96 (93–99) | 94 | 95 (94–96) | — | — | 94 | 93 (93–94) |
| 15816 | 3 | 79 (77–88) | 86 (86–96) | 90 (90–96) | 92 (90–98) | 93 (93–96) | 93 (92–96) | 95 | 91 (90–96) |
| 23917 | 3 | 81 (77–85) | 86 (83–91) | 83 (81–92) | 90 (80–90) | 96 | — | 83 | 86 (80–92) |
| 30153 | 3 | 78 (77–78) | 86 (86–87) | 86 (85–88) | — | — | — | 86 | 84 (84–85) |
Mode rapide, raisonnement activé (comportement par défaut)
| Contexte | Courses | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | Queue | Réponse complète |
|---|---|---|---|---|---|---|---|---|---|
| 15854 | 1 | 61 | 68 | 61 | 59 | 58 | 60 | 85 | 60 |
| 30191 | 1 | 66 | 56 | 65 | — | — | — | 96 | 63 |
Mode précis, raisonnement éteint
| Contexte | Courses | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | Queue | Réponse complète |
|---|---|---|---|---|---|---|---|---|---|
| 1011 | 2 | 27 (26–29) | 28 (26–29) | 27 (26–28) | 25 (24–26) | 25 (24–25) | 23 | 26 | 25 (25–26) |
| 7893 | 2 | 29 (29–30) | 30 (29–31) | 28 (24–31) | 27 (22–31) | 26 (21–31) | 27 | 24 | 26 (23–30) |
| 15814 | 3 | 29 (26–32) | 27 (25–32) | 26 (22–28) | 23 (20–24) | 23 (20–23) | 22 | 21 | 24 (21–24) |
| 23915 | 3 | 31 (30–32) | 32 (31–34) | 29 (26–31) | 25 (25–28) | 24 | — | 24 | 26 (26–29) |
| 30151 | 3 | 32 (28–32) | 32 (30–33) | 29 (29–30) | — | — | — | 29 | 30 |
En mode rapide, la vitesse est plate ou augmente vers la fin de la réponse (16K: 79 → 93, queue 95). Un ralentissement vers la fin n'apparaît qu'en mode précis: 29 → 22 sur 8000 jetons (-24%). Le mode précis avec raisonnement activé à 16K donne 25 tok/s pour l'ensemble de la réponse. Le routage rapide est 3,8× plus rapide que le routage précis.
Type de contenu (mode rapide, contexte 16K)
| Tâche | Réponse, jetons | Réponse entière, tok/s | Ébauches du PSG acceptées |
|---|---|---|---|
| Tableau JSON d'enregistrements | 8192 | 91 (90–96) | 92% (90–98%) |
| Code C | 7332 | 59 | 74% |
| Prose technique russe | 4730 | 40 (40–43) | 38% (1327/3485) |
Les différences sont plusieurs fois plus importantes que le bruit de décodage: la structure prévisible accélère la génération de 2 à 2,3×, la prose libre la ralentit. C'est une propriété du contenu, pas un ralentissement dans le temps.
Préremplissage, heure du premier jeton et cache d'invite
| Cas | Invite, jetons | Préremplissage à froid, tok/s | TTFT froid | TTFT chaud | Jetons réutilisés |
|---|---|---|---|---|---|
| 1K | 983–1516 | 293 | 3.4–3.8 s | — | 0 |
| 8K | 7865 | 865 | 9.1–9.2 s | — | 0 |
| 16K | 15816 | 908 | 17.3–17.6 s | 0.2 s | 15 803 |
| 24K | 23917 | 914 | 25.4–26.3 s | — | 0 |
| 30K | 30153 | 892 | 33.6–34.5 s | 0.4 s | 30 141 |
Un cache d'invite chaude supprime presque tous les préremplis (17,4 s → 0,2 s à 16K, 33,6 s → 0,4 s à 30K) et ne modifie pas la vitesse de décodage. Les accès au cache expert étaient de 98,7 à 98,8% en mode rapide; les lectures NVMe étaient de 1,1 à 3,3 Go / s pendant le chargement des experts et presque nulles pendant le décodage JSON régulier.
À une invite de 30 151 jetons avec une limite de 32 768, le moteur ajuste lui-même le budget de réponses et se termine par stop ou length, sans erreur. Seule une invite qui ne tient pas toute seule renvoie l'erreur 400.
Matériel pendant les courses
| Bloquer | Puissance | Température | Horloge SM | VRAM | Échange | Lecture NVMe |
|---|---|---|---|---|---|---|
| Mode rapide | 162–169 W (max 170.2) | 74–76 °C | 1815–1875 MHz | 11 409–11 423 MiB | 0 | 0.2–4.7 GB/s (6.6) |
| Mode précis | 88–105 W (max 167) | 62–71 °C | 1965–1972 MHz | 11 425 MiB | 0 | 1.6–2.3 GB/s (6.1) |
Plages à travers les blocs mesurés; valeurs maximales entre parenthèses. Le mode rapide est limité par la puissance du GPU: au plafond de 170 W, les horloges passent de 2160 MHz à 1815-1875 MHz à 75 °C, sans limitation thermique, 11,4 de 12,3 Gio de VRAM en cours d'utilisation et sans échange. En mode précis, le GPU consomme environ la moitié de la puissance aux horloges maximales: il attend les experts plutôt que de travailler, c'est pourquoi la vitesse diminue.
Qualité de sortie
- Le format JSON ne casse pas: dans les 12 exécutions coupées par la limite, chaque enregistrement est resté valide; seul le tableau lui-même n'a pas été fermé.
- Une instruction dès le début de l'invite est toujours suivie à 30K (la règle de l'étiquette maintenue dans la queue, 50/50 et 22/22).
- Un marqueur du milieu du document est rappelé à 16K et 24K mais perdu à 30K, dans les deux modes.
- La principale faiblesse du mode rapide est la répétition d'entités dans de longues listes (26-28 codes uniques sur environ 190) et une boucle de 122 lignes en double à 30K.Le mode précis à 16K a gardé 168/168 et 193/193 uniques, mais à 24K et 30K, il peut également s'effondrer à 26-33 codes uniques en une seule fois.
- Le code C en mode rapide a produit 255 lignes répétées sur 681, donc les tâches de code en mode rapide ne sont pas fiables.
Limites de cette expérience
Une machine et une construction: les conclusions sur la limite de puissance du GPU et l'approvisionnement expert s'appliquent à cette carte avec une limite de 170 W et 12 GiO de VRAM. Les modes ont été commutés en redémarrant le moteur, de sorte que les exécutions dans un mode étaient consécutives et que l'ordre n'était pas entièrement aléatoire. Le mode précis avec un cache chaud était exécuté une fois, et le mode précis à 1K et 8K avait 2 répétitions au lieu de 3.
Ce que cela signifie pour un client Box
- Une carte abordable de 12 Go permet de conserver 60 à 68 tok/s grâce à de longues réponses, pas seulement au début.
- Les documents longs en contexte coûtent peu de vitesse, et un contexte répété est répondu presque instantanément grâce au cache d'invite.
- Le mode est choisi par tâche: rapide pour les données structurées, précis lorsque les longues listes doivent rester uniques; le code généré doit être revu.
Données brutes
Les 145 fichiers de cette expérience sont disponibles au téléchargement: 13 fichiers de résultats JSONL, 102 textes de réponse et de raisonnement, télémétrie matérielle, journaux du moteur, scripts, état du système, le rapport original en russe et le projet de publication en anglais. Les clés d'accès, les adresses internes, les noms d'utilisateur et les chemins internes ont été supprimés avant la publication.
Télécharger tar.gz (264 Ko) · Télécharger le fichier zip (298 Ko)