Uutiset
RTX 3060 12 Gt jatkuvalla kuormituksella: 60-68 tok/s viimeiseen tokeniin asti
Mittasimme nopeuden jokaisen pitkän vastauksen sisällä, token tokenilta, keskiarvon sijaan: 60-68 tok/s päättelyllä 8192 Tok/S: n vastauksessa 16K: n kontekstissa, 79-96 tok/s ilman päättelyä ja vain noin 8% hävisi 1K: sta 30K: n kehotteeseen. Kaikki 145 raw-tiedostoa ovat ladattavissa.
30 lokakuuta 2026 suoritimme pitkän mittaussarjan B2003: lla, kokeilutietokoneellamme, jossa on RTX 3060 12 Gt. Tulos: päättelemällä (oletus) Qwen3.8-Flash-Next IQ3_S on Stra omistaa 60-68 tok/s ensimmäisestä tokenista 8192nd: hen 16K-kehotteella ilman pudotuksia. Päättelemällä se toimii 79-96 tok/s.lähes täysi konteksti maksaa vain noin 8%: 1K: sta 30K: n kehotteeseen mediaani menee 88: sta 84 tok/s.
Aikaisemmassa artikkelissamme kerrottiin jopa 68 tok/s dekoodaus tällä kortilla. Kaksi kysymystä, joita meiltä kysytään eniten X: ssä, ovat se, pitääkö tämä nopeus pitkän vastauksen läpi vai onko se vain lämmittelyhuippu, ja onko suorituskyky pitkän kontekstin toisella puoliskolla. Vastataksemme niihin ajoitimme jokaisen suoratoistetun Tokenin sen sijaan, että olisimme laskeneet koko vastauksen keskiarvon.
Tarkistimme nopeuden saman vastauksen välein, kontekstin 1K: sta 30K: iin, kylmän ja lämpimän kehotevälimuistin, nopean ja tarkan asiantuntijareitityksen, kolme sisältötyyppiä (JSON, C-koodi, venäläinen tekninen proosa), GPU-tehon, kellot ja lämpötilan ja pysyikö itse lähtö oikein.
Setup
- Kone B2003: ASUS Pro Q870I-C, Intel Core Ultra 7 265, 2×24 GiB DDR5-5600.
- GPU: RTX 3060 12 GB (GA106), kuljettaja 615.71.10, GPU: n lukituksen avaaminen, tehoraja 170 W.
- Tallennustila: Lexar Nm1090 PRO 2 TB NVMe (PCIe 5.0 ×4).
- Järjestelmä: Ubuntu 24.04.5, kernel 7.0.0-38.
- Moottori: Strata 0.1.52 (rakentaa f-027-rel).
- Malli: Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S (78 GiB, 2 sirpaletta).
--max-context 32768 --prefill 4096 --pool-workers 12 --spec 4 --spec-min-p 0.5
--kv int8 --kv-resident 32768 --conversation-cache-mib 1536
--resident-experts --resident-budget-gib 24
STRATA_UNBUFFERED_LOAD=1 STRATA_RESIDENT_HEADROOM_GIB=10Menetelmä
- Palvelin ei paljasta / tokenisoi, joten tokenit laskettiin suoratoistettujen SSE-osien aikaleimoista (1 chunk ≈ 1 token; tarkista: 5478 palaa käytettäessä 5479 tokenia.completion_tokens) ja ankkuroitu tarkkaan lopulliseen merkkimäärään. Sanoja ja repliikkejä ei käytetty.
- Kehotteet kalibroitiin antureilla käyttäen max_tokens: 1 (20,2 merkkiä täyttölausetta kohti, 145 merkkiä kiinteistä yleiskustannuksista); todellinen koko tarkistettiin käyttöä vastaan.prompt_tokens.
- Vastauksen pituus oli 32768 miinus kehote miinus marginaali, jopa 8192 tokenia; 30K: lla tämä on 2048 tokenia.
- Jokainen keskeinen skenaario toistettiin vähintään 3 kertaa; raportoimme mediaanin, minimi ja maksimi. Dekoodauskohina on ±20% ja esitäyttökohina ±5%; pienempiä eroja ei laskettu tulokseksi.
- Laitteiston telemetria tallennettiin 3 sekunnin välein (kellot, teho, lämpötila, käyttö, VRAM, vapaa RAM, swap, NVMe lukea laskurit). Esitäyttö, MTP - luonnoksen hyväksyminen, asiantuntija-välimuistin osumat ja tiedostotason lukemat tulivat moottorilokista.
- Kaksi asiantuntevaa reititystilaa: nopea (oletusreititys, ennen 1.5) ja tarkka (STRA_ROUTE_PRIOR=0). Tilat vaihdettiin käynnistämällä Moottori uudelleen.
- Nopea moottori tuotti 4 riviä tarkassa tilassa, koska lohkoskripti kirjoitettiin uudelleen ajon aikana. Ne jätetään taulukoiden ulkopuolelle ja säilytetään arkistossa sellaisenaan.
- Yhteensä: 52 mitattua ajoa 13 jsonl-tiedostossa (14 nopeassa tilassa, 13 tarkassa tilassa ja 25 muunnelmaa: päättely, lämmin välimuisti, koodi, proosa, kontekstiraja, kalibrointi) sekä 4 poissuljettua riviä.
Tulokset: nopeus vastauksen sisällä
Arvot tok/s, mediaani (min–max). Konteksti on tokenien kehotekoko; vastaus on jopa 8192 tokenia (2048 at 30K).
Nopea tila, päättely pois päältä
| Konteksti | Suorittaa | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | Pyrstö | Koko vastaus |
|---|---|---|---|---|---|---|---|---|---|
| 983–1516 | 3 | 86 (56–86) | 87 (87–88) | 86 (85–88) | 88 (88–90) | — | — | 92 | 88 (55–89) |
| 7865 | 2 | 84 (81–87) | 96 (93–99) | 94 | 95 (94–96) | — | — | 94 | 93 (93–94) |
| 15816 | 3 | 79 (77–88) | 86 (86–96) | 90 (90–96) | 92 (90–98) | 93 (93–96) | 93 (92–96) | 95 | 91 (90–96) |
| 23917 | 3 | 81 (77–85) | 86 (83–91) | 83 (81–92) | 90 (80–90) | 96 | — | 83 | 86 (80–92) |
| 30153 | 3 | 78 (77–78) | 86 (86–87) | 86 (85–88) | — | — | — | 86 | 84 (84–85) |
Nopea tila, päättely (oletuskäyttäytyminen)
| Konteksti | Suorittaa | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | Pyrstö | Koko vastaus |
|---|---|---|---|---|---|---|---|---|---|
| 15854 | 1 | 61 | 68 | 61 | 59 | 58 | 60 | 85 | 60 |
| 30191 | 1 | 66 | 56 | 65 | — | — | — | 96 | 63 |
Tarkka tila, päättely pois päältä
| Konteksti | Suorittaa | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | Pyrstö | Koko vastaus |
|---|---|---|---|---|---|---|---|---|---|
| 1011 | 2 | 27 (26–29) | 28 (26–29) | 27 (26–28) | 25 (24–26) | 25 (24–25) | 23 | 26 | 25 (25–26) |
| 7893 | 2 | 29 (29–30) | 30 (29–31) | 28 (24–31) | 27 (22–31) | 26 (21–31) | 27 | 24 | 26 (23–30) |
| 15814 | 3 | 29 (26–32) | 27 (25–32) | 26 (22–28) | 23 (20–24) | 23 (20–23) | 22 | 21 | 24 (21–24) |
| 23915 | 3 | 31 (30–32) | 32 (31–34) | 29 (26–31) | 25 (25–28) | 24 | — | 24 | 26 (26–29) |
| 30151 | 3 | 32 (28–32) | 32 (30–33) | 29 (29–30) | — | — | — | 29 | 30 |
Fast-tilassa nopeus on tasainen tai nousee vastauksen loppua kohti (16K: 79 → 93, häntä 95). Hidastuminen loppua kohti näkyy vain tarkassa tilassa: 29 → 22 yli 8000 tokenia (-24%). Tarkka tila, jossa päättely on 16K, antaa 25 tok/s koko vastaukselle. Nopea reititys on 3,8× nopeampi kuin tarkka reititys.
Sisällön tyyppi (Nopea tila, 16K-konteksti)
| Tehtävä | Vastaus, rahakkeet | Koko vastaus, tok/s | MTP-luonnokset hyväksytty |
|---|---|---|---|
| JSON array of records | 8192 | 91 (90–96) | 92% (90–98%) |
| C-koodi | 7332 | 59 | 74% |
| Venäläinen tekninen proosa | 4730 | 40 (40–43) | 38% (1327/3485) |
Erot ovat useita kertoja suurempia kuin dekoodauskohina: ennustettava rakenne nopeuttaa generointia 2–2.3×, vapaa proosa hidastaa sitä. Tämä on sisällön ominaisuus, ei hidastuminen ajan myötä.
Esitäyttö, ensimmäisen tunnuksen aika ja kehotus välimuistiin
| Tapaus | Kehote, tunnukset | Kylmä esitäyttö, tok/s | Kylmä TTFT | Lämmin TTFT | Uudelleenkäytetyt rahakkeet |
|---|---|---|---|---|---|
| 1K | 983–1516 | 293 | 3.4–3.8 s | — | 0 |
| 8K | 7865 | 865 | 9.1–9.2 s | — | 0 |
| 16K | 15816 | 908 | 17.3–17.6 s | 0.2 s | 15 803 |
| 24K | 23917 | 914 | 25.4–26.3 s | — | 0 |
| 30K | 30153 | 892 | 33.6–34.5 s | 0.4 s | 30 141 |
Lämmin kehotevälimuisti poistaa lähes kaiken esitäytön (17.4 s → 0.2 s 16K: ssa, 33.6 s → 0.4 s 30K: ssa) eikä muuta dekoodausnopeutta. Expert-cache-osumat olivat 98.7–98.8% nopeassa tilassa; NVMe-lukemat olivat 1.1-3.3 GB/s asiantuntijoiden latautuessa ja lähes nolla tasaisen JSON-dekoodauksen aikana.
30,151-merkkisessä kehotteessa, jossa on 32,768-raja, moottori leikkaa vastausbudjetin itse ja päättyy pysähtymiseen tai pituuteen ilman virhettä. Vain kehote, joka ei sovi omaan palautusvirheeseen 400.
Laitteisto ajojen aikana
| Estää | Valta | Lämpötila | SM-kello | VRAM | Vaihda | NVMe read |
|---|---|---|---|---|---|---|
| Nopea tila | 162–169 W (max 170.2) | 74–76 °C | 1815–1875 MHz | 11 409–11 423 MiB | 0 | 0.2–4.7 GB/s (6.6) |
| Tarkka tila | 88–105 W (max 167) | 62–71 °C | 1965–1972 MHz | 11 425 MiB | 0 | 1.6–2.3 GB/s (6.1) |
Vaihteluvälit mitattujen lohkojen välillä; huippuarvot suluissa. Nopeustilaa rajoittaa GPU-teho: 170 W: n korkissa kellot putoavat 2160 MHz: stä 1815-1875 MHz: iin 75 °C: ssa, ilman lämpökuristusta, 11.4 / 12.3 GiB VRAM käytössä eikä vaihtoa. Tarkassa tilassa GPU imee noin puolet tehosta maksimikelloissa: se odottaa asiantuntijoita eikä työskentele, minkä vuoksi nopeus laskee.
Tulostuslaatu
- JSON-muoto ei rikkoudu: Kaikissa 12: ssa rajan katkaisemassa juoksussa jokainen tietue pysyi voimassa; vain itse taulukko jätettiin julkaisematta.
- Kehotteen alusta alkavaa ohjetta noudatetaan edelleen 30K: ssa (Tag-sääntö pidetään hännässä, 50/50 ja 22/22).
- Asiakirjan keskeltä oleva merkki palautetaan 16K: ssa ja 24K: ssa, mutta katoaa 30K: ssa molemmissa tiloissa.
- Nopean tilan suurin heikkous on toistuvien entiteettien toistaminen pitkissä luetteloissa (26-28 ainutlaatuista koodia noin 190: stä) ja yksi 122 päällekkäisen rivin silmukka 30K: ssa. tarkka tila 16K: ssa piti 168/168 ja 193/193 ainutlaatuisena, mutta 24K: ssa ja 30K: ssa se voi myös romahtaa 26-33 ainutlaatuiseen koodiin ajon aikana.
- C-koodi nopeustilassa tuotti 255 toistuvaa riviä 681: stä, joten kooditehtävät nopeustilassa eivät ole luotettavia.
Tämän kokeen rajat
Yksi kone ja yksi rakenne: päätelmät GPU: n tehorajasta ja asiantuntijasyötöstä koskevat tätä korttia, jossa on 170 W: n raja ja 12 GiB VRAM. Moodeja vaihdettiin käynnistämällä Moottori uudelleen, joten yhden moodin sisäiset ajot olivat peräkkäisiä eikä järjestys ollut täysin satunnainen. Tarkka tila lämpimällä välimuistilla ajettiin kerran, ja tarkka tila 1K: ssa ja 8K: ssa oli 2 toistoa 3: n sijaan.
Mitä tämä tarkoittaa Box-asiakkaalle
- Edullinen 12 Gt: n kortti pitää 60-68 tok/s pitkien vastausten kautta, ei vain alussa.
- Pitkät dokumentit kontekstissa maksavat vähän nopeutta, ja toistuvaan kontekstiin vastataan lähes välittömästi nopean välimuistin ansiosta.
- Tila valitaan tehtäväkohtaisesti: nopea strukturoidulle datalle, tarkka, kun pitkien luetteloiden on pysyttävä yksilöllisinä; luotu koodi on tarkistettava.
Raakatiedot
Kaikki tämän kokeen 145 tiedostoa ovat ladattavissa: 13 jsonl-tulostiedostoa, 102 vastaus-ja päättelytekstiä, laitteiston telemetria, moottorilokit, skriptit, järjestelmän tila, alkuperäinen raportti venäjäksi ja post-luonnos englanniksi. Pääsyavaimet, sisäiset osoitteet, käyttäjänimet ja sisäiset polut poistettiin ennen julkaisua.