समाचार
निरंतर भार के तहत RTX 3060 12 GB: अंतिम टोकन तक 60 -68 tok/s
हमने 16K संदर्भ में 8192 - टोकन उत्तर में तर्क के साथ 60 -68 टोकन/सेकंड, बिना तर्क के 79 -96 टोकन/सेकंड, और 1K से 30K प्रॉम्प्ट में केवल लगभग 8% खोने के बजाय, हर लंबे उत्तर के अंदर गति को मापा। सभी 145 रॉ फ़ाइलें डाउनलोड करने के लिए उपलब्ध हैं।
30 अक्टूबर 2026 को हमने RTX 3060 12 GB के साथ हमारे प्रयोग कंप्यूटर B2003 पर माप की एक लंबी श्रृंखला चलाई। परिणाम: (डिफ़ॉल्ट) पर तर्क के साथ, स्ट्रैटा पर Qwen3.8-Flash-Next IQ3_S पहले टोकन से लेकर 16K प्रॉम्प्ट पर 8192 वें टोकन तक 60 -68 टोकन/सेकंड रखता है, जिसमें कोई बूंद नहीं होती है। तर्क के साथ यह 79 -96 tok/s पर चलता है। लगभग पूर्ण संदर्भ की लागत लगभग 8% होती है: 1K से 30K प्रॉम्प्ट तक औसत 88 से 84 tok/s तक जाता है।
हमारे पिछले लेख में इस कार्ड पर 68 टोक/सेकंड तक डिकोडिंग की सूचना दी गई थी। एक्स पर हमें सबसे अधिक पूछे जाने वाले दो प्रश्न यह हैं कि क्या वह गति एक लंबे उत्तर के माध्यम से है या केवल एक वार्म - अप शिखर है, और क्या प्रदर्शन एक लंबे संदर्भ के दूसरे छमाही में है। उनका जवाब देने के लिए, हमने पूरे जवाब को औसत करने के बजाय हर स्ट्रीम किए गए टोकन को समय दिया।
हमने एक ही उत्तर के अंतराल में गति की जाँच की, 1K से 30K टोकन के संदर्भ में, एक ठंडा और एक गर्म प्रॉम्प्ट कैश, तेज़ और सटीक विशेषज्ञ रूटिंग, तीन सामग्री प्रकार (JSON, C कोड, रूसी तकनीकी गद्य), GPU पावर, घड़ियों और तापमान, और क्या आउटपुट स्वयं सही रहा।
सेटअप
- मशीन B2003: ASUS Pro Q870I - C, Intel Core Ultra 7 265, 2×24 GiB DDR5 -5600।
- GPU: RTX 3060 12 GB (GA106), ड्राइवर 615.71.10, GPU अनलॉक ऑन, पावर लिमिट 170 W।
- संग्रहण: Lexar NM1090 PRO 2 TB NVMe (PCIe 5.0 ×4)।
- सिस्टम: उबंटू 24.04.5, कर्नेल 7.0.0-38।
- इंजन: स्ट्रैटा 0.1.52 (बिल्ड एफ -027 - रिले)।
- मॉडल: Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S (78 GiB, 2 shards)।
--max-context 32768 --prefill 4096 --pool-workers 12 --spec 4 --spec-min-p 0.5
--kv int8 --kv-resident 32768 --conversation-cache-mib 1536
--resident-experts --resident-budget-gib 24
STRATA_UNBUFFERED_LOAD=1 STRATA_RESIDENT_HEADROOM_GIB=10कार्यप्रणाली
- सर्वर एक्सपोज़ /टोकन नहीं करता है, इसलिए टोकन को स्ट्रीम किए गए SSE चंक्स (1 चंक ≈ 1 टोकन; चेक: 5478 चंक्स के मुकाबले 5479 टोकन use.completion_tokens) के टाइमस्टैंप से गिना जाता है और सटीक अंतिम टोकन गिनती के लिए लंगर डाला जाता है। शब्दों और पंक्तियों का उपयोग नहीं किया गया था।
- प्रॉम्प्ट को MAX_TOKENS का उपयोग करके जांच के साथ कैलिब्रेट किया गया था: 1 (प्रति फिलर वाक्य 20.2 टोकन, फिक्स्ड ओवरहेड के 145 टोकन); वास्तविक आकार को use.prompt_tokens के खिलाफ चेक किया गया था।
- उत्तर की लंबाई 32768 माइनस प्रॉम्प्ट माइनस ए मार्जिन थी, जो 8192 टोकन तक थी; 30K पर यह 2048 टोकन है।
- प्रत्येक प्रमुख परिदृश्य को कम से कम 3 बार दोहराया गया था; हम औसत, न्यूनतम और अधिकतम की रिपोर्ट करते हैं। डिकोड शोर ±20% है और प्रीफिल शोर ±5% है; छोटे अंतरों को परिणामों के रूप में नहीं गिना गया था।
- हार्डवेयर टेलीमेट्री हर 3 सेकंड में रिकॉर्ड की जाती थी (घड़ियां, बिजली, तापमान, उपयोग, वीआरएएम, मुफ्त रैम, स्वैप, एनवीएमई रीड काउंटर)। प्रीफिल, एमटीपी ड्राफ्ट एक्सेप्टेंस, एक्सपर्ट - कैश हिट और फ़ाइल - टियर रीड इंजन लॉग से आए थे।
- दो विशेषज्ञ रूटिंग मोड: फास्ट (डिफ़ॉल्ट रूटिंग, पूर्व 1.5) और सटीक (STRATA_ROUTE_PROIR =0)। इंजन को पुनरारंभ करके मोड स्विच किए गए थे।
- सटीक - मोड फ़ाइल में 4 पंक्तियों का उत्पादन फास्ट इंजन द्वारा किया गया था क्योंकि रन के दौरान ब्लॉक स्क्रिप्ट को फिर से लिखा गया था। उन्हें टेबल से बाहर रखा जाता है और जैसे वे हैं वैसे ही संग्रह में रखा जाता है।
- कुल मिलाकर: 13 JSONL फ़ाइलों में 52 मापा गया रन (फास्ट मोड में 14, सटीक मोड में 13 और 25 वेरिएंट: तर्क, गर्म कैश, कोड, गद्य, संदर्भ सीमा, अंशांकन), साथ ही 4 बहिष्कृत पंक्तियाँ।
परिणाम: उत्तर के अंदर गति
टोक/एस, औसत (न्यूनतम - अधिकतम) में मान। संदर्भ टोकन में प्रॉम्प्ट आकार है; उत्तर 8192 टोकन (30K पर 2048) तक है।
तेज़ मोड, तर्क बंद
| संदर्भ | रन | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | पूंछ | पूरा जवाब |
|---|---|---|---|---|---|---|---|---|---|
| 983–1516 | 3 | 86 (56–86) | 87 (87–88) | 86 (85–88) | 88 (88–90) | — | — | 92 | 88 (55–89) |
| 7865 | 2 | 84 (81–87) | 96 (93–99) | 94 | 95 (94–96) | — | — | 94 | 93 (93–94) |
| 15816 | 3 | 79 (77–88) | 86 (86–96) | 90 (90–96) | 92 (90–98) | 93 (93–96) | 93 (92–96) | 95 | 91 (90–96) |
| 23917 | 3 | 81 (77–85) | 86 (83–91) | 83 (81–92) | 90 (80–90) | 96 | — | 83 | 86 (80–92) |
| 30153 | 3 | 78 (77–78) | 86 (86–87) | 86 (85–88) | — | — | — | 86 | 84 (84–85) |
तेज़ मोड, तर्क (डिफ़ॉल्ट व्यवहार)
| संदर्भ | रन | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | पूंछ | पूरा जवाब |
|---|---|---|---|---|---|---|---|---|---|
| 15854 | 1 | 61 | 68 | 61 | 59 | 58 | 60 | 85 | 60 |
| 30191 | 1 | 66 | 56 | 65 | — | — | — | 96 | 63 |
सटीक मोड, तर्क बंद
| संदर्भ | रन | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | पूंछ | पूरा जवाब |
|---|---|---|---|---|---|---|---|---|---|
| 1011 | 2 | 27 (26–29) | 28 (26–29) | 27 (26–28) | 25 (24–26) | 25 (24–25) | 23 | 26 | 25 (25–26) |
| 7893 | 2 | 29 (29–30) | 30 (29–31) | 28 (24–31) | 27 (22–31) | 26 (21–31) | 27 | 24 | 26 (23–30) |
| 15814 | 3 | 29 (26–32) | 27 (25–32) | 26 (22–28) | 23 (20–24) | 23 (20–23) | 22 | 21 | 24 (21–24) |
| 23915 | 3 | 31 (30–32) | 32 (31–34) | 29 (26–31) | 25 (25–28) | 24 | — | 24 | 26 (26–29) |
| 30151 | 3 | 32 (28–32) | 32 (30–33) | 29 (29–30) | — | — | — | 29 | 30 |
फास्ट मोड में गति सपाट होती है या उत्तर के अंत की ओर बढ़ती है (16K: 79 → 93, पूंछ 95)। अंत की ओर मंदी केवल सटीक मोड में दिखाई देती है: 29 → 22 ओवर 8000 टोकन (-24%)। 16K पर तर्क के साथ सटीक मोड पूरे उत्तर के लिए 25 टोक/सेकंड देता है। सटीक रूटिंग की तुलना में तेज़ रूटिंग 3.8× तेज़ है।
सामग्री का प्रकार (तेज़ मोड, 16K संदर्भ)
| कार्य | उत्तर, टोकन | पूरा जवाब, टोक/से | एमटीपी ड्राफ़्ट मंज़ूर किए गए |
|---|---|---|---|
| रिकॉर्ड की JSON सरणी | 8192 | 91 (90–96) | 92% (90–98%) |
| सी कोड | 7332 | 59 | 74% |
| रूसी तकनीकी गद्य | 4730 | 40 (40–43) | 38% (1327/3485) |
डिकोड शोर की तुलना में मतभेद कई गुना बड़े हैं: अनुमानित संरचना 2–2.3× तक उत्पादन की गति बढ़ाती है, मुक्त गद्य इसे धीमा कर देता है। यह कॉन्टेंट की प्रॉपर्टी है, समय के साथ मंदी नहीं।
प्रीफ़िल, पहले टोकन और प्रॉम्प्ट कैश का समय
| केस | संकेत, टोकन | कोल्ड प्रीफ़िल, टोक/एस | कोल्ड टीटीएफटी (TTFT) | गर्म TTFT | फिर से इस्तेमाल किए गए टोकन |
|---|---|---|---|---|---|
| 1K | 983–1516 | 293 | 3.4–3.8 s | — | 0 |
| 8K | 7865 | 865 | 9.1–9.2 s | — | 0 |
| 16K | 15816 | 908 | 17.3–17.6 s | 0.2 s | 15 803 |
| 24K | 23917 | 914 | 25.4–26.3 s | — | 0 |
| 30K | 30153 | 892 | 33.6–34.5 s | 0.4 s | 30 141 |
एक गर्म प्रॉम्प्ट कैश लगभग सभी प्रीफिल (16K पर 17.4 s → 0.2 s, 30K पर 33.6 s → 0.4 s) को हटा देता है और डिकोड गति को नहीं बदलता है। फास्ट मोड में एक्सपर्ट - कैश हिट 98.7-98.8% थे; NVMe रीड 1.1-3.3 GB/s थे जबकि विशेषज्ञ लोड हो रहे थे और स्थिर JSON डिकोडिंग के दौरान लगभग शून्य थे।
32,768 सीमा के साथ 30,151 - टोकन प्रॉम्प्ट पर, इंजन उत्तर बजट को ही ट्रिम करता है और बिना किसी त्रुटि के स्टॉप या लंबाई के साथ समाप्त होता है। केवल एक संकेत जो अपने स्वयं के रिटर्न त्रुटि 400 पर फिट नहीं होता है।
रनों के दौरान हार्डवेयर
| ब्लॉक | शक्ति | तापमान | एसएम घड़ी | VRAM | अदला बदली करें | NVMe ने पढ़ा |
|---|---|---|---|---|---|---|
| तेज़ मोड | 162–169 W (max 170.2) | 74–76 °C | 1815–1875 MHz | 11 409–11 423 MiB | 0 | 0.2–4.7 GB/s (6.6) |
| सटीक मोड | 88–105 W (max 167) | 62–71 °C | 1965–1972 MHz | 11 425 MiB | 0 | 1.6–2.3 GB/s (6.1) |
मापे गए ब्लॉकों में रेंज; ब्रैकेट में पीक वैल्यू। फास्ट मोड GPU पावर द्वारा सीमित है: 170 W कैप पर घड़ियाँ 2160 MHz से 1815 -1875 MHz तक 75° C पर गिरती हैं, बिना थर्मल थ्रॉटलिंग के, 12.3 GiB VRAM में से 11.4 उपयोग में है और कोई स्वैप नहीं है। सटीक मोड में GPU अधिकतम घड़ियों पर लगभग आधी शक्ति खींचता है: यह काम करने के बजाय विशेषज्ञों की प्रतीक्षा कर रहा है, यही कारण है कि गति गिर जाती है।
आउटपुट क्वालिटी
- JSON प्रारूप नहीं टूटता है: सीमा से कट गए सभी 12 रनों में हर रिकॉर्ड मान्य रहा; केवल सरणी को ही खुला छोड़ दिया गया था।
- प्रॉम्प्ट की शुरुआत से ही एक निर्देश का अभी भी 30K (पूंछ में आयोजित टैग नियम, 50/50 और 22/22) पर पालन किया जाता है।
- दस्तावेज़ के बीच से एक मार्कर को 16K और 24K पर वापस बुलाया जाता है, लेकिन दोनों मोड में 30K पर खो जाता है।
- फास्ट मोड की मुख्य कमजोरी लंबी सूचियों में इकाइयों को दोहराना है (लगभग 190 में से 26 -28 अद्वितीय कोड) और 30K पर 122 डुप्लिकेट लाइनों का एक लूप। 16K पर सटीक मोड ने 168/168 और 193/193 को अद्वितीय रखा, लेकिन 24K और 30K पर यह एक रन में 26 -33 अद्वितीय कोड तक भी गिर सकता है।
- फास्ट मोड में सी कोड ने 681 में से 255 दोहराई गई लाइनों का उत्पादन किया, इसलिए फास्ट मोड में कोड कार्य विश्वसनीय नहीं हैं।
इस प्रयोग की सीमाएँ
एक मशीन और एक बिल्ड: GPU पावर लिमिट और एक्सपर्ट सप्लाई के बारे में निष्कर्ष 170 W लिमिट और 12 GiB VRAM के साथ इस कार्ड पर लागू होते हैं। इंजन को पुनरारंभ करके मोड स्विच किए गए थे, इसलिए एक मोड के भीतर रन लगातार थे और ऑर्डर को पूरी तरह से यादृच्छिक नहीं किया गया था। गर्म कैश के साथ सटीक मोड एक बार चलाया गया था, और 1K और 8K पर सटीक मोड में 3 के बजाय 2 दोहराए गए थे।
Box ग्राहक के लिए इसका क्या अर्थ है
- एक किफायती 12 जीबी कार्ड न केवल शुरुआत में, बल्कि लंबे उत्तरों के माध्यम से 60 -68 टोक/सेकंड रखता है।
- संदर्भ में लंबे दस्तावेज़ों की लागत कम गति होती है, और प्रॉम्प्ट कैश की बदौलत बार - बार संदर्भ का जवाब लगभग तुरंत दिया जाता है।
- मोड प्रति कार्य चुना जाता है: संरचित डेटा के लिए तेज़, सटीक जब लंबी सूचियों को अद्वितीय रहना चाहिए; उत्पन्न कोड की समीक्षा की आवश्यकता है।
कच्चा डेटा
इस प्रयोग की सभी 145 फाइलें डाउनलोड करने के लिए उपलब्ध हैं: 13 JSONL परिणाम फ़ाइलें, 102 उत्तर और तर्क ग्रंथ, हार्डवेयर टेलीमेट्री, इंजन लॉग, स्क्रिप्ट, सिस्टम की स्थिति, रूसी में मूल रिपोर्ट और अंग्रेजी में पोस्ट ड्राफ्ट। प्रकाशन से पहले एक्सेस कुंजी, आंतरिक पते, उपयोगकर्ता नाम और आंतरिक पथ हटा दिए गए थे।