الأخبار
RTX 3060 12 جيجابايت تحت الحمل المستمر: 60–68 توك/ثانية إلى آخر توكن
قمنا بقياس السرعة داخل كل إجابة طويلة، رمزًا رمزيًا، بدلاً من حساب المتوسط: 60–68 توك/ثانية مع الاستدلال عبر إجابة 8192 رمزًا في سياق 16K، 79–96 توك/ثانية دون الاستدلال، وفقد حوالي 8 ٪ فقط من مطالبة 1K إلى 30K. جميع ملفات RAW البالغ عددها 145 متاحة للتنزيل.
في 30 أكتوبر 2026، أجرينا سلسلة طويلة من القياسات على B2003، جهاز الكمبيوتر التجريبي الخاص بنا مع RTX 3060 بسعة 12 جيجابايت. النتيجة: مع الاستدلال على (الافتراضي)، يحمل Qwen3.8-Flash - Next IQ3_S on Strata 60–68 tok/s من الرمز المميز الأول إلى الرمز المميز 8192 في موجه 16K، دون أي قطرات. مع الاستدلال، فإنه يعمل بسرعة 79–96 توك/ثانية. يكلف السياق الكامل تقريبًا حوالي 8 ٪ فقط: من 1 ألف إلى 30 ألفًا، ينتقل الوسيط من 88 إلى 84 توك/ثانية.
أبلغت مقالتنا السابقة عن ما يصل إلى 68 توك/ثانية من فك التشفير على هذه البطاقة. السؤالان اللذان يطرحان علينا أكثر على X هما ما إذا كانت هذه السرعة تصمد من خلال إجابة طويلة أم أنها مجرد ذروة إحماء، وما إذا كان الأداء يصمد في النصف الثاني من سياق طويل. للإجابة عليها، قمنا بتوقيت كل رمز متدفق بدلاً من حساب المتوسط على الإجابة بأكملها.
لقد تحققنا من السرعة على فترات من نفس الإجابة، والسياق من 1K إلى 30K، وذاكرة التخزين المؤقت الباردة والدافئة، وتوجيه الخبراء السريع والدقيق، وثلاثة أنواع من المحتوى (JSON، C code، النثر التقني الروسي)، وطاقة GPU، والساعات ودرجة الحرارة، وما إذا كان الإخراج نفسه بقي صحيحًا.
الإعداد
- الجهاز B2003: ASUS Pro Q870I - C، Intel Core Ultra 7 265، 2×24 جيجا بايت DDR5 -5600.
- GPU: RTX 3060 12 GB (GA106)، برنامج التشغيل 615.71.10، إلغاء قفل GPU، حد الطاقة 170 واط.
- التخزين: Lexar NM1090 PRO 2 TB NVMe (PCIe 5.0 ×4).
- النظام: أوبونتو 24.04.5، النواة 7.0.0-38.
- المحرك: الطبقة 0.1.52 (بناء f -027 - rel).
- الطراز: Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S (78 جيجا بايت، 2 شظايا).
--max-context 32768 --prefill 4096 --pool-workers 12 --spec 4 --spec-min-p 0.5
--kv int8 --kv-resident 32768 --conversation-cache-mib 1536
--resident-experts --resident-budget-gib 24
STRATA_UNBUFFERED_LOAD=1 STRATA_RESIDENT_HEADROOM_GIB=10المنهجية
- لا يعرض الخادم/يتم ترميزه، لذلك تم حساب الرموز من الطوابع الزمنية لقطع SSE المتدفقة (قطعة واحدة = 1 رمز ؛ تحقق: 5478 قطعة مقابل 5479 رمزًا في use.completion_tokens) وربطها بالعدد النهائي الدقيق للرمز المميز. لم يتم استخدام الكلمات والخطوط.
- تمت معايرة المطالبات باستخدام مجسات باستخدام max_tokens: 1 (20.2 رمزًا لكل جملة حشو، 145 رمزًا من النفقات العامة الثابتة )؛ تم التحقق من الحجم الفعلي مقابل use.prompt_tokens.
- كان طول الإجابة 32768 مطروحًا منه المطالبة مطروحًا منها الهامش، حتى 8192 رمزًا ؛ في 30K هذا هو 2048 رمزًا.
- تم تكرار كل سيناريو رئيسي 3 مرات على الأقل ؛ نقوم بالإبلاغ عن المتوسط والحد الأدنى والحد الأقصى. ضوضاء فك الترميز هي ±20 ٪ وضوضاء التعبئة المسبقة ±5 ٪ ؛ لم يتم احتساب الاختلافات الأصغر كنتائج.
- تم تسجيل القياس عن بُعد للأجهزة كل 3 ثوانٍ (الساعات، الطاقة، درجة الحرارة، الاستخدام، VRAM، ذاكرة الوصول العشوائي المجانية، المبادلة، عدادات قراءة NVMe). وجاءت التعبئة المسبقة، وقبول مسودة الخطة المتوسطة الأجل، ومرات الوصول إلى ذاكرة التخزين المؤقت للخبراء، وقراءات مستوى الملف من سجل المحرك.
- وضعان للتوجيه الخبير: سريع (التوجيه الافتراضي، قبل 1.5) ودقيق (STRATA_ROUTE_PRIOR=0). تم تبديل الأوضاع عن طريق إعادة تشغيل المحرك.
- تم إنتاج 4 صفوف في ملف الوضع الدقيق بواسطة المحرك السريع لأنه تمت إعادة كتابة نص الكتلة أثناء التشغيل. يتم استبعادها من الجداول والاحتفاظ بها في الأرشيف كما هي.
- في المجموع: 52 عملية قياس في 13 ملف JSONL (14 في الوضع السريع، و 13 في الوضع الدقيق و 25 متغيرًا: التفكير، وذاكرة التخزين المؤقت الدافئة، والرمز، والنثر، وحد السياق، والمعايرة)، بالإضافة إلى 4 صفوف مستبعدة.
النتائج: السرعة داخل الإجابة
القيم بالرمز/ثانية، الوسيط (الحد الأدنى- الحد الأقصى). السياق هو حجم المطالبة في الرموز ؛ الإجابة هي ما يصل إلى 8192 رمزًا (2048 عند 30 ألف).
الوضع السريع، الاستدلال
| السياق | الجري | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | الذيل | الإجابة الكاملة |
|---|---|---|---|---|---|---|---|---|---|
| 983–1516 | 3 | 86 (56–86) | 87 (87–88) | 86 (85–88) | 88 (88–90) | — | — | 92 | 88 (55–89) |
| 7865 | 2 | 84 (81–87) | 96 (93–99) | 94 | 95 (94–96) | — | — | 94 | 93 (93–94) |
| 15816 | 3 | 79 (77–88) | 86 (86–96) | 90 (90–96) | 92 (90–98) | 93 (93–96) | 93 (92–96) | 95 | 91 (90–96) |
| 23917 | 3 | 81 (77–85) | 86 (83–91) | 83 (81–92) | 90 (80–90) | 96 | — | 83 | 86 (80–92) |
| 30153 | 3 | 78 (77–78) | 86 (86–87) | 86 (85–88) | — | — | — | 86 | 84 (84–85) |
الوضع السريع، المنطق على (السلوك الافتراضي)
| السياق | الجري | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | الذيل | الإجابة الكاملة |
|---|---|---|---|---|---|---|---|---|---|
| 15854 | 1 | 61 | 68 | 61 | 59 | 58 | 60 | 85 | 60 |
| 30191 | 1 | 66 | 56 | 65 | — | — | — | 96 | 63 |
الوضع الدقيق، الاستدلال
| السياق | الجري | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | الذيل | الإجابة الكاملة |
|---|---|---|---|---|---|---|---|---|---|
| 1011 | 2 | 27 (26–29) | 28 (26–29) | 27 (26–28) | 25 (24–26) | 25 (24–25) | 23 | 26 | 25 (25–26) |
| 7893 | 2 | 29 (29–30) | 30 (29–31) | 28 (24–31) | 27 (22–31) | 26 (21–31) | 27 | 24 | 26 (23–30) |
| 15814 | 3 | 29 (26–32) | 27 (25–32) | 26 (22–28) | 23 (20–24) | 23 (20–23) | 22 | 21 | 24 (21–24) |
| 23915 | 3 | 31 (30–32) | 32 (31–34) | 29 (26–31) | 25 (25–28) | 24 | — | 24 | 26 (26–29) |
| 30151 | 3 | 32 (28–32) | 32 (30–33) | 29 (29–30) | — | — | — | 29 | 30 |
في الوضع السريع، تكون السرعة مسطحة أو ترتفع في نهاية الإجابة (16K: 79 → 93، الذيل 95). يظهر التباطؤ نحو النهاية فقط في الوضع الدقيق: 29 → 22 على 8000 رمز (-24 ٪). الوضع الدقيق مع المنطق على 16K يعطي 25 توك/ثانية للإجابة بأكملها. التوجيه السريع أسرع 3.8 مرة من التوجيه الدقيق.
نوع المحتوى (الوضع السريع، سياق 16K)
| المهمة | الإجابة، الرموز | الإجابة الكاملة، توك/ثانية | تم قبول مسودات الخطة المتوسطة الأجل |
|---|---|---|---|
| مجموعة سجلات JSON | 8192 | 91 (90–96) | 92% (90–98%) |
| الرمز البرمجي | 7332 | 59 | 74% |
| نثر تقني روسي | 4730 | 40 (40–43) | 38% (1327/3485) |
الاختلافات أكبر بعدة مرات من ضوضاء فك التشفير: سرعات الهيكل التي يمكن التنبؤ بها تولد 2–2.3×، والنثر الحر يبطئها. هذه خاصية للمحتوى، وليست تباطؤًا بمرور الوقت.
التعبئة المسبقة، حان الوقت لأول رمز مميز وذاكرة التخزين المؤقت الفورية
| الحالة | PROMPT، TOKENS | تعبئة مسبقة باردة، علامة/علامات | TTFT بارد | TTFT دافئ | الرموز المعاد استخدامها |
|---|---|---|---|---|---|
| 1K | 983–1516 | 293 | 3.4–3.8 s | — | 0 |
| 8K | 7865 | 865 | 9.1–9.2 s | — | 0 |
| 16K | 15816 | 908 | 17.3–17.6 s | 0.2 s | 15 803 |
| 24K | 23917 | 914 | 25.4–26.3 s | — | 0 |
| 30K | 30153 | 892 | 33.6–34.5 s | 0.4 s | 30 141 |
تقوم ذاكرة التخزين المؤقت للمطالبة الدافئة بإزالة جميع الملء المسبق تقريبًا (17.4 ثانية → 0.2 ثانية عند 16K، 33.6 ثانية → 0.4 ثانية عند 30K) ولا تغير سرعة فك التشفير. كانت ضربات ذاكرة التخزين المؤقت للخبراء 98.7-98.8 ٪ في الوضع السريع ؛ كانت قراءات NVMe 1.1-3.3 جيجابايت/ثانية بينما كان الخبراء يقومون بالتحميل وتقريباً صفر أثناء فك تشفير JSON الثابت.
في مطالبة مكونة من 30151 رمزًا بحد أقصى 32768، يقوم المحرك بتقليص ميزانية الإجابة نفسها وينتهي بالتوقف أو الطول، دون خطأ. فقط موجه لا يتناسب مع خطأ الإرجاع الخاص به 400.
الأجهزة أثناء التشغيل
| حظر | الطاقة | درجة الحرارة | ساعة SM | VRAM | فائدة التمديد | NVMe read |
|---|---|---|---|---|---|---|
| الوضع السريع | 162–169 W (max 170.2) | 74–76 °C | 1815–1875 MHz | 11 409–11 423 MiB | 0 | 0.2–4.7 GB/s (6.6) |
| الوضع الدقيق | 88–105 W (max 167) | 62–71 °C | 1965–1972 MHz | 11 425 MiB | 0 | 1.6–2.3 GB/s (6.1) |
النطاقات عبر الكتل المقاسة ؛ قيم الذروة بين قوسين. يقتصر الوضع السريع على طاقة وحدة معالجة الرسومات: عند الحد الأقصى البالغ 170 واط، تنخفض الساعات من 2160 ميجاهرتز إلى 1815–1875 ميجاهرتز عند 75 درجة مئوية، مع عدم وجود خنق حراري، واستخدام 11.4 من 12.3 جيجا بايت VRAM وعدم التبديل. في الوضع الدقيق، تستمد وحدة معالجة الرسومات حوالي نصف الطاقة عند الحد الأقصى للساعات: فهي تنتظر الخبراء بدلاً من العمل، وهذا هو السبب في انخفاض السرعة.
جودة المخرجات
- لا ينكسر تنسيق JSON: في جميع الجولات الاثني عشر التي تم قطعها بالحد الذي ظل كل سجل صالحًا ؛ تم ترك المصفوفة نفسها فقط غير مغلقة.
- لا يزال يتم اتباع تعليمات من بداية المطالبة عند 30K (قاعدة العلامة المثبتة في الذيل، 50/50 و 22/22).
- يتم استدعاء علامة من منتصف المستند عند 16K و 24K ولكن يتم فقدها عند 30K، في كلا الوضعين.
- يتمثل الضعف الرئيسي للوضع السريع في تكرار الكيانات في القوائم الطويلة (26–28 رمزًا فريدًا من أصل حوالي 190) وحلقة واحدة من 122 سطرًا مكررًا عند 30 كيلو. أبقى الوضع الدقيق عند 16K على 168/168 و 193/193 فريدًا، ولكن عند 24K و 30K يمكن أيضًا أن ينهار إلى 26–33 رمزًا فريدًا في الجري.
- أنتجت الكود البرمجي في الوضع السريع 255 سطرًا متكررًا من أصل 681، لذلك لا يمكن الاعتماد على مهام الكود البرمجي في الوضع السريع.
حدود هذه التجربة
آلة واحدة وبناء واحد: تنطبق الاستنتاجات حول حد طاقة وحدة معالجة الرسومات وإمدادات الخبراء على هذه البطاقة بحد 170 واط و 12 جيجا بايت من VRAM. تم تبديل الأوضاع عن طريق إعادة تشغيل المحرك، لذلك كان التشغيل في وضع واحد متتاليًا ولم يكن الترتيب عشوائيًا بالكامل. تم تشغيل الوضع الدقيق مع ذاكرة التخزين المؤقت الدافئة مرة واحدة، وتم تكرار الوضع الدقيق عند 1K و 8K مرتين بدلاً من 3.
ماذا يعني هذا لعميل Box
- بطاقة 12 جيجابايت بأسعار معقولة تحافظ على 60–68 توك/ثانية من خلال إجابات طويلة، ليس فقط في البداية.
- تكلف المستندات الطويلة في السياق القليل من السرعة، ويتم الرد على السياق المتكرر على الفور تقريبًا بفضل ذاكرة التخزين المؤقت السريعة.
- يتم اختيار الوضع لكل مهمة: سريع للبيانات المنظمة، ودقيق عندما يجب أن تظل القوائم الطويلة فريدة من نوعها ؛ التعليمات البرمجية التي تم إنشاؤها تحتاج إلى مراجعة.
بيانات أولية
جميع ملفات هذه التجربة البالغ عددها 145 ملفًا متاحة للتنزيل: 13 ملفًا من ملفات نتائج JSONL، و 102 من نصوص الإجابات والاستدلال، والقياس عن بُعد للأجهزة، وسجلات المحرك، والنصوص، وحالة النظام، والتقرير الأصلي باللغة الروسية والمسودة اللاحقة باللغة الإنجليزية. تمت إزالة مفاتيح الوصول والعناوين الداخلية وأسماء المستخدمين والمسارات الداخلية قبل النشر.