سياق 256K على بطاقة RTX 3050 بسعة 8 غيغابايت في محطة عمل بذاكرة DDR3

في 11 نوفمبر 2026 نُشرت نتائج من محطة العمل P3001: معالج Intel Xeon E5-2697 v2 (12 نواة / 24 خيطًا، AVX1 فقط)، وذاكرة ECC DDR3 بسعة 64 غيغابايت مثبتة (يرى النظام نحو 62 غيغابايت) بسرعة 1333 MT/s، وبطاقة NVIDIA RTX 3050 بسعة 8 غيغابايت، وقرص NVMe، ونظام Ubuntu 24.04. كان البرنامج Strata 0.1.55 (بناء متوافق مع AVX) مع النموذج المضغوط Qwen3.8-Flash-Next IQ3_S.

الإعداد السابق بسياق 16K: 59 رمزًا/ثا على نص حقيقي

في وقت سابق من اليوم نفسه أُبلغ عن إعداد سياق 16K بذاكرة KV مؤقتة من 8 بت على الجهاز نفسه. ذاكرة KV المؤقتة هي ذاكرة عمل النموذج للرموز التي عُولجت بالفعل. الأرقام المنشورة مع ذلك المنشور:

يذكر المنشور نفسه 59 رمزًا/ثا عند فك ترميز نص حقيقي و120–132 رمزًا/ثا في مرحلة prefill. يوضح خيط لاحق أن هذه الـ 59 رمزًا/ثا ناتجة عن فك الترميز التخميني: يتنبأ Strata بعدة رموز تالية ويتحقق منها معًا. على النص الحقيقي كان قبول التنبؤات مرتفعًا؛ وعلى حشو معياري مصطنع لم يكن كذلك (نحو 70% قبول على حشو اصطناعي، وفق منشور 16K). كانت مرحلة prefill محدودة بذاكرة DDR3-1333 وAVX1؛ وفي إعداد 16K ذلك، حدّت ذاكرة الرسوميات بسعة 8 غيغابايت السياق عند 16K.

إعداد 256K

كان الهدف المعلن نافذة سياق تبلغ 256K رمزًا — سعة لنحو 262,144 رمزًا في طلب واحد. اكتفت المحاولة الأولى برفع الحد إلى 256K مع ذاكرة KV مؤقتة من 8 بت. ووفق المنشور، حاول Strata حينها الإبقاء على قدر كبير جدًا من ذاكرة العمل تلك في ذاكرة الرسوميات بسعة 8 غيغابايت، فانخفضت ذاكرة الخبراء المؤقتة على وحدة المعالجة الرسومية إلى صفر خانة، ثم تبع ذلك خطأ cuBLAS. ظل الخادم يستجيب، لكن تسريع وحدة المعالجة الرسومية لم يعمل بصورة صحيحة.

الحل المنشور: نقل ذاكرة KV المؤقتة من int8 إلى q4_0 (ضغط 4 بت)، فانخفضت الذاكرة لكل رمز من نحو 71 كيلوبايت إلى 29.5 كيلوبايت؛ وتعيين –kv-resident 20480 بحيث تبقى 20,480 موضع KV فقط مقيمة في ذاكرة وحدة المعالجة الرسومية وتأتي بيانات KV الإضافية من ذاكرة النظام؛ والإبقاء على 46.47 غيغابايت من خبراء النموذج في ذاكرة DDR3 مقفلة الصفحات (page-locked)؛ والاحتفاظ بـ 498 خانة لذاكرة الخبراء المؤقتة في ذاكرة وحدة المعالجة الرسومية؛ وحصر ذاكرة الأوامر المؤقتة في نقطة تحقق نشطة واحدة. الإعدادات النهائية المذكورة: –max-context 262144، و–kv q4_0، و–kv-resident 20480، و–prompt-cache 1، و–prompt-cache-every 0. يذكر المنشور أن Strata بدأ حينها بصورة صحيحة وأبلغ عن max_context: 262144, loaded: true.

السرعة المقاسة

الأرقام التالية قياسات لمحرك الاستدلال نفسه، تشغيل واحد لكل صف — بيانات أولية، وليست متوسطات لاختبارات معيارية متكررة. مرحلة prefill هي معالجة الإدخال قبل الإجابة؛ وdecode هو التوليد رمزًا فرمزًا؛ وTTFT هو الانتظار حتى أول رمز إجابة.

يلاحظ المنشور أن رفع الإدخال من نحو 6K إلى 160K رمزًا لم يخفض prefill إلا من 188 إلى 173 رمزًا/ثا، في حين بقي decode حول 23–26 رمزًا/ثا. تشغيل مكرر لـ 24K رمزًا مع سياق مخزَّن مؤقتًا خفّض TTFT من 128.3 ثانية إلى 0.49 ثانية. استغرق إدخال بارد بـ 160K رمزًا نحو 15.5 دقيقة حتى أول رمز إجابة — ويُعزى ذلك إلى عنق الزجاجة في معالج Xeon القديم وذاكرة DDR3. ورد ذكر تقرير وكيل عن تشغيل بـ 200K رمز، لكن الصف الرقمي الكامل لذلك التشغيل غير موجود في الجدول.

تمييز مهم في الخيط: 256K هو حد السياق المُعدّ والمعلن. تصل القياسات التفصيلية إلى 160K، لا إلى كامل 256K. لم تكن نافذة 262K الكاملة قد قيست بعد وقت المنشورات. يقدّر ردّ نحو 26 دقيقة لمرحلة prefill الباردة لكامل 262K، ويشير إلى أن ذلك ما زال بحاجة إلى قياس. لم تُثبت سرعة 59 رمزًا/ثا لأحمال سياق 256K. كانت مرحلة prefill في الإعداد الجديد أعلى مما في إعداد 16K السابق؛ ويعالج الخيط ذلك بوصفه فرقًا ملاحظًا بين الإعدادات، لا دليلًا على سبب واحد، لأن تنسيق KV وتخطيط الذاكرة تغيّرا أيضًا.

القيود وتقدير للطاقة

قيود مذكورة في الخيط: ذاكرة وحدة المعالجة الرسومية شبه ممتلئة، نحو 7.5–7.7 غيغابايت مستخدمة من أصل 8 غيغابايت، مع تحذير بعض التشغيلات من بقاء 193–331 ميغابايت فقط حرة؛ وذاكرة النظام نحو 53 غيغابايت من أصل 62، يشغل منها نحو 46.5 غيغابايت خبراء النموذج المثبتون في الذاكرة؛ ونقطة تحقق دافئة واحدة فقط لذاكرة الأوامر المؤقتة، لذا قد يتطلب التبديل بين محادثات كبيرة جدًا إعادة معالجة المدخلات (قد تشغل نقطة تحقق واحدة بـ 200K رمز نحو 4.7 غيغابايت وحدها)؛ والأوامر الطويلة الباردة بطيئة.

يرد تقدير تقريبي للطاقة في مرحلة prefill لـ 160K على أنه 300 واط × 15.5 دقيقة ≈ 0.078 كيلوواط ساعة. عند 0.25 يورو/كيلوواط ساعة، يعادل ذلك نحو 0.02 يورو من الكهرباء. يسميه المنشور تقديرًا، لا قياسًا للطاقة.

الخلاصة العملية للخيط أن الذكاء الاصطناعي المحلي الرخيص ليس معدًّا لمنافسة نماذج السحابة في الجلسات الطويلة والمتطلبة، حيث تكون خدمات السحابة في كثير من الأحيان أسرع وأكثر اقتصادًا. الميزة الرئيسة لهذه الحواسيب القديمة الرخيصة هي الخصوصية: معالجة المستندات الحساسة محليًا. ولكثير من هذه المهام تكفي نافذة سياق صغيرة. النتيجة المنشورة أن بطاقة RTX 3050 بسعة 8 غيغابايت يمكنها تشغيل نموذج محلي معدّ على 256K دون نقل كامل ذاكرة عمله إلى ذاكرة الرسوميات. ما زالت هناك حاجة إلى قياسات إضافية — بما في ذلك النطاق الكامل للسياق، وقابلية التكرار، والجودة في المهام.

تُنشر نتائج القياس والسجلات في مستودع عام.

مستودع المشروع على GitHub · منشور على X · نتائج 16K · كل الأخبار