الإصدارات الطبقية على أسطولنا: يقوم الوكيل بتحديث وقياس وتحسين

Strata هو محرك استدلال ذكاء اصطناعي محلي طورته coldniko. منذ منتصف أكتوبر، كنا نتابع إصداراته على العديد من أجهزتنا. يعمل كل جهاز كمبيوتر بنفس الطراز، Qwen3.8-Flash - Next IQ3_S، لذلك تكون النتائج قابلة للمقارنة. تمت تسمية الماكينات على مستوى أجهزتها:

• P1005: إنتل زيون E5-2690 v4، إنفيديا تسلا P100 بسعة 16 جيجابايت HBM2، 32 جيجابايت DDR4، NVMe بسرعة حوالي 2.5 جيجابايت/ثانية، كودا 12.
• P2002: Intel Core Ultra 7 270K Plus, AMD Radeon RDNA4 (gfx1201) 16 GB, 64 GB DDR5, NVMe RAID 0, ROCm / HIP.
• ماك ستوديو: Apple M3 Ultra, Metal.

يقوم الوكيل نفسه باكتشاف إصدار Strata جديد، وتنزيله، وتشغيل القياسات، وعند الطلب، يقوم بتحسين التكوين. يتم تشغيل جميع التحسينات محليًا، باستخدام نفس طراز Qwen3.8-Flash - Next IQ3_S على أحدث إصدار من Strata.

P1005 (Tesla P100): من البيانات المتعطشة إلى الحوسبة

يبلغ إجمالي خبراء الطراز 46.8 جيجا بايت، وهي كبيرة جدًا بالنسبة لذاكرة الوصول العشوائي، وكانت بطاقة 16 جيجابايت ممتلئة لدرجة أن المحرك حذر من أن فك التشفير سينخفض إلى عدد قليل من الرموز في الثانية. بعد وثائق مستودع Strata، قام الوكيل بتغيير أربعة أشياء:

--vram-reserve-mib 960        (was 700)
--max-context 65536          (was 262144)
STRATA_Q8_SM60=0
--resident-experts
STRATA_DENSE_F32=1

النتيجة: ارتفع استخدام وحدة معالجة الرسومات من 27 ٪ إلى 92 ٪ (155–170 واط). أصبح الملء المسبق أسرع بما يصل إلى 4.4 مرة ؛ فك شفرة +40 ٪ عند 8K و 2.4× عند 16K.

القيم هي رموز سريعة / فك تشفير في الثانية. التكلفة: تم الآن قفل صفحة 24 جيجا بايت من ذاكرة الوصول العشوائي للخبراء، لذلك لا ينبغي تشغيل أي شيء كبير آخر على هذا الجهاز، والحد الأقصى للسياق هو 65 كيلوبايت بدلاً من 262 كيلوبايت. يستمر كل شيء عبر عمليات إعادة التشغيل.

P2002 (RADEON RDNA4): ضبط مباشر، ثم إعادة تشغيل قصيرة

أولاً، الضبط المباشر دون إعادة تشغيل المحرك. تم ضبط حاكم وحدة المعالجة المركزية على الأداء وتم الاحتفاظ بذاكرة تخزين مؤقت أطول للصفحة للخبراء ؛ خفضت ساعات GPU المثبتة الملء المسبق بحوالي 10 ٪ وتم رفضها ؛ لم يكن للقراءة المسبقة الأكبر أي تأثير. تم تحسين فك التشفير عند 2K و 8K بنسبة 10-18 ٪.

ثم، مع إعادة التشغيل لمدة 40 ثانية تقريبًا (حملت السلسلة الاحتياطية الجلسة، دون أي انقطاع مرئي)، رفع الوكيل احتياطي ذاكرة الوصول العشوائي (VRAM) من 700 إلى 960 ميغابايت وتمكين -- kv - growth، مع الحفاظ على سياق 262K الكامل. نمت ماكينات سلوت الخبراء من 2518 إلى 3686 (+46 ٪)، وارتفع معدل إصابة الخبراء من 74 ٪ إلى 87 ٪ واختفت تحذيرات الترحيل. كما أضافت هيئة رقابة حتى يتم إعادة تشغيل المحرك من تلقاء نفسه.

الجناح القياسي: فك شفرة المحادثة 74.3 توك/ثانية (كان 71.9)، الرمز الأول 0.39 ثانية (كان 0.46)، فك شفرة العامل 66.7 توك/ثانية (كان 59.2). لاحظ الوكيل أيضًا بصدق أن الأرقام الأولى بعد إعادة التشغيل مباشرة منخفضة بنسبة 25 ٪ تقريبًا لأن ذاكرة التخزين المؤقت للخبراء لا تزال باردة.

Mac Studio (M3 Ultra): كانت الإعدادات الافتراضية مثالية بالفعل

أعاد الوكيل تشغيل المحرك ست مرات لتشغيل A/B النظيف وأثبت تجريبيًا أن التكوين الافتراضي كان بالفعل أفضل تكوين. لم يكن لخيارات KV أي تأثير على الذاكرة الموحدة ؛ كانت ذاكرة التخزين المؤقت الكبيرة للخبير السلكي ضارة (تم طي فك التشفير إلى حوالي 32 توك/ثانية) وتم إرجاعها. الملء المسبق لحوالي 790 توك/ثانية هو حد النطاق الترددي للأجهزة، وليس التكوين. المجموعة النهائية: فك شفرة الدردشة 69.1 توك/ثانية، أول رمز 0.48 ثانية. تم توثيق جميع النهايات المسدودة حتى لا يكررها أحد.

الإصدارات الجديدة، المقاسة

• Strata 0.2.0 مع واجهة المستخدم: يمكن الآن تثبيت Strata والذكاء الاصطناعي المحلي دون سطر الأوامر، مما يجعلها في متناول جمهور أوسع بكثير.
• الإصدار 0.2.2: تم تحديث ثلاثة أجهزة كمبيوتر من الإصدار 0.2.1.
• v0.2.3 → v0.2.3.1 على ماك ستوديو: فك تشفير 61.3 → 66.4 tok/s (+8 ٪)، التعبئة المسبقة 729.9 → 738.9 tok/s (+1 ٪)، لا تراجع ولا إعادة تنزيل ملفات النموذج.
• v0.2.6 وv0.2.7: كل إصدار حتى الآن حقق مكاسب أخرى في الأداء. بالنسبة للإصدار 0.2.7، أعد الوكيل ملخصًا لملاحظات الإصدار ولم يقم بتثبيت أي شيء دون موافقة.

DeepSeek V4.1 - Flash يعمل محليًا

يعمل DeepSeek V4.1 - Flash، وهو نموذج كبير لوزارة التربية والتعليم، محليًا الآن على Strata: يبقى الخبراء المثيرون في ذاكرة الوصول العشوائي ويتم بث الباقي من SSD. قمنا بقياس 14 توك/ثانية من فك التشفير. على أجهزتنا الحالية، هذا لا يكفي للدماغ الرئيسي للوكيل، لكنه يعمل بشكل جيد كنموذج للرأي الثاني ومدقق ليلي.

ماذا يعني هذا لعميل Box

• يتم الكشف عن تحديثات المحرك وتطبيقها وقياسها من قبل الوكيل، مع الموافقة عليها قبل التغييرات.
• يحصل كل مستوى من مستويات الأجهزة على التكوين المقاس الخاص به، ويتم توثيق الخيارات الفاشلة.
• يوفر نفس النموذج على الأجهزة المختلفة أساسًا واضحًا لاختيار التكوين.

الخيط الأصلي على X · كل الأخبار