الأخبار
تشغيل الطبقة الأولى ومختبر لتكوينات الذكاء الاصطناعي المحلية القابلة للتكرار
31 توك/ثانية مع نموذج ~47 جيجابايت باستخدام حوالي 3 جيجابايت فقط من ذاكرة الوصول العشوائي للنظام، و 45–48 توك/ثانية بعد ترقية ذاكرة الوصول العشوائي، و 32 جيجابايت من ذاكرة الوصول العشوائي مؤكدة على أنها كافية، وأول سير عمل مستقل بين عشية وضحاها، وآلات متطابقة للتكوينات القابلة للتكرار.
النتيجة الأولى: 31 توكينز في الثانية
- Strata v0.1.41
- الطراز: Qwen3.8-Flash-Next IQ3_XXS
- المعالج: Intel Core Ultra 7 270K Plus
- وحدة معالجة الرسومات: AMD Radeon RX 9070 OC, 16 GB GDDR6
- ذاكرة الوصول العشوائي: 32 GB DDR5-6000
- SSD: Lexar NM1090 Pro 2 TB, NVMe PCIe 5.0
- السياق: 65,536 tokens
أنتج النموذج 12,136 رمزًا في حوالي 6.5 دقيقة: 31 رمزًا في الثانية. مع نموذج يبلغ حوالي 47 جيجابايت، كانت ذاكرة الوصول العشوائي (VRAM) ممتلئة تقريبًا بينما كان استخدام ذاكرة الوصول العشوائي للنظام حوالي 3 جيجابايت فقط: تقرأ Strata جزءًا من النموذج مباشرة من محرك الأقراص ذي الحالة الصلبة (SSD). رسمت وحدة معالجة الرسومات حوالي 130–150 واط، وظلت عند 45 درجة مئوية وكانت المراوح بالكاد مسموعة. وهذا يفتح إمكانية وجود أنظمة ذكاء اصطناعي محلية أرخص بكثير، دون كميات هائلة من ذاكرة الوصول العشوائي أو منصات الخوادم باهظة الثمن.
برنامج منهجي على أجهزة مختلفة
بدأت هذه النتائج برنامجًا أكثر منهجية: Strata على 11 جهاز كمبيوتر بتكوينات مختلفة جدًا، مع وحدات معالجة الرسومات NVIDIA و AMD و Intel و DDR4 و DDR5 وتخزين NVMe من PCIe 3.0 إلى PCIe 5.0، بما في ذلك مصفوفة PCIe 5.0 RAID 0 تبلغ حوالي 35 جيجابايت/ثانية. أولاً التوافق والأداء والاستقرار ؛ ثم المهام العملية اليومية والتجارية.
تم التحقق من الحالة المعاكسة أيضًا: على جهاز كمبيوتر صغير بدون وحدة معالجة رسومات منفصلة وذاكرة وصول عشوائي بسعة 8 جيجابايت، يمكن بناء Strata ولكن لم يتم إطلاق النموذج، حتى بعد إضافة ذاكرة الوصول العشوائي، بسبب ذاكرة الفيديو المخصصة ديناميكيًا. الاستنتاج: لا يتم تشغيل Strata على هذا التكوين غير الموثق.
256 ألف سياق والدروس العملية الأولى
على نظام RX 9070 مع سياق 256K، كان الإخراج 15–30 رمزًا في الثانية. في جلسة واحدة (9:44–12:00): 18 طلبًا، حوالي 108 ألف توكن سريع (114 توك/ثانية)، حوالي 856 ألف إعادة استخدام، حوالي 100 ألف مكتوب (22.6 توك/ثانية). من بين حوالي 25 طلبًا، انكسر عدد قليل منها: مطالبة بخمسة أسئلة في وقت واحد (عملت عند الانقسام) وطلب إجابة رمزية من 60 إلى 70 ألف. وصلت المخرجات الأخرى إلى 14–22 ألف رمز، وتم الاحتفاظ بأجيال طويلة بجودة عالية.
لم تكتشف Strata وحدة معالجة الرسومات بدون شاشة متصلة على لوحة ASUS PRO Q870M - C - CSM ؛ حلها قابس HDMI الوهمي.
32 غيغابايت من ذاكرة الوصول العشوائي كافية
مع 32 جيجابايت من ذاكرة الوصول العشوائي، يمكن تشغيل Strata دون تحميل النموذج في ذاكرة الوصول العشوائي للنظام: تظل الذاكرة خالية للمهام الأخرى ووحدة المعالجة المركزية لأحمال العمل المتوازية، بسرعة 15–20 توك/ثانية. مع 64 جيجابايت على نفس الجهاز (Strata v0.1.43، Qwen3.8-Flash - Next IQ3_S)، وصل التوليد إلى 45–48 توك/ثانية، ولكن مع ذاكرة أقل بكثير متبقية للعمل الآخر. في وقت لاحق، في تكوينين مختلفين بما في ذلك DDR4، بالكاد استخدمت Strata ذاكرة الوصول العشوائي بسرعة 15–25 توك/ثانية بينما بقي حوالي نصف وحدة المعالجة المركزية مجانيًا لـ Hermes والمكونات الداعمة. ينخفض الأداء مع نمو طول السياق، لذلك يعتمد على المهام.
أول سير عمل مستقل
أعطى التشغيل بين عشية وضحاها على أجهزة غير مدعومة بدون وحدة معالجة رسومات منفصلة حوالي رمز واحد في الثانية، لأن الكثير من النموذج انتهى به المطاف في المقايضة. لم تكن السرعة هي الهدف: تم تعيين المهمة في المساء وكانت النتيجة جاهزة في الصباح. ثم انتقل Hermes إلى آلة ذات سرعة قابلة للاستخدام وبدأ العمل اليومي. يستخدم الفحص الصباحي بالفعل مستشعرات Home Assistant ويراقب النسخ الاحتياطية وصحة القرص ودرجات الحرارة عبر أجهزة الكمبيوتر المتصلة ؛ وأفاد على الفور أن غرفة الخادم أصبحت دافئة للغاية مع تشغيل ستة أجهزة كمبيوتر.
مختبر للآلات المتطابقة
لتحويل النتائج الفردية إلى إعداد قابل للتكرار، اشترينا 10 لوحات أم ووحدات معالجة مركزية متطابقة لـ 10 أنظمة مطابقة: منصة ASUS مع 8 فتحات RAM و DDR4 ميسورة التكلفة والإدارة عن بُعد على مستوى BIOS، حتى يتمكن الوكلاء من إعادة تثبيت نظام التشغيل عن بُعد.
لقد قمنا بالفعل بإعداد 20–30 جهاز كمبيوتر تقريبًا من الصفر وقمنا بإدارتها عن طريق الصوت من الهاتف من خلال وكلاء السحابة، بما في ذلك سير عمل محاسبي من تثبيت تخطيط موارد المؤسسات إلى إدخال الفواتير في النظام الضريبي الإيطالي. الهدف الآن هو إعادة إنتاج سير العمل هذا مع الذكاء الاصطناعي المحلي. خارج الصندوق، استغرقت المهام التي تستغرق ثوانٍ أو دقيقة في السحابة 5–10 دقائق محليًا ؛ وجاء التحسين بعد ذلك. تأتي المهام من مصادر عديدة، ويقوم الوكلاء بتقديمها في OpenProject وتعيينها إلى الوكيل أو الشخص الأنسب.
ماذا يعني هذا لعميل Box
- يمكن تشغيل الطرز الكبيرة على أجهزة ميسورة التكلفة بذاكرة وصول عشوائي متواضعة.
- يتم اختيار التكوينات من القياسات على الآلات الحقيقية.
- تجعل الآلات المتطابقة النتائج قابلة للتكرار والإدارة عن بُعد ممكنة.