يقوم وكلاء الذكاء الاصطناعي المحليون بضبط الأجهزة التي يعملون عليها

لا يجب ضبط نظام الذكاء الاصطناعي المحلي يدويًا. في تجاربنا، يقوم الوكيل الذي يعمل على الأجهزة المحلية بتحليل نفس الأجهزة، ويقوم بإجراء قياساته الخاصة ويحتفظ فقط بالإعدادات التي تساعد بالفعل. فيما يلي أربع نتائج من الأسبوع الماضي، من الأحدث إلى الأقدم.

الحد من ساعات تعزيز وحدة المعالجة المركزية: نفس السرعة، حرارة أقل

تتمثل إحدى الخدع التي يتم التقليل من شأنها لتشغيل الذكاء الاصطناعي المحلي في الحد من ساعات تعزيز وحدة المعالجة المركزية و/أو وحدة معالجة الرسومات. عن طريق الصوت، طلبنا من وكيل الذكاء الاصطناعي المحلي تحسين الكمبيوتر المحمول الذي يدير دماغ الذكاء الاصطناعي الرئيسي لدينا. قلل من تردد وحدة المعالجة المركزية من 5.5 جيجاهرتز إلى 4.5 جيجاهرتز.

• سرعة استنتاج LLM على Strata بقيت كما هي بالضبط، دون أي فقدان.
• انخفضت درجة حرارة وحدة المعالجة المركزية بحوالي 10 ٪.
• انخفض استهلاك طاقة وحدة المعالجة المركزية بشكل كبير.
• انخفضت درجات حرارة وحدة معالجة الرسومات أيضًا، دون الحد من ساعات وحدة معالجة الرسومات.

تشترك وحدة المعالجة المركزية ووحدة معالجة الرسومات في ميزانية حرارية، لذا فإن تقليل تعزيز وحدة المعالجة المركزية غير الضروري يساعد أيضًا وحدة معالجة الرسومات. لم يقض أحد ساعات في الضبط: طُلب من الوكيل ببساطة العثور على الحدود المثلى، وقام بإجراء التجارب بنفسه بينما استمر العمل على أشياء أخرى.

التشخيص الذاتي: ثق بالذكاء الاصطناعي، ولكن تحقق

الإعداد: Strata + Qwen3.8-Next-IQ3_S. أعلن الذكاء الاصطناعي المحلي أن حد طاقة وحدة معالجة الرسومات غير قابل للإصلاح. لقد شككنا في النتيجة، وتحققنا منها خارجيًا (حتى الإصدار المجاني من ChatGPT يكفي لذلك)، وحددنا الحد واكتسبنا أداءً بنسبة 30-35 ٪.

القاعدة التي نطبقها: استخدم الذكاء الاصطناعي للتشخيص الذاتي، ولكن تحقق من النتائج الحرجة.

التحسين التلقائي على جهاز كمبيوتر محمول RTX 5090

Strata على جهاز كمبيوتر محمول للألعاب مع RTX 5090 (ذاكرة VRAM بسعة 24 جيجابايت)، موديل Qwen3.8-Flash - Next IQ3_S:

• فك الشفرة: 83.6 tok/s
• فك رمز الوكيل: 99.8 tok/s
• التعبئة المسبقة 4K: 1,443 tok/s
• التعبئة المسبقة 16K: 2,132 tok/s
• الرمز المميز الأول: 0.28 s

بعد ذلك، قام الوكيل بتحسين نفس الجهاز من تلقاء نفسه:

• فك التشفير الدافئ: 63–110 → 109–118 tok/s
• ذروة فك شفرة العامل: 119.5 → 125.5 tok/s (+5%)
• تم حفظ التكوين المحسن، وتم التراجع عن الإعدادات غير المستقرة، وتم إيقاف تشغيل الخادم بأمان.

RTX 3060 12 GB: الفتح والمكاسب الأولى

على أحد أجهزة الكمبيوتر التجريبية لدينا (علبة ITX صغيرة، 48 جيجابايت من ذاكرة الوصول العشوائي، RTX 3060 12 جيجابايت) قمنا بتمكين فتح NVIDIA. الكسب المقاس: ما يصل إلى +78 ٪ في حساب وحدة معالجة الرسومات و +11 ٪ في التعبئة المسبقة لاستدلال الذكاء الاصطناعي.

للمنظور، مع عمل Strata التالي من قبل coldniko، انتقلت ذاكرة الوصول العشوائي RTX 3060 بسعة 12 جيجابايت + 48 جيجابايت من 32 إلى 60–80 رمزًا في الثانية. قدم جهاز Mac Studio M3 Ultra (60 نواة GPU، ذاكرة وصول عشوائي 256 جيجابايت، Strata v0.2.6) 61.4 توك/ثانية من فك التشفير و 734 توك/ثانية من التعبئة المسبقة على نفس طراز Qwen3.8-Flash - Next IQ3_S. ترد النتائج الكاملة لهذه البطاقة في مقالة منفصلة.

ماذا يعني هذا لعميل Box

• يتم اختيار الإعدادات عن طريق القياس، وليس عن طريق التخمين: يقارن الوكيل قبل وبعد ويتراجع عما لا يساعد.
• تعني درجات الحرارة المنخفضة وسحب الطاقة بنفس السرعة تشغيلًا أكثر هدوءًا وتآكلًا أقل.
• يتم التحقق من الاستنتاجات الحرجة للوكيل قبل التصرف بناءً عليها.
• الأجهزة ذات الأسعار المعقولة تزداد سرعة مع تحديثات البرامج وحدها.

الذكاء الاصطناعي المحلي الذي يعمل على تحسين الأجهزة التي تعمل بالذكاء الاصطناعي المحلي.

الخيط الأصلي على X · مقالة RTX 3060 · كل الأخبار