CLARYEL CLARYEL Box
اطلب إعدادًا

الأخبار

تكويننا التجريبي: نموذج ~ 83.6 جيجابايت يعمل محليًا بميزانية RTX 3060

Qwen3.8-Flash - Next IQ3_S على RTX 3060 بسعة 12 جيجابايت مع 48 جيجابايت فقط من ذاكرة الوصول العشوائي للنظام. لا يوجد استدلال سحابي. مجرد أجهزة استهلاكية بأسعار معقولة.

استدلال الذكاء الاصطناعي المحلي الطبقي: 68 رمزًا في الثانية على RTX 3060 12 جيجابايت مع 48 جيجابايت من DDR5

هذا لا يصدق!

Qwen3.8-Flash - Next IQ3_S (~ 83.6 جيجابايت) تعمل محليًا بميزانية RTX 3060 12 جيجابايت مع 48 جيجابايت فقط من ذاكرة الوصول العشوائي للنظام!

ما يصل إلى 68 رمزًا في الثانية من فك التشفير، و 916 رمزًا في الثانية من المعالجة الفورية، و 30 ألف رمز تمت معالجتها في 34 ثانية فقط.

مدعوم من Strata بواسطة coldniko. لا يوجد استدلال سحابي. مجرد أجهزة استهلاكية بأسعار معقولة!

المعايير الكاملة ومواصفات الأجهزة والتحسينات والمفاضلات أدناه.

يمكنك الانتقال مباشرة إلى النقاط الرئيسية في القسم الأخير.

الأجهزة التي تقف وراء هذه النتائج

لا توجد وحدة معالجة رسومات (GPU) لمركز البيانات، ولا خادم مكلف متعدد وحدات معالجة الرسومات (GPU)، ولا تكوين ذاكرة وصول عشوائي (RAM) ضخمة.

تم إجراء التجربة بأكملها على جهاز كمبيوتر عادي إلى حد ما للمستهلك/محطة العمل.

الكمبيوتر الصغير المستخدم في التجربة

CPU

اللوحة الأم

الذاكرة

GPU

التخزين

OS

الشبكة

التفاصيل الحاسمة: النموذج أكبر بكثير من ذاكرة الوصول العشوائي (VRAM) وذاكرة الوصول العشوائي (RAM) المتاحة مجتمعة.

هذا بالضبط ما يجعل هذه التجربة مثيرة للاهتمام.

الطراز والمحرك وبنية الذاكرة

الطراز

Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S

شظايا GGUF:

المكونات الإضافية

محرك الاستدلال

التخصيص الفعلي للذاكرة

إعدادات التكوين المهمة

--expert-cache auto
--prefill 4096
--spec 4
--spec-min-p 0.5
--mtp mtp/rt
--max-context 32768
--kv int8
--kv-grow
--kv-resident 32768
--vision
--vram-reserve-mib 960
--pool-workers 12
--conversation-cache-mib 1536
--prompt-cache-tail
--prompt-cache-spread
--resident-experts
--resident-budget-gib 24

هذا ليس إعدادًا تقليديًا "لتحميل النموذج بأكمله في ذاكرة GPU".

تستخدم Strata ذاكرة GPU وذاكرة الوصول العشوائي للنظام والتخزين المؤقت للخبراء وتخزين NVMe معًا.

يتمثل التحسين المهم في تقليل عمليات نقل الخبراء المكلفة مع الحفاظ على إنتاجية وحدة معالجة الرسومات.

نتائج المقارنات المعيارية الحقيقية

نفس الطراز، نفس الأجهزة، تكوينان للتوجيه.

الوضع أ: توجيه خبير سريع ومنحاز للإقامة (قبل = 1.5)

السياقتعبئة مسبقةفك التشفير الباردفك التشفير الدافئ
1K285 tok/s42 tok/s61 tok/s
4K804 tok/s50 tok/s65 tok/s
8K819 tok/s61 tok/s68 tok/s
16K916 tok/s60 tok/s68 tok/s
30K890 tok/s58 tok/s61 tok/s

الوقت البارد للرمز المميز الأول:

للمقارنة، يقوم الوضع ب بتعطيل التوجيه المتحيز للإقامة (السابق = 0):

السياقتعبئة مسبقةفك التشفير الباردفك التشفير الدافئ
1K282 tok/s24 tok/s27 tok/s
4K781 tok/s29 tok/s26 tok/s
8K789 tok/s30 tok/s32 tok/s
16K889 tok/s30 tok/s29 tok/s
30K878 tok/s26 tok/s27 tok/s

تشغيل توليد 500 رمز:

تم التحقق من قياسات السرعة مقابل توقيتات البث من جانب العميل.

الملاحظة الرئيسية:

يمكن أن يؤدي تعطيل التوجيه المنحاز إلى ذاكرة التخزين المؤقت إلى تقليل سرعة فك التشفير بحوالي 2–2.4×.

ولكن هناك سبب مهم لعدم ترك التوجيه العدواني ممكّنًا لكل عبء عمل. المزيد عن ذلك في القسم التالي.

السرعة مقابل جودة النموذج: المفاضلة الخفية

في هذا الإصدار من محرك Strata، تستخدم وحدات معالجة الرسومات المزودة بذاكرة VRAM بسعة ≤13 جيجابايت تلقائيًا التوجيه المتحيز للإقامة:

STRATA_ROUTE_PRIOR=1.5

هذا يفضل الخبراء المتاحين بالفعل في الذاكرة السريعة بدلاً من اختيار الخبراء الذين يفضلهم الموجه الأصلي دائمًا.

الفائدة دراماتيكية:

لكن هذا ليس تحسينًا مجانيًا.

يمكن أن يؤدي تغيير اختيار الخبراء إلى تغيير سلوك النموذج، وزيادة الاختلاف عن النموذج الأصلي، والتأثير على المنطق الطويل أو سير عمل الوكيل.

وفقًا لتقييم المطور لـ 10 مهام وكيل:

اختلفت النتائج الأساسية نفسها بين الجولات، لذلك هذه نتيجة اتجاهية، وليست قياسًا نهائيًا للجودة.

اجتازت فحوص الوكيل الستة القصيرة الخاصة بي كلا الوضعين.

ومع ذلك، فإن إجهاد التفرد المنفصل يؤدي إلى تكرار مكشوف:

الاستنتاج واضح ومباشر:

ويجب عدم الخلط بين السرعة المعيارية وحدها وجودة الطراز.

التخزين المؤقت الفوري يغير كل شيء

واحدة من أكثر النتائج إثارة للإعجاب لم تكن سرعة فك التشفير. كان وقت الاستجابة للطلبات المتكررة باستخدام نفس الموجه.

مع موجه مخزن مؤقتًا بالكامل:

السياقTTFT باردTTFT المخزنة مؤقتًا
1K3.7 s0.08 s
4K4.9 s0.08 s
8K9.7 s0.27 s
16K17.3 s0.34 s
30K33.9 s0.44 s

هذا هو ما يقرب من 45–90 مرة أقل من الوقت لأول رمز في هذه الجولات.

تحدث ذاكرة التخزين المؤقت الفورية فرقًا كبيرًا عند الاستعلام بشكل متكرر عن نفس المستند الطويل أو الحفاظ على محادثة ذات سياق مستقر.

تم تكوين المحرك أيضًا للتخزين المؤقت للمحادثة:

هناك مشكلة: هذه النتائج هي لمطالبات متطابقة مع ذاكرة تخزين مؤقت قابلة لإعادة الاستخدام بالكامل.

لا يعني ذلك أن المطالبات الاعتباطية الجديدة المكونة من 30 ألف رمز ستتم معالجتها في نصف ثانية.

ولكن بالنسبة للذكاء الاصطناعي المحلي التفاعلي، فإن التخزين المؤقت الدافئ يغير قواعد اللعبة.

لغز SSD: PCIe 5.0 ليس عنق الزجاجة

في البداية، بدا محرك أقراص NVMe بطيئًا بشكل مريب. لقد تحققنا من رابط PCIe، وطوبولوجيا التخزين، وسلوك الإدخال/الإخراج الفعلي.

محرك الأقراص: Lexar NM1090 PRO 2 TB، PCIe 5.0 ×4.

اتصال PCIe تم التحقق منه:

لذلك يعمل محرك الأقراص بسرعة وصلة PCIe 5.0 الكاملة.

المقارنات المعيارية المباشرة غير المقيدة:

هذه النتيجة المتوازية 10.94 جيجابايت/ثانية مهمة بشكل خاص: فهي تتجاوز النطاق الترددي العملي لـ PCIe 4.0 ×4.

لماذا تكون الإنتاجية أحادية المسار أقل بكثير ؟

لأن عرض النطاق الترددي PCIe ليس هو نفسه الإنتاجية على مستوى التطبيق.

عمق قائمة الانتظار، وحجم الإدخال/الإخراج، وتوازي الطلب، والكمون، كل ذلك مهم.

إن نمط تحميل الخبراء في Strata أقرب بكثير إلى حالة العملة المنخفضة منه إلى معيار أقصى إنتاجية اصطناعي.

إنتاجية تخزين المحرك المرصودة:

يأتي الفرق من عدد الخبراء الذين يجب جلبهم، وليس من خفض تصنيف PCIe.

تفاصيل أخرى مفيدة: RTX 3060 نفسه هو جهاز PCIe 4.0. إن رؤية انخفاض ارتباطه بالجيل الأول أثناء الخمول هو سلوك طبيعي لإدارة الطاقة.

تحقق دائمًا من الجهاز الذي تقيسه قبل تشخيص مشكلة PCIe.

درس مهم: لا تدع Linux يخزن نموذجًا بسعة 83.6 جيجابايت على جهاز بسعة 48 جيجابايت

واجهنا مشكلة خطيرة أثناء بدء التشغيل الأولي.

سمح التكوين الأول بالتحميل المؤقت لملفات النموذج.

النموذج هو ~ 83.6 جيجابايت، في حين أن النظام يحتوي على 48 جيجابايت فقط من ذاكرة الوصول العشوائي الفعلية.

تحت عبء العمل هذا، دخل لينكس في ضغط شديد لاستعادة الذاكرة. أصبحت الماكينة غير مستجيبة تقريبًا، بما في ذلك اتصال SSH، وتطلبت إعادة تشغيل قسرية.

كان الحل هو تغيير استراتيجية التحميل وإدخال واقيات الذاكرة.

الإعدادات الحالية:

بعد هذه التغييرات:

العبرة:

من الممكن تشغيل نموذج أكبر من ذاكرتك الفعلية، لكن محاسبة الذاكرة أمر بالغ الأهمية.

يجب النظر في ضغط ذاكرة التخزين المؤقت للصفحة وبيانات النموذج المثبتة والخبراء المقيمين وذاكرة التخزين المؤقت KV معًا.

لا تنسخ أعلام الأداء الأقصى بشكل أعمى من الأجهزة ذات تكوينات ذاكرة الوصول العشوائي الأكبر بكثير.

استهلاك الطاقة والحرارة وتكلفة الاستدلال

هذه مفاجأة سارة أخرى.

قوة المكون المقاسة:

تباطؤ مع تحميل الطراز:

أثناء التوليد:

إجمالي طاقة النظام المقدرة عند الجدار (لا تقاس باستخدام عداد حائط):

درجات الحرارة المرصودة:

لم يلاحظ أي اختناق حراري.

بسعر مفترض للكهرباء قدره 0.25 €/كيلو واط في الساعة:

وهذا يجعل من الواقعي تمامًا تشغيل نقطة نهاية ذكاء اصطناعي محلية قادرة على الحفاظ على الخصوصية في المنزل.

بالطبع، هذه هي تكاليف الكهرباء المقدرة، وليس التكلفة الإجمالية للملكية. يتم استبعاد استهلاك الأجهزة والتبريد والصيانة.

حيث يتوقف إعداد RTX 3060 عن أن يكون منطقيًا

هذا التكوين ممتاز للطلبات التفاعلية القصيرة، ولكن له حدود.

والأهم من ذلك:

للمقارنة، قمت بتشغيل نفس النموذج على نظام محلي أكثر قوة مع وحدة معالجة رسومات 24 جيجابايت.

الأداء المقاس على هذا النظام:

يوفر نظام RTX 3060 إنتاجية أقل بكثير من التعبئة المسبقة ونحو نصف إنتاجية فك التشفير في حالات مماثلة، مع ثُمن السياق المتاح.

ومع ذلك، يمكن الوصول إلى بطاقة 12 جيجابايت بسهولة أكبر وتظل مفيدة بشكل مثير للإعجاب.

نهجي الحالي:

الهدف ليس التظاهر بأن وحدة معالجة الرسومات الرخيصة تحل محل آلة متطورة.

النقطة المهمة هي مدى فائدة الذكاء الاصطناعي المحلي الذي يمكن أن يعمل بالفعل على أجهزة غير مكلفة.

ما الذي لا يزال من الممكن تحسينه ؟

يعمل النظام بالفعل بشكل جيد، ولكن هناك بعض الطرق المثيرة للاهتمام لإجراء المزيد من التجارب.

الاستدلال المتزامن

يمكن أن يؤدي الخيار --slots 2 إلى تحسين إجمالي الإنتاجية عند إجراء محادثتين متزامنتين.

من الممكن تحقيق إنتاجية إجمالية تقدر بأكثر من 10-12 ٪ لعبء العمل هذا، ولكنها تحتاج إلى التحقق من صحتها.

هذا لا يعني أن محادثة واحدة تصبح أسرع بنسبة 12 ٪.

دفعات تعبئة مسبقة أكبر

الحالي: --prefill 4096

المرشح: --prefill auto:16384

قد تعمل نوافذ التعبئة المسبقة الأكبر على تحسين المعالجة الفورية الطويلة، ولكن ذاكرة الوصول العشوائي (VRAM) المتاحة ضيقة بالفعل.

مع ما يقرب من 11.14 جيجا بايت من 12 جيجا بايت مشغولة في وحدة معالجة الرسومات، يجب قياس سلوك الذاكرة بعناية.

المزيد من ذاكرة الوصول العشوائي للنظام

يمكن أن يؤدي استخدام --ple-io ram إلى نقل المزيد من بيانات النموذج إلى ذاكرة النظام وتقليل القراءات من وحدة التخزين.

تشير وثائق المطور إلى ما يلي:

لكن هذا التكوين سيتطلب المزيد من ذاكرة الوصول العشوائي، ما يقرب من 72+ جيجا بايت للتخطيط المقاس.

هذا ليس عمليًا في التكوين الحالي بسعة 48 جيجابايت.

فك تشفير المضاربة

تم تمكين فك تشفير المضاربة في MTP بالفعل.

القبول الملحوظ: حوالي33–41 رمزًا تم قبولها من بين 50–60 رمزًا تمت صياغتها، أو ما يقرب من 65-70 ٪.

سياق أطول

الحد الحالي 32K هو حد التكوين التشغيلي، وليس دليلاً على أن النموذج نفسه يدعم 32K فقط.

وتتطلب زيادتها إعادة التحقق من سعة الذاكرة، وسلوك ذاكرة التخزين المؤقت KV، والكمون، والاستقرار.

بالنسبة لعبء العمل هذا، قد يكون تقليل قراءات الخبراء المكلفة وتحسين أنماط الوصول أكثر أهمية من رفع الحد الأقصى لعرض النطاق الترددي المتسلسل لمحرك الأقراص.

كما هو الحال دائمًا: قم بقياس عبء العمل الحقيقي، وليس فقط أرقام تسويق الأجهزة.

الأفكار النهائية

إليك ما توضحه هذه التجربة.

يمكن تشغيل نموذج وزارة التعليم الكمي بسعة حوالي 83.6 جيجابايت محليًا على:

مع نتائج مقاسة تصل إلى:

ولكن هناك محاذير مهمة.

أنا مهتم بشكل خاص بالاقتصاديات العملية للذكاء الاصطناعي المحلي.

ليس فقط الحد الأقصى للمعيار على نظام بقيمة 10000 €، ولكن يمكن تحقيقه على وتكوينات تبدأ من حوالي 1000 €.

تعد الخصوصية والاستقلالية وتكاليف التشغيل الخاضعة للرقابة والفائدة الواقعية أكثر أهمية من مطاردة الأرقام المرجعية المثيرة للإعجاب وحدها.

لا تزال هذه تجربة متطورة، وسأستمر في مشاركة القياسات والفشل وتغييرات التكوين والتحسينات.

أصبح مستقبل الذكاء الاصطناعي المحلي بالفعل ميسور التكلفة بشكل مدهش.

الإضافات اللاحقة

أوه، نسيت أن أذكر أن وحدة معالجة الرسومات تعمل مع NVIDIA Unlock، والتي تم إصدارها قبل بضعة أيام فقط، الأسبوع الماضي.

لقد طلبت الآن من وكيل الذكاء الاصطناعي الخاص بي تشغيل نفس المعايير دون إلغاء القفل، لذلك سنكون قادرين على مقارنة النتائج في حوالي 15–20 دقيقة.

في الأيام القليلة المقبلة، ولكن ليس اليوم، سأقوم بتثبيت وحدة معالجة الرسومات هذه في نظام بتكلفة أقل من 1000 $ وأرى كيف تعمل هناك.

الخيط الأصلي على X · كل الأخبار