تجربة مع بطاقة رسومات AMD RX 580 بسعر 49 €: نماذج صغيرة واستهلاك الطاقة
بطاقة رسومات بسعر 49 € في محطة عمل من عامي 2012–2013: ما الذي تستطيعه النماذج المحلية الصغيرة، وكيف تبدو أرقام الطاقة. الأرقام من تجربة CLARYEL في 12 نوفمبر 2026.
في 12 نوفمبر 2026 رُكّبت بطاقة AMD Radeon RX 580 بسعة 8 غيغابايت في P3001، وهي محطة عمل مستعملة بمعالج Xeon E5-2697 v2 وذاكرة ECC DDR3-1333 بسعة 64 غيغابايت مثبّتة في وضع رباعي القنوات (يرى النظام نحو 62 غيغابايت). اشتريت البطاقة بـ 49 €: 45 € للبطاقة نفسها و4 € للشحن. هذا هو إصدار RX 580 2048SP: فيه 2048 معالج تدفق، لا 2304 كما في RX 580 «الكاملة»، وهو في جوهره أقرب إلى RX 570. وهذا التمييز مهم عند المقارنة مع بطاقات أخرى من الخط نفسه. نظام التشغيل هو Ubuntu 24.04.
لا يعمل Strata على هذه البطاقة، ولا نخطط لطلب دعم هذا الطراز من وحدات معالجة الرسومات في Strata: وقت المؤلف أفضل إن وُجّه إلى أجهزة أعلى أداءً. استخدمت التجربة llama.cpp مع خلفية Vulkan. لا CUDA، ولا أنوية موتر، ولا تسريع FP16. على المحطة نفسها بلغ نموذج صغير 3B بكمّية Q4 سرعة 60 رمزاً/ث عند فك التشفير. وللمقارنة، على نموذج Qwen كبير بحجم 77,9 جيبي بايت قاس الجمع بين RX 580 وllama.cpp 33,9 رمزاً/ث في التعبئة المسبقة و5,85 رمزاً/ث في فك التشفير. والمحطة نفسها مع RTX 3050 بسعة 8 غيغابايت وStrata، على هذا الحمل، قاست 128–188 رمزاً/ث في التعبئة المسبقة و23–31 رمزاً/ث في فك التشفير. أثناء الاستدلال استهلكت RX 580 حتى نحو 120 واط. لنموذج بهذا الحجم البطاقة هي الخيار الأضعف؛ أما بوصفها «دماغًا ثانياً» للمهام الدقيقة القصيرة، فإن النتائج تجعلها مع ذلك مفيدة، وهي أرخص من مقدار مماثل من ذاكرة النظام الأحدث.
ثم ابتعدت التجربة عن أكبر نموذج ممكن واتجهت إلى نماذج صغيرة تتسع بالكامل في 8 غيغابايت من ذاكرة الفيديو. قيست ثلاث نماذج على حدة: Qwen2.5-3B Q4 — 1,79 جيبي بايت، 392 رمزاً/ث تعبئة مسبقة و60 رمزاً/ث فك تشفير؛ Nemotron Nano 4B Q4 — 2,63 جيبي بايت، 268 / 40 رمزاً/ث؛ وBonsai 2 9B Q2 — 2,37 جيبي بايت، 170 / 27 رمزاً/ث. مجموع الأوزان 6,79 جيبي بايت. نظرياً يمكن أن تتسع الثلاثة في 8 غيغابايت، مع بقاء نحو 1,21 جيبي بايت لذاكرة KV المؤقتة ومخازن الحساب والنفقات الإضافية. هذا ضيق، ولم يُتحقق من إقامة الثلاثة معاً في ذاكرة الفيديو.
قيس أيضاً الاستهلاك الفعلي للبطاقة أثناء الاستدلال المحلي عند خمسة حدود قدرة: 120 و100 و70 و50 و30 واط. للنماذج الصغيرة التي تتسع بالكامل في ذاكرة الفيديو، كانت النقطة الأكثر كفاءة للتوليد في هذه التجربة هي 70 واط. مقارنةً بـ 120 واط، كان استهلاك البطاقة أثناء الاستدلال أقل بنحو 36%، وسرعة التوليد أقل بنسبة 12–15% فقط، والطاقة لكل رمز مولَّد أقل بنسبة 26–28%. وعند 70 واط ولّد النموذج 3B 39,5 رمزاً/ث. استهلكت إجابة قصيرة من 200 رمز 0,091 واط·ساعة من كهرباء البطاقة نفسها. عند 0,25 €/كيلوواط·ساعة يعادل ذلك 0,000023 € لكل إجابة من هذا النوع، و0,023 € لألف إجابة في اليوم، ونحو 8,30 € لـ 365000 إجابة كهذه في السنة. لا تشمل هذه التقديرات الاستهلاك في الخمول ولا بقية الحاسوب. في الخمول تستهلك RX 580 نحو 14 واط، ما يعادل نحو 30,70 € في السنة إذا بقيت متصلة باستمرار؛ ويضيف المعالج والذاكرة واللوحة الأم والتخزين نصيبها. للأحمال المنخفضة الكثافة قد يعني خفض استهلاك الخمول أكثر مما يعنيه خفض الاستهلاك أثناء الاستدلال نفسه. تحفّظ: 70 واط أمثل لتوليد النماذج الصغيرة المقاس في هذه التجربة، لا بالضرورة لكل مهمة. الطلبات الطويلة، وسلاسل التعرف على النص في الصور، ومعالجة الصوت، وأحمال أخرى قد تكون لها خصائص سرعة وطاقة مختلفة تماماً.
اتجاه العمل التالي ليس «ما أكبر نموذج يمكن تشغيله»، بل كم مهمة يومية مفيدة يستطيع نظام محلي غير مكلف أن يؤديها: تحليل ملفات PDF صغيرة، واستخراج البيانات من المسوح، والتعرف على النص في الصور، وتفريغ التسجيلات القصيرة، وتصنيف الملفات، والتلخيص، وقراءة السجلات، وتوجيه الطلبات، وإعداد البيانات لنظام ذكاء اصطناعي أكبر. هذه الأحمال المتعددة الوسائط والمتعلقة بالمستندات لم تُجرَ بعد تجارب عليها على هذه البطاقة. ولا تزال قابليتها للتنفيذ ودقتها وزمنها الاحتياجي للذاكرة وتكلفة الطاقة بحاجة إلى بحث. وقد يكون من الأنسب تنفيذ بعض العمليات على المعالج، وترك البطاقة للاستدلال. وما إذا كان يمكن الإبقاء على عدة نماذج متخصصة محمّلة، بحيث يعمل واحد فقط في كل لحظة، يبقى أيضاً سؤالاً مفتوحاً.
التغذية الكهربائية مسألة هندسية مستقلة. يستطيع منفذ PCIe x16 القياسي أن يمدّ حتى 75 واط مباشرة من اللوحة الأم. وكان الوضع الأكثر كفاءة للنماذج الصغيرة في هذه التجربة حداً برمجياً قدره 70 واط. والفكرة التي ندرسها هي تكوين يعمل من المنفذ وحده، من دون موصل تغذية إضافي ذي 6 أو 8 دبابيس، بحيث يمكن تركيب بطاقة كهذه في حاسوب مكتبي قائم أصلاً، من دون استبدال وحدة التغذية. هذا اتجاه عمل، لا حل جاهز. وفي التجربة، حتى مع الحد البرمجي البالغ 70 واط، لوحظت بعدُ قمم قصيرة فوق 75 واط، وما زالت بطاقة RX 580 التي لدينا تحتاج تغذية مساعدة. وسيتطلب تصميم آمن «من المنفذ فقط» عملاً هندسياً على القدرة الذروية وفحوص توافق. ولا بد أيضاً من تأكيد مسارات المستندات والصور والصوت. ونحن لا نزعم أن تركيباً كهذا يُورَّد أصلاً إلى الزبائن.
بطاقة بسعر 49 € لا تحل محل النظام الرئيسي مع Strata. وبحسب النتائج المحصّلة بالفعل، يمكن أن تصبح منفّذاً غير مكلف، نسبياً مقتصداً، لكثير من المهام القصيرة المتكررة، مع بقاء البيانات محلية. نُشرت كل القياسات وتجارب حد القدرة والمنهجية والسجلات الأولية والإخفاقات والاستنتاجات في المستودع. ونحن نستكشف مقدار الذكاء الاصطناعي المحلي المفيد الذي يمكن استخراجه من أجهزة كثيراً ما تُعدّ قديمة.