49 € की AMD RX 580 ग्राफ़िक्स कार्ड का प्रयोग: छोटे मॉडल और ऊर्जा खपत

12 नवंबर 2026 को P3001 में AMD Radeon RX 580 8 GB लगाया गया। यह Xeon E5-2697 v2 प्रोसेसर वाला प्रयुक्त वर्कस्टेशन है, जिसमें चतुष्पथ मोड में 64 GB DDR3-1333 ECC मेमोरी स्थापित है (सिस्टम को लगभग 62 GB दिखाई देते हैं)। कार्ड 49 € में खरीदा गया: स्वयं कार्ड 45 € और वितरण 4 €। यह RX 580 2048SP संस्करण है: इसमें 2,048 स्ट्रीम प्रोसेसर हैं, «पूर्ण» RX 580 के 2,304 नहीं, और सार रूप में यह RX 570 के अधिक निकट है। उसी पंक्ति के अन्य कार्डों से तुलना करते समय यह फ़र्क मायने रखता है। ऑपरेटिंग सिस्टम Ubuntu 24.04 है।

इस कार्ड पर Strata नहीं चलता, और हम Strata में इस GPU मॉडल के समर्थन का अनुरोध करने की योजना नहीं बना रहे: लेखक का समय अधिक सक्षम हार्डवेयर पर लगाना अधिक उचित है। प्रयोग में Vulkan बैकएंड के साथ llama.cpp का उपयोग किया गया। CUDA नहीं, टेन्सर कोर नहीं, FP16 त्वरण नहीं। उसी स्टेशन पर Q4 क्वांटाइज़ेशन वाले छोटे 3B मॉडल ने डिकोड पर 60 टोकन/सेकंड दिए। तुलना के लिए, 77.9 GiB के बड़े Qwen मॉडल पर RX 580 और llama.cpp ने प्रीफ़िल 33.9 और डिकोड 5.85 टोकन/सेकंड मापे। उसी स्टेशन पर RTX 3050 8 GB और Strata के साथ, इस भार पर, 128–188 टोकन/सेकंड प्रीफ़िल और 23–31 टोकन/सेकंड डिकोड रहे। अनुमान के दौरान RX 580 ने लगभग 120 W तक लिया। उस आकार के मॉडल के लिए कार्ड कमज़ोर विकल्प है; छोटी सूक्ष्म-कार्यों के «दूसरे मस्तिष्क» के रूप में परिणाम उसे फिर भी उपयोगी बनाते हैं, और यह तुलनीय मात्रा की नई सिस्टम मेमोरी से सस्ता है।

इसके बाद प्रयोग सबसे बड़े संभावित मॉडल से हट कर उन छोटे मॉडलों की ओर गया जो 8 GB वीडियो मेमोरी में पूरी तरह समा जाते हैं। तीन मॉडल अलग-अलग मापे गए: Qwen2.5-3B Q4 — 1.79 GiB, 392 टोकन/सेकंड प्रीफ़िल और 60 टोकन/सेकंड डिकोड; Nemotron Nano 4B Q4 — 2.63 GiB, 268 / 40 टोकन/सेकंड; और Bonsai 2 9B Q2 — 2.37 GiB, 170 / 27 टोकन/सेकंड। संयुक्त भार 6.79 GiB है। सिद्धांत रूप में तीनों 8 GB में समा सकते हैं, KV कैश, गणना बफ़र और ऊपरी व्यय के लिए लगभग 1.21 GiB छोड़ते हुए। यह तंग है, और तीनों की वीडियो मेमोरी में एकसाथ उपस्थिति जाँची नहीं गई।

स्थानीय अनुमान के दौरान कार्ड की वास्तविक खपत पाँच शक्ति सीमाओं पर भी मापी गई: 120, 100, 70, 50 और 30 W। जो छोटे मॉडल पूरी तरह वीडियो मेमोरी में समाते हैं, उनके लिए इस प्रयोग में जनन का सबसे किफ़ायती बिंदु 70 W रहा। 120 W की तुलना में अनुमान के दौरान कार्ड की खपत लगभग 36% कम, जनन गति केवल 12–15% कम, और प्रति जनित टोकन ऊर्जा 26–28% कम थी। 70 W पर 3B मॉडल ने 39.5 टोकन/सेकंड दिए। 200 टोकन का छोटा उत्तर स्वयं कार्ड की बिजली के 0.091 Wh का उपयोग करता है। 0.25 €/kWh पर यह ऐसे एक उत्तर के लिए 0.000023 €, दिन में एक हज़ार उत्तरों के लिए 0.023 €, और वर्ष में 365,000 ऐसे उत्तरों के लिए लगभग 8.30 € है। इस अनुमान में निष्क्रिय खपत और कंप्यूटर का शेष भाग शामिल नहीं। निष्क्रिय अवस्था में RX 580 लगभग 14 W लेता है, जो लगातार चालू रहने पर वर्ष में लगभग 30.70 € के बराबर है; प्रोसेसर, मेमोरी, मदरबोर्ड और स्टोरेज अपना जोड़ते हैं। कम तीव्रता वाले भारों में निष्क्रिय खपत घटाना, अनुमान के दौरान की खपत घटाने से अधिक मायने रख सकता है। आपत्ति: 70 W इस प्रयोग में मापे गए छोटे मॉडलों के जनन के लिए इष्टतम है, हर काम के लिए आवश्यक नहीं। लंबे अनुरोध, चित्रों पर पाठ पहचान की शृंखलाएँ, ध्वनि प्रसंस्करण और अन्य भार की गति और ऊर्जा विशेषताएँ बिलकुल अलग हो सकती हैं।

आगे के काम की दिशा «कितना बड़ा मॉडल चलाया जा सकता है» नहीं, बल्कि यह है कि एक सस्ती स्थानीय प्रणाली कितने उपयोगी दैनिक काम कर सकती है: छोटे PDF का विश्लेषण, स्कैन से डेटा निकालना, चित्रों में पाठ पहचान, छोटी रिकॉर्डिंग का अंकन, फ़ाइलों का वर्गीकरण, सार, लॉग पढ़ना, अनुरोधों का मार्ग निर्धारण, और एक बड़ी AI प्रणाली के लिए डेटा तैयार करना। इन बहुमाध्यम और दस्तावेज़ी भारों का इस कार्ड पर अभी प्रयोग नहीं किया गया। उनकी व्यवहार्यता, सटीकता, विलंब, मेमोरी आवश्यकता और ऊर्जा लागत अभी जाँचनी है। कुछ क्रियाएँ प्रोसेसर पर बेहतर हो सकती हैं, कार्ड को अनुमान के लिए छोड़ते हुए। कई विशेषज्ञ मॉडल एकसाथ लोड रह सकते हैं या नहीं, जिनमें से एक समय पर केवल एक चले — यह भी अभी खुला प्रश्न है।

विद्युत आपूर्ति एक अलग अभियांत्रिकी प्रश्न है। मानक PCIe x16 स्लॉट मदरबोर्ड से सीधे अधिकतम 75 W दे सकता है। इस प्रयोग में छोटे मॉडलों के लिए सबसे किफ़ायती मोड 70 W की सॉफ़्टवेयर सीमा थी। हम जिस विचार पर विचार कर रहे हैं, वह एक ऐसा विन्यास है जो केवल स्लॉट से चले, बिना अतिरिक्त 6-पिन या 8-पिन पावर कनेक्टर के, ताकि ऐसा कार्ड मौजूदा कार्यालय कंप्यूटर में, पावर सप्लाई बदले बिना, लगाया जा सके। यह काम की दिशा है, तैयार समाधान नहीं। प्रयोग में, 70 W की सॉफ़्टवेयर सीमा के बावजूद 75 W से ऊपर संक्षिप्त शिखर देखे गए, और हमारे पास जो RX 580 है उसे अभी भी सहायक बिजली चाहिए। सुरक्षित «केवल स्लॉट» डिज़ाइन के लिए शिखर शक्ति पर अभियांत्रिकी कार्य और संगतता जाँच चाहिए। दस्तावेज़, चित्र और ध्वनि के प्रवाह की भी पुष्टि बाकी है। हम यह दावा नहीं करते कि ऐसी स्थापना पहले से ग्राहकों को आपूर्ति की जा रही है।

49 € का कार्ड Strata वाली मुख्य प्रणाली का स्थान नहीं लेता। पहले से प्राप्त परिणामों पर यह कई छोटे, दोहराए जाने वाले कामों का सस्ता, अपेक्षाकृत किफ़ायती निष्पादक बन सकता है, जबकि डेटा स्थानीय रहता है। सभी माप, शक्ति-सीमा प्रयोग, विधि, कच्चे लॉग, विफलताएँ और निष्कर्ष रिपॉज़िटरी में प्रकाशित हैं। हम यह पता लगा रहे हैं कि अक्सर पुराना माने जाने वाले हार्डवेयर से कितना उपयोगी स्थानीय AI निकाला जा सकता है।

रिपॉज़िटरी में माप · X पर पोस्ट · सभी समाचार