समाचार

हम सस्ते कंप्यूटरों पर समाधान कैसे बनाते हैं

हम अध्ययन करते हैं कि एक सस्ते कंप्यूटर पर लोकल AI मॉडल कितना उपयोगी और भरोसेमंद काम कर सकता है, और उसकी तुलना उस मशीन से करते हैं जिसकी मेमोरी में पूरा मॉडल आ जाता है।

प्रयोग के तीन कंप्यूटर: RTX 3060 वाला सस्ता PC, Hermes एजेंट वाला लैपटॉप और Mac Studio M3

इसमें तीन कंप्यूटर शामिल हैं। RTX 3060 ग्राफ़िक्स कार्ड वाला एक सस्ता PC सख़्त मेमोरी सीमाओं में चलता है। दूसरा कंप्यूटर Hermes एजेंट के साथ परिणामों का विश्लेषण करता है, काम की जाँच करता है और सुधार करता है। एक Mac Studio M3 पर्याप्त मेमोरी वाले संदर्भ के रूप में वही कार्य समानांतर चलाता है। सभी मशीनें एक ही मॉडल फ़ाइलें और एक ही Strata संस्करण उपयोग करती हैं।

हमारे लिए गति अपने आप में मायने नहीं रखती, बल्कि वास्तविक कार्यों पर उत्तरों की गुणवत्ता और विश्वसनीयता। प्रारंभिक परिणाम दिखाते हैं कि सीमित हार्डवेयर का अर्थ ज़रूरी नहीं कि उत्तरों की गुणवत्ता कम हो।

प्रयोग का एक अलग हिस्सा देखता है कि क्या एजेंट खुद अपनी गलतियाँ ढूँढ सकता है, उन्हें सुधार सकता है और वैसी गलतियों को रोक सकता है। बिना कहे उसने यह भी गिनना शुरू किया कि उसके सुधारों में कितने टोकन लगते हैं, और अनावश्यक खपत घटाने लगा।

ये प्रयोग वास्तविक परिणामों और व्यावहारिक परिदृश्यों की ओर ले जाते हैं, उदाहरण के लिए दस्तावेज़ों के साथ काम।

तकनीकी विवरण और सभी आँकड़े · सभी समाचार