समाचार
पहला Strata रन और दोहराने योग्य स्थानीय AI कॉन्फ़िगरेशन के लिए एक लैब
केवल 3 जीबी सिस्टम रैम का उपयोग करते हुए ~47 जीबी मॉडल के साथ 31 टोक/एस, रैम अपग्रेड के बाद 45 -48 टोक/एस, 32 जीबी रैम ने पर्याप्त रूप से पुष्टि की, पहला स्वायत्त रातोंरात वर्कफ़्लो, और दोहराने योग्य कॉन्फ़िगरेशन के लिए समान मशीनें।
पहला परिणाम: 31 टोकन प्रति सेकंड
- Strata v0.1.41
- आदर्श: Qwen3.8-Flash-Next IQ3_XXS
- सीपीयू: Intel Core Ultra 7 270K Plus
- GPU: AMD Radeon RX 9070 OC, 16 GB GDDR6
- रैम: 32 GB DDR5-6000
- SSD: Lexar NM1090 Pro 2 TB, NVMe PCIe 5.0
- संदर्भ: 65,536 tokens
मॉडल ने लगभग 6.5 मिनट में 12,136 टोकन उत्पन्न किए: 31 टोकन प्रति सेकंड। लगभग 47 जीबी के मॉडल के साथ, वीआरएएम लगभग भरा हुआ था जबकि सिस्टम रैम का उपयोग केवल लगभग 3 जीबी था: Strata सीधे एसएसडी से मॉडल का हिस्सा पढ़ता है। जीपीयू ने लगभग 130 -150 डब्ल्यू खींचा, 45 डिग्री सेल्सियस पर रहा और प्रशंसकों को मुश्किल से सुना जा सकता था। यह बड़ी मात्रा में रैम या महंगे सर्वर प्लेटफार्मों के बिना, काफी सस्ते स्थानीय एआई सिस्टम की संभावना को खोलता है।
विभिन्न हार्डवेयर पर एक व्यवस्थित कार्यक्रम
इन परिणामों ने एक अधिक व्यवस्थित कार्यक्रम शुरू किया: एनवीआईडीआईए, एएमडी और इंटेल जीपीयू, डीडीआर 4 और डीडीआर 5 के साथ बहुत अलग कॉन्फ़िगरेशन वाले 11 कंप्यूटरों पर Strata, और पीसीआईई 3.0 से पीसीआईई 5.0 तक एनवीएमई स्टोरेज, जिसमें लगभग 35 जीबी/एस की पीसीआईई 5.0 RAID 0 सरणी शामिल है। पहले संगतता, प्रदर्शन और स्थिरता; फिर व्यावहारिक दैनिक और व्यावसायिक कार्य।
इसके विपरीत मामले की भी जांच की गई: एक मिनी पीसी पर जिसमें कोई असतत GPU और 8 GB रैम नहीं है, Strata बनाया जा सकता है, लेकिन गतिशील रूप से आवंटित वीडियो मेमोरी के कारण रैम जोड़ने के बाद भी मॉडल लॉन्च नहीं हुआ। निष्कर्ष: STRATA इस अघोषित कॉन्फ़िगरेशन पर लॉन्च नहीं करता है।
256K संदर्भ और पहले व्यावहारिक सबक
256K संदर्भ के साथ RX 9070 सिस्टम पर, आउटपुट 15 -30 टोकन प्रति सेकंड था। एक सत्र में (9:44–12:00): 18 अनुरोध, लगभग 108K प्रॉम्प्ट टोकन (114 tok/s), लगभग 856K पुन: उपयोग किए गए, लगभग 100K लिखित (22.6 tok/s)। लगभग 25 अनुरोधों में से, कुछ टूट गए: एक बार में पांच प्रश्नों के साथ एक संकेत (यह विभाजित होने पर काम करता था) और 60 -70 हजार टोकन उत्तर के लिए अनुरोध। अन्य आउटपुट 14 -22 हजार टोकन तक पहुंच गए, और लंबी पीढ़ियों को गुणवत्ता में रखा गया।
Strata ने इस ASUS Pro Q870M - C - CSM बोर्ड पर कनेक्टेड मॉनिटर के बिना GPU का पता नहीं लगाया; एक HDMI डमी प्लग ने इसे हल किया।
32 जीबी रैम पर्याप्त है
32 जीबी रैम के साथ, Strata मॉडल को सिस्टम रैम में लोड किए बिना चला सकता है: मेमोरी अन्य कार्यों के लिए मुफ्त रहती है और समानांतर वर्कलोड के लिए सीपीयू, 15 -20 टोक/सेकंड पर। एक ही मशीन पर 64 जीबी (Strata v0.1.43, Qwen3.8-Flash-Next IQ3_S) के साथ, जनरेशन 45 -48 टोक/सेकंड तक पहुंच गया, लेकिन अन्य काम के लिए बहुत कम मेमोरी बची थी। बाद में, DDR4 सहित दो अलग - अलग कॉन्फ़िगरेशन पर, Strata ने मुश्किल से 15 -25 टोक/सेकंड पर रैम का उपयोग किया, जबकि सीपीयू का लगभग आधा हिस्सा हर्मेस और सहायक घटकों के लिए स्वतंत्र रहा। प्रदर्शन गिरता है क्योंकि संदर्भ की लंबाई बढ़ती है, इसलिए यह कार्यों पर निर्भर करता है।
पहला स्वायत्त वर्कफ़्लो
बिना किसी असतत GPU के बिना असमर्थित हार्डवेयर पर रातोंरात चलने से प्रति सेकंड लगभग 1 टोकन दिया गया, क्योंकि अधिकांश मॉडल स्वैप में समाप्त हो गया। गति लक्ष्य नहीं था: कार्य शाम को सौंपा गया था और परिणाम सुबह तैयार था। फिर Hermes एक प्रयोग करने योग्य गति के साथ एक मशीन में चले गए और रोजमर्रा का काम शुरू कर दिया। एक सुबह की जांच पहले से ही होम असिस्टेंट सेंसर का उपयोग करती है और कनेक्टेड कंप्यूटरों में बैकअप, डिस्क स्वास्थ्य और तापमान की निगरानी करती है; इसने तुरंत बताया कि छह कंप्यूटर चलने के साथ सर्वर रूम बहुत गर्म हो रहा था।
एक जैसी मशीनों की एक लैब
व्यक्तिगत परिणामों को दोहराने योग्य सेटअप में बदलने के लिए, हमने 10 मिलान प्रणालियों के लिए 10 समान मदरबोर्ड और सीपीयू खरीदे: 8 रैम स्लॉट, किफायती DDR4 और BIOS - स्तरीय रिमोट मैनेजमेंट वाला एक ASUS प्लेटफ़ॉर्म, ताकि एजेंट OS को दूरस्थ रूप से फिर से इंस्टॉल कर सकें।
हमने लगभग शुरू से ही 20 -30 कंप्यूटर स्थापित किए थे और उन्हें क्लाउड एजेंटों के माध्यम से एक फोन से आवाज से प्रबंधित किया था, जिसमें ईआरपी इंस्टॉलेशन से लेकर इतालवी कर प्रणाली में चालान दर्ज करने तक का लेखा कार्यप्रवाह शामिल था। अब इसका उद्देश्य स्थानीय AI के साथ ऐसे वर्कफ़्लोज़ को फिर से तैयार करना है। बक्से से बाहर, क्लाउड में सेकंड या एक मिनट लगने वाले कार्यों में स्थानीय रूप से 5 -10 मिनट लगे; इसके बाद ऑप्टिमाइज़ेशन आया। कार्य कई स्रोतों से आते हैं, और एजेंट उन्हें OpenProject में दर्ज करते हैं और उन्हें सबसे उपयुक्त एजेंट या व्यक्ति को असाइन करते हैं।
Box ग्राहक के लिए इसका क्या अर्थ है
- बड़े मॉडल मामूली रैम के साथ किफायती हार्डवेयर पर चल सकते हैं।
- वास्तविक मशीनों पर माप से कॉन्फ़िगरेशन का चयन किया जाता है।
- समान मशीनें परिणामों को दोहराने योग्य और दूरस्थ प्रबंधन संभव बनाती हैं।