समाचार
स्थानीय AI एजेंट अपने द्वारा चलाए जा रहे हार्डवेयर को ट्यून कर रहे हैं
निचले सीपीयू बूस्ट घड़ियों में अनुमान की गति में कोई कमी नहीं होती है, एक जीपीयू पावर एजेंट को पहले अनफिक्सेबल (फिक्स के बाद +30 -35%) कहा जाता है, एक आरटीएक्स 5090 लैपटॉप पर ऑटो - ऑप्टिमाइज़ेशन और एक आरटीएक्स 3060 अनलॉक सीमित करता है। Box ग्राहक के लिए इसका क्या अर्थ है.
स्थानीय AI सिस्टम को हाथ से ट्यून करने की ज़रूरत नहीं है। हमारे प्रयोगों में, स्थानीय हार्डवेयर पर चलने वाला एजेंट उसी हार्डवेयर का विश्लेषण करता है, अपने स्वयं के माप चलाता है और केवल उन सेटिंग्स को रखता है जो वास्तव में मदद करती हैं। नीचे पिछले हफ़्ते के सबसे नए से लेकर सबसे पुराने तक के चार नतीजे दिए गए हैं।
सीपीयू बूस्ट घड़ियों को सीमित करना: समान गति, कम गर्मी
स्थानीय AI को चलाने के लिए एक अंडररेटेड ट्रिक CPU और/या GPU बूस्ट घड़ियों को सीमित करना है। आवाज से, हमने स्थानीय AI एजेंट से उस लैपटॉप को ऑप्टिमाइज़ करने के लिए कहा जो हमारे मुख्य AI मस्तिष्क को चलाता है। इसने CPU आवृत्ति को 5.5 GHz से घटाकर 4.5 GHz कर दिया।
- Strata पर LLM इनफेरेंस की गति पूरी तरह से वही रही, बिना किसी नुकसान के।
- सीपीयू तापमान में लगभग 10% की गिरावट आई।
- सीपीयू बिजली की खपत में काफी गिरावट आई।
- GPU घड़ियों को सीमित किए बिना, GPU तापमान भी कम हो गया।
सीपीयू और जीपीयू थर्मल बजट साझा करते हैं, इसलिए अनावश्यक सीपीयू बूस्ट को कम करने से भी जीपीयू को मदद मिलती है। किसी ने भी घंटों ट्यूनिंग में नहीं बिताए: एजेंट को बस इष्टतम सीमाएं खोजने के लिए कहा गया था, और यह अन्य चीजों पर काम जारी रखते हुए प्रयोगों को स्वयं चलाता था।
सेल्फ़ - डायग्नोस्टिक्स: AI पर भरोसा करें, लेकिन वेरिफ़ाई करें
सेटअप: Strata + Qwen3.8-Next-IQ3_S। स्थानीय AI ने GPU पावर लिमिट को अनफिक्स करने योग्य घोषित किया। हमने खोज पर सवाल उठाया, इसे बाहरी रूप से क्रॉस - चेक किया (यहां तक कि चैटजीपीटी का मुफ्त संस्करण भी इसके लिए पर्याप्त है), सीमा तय की और 30 -35% प्रदर्शन प्राप्त किया।
हम जो नियम लागू करते हैं: आत्म - निदान के लिए AI का उपयोग करें, लेकिन महत्वपूर्ण निष्कर्षों को क्रॉस - चेक करें।
RTX 5090 लैपटॉप पर ऑटो - ऑप्टिमाइज़ेशन
RTX 5090 (24 GB VRAM), मॉडल Qwen3.8-Flash-Next IQ3_S के साथ एक गेमिंग लैपटॉप पर Strata:
- डिकोड: 83.6 tok/s
- एजेंट डीकोड: 99.8 tok/s
- प्रीफ़िल 4K: 1,443 tok/s
- प्रीफ़िल 16K: 2,132 tok/s
- पहला टोकन: 0.28 s
उसके बाद, एजेंट ने उसी मशीन को अपने आप ऑप्टिमाइज़ किया:
- गर्म डिकोड: 63–110 → 109–118 tok/s
- पीक एजेंट डीकोड: 119.5 → 125.5 tok/s (+5%)
- अनुकूलित कॉन्फ़िगरेशन सहेजा गया था, अस्थिर सेटिंग को वापस रोल किया गया था, और सर्वर को सुरक्षित रूप से बंद कर दिया गया था।
RTX 3060 12 GB: अनलॉक और पहला लाभ
हमारे एक प्रायोगिक कंप्यूटर (एक छोटा ITX केस, 48 GB रैम, एक RTX 3060 12 GB) पर हमने NVIDIA अनलॉक को सक्षम किया। मापा गया लाभ: GPU गणना में +78% तक और AI इन्फेरेंस प्रीफिल में +11% तक।
परिप्रेक्ष्य के लिए, coldniko द्वारा अगले Strata कार्य के साथ आरटीएक्स 3060 12 जीबी + 48 जीबी रैम 32 से 60 -80 निरंतर टोकन प्रति सेकंड तक चला गया। हमारे मैक स्टूडियो एम 3 अल्ट्रा (60 जीपीयू कोर, 256 जीबी रैम, Strata v0.2.6) ने 61.4 टोक/एस डिकोड और 734 टोक/एस प्रीफिल को उसी क्यूवेन 3.8- फ्लैश - नेक्स्ट आईक्यू 3_एस मॉडल पर वितरित किया। इस कार्ड के पूरे नतीजे एक अलग लेख में दिए गए हैं।
Box ग्राहक के लिए इसका क्या अर्थ है
- सेटिंग को माप से चुना जाता है, अनुमान से नहीं: एजेंट पहले और बाद में तुलना करता है और जो मदद नहीं करता है उसे वापस रोल करता है।
- कम तापमान और बिजली एक ही गति से खींचने का मतलब शांत संचालन और कम पहनना है।
- एजेंट के महत्वपूर्ण निष्कर्षों पर कार्रवाई करने से पहले उनकी जिरह की जाती है।
- अकेले सॉफ़्टवेयर अपडेट के साथ किफायती हार्डवेयर तेज़ी से बढ़ता रहता है।
लोकल AI को ऑप्टिमाइज़ करना जो लोकल AI को चलाने वाले हार्डवेयर को ऑप्टिमाइज़