Strata हमारी फ़्लीट पर रिलीज़ होती है: एजेंट अपडेट, उपाय और ऑप्टिमाइज़ करता है

Strata coldniko द्वारा विकसित एक स्थानीय एआई अनुमान इंजन है। अक्टूबर के मध्य से हम अपनी कई मशीनों पर इसकी रिलीज़ का पालन कर रहे हैं। प्रत्येक कंप्यूटर एक ही मॉडल, Qwen3.8-Flash-Next IQ3_S चलाता है, इसलिए परिणाम तुलनीय हैं। मशीनों का नाम उनके हार्डवेयर स्तर के नाम पर रखा गया है:

• P1005: इंटेल सीमॉन E5-2690 v4, NVIDIA टेस्ला P100 16 GB HBM2, 32 GB DDR4, NVMe लगभग 2.5 GB/s, CUDA 12.
• P2002: Intel Core Ultra 7 270K Plus, AMD Radeon RDNA4 (gfx1201) 16 GB, 64 GB DDR5, NVMe RAID 0, ROCm / HIP.
• मैक स्टूडियो: Apple M3 Ultra, Metal.

एजेंट खुद एक नई Strata रिलीज़ का पता लगाता है, उसे डाउनलोड करता है, माप चलाता है और अनुरोध पर कॉन्फ़िगरेशन को ऑप्टिमाइज़ करता है। सभी ऑप्टिमाइज़ेशन स्थानीय रूप से चलते हैं, नवीनतम Strata संस्करण पर उसी Qwen3.8-Flash-Next IQ3_S मॉडल का उपयोग करते हुए।

P1005 (Tesla P100): डेटा - भूखे से लेकर कम्प्यूट - बाउंड तक

मॉडल विशेषज्ञ कुल 46.8 GiB, रैम के लिए बहुत बड़ा है, और 16 GB कार्ड इतना भरा हुआ था कि इंजन ने चेतावनी दी कि डीकोड प्रति सेकंड कुछ टोकन तक गिर जाएगा। Strata रिपॉजिटरी डॉक्यूमेंटेशन के बाद, एजेंट ने चार चीज़ें बदलीं:

--vram-reserve-mib 960        (was 700)
--max-context 65536          (was 262144)
STRATA_Q8_SM60=0
--resident-experts
STRATA_DENSE_F32=1

परिणाम: GPU का उपयोग 27% से 92% (155 -170 W) तक चला गया। प्रीफ़िल 4.4× तक तेज़ हो गया; 8K पर +40% और 16K पर 2.4× डीकोड करें।

मान प्रति सेकंड संकेत / डिकोड टोकन होते हैं। लागत: 24 GiB रैम अब विशेषज्ञों के लिए पेज - लॉक है, इसलिए इस मशीन पर और कुछ भी बड़ा नहीं चलना चाहिए, और संदर्भ सीमा 262K के बजाय 65K है। रिबूट के दौरान सब कुछ कायम रहता है।

P2002 (Radeon RDNA4): लाइव ट्यूनिंग, फिर एक छोटा रिस्टार्ट

सबसे पहले, इंजन को रीस्टार्ट किए बिना लाइव ट्यूनिंग करें। सीपीयू गवर्नर ने प्रदर्शन के लिए सेट किया और विशेषज्ञों के लिए एक लंबा पेज कैश रखा गया; पिन की गई जीपीयू घड़ियों ने प्रीफिल को लगभग 10% कम कर दिया और उन्हें अस्वीकार कर दिया गया; बड़े रीड - फॉरवर्ड का कोई प्रभाव नहीं पड़ा। 2K और 8K पर डिकोड करने पर 10 -18% का सुधार हुआ।

फिर, लगभग 40 सेकंड के पुनरारंभ के साथ (फ़ॉलबैक चेन ने बिना किसी रुकावट के सत्र को आगे बढ़ाया), एजेंट ने VRAM रिजर्व को 700 से 960 MiB तक बढ़ा दिया और पूरे 262K संदर्भ को ध्यान में रखते हुए -- kv - grow को सक्षम किया। विशेषज्ञ स्लॉट 2518 से बढ़कर 3686 (+46%) हो गए, विशेषज्ञ हिट रेट 74% से बढ़कर 87% हो गया और पेजिंग चेतावनियां गायब हो गईं। इसमें एक वॉचडॉग भी जोड़ा गया है ताकि इंजन अपने आप ही रीस्टार्ट हो जाए।

मानक सुइट: चैट डिकोड 74.3 tok/s (71.9 था), पहला टोकन 0.39 s (0.46 था), एजेंट डिकोड 66.7 tok/s (59.2 था)। एजेंट ने ईमानदारी से यह भी नोट किया कि पुनरारंभ के ठीक बाद पहली संख्या लगभग 25% कम है क्योंकि विशेषज्ञ कैश अभी भी ठंडा है।

मैक स्टूडियो (M3 अल्ट्रा): डिफ़ॉल्ट पहले से ही इष्टतम थे

एजेंट ने क्लीन ए/बी रन के लिए इंजन को छह बार पुनरारंभ किया और अनुभवजन्य रूप से साबित किया कि डिफ़ॉल्ट कॉन्फ़िगरेशन पहले से ही सबसे अच्छा था। केवी विकल्पों का एकीकृत स्मृति पर कोई प्रभाव नहीं पड़ा; एक बड़ा वायर्ड विशेषज्ञ कैश हानिकारक था (डीकोड लगभग 32 टोक/सेकंड तक गिर गया) और वापस कर दिया गया था। लगभग 790 टोक/सेकंड का प्रीफिल हार्डवेयर की बैंडविड्थ सीमा है, कॉन्फ़िगरेशन की नहीं। अंतिम सुइट: चैट डिकोड 69.1 टोक/सेकेंड, पहला टोकन 0.48 सेकेंड। सभी मृत सिरों को प्रलेखित किया गया था ताकि कोई भी उन्हें दोहराए।

नई रिलीज़, मापा गया

• यूज़र इंटरफ़ेस के साथ Strata 0.2.0: Strata और लोकल AI को अब कमांड लाइन के बिना इंस्टॉल किया जा सकता है, जिससे उन्हें ज़्यादा व्यापक ऑडियंस के लिए ऐक्सेस किया जा सकता है।
• v0.2.2: तीन कंप्यूटर v0.2.1 से अपडेट किए गए।
• v0.2.3 → v0.2.3.1 मैक स्टूडियो पर: 61.3 → 66.4 टोक/एस (+8%), प्रीफिल 729.9 738.9 टोक/→एस (+1%), कोई प्रतिगमन नहीं और मॉडल फ़ाइलों का कोई पुन: डाउनलोड नहीं।
• v0.2.6 और v0.2.7: अब तक के प्रत्येक रिलीज ने एक और प्रदर्शन लाभ लाया है। V0.2.7 के लिए एजेंट ने रिलीज नोट्स का सारांश तैयार किया और बिना अनुमोदन के कुछ भी स्थापित नहीं किया।

DeepSeek V4.1-Flash स्थानीय रूप से चल रहा है

DeepSeek V4.1-Flash, एक बड़ा MoE मॉडल, अब Strata पर स्थानीय रूप से चलता है: हॉट एक्सपर्ट रैम में रहते हैं और बाकी को SSD से स्ट्रीम किया जाता है। हमने 14 टोक/डिकोड मापा। हमारे वर्तमान हार्डवेयर पर यह एजेंट के मुख्य मस्तिष्क के लिए पर्याप्त नहीं है, लेकिन यह एक दूसरे विचार मॉडल और रातोंरात ऑडिटर के रूप में अच्छी तरह से काम करता है।

Box ग्राहक के लिए इसका क्या अर्थ है

• इंजन अपडेट का पता लगाया जाता है, लागू किया जाता है और एजेंट द्वारा मापा जाता है, बदलाव से पहले अनुमोदन के साथ।
• प्रत्येक हार्डवेयर स्तर का अपना मापा गया कॉन्फ़िगरेशन होता है, और विफल विकल्पों को प्रलेखित किया जाता है।
• अलग - अलग हार्डवेयर पर एक ही मॉडल कॉन्फ़िगरेशन चुनने के लिए एक स्पष्ट आधार देता है।

X पर मूल थ्रेड · सभी समाचार