CLARYEL CLARYEL Box
कॉन्फ़िगरेशन का अनुरोध करें

समाचार

हमारा प्रायोगिक कॉन्फ़िगरेशन: बजट RTX 3060 पर स्थानीय रूप से चलने वाला ~ 83.6 GB मॉडल

Qwen3.8-Flash-Next IQ3_S एक RTX 3060 12 GB पर केवल 48 GB सिस्टम रैम के साथ। कोई क्लाउड अनुमान नहीं। बस किफायती उपभोक्ता हार्डवेयर।

Strata स्थानीय AI अनुमान: 48 GB DDR5 के साथ RTX 3060 12 GB पर 68 टोकन प्रति सेकंड

यह कमाल है!

Qwen3.8-Flash-Next IQ3_S (~83.6 GB) केवल 48 GB सिस्टम रैम के साथ RTX 3060 12 GB के बजट पर स्थानीय रूप से चल रहा है!

अधिकतम 68 टोकन/सेकंड डिकोडिंग, ~916 टोकन/सेकंड प्रॉम्प्ट प्रोसेसिंग और केवल 34 सेकंड में 30K - टोकन प्रॉम्प्ट प्रोसेस किया गया।

coldniko द्वारा Strata द्वारा संचालित। कोई क्लाउड अनुमान नहीं। बस किफायती उपभोक्ता हार्डवेयर!

नीचे दिए गए पूरे बेंचमार्क, हार्डवेयर ऐनक, ऑप्टिमाइज़ेशन और ट्रेड - ऑफ़।

आप अंतिम सेक्शन में सीधे मुख्य टेकअवे पर जा सकते हैं।

इन परिणामों के पीछे का हार्डवेयर

कोई डेटासेंटर जीपीयू नहीं, कोई महंगा मल्टी - जीपीयू सर्वर नहीं, और कोई बड़े पैमाने पर रैम कॉन्फ़िगरेशन नहीं।

यह पूरा प्रयोग एक साधारण उपभोक्ता/वर्कस्टेशन पीसी पर किया गया था।

प्रयोग के लिए उपयोग किया जाने वाला कॉम्पैक्ट पीसी

CPU

मदरबोर्ड

मेमोरी

GPU

स्टोरेज

OS

नेटवर्क

महत्वपूर्ण विवरण: मॉडल उपलब्ध वीआरएएम और रैम संयुक्त की तुलना में बहुत बड़ा है।

ठीक यही बात इस प्रयोग को दिलचस्प बनाती है।

मॉडल, इंजन और मेमोरी आर्किटेक्चर

मॉडल

Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S

दो GGUF शार्ड्स:

अतिरिक्त पुर्ज़े

अनुमान इंजन

वास्तविक मेमोरी आवंटन

महत्वपूर्ण कॉन्फ़िगरेशन सेटिंग

--expert-cache auto
--prefill 4096
--spec 4
--spec-min-p 0.5
--mtp mtp/rt
--max-context 32768
--kv int8
--kv-grow
--kv-resident 32768
--vision
--vram-reserve-mib 960
--pool-workers 12
--conversation-cache-mib 1536
--prompt-cache-tail
--prompt-cache-spread
--resident-experts
--resident-budget-gib 24

यह पारंपरिक "पूरे मॉडल को GPU मेमोरी में लोड करें" सेटअप नहीं है।

Strata जीपीयू मेमोरी, सिस्टम रैम, एक्सपर्ट कैशिंग और एनवीएमई स्टोरेज का एक साथ उपयोग करता है।

महत्वपूर्ण अनुकूलन GPU को उत्पादक रखते हुए महंगे विशेषज्ञ स्थानान्तरण को कम कर रहा है।

वास्तविक बेंचमार्क परिणाम

एक ही मॉडल, एक ही हार्डवेयर, दो रूटिंग कॉन्फ़िगरेशन।

मोड A: तेज़, निवास - पक्षपाती विशेषज्ञ रूटिंग (पूर्व = 1.5)

संदर्भप्रीफ़िलकोल्ड डिकोडगर्म डिकोड
1K285 tok/s42 tok/s61 tok/s
4K804 tok/s50 tok/s65 tok/s
8K819 tok/s61 tok/s68 tok/s
16K916 tok/s60 tok/s68 tok/s
30K890 tok/s58 tok/s61 tok/s

पहले टोकन के लिए ठंड का समय:

तुलना के लिए, मोड B निवास - पक्षपातपूर्ण रूटिंग को अक्षम करता है (पूर्व = 0):

संदर्भप्रीफ़िलकोल्ड डिकोडगर्म डिकोड
1K282 tok/s24 tok/s27 tok/s
4K781 tok/s29 tok/s26 tok/s
8K789 tok/s30 tok/s32 tok/s
16K889 tok/s30 tok/s29 tok/s
30K878 tok/s26 tok/s27 tok/s

500 - टोकन जनरेशन रन:

क्लाइंट - साइड स्ट्रीमिंग टाइमिंग के मुकाबले स्पीड माप को क्रॉस - चेक किया गया था।

मुख्य अवलोकन:

कैश - बायस्ड रूटिंग को अक्षम करने से डिकोडिंग की गति लगभग 2–2.4× कम हो सकती है।

लेकिन हर कार्यभार के लिए आक्रामक रूटिंग को सक्षम न करने का एक महत्वपूर्ण कारण है। अगले सेक्शन में इस बारे में और जानकारी दी जाएगी।

स्पीड बनाम मॉडल क्वालिटी: छिपी हुई ट्रेड - ऑफ़

इस Strata इंजन संस्करण पर, ≤13 GB VRAM वाले GPU स्वचालित रूप से निवास - पक्षपातपूर्ण रूटिंग का उपयोग करते हैं:

STRATA_ROUTE_PRIOR=1.5

यह उन विशेषज्ञों के पक्ष में है जो पहले से ही फास्ट मेमोरी में उपलब्ध हैं, बजाय इसके कि हमेशा उन विशेषज्ञों का चयन करें जिन्हें मूल राउटर पसंद करेगा।

लाभ नाटकीय है:

लेकिन यह एक मुफ़्त ऑप्टिमाइज़ेशन नहीं है।

विशेषज्ञ चयन को बदलना मॉडल व्यवहार को बदल सकता है, मूल मॉडल से विचलन बढ़ा सकता है, और लंबे तर्क या एजेंट वर्कफ़्लो को प्रभावित कर सकता है।

10 एजेंट कार्यों पर डेवलपर के मूल्यांकन के अनुसार:

बेसलाइन के परिणाम रनों के बीच अलग - अलग होते हैं, इसलिए यह एक दिशात्मक परिणाम है, न कि एक निश्चित गुणवत्ता माप।

मेरे अपने छह छोटे एजेंट चेक दोनों मोड में पास हुए।

हालांकि, एक अलग विशिष्टता का तनाव दोहराव को उजागर करता है:

निष्कर्ष सीधा है:

और अकेले बेंचमार्क गति को मॉडल की गुणवत्ता के साथ कभी भ्रमित नहीं होना चाहिए।

प्रॉम्प्ट कैशिंग से सब कुछ बदल जाता है

सबसे प्रभावशाली परिणामों में से एक डिकोडिंग गति नहीं थी। एक ही प्रॉम्प्ट का इस्तेमाल करके बार - बार अनुरोध करने का यह जवाब देने का समय था।

पूरी तरह से कैश किए गए प्रॉम्प्ट के साथ:

संदर्भकोल्ड टीटीएफटीकैश किया गया TTFT
1K3.7 s0.08 s
4K4.9 s0.08 s
8K9.7 s0.27 s
16K17.3 s0.34 s
30K33.9 s0.44 s

यह इन रनों में पहले टोकन के लिए लगभग 45 -90× कम समय है।

एक ही लंबे दस्तावेज़ से बार - बार पूछताछ करने या स्थिर संदर्भ के साथ बातचीत बनाए रखने पर प्रॉम्प्ट कैश बहुत बड़ा अंतर पैदा करता है।

इंजन को बातचीत कैशिंग के लिए भी कॉन्फ़िगर किया गया है:

एक पकड़ है: ये परिणाम पूरी तरह से पुन: प्रयोज्य कैश के साथ समान संकेतों के लिए हैं।

उनका मतलब यह नहीं है कि मनमाने ढंग से नए 30K - टोकन प्रॉम्प्ट आधे सेकंड में प्रोसेस हो जाएंगे।

लेकिन इंटरैक्टिव स्थानीय AI के लिए, एक गर्म कैश एक गेम चेंजर है।

SSD रहस्य: PCIe 5.0 अड़चन नहीं है

सबसे पहले, NVMe ड्राइव संदिग्ध रूप से धीमी दिखाई दी। हमने PCIe लिंक, स्टोरेज टोपोलॉजी और वास्तविक I/O व्यवहार की जांच की।

ड्राइव: Lexar NM1090 Pro 2 TB, PCIe 5.0 ×4।

परखा हुआ PCIe कनेक्शन:

इसलिए ड्राइव अपनी पूर्ण PCIe 5.0 लिंक गति पर चल रही है।

डायरेक्ट अनकैश्ड रीड बेंचमार्क:

वह 10.94 GB/s समानांतर परिणाम विशेष रूप से महत्वपूर्ण है: यह PCIe 4.0 ×4 की व्यावहारिक बैंडविड्थ से अधिक है।

सिंगल - स्ट्रीम थ्रूपुट बहुत कम क्यों है?

क्योंकि PCIe बैंडविड्थ एप्लिकेशन - स्तर थ्रूपुट के समान नहीं है।

कतार की गहराई, I/O आकार, समानांतरता का अनुरोध करें, और विलंबता सभी मायने रखती है।

Strata का एक्सपर्ट - लोडिंग पैटर्न सिंथेटिक मैक्सिमम - थ्रूपुट बेंचमार्क की तुलना में लोअर - करेंसी केस के बहुत करीब है।

ऑब्जर्व्ड इंजन स्टोरेज थ्रूपुट:

अंतर इस बात से आता है कि कितने विशेषज्ञों को लाया जाना चाहिए, न कि PCIe डाउनग्रेड से।

एक और उपयोगी विवरण: RTX 3060 अपने आप में एक PCIe 4.0 डिवाइस है। निष्क्रिय रहते हुए Gen1 के लिए इसके लिंक ड्रॉप को देखना सामान्य पावर मैनेजमेंट व्यवहार है।

PCIe समस्या का निदान करने से पहले हमेशा जांचें कि आप किस डिवाइस को माप रहे हैं।

एक महत्वपूर्ण सबक: लिनक्स को 48 जीबी मशीन पर 83.6 जीबी मॉडल कैश न करने दें

शुरुआती स्टार्टअप के दौरान हमें एक गंभीर समस्या हुई।

पहले कॉन्फ़िगरेशन ने मॉडल फ़ाइलों को बफ़र लोड करने की अनुमति दी।

मॉडल ~83.6 जीबी है, जबकि सिस्टम में केवल 48 जीबी की भौतिक रैम है।

उस कार्यभार के तहत, लिनक्स ने गंभीर मेमोरी रिक्लेम दबाव में प्रवेश किया। मशीन लगभग अनुत्तरदायी हो गई, जिसमें एसएसएच कनेक्टिविटी भी शामिल थी, और इसके लिए जबरन पुनरारंभ की आवश्यकता थी।

समाधान लोडिंग रणनीति को बदलना और स्मृति सुरक्षा उपायों को पेश करना था।

मौजूदा सेटिंग:

इन परिवर्तनों के बाद:

सबक:

आपकी भौतिक स्मृति से बड़ा एक मॉडल चलाना संभव है, लेकिन स्मृति लेखांकन बिल्कुल महत्वपूर्ण है।

पेज - कैश प्रेशर, पिन किए गए मॉडल डेटा, रेजिडेंट एक्सपर्ट और केवी कैश पर एक साथ विचार किया जाना चाहिए।

बहुत बड़े रैम कॉन्फ़िगरेशन वाली मशीनों से अधिकतम प्रदर्शन वाले फ़्लैग को आँख बंद करके कॉपी न करें।

बिजली की खपत, थर्मल और अनुमान लागत

यह एक और सुखद आश्चर्य है।

मापा गया घटक शक्ति:

लोड किए गए मॉडल के साथ निष्क्रिय:

पीढ़ी के दौरान:

दीवार पर अनुमानित कुल सिस्टम पावर (दीवार मीटर का उपयोग करके मापा नहीं गया):

ऑब्जर्व्ड टेम्परेचर:

थर्मल थ्रॉटलिंग नहीं देखी गई।

€ 0.25/kWh के अनुमानित बिजली मूल्य पर:

यह घर पर एक सक्षम, निजता - संरक्षित स्थानीय AI एंडपॉइंट संचालित करना पूरी तरह से यथार्थवादी बनाता है।

बेशक, ये अनुमानित बिजली की लागतें हैं, न कि स्वामित्व की कुल लागत। हार्डवेयर मूल्यह्रास, शीतलन और रखरखाव को बाहर रखा गया है।

जहाँ RTX 3060 सेटअप समझना बंद कर देता है

यह कॉन्फ़िगरेशन छोटे इंटरैक्टिव अनुरोधों के लिए उत्कृष्ट है, लेकिन इसकी सीमाएँ हैं।

सबसे महत्वपूर्ण:

तुलना के लिए, मैंने 24 GB GPU के साथ एक अधिक शक्तिशाली स्थानीय सिस्टम पर एक ही मॉडल चलाया।

उस प्रणाली पर मापा प्रदर्शन:

RTX 3060 सिस्टम उपलब्ध संदर्भ के एक - आठवें हिस्से के साथ तुलनात्मक मामलों में बहुत कम प्रीफिल थ्रूपुट और लगभग आधा डिकोडिंग थ्रूपुट प्रदान करता है।

हालांकि, 12 जीबी कार्ड कहीं अधिक सुलभ है और प्रभावशाली रूप से उपयोगी है।

मेरा वर्तमान दृष्टिकोण:

मुद्दा एक सस्ते GPU का दिखावा करने का नहीं है जो एक हाई - एंड मशीन की जगह लेता है।

मुद्दा यह है कि स्थानीय AI पहले से ही सस्ते हार्डवेयर पर कितना उपयोगी चल सकता है।

अभी भी क्या अनुकूलित किया जा सकता है?

सिस्टम पहले से ही अच्छा प्रदर्शन कर रहा है, लेकिन आगे के प्रयोगों के लिए कुछ दिलचस्प रास्ते हैं।

समवर्ती अनुमान

--slots 2 विकल्प दो एक साथ चल रही बातचीत के साथ कुल थ्रूपुट में सुधार कर सकता है।

इस वर्कलोड के लिए अनुमानित +10 -12% कुल थ्रूपुट संभव है, लेकिन इसे सत्यापन की आवश्यकता है।

इसका मतलब यह नहीं है कि एक भी बातचीत 12% तेज हो जाती है।

बड़े प्रीफ़िल बैच

वर्तमान: --prefill 4096

उम्मीदवार: --prefill auto:16384

बड़ी प्रीफ़िल विंडो लंबे समय तक प्रोसेसिंग में सुधार कर सकती हैं, लेकिन उपलब्ध VRAM पहले से ही टाइट है।

GPU के 12 GiB में से लगभग 11.14 GiB के कब्जे के साथ, स्मृति व्यवहार को सावधानीपूर्वक मापा जाना चाहिए।

अधिक सिस्टम रैम

--ple-io ram का उपयोग करके अधिक मॉडल डेटा सिस्टम मेमोरी में लाया जा सकता है और स्टोरेज रीड कम किए जा सकते हैं।

डेवलपर के दस्तावेज़ीकरण से पता चलता है:

लेकिन इस कॉन्फ़िगरेशन को मापने वाले लेआउट के लिए काफी अधिक रैम, लगभग 72+ GiB की आवश्यकता होगी।

यह वर्तमान 48 जीबी कॉन्फ़िगरेशन पर व्यावहारिक नहीं है।

सट्टा डिकोडिंग

MTP सट्टा डिकोडिंग पहले से ही सक्षम है।

स्वीकृत स्वीकृति: ~ 50 -60 मसौदे में से 33 -41 स्वीकृत टोकन, या लगभग 65 -70%।

लंबा संदर्भ

वर्तमान 32K सीमा एक परिचालन कॉन्फ़िगरेशन सीमा है, इस बात का सबूत नहीं है कि मॉडल स्वयं केवल 32K का समर्थन करता है।

इसे बढ़ाने के लिए मेमोरी क्षमता, केवी कैश व्यवहार, विलंबता और स्थिरता की फिर से जांच की आवश्यकता होती है।

इस कार्यभार के लिए, महंगी विशेषज्ञ रीड को कम करना और एक्सेस पैटर्न में सुधार करना ड्राइव की अधिकतम अनुक्रमिक बैंडविड्थ को बढ़ाने से अधिक मायने रख सकता है।

हमेशा की तरह: केवल हार्डवेयर मार्केटिंग नंबर नहीं, बल्कि वास्तविक कार्यभार को बेंचमार्क करें।

अंतिम विचार

यहाँ बताया गया है कि यह प्रयोग क्या दिखाता है।

एक ~83.6 GB क्वांटिज़्ड MoE मॉडल स्थानीय रूप से इस पर चल सकता है:

मापे गए परिणामों के साथ:

लेकिन महत्वपूर्ण चेतावनी हैं।

मुझे विशेष रूप से स्थानीय AI के व्यावहारिक अर्थशास्त्र में दिलचस्पी है।

न केवल € 10,000 सिस्टम पर अधिकतम बेंचमार्क, बल्कि उपभोक्ता मशीनों और लगभग € 1,000 से शुरू होने वाले किफायती कॉन्फ़िगरेशन पर उपयोगी प्रदर्शन।

निजता, स्वतंत्रता, नियंत्रित परिचालन लागत और वास्तविक दुनिया की उपयोगिता अकेले प्रभावशाली बेंचमार्क संख्याओं का पीछा करने से ज्यादा मायने रखती है।

यह अभी भी एक विकसित प्रयोग है, और मैं माप, विफलताओं, कॉन्फ़िगरेशन परिवर्तनों और सुधारों को साझा करता रहूंगा।

स्थानीय AI का भविष्य पहले से ही आश्चर्यजनक रूप से किफ़ायती होता जा रहा है।

बाद के परिवर्धन

ओह, मैं यह बताना भूल गया कि GPU NVIDIA अनलॉक के साथ चल रहा है, जो पिछले हफ्ते कुछ दिन पहले जारी किया गया था।

अब मैंने अपने AI एजेंट से बिना अनलॉक के वही बेंचमार्क चलाने के लिए कहा है, ताकि हम लगभग 15 -20 मिनट में परिणामों की तुलना कर सकें।

अगले कुछ दिनों में, हालाँकि आज नहीं, मैं इस GPU को $ 1,000 से कम कीमत वाले सिस्टम में इंस्टॉल करूँगा और देखूँगा कि यह वहाँ कैसा प्रदर्शन करता है।

X पर मूल थ्रेड · सभी समाचार