DDR3 वाले वर्कस्टेशन पर RTX 3050 8GB के साथ 256K संदर्भ
एक प्रयुक्त Xeon वर्कस्टेशन, जिसमें 64GB ECC DDR3 मेमोरी स्थापित है (सिस्टम को लगभग 62GB दिखते हैं) और RTX 3050 8GB है, को 256K टोकन की संदर्भ विंडो के लिए कॉन्फ़िगर किया गया। विस्तृत माप 160K टोकन तक पहुँचते हैं, पूरे 256K तक नहीं। पहले की 16K कॉन्फ़िगरेशन में वास्तविक पाठ पर 59 tok/s बताया गया था।
11 नवंबर 2026 को वर्कस्टेशन P3001 से परिणाम प्रकाशित हुए: Intel Xeon E5-2697 v2 (12 कोर / 24 थ्रेड, केवल AVX1), 1333 MT/s पर 64GB ECC DDR3 RAM स्थापित (सिस्टम को लगभग 62GB दिखते हैं), NVIDIA RTX 3050 8GB, NVMe SSD और Ubuntu 24.04। सॉफ़्टवेयर Strata 0.1.55 (AVX-संगत बिल्ड) और संपीड़ित मॉडल Qwen3.8-Flash-Next IQ3_S था।
पहले की 16K कॉन्फ़िगरेशन: वास्तविक पाठ पर 59 tok/s
उसी दिन पहले, उसी मशीन पर 8-बिट KV कैश के साथ 16K संदर्भ कॉन्फ़िगरेशन बताई गई। KV कैश पहले से संसाधित टोकनों के लिए मॉडल की कार्य मेमोरी है। उस पोस्ट के साथ प्रकाशित आँकड़े:
| संदर्भ | Prefill | Decode | TTFT |
|---|---|---|---|
| 2K | 132 tok/s | 24.3 tok/s | 11.9s |
| 8K | 121 tok/s | 28.0 tok/s | 42.6s |
| 16K | 128.5 tok/s | 30.7 tok/s | 87.5s |
| गर्म 8K (कैश से) | कैश से | 28.7 tok/s | 0.2–0.33s |
उसी पोस्ट में वास्तविक पाठ के डिकोड पर 59 tok/s और 120–132 tok/s prefill बताया गया है। बाद के थ्रेड में स्पष्ट किया गया कि ये 59 tok/s सट्टा डिकोडिंग से आए: Strata कई अगले टोकन का अनुमान लगाती है और उन्हें एक साथ जाँचती है। वास्तविक पाठ पर अनुमानों की स्वीकृति ऊँची थी; कृत्रिम बेंचमार्क भरने पर नहीं (16K पोस्ट के अनुसार, कृत्रिम भरने पर लगभग 70% स्वीकृति)। Prefill को DDR3-1333 और AVX1 सीमित करते थे; उस 16K कॉन्फ़िगरेशन में 8GB VRAM संदर्भ को 16K तक सीमित करती थी।
256K कॉन्फ़िगरेशन
घोषित लक्ष्य 256K टोकन की संदर्भ विंडो था — एक अनुरोध में लगभग 262,144 टोकन की क्षमता। पहली कोशिश में 8-बिट KV कैश के साथ सीमा को केवल 256K तक बढ़ाया गया। पोस्ट के अनुसार, तब Strata उस कार्य मेमोरी का बहुत बड़ा भाग GPU की 8GB VRAM में रखने का प्रयास करती रही, GPU पर विशेषज्ञ कैश शून्य स्लॉट पर गिर गया, और उसके बाद cuBLAS त्रुटि आई। सर्वर अभी भी उत्तर दे रहा था, लेकिन GPU त्वरण सही नहीं चल रहा था।
प्रकाशित समाधान: KV कैश को int8 से q4_0 (4-बिट संपीड़न) पर बदलना, जिससे प्रति टोकन मेमोरी लगभग 71KB से 29.5KB हो गई; –kv-resident 20480 सेट करना, ताकि केवल 20,480 KV स्थितियाँ GPU मेमोरी में निवासी रहें और अतिरिक्त KV डेटा सिस्टम RAM से आए; 46.47GB मॉडल विशेषज्ञों को पेज-लॉक DDR3 RAM में रखना; GPU मेमोरी में 498 विशेषज्ञ कैश स्लॉट बनाए रखना; और प्रॉम्प्ट कैश को एक सक्रिय जाँचबिंदु तक सीमित करना। बताए गए अंतिम सेटिंग्स: –max-context 262144, –kv q4_0, –kv-resident 20480, –prompt-cache 1, –prompt-cache-every 0। पोस्ट कहती है कि इसके बाद Strata सही ढंग से चालू हुई और max_context: 262144, loaded: true रिपोर्ट किया।
मापी गई गति
निम्न आँकड़े स्वयं इन्फ़रेंस इंजन के माप हैं, प्रति पंक्ति एक रन — प्रारंभिक डेटा, दोहराए गए बेंचमार्क के औसत नहीं। Prefill उत्तर से पहले इनपुट का प्रसंस्करण है; decode टोकन-दर-टोकन निर्माण है; TTFT पहले उत्तर टोकन तक की प्रतीक्षा है।
| इनपुट टोकन | Prefill | TTFT | Decode |
|---|---|---|---|
| 77 | 35.9 tok/s | 3.7s | 20.1 tok/s |
| 1,561 | 163.5 tok/s | 9.5s | 23.1 tok/s |
| 6,161 | 187.6 tok/s | 32.7s | 24.6 tok/s |
| 24,061 | 187.6 tok/s | 128.3s | 25.7 tok/s |
| 50,061 | 183.4 tok/s | 273s | 23.5 tok/s |
| 100,061 | 177.5 tok/s | 564s | 23.8 tok/s |
| 160,061 | 172.5 tok/s | 928s | 23.8 tok/s |
पोस्ट में कहा गया है कि इनपुट को लगभग 6K से 160K टोकन तक बढ़ाने पर prefill केवल 188 से 173 tok/s तक घटा, जबकि decode लगभग 23–26 tok/s पर रहा। कैश किए गए संदर्भ के साथ 24K टोकन का दोहराया रन TTFT को 128.3 सेकंड से 0.49 सेकंड पर ले आया। 160K टोकन का ठंडा इनपुट पहले उत्तर टोकन तक लगभग 15.5 मिनट लगा — इसे पुराने Xeon और DDR3 मेमोरी की अड़चन माना गया। 200K टोकन वाले रन की एजेंट रिपोर्ट का उल्लेख है, लेकिन उस रन की पूरी संख्या पंक्ति तालिका में नहीं है।
थ्रेड में एक महत्वपूर्ण अंतर: 256K कॉन्फ़िगर और घोषित संदर्भ सीमा है। विस्तृत माप 160K तक पहुँचते हैं, पूरे 256K तक नहीं। पोस्टों के समय पूरे 262K विंडो का माप अभी नहीं हुआ था। एक उत्तर पूरे 262K के लिए ठंडे prefill का अनुमान लगभग 26 मिनट बताता है, और कहता है कि इसे अभी मापना बाकी है। 59 tok/s 256K संदर्भ भार के लिए स्थापित नहीं हुए। नई कॉन्फ़िगरेशन का prefill पहले की 16K कॉन्फ़िगरेशन से अधिक था; थ्रेड इसे कॉन्फ़िगरेशन के बीच देखा गया अंतर मानता है, एक ही कारण का प्रमाण नहीं, क्योंकि KV प्रारूप और मेमोरी लेआउट भी बदले।
सीमाएँ और ऊर्जा का अनुमान
थ्रेड में गिनाई गई सीमाएँ: GPU मेमोरी लगभग भरी, 8GB में से लगभग 7.5–7.7GB उपयोग में, कुछ रनों में चेतावनी कि केवल 193–331MB खाली बचा; सिस्टम RAM लगभग 62GB में से 53GB, जिसमें से लगभग 46.5GB मेमोरी में लॉक किए गए मॉडल विशेषज्ञ घेरते हैं; प्रॉम्प्ट कैश का केवल एक गर्म जाँचबिंदु, इसलिए बहुत बड़ी बातचीतों के बीच बदलने पर इनपुट का पुनः प्रसंस्करण पड़ सकता है (केवल 200K टोकन का एक जाँचबिंदु लगभग 4.7GB घेर सकता है); तथा लंबे ठंडे प्रॉम्प्ट धीमे हैं।
160K prefill के लिए ऊर्जा का मोटा अनुमान 300W × 15.5 मिनट ≈ 0.078 kWh बताया गया है। 0.25 €/kWh पर यह लगभग 0.02 € बिजली है। पोस्ट इसे माप नहीं, अनुमान बताती है।
थ्रेड का व्यावहारिक निष्कर्ष यह है कि सस्ता स्थानीय एआई लंबे, माँग वाले सत्रों में क्लाउड मॉडलों से प्रतिस्पर्धा के लिए नहीं है, जहाँ क्लाउड सेवाएँ अक्सर तेज़ और अधिक किफ़ायती होती हैं। इन पुराने, सस्ते कंप्यूटरों का मुख्य लाभ गोपनीयता है: संवेदनशील दस्तावेज़ों को स्थानीय रूप से संसाधित करना। ऐसी कई कार्यों के लिए छोटी संदर्भ विंडो पर्याप्त है। प्रकाशित परिणाम यह है कि RTX 3050 8GB अपनी सारी कार्य मेमोरी को VRAM में स्थानांतरित किए बिना 256K पर कॉन्फ़िगर स्थानीय मॉडल चला सकता है। आगे के माप अभी आवश्यक हैं — पूरे संदर्भ विस्तार, दोहराव और कार्यों पर गुणवत्ता सहित।
माप परिणाम और लॉग एक सार्वजनिक रिपॉज़िटरी में प्रकाशित हैं।
GitHub पर परियोजना रिपॉज़िटरी · X पर पोस्ट · 16K परिणाम · सभी समाचार