समाचार
Strata स्वायत्त लूप: RTX 3060 बनाम Mac Studio M3, पहले परिणाम
एक मॉडल (Qwen3.8-Flash-Next IQ3_S), वही फ़ाइलें और वही Strata संस्करण दो बहुत अलग कॉन्फ़िगरेशन पर। पिछले 12 घंटों का डेटा।
कॉन्फ़िगरेशन
- प्रयोग PC: RTX 3060, 12 GB VRAM और 24 GB सिंगल-चैनल RAM; बेहद तंग मेमोरी और आक्रामक रनटाइम सेटिंग्स। 24/7 चलता है।
- Hermes (कंप्यूटर P2005): 24 GB VRAM और 64 GB RAM। परिणामों का विश्लेषण, काम की जाँच, सुधार।
- Mac Studio M3: 256 GB यूनिफ़ाइड मेमोरी; पूरा मॉडल मेमोरी में आ जाता है। समानांतर तुलनात्मक रन।
- सभी सिस्टम पर समान मॉडल फ़ाइलें, मॉडल संस्करण और Strata संस्करण; समान कार्य और मेल खाते दोहराव।
क्या मापा जाता है
- सीमित हार्डवेयर पर वास्तविक कार्यों में उपयोगिता।
- बड़ी कॉन्टेक्स्ट विंडो पर गिरावट।
- अलग-अलग हार्डवेयर पर उत्तरों की गुणवत्ता।
- क्या मॉडल अपना काम खुद सुधार सकता है: निरंतर लूप में गलतियाँ ढूँढना, सुधारना और रोकना।
गति, पिछले 12 घंटे
| मापदंड | RTX 3060 | Mac Studio M3 |
|---|---|---|
| लॉग रिकॉर्ड | 3392 | 4012 |
| अद्वितीय कार्य दोहराव | 2387 | 2497 |
| प्रति कार्य औसत आउटपुट, टोकन | 235 | 228 |
| औसत कार्य अवधि, s | 8.4 | 4.3 |
| कुल जनरेशन गति, tok/s | 28 | 53.4 |
| माध्य (मीडियन) जनरेशन गति, tok/s | 19 | 45 |
| कार्य ID | RTX 3060, tok/s | Mac Studio M3, tok/s |
|---|---|---|
| A-me-00-0 | 44 | 69 |
| D-ea-00-0 | 5 | 18 |
| F-ha-01-0 | 18 | 45 |
| F-ha-02-0 | 19 | 39 |
| G-me-04 | 9 | 16 |
| H-ha-04-0 | 20 | 48 |
| J-ha-01-0 | 44 | 67 |
| K-ha-04-0 | 9 | 32 |
Mac Studio पर कुल जनरेशन गति लगभग 1.9 गुना अधिक है। प्रयोग PC पर कच्चा मॉडल लगभग 60 tok/s तक पहुँचता है। Hermes तेज़ी से जनरेट करता है, लेकिन उसका लोड अलग है, इसलिए सीधी तुलना भ्रामक होगी।
उत्तरों की गुणवत्ता: v1.8 और v1.9
| मापदंड | RTX 3060 v1.8 | Mac Studio v1.8 | RTX 3060 v1.9 | Mac Studio v1.9 |
|---|---|---|---|---|
| औसत स्कोर | 0.882 | 0.876 | 0.938 | 0.944 |
| परफ़ेक्ट उत्तर, % | 68.9 | 65.2 | 79.6 | 77.9 |
| फ़ॉर्मेट अनुपालन, % | 89.2 | 92.0 | 97.7 | 99.8 |
| अंतर Mac − RTX | −0.006 | +0.006 | ||
गुणवत्ता लगभग बराबर है; गति में Mac आगे है। v1.8 से v1.9 तक औसत स्कोर RTX 3060 पर 6.3% और Mac Studio पर 7.8% बढ़ा; परफ़ेक्ट उत्तरों का हिस्सा भी बढ़ा। श्रेणीवार अंतरों का विश्लेषण जारी है।
एजेंट का व्यवहार
प्रॉम्प्ट में निर्देश के बिना एजेंट ने अपने सुधारों की टोकन लागत का अनुमान लगाना शुरू किया और कुछ संस्करणों में अनावश्यक टोकन खपत घटाने के लिए अपनी प्रक्रियाएँ अनुकूलित कीं।
आगे
एकत्रित: 13,000 रन, 16,000 फ़ाइलें, 1,000 लॉग फ़ाइलें। इस प्रयोग के परिणामों के गहन विश्लेषण के लिए एक विश्लेषणात्मक सिस्टम का डेमो बनाया जा रहा है।