Nyheter
Strata autonom slinga: RTX 3060 mot Mac Studio M3, första resultaten
En modell (Qwen3.8-Flash-Next IQ3_S), samma filer och samma Strata-version på två mycket olika konfigurationer. Data från de senaste 12 timmarna.
Konfiguration
- Experiment-pc: RTX 3060 med 12 GB VRAM och 24 GB enkanaligt RAM; extremt snålt minne och aggressiva körinställningar. Går 24/7.
- Hermes (dator P2005): 24 GB VRAM och 64 GB RAM. Analyserar resultat, kontrollerar arbetet, gör förbättringar.
- Mac Studio M3: 256 GB enhetligt minne; hela modellen ryms i minnet. Parallella jämförelsekörningar.
- Identiska modellfiler, modellversion och Strata-version på alla system; identiska uppgifter och motsvarande upprepningar.
Vad som mäts
- Nytta i verkliga uppgifter med begränsad hårdvara.
- Försämring med stora kontextfönster.
- Svarskvalitet på olika hårdvara.
- Om modellen kan förbättra sitt eget arbete: hitta fel, rätta dem och förebygga dem i en kontinuerlig slinga.
Hastighet, senaste 12 timmarna
| Mått | RTX 3060 | Mac Studio M3 |
|---|---|---|
| Loggposter | 3392 | 4012 |
| Unika uppgiftsupprepningar | 2387 | 2497 |
| Genomsnittlig utdata per uppgift, tokens | 235 | 228 |
| Genomsnittlig uppgiftstid, s | 8.4 | 4.3 |
| Sammanlagd genereringshastighet, tok/s | 28 | 53.4 |
| Median för genereringshastighet, tok/s | 19 | 45 |
| Uppgifts-ID | RTX 3060, tok/s | Mac Studio M3, tok/s |
|---|---|---|
| A-me-00-0 | 44 | 69 |
| D-ea-00-0 | 5 | 18 |
| F-ha-01-0 | 18 | 45 |
| F-ha-02-0 | 19 | 39 |
| G-me-04 | 9 | 16 |
| H-ha-04-0 | 20 | 48 |
| J-ha-01-0 | 44 | 67 |
| K-ha-04-0 | 9 | 32 |
Den sammanlagda genereringshastigheten är ungefär 1,9 gånger högre på Mac Studio. Den rena modellen på experiment-pc:n når omkring 60 tok/s. Hermes genererar snabbare men har en annan belastning, så en direkt jämförelse vore missvisande.
Svarskvalitet: v1.8 och v1.9
| Mått | RTX 3060 v1.8 | Mac Studio v1.8 | RTX 3060 v1.9 | Mac Studio v1.9 |
|---|---|---|---|---|
| Genomsnittligt betyg | 0.882 | 0.876 | 0.938 | 0.944 |
| Perfekta svar, % | 68.9 | 65.2 | 79.6 | 77.9 |
| Formatefterlevnad, % | 89.2 | 92.0 | 97.7 | 99.8 |
| Skillnad Mac − RTX | −0.006 | +0.006 | ||
Kvaliteten är nästan likvärdig; i hastighet vinner Mac. Från v1.8 till v1.9 steg det genomsnittliga betyget med 6,3 % på RTX 3060 och med 7,8 % på Mac Studio; andelen perfekta svar steg också. Skillnader per kategori analyseras fortfarande.
Agentens beteende
Utan instruktion i promptarna började agenten uppskatta tokenkostnaden för sina förbättringar och i vissa versioner optimera sina processer för att minska onödig tokenförbrukning.
Nästa steg
Insamlat: 13 000 körningar, 16 000 filer, 1 000 loggfiler. En demo av ett analyssystem byggs för en djupare analys av resultaten från detta experiment.