Nyheder
Strata autonom løkke: RTX 3060 mod Mac Studio M3, første resultater
Én model (Qwen3.8-Flash-Next IQ3_S), de samme filer og den samme Strata-version på to meget forskellige konfigurationer. Data fra de seneste 12 timer.
Konfiguration
- Eksperiment-pc: RTX 3060 med 12 GB VRAM og 24 GB enkeltkanals-RAM; ekstremt stram hukommelse og aggressive kørselsindstillinger. Kører 24/7.
- Hermes (computer P2005): 24 GB VRAM og 64 GB RAM. Analyserer resultater, kontrollerer arbejdet, laver forbedringer.
- Mac Studio M3: 256 GB samlet hukommelse; hele modellen kan være i hukommelsen. Parallelle sammenligningskørsler.
- Identiske modelfiler, modelversion og Strata-version på alle systemer; identiske opgaver og tilsvarende gentagelser.
Hvad der måles
- Nytte i virkelige opgaver med begrænset hardware.
- Forringelse med store kontekstvinduer.
- Svarkvalitet på forskellig hardware.
- Om modellen kan forbedre sit eget arbejde: finde fejl, rette dem og forebygge dem i en løbende løkke.
Hastighed, seneste 12 timer
| Mål | RTX 3060 | Mac Studio M3 |
|---|---|---|
| Logposter | 3392 | 4012 |
| Unikke opgavegentagelser | 2387 | 2497 |
| Gennemsnitligt output pr. opgave, tokens | 235 | 228 |
| Gennemsnitlig opgavevarighed, s | 8.4 | 4.3 |
| Samlet genereringshastighed, tok/s | 28 | 53.4 |
| Median genereringshastighed, tok/s | 19 | 45 |
| Opgave-ID | RTX 3060, tok/s | Mac Studio M3, tok/s |
|---|---|---|
| A-me-00-0 | 44 | 69 |
| D-ea-00-0 | 5 | 18 |
| F-ha-01-0 | 18 | 45 |
| F-ha-02-0 | 19 | 39 |
| G-me-04 | 9 | 16 |
| H-ha-04-0 | 20 | 48 |
| J-ha-01-0 | 44 | 67 |
| K-ha-04-0 | 9 | 32 |
Den samlede genereringshastighed er omkring 1,9 gange højere på Mac Studio. Den rene model på eksperiment-pc'en når omkring 60 tok/s. Hermes genererer hurtigere, men har en anden belastning, så en direkte sammenligning ville være misvisende.
Svarkvalitet: v1.8 og v1.9
| Mål | RTX 3060 v1.8 | Mac Studio v1.8 | RTX 3060 v1.9 | Mac Studio v1.9 |
|---|---|---|---|---|
| Gennemsnitlig score | 0.882 | 0.876 | 0.938 | 0.944 |
| Perfekte svar, % | 68.9 | 65.2 | 79.6 | 77.9 |
| Formatoverholdelse, % | 89.2 | 92.0 | 97.7 | 99.8 |
| Forskel Mac − RTX | −0.006 | +0.006 | ||
Kvaliteten er næsten lige; på hastighed vinder Mac. Fra v1.8 til v1.9 steg den gennemsnitlige score med 6,3 % på RTX 3060 og med 7,8 % på Mac Studio; andelen af perfekte svar steg også. Forskelle pr. kategori analyseres stadig.
Agentens adfærd
Uden instruks i promptene begyndte agenten at vurdere tokenprisen for sine forbedringer og i nogle versioner at optimere sine processer for at skære ned på unødvendigt tokenforbrug.
Næste skridt
Indsamlet: 13.000 kørsler, 16.000 filer, 1.000 logfiler. Der bygges en demo af et analysesystem til en dybere analyse af resultaterne af dette eksperiment.