Nieuws
Autonome Strata-lus: RTX 3060 tegen Mac Studio M3, eerste resultaten
Eén model (Qwen3.8-Flash-Next IQ3_S), dezelfde bestanden en dezelfde Strata-versie op twee zeer verschillende configuraties. Gegevens van de laatste 12 uur.
Configuratie
- Experiment-pc: RTX 3060 met 12 GB VRAM en 24 GB single-channel RAM; extreem krap geheugen en agressieve runtime-instellingen. Draait 24/7.
- Hermes (computer P2005): 24 GB VRAM en 64 GB RAM. Analyseert resultaten, controleert het werk, voert verbeteringen door.
- Mac Studio M3: 256 GB unified memory; het hele model past in het geheugen. Parallelle vergelijkingsruns.
- Identieke modelbestanden, modelversie en Strata-versie op alle systemen; identieke taken en overeenkomende herhalingen.
Wat wordt gemeten
- Nut bij echte taken op beperkte hardware.
- Degradatie bij grote contextvensters.
- Antwoordkwaliteit op verschillende hardware.
- Of het model zijn eigen werk kan verbeteren: fouten vinden, herstellen en voorkomen in een doorlopende lus.
Snelheid, laatste 12 uur
| Meetwaarde | RTX 3060 | Mac Studio M3 |
|---|---|---|
| Logregels | 3392 | 4012 |
| Unieke taakherhalingen | 2387 | 2497 |
| Gemiddelde output per taak, tokens | 235 | 228 |
| Gemiddelde taakduur, s | 8.4 | 4.3 |
| Totale generatiesnelheid, tok/s | 28 | 53.4 |
| Mediane generatiesnelheid, tok/s | 19 | 45 |
| Taak-ID | RTX 3060, tok/s | Mac Studio M3, tok/s |
|---|---|---|
| A-me-00-0 | 44 | 69 |
| D-ea-00-0 | 5 | 18 |
| F-ha-01-0 | 18 | 45 |
| F-ha-02-0 | 19 | 39 |
| G-me-04 | 9 | 16 |
| H-ha-04-0 | 20 | 48 |
| J-ha-01-0 | 44 | 67 |
| K-ha-04-0 | 9 | 32 |
De totale generatiesnelheid ligt op de Mac Studio ongeveer 1,9 keer hoger. Het kale model op de experiment-pc haalt ongeveer 60 tok/s. Hermes genereert sneller, maar heeft een andere belasting, dus een directe vergelijking zou misleidend zijn.
Antwoordkwaliteit: v1.8 en v1.9
| Meetwaarde | RTX 3060 v1.8 | Mac Studio v1.8 | RTX 3060 v1.9 | Mac Studio v1.9 |
|---|---|---|---|---|
| Gemiddelde score | 0.882 | 0.876 | 0.938 | 0.944 |
| Perfecte antwoorden, % | 68.9 | 65.2 | 79.6 | 77.9 |
| Formaatnaleving, % | 89.2 | 92.0 | 97.7 | 99.8 |
| Verschil Mac − RTX | −0.006 | +0.006 | ||
De kwaliteit is vrijwel gelijk; op snelheid wint de Mac. Van v1.8 naar v1.9 steeg de gemiddelde score met 6,3% op de RTX 3060 en met 7,8% op de Mac Studio; ook het aandeel perfecte antwoorden steeg. Verschillen per categorie worden nog geanalyseerd.
Gedrag van de agent
Zonder aanwijzing in de prompts begon de agent de tokenkosten van zijn verbeteringen te schatten en in sommige versies zijn processen te optimaliseren om onnodig tokenverbruik te beperken.
Volgende stap
Verzameld: 13.000 runs, 16.000 bestanden, 1.000 logbestanden. Er wordt een demo van een analysesysteem gebouwd voor een diepere analyse van de resultaten van dit experiment.