Notizie
Ciclo autonomo Strata: RTX 3060 contro Mac Studio M3, primi risultati
Un modello (Qwen3.8-Flash-Next IQ3_S), gli stessi file e la stessa versione di Strata su due configurazioni molto diverse. Dati delle ultime 12 ore.
Configurazione
- PC per gli esperimenti: RTX 3060 con 12 GB di VRAM e 24 GB di RAM a canale singolo; memoria estremamente limitata e impostazioni di esecuzione aggressive. Funziona 24/7.
- Hermes (computer P2005): 24 GB di VRAM e 64 GB di RAM. Analizza i risultati, verifica il lavoro, introduce miglioramenti.
- Mac Studio M3: 256 GB di memoria unificata; l’intero modello sta in memoria. Esecuzioni parallele di confronto.
- Stessi file del modello, stessa versione del modello e di Strata su tutti i sistemi; compiti identici e ripetizioni corrispondenti.
Cosa si misura
- Utilità su compiti reali con hardware limitato.
- Degrado con finestre di contesto ampie.
- Qualità delle risposte su hardware diverso.
- Se il modello sa migliorare il proprio lavoro: trovare errori, correggerli e prevenirli in un ciclo continuo.
Velocità, ultime 12 ore
| Metrica | RTX 3060 | Mac Studio M3 |
|---|---|---|
| Record di log | 3392 | 4012 |
| Ripetizioni uniche dei compiti | 2387 | 2497 |
| Output medio per compito, token | 235 | 228 |
| Durata media del compito, s | 8.4 | 4.3 |
| Velocità di generazione aggregata, tok/s | 28 | 53.4 |
| Velocità di generazione mediana, tok/s | 19 | 45 |
| ID compito | RTX 3060, tok/s | Mac Studio M3, tok/s |
|---|---|---|
| A-me-00-0 | 44 | 69 |
| D-ea-00-0 | 5 | 18 |
| F-ha-01-0 | 18 | 45 |
| F-ha-02-0 | 19 | 39 |
| G-me-04 | 9 | 16 |
| H-ha-04-0 | 20 | 48 |
| J-ha-01-0 | 44 | 67 |
| K-ha-04-0 | 9 | 32 |
La velocità di generazione aggregata è circa 1,9 volte più alta sul Mac Studio. Il modello puro sul PC per gli esperimenti arriva a circa 60 tok/s. Hermes genera più velocemente, ma ha un carico diverso, quindi un confronto diretto sarebbe fuorviante.
Qualità delle risposte: v1.8 e v1.9
| Metrica | RTX 3060 v1.8 | Mac Studio v1.8 | RTX 3060 v1.9 | Mac Studio v1.9 |
|---|---|---|---|---|
| Punteggio medio | 0.882 | 0.876 | 0.938 | 0.944 |
| Risposte perfette, % | 68.9 | 65.2 | 79.6 | 77.9 |
| Conformità al formato, % | 89.2 | 92.0 | 97.7 | 99.8 |
| Differenza Mac − RTX | −0.006 | +0.006 | ||
La qualità è quasi alla pari; sulla velocità vince il Mac. Da v1.8 a v1.9 il punteggio medio è salito del 6,3% sulla RTX 3060 e del 7,8% sul Mac Studio; è salita anche la quota di risposte perfette. Le differenze per categoria sono ancora in analisi.
Comportamento dell’agente
Senza indicazioni nei prompt, l’agente ha iniziato a stimare il costo in token dei suoi miglioramenti e, in alcune versioni, a ottimizzare i processi per ridurre il consumo superfluo di token.
Prossimi passi
Dati raccolti: 13.000 esecuzioni, 16.000 file, 1.000 file di log. È in costruzione una demo di un sistema analitico per un’analisi più approfondita dei risultati di questo esperimento.