Novinky
Autonomní smyčka Strata: RTX 3060 proti Mac Studio M3, první výsledky
Jeden model (Qwen3.8-Flash-Next IQ3_S), stejné soubory a stejná verze Strata na dvou velmi odlišných konfiguracích. Data za posledních 12 hodin.
Konfigurace
- Experimentální PC: RTX 3060 s 12 GB VRAM a 24 GB jednokanálové RAM; extrémně omezená paměť a agresivní nastavení běhu. Běží 24/7.
- Hermes (počítač P2005): 24 GB VRAM a 64 GB RAM. Analyzuje výsledky, ověřuje práci, zavádí zlepšení.
- Mac Studio M3: 256 GB sjednocené paměti; celý model se vejde do paměti. Paralelní srovnávací běhy.
- Stejné soubory modelu, verze modelu i verze Strata na všech systémech; stejné úlohy a odpovídající opakování.
Co se měří
- Užitečnost na reálných úlohách s omezeným hardwarem.
- Degradace při velkých kontextových oknech.
- Kvalita odpovědí na různém hardwaru.
- Zda model dokáže sám zlepšovat svou práci: najít chyby, opravit je a předcházet jim v nepřetržité smyčce.
Rychlost, posledních 12 hodin
| Ukazatel | RTX 3060 | Mac Studio M3 |
|---|---|---|
| Záznamy v logu | 3392 | 4012 |
| Unikátní opakování úloh | 2387 | 2497 |
| Průměrný výstup na úlohu, tokeny | 235 | 228 |
| Průměrná doba úlohy, s | 8.4 | 4.3 |
| Souhrnná rychlost generování, tok/s | 28 | 53.4 |
| Medián rychlosti generování, tok/s | 19 | 45 |
| ID úlohy | RTX 3060, tok/s | Mac Studio M3, tok/s |
|---|---|---|
| A-me-00-0 | 44 | 69 |
| D-ea-00-0 | 5 | 18 |
| F-ha-01-0 | 18 | 45 |
| F-ha-02-0 | 19 | 39 |
| G-me-04 | 9 | 16 |
| H-ha-04-0 | 20 | 48 |
| J-ha-01-0 | 44 | 67 |
| K-ha-04-0 | 9 | 32 |
Souhrnná rychlost generování je na Mac Studio přibližně 1,9× vyšší. Samotný model na experimentálním PC dosahuje asi 60 tok/s. Hermes generuje rychleji, ale má jinou zátěž, takže přímé srovnání by bylo zavádějící.
Kvalita odpovědí: v1.8 a v1.9
| Ukazatel | RTX 3060 v1.8 | Mac Studio v1.8 | RTX 3060 v1.9 | Mac Studio v1.9 |
|---|---|---|---|---|
| Průměrné skóre | 0.882 | 0.876 | 0.938 | 0.944 |
| Dokonalé odpovědi, % | 68.9 | 65.2 | 79.6 | 77.9 |
| Dodržení formátu, % | 89.2 | 92.0 | 97.7 | 99.8 |
| Rozdíl Mac − RTX | −0.006 | +0.006 | ||
Kvalita je téměř vyrovnaná; v rychlosti vede Mac. Z v1.8 na v1.9 vzrostlo průměrné skóre o 6,3 % na RTX 3060 a o 7,8 % na Mac Studio; vzrostl i podíl dokonalých odpovědí. Rozdíly podle kategorií se ještě analyzují.
Chování agenta
Bez pokynu v promptech začal agent odhadovat cenu svých zlepšení v tokenech a v některých verzích optimalizovat procesy, aby omezil zbytečnou spotřebu tokenů.
Dále
Shromážděno: 13 000 běhů, 16 000 souborů, 1 000 souborů logů. Vzniká demo analytického systému pro hlubší analýzu výsledků tohoto experimentu.