Uutiset
Strata-autonominen silmukka: RTX 3060 vastaan Mac Studio M3, ensimmäiset tulokset
Yksi malli (Qwen3.8-Flash-Next IQ3_S), samat tiedostot ja sama Strata-versio kahdessa hyvin erilaisessa kokoonpanossa. Tiedot viimeisiltä 12 tunnilta.
Kokoonpano
- Kokeilu-PC: RTX 3060, 12 Gt VRAM ja 24 Gt yksikanavaista RAM-muistia; äärimmäisen niukka muisti ja aggressiiviset ajoasetukset. Käy 24/7.
- Hermes (tietokone P2005): 24 Gt VRAM ja 64 Gt RAM. Analysoi tulokset, tarkistaa työn, tekee parannuksia.
- Mac Studio M3: 256 Gt yhtenäistä muistia; koko malli mahtuu muistiin. Rinnakkaiset vertailuajot.
- Samat mallitiedostot, malliversio ja Strata-versio kaikissa järjestelmissä; samat tehtävät ja vastaavat toistot.
Mitä mitataan
- Hyödyllisyys todellisissa tehtävissä rajallisella laitteistolla.
- Heikkeneminen suurilla kontekstiikkunoilla.
- Vastausten laatu eri laitteistoilla.
- Pystyykö malli parantamaan omaa työtään: löytämään virheet, korjaamaan ja ehkäisemään ne jatkuvassa silmukassa.
Nopeus, viimeiset 12 tuntia
| Mittari | RTX 3060 | Mac Studio M3 |
|---|---|---|
| Lokimerkinnät | 3392 | 4012 |
| Ainutkertaiset tehtävätoistot | 2387 | 2497 |
| Keskimääräinen tuotos tehtävää kohden, tokenia | 235 | 228 |
| Tehtävän keskimääräinen kesto, s | 8.4 | 4.3 |
| Kokonaisgenerointinopeus, tok/s | 28 | 53.4 |
| Generointinopeuden mediaani, tok/s | 19 | 45 |
| Tehtävän tunnus | RTX 3060, tok/s | Mac Studio M3, tok/s |
|---|---|---|
| A-me-00-0 | 44 | 69 |
| D-ea-00-0 | 5 | 18 |
| F-ha-01-0 | 18 | 45 |
| F-ha-02-0 | 19 | 39 |
| G-me-04 | 9 | 16 |
| H-ha-04-0 | 20 | 48 |
| J-ha-01-0 | 44 | 67 |
| K-ha-04-0 | 9 | 32 |
Kokonaisgenerointinopeus on Mac Studiolla noin 1,9-kertainen. Pelkkä malli kokeilu-PC:llä yltää noin 60 tok/s. Hermes generoi nopeammin, mutta sillä on eri kuorma, joten suora vertailu olisi harhaanjohtava.
Vastausten laatu: v1.8 ja v1.9
| Mittari | RTX 3060 v1.8 | Mac Studio v1.8 | RTX 3060 v1.9 | Mac Studio v1.9 |
|---|---|---|---|---|
| Keskimääräinen pistemäärä | 0.882 | 0.876 | 0.938 | 0.944 |
| Täydelliset vastaukset, % | 68.9 | 65.2 | 79.6 | 77.9 |
| Muodon noudattaminen, % | 89.2 | 92.0 | 97.7 | 99.8 |
| Ero Mac − RTX | −0.006 | +0.006 | ||
Laatu on lähes tasan; nopeudessa Mac voittaa. Versiosta v1.8 versioon v1.9 keskimääräinen pistemäärä nousi 6,3 % RTX 3060:lla ja 7,8 % Mac Studiolla; myös täydellisten vastausten osuus kasvoi. Kategoriakohtaisia eroja analysoidaan vielä.
Agentin toiminta
Ilman ohjetta prompteissa agentti alkoi arvioida parannustensa tokenikustannuksia ja joissakin versioissa optimoida prosessejaan turhan tokenkulutuksen vähentämiseksi.
Seuraavaksi
Kerätty: 13 000 ajoa, 16 000 tiedostoa, 1 000 lokitiedostoa. Analyysijärjestelmän demoa rakennetaan tämän kokeilun tulosten syvällisempää analyysiä varten.