Berita
Loop otonom Strata: RTX 3060 vs Mac Studio M3, hasil pertama
Satu model (Qwen3.8-Flash-Next IQ3_S), file yang sama, dan versi Strata yang sama pada dua konfigurasi yang sangat berbeda. Data 12 jam terakhir.
Konfigurasi
- PC eksperimen: RTX 3060 dengan VRAM 12 GB dan RAM single-channel 24 GB; memori sangat terbatas dan pengaturan runtime agresif. Berjalan 24/7.
- Hermes (komputer P2005): VRAM 24 GB dan RAM 64 GB. Menganalisis hasil, memverifikasi pekerjaan, melakukan perbaikan.
- Mac Studio M3: memori terpadu 256 GB; seluruh model muat di memori. Eksekusi perbandingan paralel.
- File model, versi model, dan versi Strata identik di semua sistem; tugas identik dan pengulangan yang sesuai.
Yang diukur
- Kegunaan pada tugas nyata dengan perangkat keras terbatas.
- Degradasi pada jendela konteks besar.
- Kualitas jawaban di perangkat keras berbeda.
- Apakah model dapat memperbaiki pekerjaannya sendiri: menemukan, memperbaiki, dan mencegah kesalahan dalam loop berkelanjutan.
Kecepatan, 12 jam terakhir
| Metrik | RTX 3060 | Mac Studio M3 |
|---|---|---|
| Catatan log | 3392 | 4012 |
| Pengulangan tugas unik | 2387 | 2497 |
| Rata-rata output per tugas, token | 235 | 228 |
| Rata-rata durasi tugas, dtk | 8.4 | 4.3 |
| Kecepatan generasi agregat, tok/s | 28 | 53.4 |
| Median kecepatan generasi, tok/s | 19 | 45 |
| ID tugas | RTX 3060, tok/s | Mac Studio M3, tok/s |
|---|---|---|
| A-me-00-0 | 44 | 69 |
| D-ea-00-0 | 5 | 18 |
| F-ha-01-0 | 18 | 45 |
| F-ha-02-0 | 19 | 39 |
| G-me-04 | 9 | 16 |
| H-ha-04-0 | 20 | 48 |
| J-ha-01-0 | 44 | 67 |
| K-ha-04-0 | 9 | 32 |
Kecepatan generasi agregat sekitar 1,9 kali lebih tinggi di Mac Studio. Model mentah di PC eksperimen mencapai sekitar 60 tok/s. Hermes menghasilkan lebih cepat, tetapi bebannya berbeda, sehingga perbandingan langsung akan menyesatkan.
Kualitas jawaban: v1.8 dan v1.9
| Metrik | RTX 3060 v1.8 | Mac Studio v1.8 | RTX 3060 v1.9 | Mac Studio v1.9 |
|---|---|---|---|---|
| Skor rata-rata | 0.882 | 0.876 | 0.938 | 0.944 |
| Jawaban sempurna, % | 68.9 | 65.2 | 79.6 | 77.9 |
| Kepatuhan format, % | 89.2 | 92.0 | 97.7 | 99.8 |
| Selisih Mac − RTX | −0.006 | +0.006 | ||
Kualitas hampir setara; dalam kecepatan Mac unggul. Dari v1.8 ke v1.9 skor rata-rata naik 6,3% di RTX 3060 dan 7,8% di Mac Studio; porsi jawaban sempurna juga naik. Perbedaan per kategori masih dianalisis.
Perilaku agen
Tanpa instruksi dalam prompt, agen mulai memperkirakan biaya token dari perbaikannya dan, di beberapa versi, mengoptimalkan prosesnya untuk mengurangi pemakaian token yang tidak perlu.
Selanjutnya
Terkumpul: 13.000 eksekusi, 16.000 file, 1.000 file log. Sebuah demo sistem analitik sedang dibangun untuk analisis lebih mendalam atas hasil eksperimen ini.