Новини
Автономний цикл Strata: RTX 3060 проти Mac Studio M3, перші результати
Одна модель (Qwen3.8-Flash-Next IQ3_S), ті самі файли й одна версія Strata на двох дуже різних конфігураціях. Дані за останні 12 годин.
Конфігурація
- ПК для експериментів: RTX 3060 з 12 ГБ VRAM і 24 ГБ одноканальної RAM; гранично обмежена пам’ять і агресивні налаштування запуску. Працює 24/7.
- Hermes (комп’ютер P2005): 24 ГБ VRAM і 64 ГБ RAM. Аналізує результати, перевіряє роботу, вносить покращення.
- Mac Studio M3: 256 ГБ об’єднаної пам’яті; модель повністю вміщується в пам’ять. Паралельні прогони для порівняння.
- Однакові файли моделі, версія моделі та версія Strata на всіх системах; однакові задачі й відповідні повтори.
Що вимірюється
- Корисність на реальних задачах за обмеженого заліза.
- Деградація за великих контекстних вікон.
- Якість відповідей на різному залізі.
- Чи може модель сама покращувати свою роботу: знаходити помилки, виправляти й запобігати їм у безперервному циклі.
Швидкість за останні 12 годин
| Показник | RTX 3060 | Mac Studio M3 |
|---|---|---|
| Записи в логах | 3392 | 4012 |
| Унікальні повтори задач | 2387 | 2497 |
| Середній вивід на задачу, токенів | 235 | 228 |
| Середня тривалість задачі, с | 8.4 | 4.3 |
| Сукупна швидкість генерації, ток/с | 28 | 53.4 |
| Медіанна швидкість генерації, ток/с | 19 | 45 |
| ID задачі | RTX 3060, tok/s | Mac Studio M3, tok/s |
|---|---|---|
| A-me-00-0 | 44 | 69 |
| D-ea-00-0 | 5 | 18 |
| F-ha-01-0 | 18 | 45 |
| F-ha-02-0 | 19 | 39 |
| G-me-04 | 9 | 16 |
| H-ha-04-0 | 20 | 48 |
| J-ha-01-0 | 44 | 67 |
| K-ha-04-0 | 9 | 32 |
Сукупна швидкість генерації на Mac Studio приблизно в 1,9 раза вища. Чиста модель на ПК для експериментів дає близько 60 ток/с. Hermes генерує швидше, але має інше навантаження, тому пряме порівняння було б некоректним.
Якість відповідей: v1.8 і v1.9
| Показник | RTX 3060 v1.8 | Mac Studio v1.8 | RTX 3060 v1.9 | Mac Studio v1.9 |
|---|---|---|---|---|
| Середня оцінка | 0.882 | 0.876 | 0.938 | 0.944 |
| Ідеальні відповіді, % | 68.9 | 65.2 | 79.6 | 77.9 |
| Відповідність формату, % | 89.2 | 92.0 | 97.7 | 99.8 |
| Різниця Mac − RTX | −0.006 | +0.006 | ||
Якість практично рівна; за швидкістю виграє Mac. Від v1.8 до v1.9 середня оцінка зросла на 6,3% на RTX 3060 і на 7,8% на Mac Studio; частка ідеальних відповідей теж зросла. Відмінності за категоріями ще аналізуються.
Поведінка агента
Без вказівки в промптах агент почав оцінювати вартість своїх покращень у токенах, а в деяких версіях — оптимізувати процеси, щоб скоротити зайву витрату токенів.
Далі
Зібрано: 13 000 прогонів, 16 000 файлів, 1 000 файлів логів. Створюється демо аналітичної системи для глибшого аналізу результатів цього експерименту.