Новости
Автономный цикл Strata: RTX 3060 против Mac Studio M3, первые результаты
Одна модель (Qwen3.8-Flash-Next IQ3_S), одни и те же файлы и одна версия Strata на двух очень разных конфигурациях. Данные за последние 12 часов.
Конфигурация
- ПК для экспериментов: RTX 3060 с 12 ГБ VRAM и 24 ГБ одноканальной RAM; предельно ограниченная память и агрессивные настройки запуска. Работает 24/7.
- Hermes (компьютер P2005): 24 ГБ VRAM и 64 ГБ RAM. Анализирует результаты, проверяет работу, вносит улучшения.
- Mac Studio M3: 256 ГБ объединённой памяти; модель целиком помещается в память. Параллельные прогоны для сравнения.
- Одинаковые файлы модели, версия модели и версия Strata на всех системах; одинаковые задачи и совпадающие повторы.
Что измеряется
- Полезность на реальных задачах при ограниченном железе.
- Деградация при больших контекстных окнах.
- Качество ответов на разном железе.
- Может ли модель сама улучшать свою работу: находить ошибки, исправлять и предотвращать их в непрерывном цикле.
Скорость за последние 12 часов
| Показатель | RTX 3060 | Mac Studio M3 |
|---|---|---|
| Записи в логах | 3392 | 4012 |
| Уникальные повторы задач | 2387 | 2497 |
| Средний вывод на задачу, токенов | 235 | 228 |
| Средняя длительность задачи, с | 8.4 | 4.3 |
| Совокупная скорость генерации, ток/с | 28 | 53.4 |
| Медианная скорость генерации, ток/с | 19 | 45 |
| ID задачи | RTX 3060, tok/s | Mac Studio M3, tok/s |
|---|---|---|
| A-me-00-0 | 44 | 69 |
| D-ea-00-0 | 5 | 18 |
| F-ha-01-0 | 18 | 45 |
| F-ha-02-0 | 19 | 39 |
| G-me-04 | 9 | 16 |
| H-ha-04-0 | 20 | 48 |
| J-ha-01-0 | 44 | 67 |
| K-ha-04-0 | 9 | 32 |
Совокупная скорость генерации на Mac Studio примерно в 1,9 раза выше. Чистая модель на ПК для экспериментов даёт около 60 ток/с. Hermes генерирует быстрее, но у него другая нагрузка, поэтому прямое сравнение было бы некорректным.
Качество ответов: v1.8 и v1.9
| Показатель | RTX 3060 v1.8 | Mac Studio v1.8 | RTX 3060 v1.9 | Mac Studio v1.9 |
|---|---|---|---|---|
| Средняя оценка | 0.882 | 0.876 | 0.938 | 0.944 |
| Идеальные ответы, % | 68.9 | 65.2 | 79.6 | 77.9 |
| Соответствие формату, % | 89.2 | 92.0 | 97.7 | 99.8 |
| Разница Mac − RTX | −0.006 | +0.006 | ||
Качество практически равное; по скорости выигрывает Mac. С v1.8 до v1.9 средняя оценка выросла на 6,3% на RTX 3060 и на 7,8% на Mac Studio; доля идеальных ответов тоже выросла. Различия по категориям ещё анализируются.
Поведение агента
Без указания в промптах агент начал оценивать стоимость своих улучшений в токенах, а в некоторых версиях — оптимизировать процессы, чтобы сократить лишний расход токенов.
Дальше
Собрано: 13 000 прогонов, 16 000 файлов, 1 000 файлов логов. Создаётся демо аналитической системы для более глубокого анализа результатов этого эксперимента.