Новости
Релизы Strata на наших машинах: агент обновляет, измеряет и оптимизирует
Наш агент замечает новые релизы Strata от coldniko, обновляет машины и заново проводит бенчмарки: генерация до 2,4× быстрее на 16K в системе с Tesla P100, +46% слотов экспертов в системе с Radeon, оптимальность Mac Studio подтверждена, и DeepSeek V4.1-Flash работает локально.
Strata — локальный движок ИИ-инференса, который разрабатывает coldniko. С середины октября мы следим за его релизами на нескольких своих машинах. На всех компьютерах одна и та же модель, Qwen3.8-Flash-Next IQ3_S, поэтому результаты сопоставимы. Машины названы по уровню железа:
- P1005: Intel Xeon E5-2690 v4, NVIDIA Tesla P100 16 ГБ HBM2, 32 ГБ DDR4, NVMe около 2,5 ГБ/с, CUDA 12.
- P2002: Intel Core Ultra 7 270K Plus, AMD Radeon RDNA4 (gfx1201) 16 ГБ, 64 ГБ DDR5, NVMe RAID 0, ROCm / HIP.
- Mac Studio: Apple M3 Ultra, Metal.
Агент сам замечает новый релиз Strata, скачивает его, проводит замеры и по запросу оптимизирует конфигурацию. Вся оптимизация идёт локально, на той же модели Qwen3.8-Flash-Next IQ3_S на последней версии Strata.
P1005 (Tesla P100): от нехватки данных к упору в вычисления
Эксперты модели в сумме занимают 46,8 ГиБ — слишком много для ОЗУ, а карта на 16 ГБ была забита настолько, что движок предупреждал о падении генерации до нескольких токенов в секунду. Следуя документации репозитория Strata, агент изменил четыре вещи:
--vram-reserve-mib 960 (was 700)
--max-context 65536 (was 262144)
STRATA_Q8_SM60=0
--resident-experts
STRATA_DENSE_F32=1Результат: загрузка GPU выросла с 27% до 92% (155–170 Вт). Обработка запроса стала до 4,4× быстрее; генерация +40% на 8K и в 2,4× на 16K.
| Контекст | До (обработка запроса / генерация, tok/s) | После (обработка запроса / генерация, tok/s) |
|---|---|---|
| 512 | 47.7 / 13.4 | 54.5 / 14.3 |
| 2K | 62.6 / 10.3 | 74.5 / 13.9 |
| 8K | 46.4 / 9.9 | 178.1 / 14.3 |
| 16K | 43.8 / 6.2 | 193.9 / 15.1 |
| 32K | 44.1 / 6.0 | 213.8 / 12.6 |
Значения — токены в секунду: обработка запроса / генерация. Цена: 24 ГиБ ОЗУ теперь закреплены (page-locked) под экспертов, поэтому ничего крупного на этой машине больше запускать не стоит, а предел контекста — 65K вместо 262K. Всё сохраняется после перезагрузок.
P2002 (Radeon RDNA4): настройка на лету, затем короткий перезапуск
Сначала — настройка на лету, без перезапуска движка. Режим CPU governor «performance» и более долгий страничный кэш для экспертов оставлены; фиксированные частоты GPU снизили обработку запроса примерно на 10% и были отклонены; увеличенный read-ahead ничего не дал. Генерация на 2K и 8K улучшилась на 10–18%.
Затем, с перезапуском примерно на 40 секунд (резервная цепочка удержала сессию без видимого перерыва), агент поднял резерв VRAM с 700 до 960 МиБ и включил --kv-grow, сохранив полный контекст 262K. Слотов экспертов стало 3686 вместо 2518 (+46%), доля попаданий в кэш экспертов выросла с 74% до 87%, предупреждения о подкачке исчезли. Ещё агент добавил watchdog, чтобы движок перезапускался сам.
| Контекст | До (обработка запроса / генерация, tok/s) | После (обработка запроса / генерация, tok/s) |
|---|---|---|
| 512 | 547 / 63.6 | 602 / 57.5–64 |
| 2K | 1228 / 60–71 | 1275–1303 / 66–74 |
| 8K | 2085 / 59–69 | 1723–2144 / 79–82 |
| 16K | 2180 / 72.7 | 1988–2169 / 76–78 |
| 32K | 2056 / 72.9 | 2023–2096 / 76–77 |
Стандартный набор: генерация в чате 74,3 tok/s (было 71,9), первый токен 0,39 с (было 0,46), генерация агента 66,7 tok/s (было 59,2). Агент честно отметил, что первые цифры сразу после перезапуска примерно на 25% ниже, потому что кэш экспертов ещё холодный.
Mac Studio (M3 Ultra): настройки по умолчанию уже были оптимальны
Агент шесть раз перезапускал движок для чистых A/B-прогонов и эмпирически доказал, что конфигурация по умолчанию уже лучшая. Опции KV не влияли на единую память; большой закреплённый кэш экспертов навредил (генерация упала примерно до 32 tok/s) и был откатан. Обработка запроса около 790 tok/s — предел пропускной способности железа, а не конфигурации. Итоговый набор: генерация в чате 69,1 tok/s, первый токен 0,48 с. Все тупиковые варианты задокументированы, чтобы их никто не повторял.
Новые релизы и замеры
- Strata 0.2.0 с интерфейсом: Strata и локальный ИИ теперь можно установить без командной строки, а значит, они доступны гораздо более широкой аудитории.
- v0.2.2: три компьютера обновлены с v0.2.1.
- v0.2.3 → v0.2.3.1 на Mac Studio: генерация 61,3 → 66,4 tok/s (+8%), обработка запроса 729,9 → 738,9 tok/s (+1%), без регрессий и без повторного скачивания файлов модели.
- v0.2.6 и v0.2.7: каждый релиз пока приносил очередной прирост производительности. Для v0.2.7 агент подготовил краткое изложение заметок к релизу и ничего не устанавливал без одобрения.
DeepSeek V4.1-Flash локально
DeepSeek V4.1-Flash, большая MoE-модель, теперь работает локально на Strata: «горячие» эксперты держатся в ОЗУ, остальное подгружается потоком с SSD. Мы намерили 14 tok/s генерации. На нашем текущем железе этого мало для главного мозга агента, но как модель для второго мнения и ночной аудитор она работает хорошо.
Что это значит для клиента Box
- Обновления движка агент замечает, применяет и измеряет; изменения — только после одобрения.
- Для каждого уровня железа — своя измеренная конфигурация, неудачные варианты задокументированы.
- Одна и та же модель на разных аппаратных средствах дает четкую основу для выбора конфигурации.