Новости
Локальные ИИ-агенты настраивают железо, на котором работают
Ниже частота буста CPU без потери скорости инференса, лимит мощности GPU, который агент сначала счёл неисправимым (+30–35% после исправления), автооптимизация на ноутбуке с RTX 5090 и разблокировка RTX 3060. Что это значит для Box.
Локальную ИИ-систему не обязательно настраивать вручную. В наших экспериментах агент, работающий на локальном железе, сам анализирует это железо, проводит замеры и оставляет только те настройки, которые действительно помогают. Ниже четыре результата за последнюю неделю, от новых к старым.
Ограничение тактовой частоты процессора: та же скорость, меньше тепла
Один из недооценённых приёмов для локального ИИ — ограничить частоты буста CPU и/или GPU. Голосом мы попросили локального ИИ-агента оптимизировать ноутбук, на котором работает наш главный ИИ-мозг. Он снизил частоту CPU с 5,5 ГГц до 4,5 ГГц.
- Скорость инференса LLM на Strata не снизилась совсем.
- Температура процессора снизилась примерно на 10%.
- Энергопотребление процессора значительно снизилось.
- Температуры GPU тоже снизились, хотя частоты GPU не ограничивались.
CPU и GPU делят общий тепловой бюджет, поэтому снижение лишнего буста CPU помогает и GPU. Никто не тратил часы на настройку: агенту просто поручили найти оптимальные лимиты, и он сам провёл эксперименты, пока работа шла над другими задачами.
Самодиагностика: доверяй ИИ, но проверяй
Конфигурация: Strata + Qwen3.8-Next-IQ3_S. Локальный ИИ объявил лимит мощности GPU неисправимым. Мы усомнились в этом выводе, перепроверили его внешне (для этого хватит даже бесплатной версии ChatGPT), исправили лимит и получили +30–35% производительности.
Наше правило: использовать ИИ для самодиагностики, но перепроверять критичные выводы.
Автооптимизация на ноутбуке с RTX 5090
Strata на игровом ноутбуке с RTX 5090 (24 ГБ видеопамяти), модель Qwen3.8-Flash-Next IQ3_S:
- Генерация (decode): 83,6 tok/s
- Генерация в режиме агента: 99,8 tok/s
- Обработка запроса (prefill) 4K: 1 443 tok/s
- Обработка запроса (prefill) 16K: 2 132 tok/s
- Первый токен: 0,28 с
После этого агент самостоятельно оптимизировал ту же машину:
- Генерация на прогретом кэше: 63–110 → 109–118 tok/s
- Пиковая генерация агента: 119,5 → 125,5 tok/s (+5%)
- Оптимизированная конфигурация сохранена, нестабильные настройки откатаны, сервер корректно выключен.
RTX 3060 12 ГБ: разблокировка и первый прирост
На одном из наших экспериментальных компьютеров (небольшой корпус ITX, 48 ГБ ОЗУ, RTX 3060 12 ГБ) мы включили разблокировку NVIDIA. Измеренный прирост: до +78% в вычислениях на GPU и +11% в обработке запроса (prefill) при ИИ-инференсе.
Для сравнения: со следующей работой coldniko над Strata связка RTX 3060 12 ГБ + 48 ГБ ОЗУ выросла с 32 до 60–80 токенов в секунду в устойчивом режиме. Наш Mac Studio M3 Ultra (60 ядер GPU, 256 ГБ ОЗУ, Strata v0.2.6) показал 61,4 tok/s генерации и 734 tok/s обработки запроса на той же модели Qwen3.8-Flash-Next IQ3_S. Полные результаты для этой карты — в отдельной статье.
Что это значит для клиента Box
- Настройки выбираются на основе измерений, а не наугад: агент сравнивает до и после и откатывает то, что не помогает.
- Более низкие температуры и потребляемая мощность при той же скорости означают более тихую работу и меньший износ.
- Критичные выводы агента перепроверяются до того, как по ним действовать.
- Доступное железо продолжает ускоряться только за счёт обновлений ПО.
Локальный ИИ оптимизирует железо, на котором работает локальный ИИ.