CLARYEL CLARYEL Box
Запросить конфигурацию

Новости

Наша экспериментальная конфигурация: модель на ~83,6 ГБ локально на бюджетной RTX 3060

Qwen3.8-Flash-Next IQ3_S на RTX 3060 12 ГБ всего с 48 ГБ системной памяти. Без облачного инференса. Только доступное потребительское оборудование.

Локальный инференс ИИ на Strata: 68 токенов в секунду на RTX 3060 12 ГБ с 48 ГБ DDR5

Это невероятно!

Qwen3.8-Flash-Next IQ3_S (~83,6 ГБ) работает локально на бюджетной RTX 3060 12 ГБ всего с 48 ГБ системной памяти!

До 68 токенов/с при генерации, ~916 токенов/с при обработке промпта, а промпт на 30 тыс. токенов обрабатывается всего за 34 секунды.

Работает на Strata от coldniko. Без облачного инференса. Только доступное потребительское оборудование!

Полные замеры, характеристики оборудования, оптимизации и компромиссы — ниже.

Главные выводы можно сразу прочитать в последнем разделе.

Оборудование, на котором получены эти результаты

Ни GPU для дата-центра, ни дорогого сервера с несколькими GPU, ни огромного объёма оперативной памяти.

Весь эксперимент проводился на вполне обычном потребительском ПК / рабочей станции.

Компактный ПК, на котором проводился эксперимент

CPU

Материнская плата

Память

GPU

Накопитель

OS

Сеть

Ключевая деталь: модель намного больше, чем доступные VRAM и ОЗУ вместе взятые.

Именно это и делает эксперимент интересным.

Модель, движок и архитектура памяти

Модель

Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S

Два шарда GGUF:

Дополнительные компоненты

Движок инференса

Фактическое распределение памяти

Важные параметры конфигурации

--expert-cache auto
--prefill 4096
--spec 4
--spec-min-p 0.5
--mtp mtp/rt
--max-context 32768
--kv int8
--kv-grow
--kv-resident 32768
--vision
--vram-reserve-mib 960
--pool-workers 12
--conversation-cache-mib 1536
--prompt-cache-tail
--prompt-cache-spread
--resident-experts
--resident-budget-gib 24

Это не привычная схема «загрузить всю модель в память GPU».

Strata использует вместе память GPU, системную память, кэширование экспертов и NVMe-накопитель.

Главная оптимизация — свести к минимуму дорогие передачи экспертов и при этом держать GPU загруженным полезной работой.

Реальные результаты замеров

Та же модель, то же оборудование, две конфигурации маршрутизации.

Режим A: быстрая маршрутизация экспертов с приоритетом уже загруженных (prior = 1.5)

КонтекстPrefillХолодная генерацияТёплая генерация
1K285 tok/s42 tok/s61 tok/s
4K804 tok/s50 tok/s65 tok/s
8K819 tok/s61 tok/s68 tok/s
16K916 tok/s60 tok/s68 tok/s
30K890 tok/s58 tok/s61 tok/s

Время до первого токена (холодный старт):

Для сравнения: режим B отключает маршрутизацию с приоритетом загруженных экспертов (prior = 0):

КонтекстPrefillХолодная генерацияТёплая генерация
1K282 tok/s24 tok/s27 tok/s
4K781 tok/s29 tok/s26 tok/s
8K789 tok/s30 tok/s32 tok/s
16K889 tok/s30 tok/s29 tok/s
30K878 tok/s26 tok/s27 tok/s

Генерация 500 токенов:

Замеры скорости перепроверены по таймингам потоковой передачи на стороне клиента.

Главное наблюдение:

Отключение маршрутизации с учётом кэша может снизить скорость генерации примерно в 2–2,4 раза.

Но есть важная причина не оставлять агрессивную маршрутизацию включённой для любой нагрузки. Об этом — в следующем разделе.

Скорость против качества модели: скрытый компромисс

В этой версии движка Strata GPU с VRAM ≤13 ГБ автоматически используют маршрутизацию с приоритетом загруженных экспертов:

STRATA_ROUTE_PRIOR=1.5

Так предпочтение отдаётся экспертам, которые уже есть в быстрой памяти, вместо того чтобы всегда выбирать экспертов, которых предпочёл бы исходный маршрутизатор.

Выигрыш огромный:

Но эта оптимизация НЕ бесплатна.

Изменение выбора экспертов может менять поведение модели, увеличивать расхождение с исходной моделью и влиять на длинные рассуждения и агентные сценарии.

По оценке разработчика на 10 агентных задачах:

Сами базовые результаты различались от запуска к запуску, поэтому это ориентировочный результат, а не окончательная оценка качества.

Мои собственные шесть коротких агентных проверок прошли в обоих режимах.

Однако отдельная нагрузочная проверка на уникальность выявила повторы:

Вывод простой:

И одну лишь скорость в бенчмарке никогда нельзя путать с качеством модели.

Кэширование промптов меняет всё

Одним из самых впечатляющих результатов оказалась не скорость генерации, а время ответа на повторные запросы с тем же промптом.

С полностью закэшированным промптом:

КонтекстTTFT, холодныйTTFT, из кэша
1K3.7 s0.08 s
4K4.9 s0.08 s
8K9.7 s0.27 s
16K17.3 s0.34 s
30K33.9 s0.44 s

Это примерно в 45–90 раз меньше времени до первого токена в этих прогонах.

Кэш промптов даёт огромную разницу, когда вы многократно обращаетесь к одному и тому же длинному документу или ведёте разговор со стабильным контекстом.

Движок также настроен на кэширование разговоров:

Есть оговорка: эти результаты — для идентичных промптов с полностью переиспользуемым кэшем.

Это не значит, что произвольный новый промпт на 30 тыс. токенов обработается за полсекунды.

Но для интерактивного локального ИИ тёплый кэш меняет правила игры.

Загадка SSD: узкое место — не PCIe 5.0

Сначала NVMe-накопитель показался подозрительно медленным. Мы изучили линк PCIe, топологию хранилища и реальное поведение ввода-вывода.

Накопитель: Lexar NM1090 PRO 2 ТБ, PCIe 5.0 ×4.

Проверенное подключение PCIe:

Значит, накопитель работает на полной скорости линка PCIe 5.0.

Замеры прямого чтения без кэша:

Особенно важен параллельный результат 10,94 ГБ/с: он превышает практическую пропускную способность PCIe 4.0 ×4.

Почему в один поток скорость намного ниже?

Потому что пропускная способность PCIe — не то же самое, что пропускная способность на уровне приложения.

Значение имеют глубина очереди, размер операций ввода-вывода, параллельность запросов и задержка.

Схема загрузки экспертов в Strata гораздо ближе к случаю с низкой параллельностью, чем к синтетическому бенчмарку на максимальную пропускную способность.

Наблюдаемая скорость чтения с накопителя у движка:

Разница объясняется тем, сколько экспертов приходится подгружать, а не понижением режима PCIe.

Ещё одна полезная деталь: сама RTX 3060 — устройство PCIe 4.0. Падение её линка до Gen1 в простое — нормальное поведение энергосбережения.

Прежде чем диагностировать проблему с PCIe, всегда проверяйте, какое именно устройство вы измеряете.

Важный урок: не позволяйте Linux кэшировать модель на 83,6 ГБ на машине с 48 ГБ

Во время первого запуска мы столкнулись с серьёзной проблемой.

Первая конфигурация допускала буферизованную загрузку файлов модели.

Модель весит ~83,6 ГБ, а в системе всего 48 ГБ физической памяти.

Под такой нагрузкой Linux попал в сильное давление на освобождение памяти. Машина почти перестала отвечать, включая SSH, и потребовалась принудительная перезагрузка.

Решение — изменить стратегию загрузки и ввести защитные ограничения по памяти.

Текущие настройки:

После этих изменений:

Урок:

Запустить модель больше физической памяти возможно, но учёт памяти абсолютно критичен.

Давление на страничный кэш, закреплённые данные модели, резидентные эксперты и KV-кэш нужно рассматривать вместе.

Не копируйте вслепую флаги максимальной производительности с машин, где оперативной памяти намного больше.

Энергопотребление, температуры и стоимость инференса

Ещё один приятный сюрприз.

Измеренная мощность компонентов:

В простое с загруженной моделью:

Во время генерации:

Оценочная общая мощность системы от розетки (не измерялась ваттметром):

Наблюдаемые температуры:

Троттлинга из-за перегрева не наблюдалось.

При условной цене электроэнергии 0,25 €/кВт·ч:

Это делает вполне реальным содержание дома мощного локального ИИ-сервиса, который бережёт приватность.

Конечно, это оценочные расходы на электроэнергию, а не полная стоимость владения. Амортизация оборудования, охлаждение и обслуживание не учтены.

Где конфигурация на RTX 3060 перестаёт быть оправданной

Эта конфигурация отлично подходит для коротких интерактивных запросов, но у неё есть пределы.

Самое важное:

Для сравнения я запустил ту же модель на более мощной локальной системе с GPU на 24 ГБ.

Измеренная производительность на той системе:

Система на RTX 3060 даёт значительно меньшую скорость prefill и примерно вдвое меньшую скорость генерации в сопоставимых случаях, при одной восьмой доступного контекста.

Однако карта на 12 ГБ гораздо доступнее и остаётся впечатляюще полезной.

Мой текущий подход:

Смысл не в том, чтобы делать вид, будто дешёвый GPU заменяет топовую машину.

Смысл в том, сколько полезного локального ИИ уже можно запустить на недорогом оборудовании.

Что ещё можно оптимизировать?

Система уже работает хорошо, но есть несколько интересных направлений для дальнейших экспериментов.

Параллельный инференс

Опция --slots 2 может повысить общую пропускную способность при двух одновременных разговорах.

Для этой нагрузки возможен прирост общей пропускной способности примерно на +10–12%, но это нужно подтвердить.

Это не значит, что отдельный разговор станет на 12% быстрее.

Более крупные пакеты prefill

Сейчас: --prefill 4096

Кандидат: --prefill auto:16384

Более крупные окна prefill могут ускорить обработку длинных промптов, но доступной VRAM уже впритык.

Когда занято примерно 11,14 ГиБ из 12 ГиБ GPU, поведение памяти нужно измерять очень аккуратно.

Больше системной памяти

Опция --ple-io ram могла бы перенести больше данных модели в системную память и сократить чтение с накопителя.

Документация разработчика указывает:

Но такая конфигурация потребовала бы значительно больше ОЗУ — примерно 72+ ГиБ для измеренной схемы размещения.

На текущей конфигурации с 48 ГБ это непрактично.

Спекулятивное декодирование

Спекулятивное декодирование MTP уже включено.

Наблюдаемое принятие: ~33–41 принятый токен из 50–60 предложенных, то есть примерно 65–70%.

Более длинный контекст

Текущий лимит 32K — это эксплуатационное ограничение конфигурации, а не доказательство того, что сама модель поддерживает только 32K.

Чтобы его увеличить, нужно заново проверить объём памяти, поведение KV-кэша, задержку и стабильность.

Для этой нагрузки сокращение дорогих чтений экспертов и улучшение схемы доступа могут значить больше, чем рост максимальной последовательной скорости накопителя.

Как всегда: измеряйте реальную нагрузку, а не только маркетинговые цифры производителей оборудования.

Итоги

Вот что показывает этот эксперимент.

Квантизированная MoE-модель на ~83,6 ГБ может работать локально на:

С измеренными результатами до:

Но есть важные оговорки.

Меня особенно интересует практическая экономика локального ИИ.

Не только максимальный результат бенчмарка на системе за 10 000 €, но и полезная производительность, достижимая на потребительских машинах и доступных конфигурациях примерно от 1000 €.

Приватность, независимость, контролируемые эксплуатационные расходы и реальная польза важнее погони за одними лишь впечатляющими цифрами бенчмарков.

Это всё ещё развивающийся эксперимент, и я продолжу делиться замерами, неудачами, изменениями конфигурации и улучшениями.

Будущее локального ИИ уже становится удивительно доступным.

Дополнения

Ах да, я забыл упомянуть, что GPU работает с NVIDIA Unlock, который вышел всего несколько дней назад, на прошлой неделе.

Я уже попросил своего ИИ-агента прогнать те же бенчмарки без разблокировки, так что примерно через 15–20 минут мы сможем сравнить результаты.

В ближайшие дни, но не сегодня, я установлю этот GPU в систему стоимостью меньше 1000 долларов и посмотрю, как он покажет себя там.

Исходная ветка в X · Все новости