Контекст 256K на RTX 3050 8 ГБ в рабочей станции с DDR3

11 ноября 2026 года опубликованы результаты с рабочей станции P3001: Intel Xeon E5-2697 v2 (12 ядер / 24 потока, только AVX1), 64 ГБ ECC RAM DDR3 установленными (системе видно около 62 ГБ) на 1333 MT/s, NVIDIA RTX 3050 8 ГБ, SSD NVMe и Ubuntu 24.04. Программное обеспечение — Strata 0.1.55 (сборка с совместимостью AVX) и сжатая модель Qwen3.8-Flash-Next IQ3_S.

Предыдущая конфигурация 16K: 59 ток/с на реальном тексте

Ранее в тот же день на той же машине была опубликована конфигурация с контекстом 16K и 8-битным KV-кэшем. KV-кэш — рабочая память модели для уже обработанных токенов. Цифры из той публикации:

В той же публикации указаны 59 ток/с при генерации реального текста и 120–132 ток/с prefill. В более поздней цепочке сказано, что 59 ток/с получены за счёт speculative decoding: Strata заранее предсказывает несколько следующих токенов и проверяет их вместе. На реальном тексте принятие предсказаний было высоким; на искусственном заполнителе бенчмарка — нет (около 70% принятия на синтетическом заполнителе, согласно публикации о 16K). Prefill ограничивали DDR3-1333 и AVX1; в той конфигурации 16K 8 ГБ видеопамяти ограничивали контекст 16K.

Конфигурация 256K

Заявленная цель — контекстное окно в 256K токенов, то есть ёмкость примерно на 262 144 токена в одном запросе. Сначала лимит просто подняли до 256K с 8-битным KV-кэшем. По публикации, Strata тогда пыталась держать слишком много этой рабочей памяти в 8 ГБ видеопамяти GPU, кэш экспертов на GPU упал до нуля слотов, после чего произошла ошибка cuBLAS. Сервер ещё отвечал, но ускорение на GPU работало неправильно.

Опубликованное решение: переключить KV-кэш с int8 на q4_0 (4-битное сжатие), при этом память на токен снизилась примерно с 71 КБ до 29,5 КБ; задать –kv-resident 20480, чтобы в памяти GPU оставались только 20 480 позиций KV, а остальные данные поступали из оперативной памяти; держать 46,47 ГБ экспертов модели в page-locked памяти DDR3; сохранить 498 слотов кэша экспертов в памяти GPU; ограничить кэш подсказок одним активным контрольным снимком. Указанные итоговые параметры: –max-context 262144, –kv q4_0, –kv-resident 20480, –prompt-cache 1, –prompt-cache-every 0. В публикации сказано, что после этого Strata успешно запустилась и сообщила max_context: 262144, loaded: true.

Измеренная скорость

Ниже — измерения самой среды вывода, по одному прогону в строке: предварительные данные, а не средние по повторным прогонам. Prefill — обработка входа до начала ответа; decode — потокенная генерация; TTFT — ожидание до первого токена ответа.

В публикации отмечено, что увеличение входа примерно с 6K до 160K токенов снизило prefill лишь со 188 до 173 ток/с, а decode остался около 23–26 ток/с. Повторный прогон на 24K токенов с закэшированным контекстом сократил TTFT со 128,3 секунды до 0,49 секунды. Холодный вход на 160K токенов занимал около 15,5 минуты до первого токена ответа — это связывают с узким местом старого Xeon и памяти DDR3. Упоминается отчёт агента о прогоне на 200K токенов, но полной числовой строки этого прогона в таблице нет.

Важное уточнение в цепочке: 256K — это настроенный и заявленный лимит контекста. Подробные измерения доходят до 160K, а не до полного 256K. Полное окно 262K на момент публикаций ещё не измеряли. В ответе оценка холодного prefill на полном 262K — около 26 минут, и сказано, что это ещё нужно измерить. Показатель 59 ток/с для нагрузок с контекстом 256K не установлен. Prefill в новой конфигурации был выше, чем в предыдущей 16K; в цепочке это рассматривается как наблюдаемая разница между конфигурациями, а не как доказательство одной причины, потому что изменились также формат KV и раскладка памяти.

Ограничения и оценка расхода энергии

Ограничения, перечисленные в цепочке: память GPU почти заполнена, использовано около 7,5–7,7 ГБ из 8 ГБ, в части прогонов предупреждение, что свободно осталось только 193–331 МБ; оперативная память около 53 ГБ из 62 ГБ, из них около 46,5 ГБ заняты экспертами модели, зафиксированными в памяти; только один тёплый контрольный снимок кэша подсказок, поэтому смена очень больших разговоров может потребовать повторной обработки входа (один снимок на 200K токенов может занять примерно 4,7 ГБ); длинные холодные подсказки медленные.

Грубая оценка энергии для prefill на 160K: 300 Вт × 15,5 минуты ≈ 0,078 кВт·ч. При 0,25 €/кВт·ч это около 0,02 € за электричество. В публикации это помечено как оценка, а не измеренный энергетический бенчмарк.

Практический вывод цепочки: недорогой локальный ИИ не предназначен конкурировать с облачными моделями на длинных, требовательных сессиях, где облачные сервисы часто быстрее и экономичнее. Главное преимущество таких старых недорогих компьютеров — конфиденциальность: обработка чувствительных документов локально. Для многих таких задач достаточно небольшого контекстного окна. Опубликованный результат в том, что RTX 3050 8 ГБ может запускать локальную модель с конфигурацией 256K, не перенося всю рабочую память в видеопамять. Нужны дальнейшие измерения — включая полный диапазон контекста, повторяемость и качество на задачах.

Результаты измерений и журналы опубликованы в открытом репозитории.

Репозиторий проекта на GitHub · Пост в X · Результаты 16K · Все новости