Контекст 256K на RTX 3050 8 ГБ у робочій станції з DDR3

11 листопада 2026 року опубліковано результати з робочої станції P3001: Intel Xeon E5-2697 v2 (12 ядер / 24 потоки, лише AVX1), 64 ГБ ECC RAM DDR3 встановленими (системі видно близько 62 ГБ) на 1333 MT/s, NVIDIA RTX 3050 8 ГБ, SSD NVMe і Ubuntu 24.04. Програмне забезпечення — Strata 0.1.55 (збірка з сумісністю AVX) і стиснута модель Qwen3.8-Flash-Next IQ3_S.

Попередня конфігурація 16K: 59 ток/с на реальному тексті

Раніше того самого дня на тій самій машині було опубліковано конфігурацію з контекстом 16K і 8-бітним KV-кешем. KV-кеш — робоча пам’ять моделі для вже оброблених токенів. Цифри з тієї публікації:

У тій самій публікації зазначено 59 ток/с під час генерування реального тексту та 120–132 ток/с prefill. У пізнішій низці сказано, що 59 ток/с отримано завдяки speculative decoding: Strata заздалегідь передбачає кілька наступних токенів і перевіряє їх разом. На реальному тексті прийняття передбачень було високим; на штучному заповнювачі бенчмарку — ні (близько 70% прийняття на синтетичному заповнювачі, згідно з публікацією про 16K). Prefill обмежували DDR3-1333 і AVX1; у тій конфігурації 16K 8 ГБ відеопам’яті обмежували контекст 16K.

Конфігурація 256K

Заявлена мета — контекстне вікно в 256K токенів, тобто ємність приблизно на 262 144 токени в одному запиті. Спочатку ліміт просто підняли до 256K з 8-бітним KV-кешем. За публікацією, Strata тоді намагалася тримати забагато цієї робочої пам’яті в 8 ГБ відеопам’яті GPU, кеш експертів на GPU впав до нуля слотів, після чого сталася помилка cuBLAS. Сервер ще відповідав, але прискорення на GPU працювало неправильно.

Опубліковане рішення: перемкнути KV-кеш з int8 на q4_0 (4-бітне стиснення), при цьому пам’ять на токен знизилася приблизно з 71 КБ до 29,5 КБ; задати –kv-resident 20480, щоб у пам’яті GPU залишалися лише 20 480 позицій KV, а решта даних надходила з оперативної пам’яті; тримати 46,47 ГБ експертів моделі в page-locked пам’яті DDR3; зберегти 498 слотів кешу експертів у пам’яті GPU; обмежити кеш підказок одним активним контрольним знімком. Зазначені підсумкові параметри: –max-context 262144, –kv q4_0, –kv-resident 20480, –prompt-cache 1, –prompt-cache-every 0. У публікації сказано, що після цього Strata успішно запустилася й повідомила max_context: 262144, loaded: true.

Виміряна швидкість

Нижче — вимірювання самого середовища виведення, по одному прогону в рядку: попередні дані, а не середні за повторними прогонами. Prefill — обробка входу до початку відповіді; decode — потокенна генерація; TTFT — очікування до першого токена відповіді.

У публікації зазначено, що збільшення входу приблизно з 6K до 160K токенів знизило prefill лише зі 188 до 173 ток/с, а decode залишився близько 23–26 ток/с. Повторний прогін на 24K токенів із закешованим контекстом скоротив TTFT зі 128,3 секунди до 0,49 секунди. Холодний вхід на 160K токенів займав близько 15,5 хвилини до першого токена відповіді — це пов’язують із вузьким місцем старого Xeon і пам’яті DDR3. Згадується звіт агента про прогін на 200K токенів, але повного числового рядка цього прогону в таблиці немає.

Важливе уточнення в низці: 256K — це налаштований і заявлений ліміт контексту. Детальні вимірювання доходять до 160K, а не до повного 256K. Повне вікно 262K на момент публікацій ще не вимірювали. У відповіді оцінка холодного prefill на повному 262K — близько 26 хвилин, і сказано, що це ще потрібно виміряти. Показник 59 ток/с для навантажень із контекстом 256K не встановлений. Prefill у новій конфігурації був вищим, ніж у попередній 16K; у низці це розглядається як спостережувана різниця між конфігураціями, а не як доказ однієї причини, бо змінилися також формат KV і розкладка пам’яті.

Обмеження та оцінка витрат енергії

Обмеження, перелічені в низці: пам’ять GPU майже заповнена, використано близько 7,5–7,7 ГБ із 8 ГБ, у частині прогонів попередження, що вільно залишилося лише 193–331 МБ; оперативна пам’ять близько 53 ГБ із 62 ГБ, з них близько 46,5 ГБ зайняті експертами моделі, зафіксованими в пам’яті; лише один теплий контрольний знімок кешу підказок, тому зміна дуже великих розмов може потребувати повторної обробки входу (один знімок на 200K токенів може зайняти приблизно 4,7 ГБ); довгі холодні підказки повільні.

Груба оцінка енергії для prefill на 160K: 300 Вт × 15,5 хвилини ≈ 0,078 кВт·год. За 0,25 €/кВт·год це близько 0,02 € за електрику. У публікації це позначено як оцінка, а не виміряний енергетичний бенчмарк.

Практичний висновок низки: недорогий локальний ШІ не призначений конкурувати з хмарними моделями на довгих, вимогливих сесіях, де хмарні сервіси часто швидші й економічніші. Головна перевага таких старих недорогих комп’ютерів — конфіденційність: обробка чутливих документів локально. Для багатьох таких завдань достатньо невеликого контекстного вікна. Опублікований результат у тому, що RTX 3050 8 ГБ може запускати локальну модель із конфігурацією 256K, не переносячи всю робочу пам’ять у відеопам’ять. Потрібні подальші вимірювання — включно з повним діапазоном контексту, повторюваністю та якістю на завданнях.

Результати вимірювань і журнали опубліковано у відкритому репозиторії.

Репозиторій проєкту на GitHub · Допис в X · Результати 16K · Всі новини