Новини
RTX 3060 об'ємом 12 ГБ при постійному навантаженні: 60-68 ток/с до останнього токена
Ми вимірювали швидкість в кожній довгій відповіді, токен за токеном, замість того, щоб усереднювати: 60-68 ток/с з логічними висновками при відповіді з 8192 токенов в контексті 16 тис., 79-96 ток/с без логічних висновків і тільки близько 8% втрат при переході від 1 тис. до 30 тис. запитів. Доступні для скачування всі 145 raw-файлів.
30 жовтня 2026 року ми провели довгу серію вимірювань на нашому експериментальному комп'ютері B2003 з RTX 3060 на 12 ГБ. Результат: при включеному reasoning (за замовчуванням) Qwen3.8-Flash-Next IQ3_S в Strata утримує 60-68 ток/с від першого токена до 8192-го при 16-тисячному запиті, без втрат. Без урахування логічних висновків швидкість передачі даних становить 79-96 tok/s. майже повний контекст обходиться всього в 8%: від 1 тис. до 30 тис. запитів в середньому становить від 88 до 84 tok/s.
У нашій попередній статті повідомлялося про швидкість декодування до 68 ток/с на цій платі. Два питання, які нам найчастіше задають на X, - чи зберігається ця швидкість при довгій відповіді або це тільки розігріваючий пік, і чи зберігається продуктивність у другій половині довгого контексту. Щоб відповісти на них, ми розрахували час для кожного переданого токена замість усереднення по всій відповіді.
Ми перевіряли швидкість з інтервалами в один і той же відповідь, контекст від 1 до 30 тисяч токенов, кешування холодних і теплих запитів, швидку і точну експертну маршрутизацію, три типи контенту (JSON, C-код, Російська Технічна проза), потужність графічного процесора, тактові частоти і температуру, а також коректність самого виведення.
Установка
- Комп'ютер B2003: ASUS Pro Q870I-C, Intel Core Ultra 7 265, 2×24 Гб оперативної пам'яті DDR5-5600.
- Графічний процесор: RTX 3060 12 ГБ (GA106), драйвер 615.71.10, увімкнено розблокування графічного процесора, обмеження потужності 170 Вт.
- Система зберігання даних: Lexar NM1090 PRO NVMe ємністю 2 ТБ (PCIe 5.0 ×4).
- Система: Ubuntu 24.04.5, ядро 7.0.0-38.
- Двигун: Strata 0.1.52 (збірка f-027-rel).
- Модель: Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S (78 ГБ, 2 Фрагменти).
--max-context 32768 --prefill 4096 --pool-workers 12 --spec 4 --spec-min-p 0.5
--kv int8 --kv-resident 32768 --conversation-cache-mib 1536
--resident-experts --resident-budget-gib 24
STRATA_UNBUFFERED_LOAD=1 STRATA_RESIDENT_HEADROOM_GIB=10Методологія
- Сервер не надає доступу до токенів, тому токени були підраховані за часовими мітками потокових блоків SSE (1 блок = 1 токен; перевірте: 5478 блоків проти 5479 токенів у usage.completion_tokens) і прив'язані до точної остаточної кількості токенів. Слова та рядки не використовувались.
- Підказки були відкалібровані за допомогою пробних запитів з використанням max_tokens: 1 (20,2 токена на пропозицію-заповнювач, 145 токенів з фіксованими накладними витратами); фактичний розмір був звірений з usage.prompt_tokens.
- Довжина відповіді склала 32768 за вирахуванням підказки і запасу, що склало 8192 токена; при 30 тис.це 2048 токенов.
- Кожен ключовий сценарій повторювався щонайменше 3 рази; ми наводимо середні, мінімальні та максимальні значення. Шум при декодуванні становить ±20%, а при попередньому заповненні - ±5%; менші відмінності в результатах не враховувалися.
- Кожні 3 секунди записувалася апаратна телеметрія (годинник, потужність, температура, використання, VRAM, вільне ОЗУ, підкачка, лічильники зчитування NVMe). Попереднє заповнення, прийняття проекту Протоколу MTP, звернення до експертного кешу і читання на рівні файлів були отримані з журналу движка.
- Два режими експертної маршрутизації: швидкий (маршрут за замовчуванням, попередня версія 1.5) і точний (STRATA_ROUTE_PRIOR=0). Перемикання режимів здійснювалося шляхом повторного запуску двигуна.
- 4 рядки у файлі precise-mode були створені двигуном fast, оскільки сценарій блокування був переписаний під час виконання. Вони виключені з таблиць і зберігаються в архіві такими, якими вони є.
- Всього: 52 виміряних прогону в 13 файлах JSONL (14 в швидкому режимі, 13 в точному режимі і 25 варіантів: логічні міркування, теплий кеш, код, проза, обмеження контексту, калібрування), плюс 4 виключені рядки.
Результати: швидкість у відповіді
Значення в токенах / з, медіана (мінімальна–максимальна). Контекст - це розмір запиту в токенах; кількість відповідей - до 8192 токенів (2048 при 30 тис.).
Швидкий режим, відключення міркувань
| Контекст | Бігти | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | Хвоста | Повна відповідь |
|---|---|---|---|---|---|---|---|---|---|
| 983–1516 | 3 | 86 (56–86) | 87 (87–88) | 86 (85–88) | 88 (88–90) | — | — | 92 | 88 (55–89) |
| 7865 | 2 | 84 (81–87) | 96 (93–99) | 94 | 95 (94–96) | — | — | 94 | 93 (93–94) |
| 15816 | 3 | 79 (77–88) | 86 (86–96) | 90 (90–96) | 92 (90–98) | 93 (93–96) | 93 (92–96) | 95 | 91 (90–96) |
| 23917 | 3 | 81 (77–85) | 86 (83–91) | 83 (81–92) | 90 (80–90) | 96 | — | 83 | 86 (80–92) |
| 30153 | 3 | 78 (77–78) | 86 (86–87) | 86 (85–88) | — | — | — | 86 | 84 (84–85) |
Швидкий режим, міркування включені (поведінка за замовчуванням)
| Контекст | Бігти | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | Хвоста | Повна відповідь |
|---|---|---|---|---|---|---|---|---|---|
| 15854 | 1 | 61 | 68 | 61 | 59 | 58 | 60 | 85 | 60 |
| 30191 | 1 | 66 | 56 | 65 | — | — | — | 96 | 63 |
Точний режим, міркування вимкнені
| Контекст | Бігти | 0–0.5K | 0.5K–1K | 1K–2K | 2K–4K | 4K–6K | 6K–8K | Хвоста | Повна відповідь |
|---|---|---|---|---|---|---|---|---|---|
| 1011 | 2 | 27 (26–29) | 28 (26–29) | 27 (26–28) | 25 (24–26) | 25 (24–25) | 23 | 26 | 25 (25–26) |
| 7893 | 2 | 29 (29–30) | 30 (29–31) | 28 (24–31) | 27 (22–31) | 26 (21–31) | 27 | 24 | 26 (23–30) |
| 15814 | 3 | 29 (26–32) | 27 (25–32) | 26 (22–28) | 23 (20–24) | 23 (20–23) | 22 | 21 | 24 (21–24) |
| 23915 | 3 | 31 (30–32) | 32 (31–34) | 29 (26–31) | 25 (25–28) | 24 | — | 24 | 26 (26–29) |
| 30151 | 3 | 32 (28–32) | 32 (30–33) | 29 (29–30) | — | — | — | 29 | 30 |
У швидкому режимі швидкість залишається незмінною або збільшується до кінця відповіді (16 кбіт/сек: 79 → 93, заключна частина 95). Уповільнення до кінця з'являється тільки в точному режимі: 29 → 22 протягом 8000 токенов (-24%). Точний режим з включеними міркуваннями на швидкості 16 Кбіт/сек дає 25 ток/с для всієї відповіді. Швидка маршрутизація в 3,8 рази швидше, ніж точна.
Тип контенту (швидкий режим, контекст 16K)
| Завдання | Відповідь, токени | Повна відповідь, токени / сек. | Приймаються чернетки MTP |
|---|---|---|---|
| Масив записів у форматі JSON | 8192 | 91 (90–96) | 92% (90–98%) |
| Код на C | 7332 | 59 | 74% |
| Російська Технічна проза | 4730 | 40 (40–43) | 38% (1327/3485) |
Відмінності в кілька разів більше, ніж шум при декодуванні: передбачувана структура прискорює генерацію в 2–2.3×, вільна проза уповільнює її. Це властивість контенту, а не уповільнення з часом.
Попереднє заповнення, час до першого токена і кешування запитів
| Випадок | Підказка, токени | Попереднє заповнення в режимі очікування, токени / з | Холодний час очікування | Теплий час очікування | Повторно використовувані токени |
|---|---|---|---|---|---|
| 1K | 983–1516 | 293 | 3.4–3.8 s | — | 0 |
| 8K | 7865 | 865 | 9.1–9.2 s | — | 0 |
| 16K | 15816 | 908 | 17.3–17.6 s | 0.2 s | 15 803 |
| 24K | 23917 | 914 | 25.4–26.3 s | — | 0 |
| 30K | 30153 | 892 | 33.6–34.5 s | 0.4 s | 30 141 |
Кеш" теплих " підказок видаляє майже всі попередні дані (17,4 сек → 0,2 сек при 16 кбайт, 33,6 сек → 0,4 сек при 30K) і не змінює швидкість декодування. Кількість звернень до експертного кешу склала 98,7–98,8% в швидкому режимі; швидкість читання по протоколу NVMe становила 1,1-3,3 ГБ/сек при завантаженні експертів і майже дорівнює нулю при постійному декодуванні в форматі JSON.
При запиті, що складається з 30 151 токена і обмеженому 32 768 відповідями, обробник сам скорочує бюджет відповідей і завершує роботу за допомогою stop або length без помилки. Тільки запит, який сам по собі не підходить, повертає помилку 400.
Апаратне забезпечення під час виконання
| Блок | Сила | Температура | Годинник SM | Відеопам'ять | Міняти | Показання NVMe |
|---|---|---|---|---|---|---|
| Швидкий режим | 162–169 W (max 170.2) | 74–76 °C | 1815–1875 MHz | 11 409–11 423 MiB | 0 | 0.2–4.7 GB/s (6.6) |
| Точний режим | 88–105 W (max 167) | 62–71 °C | 1965–1972 MHz | 11 425 MiB | 0 | 1.6–2.3 GB/s (6.1) |
Діапазони по вимірюваним блокам; пікові значення вказані в дужках. Швидкий режим обмежений потужністю графічного процесора: при максимальній потужності в 170 Вт частота падає з 2160 МГц до 1815-1875 МГц при температурі 75 °C, без регулювання температури, при використанні 11,4 з 12,3 гігабайт відеопам'яті і без заміни. У точному режимі графічний процесор споживає приблизно половину потужності на максимальних тактових частотах: він не працює, а чекає експертів, через що швидкість падає.
Якість виведення
- Формат JSON не порушується: у всіх 12 запусках, обмежених лімітом, кожен запис залишався дійсним; відкритим залишався лише сам масив.
- Інструкція, що міститься на самому початку запиту, як і раніше виконується на рівні 30 тисяч (правило тегів, що міститься в кінці, 50/50 і 22/22).
- Маркер із середини документа відтворюється при 16K і 24K, але втрачається при 30K в обох режимах.
- Основним недоліком швидкого режиму є повторювані об'єкти в довгих списках (26-28 унікальних кодів з приблизно 190) і один цикл з 122 повторюваних рядків на 30 тис.точний режим при 16K зберігає унікальність 168/168 і 193/193, але при 24K і 30K Він також може зменшитися до 26-33 унікальних кодів за один прогін.
- Код на C в швидкому режимі видав 255 повторюваних рядків з 681, тому завдання з кодом в швидкому режимі не є надійними.
Межі цього експерименту
Одна машина та одна збірка: висновки щодо граничної потужності графічного процесора та ресурсів expert supply стосуються цієї картки з граничною потужністю 170 Вт та 12 гігабайтами відеопам'яті. Режими перемикалися шляхом перезапуску двигуна, тому запуски в одному режимі виконувалися послідовно, а порядок не був повністю випадковим. Точний режим з теплим кешем був запущений один раз, а в точному режимі на 1K і 8K було 2 повтору замість 3.
Що це означає для клієнта Box
- Доступна карта об'ємом 12 ГБ забезпечує швидкість передачі даних 60-68 Кбіт/сек при тривалих відповідях, а не тільки на початку.
- Довгі документи в контексті вимагають невеликої швидкості, а на повторюваний контекст відповідь приходить майже миттєво завдяки кешу запитів.
- Режим вибирається залежно від завдання: швидкий для структурованих даних, точний, коли довгі списки повинні залишатися унікальними; згенерований код потребує перевірки.
Необроблені дані
Доступні для скачування всі 145 файлів цього експерименту: 13 файлів результатів у форматі JSONL, 102 тексту відповідей і обгрунтувань, апаратна телеметрія, логи движка, сценарії, стан системи, оригінал звіту російською мовою і чернетка публікації англійською мовою. Ключі доступу, внутрішні адреси, імена користувачів та внутрішні шляхи були видалені перед публікацією.