CLARYEL CLARYEL Box
Запитати конфігурацію

Новини

Наша експериментальна конфігурація: модель ~83,6 ГБ, що працює локально на бюджетному RTX 3060

Qwen3.8-Flash-Next IQ3_S на RTX 3060 об'ємом 12 ГБ і всього з 48 ГБ системної оперативної пам'яті. Ніяких хмарних обчислень. Тільки доступне СПОЖИВЧЕ обладнання.

Обчислення за допомогою локального штучного інтелекту Strata: 68 токенів в секунду на RTX 3060 об'ємом 12 ГБ і 48 ГБ оперативної пам'яті DDR5

Це неймовірно!

Qwen3.8-Flash-Next IQ3_S (~83,6 ГБ), що працює локально на бюджетному RTX 3060 об'ємом 12 ГБ і всього з 48 ГБ оперативної пам'яті!

Швидкість декодування до 68 токенов в секунду, обробки запитів ~916 токенов в секунду і обробка запитів обсягом 30 тис.токенов всього за 34 секунди.

Працює на Strata від coldniko. Ніяких хмарних обчислень. Тільки доступне СПОЖИВЧЕ обладнання!

Нижче наведено повні тести, технічні характеристики, варіанти оптимізації та компроміси.

Ви можете перейти безпосередньо до основних висновків у заключному розділі.

Апаратне забезпечення, що стоїть за цими результатами

Немає графічного процесора для центрів обробки даних, дорогого сервера з декількома графічними процесорами та масивної конфігурації оперативної пам'яті.

Весь експеримент проводився на досить звичайному споживчому комп'ютері / робочій станції.

Для експерименту використовувався компактний ПК

CPU

Материнська плата

Пам'ять

GPU

Місце зберігання

OS

Мережа

Важлива деталь: модель набагато більше, ніж доступні відеопам'яті і ОЗУ, разом узяті.

Саме це робить даний експеримент цікавим.

Модель, двигун та архітектура пам'яті

Модель

Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S

Два фрагменти у форматі GGUF:

Додаткові компоненти

Механізм логічного висновку

Фактичний розподіл пам'яті

Важливі параметри конфігурації

--expert-cache auto
--prefill 4096
--spec 4
--spec-min-p 0.5
--mtp mtp/rt
--max-context 32768
--kv int8
--kv-grow
--kv-resident 32768
--vision
--vram-reserve-mib 960
--pool-workers 12
--conversation-cache-mib 1536
--prompt-cache-tail
--prompt-cache-spread
--resident-experts
--resident-budget-gib 24

Це не звичайне Налаштування "завантажити всю модель в пам'ять графічного процесора".

Strata використовує пам'ять графічного процесора, системну оперативну пам'ять, експертне кешування та сховище NVMe разом.

Важлива оптимізація полягає в мінімізації дорогих експертних передач при збереженні продуктивності графічного процесора.

Реальні результати тестування

Та сама модель, те саме обладнання, дві конфігурації маршрутизації.

Режим А: швидкий відбір експертів з урахуванням місця проживання (попереднє значення = 1,5)

КонтекстПопереднє заповненняХолодне декодуванняТепле декодування
1K285 tok/s42 tok/s61 tok/s
4K804 tok/s50 tok/s65 tok/s
8K819 tok/s61 tok/s68 tok/s
16K916 tok/s60 tok/s68 tok/s
30K890 tok/s58 tok/s61 tok/s

Час очікування першого токена:

Для порівняння, режим B вимикає маршрутизацію, прив'язану до місця проживання (попереднє значення = 0):

КонтекстПопереднє заповненняХолодне декодуванняТепле декодування
1K282 tok/s24 tok/s27 tok/s
4K781 tok/s29 tok/s26 tok/s
8K789 tok/s30 tok/s32 tok/s
16K889 tok/s30 tok/s29 tok/s
30K878 tok/s26 tok/s27 tok/s

Запуск генерації 500 токенів:

Вимірювання швидкості були узгоджені з таймингами потокової передачі на стороні клієнта.

Основне спостереження:

Відключення маршрутизації з прив'язкою до кешу може знизити швидкість декодування приблизно в 2-2,4 рази.

Але є важлива причина не залишати агресивну маршрутизацію включеною для кожного робочого навантаження. Детальніше про це в наступному розділі.

Швидкість і якість моделі: прихований компроміс

У цій версії Strata engine графічні процесори з об'ємом відеопам'яті ≤13 ГБ автоматично використовують маршрутизацію з прив'язкою до місця призначення:

STRATA_ROUTE_PRIOR=1.5

Це дозволяє використовувати експертів, які вже доступні у швидкій пам'яті, замість того, щоб завжди вибирати експертів, яким би віддав перевагу оригінальний маршрутизатор.

Перевага є суттєвою:

Але це не безкоштовна оптимізація.

Зміна вибору експерта може змінити поведінку моделі, збільшити розбіжність з початковою моделлю та вплинути на тривалі міркування чи робочі процеси агента.

Згідно з оцінкою розробника для 10 завдань агента:

Самі початкові результати варіювалися в залежності від прогону, так що це орієнтовний результат, а не остаточний показник якості.

Мої власні шість коротких перевірок агента пройшли в обох режимах.

Однак окремий пробіг з акцентом на унікальність виявив повторення:

Висновок очевидний:

Швидкість тестування ніколи не слід плутати з якістю моделі.

Оперативне кешування змінює все

Одним з найбільш вражаючих результатів була не швидкість декодування. Це був час відповіді на повторні запити, використовуючи той самий запит.

З повністю кешованим запитом:

КонтекстХолодний TTFTКешований TTFT
1K3.7 s0.08 s
4K4.9 s0.08 s
8K9.7 s0.27 s
16K17.3 s0.34 s
30K33.9 s0.44 s

Це приблизно в 45-90 разів менше часу, що витрачається на перший запуск токена.

Кешування підказок має величезне значення при повторному запиті одного і того ж довгого документа або підтримці діалогу в стабільному контексті.

Движок також налаштований на кешування діалогу:

Є улов: ці результати отримані для однакових запитів із повністю повторно використаним кешем.

Це не означає, що довільні нові запити на 30 тисяч токенів будуть оброблятися за півсекунди.

Але для інтерактивного локального штучного інтелекту теплий кеш змінює правила гри.

Загадка SSD: PCIe 5.0 не є вузьким місцем

Спочатку накопичувач NVMe здався підозріло повільним. Ми досліджували підключення до протоколу PCIe, топологію сховища та фактичну поведінку вводу-виводу.

Накопичувач: Lexar NM1090 PRO, 2 ТБ, PCIe 5.0 ×4.

Перевірено підключення по протоколу PCIe:

Таким чином, накопичувач працює на повній швидкості з'єднання з PCIe 5.0.

Тести прямого некешованого читання:

Цей паралельний результат 10,94 Гбіт/сек особливо важливий: він перевищує практичну пропускну здатність PCIe 4.0 ×4.

Чому пропускна здатність одного потоку набагато нижча?

Оскільки пропускна здатність PCIe - це не те саме, що пропускна здатність на рівні програми.

Глибина черги, розмір вводу-виводу, паралельність запитів та затримка - все це має значення.

Експертна схема Завантаження Strata набагато ближче до варіанту з низьким рівнем паралельності, ніж до синтетичного тесту максимальної пропускної здатності.

Спостережувана пропускна здатність сховища движка:

Різниця полягає в тому, скільки експертів потрібно залучити, а не в зниженні версії PCIe.

Ще одна корисна деталь: RTX 3060 сам по собі є пристроєм з інтерфейсом PCIe 4.0. Якщо під час простою його посилання переходить на Gen1, це нормальна поведінка системи управління живленням.

Завжди перевіряйте, який пристрій ви вимірюєте, перш ніж діагностувати проблему PCIe.

Важливий урок: не дозволяйте Linux кешувати модель 83,6 ГБ на комп'ютері з 48 ГБ пам'яті

При початковому запуску ми зіткнулися з серйозною проблемою.

У першій конфігурації було передбачено буферне завантаження файлів моделі.

Обсяг моделі становить ~ 83,6 ГБ, в той час як фізичної оперативної пам'яті в системі всього 48 ГБ.

При такому навантаженні Linux зіткнулася з серйозною проблемою нестачі пам'яті. Комп'ютер практично перестав відповідати на запити, включаючи підключення SSH, і потрібен був примусовий перезапуск.

Рішення полягало в зміні стратегії завантаження і введенні заходів щодо захисту пам'яті.

Поточні налаштування:

Після цих змін:

Урок:

Можливе використання моделі, обсяг якої перевищує обсяг вашої фізичної пам'яті, але облік пам'яті є абсолютно необхідним.

Обсяг кеш-пам'яті сторінок, дані закріпленої моделі, постійні експерти і кеш-пам'ять Kv повинні враховуватися в сукупності.

Не копіюйте сліпо прапори максимальної продуктивності з комп'ютерів із набагато більшими конфігураціями оперативної пам'яті.

Енергоспоживання, перегрів і витрати на логічний висновок

Це ще один приємний сюрприз.

Виміряна потужність компонентів:

У режимі очікування із завантаженою моделлю:

Під час генерації:

Передбачувана загальна потужність системи на стіні (не вимірюється за допомогою настінного лічильника):

Спостережувані температури:

Терморегулювання не спостерігається.

При передбачуваній ціні електроенергії 0,25 євро / кВт * год:

Це робить цілком реальною експлуатацію локальної точки штучного інтелекту, що забезпечує конфіденційність, в домашніх умовах.

Звичайно, це приблизні витрати на електроенергію, а не загальна вартість володіння. Знос обладнання, охолодження та технічне обслуговування не враховуються.

Там, де Налаштування RTX 3060 втрачає сенс

Ця конфігурація чудово підходить для коротких інтерактивних запитів, але вона має обмеження.

Найголовніше:

Для порівняння, я запустив ту саму модель на більш потужній локальній системі з графічним процесором 24 ГБ.

Виміряв продуктивність на цій системі:

Система RTX 3060 забезпечує набагато меншу пропускну здатність при попередньому заповненні і приблизно вдвічі меншу пропускну здатність при декодуванні в порівнянних випадках при використанні однієї восьмої доступного контексту.

Однак карта пам'яті об'ємом 12 ГБ набагато доступніша і залишається надзвичайно корисною.

Мій нинішній підхід:

Не варто робити вигляд, що дешевий графічний процесор замінює високопродуктивну машину.

Справа в тому, наскільки корисний локальний ШІ вже може бути запущений на недорогому обладнанні.

Що ще можна оптимізувати?

Система вже працює добре, але є кілька цікавих напрямків для подальших експериментів.

Паралельний висновок

Опція --slots 2 може підвищити загальну пропускну здатність при двох одночасних розмовах.

За оцінками, при такому робочому навантаженні сумарна пропускна здатність може збільшитися на 10-12%, але це вимагає перевірки.

Це не означає, що одна розмова стає на 12% швидшою.

Великі пакети попереднього заповнення

Поточне значення: --prefill 4096

Кандидат: --prefill auto:16384

Великі вікна попереднього заповнення можуть покращити обробку тривалих запитів, але доступна відеопам'ять вже обмежена.

Оскільки з 12 гігабайт, зайнятих графічним процесором, зайнято приблизно 11,14 гігабайт, необхідно ретельно оцінювати поведінку пам'яті.

Збільшення обсягу системної оперативної пам'яті

Використання --ple-io ram може перенести більше даних моделі в системну пам’ять і зменшити кількість читань із накопичувача.

У документації розробника пропонується:

Але для такої конфігурації буде потрібно значно більше оперативної пам'яті, приблизно 72 з гаком гігабайти для виміряної компоновки.

Це недоцільно при поточній конфігурації в 48 ГБ.

Декодування в передбачуваному порядку

Спекулятивне декодування MTP вже ввімкнено.

Спостережуване прийняття: ~33-41 прийнятий токен з 50-60 задрафтованих, або приблизно 65-70%.

Більш детальний контекст

Поточне обмеження в 32 КБАЙТ є обмеженням операційної конфігурації, а не доказом того, що сама модель підтримує лише 32 Кбайт.

Для його збільшення потрібна повторна перевірка обсягу пам'яті, поведінки кешу KV, затримки і стабільності.

При такому навантаженні скорочення дорогих операцій експертного зчитування і поліпшення структури доступу можуть мати більше значення, ніж збільшення максимальної послідовної пропускної здатності накопичувача.

Як завжди, оцінюйте фактичне навантаження, а не лише маркетингові показники обладнання.

Заключні думки

Ось що демонструє цей експеримент.

Квантована модель MoE ~83,6 ГБ може працювати локально на:

З результатами вимірювань до:

Але є важливі застереження.

Мене особливо цікавить практична ефективність локального штучного інтелекту.

Мова йде не тільки про максимальну вартість системи вартістю 10 000 євро, але і про корисну продуктивність, досяжну на звичайних комп'ютерах, і доступні конфігурації вартістю від 1000 євро.

Конфіденційність, незалежність, контрольовані експлуатаційні витрати та практична корисність важливі не лише для досягнення вражаючих результатів тестування.

Це все ще розвивається експеримент, і я продовжуватиму ділитися результатами вимірювань, збоями, змінами конфігурації та вдосконаленнями.

Майбутнє локального штучного інтелекту вже стає напрочуд доступним.

Пізніші доповнення

О, я забув згадати, що графічний процесор працює з підтримкою NVIDIA Unlock, яка була випущена лише кілька днів тому, минулого тижня.

Тепер я попросив свого агента зі штучного інтелекту провести ті самі тести без розблокування, щоб ми могли порівняти результати приблизно через 15-20 хвилин.

У найближчі кілька днів, але не сьогодні, я встановлю цей графічний процесор у систему вартістю менше 1000 доларів і подивлюсь, як він там працює.

Оригінальний тред у X · Всі новини