Оновлення Strata в нашому флоті: агент оновлює, вимірює та оптимізує

Strata-це локальний механізм логічного висновку з використанням штучного інтелекту, розроблений coldniko. З середини жовтня ми відстежуємо його випуски на кількох наших комп'ютерах. На всіх комп'ютерах використовується одна і та ж модель, Qwen3.8-Flash-Next IQ3_S, тому результати порівнянні. Машини названі відповідно до рівня їх апаратного забезпечення:

• P1005: Intel Xeon E5-2690 v4, NVIDIA Tesla P100 16 ГБ HBM2, 32 ГБ DDR4, NVMe приблизно 2,5 ГБ/с, CUDA 12.
• P2002: Intel Core Ultra 7 270K Plus, AMD Radeon RDNA4 (gfx1201) 16 GB, 64 GB DDR5, NVMe RAID 0, ROCm / HIP.
• Mac Studio: Apple M3 Ultra, Metal.

Програма сама виявляє нову версію Strata, завантажує її, виконує вимірювання і, за запитом, оптимізує конфігурацію. Вся оптимізація виконується локально, використовуючи ту саму модель Qwen3.8-Flash-Next IQ3_S в останній версії Strata.

P1005 (Tesla P100): від нестачі даних до прив'язки до обчислень.

Експерти моделі оцінили обсяг пам'яті в 46,8 гігабайт, що занадто багато для оперативної пам'яті, а карта об'ємом 16 ГБ була настільки заповнена, що движок попередив, що швидкість декодування знизиться до декількох токенів в секунду. Дотримуючись документації репозиторію Strata, агент змінив чотири речі:

--vram-reserve-mib 960        (was 700)
--max-context 65536          (was 262144)
STRATA_Q8_SM60=0
--resident-experts
STRATA_DENSE_F32=1

Результат: завантаження графічного процесора зросло з 27% до 92% (155-170 Вт). Попереднє завантаження стало в 4,4 рази швидшим; декодування збільшилося на 40% при 8K і в 2,4 рази при 16K.

Значення - це маркери запиту / декодування в секунду. Вартість: 24 гігабайти оперативної пам'яті тепер недоступні для перегляду експертами, тому на цьому комп'ютері не повинно запускатися більше нічого великого, а обмеження контексту становить 65K замість 262K. Все зберігається після перезавантаження.

P2002 (Radeon RDNA4): налаштування в режимі реального часу, а потім короткий перезапуск

Спочатку виконується настройка в реальному часі без перезапуску движка. Контроль продуктивності процесора та збільшення кеш-пам'яті сторінок для експертів були збережені; прив'язані тактові частоти графічного процесора зменшили попереднє заповнення приблизно на 10% і були відхилені; збільшення часу попереднього читання не дало ефекту. Декодування при 2K і 8K покращилося на 10-18%.

Потім, після перезапуску приблизно на 40 секунд (резервний ланцюжок продовжував сеанс без видимих перерв), агент збільшив резерв відеопам'яті з 700 МБ до 960 МБ і включив --kv-grow, зберігаючи повний контекст у 262K. Кількість місць для експертів збільшилася з 2518 до 3686 (+46%), відсоток відвідувань експертів зріс з 74% до 87%, а попередження про підкачку зникли. Також доданий сторожовий таймер, завдяки якому движок перезапускається сам по собі.

Стандартний набір: розшифровка чату - 74,3 Кбіт/сек (було 71,9), першого токена - 0,39 сек (було 0,46), агента - 66,7 Кбіт/сек (було 59,2). Агент також чесно зазначив, що перші цифри відразу після перезавантаження приблизно на 25% нижче, тому що кеш expert як і раніше не завантажений.

Mac Studio (M3 Ultra): налаштування за замовчуванням вже були оптимальними

Агент перезапустив двигун шість разів для чистих запусків A/B і емпірично довів, що конфігурація за замовчуванням вже найкраща. Параметри KV не вплинули на об'єднану пам'ять; велика кількість кеш-пам'яті wired expert була шкідливою (швидкість декодування зменшилася приблизно до 32 Кбіт/сек) і була скасована. Попереднє заповнення, яке становить близько 790 Кбіт / сек, є обмеженням пропускної здатності апаратного забезпечення, а не конфігурації. Остаточний набір: швидкість розшифровки чату становить 69,1 токенів в секунду, перший токен - 0,48 С.всі тупики були задокументовані, тому їх ніхто не повторює.

Нові версії, виміряні

• Strata 0.2.0 з користувальницьким інтерфейсом: Strata і локальний штучний інтелект тепер можна встановлювати без використання командного рядка, що робить їх доступними для набагато ширшої аудиторії.
• версія 0.2.2: три комп'ютери оновлені з версії 0.2.1. v0.2
• .3 → v0.2.3.1 у Mac Studio: декодування 61,3 → 66,4 tok/s (+8%), попереднє заповнення 729,9 → 738,9 tok/s (+1%), відсутність регресії та повторного завантаження файлів моделі.
• версії 0.2.6 та 0.2.7: кожен випуск досі приносив додатковий приріст продуктивності. Для версії 0.2.7 агент підготував підсумок приміток до випуску і нічого не встановив без схвалення.

DeepSeek V4.1-Flash, що працює локально.

DeepSeek V4.1-Flash, великогабаритна модель MoE, тепер працює локально на Strata: "гарячі" експерти залишаються в оперативній пам'яті, а решта передається потоковою передачею з SSD-накопичувача. Ми виміряли швидкість декодування 14 токенів в секунду. На нашому поточному обладнанні цього недостатньо для головного агента "мозку", але він добре працює як модель" другої думки "та"нічного аудитора".

Що це означає для клієнта Box

• Оновлення двигуна виявляються, застосовуються та оцінюються агентом, після чого затверджуються зміни.
• Кожен апаратний рівень отримує власну виміряну конфігурацію, а несправні параметри документуються.
• Одна і та ж модель на різних апаратних засобах дає чітку основу для вибору конфігурації.

Оригінальний тред у X · Всі новини