Перші запуски Strata і лабораторія для повторюваних локальних конфігурацій штучного інтелекту

Перший результат: 31 токен в секунду

• Strata v0.1.41
• Модель: Qwen3.8-Flash-Next IQ3_XXS
• Процесор: Intel Core Ultra 7 270K Plus
• Графічний процесор: AMD Radeon RX 9070 OC, 16 GB GDDR6
• Оперативна пам'ять: 32 GB DDR5-6000
• Твердотільний накопичувач: Lexar NM1090 Pro 2 TB, NVMe PCIe 5.0
• Контекст: 65,536 tokens

Модель згенерувала 12 136 токенів приблизно за 6,5 хвилин: 31 токен в секунду. При об'ємі відеопам'яті близько 47 ГБ відеопам'ять була майже заповнена, тоді як системний обсяг оперативної пам'яті становив лише близько 3 ГБ: Strata зчитує частину даних безпосередньо з SSD-накопичувача. Потужність графічного процесора становила близько 130-150 Вт, температура залишалася на рівні 45 °C, а шум вентиляторів був ледь чутний. Це відкриває можливість створення значно дешевших локальних систем штучного інтелекту без величезних обсягів оперативної пам'яті або дорогих серверних платформ.

Систематизована програма на різному обладнанні

Ці результати започаткували більш систематичну програму: Strata на 11 комп'ютерах з найрізноманітнішими конфігураціями, з графічними процесорами NVIDIA, AMD та Intel, DDR4 та DDR5, а також накопичувачами NVMe від PCIe 3.0 до PCIe 5.0, включаючи масив PCIe 5.0 RAID 0 зі швидкістю близько 35 Гбіт/с.спочатку сумісність, продуктивність та стабільність; потім практичні повсякденні та ділові завдання.

Також був перевірений протилежний випадок: на міні-ПК без дискретного графічного процесора та з 8 ГБ оперативної пам'яті можна було створити Strata, але модель не запускалася навіть після додавання оперативної пам'яті через динамічно виділену відеопам'ять. Висновок: Strata не запускається в цій недокументованій конфігурації.

Контекст 256K і перші практичні уроки

У системі rx 9070 з контекстом 256K продуктивність становила 15-30 токенів в секунду. За один сеанс (9: 44-12: 00): 18 запитів, близько 108 тис.токенов підказок (114 токенов в секунду), близько 856 тис. використаних повторно, близько 100 тис. записаних (22,6 токенов в секунду). З приблизно 25 запитів кілька не спрацювали: запит з п'ятьма питаннями одночасно (це спрацювало при поділі) і запит на отримання відповіді в розмірі 60-70 тисяч токенів. Інші результати досягали 14-22 тисяч токенов, і якість протягом довгих поколінь зберігалося.

Strata не виявила графічний процесор без підключеного монітора на платі ASUS Pro Q870M-C-CSM; проблему вирішив додатковий РОЗ'ЄМ HDMI.

32 ГБ оперативної пам'яті достатньо

Завдяки 32 ГБ оперативної пам'яті Strata може працювати без завантаження моделі в системну оперативну пам'ять: пам'ять залишається вільною для інших завдань, а центральний процесор - для паралельних робочих навантажень зі швидкістю 15-20 струм/с.при 64 ГБ на тій же машині (Strata v0.1.43, Qwen3.8-Flash-Next IQ3_S) швидкість генерації досягла 45-48 токенов в секунду, але для іншої роботи залишалося набагато менше пам'яті. Пізніше, у двох різних конфігураціях, включаючи DDR4, Strata майже не використовувала оперативну пам'ять зі швидкістю 15-25 Кбіт/сек, тоді як близько половини центрального процесора залишалося вільним для Hermes та допоміжних компонентів. Продуктивність падає зі збільшенням довжини контексту, що залежить від завдань.

Перший автономний робочий процес

Нічний запуск на непідтримуваному обладнанні без дискретного графічного процесора давав близько 1 токена в секунду, оскільки більша частина моделі в кінцевому підсумку була замінена. Швидкість не була метою: завдання було поставлено ввечері, а результат був готовий вранці. Потім Hermes перейшов на комп'ютер з прийнятною швидкістю роботи і приступив до повсякденної роботи. У програмі one morning check вже використовуються датчики Home Assistant, які відстежують резервні копії, стан дисків і температуру на підключених комп'ютерах; було повідомлено, що в серверній стає занадто жарко при роботі шести комп'ютерів.

Лабораторія з ідентичними машинами

Щоб перетворити індивідуальні результати в повторювану настройку, ми придбали 10 однакових материнських плат і процесорів для 10 відповідних систем: платформу ASUS з 8 слотами оперативної пам'яті, недорогу DDR4 і віддалене управління на рівні BIOS, так що агенти можуть навіть віддалено перевстановлювати ОС.

Ми вже налаштували 20-30 комп'ютерів практично з нуля і керували ними голосом з телефону через хмарні агенти, включаючи бухгалтерський процес від встановлення ERP до введення рахунків-фактур в податкову систему Італії. Тепер наша мета-відтворити такі робочі процеси за допомогою локального штучного інтелекту. Спочатку завдання, виконання яких у хмарі займало секунди або хвилину, виконувалися локально за 5-10 хвилин; потім послідувала оптимізація. Завдання надходять з багатьох джерел, і агенти завантажують їх у OpenProject і призначають найбільш підходящому агенту або працівнику.

Що це означає для клієнта Box

• Великі моделі можуть працювати на доступному обладнанні з невеликим об'ємом оперативної пам'яті.
• Конфігурації вибираються на основі результатів вимірювань на реальних верстатах.
• Ідентичні верстати забезпечують повторюваність результатів і можливість віддаленого управління.

Оригінальний тред у X · Всі новини