Локальні агенти штучного інтелекту налаштовують обладнання, на якому вони працюють

Локальну систему штучного інтелекту не потрібно налаштовувати вручну. У наших експериментах агент, що працює на локальному обладнанні, аналізує те саме обладнання, проводить власні вимірювання та зберігає лише ті налаштування, які насправді допомагають. Нижче наведено чотири результати за останній тиждень, від найновіших до найстаріших.

Обмеження тактової частоти процесора: однакова швидкість, менше тепла

Одним із недооцінених прийомів запуску локального штучного інтелекту є обмеження тактової частоти процесора та/або графічного процесора. За допомогою голосу ми попросили локального ШІ-агента оптимізувати роботу ноутбука, на якому працює наш головний ШІ-мозок. Частота процесора була знижена з 5,5 ГГц до 4,5 ГГц.

• Швидкість висновків LLM на Strata залишилася точно такою ж, без втрат.
• Температура процесора знизилася приблизно на 10%.
• Енергоспоживання процесора значно знизилося.
• Температура графічного процесора також знизилася, але тактова частота графічного процесора не була обмежена.

Процесор і графічний процесор мають загальний тепловий баланс, тому зменшення непотрібного навантаження на процесор також допомагає графічному процесору. Ніхто не витрачав години на Налаштування: агенту просто наказали знайти оптимальні межі, і він сам проводив експерименти, поки тривала робота над іншими речами.

Самодіагностика: довіряй ШІ, але перевіряй сам

Налаштування: Strata + Qwen3.8-Next-IQ3_S.локальний ШІ оголосив обмеження потужності графічного процесора непереборним. Ми поставили під сумнів цей висновок, провели зовнішню повторну перевірку (для цього достатньо навіть безкоштовної версії ChatGPT), виправили обмеження і підвищили продуктивність на 30-35%.

Ми дотримуємося правила: використовуйте штучний інтелект для самодіагностики, але при цьому перевіряйте важливі результати.

Автоматична оптимізація на ноутбуці RTX 5090

Strata на ігровому ноутбуці з RTX 5090 (24 ГБ відеопам'яті), модель Qwen3.8-Flash-Next IQ3_S:

• Швидкість декодування: 83.6 tok/s
• Швидкість декодування за допомогою агента: 99.8 tok/s
• Попереднє заповнення за 4K: 1,443 tok/s
• Попереднє заповнення за 16K: 2,132 tok/s
• Перший токен: 0.28 s

Після цього агент самостійно оптимізував ту ж машину:

• Теплове декодування: 63–110 → 109–118 tok/s
• Пікове декодування агента: 119.5 → 125.5 tok/s (+5%)
• Оптимізована конфігурація була збережена, нестабільні налаштування були відкатані, а сервер безпечно вимкнено.

RTX 3060 об'ємом 12 ГБ: розблокування та перші переваги

На одному з наших експериментальних комп'ютерів (невеликий корпус ITX, 48 ГБ оперативної пам'яті, RTX 3060 на 12 ГБ) ми ввімкнули функцію розблокування NVIDIA. Виміряний приріст: до + 78% при обчисленнях на графічному процесорі і +11% при попередньому введенні даних за допомогою штучного інтелекту.

Для порівняння, з розробкою coldniko next Strata швидкість роботи RTX 3060 об'ємом 12 ГБ + 48 ГБ оперативної пам'яті збільшилася з 32 до 60-80 токенов в секунду. Наш Mac Studio M3 Ultra (60 графічних ядер, 256 ГБ оперативної пам'яті, Strata версії 0.2.6) забезпечив швидкість декодування 61,4 Кбіт/сек і попереднє завантаження 734 Кбіт/сек на тій же моделі Qwen3.8-Flash-Next IQ3_S. повні результати по цій картці наведені в окремій статті.

Що це означає для клієнта Box

• Налаштування вибираються на основі вимірювань, а не навмання: агент порівнює до і після і відкочує те, що не допомагає.
• Більш низькі температури і споживана потужність при тій же швидкості означають більш тиху роботу і менший знос.
• Критичні висновки агента перевіряються перед виконанням.
• Доступне обладнання стає швидшим лише завдяки оновленням програмного забезпечення.

Локальний ШІ оптимізує апаратне забезпечення, на якому працює локальний ШІ.

Оригінальний тред у X · Виріб RTX 3060 · Всі новини