Експеримент із відеокартою AMD RX 580 за 49 €: невеликі моделі та витрата енергії

12 листопада 2026 року на станції P3001 — уживаній робочій станції з процесором Xeon E5-2697 v2 і встановленими 64 ГБ ECC-пам’яті DDR3-1333 у чотириканальному режимі (системі видно близько 62 ГБ) — було встановлено відеокарту AMD Radeon RX 580 8 ГБ. Карту куплено за 49 €: 45 € за саму карту і 4 € за доставку. Це варіант RX 580 2048SP: у нього 2048 потокових процесорів, а не 2304, як у «повної» RX 580, і по суті він ближчий до RX 570. Це важливо при порівнянні з іншими картами тієї самої лінійки. Операційна система — Ubuntu 24.04.

Зі Strata ця карта не запускається, і просити підтримку цієї моделі GPU в Strata ми не плануємо: час автора розумніше витрачати на продуктивніше обладнання. Для експерименту використовувався llama.cpp з backend Vulkan. Немає CUDA, немає тензорних ядер, немає прискорення FP16. На тій самій станції, на невеликій моделі 3B у квантуванні Q4, декодування становило 60 ток/с. Для порівняння, на великій моделі Qwen обсягом 77,9 ГіБ зв’язка RX 580 і llama.cpp показала 33,9 ток/с на передзаповненні (prefill) і 5,85 ток/с на декодуванні. Та сама станція з RTX 3050 8 ГБ і Strata на цьому навантаженні дала 128–188 ток/с на передзаповненні і 23–31 ток/с на декодуванні. Під час виводу RX 580 споживала до близько 120 Вт. Для такої великої моделі карта слабша; як «другий мозок» для коротких мікрозадач вона, за результатами, все ж залишається корисною і за ціною дешевша, ніж сумісний обсяг новішої оперативної пам’яті.

Далі експеримент пішов не в бік максимального розміру моделі, а в бік невеликих моделей, які цілком вміщуються в 8 ГБ відеопам’яті. Окремо виміряно три моделі: Qwen2.5-3B Q4 — 1,79 ГіБ, 392 ток/с передзаповнення і 60 ток/с декодування; Nemotron Nano 4B Q4 — 2,63 ГіБ, 268 / 40 ток/с; Bonsai 2 9B Q2 — 2,37 ГіБ, 170 / 27 ток/с. Сумарний обсяг ваг — 6,79 ГіБ. Теоретично всі три могли б розміститися в 8 ГБ, залишаючи приблизно 1,21 ГіБ на KV-кеш, буфери і накладні витрати. Це щільно, і одночасна присутність усіх трьох у відеопам’яті не перевірялася.

Окремо вимірювалося фактичне споживання відеокарти при локальному виводі на п’яти межах потужності: 120, 100, 70, 50 і 30 Вт. Для невеликих моделей, які цілком вміщуються у відеопам’ять, у цьому експерименті найбільш ощадливою для генерації виявилася позначка 70 Вт. Порівняно зі 120 Вт споживання відеокарти під час виводу було приблизно на 36% нижче, швидкість генерації — лише на 12–15% нижча, а витрати енергії на згенерований токен — на 26–28% нижчі. При 70 Вт модель 3B давала 39,5 ток/с. Коротка відповідь із 200 токенів потребувала 0,091 Вт·год електроенергії самої відеокарти. За тарифом 0,25 €/кВт·год це 0,000023 € за одну таку відповідь, 0,023 € за тисячу відповідей на день і близько 8,30 € за 365 000 таких відповідей на рік. До цієї оцінки не входять простій і решта комп’ютера. У простої RX 580 споживає близько 14 Вт, що за безперервного живлення відповідає приблизно 30,70 € на рік; процесор, пам’ять, плата і накопичувачі додають своє. Для низькоінтенсивних навантажень зниження споживання в простої може значити більше, ніж зниження споживання під час самого виводу. Застереження: 70 Вт оптимальні для перевіреної в цьому експерименті генерації невеликими моделями, а не обов’язково для будь-якого завдання. Довгі запити, конвеєри розпізнавання тексту на зображеннях, обробка звуку та інші навантаження можуть мати зовсім інші характеристики швидкості й енергії.

Напрям подальшої роботи — не «яку найбільшу модель можна запустити», а скільки корисних повсякденних завдань може виконувати недорога локальна система: розбір невеликих PDF, витяг даних зі сканів, розпізнавання тексту на знімках, розшифрування коротких записів, класифікація файлів, стислі виклади, розбір журналів, маршрутизація запитів і підготовка даних для більшої ШІ-системи. Ці мультимодальні та документні сценарії на цій карті ще не експериментувалися. Їхню здійсненність, точність, затримки, потребу в пам’яті та енергію ще належить дослідити. Частину операцій, можливо, розумніше виконувати на процесорі, залишаючи відеокарту для виводу. Одночасне завантаження кількох спеціалізованих моделей, з яких у кожен момент працює одна, теж залишається відкритим питанням.

Окреме інженерне питання — живлення. Стандартний слот PCIe x16 може віддавати до 75 Вт безпосередньо з плати. Наш найкращий за енергією режим для невеликих моделей у цьому експерименті — програмна межа 70 Вт. Ідея, яку ми розглядаємо, полягає в тому, щоб зібрати конфігурацію, що працює лише від слота, без додаткового 6- або 8-контактного роз’єму живлення, і ставити таку карту в уже наявний офісний комп’ютер, без заміни блока живлення. Це напрям, а не готове рішення. В експерименті навіть за програмної межі 70 Вт короткочасно спостерігалися піки вище 75 Вт, а наявна RX 580 як і раніше потребує додаткового живлення. Безпечний варіант «лише від слота» вимагатиме інженерної роботи з піковою потужністю і перевірки сумісності. Документні, графічні та звукові сценарії теж ще потрібно підтвердити. Ми не стверджуємо, що така установка вже постачається замовникам.

Карта за 49 € не замінює основну систему зі Strata. За вже отриманими результатами вона може стати недорогим, відносно ощадливим виконавцем багатьох коротких повторюваних завдань, при цьому дані залишаються локальними. Усі заміри, експерименти з межею потужності, методика, вихідні журнали, невдачі та висновки опубліковані в репозиторії. Ми з’ясовуємо, скільки корисного локального ШІ можна отримати з обладнання, яке часто вважають застарілим.

Заміри в репозиторії · Допис в X · Всі новини