Experiment s grafickou kartou AMD RX 580 za 49 €: malé modely a spotřeba energie
Grafická karta za 49 € v pracovní stanici z let 2012–2013: co dokážou malé místní modely a jak vypadají čísla energie. Čísla pocházejí z experimentu CLARYEL z 12. listopadu 2026.
12. listopadu 2026 byla do stanice P3001 — použité pracovní stanice s procesorem Xeon E5-2697 v2 a nainstalovanými 64 GB paměti ECC DDR3-1333 ve čtyřkanálovém režimu (systém vidí přibližně 62 GB) — nainstalována karta AMD Radeon RX 580 8 GB. Karta byla koupena za 49 €: 45 € za samotnou kartu a 4 € za dopravu. Jde o variantu RX 580 2048SP: má 2048 stream procesorů, nikoli 2304 jako «plná» RX 580, a v podstatě je bližší RX 570. Tento rozdíl je důležitý při srovnání s jinými kartami stejné řady. Operační systém je Ubuntu 24.04.
Se Strata se tato karta nespouští a žádat o podporu tohoto modelu GPU ve Strata neplánujeme: čas autora je rozumnější věnovat výkonnějšímu hardwaru. Pro experiment se použil llama.cpp s backendem Vulkan. Není CUDA, nejsou tensorová jádra, není akcelerace FP16. Na stejné stanici dosáhl malý model 3B v kvantizaci Q4 60 tok/s při dekódování. Pro srovnání, u velkého modelu Qwen o velikosti 77,9 GiB ukázala soustava RX 580 a llama.cpp 33,9 tok/s při předvyplnění a 5,85 tok/s při dekódování. Stejná stanice s RTX 3050 8 GB a Strata na této zátěži dala 128–188 tok/s při předvyplnění a 23–31 tok/s při dekódování. Během inference odebírala RX 580 až přibližně 120 W. Pro model této velikosti je karta slabší volbou; jako «druhý mozek» pro krátké mikroúlohy je podle výsledků přesto užitečná a je levnější než srovnatelný objem novější systémové paměti.
Dále se experiment odklonil od co největšího modelu k malým modelům, které se zcela vejdou do 8 GB videopaměti. Odděleně byly změřeny tři modely: Qwen2.5-3B Q4 — 1,79 GiB, 392 tok/s předvyplnění a 60 tok/s dekódování; Nemotron Nano 4B Q4 — 2,63 GiB, 268 / 40 tok/s; Bonsai 2 9B Q2 — 2,37 GiB, 170 / 27 tok/s. Souhrnný objem vah je 6,79 GiB. Teoreticky by se všechny tři vešly do 8 GB a zbývalo by přibližně 1,21 GiB na KV cache, výpočetní vyrovnávací paměti a režii. Je to těsné a současný pobyt všech tří ve videopaměti nebyl ověřen.
Odděleně se měřil skutečný odběr karty při místní inferenci na pěti limitech výkonu: 120, 100, 70, 50 a 30 W. U malých modelů, které se zcela vejdou do videopaměti, byl v tomto experimentu neúspornější bod pro generování 70 W. Ve srovnání se 120 W byl odběr karty během inference přibližně o 36 % nižší, rychlost generování jen o 12–15 % nižší a energie na vygenerovaný token o 26–28 % nižší. Při 70 W dával model 3B 39,5 tok/s. Krátká odpověď o 200 tokenech spotřebovala 0,091 Wh elektřiny samotné karty. Při tarifu 0,25 €/kWh je to 0,000023 € za jednu takovou odpověď, 0,023 € za tisíc odpovědí denně a přibližně 8,30 € za 365 000 takových odpovědí za rok. Do tohoto odhadu nepatří klidový odběr ani zbytek počítače. V klidu odebírá RX 580 přibližně 14 W, což při trvalém napájení odpovídá přibližně 30,70 € za rok; procesor, paměť, deska a úložiště přidávají své. U málo intenzivních zátěží může snížení klidového odběru znamenat více než snížení odběru během samotné inference. Výhrada: 70 W je optimální pro v tomto experimentu změřené generování malými modely, ne nutně pro každý úkol. Dlouhé dotazy, řetězce rozpoznávání textu na obrázcích, zpracování zvuku a jiné zátěže mohou mít zcela jiné charakteristiky rychlosti a energie.
Další směr práce není «jak velký model lze spustit», ale kolik užitečných každodenních úkolů dokáže levný místní systém zvládnout: rozbor malých PDF, vytěžení dat ze skenů, rozpoznávání textu na snímcích, přepis krátkých nahrávek, třídění souborů, shrnutí, čtení protokolů, směrování požadavků a příprava dat pro větší systém AI. Tyto multimodální a dokumentové scénáře na této kartě ještě nebyly experimentálně zkoumány. Jejich proveditelnost, přesnost, zpoždění, potřebu paměti a energetické náklady je teprve třeba zjistit. Část operací je možná rozumnější provádět na procesoru a kartu nechat pro inferenci. Zda může zůstat načteno několik specializovaných modelů, z nichž v danou chvíli běží jeden, je rovněž otevřenou otázkou.
Samostatnou inženýrskou otázkou je napájení. Standardní slot PCIe x16 může dodávat až 75 W přímo ze základní desky. Náš energeticky nejlepší režim pro malé modely v tomto experimentu je softwarový limit 70 W. Myšlenka, kterou zvažujeme, spočívá ve sestavení konfigurace, která běží jen ze slotu, bez dalšího 6- nebo 8pinového napájecího konektoru, a v umístění takové karty do již existujícího kancelářského počítače, bez výměny zdroje. To je směr práce, nikoli hotové řešení. V experimentu i při softwarovém limitu 70 W byly krátce pozorovány špičky nad 75 W a stávající RX 580 stále potřebuje přídavné napájení. Bezpečná varianta «jen ze slotu» bude vyžadovat inženýrskou práci na špičkovém výkonu a ověření kompatibility. Dokumentové, obrazové a zvukové postupy je také ještě třeba potvrdit. Netvrdíme, že se taková instalace již dodává zákazníkům.
Karta za 49 € nenahrazuje hlavní systém se Strata. Podle již získaných výsledků se může stát levným, relativně úsporným vykonavatelem mnoha krátkých opakovaných úkolů, přičemž data zůstávají místní. Všechna měření, experimenty s limitem výkonu, metoda, surové záznamy, neúspěchy i závěry jsou zveřejněny v repozitáři. Zjišťujeme, kolik užitečné místní AI lze získat z hardwaru, který se často považuje za zastaralý.