Eksperyment z kartą graficzną AMD RX 580 za 49 €: małe modele i zużycie energii
Karta graficzna za 49 € w stacji roboczej z lat 2012–2013: co dają małe lokalne modele i jak wyglądają liczby energii. Cyfry pochodzą z eksperymentu CLARYEL z 12 listopada 2026 roku.
12 listopada 2026 roku w stacji P3001 — używanej stacji roboczej z procesorem Xeon E5-2697 v2 i zainstalowanymi 64 GB pamięci ECC DDR3-1333 w trybie czterokanałowym (system widzi około 62 GB) — zainstalowano kartę AMD Radeon RX 580 8 GB. Kartę kupiono za 49 €: 45 € za samą kartę i 4 € za przesyłkę. To wariant RX 580 2048SP: ma 2048 procesorów strumieniowych, a nie 2304 jak «pełna» RX 580, i w istocie jest bliższy RX 570. To ważne przy porównaniu z innymi kartami tej samej linii. System operacyjny to Ubuntu 24.04.
Ze Strata ta karta się nie uruchamia i nie planujemy prosić o wsparcie tego modelu GPU w Strata: czas autora lepiej przeznaczyć na wydajniejszy sprzęt. Do eksperymentu użyto llama.cpp z backendem Vulkan. Nie ma CUDA, nie ma rdzeni tensorowych, nie ma przyspieszenia FP16. Na tej samej stacji, na małym modelu 3B w kwantyzacji Q4, dekodowanie wyniosło 60 tok/s. Dla porównania, na dużym modelu Qwen o objętości 77,9 GiB zestaw RX 580 i llama.cpp pokazał 33,9 tok/s przy wstępnym wypełnieniu i 5,85 tok/s przy dekodowaniu. Ta sama stacja z RTX 3050 8 GB i Strata na tym obciążeniu dała 128–188 tok/s przy wstępnym wypełnieniu i 23–31 tok/s przy dekodowaniu. Podczas wnioskowania RX 580 pobierała do około 120 W. Dla modelu tej wielkości karta jest słabszą opcją; jako «drugi mózg» do krótkich mikro-zadań, według wyników, pozostaje jednak użyteczna i jest tańsza niż porównywalna ilość nowszej pamięci systemowej.
Dalej eksperyment poszedł nie w stronę maksymalnego rozmiaru modelu, lecz małych modeli, które w całości mieszczą się w 8 GB pamięci wideo. Osobno zmierzono trzy modele: Qwen2.5-3B Q4 — 1,79 GiB, 392 tok/s wstępnego wypełnienia i 60 tok/s dekodowania; Nemotron Nano 4B Q4 — 2,63 GiB, 268 / 40 tok/s; Bonsai 2 9B Q2 — 2,37 GiB, 170 / 27 tok/s. Łączna objętość wag — 6,79 GiB. Teoretycznie wszystkie trzy mogłyby zmieścić się w 8 GB, zostawiając około 1,21 GiB na pamięć podręczną KV, bufory obliczeniowe i narzut. Jest ciasno, a jednoczesnej obecności wszystkich trzech w pamięci wideo nie sprawdzano.
Osobno mierzono rzeczywisty pobór karty przy lokalnym wnioskowaniu na pięciu limitach mocy: 120, 100, 70, 50 i 30 W. Dla małych modeli, które w całości mieszczą się w pamięci wideo, w tym eksperymencie najbardziej oszczędnym punktem dla generowania okazało się 70 W. W porównaniu ze 120 W pobór karty podczas wnioskowania był około 36% niższy, szybkość generowania tylko o 12–15% niższa, a energia na wygenerowany token o 26–28% niższa. Przy 70 W model 3B dawał 39,5 tok/s. Krótka odpowiedź z 200 tokenów zużyła 0,091 Wh energii elektrycznej samej karty. Przy taryfie 0,25 €/kWh to 0,000023 € za jedną taką odpowiedź, 0,023 € za tysiąc odpowiedzi dziennie i około 8,30 € za 365 000 takich odpowiedzi w roku. Do tej oceny nie wchodzi postój ani reszta komputera. W postoju RX 580 pobiera około 14 W, co przy ciągłym zasilaniu odpowiada około 30,70 € rocznie; procesor, pamięć, płyta i nośniki dodają swoje. Przy niskointensywnych obciążeniach obniżenie poboru w postoju może znaczyć więcej niż obniżenie poboru podczas samego wnioskowania. Zastrzeżenie: 70 W jest optymalne dla zmierzonego w tym eksperymencie generowania małymi modelami, niekoniecznie dla każdego zadania. Długie zapytania, potoki rozpoznawania tekstu na obrazach, przetwarzanie dźwięku i inne obciążenia mogą mieć zupełnie inne charakterystyki szybkości i energii.
Kierunek dalszej pracy to nie «jak największy model można uruchomić», lecz ile pożytecznych codziennych zadań może wykonać niedrogi lokalny system: analiza małych plików PDF, wyciąganie danych ze skanów, rozpoznawanie tekstu na zdjęciach, transkrypcja krótkich nagrań, klasyfikacja plików, streszczenia, odczyt dzienników, trasowanie zapytań i przygotowanie danych dla większego systemu AI. Te multimodalne i dokumentowe scenariusze na tej karcie nie były jeszcze przedmiotem eksperymentu. Ich wykonalność, dokładność, opóźnienia, zapotrzebowanie na pamięć i koszt energii dopiero trzeba zbadać. Część operacji może być rozsądniej wykonywać na procesorze, zostawiając kartę do wnioskowania. Jednoczesne załadowanie kilku wyspecjalizowanych modeli, z których w danej chwili działa jeden, też pozostaje otwartym pytaniem.
Osobne zagadnienie inżynierskie to zasilanie. Standardowy slot PCIe x16 może oddawać do 75 W bezpośrednio z płyty. Nasz najlepszy pod względem energii tryb dla małych modeli w tym eksperymencie to programowy limit 70 W. Pomysł, który rozważamy, polega na złożeniu konfiguracji działającej tylko ze slotu, bez dodatkowego 6- lub 8-stykowego złącza zasilania, i umieszczeniu takiej karty w już posiadanym komputerze biurowym, bez wymiany zasilacza. To kierunek pracy, a nie gotowe rozwiązanie. W eksperymencie nawet przy programowym limicie 70 W krótkotrwale obserwowano szczyty powyżej 75 W, a posiadana RX 580 wciąż wymaga dodatkowego zasilania. Bezpieczny wariant «tylko ze slotu» będzie wymagał pracy inżynierskiej nad mocą szczytową i sprawdzenia zgodności. Scenariusze dokumentowe, graficzne i dźwiękowe też jeszcze trzeba potwierdzić. Nie twierdzimy, że taka instalacja jest już dostarczana klientom.
Karta za 49 € nie zastępuje głównego systemu ze Strata. Na już uzyskanych wynikach może stać się tanim, stosunkowo oszczędnym wykonawcą wielu krótkich, powtarzalnych zadań, przy czym dane pozostają lokalne. Wszystkie pomiary, eksperymenty z limitem mocy, metoda, surowe dzienniki, niepowodzenia i wnioski są opublikowane w repozytorium. Zastanawiamy się, ile pożytecznej lokalnej AI da się wydobyć ze sprzętu, który często uważa się za przestarzały.