Experiment met een AMD RX 580-videokaart van 49 €: kleine modellen en energieverbruik
Een videokaart van 49 € in een werkstation uit 2012–2013: wat kleine lokale modellen kunnen, en hoe de energiecijfers eruitzien. De getallen komen uit een CLARYEL-experiment van 12 november 2026.
Op 12 november 2026 werd een AMD Radeon RX 580 8 GB geïnstalleerd in P3001, een gebruikt werkstation met een Xeon E5-2697 v2-processor en 64 GB DDR3-1333-ECC-geheugen in vierkanaalsmodus (het systeem ziet ongeveer 62 GB). De kaart is gekocht voor 49 €: 45 € voor de kaart zelf en 4 € verzending. Dit is de variant RX 580 2048SP: die heeft 2.048 streamprocessors, niet de 2.304 van een «volle» RX 580, en staat in wezen dichter bij een RX 570. Dat onderscheid telt bij een vergelijking met andere kaarten in dezelfde lijn. Het besturingssysteem is Ubuntu 24.04.
Strata start niet op deze kaart, en we zijn niet van plan ondersteuning van dit GPU-model in Strata te vragen: de tijd van de auteur is beter besteed aan capabelere hardware. Voor het experiment is llama.cpp met de Vulkan-backend gebruikt. Er is geen CUDA, geen tensorkernen en geen FP16-versnelling. Op hetzelfde werkstation bereikte een klein 3B-model in Q4-kwantisatie 60 tok/s bij het decoderen. Ter vergelijking mat RX 580 met llama.cpp op een groot 77,9 GiB Qwen-model 33,9 tok/s bij prefill en 5,85 tok/s bij decoderen. Hetzelfde werkstation met een RTX 3050 8 GB en Strata mat op deze last 128–188 tok/s bij prefill en 23–31 tok/s bij decoderen. Tijdens inferentie nam de RX 580 tot ongeveer 120 W op. Voor een model van die omvang is de kaart de zwakkere optie; als «tweede brein» voor korte microtaken maken de resultaten haar desondanks nuttig, en ze kost minder dan een vergelijkbare hoeveelheid nieuwer systeemgeheugen.
Het experiment ging vervolgens weg van het grootst mogelijke model en naar kleine modellen die geheel in 8 GB videogeheugen passen. Drie modellen zijn afzonderlijk gemeten: Qwen2.5-3B Q4 — 1,79 GiB, 392 tok/s prefill en 60 tok/s decoderen; Nemotron Nano 4B Q4 — 2,63 GiB, 268 / 40 tok/s; en Bonsai 2 9B Q2 — 2,37 GiB, 170 / 27 tok/s. Het gecombineerde gewicht is 6,79 GiB. In theorie zouden alle drie in 8 GB kunnen passen, met ongeveer 1,21 GiB over voor KV-cache, rekenbuffers en overhead. Dat is krap, en gelijktijdige residentie van alle drie in het videogeheugen is niet geverifieerd.
Het werkelijke verbruik van de kaart tijdens lokale inferentie is ook gemeten bij vijf vermogenslimieten: 120, 100, 70, 50 en 30 W. Voor kleine modellen die geheel in het videogeheugen passen, was in dit experiment 70 W het zuinigste punt voor generatie. Ten opzichte van 120 W lag het verbruik van de kaart tijdens inferentie ongeveer 36% lager, de generatiesnelheid slechts 12–15% lager en de energie per gegenereerd token 26–28% lager. Bij 70 W genereerde het 3B-model 39,5 tok/s. Een kort antwoord van 200 tokens gebruikte 0,091 Wh elektriciteit van de kaart zelf. Bij 0,25 €/kWh is dat 0,000023 € per zo’n antwoord, 0,023 € voor duizend antwoorden per dag en ongeveer 8,30 € voor 365.000 van zulke antwoorden in een jaar. Deze schatting sluit rustverbruik en de rest van de computer uit. In rust neemt de RX 580 ongeveer 14 W op, wat bij ononderbroken voeding overeenkomt met ongeveer 30,70 € per jaar; processor, geheugen, moederbord en opslag komen erbij. Bij weinig intensieve lasten kan het verlagen van het rustverbruik meer betekenen dan het verlagen van het verbruik tijdens de inferentie zelf. Kanttekening: 70 W is optimaal voor de in dit experiment gemeten generatie met kleine modellen, niet per se voor elke taak. Lange verzoeken, pijplijnen voor tekstherkenning op beelden, audioverwerking en andere lasten kunnen geheel andere snelheids- en energiekenmerken hebben.
De volgende werkrichting is niet «hoe groot een model kan worden uitgevoerd», maar hoeveel nuttige alledaagse taken een goedkoop lokaal systeem kan uitvoeren: analyse van kleine pdf’s, gegevensextractie uit scans, tekstherkenning in afbeeldingen, transcriptie van korte opnamen, classificatie van bestanden, samenvattingen, het lezen van logboeken, het routeren van verzoeken en het voorbereiden van gegevens voor een groter AI-systeem. Die multimodale en documentaire lasten zijn op deze kaart nog niet experimenteel onderzocht. Hun haalbaarheid, nauwkeurigheid, latentie, geheugenbehoefte en energiekosten moeten nog worden onderzocht. Sommige bewerkingen zijn mogelijk beter op de processor op hun plaats, waarbij de kaart voor inferentie overblijft. Of meerdere gespecialiseerde modellen geladen kunnen blijven, waarvan er telkens één draait, is eveneens nog een open vraag.
De voeding is een afzonderlijke technische kwestie. Een standaard PCIe-x16-slot kan tot 75 W rechtstreeks van het moederbord leveren. De zuinigste modus voor kleine modellen in dit experiment was een softwarelimiet van 70 W. Het idee dat we overwegen is een configuratie die alleen vanuit het slot draait, zonder extra 6- of 8-pins voedingsstekker, zodat een dergelijke kaart in een bestaande kantoorcomputer zou kunnen worden geplaatst, zonder de voeding te vervangen. Dat is een werkrichting, geen afgeronde oplossing. In het experiment werden zelfs bij de softwarelimiet van 70 W nog korte pieken boven 75 W waargenomen, en de RX 580 die we hebben heeft nog altijd hulpvoeding nodig. Een veilig ontwerp «alleen vanuit het slot» zou technisch werk aan piekvermogen en compatibiliteitscontroles vergen. Documentaire, grafische en audioworkflows moeten ook nog worden bevestigd. We stellen niet dat een dergelijke installatie al aan klanten wordt geleverd.
Een kaart van 49 € vervangt het hoofdsysteem met Strata niet. Op de al verkregen resultaten kan ze een goedkope, relatief zuinige uitvoerder worden voor veel korte, herhaalde taken, waarbij de gegevens lokaal blijven. Alle metingen, experimenten met de vermogenslimiet, de methode, ruwe logboeken, mislukkingen en conclusies zijn in de repository gepubliceerd. We onderzoeken hoeveel nuttige lokale AI valt te halen uit hardware die vaak als verouderd wordt gezien.