Eksperiment med et AMD RX 580-grafikkort til 49 €: små modeller og energiforbrug
Et grafikkort til 49 € i en arbejdsstation fra 2012–2013: hvad små lokale modeller kan, og hvordan energitallene ser ud. Tallene kommer fra et CLARYEL-eksperiment den 12. november 2026.
Den 12. november 2026 blev et AMD Radeon RX 580 8 GB installeret i P3001, en brugt arbejdsstation med en Xeon E5-2697 v2-processor og 64 GB DDR3-1333-ECC-hukommelse installeret i firkanals-tilstand (systemet ser omkring 62 GB). Kortet blev købt for 49 €: 45 € for selve kortet og 4 € forsendelse. Det er varianten RX 580 2048SP: den har 2.048 streamprocessorer, ikke de 2.304 på en «fuld» RX 580, og står i praksis tættere på en RX 570. Den forskel tæller, når kortet sammenlignes med andre i samme serie. Operativsystemet er Ubuntu 24.04.
Strata starter ikke på dette kort, og vi planlægger ikke at bede om understøttelse af denne GPU-model i Strata: forfatterens tid er bedre brugt på mere kapabel hardware. Eksperimentet brugte llama.cpp med Vulkan-backend. Der er ingen CUDA, ingen tensorkerner og ingen FP16-acceleration. På den samme station nåede en lille 3B-model i Q4-kvantisering 60 tok/s ved afkodning. Til sammenligning målte RX 580 med llama.cpp på en stor 77,9 GiB Qwen-model 33,9 tok/s ved prefill og 5,85 tok/s ved afkodning. Den samme station med et RTX 3050 8 GB og Strata målte på denne belastning 128–188 tok/s ved prefill og 23–31 tok/s ved afkodning. Under inferens trak RX 580 op til omkring 120 W. For en model af den størrelse er kortet det svagere valg; som «anden hjerne» til korte mikroopgaver gør resultaterne det alligevel nyttigt, og det koster mindre end en sammenlignelig mængde nyere systemhukommelse.
Eksperimentet gik derefter væk fra den størst mulige model og hen imod små modeller, der rummes helt i 8 GB videohukommelse. Tre modeller blev målt hver for sig: Qwen2.5-3B Q4 — 1,79 GiB, 392 tok/s prefill og 60 tok/s afkodning; Nemotron Nano 4B Q4 — 2,63 GiB, 268 / 40 tok/s; og Bonsai 2 9B Q2 — 2,37 GiB, 170 / 27 tok/s. Den samlede vægt er 6,79 GiB. I teorien kunne alle tre rummes i 8 GB og efterlade cirka 1,21 GiB til KV-cache, beregningsbuffere og overhead. Det er trangt, og samtidig tilstedeværelse af alle tre i videohukommelsen er ikke blevet verificeret.
Kortets faktiske forbrug under lokal inferens blev også målt ved fem effektgrænser: 120, 100, 70, 50 og 30 W. For små modeller, der rummes helt i videohukommelsen, var 70 W i dette eksperiment det mest effektive punkt for generering. Sammenlignet med 120 W var kortets forbrug under inferens omkring 36 % lavere, genereringshastigheden kun 12–15 % lavere og energien pr. genereret token 26–28 % lavere. Ved 70 W genererede 3B-modellen 39,5 tok/s. Et kort svar på 200 tokens brugte 0,091 Wh el fra selve kortet. Ved 0,25 €/kWh er det 0,000023 € pr. et sådant svar, 0,023 € for tusind svar om dagen og omkring 8,30 € for 365.000 sådanne svar på et år. Dette skøn omfatter ikke hvileforbrug og ikke resten af computeren. I hvile trækker RX 580 omkring 14 W, hvilket ved konstant drift svarer til omkring 30,70 € om året; processor, hukommelse, bundkort og lagring kommer oveni. Ved lavintensive belastninger kan en sænkning af hvileforbruget betyde mere end en sænkning under selve inferensen. Forbehold: 70 W er optimalt for den i dette eksperiment målte generering med små modeller, ikke nødvendigvis for enhver opgave. Lange forespørgsler, kæder til tekstgenkendelse på billeder, lydbehandling og andre belastninger kan have helt andre hastigheds- og energikendetegn.
Den næste arbejdsretning er ikke «hvor stor en model der kan køres», men hvor mange nyttige hverdagsopgaver et billigt lokalt system kan udføre: analyse af små PDF-filer, dataudtræk fra scanninger, tekstgenkendelse i billeder, transskription af korte optagelser, klassifikation af filer, resuméer, læsning af logfiler, routing af forespørgsler og forberedelse af data til et større AI-system. Disse multimodale og dokumentrelaterede belastninger er endnu ikke blevet eksperimenteret med på dette kort. Deres gennemførlighed, nøjagtighed, latenstid, hukommelsesbehov og energiomkostning skal stadig undersøges. Nogle operationer håndteres måske bedre på processoren, så kortet overlades til inferens. Om flere specialiserede modeller kan forblive indlæst, med kun én i kørsel ad gangen, er også stadig et åbent spørgsmål.
Strømforsyningen er et særskilt teknisk spørgsmål. En standard PCIe x16-plads kan levere op til 75 W direkte fra bundkortet. Den mest effektive tilstand for små modeller i dette eksperiment var en softwaregrænse på 70 W. Ideen, vi overvejer, er en konfiguration, der kører kun fra pladsen, uden en ekstra 6- eller 8-bens strømstik, så et sådant kort kunne sættes i en eksisterende kontorcomputer uden at skifte strømforsyningen. Det er en arbejdsretning, ikke en færdig løsning. I eksperimentet blev der selv med softwaregrænsen på 70 W stadig observeret korte spidser over 75 W, og det RX 580, vi har, har stadig brug for hjælpestrøm. Et sikkert design «kun fra pladsen» ville kræve ingeniørarbejde om spidseffekt og kompatibilitetstjek. Dokument-, billed- og lydforløb skal også stadig bekræftes. Vi hævder ikke, at en sådan installation allerede leveres til kunder.
Et kort til 49 € erstatter ikke hovedsystemet med Strata. På de allerede indhentede resultater kan det blive en billig, relativt sparsommelig udfører af mange korte, gentagne opgaver, mens data forbliver lokale. Alle målinger, eksperimenter med effektgrænse, metode, rå logfiler, fejlslagne forsøg og konklusioner er offentliggjort i arkivet. Vi undersøger, hvor meget nyttig lokal AI der kan hentes ud af hardware, som ofte betragtes som forældet.