Experiment med ett AMD RX 580-grafikkort för 49 €: små modeller och energianvändning
Ett grafikkort för 49 € i en arbetsstation från 2012–2013: vad små lokala modeller kan göra, och hur energisiffrorna ser ut. Siffrorna kommer från ett CLARYEL-experiment den 12 november 2026.
Den 12 november 2026 installerades ett AMD Radeon RX 580 8 GB i P3001, en begagnad arbetsstation med en Xeon E5-2697 v2-processor och 64 GB DDR3-1333-ECC-minne installerat i fyrkanalsläge (systemet ser omkring 62 GB). Kortet köptes för 49 €: 45 € för själva kortet och 4 € frakt. Det är varianten RX 580 2048SP: den har 2 048 strömprocessorer, inte de 2 304 som en «full» RX 580 har, och står i praktiken närmare en RX 570. Den skillnaden räknas när kortet jämförs med andra i samma serie. Operativsystemet är Ubuntu 24.04.
Strata startar inte på detta kort, och vi planerar inte att be om stöd för denna GPU-modell i Strata: författarens tid används bättre på mer kapabel hårdvara. Experimentet använde llama.cpp med Vulkan-backend. Det finns ingen CUDA, inga tensorkärnor och ingen FP16-acceleration. På samma station nådde en liten 3B-modell i Q4-kvantisering 60 tok/s vid avkodning. Som jämförelse mätte RX 580 med llama.cpp på en stor 77,9 GiB Qwen-modell 33,9 tok/s vid prefill och 5,85 tok/s vid avkodning. Samma station med ett RTX 3050 8 GB och Strata mätte på denna last 128–188 tok/s vid prefill och 23–31 tok/s vid avkodning. Under inferens drog RX 580 upp till omkring 120 W. För en modell av den storleken är kortet det svagare alternativet; som «andra hjärna» för korta mikrouppgifter gör resultaten det ändå användbart, och det kostar mindre än en jämförbar mängd nyare systemminne.
Experimentet gick sedan bort från den största möjliga modellen och mot små modeller som ryms helt i 8 GB videominne. Tre modeller mättes var för sig: Qwen2.5-3B Q4 — 1,79 GiB, 392 tok/s prefill och 60 tok/s avkodning; Nemotron Nano 4B Q4 — 2,63 GiB, 268 / 40 tok/s; och Bonsai 2 9B Q2 — 2,37 GiB, 170 / 27 tok/s. Den sammanlagda vikten är 6,79 GiB. I teorin skulle alla tre kunna rymmas i 8 GB och lämna ungefär 1,21 GiB till KV-cache, beräkningsbuffertar och overhead. Det är trångt, och samtidig residens av alla tre i videominnet har inte verifierats.
Kortets faktiska förbrukning under lokal inferens mättes också vid fem effektgränser: 120, 100, 70, 50 och 30 W. För små modeller som ryms helt i videominnet var i detta experiment 70 W den effektivaste punkten för generering. Jämfört med 120 W var kortets förbrukning under inferens omkring 36 % lägre, genereringshastigheten bara 12–15 % lägre och energin per genererad token 26–28 % lägre. Vid 70 W genererade 3B-modellen 39,5 tok/s. Ett kort svar på 200 token använde 0,091 Wh el från själva kortet. Vid 0,25 €/kWh är det 0,000023 € per ett sådant svar, 0,023 € för tusen svar om dagen och omkring 8,30 € för 365 000 sådana svar på ett år. Denna uppskattning omfattar inte viloförbrukning och inte resten av datorn. I vila drar RX 580 omkring 14 W, vilket vid kontinuerlig drift motsvarar omkring 30,70 € per år; processor, minne, moderkort och lagring tillkommer. För lågintensiva laster kan sänkt viloförbrukning betyda mer än sänkt förbrukning under själva inferensen. Förbehåll: 70 W är optimalt för den i detta experiment mätta genereringen med små modeller, inte nödvändigtvis för varje uppgift. Långa frågor, pipelines för textigenkänning på bilder, ljudbehandling och andra laster kan ha helt andra hastighets- och energiegenskaper.
Nästa arbetsinriktning är inte «hur stor modell som kan köras», utan hur många nyttiga vardagsuppgifter ett billigt lokalt system kan utföra: analys av små PDF-filer, datautvinning ur skanningar, textigenkänning i bilder, transkribering av korta inspelningar, klassificering av filer, sammanfattningar, läsning av loggar, dirigering av förfrågningar och förberedelse av data för ett större AI-system. Dessa multimodala och dokumentrelaterade laster har ännu inte experimenterats med på detta kort. Deras genomförbarhet, träffsäkerhet, latens, minnesbehov och energikostnad måste fortfarande utredas. Vissa operationer sköts kanske bättre på processorn, så att kortet lämnas för inferens. Om flera specialiserade modeller kan förbli inlästa, med bara en i körning åt gången, är också fortfarande en öppen fråga.
Strömförsörjningen är en separat teknisk fråga. En standardmässig PCIe x16-plats kan lämna upp till 75 W direkt från moderkortet. Det mest effektiva läget för små modeller i detta experiment var en programgräns på 70 W. Idén vi överväger är en konfiguration som körs bara från platsen, utan en extra 6- eller 8-stifts strömkontakt, så att ett sådant kort skulle kunna sättas i en befintlig kontorsdator utan att nätaggregatet byts. Det är en arbetsinriktning, inte en färdig lösning. I experimentet observerades även med programgränsen 70 W fortfarande korta toppar över 75 W, och det RX 580 vi har behöver fortfarande extra ström. En säker konstruktion «bara från platsen» skulle kräva ingenjörsarbete kring toppeffekt och kompatibilitetskontroller. Dokument-, bild- och ljudflöden måste också fortfarande bekräftas. Vi påstår inte att en sådan installation redan levereras till kunder.
Ett kort för 49 € ersätter inte huvudsystemet med Strata. På de redan erhållna resultaten kan det bli en billig, relativt sparsam utförare av många korta, upprepade uppgifter, samtidigt som data stannar lokalt. Alla mätningar, experiment med effektgräns, metod, råa loggar, misslyckanden och slutsatser är publicerade i arkivet. Vi undersöker hur mycket nyttig lokal AI som kan utvinnas ur hårdvara som ofta betraktas som föråldrad.