Experiment cu o placă video AMD RX 580 de 49 €: modele mici și consum de energie
O placă grafică de 49 € într-o stație de lucru din 2012–2013: ce pot face modelele locale mici și cum arată cifrele de energie. Numerele provin dintr-un experiment CLARYEL din 12 noiembrie 2026.
Pe 12 noiembrie 2026 a fost instalată o AMD Radeon RX 580 8 GB în P3001, o stație de lucru second-hand cu procesor Xeon E5-2697 v2 și 64 GB de memorie ECC DDR3-1333 instalați în mod quad-channel (sistemul vede circa 62 GB). Placa a fost cumpărată cu 49 €: 45 € placa însăși și 4 € livrarea. Este varianta RX 580 2048SP: are 2.048 procesoare de flux, nu 2.304 cât o RX 580 «completă», și este în esență mai apropiată de o RX 570. Această deosebire contează la compararea cu alte plăci din aceeași linie. Sistemul de operare este Ubuntu 24.04.
Strata nu pornește pe această placă, și nu plănuim să cerem suportul acestui model de GPU în Strata: timpul autorului este mai bine folosit pe hardware mai capabil. Experimentul a folosit llama.cpp cu backend Vulkan. Nu există CUDA, nu există nuclee tensoriale și nu există accelerare FP16. Pe aceeași stație, un model mic 3B la cuantizare Q4 a atins 60 tok/s la decodare. Pentru comparație, pe un model Qwen mare de 77,9 GiB, RX 580 cu llama.cpp a măsurat 33,9 tok/s la prefill și 5,85 tok/s la decodare. Aceeași stație cu o RTX 3050 8 GB și Strata, pe această sarcină, a măsurat 128–188 tok/s la prefill și 23–31 tok/s la decodare. În timpul inferenței, RX 580 a consumat până la circa 120 W. Pentru un model de acea mărime placa este opțiunea mai slabă; ca «al doilea creier» pentru micro-sarcini scurte, rezultatele o fac totuși utilă, și costă mai puțin decât o cantitate comparabilă de memorie de sistem mai nouă.
Experimentul s-a îndepărtat apoi de cel mai mare model posibil și s-a îndreptat spre modele mici care încap integral în 8 GB de memorie video. Trei modele au fost măsurate separat: Qwen2.5-3B Q4 — 1,79 GiB, 392 tok/s prefill și 60 tok/s decodare; Nemotron Nano 4B Q4 — 2,63 GiB, 268 / 40 tok/s; și Bonsai 2 9B Q2 — 2,37 GiB, 170 / 27 tok/s. Greutatea combinată este 6,79 GiB. În teorie toate trei ar putea încăpea în 8 GB, lăsând circa 1,21 GiB pentru cache-ul KV, bufferele de calcul și overhead. Este strâns, iar rezidența simultană a tuturor trei în memoria video nu a fost verificată.
Consumul real al plăcii în timpul inferenței locale a fost măsurat și la cinci limite de putere: 120, 100, 70, 50 și 30 W. Pentru modelele mici care încap integral în memoria video, în acest experiment punctul cel mai eficient pentru generare a fost 70 W. Față de 120 W, consumul plăcii în timpul inferenței a fost cu circa 36% mai mic, viteza de generare doar cu 12–15% mai mică, iar energia pe token generat cu 26–28% mai mică. La 70 W modelul 3B a generat 39,5 tok/s. Un răspuns scurt de 200 de tokeni a folosit 0,091 Wh de electricitate a plăcii înseși. La 0,25 €/kWh aceasta înseamnă 0,000023 € pentru un astfel de răspuns, 0,023 € pentru o mie de răspunsuri pe zi și circa 8,30 € pentru 365.000 de astfel de răspunsuri într-un an. Această estimare nu include consumul în repaus și restul calculatorului. În repaus, RX 580 consumă circa 14 W, echivalent cu circa 30,70 € pe an dacă rămâne alimentată continuu; procesorul, memoria, placa de bază și stocarea adaugă ale lor. Pentru sarcini de intensitate redusă, reducerea consumului în repaus poate conta mai mult decât reducerea celui din timpul inferenței. Precizare: 70 W este optim pentru generarea cu modele mici măsurată în acest experiment, nu neapărat pentru orice sarcină. Solicitările lungi, lanțurile de recunoaștere a textului pe imagini, prelucrarea audio și alte sarcini pot avea caracteristici de viteză și energie cu totul diferite.
Următoarea linie de lucru nu este «cât de mare poate fi modelul rulat», ci câte sarcini zilnice utile poate îndeplini un sistem local ieftin: analiză de PDF-uri mici, extragere de date din scanări, recunoaștere de text în imagini, transcriere de înregistrări scurte, clasificare de fișiere, rezumate, citirea jurnalelor, rutarea cererilor și pregătirea datelor pentru un sistem de IA mai mare. Aceste sarcini multimodale și documentare nu au fost încă experimentate pe această placă. Fezabilitatea, acuratețea, latența, nevoia de memorie și costul energetic rămân de cercetat. Unele operații sunt poate mai bine tratate pe procesor, lăsând placa pentru inferență. Dacă mai multe modele specializate pot rămâne încărcate, cu doar unul în execuție la un moment dat, este de asemenea o întrebare încă deschisă.
Alimentarea este o chestiune de inginerie separată. Un slot PCIe x16 standard poate furniza până la 75 W direct de pe placa de bază. Modul cel mai eficient pentru modele mici în acest experiment a fost o limită software de 70 W. Ideea pe care o analizăm este o configurație care funcționează doar din slot, fără un conector de alimentare suplimentar de 6 sau 8 pini, astfel încât o astfel de placă să poată fi montată într-un calculator de birou deja existent, fără înlocuirea sursei. Este o direcție de lucru, nu o soluție terminată. În experiment, chiar și cu limita software de 70 W, s-au observat încă vârfuri scurte peste 75 W, iar RX 580 pe care o avem are în continuare nevoie de alimentare auxiliară. Un proiect sigur «doar din slot» ar necesita lucru de inginerie asupra puterii de vârf și verificări de compatibilitate. Fluxurile documentare, grafice și audio rămân și ele de confirmat. Nu afirmăm că o astfel de instalație este deja livrată clienților.
O placă de 49 € nu înlocuiește sistemul principal cu Strata. Pe rezultatele deja obținute poate deveni un executant ieftin, relativ economic, pentru multe sarcini scurte și repetitive, datele rămânând locale. Toate măsurătorile, experimentele privind limita de putere, metoda, jurnalele brute, eșecurile și concluziile sunt publicate în depozit. Căutăm să aflăm câtă IA locală utilă se poate obține din hardware care este adesea considerat depășit.