Esperimento con una scheda video AMD RX 580 da 49 €: modelli piccoli e consumo di energia
Una scheda grafica da 49 € in una stazione di lavoro del 2012–2013: cosa riescono a fare i piccoli modelli locali e come appaiono i dati sull’energia. Le cifre provengono da un esperimento CLARYEL del 12 novembre 2026.
Il 12 novembre 2026 è stata installata una AMD Radeon RX 580 8 GB nella P3001, una stazione di lavoro usata con processore Xeon E5-2697 v2 e 64 GB di memoria ECC DDR3-1333 installati in modalità a quattro canali (il sistema ne vede circa 62 GB). La scheda è stata acquistata a 49 €: 45 € per la scheda e 4 € di spedizione. Si tratta della variante RX 580 2048SP: ha 2.048 processori di flusso, non i 2.304 di una RX 580 «completa», ed è sostanzialmente più vicina a una RX 570. Questa distinzione conta nel confronto con altre schede della stessa linea. Il sistema operativo è Ubuntu 24.04.
Strata non si avvia su questa scheda, e non prevediamo di chiedere il supporto di questo modello di GPU in Strata: il tempo dell’autore è meglio impiegarlo su hardware più capace. Per l’esperimento si è usato llama.cpp con backend Vulkan. Non c’è CUDA, non ci sono tensor core e non c’è accelerazione FP16. Sulla stessa stazione, un piccolo modello 3B in quantizzazione Q4 ha raggiunto 60 tok/s in decodifica. Per confronto, su un grande modello Qwen da 77,9 GiB, RX 580 con llama.cpp ha misurato 33,9 tok/s in prefill e 5,85 tok/s in decodifica. La stessa stazione con una RTX 3050 8 GB e Strata, su questo carico, ha misurato 128–188 tok/s in prefill e 23–31 tok/s in decodifica. Durante l’inferenza la RX 580 ha assorbito fino a circa 120 W. Per un modello di quelle dimensioni la scheda è l’opzione più debole; come «secondo cervello» per brevi microcompiti i risultati la rendono comunque utile, e costa meno di una quantità comparabile di memoria di sistema più recente.
L’esperimento si è poi allontanato dal modello più grande possibile e si è rivolto ai modelli piccoli che stanno interamente in 8 GB di memoria video. Sono stati misurati separatamente tre modelli: Qwen2.5-3B Q4 — 1,79 GiB, 392 tok/s di prefill e 60 tok/s di decodifica; Nemotron Nano 4B Q4 — 2,63 GiB, 268 / 40 tok/s; e Bonsai 2 9B Q2 — 2,37 GiB, 170 / 27 tok/s. Il peso complessivo è 6,79 GiB. In teoria tutti e tre potrebbero stare in 8 GB, lasciando circa 1,21 GiB per la cache KV, i buffer di calcolo e il sovraccarico. È stretto, e la presenza simultanea di tutti e tre in memoria video non è stata verificata.
È stato misurato anche il consumo effettivo della scheda durante l’inferenza locale a cinque limiti di potenza: 120, 100, 70, 50 e 30 W. Per i modelli piccoli che stanno interamente in memoria video, in questo esperimento il punto più efficiente per la generazione è stato 70 W. Rispetto a 120 W, il consumo della scheda durante l’inferenza è stato circa il 36% più basso, la velocità di generazione solo il 12–15% più bassa e l’energia per token generato il 26–28% più bassa. A 70 W il modello 3B ha generato 39,5 tok/s. Una risposta breve di 200 token ha usato 0,091 Wh di elettricità della sola scheda. A 0,25 €/kWh ciò equivale a 0,000023 € per una tale risposta, 0,023 € per mille risposte al giorno e circa 8,30 € per 365.000 risposte simili in un anno. Questa stima non comprende il regime di riposo né il resto del computer. In riposo la RX 580 assorbe circa 14 W, pari a circa 30,70 € all’anno se resta sempre accesa; processore, memoria, scheda madre e archiviazione aggiungono il loro. Per carichi poco intensi, ridurre il consumo a riposo può contare più che ridurre il consumo durante l’inferenza. Precisazione: 70 W è ottimale per la generazione con modelli piccoli misurata in questo esperimento, non necessariamente per ogni compito. Richieste lunghe, pipeline di riconoscimento del testo sulle immagini, elaborazione audio e altri carichi possono avere caratteristiche di velocità ed energia del tutto diverse.
La linea di lavoro successiva non è «quanto grande può essere il modello eseguito», ma quante attività quotidiane utili può svolgere un sistema locale economico: analisi di piccoli PDF, estrazione di dati da scansioni, riconoscimento del testo nelle immagini, trascrizione di brevi registrazioni, classificazione di file, sintesi di documenti, lettura di registri, instradamento di richieste e preparazione dei dati per un sistema di IA più grande. Questi carichi multimodali e di elaborazione documentale non sono ancora stati oggetto di esperimento su questa scheda. Fattibilità, accuratezza, latenza, fabbisogno di memoria e costo energetico restano tutti da indagare. Alcune operazioni potrebbero essere meglio gestite sul processore, lasciando la scheda per l’inferenza. Se possano restare caricati più modelli specializzati, con uno solo in esecuzione alla volta, è anch’essa una domanda ancora aperta.
L’alimentazione è una questione ingegneristica a parte. Uno slot PCIe x16 standard può erogare fino a 75 W direttamente dalla scheda madre. Il modo più efficiente per i modelli piccoli in questo esperimento è stato un limite software di 70 W. L’idea che stiamo considerando è una configurazione che funzioni solo dallo slot, senza un connettore di alimentazione aggiuntivo a 6 o 8 pin, in modo da poter inserire una tale scheda in un computer da ufficio già esistente, senza sostituire l’alimentatore. È una direzione di lavoro, non una soluzione finita. Nell’esperimento, anche con il limite software di 70 W, si sono ancora osservati picchi brevi sopra i 75 W, e la RX 580 di cui disponiamo richiede ancora alimentazione ausiliaria. Un progetto sicuro «solo dallo slot» richiederebbe lavoro ingegneristico sulla potenza di picco e verifiche di compatibilità. Anche i flussi documentali, grafici e audio restano da confermare. Non affermiamo che una tale installazione sia già fornita ai clienti.
Una scheda da 49 € non sostituisce il sistema principale con Strata. Sui risultati già ottenuti può diventare un esecutore economico, relativamente parsimonioso, per molti compiti brevi e ripetitivi, tenendo i dati in locale. Tutte le misure, gli esperimenti sul limite di potenza, il metodo, i registri grezzi, gli insuccessi e le conclusioni sono pubblicati nel repository. Stiamo cercando di capire quanto IA locale utile si possa ottenere da hardware che spesso viene considerato superato.