Expérience avec une carte graphique AMD RX 580 à 49 € : petits modèles et consommation d’énergie

Le 12 novembre 2026, une AMD Radeon RX 580 8 Go a été installée dans la P3001, une station de travail d’occasion avec un processeur Xeon E5-2697 v2 et 64 Go de mémoire ECC DDR3-1333 installés en mode quadruple canal (le système en voit environ 62 Go). La carte a été achetée 49 € : 45 € pour la carte elle-même et 4 € de livraison. Il s’agit de la variante RX 580 2048SP : elle a 2 048 processeurs de flux, et non les 2 304 d’une RX 580 « complète », et se rapproche pour l’essentiel d’une RX 570. Cette distinction compte lors d’une comparaison avec d’autres cartes de la même gamme. Le système d’exploitation est Ubuntu 24.04.

Strata ne démarre pas sur cette carte, et nous ne prévoyons pas de demander la prise en charge de ce modèle de GPU dans Strata : le temps de l’auteur est mieux employé sur du matériel plus capable. L’expérience a utilisé llama.cpp avec le backend Vulkan. Il n’y a pas de CUDA, pas de cœurs tenseurs et pas d’accélération FP16. Sur la même station, un petit modèle 3B en quantification Q4 a atteint 60 tok/s en décodage. Pour comparaison, sur un grand modèle Qwen de 77,9 Gio, RX 580 avec llama.cpp a mesuré 33,9 tok/s en préremplissage et 5,85 tok/s en décodage. La même station avec une RTX 3050 8 Go et Strata, sur cette charge, a mesuré 128–188 tok/s en préremplissage et 23–31 tok/s en décodage. Pendant l’inférence, la RX 580 a consommé jusqu’à environ 120 W. Pour un modèle de cette taille, la carte est l’option la plus faible ; comme « second cerveau » pour de courtes microtâches, les résultats la rendent néanmoins utile, et elle coûte moins qu’une quantité comparable de mémoire système plus récente.

L’expérience s’est ensuite éloignée du plus grand modèle possible pour se tourner vers de petits modèles qui tiennent entièrement dans 8 Go de mémoire vidéo. Trois modèles ont été mesurés séparément : Qwen2.5-3B Q4 — 1,79 Gio, 392 tok/s de préremplissage et 60 tok/s de décodage ; Nemotron Nano 4B Q4 — 2,63 Gio, 268 / 40 tok/s ; et Bonsai 2 9B Q2 — 2,37 Gio, 170 / 27 tok/s. Le poids combiné est de 6,79 Gio. En théorie, les trois pourraient tenir dans 8 Go, laissant environ 1,21 Gio pour le cache KV, les tampons de calcul et le surcoût. C’est serré, et la présence simultanée des trois en mémoire vidéo n’a pas été vérifiée.

La consommation réelle de la carte pendant l’inférence locale a aussi été mesurée à cinq limites de puissance : 120, 100, 70, 50 et 30 W. Pour les petits modèles qui tiennent entièrement en mémoire vidéo, dans cette expérience le point le plus efficace pour la génération a été 70 W. Par rapport à 120 W, la consommation de la carte pendant l’inférence était d’environ 36 % inférieure, la vitesse de génération seulement 12–15 % plus basse et l’énergie par jeton généré 26–28 % plus basse. À 70 W, le modèle 3B générait 39,5 tok/s. Une courte réponse de 200 jetons a utilisé 0,091 Wh d’électricité de la carte seule. À 0,25 €/kWh, cela fait 0,000023 € pour une telle réponse, 0,023 € pour mille réponses par jour et environ 8,30 € pour 365 000 réponses de ce type en un an. Cette estimation n’inclut ni le régime de repos ni le reste de l’ordinateur. Au repos, la RX 580 consomme environ 14 W, soit environ 30,70 € par an si elle reste allumée en permanence ; le processeur, la mémoire, la carte mère et le stockage s’y ajoutent. Pour des charges peu intensives, réduire la consommation au repos peut compter davantage que réduire celle de l’inférence. Précision : 70 W est optimal pour la génération par petits modèles mesurée dans cette expérience, pas nécessairement pour toute tâche. Les longues requêtes, les chaînes de reconnaissance de texte sur des images, le traitement audio et d’autres charges peuvent avoir des caractéristiques de vitesse et d’énergie tout à fait différentes.

La suite du travail n’est pas « quel plus grand modèle peut être exécuté », mais combien de tâches quotidiennes utiles un système local peu coûteux peut accomplir : analyse de petits PDF, extraction de données à partir de numérisations, reconnaissance de texte dans des images, transcription de courts enregistrements, classification de fichiers, résumés, lecture de journaux, acheminement de demandes et préparation de données pour un système d’IA plus grand. Ces charges multimodales et documentaires n’ont pas encore fait l’objet d’une expérience sur cette carte. Leur faisabilité, leur exactitude, leur latence, leur besoin en mémoire et leur coût énergétique restent à examiner. Certaines opérations sont peut-être mieux traitées sur le processeur, la carte étant réservée à l’inférence. La possibilité de laisser chargés plusieurs modèles spécialisés, dont un seul s’exécute à la fois, reste également une question ouverte.

L’alimentation est une question d’ingénierie distincte. Un emplacement PCIe x16 standard peut fournir jusqu’à 75 W directement depuis la carte mère. Le mode le plus efficace pour les petits modèles dans cette expérience a été une limite logicielle de 70 W. L’idée que nous examinons est une configuration qui fonctionne uniquement depuis l’emplacement, sans connecteur d’alimentation supplémentaire à 6 ou 8 broches, de façon à pouvoir installer une telle carte dans un ordinateur de bureau déjà en place, sans changer le bloc d’alimentation. C’est une direction de travail, non une solution achevée. Dans l’expérience, même avec la limite logicielle de 70 W, de brefs pics au-dessus de 75 W ont encore été observés, et la RX 580 dont nous disposons exige toujours une alimentation auxiliaire. Une conception sûre « uniquement depuis l’emplacement » exigerait un travail d’ingénierie sur la puissance de pointe et des vérifications de compatibilité. Les flux documentaires, graphiques et audio restent aussi à confirmer. Nous n’affirmons pas qu’une telle installation est déjà fournie aux clients.

Une carte à 49 € ne remplace pas le système principal avec Strata. D’après les résultats déjà obtenus, elle peut devenir un exécutant peu coûteux, relativement économe, pour de nombreuses tâches courtes et répétitives, les données restant locales. Toutes les mesures, les expériences sur la limite de puissance, la méthode, les journaux bruts, les échecs et les conclusions sont publiés dans le dépôt. Nous cherchons à savoir quelle quantité d’IA locale utile on peut tirer d’un matériel souvent considéré comme dépassé.

Mesures dans le dépôt · Publication sur X · Toutes les actualités