Experiment mit einer AMD-RX-580-Grafikkarte für 49 €: kleine Modelle und Energieverbrauch
Eine Grafikkarte für 49 € in einer Workstation von 2012–2013: was kleine lokale Modelle leisten, und wie die Energiezahlen aussehen. Die Zahlen stammen aus einem CLARYEL-Experiment vom 12. November 2026.
Am 12. November 2026 wurde eine AMD Radeon RX 580 8 GB in der P3001 installiert, einer gebrauchten Workstation mit einem Xeon-E5-2697-v2-Prozessor und 64 GB DDR3-1333-ECC-Speicher im Vierkanalbetrieb (das System sieht etwa 62 GB). Die Karte wurde für 49 € gekauft: 45 € für die Karte selbst und 4 € Versand. Es handelt sich um die Variante RX 580 2048SP: sie hat 2.048 Stream-Prozessoren, nicht die 2.304 einer «vollen» RX 580, und steht einer RX 570 im Wesentlichen näher. Dieser Unterschied zählt beim Vergleich mit anderen Karten derselben Reihe. Das Betriebssystem ist Ubuntu 24.04.
Strata startet auf dieser Karte nicht, und wir planen nicht, die Unterstützung dieses GPU-Modells in Strata zu erbitten: die Zeit des Autors ist auf leistungsfähigerer Hardware besser angelegt. Für das Experiment wurde llama.cpp mit Vulkan-Backend verwendet. Es gibt kein CUDA, keine Tensor-Kerne und keine FP16-Beschleunigung. Auf derselben Station erreichte ein kleines 3B-Modell in Q4-Quantisierung 60 Tok/s beim Dekodieren. Zum Vergleich maß RX 580 mit llama.cpp auf einem großen 77,9-GiB-Qwen-Modell 33,9 Tok/s im Prefill und 5,85 Tok/s beim Dekodieren. Dieselbe Station mit einer RTX 3050 8 GB und Strata maß bei dieser Last 128–188 Tok/s im Prefill und 23–31 Tok/s beim Dekodieren. Während der Inferenz nahm die RX 580 bis etwa 120 W auf. Für ein Modell dieser Größe ist die Karte die schwächere Option; als «zweites Gehirn» für kurze Mikroaufgaben machen die Ergebnisse sie dennoch nützlich, und sie kostet weniger als eine vergleichbare Menge neueren Systemspeichers.
Das Experiment wandte sich dann vom größtmöglichen Modell ab und kleinen Modellen zu, die vollständig in 8 GB Videospeicher passen. Drei Modelle wurden getrennt gemessen: Qwen2.5-3B Q4 — 1,79 GiB, 392 Tok/s Prefill und 60 Tok/s Dekodierung; Nemotron Nano 4B Q4 — 2,63 GiB, 268 / 40 Tok/s; und Bonsai 2 9B Q2 — 2,37 GiB, 170 / 27 Tok/s. Das kombinierte Gewicht beträgt 6,79 GiB. Theoretisch könnten alle drei in 8 GB passen und etwa 1,21 GiB für KV-Cache, Rechenpuffer und Overhead lassen. Das ist eng, und die gleichzeitige Residenz aller drei im Videospeicher wurde nicht überprüft.
Die tatsächliche Leistungsaufnahme der Karte während lokaler Inferenz wurde außerdem bei fünf Leistungsgrenzen gemessen: 120, 100, 70, 50 und 30 W. Für kleine Modelle, die vollständig in den Videospeicher passen, war in diesem Experiment 70 W der effizienteste Punkt für die Generierung. Gegenüber 120 W lag die Aufnahme der Karte während der Inferenz etwa 36 % niedriger, die Generierungsgeschwindigkeit nur 12–15 % niedriger und die Energie pro erzeugtem Token 26–28 % niedriger. Bei 70 W erzeugte das 3B-Modell 39,5 Tok/s. Eine kurze Antwort von 200 Token verbrauchte 0,091 Wh Strom der Grafikkarte selbst. Bei 0,25 €/kWh sind das 0,000023 € für eine solche Antwort, 0,023 € für tausend Antworten am Tag und etwa 8,30 € für 365.000 solche Antworten im Jahr. Diese Schätzung schließt Ruheaufnahme und den Rest des Rechners nicht ein. Im Ruhezustand nimmt die RX 580 etwa 14 W auf, das entspricht bei Dauerbetrieb etwa 30,70 € im Jahr; Prozessor, Speicher, Hauptplatine und Speicherlaufwerke kommen hinzu. Bei geringer Auslastung kann die Senkung der Ruheaufnahme mehr bedeuten als die Senkung während der Inferenz. Einschränkung: 70 W ist optimal für die in diesem Experiment gemessene Generierung mit kleinen Modellen, nicht unbedingt für jede Aufgabe. Lange Eingaben, Texterkennung auf Bildern, Audioverarbeitung und andere Lasten können völlig andere Geschwindigkeits- und Energiekennwerte haben.
Die nächste Arbeitsrichtung ist nicht «wie groß ein Modell ausgeführt werden kann», sondern wie viele nützliche Alltagsaufgaben ein preiswertes lokales System erledigen kann: Auswertung kleiner PDFs, Datenextraktion aus Scans, Texterkennung in Bildern, Transkription kurzer Aufnahmen, Dateiklassifikation, Zusammenfassungen, Lesen von Protokollen, Weiterleitung von Anfragen und Vorbereitung von Daten für ein größeres KI-System. Diese multimodalen und dokumentbezogenen Lasten wurden auf dieser Karte noch nicht experimentell untersucht. Machbarkeit, Genauigkeit, Latenz, Speicherbedarf und Energiekosten müssen erst noch ermittelt werden. Manche Operationen sind möglicherweise besser auf dem Prozessor aufgehoben, die Grafikkarte bleibt der Inferenz vorbehalten. Ob mehrere spezialisierte Modelle geladen bleiben können, von denen jeweils nur eines läuft, ist ebenfalls noch eine offene Frage.
Die Stromversorgung ist eine eigene technische Frage. Ein standardmäßiger PCIe-x16-Steckplatz kann bis zu 75 W direkt vom Mainboard liefern. Der energieeffizienteste Modus für kleine Modelle in diesem Experiment war eine Softwaregrenze von 70 W. Die Idee, die wir prüfen, ist eine Konfiguration, die allein aus dem Steckplatz läuft, ohne zusätzlichen 6- oder 8-Pin-Stromstecker, sodass eine solche Karte in einen vorhandenen Bürorechner eingesetzt werden könnte, ohne das Netzteil zu tauschen. Das ist eine Arbeitsrichtung, keine fertige Lösung. Im Experiment wurden selbst bei der Softwaregrenze von 70 W noch kurze Spitzen über 75 W beobachtet, und die vorhandene RX 580 braucht weiterhin Zusatzstrom. Ein sicheres «nur aus dem Steckplatz»-Design würde ingenieurmäßige Arbeit an der Spitzenleistung und Kompatibilitätsprüfungen erfordern. Dokument-, Bild- und Audioabläufe müssen ebenfalls noch bestätigt werden. Wir behaupten nicht, dass eine solche Installation bereits an Kunden geliefert wird.
Eine Karte für 49 € ersetzt nicht das Hauptsystem mit Strata. Nach den vorliegenden Ergebnissen kann sie ein preiswerter, vergleichsweise sparsamer Arbeiter für viele kurze, wiederkehrende Aufgaben werden, wobei die Daten lokal bleiben. Alle Messungen, Experimente zur Leistungsgrenze, die Methode, Rohprotokolle, Fehlschläge und Schlussfolgerungen sind im Repository veröffentlicht. Wir untersuchen, wie viel nützliche lokale KI sich aus Hardware gewinnen lässt, die oft als überholt gilt.