Vorläufige Energiekosten lokaler KI bei einer realen Last
Vorläufige Stromkosten eines lokalen KI-Laufs im Vergleich zu den angegebenen Cloud-API-Preisen für dieselbe Tokenzahl.
Vorläufige Energieverbrauchswerte wurden aus realen lokalen KI-Lasten anhand von Messungen und Systemprotokollen erhoben. Die Zahlen sind noch Schätzungen, geben aber ein hinreichend genaues Bild der Gesamtwirtschaftlichkeit.
Die Messungen erfolgten auf einem effizienten Notebook mit moderner GPU, zum Preis von etwa 4.000–4.500 Dollar (4.000–4.500 €). Auf weniger effizienter Hardware werden die Stromkosten voraussichtlich höher liegen und sich den API-Preisen der günstigsten chinesischen Modelle nähern können. Diese Modelle sind oft kostenlos oder mit Rabatten von bis zu 90 % verfügbar. In solchen Fällen kann Cloud-KI günstiger sein als allein der Strom für die lokale Inferenz.
Die mit dem Beitrag veröffentlichten Diagramme vergleichen eine Last — 198 GPQA-Diamond-Aufgaben, 56.514 Eingabe- und 156.136 Ausgabetoken, insgesamt 212.650 Token — bei Stromkosten von 0,25 $/kWh. Die lokalen Kosten in der Tabelle betragen 0,014 $ nur für die GPU und 0,025 $ für den geschätzten gesamten PC. Die genannten Cloud-Summen für dieselbe Tokenzahl reichen von 0,065 $ (Qwen Flash) bis 1,674 $ (Claude Sonnet 5.5 und GPT-6.1 Sol). Ein Hinweis in der Tabelle besagt, dass Hardware ausgeschlossen ist, dass Cloud-Kosten identische Tokenmengen und keine äquivalenten gemessenen Läufe verwenden und dass die Modellqualität abweichen kann.
Das sind vorläufige Ergebnisse. Weitere Messungen sind geplant; die Ergebnisse sollen auf GitHub veröffentlicht werden.