Voorlopige energiekosten van lokale AI bij een echte belasting
Voorlopige elektriciteitskosten van een lokale AI-run, vergeleken met de genoemde cloud-API-prijzen voor hetzelfde aantal tokens.
Er zijn voorlopige cijfers over energieverbruik verzameld uit echte lokale AI-belastingen, op basis van metingen en systeemlogboeken. De cijfers zijn nog schattingen, maar geven een redelijk nauwkeurig beeld van de totale economie.
De metingen zijn uitgevoerd op een zuinige laptop met een moderne GPU, ter waarde van ongeveer 4.000–4.500 dollar (4.000–4.500 €). Op minder zuinige hardware zullen de elektriciteitskosten waarschijnlijk hoger zijn en kunnen ze de API-prijzen van de goedkoopste Chinese modellen benaderen. Die modellen zijn vaak gratis of met kortingen tot 90% beschikbaar. In die gevallen kan cloud-AI goedkoper zijn dan alleen de elektriciteit die nodig is voor lokale inferentie.
De grafieken bij het bericht vergelijken één belasting — 198 GPQA-Diamond-taken, 56.514 invoer- en 156.136 uitvoertokens, in totaal 212.650 tokens — bij elektriciteit van 0,25 $/kWh. De lokale kosten in de tabel zijn 0,014 $ alleen voor de GPU en 0,025 $ voor de geschatte volledige pc. De genoemde cloudtotalen voor hetzelfde aantal tokens lopen van 0,065 $ (Qwen Flash) tot 1,674 $ (Claude Sonnet 5.5 en GPT-6.1 Sol). Een noot bij de tabel vermeldt dat hardware is uitgesloten, dat cloudkosten identieke tokenhoeveelheden gebruiken en geen equivalente gemeten runs, en dat de modelkwaliteit kan verschillen.
Dit zijn voorlopige resultaten. Verdere metingen zijn gepland; de bevindingen worden op GitHub gepubliceerd.