Foreløbige energiomkostninger for lokal AI ved en virkelig belastning
Foreløbige elomkostninger for et lokalt AI-kørsel, sammenlignet med de angivne cloud-API-priser for det samme antal tokens.
Der er indsamlet foreløbige tal for energiforbrug fra virkelige lokale AI-belastninger ved hjælp af målinger og systemlogfiler. Tallene er stadig skøn, men giver et tilstrækkeligt præcist billede af den samlede økonomi.
Målingerne blev foretaget på en energieffektiv bærbar computer med et moderne GPU til en pris på omkring 4.000–4.500 dollar (4.000–4.500 €). På mindre energieffektiv hardware vil elomkostningerne sandsynligvis være højere og kan nærme sig API-priserne for de billigste kinesiske modeller. Disse modeller er ofte tilgængelige gratis eller med rabatter på op til 90 %. I de tilfælde kan cloud-AI være billigere end alene den elektricitet, der kræves til lokal inferens.
Diagrammerne, der blev offentliggjort med indlægget, sammenligner én belastning — 198 GPQA-Diamond-opgaver, 56.514 inputtokens og 156.136 outputtokens, i alt 212.650 tokens — ved elektricitet til 0,25 $/kWh. De lokale omkostninger i tabellen er 0,014 $ kun for GPU og 0,025 $ for den anslåede fulde pc. De angivne cloudsummer for det samme antal tokens går fra 0,065 $ (Qwen Flash) til 1,674 $ (Claude Sonnet 5.5 og GPT-6.1 Sol). En note i tabellen angiver, at hardware er udeladt, at cloudomkostninger bruger identiske tokenmængder og ikke tilsvarende målte kørsler, og at modelkvaliteten kan være forskellig.
Det er foreløbige resultater. Yderligere målinger er planlagt, og resultaterne skal offentliggøres på GitHub.