Předběžné energetické náklady lokální AI při reálné zátěži
Předběžné náklady na elektřinu lokálního běhu AI ve srovnání s uvedenými cenami cloudových API za stejný počet tokenů.
Byly shromážděny předběžné údaje o spotřebě energie z reálných zátěží lokální AI, na základě měření a systémových záznamů. Čísla jsou stále odhady, ale dávají poměrně přesný obraz celkové ekonomiky.
Měření probíhala na úsporném notebooku s moderní GPU v ceně přibližně 4 000–4 500 dolarů (4 000–4 500 €). Na méně úsporném hardwaru budou náklady na elektřinu pravděpodobně vyšší a mohou se přiblížit cenám API nejlevnějších čínských modelů. Tyto modely jsou často dostupné zdarma nebo se slevami až 90 %. V takových případech může být cloudová AI levnější než pouhá elektřina potřebná k lokální inferenci.
Grafy zveřejněné s příspěvkem porovnávají jednu zátěž — 198 úloh GPQA-Diamond, 56 514 vstupních a 156 136 výstupních tokenů, celkem 212 650 tokenů — při elektřině 0,25 $/kWh. Lokální náklady v tabulce jsou 0,014 $ pouze za GPU a 0,025 $ za odhadovaný celý počítač. Uvedené cloudové součty za stejný počet tokenů sahají od 0,065 $ (Qwen Flash) do 1,674 $ (Claude Sonnet 5.5 a GPT-6.1 Sol). Poznámka v tabulce uvádí, že hardware je vyloučen, že cloudové náklady používají stejné množství tokenů, nikoli ekvivalentní změřené běhy, a že kvalita modelů se může lišit.
Jde o předběžné výsledky. Plánují se další měření; zjištění mají být zveřejněna na GitHubu.