Costuri energetice preliminare ale IA locale pe o sarcină reală
Costuri preliminare de electricitate ale unei rulări de IA locală, comparate cu prețurile API cloud indicate pentru același număr de tokeni.
Au fost adunate date preliminare privind consumul de energie din sarcini reale de IA locală, pe baza măsurătorilor și a jurnalelor de sistem. Cifrele rămân estimări, dar oferă o imagine destul de precisă a economiei de ansamblu.
Măsurătorile au fost făcute pe un laptop eficient, cu un GPU modern, în valoare de aproximativ 4.000–4.500 de dolari (4.000–4.500 €). Pe un hardware mai puțin eficient, costurile de electricitate vor fi probabil mai mari și se pot apropia de prețurile API ale celor mai ieftine modele chinezești. Aceste modele sunt adesea disponibile gratuit sau cu reduceri de până la 90%. În aceste cazuri, IA în cloud poate fi mai ieftină decât doar electricitatea necesară inferenței locale.
Graficele publicate odată cu mesajul compară o sarcină — 198 de sarcini GPQA-Diamond, 56.514 tokeni de intrare și 156.136 de ieșire, 212.650 de tokeni în total — la 0,25 $/kWh. Costurile locale din tabel sunt 0,014 $ doar pentru GPU și 0,025 $ pentru PC-ul complet estimat. Totalurile cloud indicate pentru același număr de tokeni variază de la 0,065 $ (Qwen Flash) la 1,674 $ (Claude Sonnet 5.5 și GPT-6.1 Sol). O notă din tabel precizează că hardware-ul este exclus, că prețurile cloud folosesc aceleași cantități de tokeni, nu rulări echivalente măsurate, și că calitatea modelelor poate diferi.
Sunt rezultate preliminare. Sunt prevăzute măsurători suplimentare; constatările urmează să fie publicate pe GitHub.