Paikallisen tekoälyn alustavat energiakustannukset todellisella kuormalla
Paikallisen tekoälyajon alustavat sähkökustannukset verrattuna ilmoitettuihin pilvi-API-hintoihin samalla tokenmäärällä.
Alustavia energiankulutuslukuja on kerätty todellisista paikallisen tekoälyn kuormista mittausten ja järjestelmälokien avulla. Luvut ovat vielä arvioita, mutta ne antavat riittävän tarkan kuvan kokonaistaloudesta.
Mittaukset tehtiin energiatehokkaalla kannettavalla, jossa on nykyaikainen GPU ja jonka hinta on noin 4 000–4 500 dollaria (4 000–4 500 €). Vähemmän energiatehokkaalla laitteistolla sähkökustannukset ovat todennäköisesti korkeammat ja voivat lähestyä halvimpien kiinalaisten mallien API-hintoja. Nämä mallit ovat usein saatavilla ilmaiseksi tai jopa 90 prosentin alennuksilla. Tällöin pilvitekoäly voi olla edullisempi kuin pelkkä paikalliseen päättelyyn tarvittava sähkö.
Julkaisun mukana olleet kaaviot vertaavat yhtä kuormaa — 198 GPQA-Diamond-tehtävää, 56 514 syötetokenia ja 156 136 tulostetokenia, yhteensä 212 650 tokenia — sähkön hinnalla 0,25 $/kWh. Taulukon paikalliset kustannukset ovat 0,014 $ vain GPU:lle ja 0,025 $ arvioidulle koko tietokoneelle. Saman tokenmäärän ilmoitetut pilvisummat vaihtelevat 0,065 dollarista (Qwen Flash) 1,674 dollariin (Claude Sonnet 5.5 ja GPT-6.1 Sol). Taulukon huomautus kertoo, että laitteisto on jätetty pois, että pilvikustannukset käyttävät samoja tokenmääriä eivätkä vastaavia mitattuja ajoja, ja että mallien laatu voi poiketa.
Nämä ovat alustavia tuloksia. Lisämittauksia on suunnitteilla, ja tulokset on tarkoitus julkaista GitHubissa.