Wstępne koszty energii lokalnej SI przy rzeczywistym obciążeniu
Wstępne koszty energii elektrycznej lokalnego przebiegu SI w porównaniu z podanymi cenami API w chmurze za tę samą liczbę tokenów.
Zebrano wstępne dane o zużyciu energii z rzeczywistych obciążeń lokalnej SI, na podstawie pomiarów i dzienników systemowych. Liczby są jeszcze szacunkowe, ale dają dość dokładny obraz ogólnej ekonomii.
Pomiary wykonano na energooszczędnym laptopie z nowoczesnym GPU, o cenie około 4000–4500 dolarów (4000–4500 €). Na mniej oszczędnym sprzęcie koszty energii elektrycznej będą prawdopodobnie wyższe i mogą zbliżyć się do cen API najtańszych chińskich modeli. Te modele często są dostępne bezpłatnie lub ze zniżkami do 90%. W takich przypadkach SI w chmurze może być tańsza niż sama energia elektryczna potrzebna do lokalnej inferencji.
Wykresy opublikowane wraz z wpisem porównują jedno obciążenie — 198 zadań GPQA-Diamond, 56 514 tokenów wejściowych i 156 136 wyjściowych, łącznie 212 650 tokenów — przy energii 0,25 $/kWh. Lokalne koszty w tabeli to 0,014 $ tylko dla GPU i 0,025 $ dla szacowanego całego PC. Podane sumy chmurowe za tę samą liczbę tokenów wynoszą od 0,065 $ (Qwen Flash) do 1,674 $ (Claude Sonnet 5.5 i GPT-6.1 Sol). Uwaga w tabeli stanowi, że sprzęt jest wyłączony, że koszty chmurowe używają tych samych ilości tokenów, a nie równoważnych zmierzonych przebiegów, oraz że jakość modeli może się różnić.
To wyniki wstępne. Planowane są dalsze pomiary; ustalenia mają być publikowane na GitHubie.