Biaya energi awal AI lokal pada beban nyata
Biaya listrik awal dari satu kali jalan AI lokal, dibandingkan dengan harga API cloud yang tercantum untuk jumlah token yang sama.
Angka konsumsi energi awal telah dikumpulkan dari beban AI lokal di dunia nyata, dengan pengukuran dan log sistem. Angka-angka itu masih perkiraan, tetapi memberi gambaran yang cukup akurat tentang ekonomi secara keseluruhan.
Pengukuran dilakukan pada laptop hemat energi dengan GPU modern, berharga sekitar 4.000–4.500 dolar (4.000–4.500 €). Pada perangkat keras yang kurang hemat energi, biaya listrik kemungkinan lebih tinggi dan dapat mendekati harga API model Tiongkok termurah. Model-model itu sering tersedia secara gratis, atau dengan diskon hingga 90%. Dalam kasus itu, AI cloud dapat lebih murah daripada listrik saja yang diperlukan untuk inferensi lokal.
Grafik yang diterbitkan bersama kiriman membandingkan satu beban — 198 tugas GPQA-Diamond, 56.514 token masukan dan 156.136 token keluaran, total 212.650 token — pada listrik 0,25 $/kWh. Biaya lokal dalam tabel adalah 0,014 $ hanya untuk GPU dan 0,025 $ untuk PC penuh yang diperkirakan. Total cloud yang tercantum untuk jumlah token yang sama berkisar dari 0,065 $ (Qwen Flash) hingga 1,674 $ (Claude Sonnet 5.5 dan GPT-6.1 Sol). Catatan pada tabel menyatakan bahwa perangkat keras tidak dihitung, bahwa biaya cloud memakai jumlah token yang sama bukan jalankan terukur yang setara, dan bahwa mutu model dapat berbeda.
Ini adalah hasil awal. Pengukuran lanjutan direncanakan, dan temuan akan diterbitkan di GitHub.