実負荷におけるローカルAIの暫定的なエネルギー費用
ローカルAIの一回の実行における暫定的な電気代を、同じトークン数に対して掲載されたクラウドAPI価格と比較します。
計測とシステムログを用いて、実世界のローカルAI負荷から暫定的なエネルギー消費の数値を集めました。数値はまだ見積もりですが、全体の経済性については十分に正確な見通しを与えます。
計測は、現代的なGPUを搭載し、価格が約4,000〜4,500ドル（4,000〜4,500ユーロ）の省電力ノートPCで行いました。省電力性の低いハードウェアでは電気代は高くなりやすく、最も安価な中国製モデルのAPI価格に近づくことがあります。そうしたモデルは無料、または最大90%の割引で利用できることがよくあります。その場合、クラウドAIはローカル推論に必要な電気代だけよりも安くなることがあります。
投稿とともに公開された図表は、一つの負荷（GPQA-Diamondの課題198件、入力56,514トークン、出力156,136トークン、合計212,650トークン）を、電気料金0.25ドル/kWhで比較しています。表のローカル費用は、GPUのみ0.014ドル、推定のパソコン全体で0.025ドルです。同じトークン数の掲載されたクラウド合計は、0.065ドル（Qwen Flash）から1.674ドル（Claude Sonnet 5.5およびGPT-6.1 Sol）までです。表の注記では、ハードウェアは除外されていること、クラウド費用は同等の実測実行ではなく同一のトークン量を用いていること、モデルの品質は異なる場合があることが述べられています。
これらは暫定的な結果です。さらなる計測が予定されており、成果はGitHubで公開する予定です。