49€のAMD RX 580グラフィックスカードでの実験：小さなモデルとエネルギー消費

2026年11月12日、Xeon E5-2697 v2プロセッサと、クアッドチャネルで搭載した64 GBのDDR3-1333 ECCメモリ（システムからは約62 GBに見えます）を備えた中古ワークステーションP3001に、AMD Radeon RX 580 8 GBを取り付けました。カードは49€で購入し、本体45€、配送4€です。これはRX 580 2048SP版で、ストリームプロセッサは2,048基であり、「フル」のRX 580の2,304基ではなく、実質的にはRX 570に近いものです。同じ系列の他のカードと比べるときには、この違いが重要です。オペレーティングシステムはUbuntu 24.04です。

このカードではStrataは動きません。このGPUモデルのStrata対応を求める予定もなく、作者の時間はより高性能なハードウェアに使う方が合理的です。実験にはVulkanバックエンドのllama.cppを使いました。CUDAもなく、テンソルコアもなく、FP16加速もありません。同じステーションで、小型の3BモデルをQ4量子化したものは、デコードで60 tok/sに達しました。比較として、77.9 GiBの大きなQwenモデルでは、RX 580とllama.cppの組み合わせはプリフィル33.9 tok/s、デコード5.85 tok/sでした。同じステーションでRTX 3050 8 GBとStrataの場合、この負荷では128–188 tok/s（プリフィル）と23–31 tok/s（デコード）でした。推論中、RX 580は最大およそ120 Wを消費しました。その規模のモデルではカードは弱い選択肢です。短いマイクロタスクの「第二の頭脳」としては、結果から見てなお有用であり、同程度の量のより新しいシステムメモリより安く済みます。

実験はその後、可能な限り大きなモデルから離れ、8 GBのビデオメモリに完全に収まる小さなモデルへ移りました。別に測定した3つのモデルは次のとおりです。Qwen2.5-3B Q4 — 1.79 GiB、プリフィル392 tok/s、デコード60 tok/s。Nemotron Nano 4B Q4 — 2.63 GiB、268 / 40 tok/s。Bonsai 2 9B Q2 — 2.37 GiB、170 / 27 tok/s。重みの合計は6.79 GiBです。理論上は3つとも8 GBに収まり、KVキャッシュ、計算バッファ、オーバーヘッド用に約1.21 GiBが残ります。余裕は少なく、3つすべてを同時にビデオメモリへ載せることは未確認です。

ローカル推論中のカードの実消費も、120、100、70、50、30 Wの5つの電力上限で測定しました。ビデオメモリに完全に収まる小さなモデルについては、この実験で生成にもっとも経済的だったのは70 Wでした。120 Wと比べ、推論中のカード消費は約36%低く、生成速度の低下は12–15%にとどまり、生成トークン当たりのエネルギーは26–28%低くなりました。70 Wでは3Bモデルは39.5 tok/sを出しました。200トークンの短い回答は、カード自体の電力で0.091 Whを使いました。0.25 €/kWhでは、そのような回答1件あたり0.000023 €、1日千件で0.023 €、1年に365,000件で約8.30 €です。この見積りには待機電力とコンピュータの残りの部分は含まれません。待機時、RX 580は約14 Wを消費し、常時通電なら年間およそ30.70 €に相当します。CPU、メモリ、マザーボード、ストレージはさらに加わります。低強度の負荷では、推論そのものの削減より、待機消費の削減の方が効くことがあります。留保として、70 Wはこの実験で測った小さなモデルの生成に最適なのであって、あらゆる作業に必ずしも最適ではありません。長いプロンプト、画像上の文字認識のパイプライン、音声処理、その他の負荷では、速度とエネルギーの特性がまったく異なることがあります。

次の作業の方向は「どれだけ大きなモデルを動かせるか」ではなく、安価なローカルシステムがどれだけ多くの有用な日常作業を担えるかです。小さなPDFの解析、スキャンからのデータ抽出、写真の文字認識、短い録音の書き起こし、ファイルの分類、要約、ログの読み取り、依頼の振り分け、より大きなAIシステム向けのデータ準備です。これらのマルチモーダルおよび文書処理の負荷は、このカードではまだ実験していません。実現可能性、精度、遅延、メモリ需要、エネルギーコストは、これから調べる必要があります。一部の処理はCPUで行う方がよく、カードは推論に残す、ということもあります。複数の専用モデルを同時に載せたまま、一度に動かすのは1つだけ、という構成が可能かどうかも、なお未解決です。

給電は別の工学上の問題です。標準のPCIe x16スロットは、マザーボードから最大75 Wを直接供給できます。この実験で小さなモデルにもっとも効率的だったのは、ソフトウェア上の70 W制限でした。検討している案は、追加の6ピンまたは8ピン電源コネクタなしに、スロットだけから動く構成を組み、電源ユニットを交換せずに既存のオフィス用コンピュータへそのようなカードを載せられるようにすることです。これは作業の方向であって、完成した解ではありません。実験では、ソフトウェア上の70 W制限があっても、75 Wを超える短いピークがなお観察され、手元のRX 580は依然として補助電源を必要とします。安全な「スロットのみ」の設計には、ピーク電力の工学作業と互換性の確認が必要です。文書、画像、音声の流れも、なお確認が要ります。そのような取り付けがすでに顧客へ供給されている、とは述べません。

49€のカードは、Strataを使った主システムに取って代わるものではありません。すでに得られた結果からは、データをローカルに置いたまま、短く繰り返しの多い多くの作業向けの、安価で比較的経済的な実行役になり得ます。すべての測定、電力上限の実験、方法、生ログ、失敗、結論はリポジトリに公開しています。しばしば時代遅れと見なされるハードウェアから、どれだけの有用なローカルAIが取り出せるかを、私たちは調べています。

リポジトリの測定結果 · Xに投稿 · すべてのニュース