49 € 的 AMD RX 580 显卡实验：小模型与能耗
2012–2013 年工作站上的 49 € 显卡：小型本地模型能做什么，能耗数字是怎样的。数据来自 CLARYEL 于 2026 年 11 月 12 日的实验。
2026 年 11 月 12 日，在 P3001 上安装了 AMD Radeon RX 580 8 GB。这是一台二手工作站，处理器为 Xeon E5-2697 v2，以四通道方式安装了 64 GB DDR3-1333 ECC 内存（系统可见约 62 GB）。卡片购入价为 49 €：卡片本身 45 €，运费 4 €。这是 RX 580 2048SP 版本：流处理器为 2,048 个，而不是「完整」RX 580 的 2,304 个，实质上更接近 RX 570。与同一系列的其他卡片比较时，这一区别很重要。操作系统是 Ubuntu 24.04。
Strata 无法在这张卡上运行，我们也不打算请求在 Strata 中支持这一 GPU 型号：作者的时间更适合用在性能更高的硬件上。实验使用带 Vulkan 后端的 llama.cpp。没有 CUDA，没有张量核心，也没有 FP16 加速。在同一工作站上，以 Q4 量化的小型 3B 模型在解码时达到 60 tok/s。作为比较，对于 77.9 GiB 的大型 Qwen 模型，RX 580 与 llama.cpp 测得预填充 33.9 tok/s、解码 5.85 tok/s。同一工作站配备 RTX 3050 8 GB 和 Strata，在该负载下测得 128–188 tok/s（预填充）和 23–31 tok/s（解码）。推理期间，RX 580 功耗最高约 120 W。对于那种规模的模型，这张卡是较弱的选择；作为短时微任务的「第二大脑」，结果仍表明它有用，而且价格低于数量相当的较新系统内存。
实验随后离开尽可能大的模型，转向完全装入 8 GB 显存的小模型。分别测量了三个模型：Qwen2.5-3B Q4 — 1.79 GiB，预填充 392 tok/s，解码 60 tok/s；Nemotron Nano 4B Q4 — 2.63 GiB，268 / 40 tok/s；Bonsai 2 9B Q2 — 2.37 GiB，170 / 27 tok/s。权重合计 6.79 GiB。理论上三者都可以装进 8 GB，大约留下 1.21 GiB 给 KV 缓存、计算缓冲和开销。这很紧，三个模型同时驻留显存尚未验证。
本地推理期间显卡的实际功耗，也在 120、100、70、50 和 30 W 五个功率上限下做了测量。对于完全装入显存的小模型，在本次实验中，生成最省的是 70 W。与 120 W 相比，推理期间显卡功耗约低 36%，生成速度仅低 12–15%，每生成一个 token 的能量低 26–28%。在 70 W 时，3B 模型达到 39.5 tok/s。一条 200 token 的短回答，仅显卡用电 0.091 Wh。按 0.25 €/kWh 计算，这样一条回答为 0.000023 €，每天一千条为 0.023 €，一年 365,000 条约 8.30 €。该估算不包括待机和计算机的其余部分。待机时 RX 580 约 14 W，若一直通电约合每年 30.70 €；处理器、内存、主板和存储还会再增加。对于低强度负载，降低待机功耗可能比降低推理本身的功耗更重要。需要说明：70 W 只对本次实验所测的小模型生成最优，不一定适用于所有任务。长提示、图像文字识别流水线、音频处理和其他负载，其速度和能耗特性可能完全不同。
下一步工作的方向不是「能跑多大的模型」，而是一套廉价的本地系统能承担多少有用的日常任务：解析小 PDF、从扫描件提取数据、识别图片中的文字、转写短录音、为文件分类、摘要、阅读日志、转发请求，以及为更大的人工智能系统准备数据。这些多模态和文档处理负载，在这张卡上尚未进行实验。其可行性、准确度、延迟、内存需求和能源成本都还有待研究。有些操作也许更适合在处理器上完成，把显卡留给推理。若干专用模型能否同时保持载入、同一时刻只运行其中一个，也仍是开放问题。
供电是另一个工程问题。标准 PCIe x16 插槽最多可直接从主板提供 75 W。本次实验中，小模型最省电的模式是 70 W 的软件限制。我们正在考虑的想法是：做成只靠插槽供电、无需额外 6 针或 8 针电源接头的配置，从而把这样的卡片装进现有办公计算机，而不更换电源。这是工作方向，不是现成方案。实验中，即便有 70 W 的软件限制，仍观察到短暂超过 75 W 的峰值，而我们手头的 RX 580 仍然需要辅助供电。安全的「仅靠插槽」设计，还需要对峰值功率做工程处理并检查兼容性。文档、图像和音频流程也仍需确认。我们并不声称此类安装已经向客户供货。
一张 49 € 的卡片不能替代带 Strata 的主系统。就已有结果而言，它可以成为许多短时、重复任务的廉价、相对省电的执行者，同时把数据留在本地。全部测量、功率上限实验、方法、原始日志、失败和结论都已发布在仓库中。我们正在探明，从常被看作过时的硬件中，能够得到多少有用的本地人工智能。