低于800美元的PC上的本地AI:Tesla P100与Strata

在低于800美元、配备2016年Tesla P100与Strata的机器上运行Qwen3.8-Flash-Next IQ3_S。

配备Tesla P100的本地AI工作站

机器P1005:Intel Xeon E5-2690 v4(14核/28线程)、NVIDIA Tesla P100 16 GB、32 GB DDR4 ECC、1 TB NVMe、Ubuntu Server 24.04 LTS、Strata 0.1.55、模型Qwen3.8-Flash-Next IQ3_S(约83.6 GB)。

在实际任务中该系统提供可用的本地AI:完整模型无法装入VRAM,但Strata在可用内存预算内保持推理稳定。

整机总成本低于800美元,使用二手与服务器部件。实验目标:展示严肃本地AI的现实下限,而非性能上限。

X 上的帖子 · 所有新闻