新闻
灰尘、冷却和备用电源：保持本地AI运行
在一个普通的家庭公寓里，这种灰尘在不到10天的时间里积聚起来。 我们的温度、清洁、预防、备用计算和备用电源规则，使本地人工智能不会停止。
对在家中或办公室运行本地AI的每个人发出警告。 这张照片中的灰尘在不到10天的时间里积聚在一个有两个小孩的普通家庭公寓里。 我们故意不清理它，看看会发生什么。
现在想象一下MacBook、Mac Studios、Mac mini和DGX系统内部发生了什么。
规则1 ：监测温度
在传感器可用的任何地方连续记录CPU、GPU、RAM和NVMe温度，并保留历史数据。 将这些日志提供给人工智能，并要求它分析趋势，同时考虑到室温和天气。 家用温度传感器使这一点变得更好。 人工智能可以帮助检测冷却退化，避免其成为故障。
规则2 ：清洁硬件
购买可调节气流的电动空气除尘器。 每月检查通风口和过滤器，并根据需要进行清洁，可能每1–3个月进行一次。
首先关闭电源，然后按照制造商的说明操作。 请勿过度旋转风扇或将灰尘吹入内部更深处。 （我们的600瓦鼓风机绝对是过度杀伤。）
规则3和4 ：预防
考虑在设备附近配备经济实惠的HEPA空气净化器，以减少空气中的灰尘。 每1–2年，根据具体情况，考虑专业内部清洁和冷却系统检查。 预防比停机更便宜。
硬件故障意味着AI停机
想象一下， Mac Studio出现故障并花费1–2周的时间进行维修。 如果没有备用计算，人工智能工作流程就会停止，业务也可能停止。 备份数据，并备份计算容量。 当人工智能运营业务时，冗余不是奢侈品。
我们的解决方案：专用人工智能室
我们将把整个当地的人工智能设施搬进一个独立的地下室。 根据我们的观察，类似的尘埃层需要大约三年的时间积累在那里，而不是十天。 仍将监测湿度、气流和温度。 服务器房间优先考虑清洁是有原因的。
最后请注意：一尘不染的公寓并不意味着电脑是安全的。 一台总是炽热、功能强大的电脑可能一直在收集灰尘。
备用电源
本地人工智能基准和真实世界的使用往往忽略了备用电源。 可靠的本地AI系统需要同样可靠、强大的备用电源。 我们正在自己建造。
这对 Box 客户意味着什么
- 记录温度并分析趋势，以便及早发现冷却问题。
- 清洁和检查是维护的一部分，不是事后的想法。
- 关键工作负载需要备用计算容量和备份能力，而不仅仅是数据备份。