本地AI代理对其运行的硬件进行调整

本地AI系统无需手动调整。 在我们的实验中，在本地硬件上运行的代理会分析相同的硬件，运行自己的测量，并仅保留实际有用的设置。 以下是上周的四个结果，从最新到最旧。

限制CPU升压时钟：速度相同，热量更少

运行本地AI的一个被低估的技巧是限制CPU和/或GPU提升时钟。 通过语音，我们要求本地AI代理优化运行我们主AI大脑的笔记本电脑。 它将CPU频率从5.5 GHz降低到4.5 GHz。

• 在 Strata 上，LLM 推理速度保持完全不变，没有任何损失。
• CPU温度下降了约10%。
• CPU功耗大幅下降。
• GPU温度也下降了，没有限制GPU时钟。

CPU和GPU共享热预算，因此减少不必要的CPU提升也有助于GPU。 没有人花费数小时进行调整：代理只是被告知要找到最佳极限，并在其他事情上继续工作的同时自己运行实验。

自我诊断：信任人工智能，但验证

设置： Strata + Qwen3.8-Next-IQ3_S。本地AI宣布GPU功率限制无法修复。 我们质疑这一发现，在外部进行交叉检查（即使是免费版本的ChatGPT也足以解决这个问题） ，修复了限制并获得了30-35 ％的性能。

我们应用的规则：使用人工智能进行自我诊断，但交叉检查关键发现。

在腾讯通5090笔记本电脑上自动优化

配备RTX 5090 （ 24 GB VRAM ）的游戏笔记本电脑上的Strata ，型号Qwen3.8-Flash-Next IQ3_S ：

• 解码：83.6 tok/s
• 代理解码：99.8 tok/s
• 预充4K：1,443 tok/s
• Prefill 16K：2,132 tok/s
• 第一个令牌：0.28 s

之后，代理自行优化同一台机器：

• 热解码：63–110 → 109–118 tok/s
• 峰值代理解码：119.5 → 125.5 tok/s (+5%)
• 优化配置已保存，不稳定设置已回滚，服务器已安全关闭。

腾讯通3060 12 GB ：解锁和第一个增益

在我们的一台实验性计算机上（一台小型ITX机箱， 48 GB RAM ，一台RTX 3060 12 GB ） ，我们启用了NVIDIA解锁。 测量增益： GPU计算中高达+78% ， AI推理预填中高达+11%。

从角度来看，随着coldniko的下一个Strata工作， RTX 3060 12 GB + 48 GB RAM从每秒32个持续令牌增加到60–80个持续令牌。 我们的Mac Studio M3 Ultra （ 60个GPU内核， 256 GB RAM ， Strata v0.2.6 ）在同一Qwen3.8-Flash-Next IQ3_S型号上提供了61.4 tok/s解码和734 tok/s预填充。 此卡的完整结果在单独的文章中。

这对 Box 客户意味着什么

• 设置是通过测量而不是猜测来选择的：客服代表比较之前和之后，并回滚无用的内容。
• 较低的温度和相同速度下的功率消耗意味着更安静的操作和更少的磨损。
• 代理的关键结论在采取行动之前进行交叉检查。
• 仅通过软件更新，经济实惠的硬件就变得越来越快。

本地AI优化运行本地AI的硬件。

X 上的原始帖子串 · RTX 3060文章 · 所有新闻