我们每天都在用

散热

GPU 风扇控制

任务，见截图 1：GPU 风扇接在主板上；要跟随 GPU 温度，全速运转一分钟以确认控制有效，然后设定最佳档位，重启后一切都要自动运行。

1. 1
   请求

   一条普通的 Telegram 消息，没有技术命令。

2. 2
   排查

   首先，在没有管理员权限的情况下，智能体确认：主板 Z10PA-U8，GPU Tesla P100，GPU 温度可读（39 °C），但暂时没有可控制风扇的接口。它用一条命令申请管理员权限并提出计划。获得权限后，它找到 Nuvoton NCT7904D 芯片（9 路转速输入、4 路 PWM），并把每个通道从 0 调到 255 逐一对应：pwm2 → fan5，最高 ~5300 RPM，即 P100 的涡轮风扇。其余三个通道保持 BIOS 自动控制。

3. 3
   全速一分钟

   pwm2 = 255 持续 60 秒：fan5 在 5 秒内从 1468 升到 5294–5421 RPM，GPU 从 37 °C 降到 31 °C。之后控制回到曲线（255 → 195 → 90）；转速读数证实控制有效。

4. 4
   曲线

   ≤35 °C → 35%，45 °C → 47%，60 °C → 67%，75 °C → 86%，≥85 °C → 100%（P100 在 91 °C 降频，因此留有余量）。转速平滑变化，每 5 秒最多 ±15%；若 nvidia-smi 无响应，风扇进入 ~78% 的应急模式。

5. 5
   重启

   驱动自动加载，控制作为开机自启的服务运行。智能体真正重启了机器并从头检查：模块已加载，服务运行中，fan5 为 1319 RPM，GPU 35 °C。

• 我们只做了：一条授予管理员权限的命令、回复 «Ready»，以及过程中的一次确认。
• ≈ 30 分钟（按截图为 06:26–06:57）

配置

技术问题，语音提问

一个实际任务：我们用语音消息询问系统是如何构成的。它用我们机器的真实数据作答：硬件、磁盘、AI 模型和速度。如果某一项不清楚，可以马上问它是什么意思。

回答展示了什么：两台机器 claryel01 和 P2002；处理器、内存、GPU 和硬盘；软件版本；AI 模型；实测速度。

在这项工作中，备用模型是外部的（Grok），且没有过滤器。这对我们的本地系统来说不可接受，因此备用模型已替换为第二个本地模型。如今，云端模型只经过滤器调用，并在必要时经用户明确确认后才调用。

有技术术语看不懂？直接在对话中立刻问系统：它会用通俗的话为您解释。

机器群

三台机器，一个智能体

请求，见截图 1（07:47）：每台运行 Strata 的机器的内存容量和类型、NVMe、GPU 和显存、Strata 版本、模型、智能体版本，以及该机器上的模型速度；回答要简短，用英文。

智能体自行扫描网络，确认共有三台机器（其他地址是一台打印机和 Mac 的 Wi-Fi 端口）。三台都运行 Strata v0.1.45 和同一个模型 Qwen3.8-Flash-Next IQ3_S（上下文 262 144），因此无论哪台机器作答，回答都保持一致。

生成速度：P2002 46.8 tok/s，Mac Studio 60.0 tok/s（最快），P1005 16.2 tok/s：78 GB 的模型配 31 GB 内存，因此这台机器承担后台任务。三台都由 claryel01 上的同一个智能体实例操控；备用链为 P2002 → Mac Studio → Grok。

在这项工作中，备用模型是外部的（Grok），且没有过滤器。这对我们的本地系统来说不可接受，因此备用模型已替换为第二个本地模型。如今，云端模型只经过滤器调用，并在必要时经用户明确确认后才调用。

安装

在新机器上部署 Strata：智能体独自解决了所有难题

Mac 没有现成的构建：Metal 引擎需要从源代码编译（约 5–15 分钟）。0.1.45 的 Mac 构建本身是坏的；智能体找到了未合并的 PR #2895，将其应用到该版本，重新编译成功。

79 GB 的模型：通过 Starlink 从 HuggingFace 下载约为 6.5 MB/s（约 3.4 小时），因此智能体通过 SSH 代理转发，用 rsync 从 P2002 复制，用时 2 小时 05 分。随后每个发给引擎的请求都返回 400；智能体在源代码中找到了变通参数 --no-prefill-borrow。

结果：Mac 在生成速度上约等于 P2002（约 58 对约 57 tok/s），prefill 明显更快（+36%）。智能体把所有难点都保存到了技能 strata-mac-deploy 中，下次几乎只需照搬。

更新

智能体更新了自己“大脑”的引擎

问题（04:30）：“大脑”用的是哪个 Strata 版本，GitHub 上最新的是哪个。回答：P2002 运行 v0.1.43.1，最新为 v0.1.45（2026 年 10 月 17 日发布）。智能体提醒，更新会重启它自己运行所依赖的引擎：停机几分钟，并以回滚作为保障。

收到“更新你自己”（04:31）的指令后，智能体在自身之外独立启动更新：git pull → 编译 HIP 0.1.45 引擎 → 重启服务，同时由看守程序监控引擎 5 分钟，若未能启动则回滚到 0.1.43.1。编译干净完成（34 MB，0 个错误），但替换正在运行的文件失败（“Text file busy”），引擎停止。智能体保留旧文件作为备份，手动安装新文件并重启了服务。

检查（04:50）：v0.1.45 正在运行，模型 Qwen3.8-Flash-Next IQ3_S，上下文 262,144。用同一脚本测速：短回答 31.0（之前 33.5–33.7），生成 1024 个 token 47.7 / 44.4（之前 53.0–60.1），1.5K prefill 874 / 531（之前 488–490）。智能体的判断：prefill 明显更好，生成在两次测量中低约 10–20%；仅凭两次运行它不认定为退步，建议再测 3–4 次，若确认变慢则回滚到 0.1.43.1。

在这项工作中，备用模型是外部的（Grok），且没有过滤器。这对我们的本地系统来说不可接受，因此备用模型已替换为第二个本地模型。如今，云端模型只经过滤器调用，并在必要时经用户明确确认后才调用。

监控

家庭与电脑的晨间检查

图中的组合：Strata v0.1.43 + Qwen3.8-Flash-Next（IQ3_S）+ 智能体。智能体读取 Home Assistant 传感器（温度、湿度、移动、光照、能耗），并检查备份、磁盘和电脑温度。我们通过 Telegram 与它交流。

检查发现：放电脑的房间温度为 28.8 °C，明显高于其他房间，应检查通风和散热；办公室（20%）和露台（30%）传感器的电池需要更换；门“Leo”的传感器显示 ON，但读数可能已过时，需要到现场核实。

Viktor 甚至没有打开 Home Assistant 的界面。当天的辅助工具：ChatGPT 为帖子绘制了配图，ChatGPT Go + Codex 协助配置，智能体还不时调用 Grok 4.7 作为处理复杂推理的附加模型。

在这项工作中，备用模型是外部的（Grok），且没有过滤器。这对我们的本地系统来说不可接受，因此备用模型已替换为第二个本地模型。如今，云端模型只经过滤器调用，并在必要时经用户明确确认后才调用。

帖子配图，并非屏幕截图。

模型速度

31 tok/s，内存几乎空闲：模型直接从 SSD 读取

设置：模型 Qwen3.8-Flash-Next IQ3_XXS（约 47 GB），上下文 64K（65,536 个 token），8 位 KV 缓存，low-RAM 模式：模型的部分“专家”从 SSD 读取。显卡 AMD Radeon RX 9070，约 16 GB。

Strata 监控面板上的结果：396.3 秒生成 12,136 个 token，生成速度 31.0 tok/s，显存 15.7/16 GB，内存 3.2/31 GB，GPU 45 °C。显存中有 5,681 个“专家”（9.2 GB），其余从磁盘读取。

结论：大模型无需巨量内存也能运行，因为引擎把最需要的部分放在显存中，其余从高速 SSD 读取。这为打造便宜得多的本地 AI 电脑开辟了道路。

模型速度

256K 上下文：一张 16 GB 显卡处理 26 个请求

目标很简单：弄清以后如何在不同硬件上自动化这类运行，以及如何整理结果以便比较。机器：Intel Core Ultra 7 270K Plus，31 GB 内存，AMD Radeon 16 GB。

自周日上午（09:44）以来的统计：26 个请求，以 108 tok/s 读取 169,326 个提示 token（另有 1,923,247 个取自对话缓存），以平均 20.5 tok/s 写出 166,539 个 token。上下文占用 62%（162k/256k）。

并非一切顺利：列表中有一个请求为“Closed”，一个为“Stopped”。原帖视频展示了模型撰写长篇技术回答的过程；Viktor 也在帖中说明了出错的原因。

模型速度

更大内存：164,000 个 token 的上下文下 45 tok/s

电脑：Intel Core Ultra 7 270K Plus（24 线程），AMD Radeon 16 GB，62 GB 内存，上下文 262,144 个 token。现在引擎也使用内存：占用 53.5/62 GB。

两个各约 162,000 个 token 的请求：第一个以 1,176 tok/s 读取，生成 48.3 tok/s；第二个几乎全部取自对话缓存（162,199 个 token），生成 45.2 tok/s。

取舍很清楚：内存更大时生成明显更快，但留给其他任务的内存更少。用 31 GB 时引擎几乎不占用内存，电脑可以继续做别的工作。

模型速度

老款 Xeon 加 Tesla P100：19–27 tok/s

模型放不进内存，依靠显存（15.7/16 GB）和通过 PCIe 3.0 连接的 NVMe 硬盘运行。CPU 负载约 45%，内存几乎空闲：这台电脑还能做其他工作。

监控面板显示：当前生成 26.9 tok/s；请求历史中，短回答（253 个 token）为 19.3 tok/s，长回答（504.1 秒 12,686 个 token）为 25.3 tok/s。显卡 36 °C，功耗 97 W（上限 250 W）。

对我们来说，这是最重要的价格参照：即使是老旧便宜的硬件，只要引擎配置得当，也已能胜任实际工作。