新闻
我们车队的Strata版本：代理更新、衡量和优化
我们的代理通过coldniko检测新的Strata版本，更新机器并重新运行基准：在Tesla P100系统上以16K的速度解码高达2.4倍，在Radeon系统上+46%专家插槽， Mac Studio确认最佳，以及在本地运行的DeepSeek V4.1-Flash。
Strata是由coldniko开发的本地AI推理引擎。 自10月中旬以来，我们一直在自己的几台机器上跟踪其发布情况。 每台计算机都运行相同的模型Qwen3.8-Flash-Next IQ3_S ，因此结果具有可比性。 机器以其硬件级别命名：
- P1005：英特尔至强 E5-2690 v4，NVIDIA Tesla P100 16 GB HBM2，32 GB DDR4，NVMe 约 2.5 GB/s，CUDA 12。
- P2002：Intel Core Ultra 7 270K Plus, AMD Radeon RDNA4 (gfx1201) 16 GB, 64 GB DDR5, NVMe RAID 0, ROCm / HIP.
- Mac Studio：Apple M3 Ultra, Metal.
代理本身检测到新的Strata版本，下载它，运行测量并根据请求优化配置。 所有优化都在本地运行，在最新的Strata版本上使用相同的Qwen3.8-Flash-Next IQ3_S模型。
P1005 （特斯拉P100 ） ：从数据匮乏到计算受限
模型专家总计46.8 GiB ，对于RAM来说太大了， 16 GB卡太满了，引擎警告说解码速度会降到每秒几个令牌。 在Strata存储库文档之后，客服代表更改了四项内容：
--vram-reserve-mib 960 (was 700)
--max-context 65536 (was 262144)
STRATA_Q8_SM60=0
--resident-experts
STRATA_DENSE_F32=1结果： GPU利用率从27%上升到92% （ 155–170瓦）。 预填充速度提高了4.4倍； 8K解码速度提高了40% ， 16K解码速度提高了2.4倍。
| 背景 | 之前（提示/解码， tok/s ） | 之后（提示/解码， tok/s ） |
|---|---|---|
| 512 | 47.7 / 13.4 | 54.5 / 14.3 |
| 2K | 62.6 / 10.3 | 74.5 / 13.9 |
| 8K | 46.4 / 9.9 | 178.1 / 14.3 |
| 16K | 43.8 / 6.2 | 193.9 / 15.1 |
| 32K | 44.1 / 6.0 | 213.8 / 12.6 |
值为每秒提示/解码令牌。 成本： 24 GiB的RAM现已为专家锁定页面，因此在此机器上不应运行任何其他大型RAM ，并且上下文上限为65K而不是262K。 重新启动后，所有内容都会持续存在。
P2002 （ Radeon RDNA4 ） ：实时调谐，然后短暂重启
首先，无需重新启动引擎即可进行实时调优。 CPU调节器设置为性能，为专家保留了更长的页面缓存；固定的GPU时钟将预填充减少了约10% ，并被拒绝；更大的预读没有效果。 2K和8K解码提高了10–18%。
然后，通过大约40秒的重启（后备链进行会话，没有可见的中断） ，代理将VRAM储备从700 MiB提高到960 MiB ，并启用了--kv-grow ，保持了完整的262K上下文。 专家名额从2518个增加到3686个（ +46% ） ，专家命中率从74%增加到87% ，寻呼警告消失。 它还添加了一个看门狗，以便引擎自行重启。
| 背景 | 之前（提示/解码， tok/s ） | 之后（提示/解码， tok/s ） |
|---|---|---|
| 512 | 547 / 63.6 | 602 / 57.5–64 |
| 2K | 1228 / 60–71 | 1275–1303 / 66–74 |
| 8K | 2085 / 59–69 | 1723–2144 / 79–82 |
| 16K | 2180 / 72.7 | 1988–2169 / 76–78 |
| 32K | 2056 / 72.9 | 2023–2096 / 76–77 |
标准套件：聊天解码74.3 tok/s （ 71.9 ） ，第一个令牌0.39 s （ 0.46 ） ，代理解码66.7 tok/s （ 59.2 ）。 代理还诚实地指出，重新启动后的第一个数字大约低25 ％ ，因为专家缓存仍然很冷。
Mac Studio （ M3 Ultra ） ：默认设置已经是最佳的
代理重新启动引擎六次以进行干净的A/B运行，并根据经验证明默认配置已经是最佳配置。 KV选项对统一内存没有影响；大型有线专家缓存是有害的（解码崩溃至约32 tok/s ）并被还原。 预填充约790 tok/s是硬件的带宽限制，而不是配置的带宽限制。 最终套件：聊天解码69.1令牌/秒，第一个令牌0.48秒。 所有的死胡同都被记录下来，所以没有人会重复。
新版本，测量
- 具有用户界面的Strata 0.2.0 ：现在可以在没有命令行的情况下安装Strata和本地AI ，这使得它们可以被更广泛的受众访问。
- v0.2.2 ：从v0.2.1更新的三台计算机。
- mac → Studio上的v0.2.3 v0.2.3.1 ：解码61.3 → 66.4 tok/s （ +8% ） ，预填729.9 738.9 → tok/s （ +1% ） ，无回归，无需重新下载模型文件。
- v0.2.6和v0.2.7 ：到目前为止，每个版本都带来了另一个性能提升。 对于v0.2.7 ，代理准备了发行说明摘要，未经批准不得安装任何内容。
DeepSeek V4.1-Flash在本地运行
DeepSeek V4.1-Flash是一种大型MoE型号，现在在Strata上本地运行： HOT专家留在RAM中，其余部分从SSD流式传输。 我们测量了14 tok/s解码。 在我们目前的硬件上，这对于代理的主要大脑来说还不够，但它可以很好地作为第二意见模型和隔夜审计师。
这对 Box 客户意味着什么
- 引擎更新由代理检测、应用和测量，并在更改前获得批准。
- 每个硬件级别都有自己的测量配置，并记录失败的选项。
- 不同硬件上的相同模型为选择配置提供了明确的基础。