新闻
First Strata运行和可重复本地AI配置的实验室
31 tok/s ，约47 GB型号，仅使用约3 GB的系统RAM ， RAM升级后45–48 tok/s ， 32 GB的RAM确认为足够，第一个自主隔夜工作流程，以及用于可重复配置的相同机器。
第一个结果：每秒31个令牌
- Strata v0.1.41
- 型号：Qwen3.8-Flash-Next IQ3_XXS
- CPU：Intel Core Ultra 7 270K Plus
- 显卡：AMD Radeon RX 9070 OC, 16 GB GDDR6
- 内存：32 GB DDR5-6000
- 固态硬盘：Lexar NM1090 Pro 2 TB, NVMe PCIe 5.0
- 上下文：65,536 tokens
该模型在大约6.5分钟内生成了12,136个令牌：每秒31个令牌。 凭借约47 GB的模型， VRAM几乎已满，而系统RAM使用量仅为约3 GB ： Strata直接从SSD读取部分模型。 GPU的功耗约为130–150瓦，保持在45°C ，风扇几乎听不到声音。 这开辟了大幅降低本地AI系统成本的可能性，无需大量RAM或昂贵的服务器平台。
针对不同硬件的系统程序
这些结果启动了一个更系统的计划：在11台配置非常不同的计算机上使用Strata ，包括NVIDIA、AMD和Intel GPU、DDR4和DDR5 ，以及从PCIe 3.0到PCIe 5.0的NVMe存储，包括约35 GB/s的PCIe 5.0 RAID 0阵列。 首先是兼容性、性能和稳定性；然后是实际的日常和业务任务。
还检查了相反的情况：在没有分立GPU和8 GB RAM的迷你PC上，可以构建Strata ，但由于动态分配的视频内存，即使在添加RAM之后，该模型也没有启动。 结论： Strata不会在此未记录的配置上启动。
256K上下文和第一堂实践课
在具有256K上下文的RX 9070系统上，输出为每秒15–30个令牌。 在一个会话（ 9:44 – 12:00 ）中： 18个请求，约108K个提示令牌（ 114个令牌/秒） ，约856K个重复使用，约10万个已写入（ 22.6个令牌/秒）。 在大约25个请求中，有几个请求中断：一次提示五个问题（拆分时有效） ，以及请求60-70,000令牌答案。 其他产量达到14-22000个令牌，质量长期停滞不前。
这款华硕Pro Q870M-C-CSM主板上没有连接显示器， Strata无法检测到GPU ； HDMI虚拟插头解决了这个问题。
32 GB的RAM就足够了
使用32 GB的RAM ， Strata可以在不将模型加载到系统RAM的情况下运行：内存可用于其他任务， CPU可用于并行工作负载，速度为15–20 tok/s。 在同一台机器上使用64 GB （ Strata v0.1.43 ， Qwen3.8-Flash-Next IQ3_S ） ，一代达到45–48 tok/s ，但用于其他工作的内存要少得多。 后来，在包括DDR4在内的两种不同配置上， Strata几乎没有以15–25 tok/s的速度使用RAM ，而Hermes和支持组件则保留了大约一半的CPU。 性能随着上下文长度的增加而下降，因此取决于任务。
第一个自主工作流程
在不受支持的硬件上隔夜运行，没有离散的GPU ，每秒大约给出1个令牌，因为大多数模型最终都处于交换状态。 速度不是目标：任务在晚上分配，结果在早上准备好。 然后，爱马仕搬到了一台可用速度的机器上，开始了日常工作。 一天早上，检查已经使用了Home Assistant传感器，并监控连接的计算机上的备份、磁盘健康状况和温度；它立即报告说，服务器机房太热了，有六台计算机正在运行。
由相同机器组成的实验室
为了将单个结果转化为可重复的设置，我们为10个匹配系统购买了10个相同的主板和CPU ：具有8个RAM插槽的华硕平台，经济实惠的DDR4和BIOS级远程管理，因此代理商甚至可以远程重新安装操作系统。
我们已经几乎从头开始设置了20–30台计算机，并通过云代理通过电话进行语音管理，包括从ERP安装到将发票输入意大利税务系统的会计工作流程。 现在的目标是使用本地AI重现这些工作流程。 开箱即用，在云中需要几秒钟或一分钟的任务在本地需要5–10分钟；接下来是优化。 任务来自许多来源，代理会将其归档到OpenProject中，并将其分配给最合适的代理或人员。
这对 Box 客户意味着什么
- 大型机型可以在经济实惠的硬件上运行，内存适中。
- 配置从真实机器上的测量中选择。
- 相同的机器使结果可重复并实现远程管理。