ニュース
当社のフリートでのStrataのリリース：エージェントの更新、測定、最適化
当社のエージェントは、coldnikoによる新しいStrataのリリースを検出し、マシンを更新してベンチマークを再実行します。Tesla P100システムでは16Kで最大2.4倍高速にデコードし、Radeonシステムではエキスパートスロットが46%増加し、Mac Studioは最適であることを確認し、DeepSeek V4.1-Flashはローカルで実行されます。
Strataは、coldnikoが開発したローカルAI推論エンジンです。10月中旬以来、私たちはいくつかの独自のマシンでそのリリースをフォローしてきました。すべてのコンピューターが同じモデル、Qwen3.8-Flash-Next IQ3_Sを実行しているため、結果は同等です。マシンは、ハードウェアレベルに基づいて命名されます。
- P1005：Intel Xeon E5-2690 v4、NVIDIA Tesla P 100 16 GB HBM2、32 GB DDR4、NVMe約2.5 GB/秒、CUDA 12。
- P2002：Intel Core Ultra 7 270K Plus、AMD Radeon RDNA4（gfx1201）16 GB、64 GB DDR5、NVMe RAID 0、ROCm/HIP。
- Mac Studio：Apple M3 Ultra、Metal。
エージェント自体が新しいStrataリリースを検出し、ダウンロードして測定を実行し、要求に応じて構成を最適化します。すべての最適化は、最新のStrataバージョンで同じQwen3.8-Flash-Next IQ3_Sモデルを使用してローカルで実行されます。
P1005（テスラP 100）：データ不足から計算バウンドまで
モデルエキスパートの合計は46.8 GiBで、RAMには大きすぎ、16 GBのカードは非常にいっぱいだったため、エンジンはデコードが1秒あたり数トークンに落ちると警告しました。Strataリポジトリのドキュメントに続いて、エージェントは4つのことを変更しました。
--vram-reserve-mib 960 (was 700)
--max-context 65536 (was 262144)
STRATA_Q8_SM60=0
--resident-experts
STRATA_DENSE_F32=1結果：GPU使用率は27%から92%（155–170 W）になりました。プレフィルは最大4.4倍速くなり、8Kで+40%、16Kで2.4倍になりました。
| コンテキスト | Before (prompt/decode, tok/s) | After (prompt/decode, tok/s) |
|---|---|---|
| 512 | 47.7 / 13.4 | 54.5 / 14.3 |
| 2K | 62.6 / 10.3 | 74.5 / 13.9 |
| 8K | 46.4 / 9.9 | 178.1 / 14.3 |
| 16K | 43.8 / 6.2 | 193.9 / 15.1 |
| 32K | 44.1 / 6.0 | 213.8 / 12.6 |
値は、1秒あたりのプロンプト/デコードトークンです。コスト：24 GiBのRAMはエキスパート向けにページロックされているため、このマシンでは他に大きなものは実行できず、コンテキストキャップは262Kではなく65Kです。すべてが再起動後も続きます。
P2002（Radeon RDNA4）：ライブチューニング、その後短時間の再起動
まず、エンジンを再起動せずにライブチューニングを行います。CPUガバナーがパフォーマンスに設定され、専門家のための長いページキャッシュが維持されました。ピン留めされたGPUクロックはプレフィルを約10%削減し、拒否されました。より大きな読み取り前には効果がありませんでした。2K及び8Kでのデコードが1 0～18%改善された。
次に、約40秒の再起動（フォールバックチェーンがセッションを運び、目に見える中断はありませんでした）で、エージェントはVRAMリザーブを700 MiBから960 MiBに引き上げ、262Kのコンテキスト全体を維持しながら--kv - growを有効にしました。エキスパートスロットは2518から3686（+46%）に増加し、エキスパートヒット率は74%から87%に上昇し、ページング警告は消えました。また、ウォッチドッグも追加されたため、エンジンは自動的に再起動します。
| コンテキスト | Before (prompt/decode, tok/s) | After (prompt/decode, tok/s) |
|---|---|---|
| 512 | 547 / 63.6 | 602 / 57.5–64 |
| 2K | 1228 / 60–71 | 1275–1303 / 66–74 |
| 8K | 2085 / 59–69 | 1723–2144 / 79–82 |
| 16K | 2180 / 72.7 | 1988–2169 / 76–78 |
| 32K | 2056 / 72.9 | 2023–2096 / 76–77 |
標準スイート：チャットデコード74.3トークン/秒（71.9）、最初のトークン0.39秒（0.46）、エージェントデコード66.7トークン/秒（59.2）。エージェントはまた、エキスパートキャッシュがまだ低温であるため、再起動直後の最初の数字は約25%低いことに正直に言及しました。
Mac Studio（M3 Ultra）：デフォルトはすでに最適化されていました
エージェントは、クリーンなA/B実行のためにエンジンを6回再起動し、既定の構成がすでに最適であることを経験的に証明しました。KVオプションは、統合メモリに影響を与えませんでした。大規模な有線エキスパートキャッシュは有害であり（デコードは約32トークン/秒に崩壊しました）、元に戻されました。約790トークン/秒のプリフィルは、ハードウェアの帯域幅制限であり、構成の帯域幅制限ではない。最終スイート：チャットデコード69.1トークン/秒、最初のトークン0.48秒。すべての行き止まりは記録されていたので、誰も繰り返すことはありませんでした。
測定された新しいリリース
- ユーザーインターフェイスを備えたStrata 0.2.0：StrataとローカルAIをコマンドラインなしでインストールできるようになり、より幅広いオーディエンスにアクセスできるようになりました。
- v0.2.2：v0.2.1から更新された3台のコンピュータ。
- mac → Studioのv0.2.3 v0.2.3.1：61.3 → 66.4 tok/s（+8%）をデコードし、729.9 738.9 tok/→s（+1%）をプリフィルし、モデルファイルの回帰や再ダウンロードは行いません。
- v0.2.6とv0.2.7：これまでのすべてのリリースは、別のパフォーマンスの向上をもたらしました。V0.2.7の場合、エージェントはリリースノートの概要を作成し、承認なしに何もインストールしませんでした。
DeepSeek V4.1-Flashをローカルで実行
大規模なMoEモデルであるDeepSeek V4.1-Flashは、現在Strata上でローカルに実行されています。ホットエキスパートはRAMにとどまり、残りはSSDからストリーミングされます。14トークン/秒のデコードを測定しました。現在のハードウェアでは、これはエージェントのメインブレインには十分ではありませんが、セカンドオピニオンモデルやオーバーナイトオーディターとしてうまく機能します。
Boxのお客様にとっての意味
- エンジンアップデートは、変更前の承認を得て、エージェントによって検出、適用、測定されます。
- 各ハードウェアレベルは独自の測定された構成を取得し、失敗したオプションが文書化されます。
- 異なるハードウェア上の同じモデルは、構成を選択するための明確な基礎を提供します。