ニュース
最初のStrataの実行と、再現可能なローカルAI構成のためのラボ
約3 GBのシステムRAMのみを使用した約47 GBモデルで31トークン/秒、RAMアップグレード後に45〜48トークン/秒、32 GBのRAMが十分であることが確認され、最初の自律型オーバーナイトワークフロー、および反復可能な構成のための同じマシン。
最初の結果：毎秒31トークン
- Strata v0.1.41
- モデル：Qwen3.8-Flash-Next IQ3_XXS
- CPU：Intel Core Ultra 7 270K Plus
- GPU：AMD Radeon RX 9070 OC、16 GB GDDR6
- RAM：32 GB DDR5-6000
- SSD：Lexar NM1090 Pro 2 TB、NVMe PCIe 5.0
- コンテキスト：65,536トークン
このモデルは、約6.5分で12,136トークンを生成しました。1秒あたり31トークンです。約47 GBのモデルでは、VRAMはほぼいっぱいでしたが、システムRAMの使用量はわずか約3 GBでした。Strataはモデルの一部をSSDから直接読み取ります。GPUは約130〜150 Wを引き、45 ℃にとどまり、ファンはほとんど聞こえませんでした。これにより、大量のRAMや高価なサーバープラットフォームを使用せずに、大幅に安価なローカルAIシステムの可能性が開かれます。
異なるハードウェア上の体系的なプログラム
これらの結果は、より体系的なプログラムを開始しました。NVIDIA、AMD、Intel GPU、DDR4、DDR5、およびPCIe 3.0からPCIe 5.0までのNVMeストレージを使用した、構成が非常に異なる11台のコンピュータ上のStrata。これには、約35 GB/秒のPCIe 5.0 RAID 0アレイが含まれます。最初は互換性、パフォーマンス、安定性、次に実用的な日常業務とビジネスタスクです。
逆のケースもチェックされました。ディスクリートGPUと8 GBのRAMを搭載していないミニPCでは、動的に割り当てられたビデオメモリのため、Strataを構築することはできましたが、RAMを追加した後でもモデルは起動しませんでした。結論：この文書化されていない構成では、Strataは起動しません。
256Kのコンテキストと最初の実践的なレッスン
256KコンテキストのRX 9070システムでは、出力は1秒あたり15〜30トークンでした。1回のセッション（9:44 – 12:00）で：18リクエスト、約108Kプロンプトトークン（114トークン/秒）、約856K再利用、約100K書き込み（22.6トークン/秒）。約25のリクエストのうち、いくつかが破綻しました。一度に5つの質問を含むプロンプト（分割時に機能しました）と6万から7万のトークンの回答を要求しました。他の出力は14〜22,000トークンに達し、長い世代が品質を維持しました。
Strataは、このASUS Pro Q870M-C-CSMボードに接続されたモニターなしでGPUを検出しませんでした。HDMIダミープラグが解決しました。
32 GBのRAMで十分です
32 GBのRAMを使用すると、モデルをシステムRAMにロードせずにStrataを実行できます。メモリは他のタスクには空き、CPUは並列ワークロードには15〜20トークン/秒で使用できます。同じマシン上の64 GB（Strata v0.1.43、Qwen3.8-Flash-Next IQ3_S）では、世代は45〜48トークン/秒に達しましたが、他の作業に残るメモリははるかに少なくなりました。その後、DDR4を含む2つの異なる構成では、Strataは15–25トークン/秒でRAMをほとんど使用しませんでしたが、CPUの約半分はHermesとサポートコンポーネントのために空いていました。パフォーマンスは、コンテキストの長さが長くなるにつれて低下するため、タスクによって異なります。
最初の自律ワークフロー
個別のGPUがないサポートされていないハードウェアで一晩実行すると、モデルの多くがスワップに終わったため、1秒あたり約1トークンが得られました。スピードは目標ではありませんでした。タスクは夕方に割り当てられ、結果は午前中に準備されました。その後、エルメスは使用可能な速度のマシンに移動し、毎日の作業を開始しました。ある朝のチェックでは、すでにHome Assistantセンサーを使用しており、接続されたコンピュータ全体のバックアップ、ディスクの健全性、温度を監視していました。6台のコンピュータが動作しているため、サーバールームが暖かくなりすぎていることがすぐに報告されました。
同一のマシンの研究室
個々の結果を繰り返し可能なセットアップに変えるために、私たちは10の一致するシステムのために10の同じマザーボードとCPUを購入しました。8つのRAMスロットを備えたASUSプラットフォーム、手頃な価格のDDR4とBIOSレベルのリモート管理により、エージェントはOSをリモートで再インストールすることもできます。
私たちはすでに、ほぼゼロから20〜30台のコンピュータをセットアップし、ERPのインストールからイタリアの税務システムへの請求書の入力までの会計ワークフローを含め、クラウドエージェントを介して電話から音声で管理していました。現在の目的は、ローカルAIでそのようなワークフローを再現することです。そのままでは、クラウドで数秒または1分かかるタスクは、ローカルでは5〜10分かかりました。次に最適化が行われます。タスクは多くのソースから送られ、エージェントはそれらをOpenProjectにファイルし、最適なエージェントまたは担当者に割り当てます。
Boxのお客様にとっての意味
- 大型モデルは、適度なRAMを備えた手頃な価格のハードウェアで実行できます。
- 構成は、実際の機械での測定から選択されます。
- 同一のマシンにより、結果が繰り返し可能になり、リモート管理が可能になります。