ニュース
実行するハードウェアをチューニングするローカルAIエージェント
推論速度を損なうことなく低いCPUブーストクロック、GPUの電力制限により、エージェントは最初に固定不可能と呼ばれ(修正後+30〜35%)、RTX 5090ラップトップとRTX 3060ロック解除で自動最適化されます。これはBoxにとって何を意味するのか。
ローカルAIシステムは手動でチューニングする必要はありません。私たちの実験では、ローカルハードウェア上で実行されているエージェントが同じハードウェアを分析し、独自の測定を実行し、実際に役立つ設定のみを保持します。以下は、最新から最古まで、先週の4つの結果です。
CPUブーストクロックの制限:同じ速度、より少ない熱
ローカルAIを実行するための1つの過小評価されたトリックは、CPUおよび/またはGPUブーストクロックを制限することです。音声で、地元のAIエージェントにメインのAIブレインを実行するノートパソコンを最適化するよう依頼しました。CPU周波数を5.5GHzから4.5GHzに低減しました。
- StrataでのLLM推論速度は、損失なしでまったく同じままでした。
- CPU温度が約10%低下しました。
- CPUの消費電力は大幅に低下した。
- GPUクロックを制限することなく、GPU温度も低下しました。
CPUとGPUはサーマルバジェットを共有しているため、不要なCPUブーストを減らすこともGPUに役立ちます。チューニングに時間を費やす人はいませんでした。エージェントは単に最適な限界を見つけるように言われ、他の作業を続けながら実験自体を実行しました。
自己診断:AIを信頼しながら検証
セットアップ:Strata + Qwen3.8-Next-IQ3_S。ローカルAIはGPUの電力制限を修正できないと宣言しました。調査結果に疑問を呈し、外部でクロスチェックし(無料版のChatGPTでもこれに十分です)、制限を修正し、30〜35%のパフォーマンスを獲得しました。
適用されるルール:自己診断にAIを使用しますが、重要な所見をクロスチェックします。
RTX 5090ノートパソコンでの自動最適化
RTX 5090(24 GB VRAM)搭載のゲーム用ノートパソコン上のStrata、モデルQwen3.8-Flash-Next IQ3_S:
- デコード:83.6トークン/秒
- エージェントのデコード:99.8トークン/秒
- プリフィル4K:1,443トークン/秒
- プレフィル16K:2,132トークン/秒
- 最初のトークン:0.28秒
その後、エージェントは同じマシンを独自に最適化しました。
- ウォームデコード:63–110 → 109–118トークン/秒
- ピークエージェントデコード:119.5 → 125.5トークン/秒(+5%)
- 最適化された構成が保存され、不安定な設定がロールバックされ、サーバーは安全にシャットダウンされました。
RTX 3060 12 GB:ロック解除と最初の獲得
私たちの実験的なコンピュータの1つ(小さなITXケース、48 GBのRAM、RTX 3060 12 GB)で、NVIDIAのロック解除を有効にしました。測定されたゲイン:GPUコンピューティングで最大+78%、AI推論プリフィルで+11%。
パースペクティブでは、coldnikoによる次のStrataワークでは、RTX 3060 12 GB + 48 GB RAMが毎秒32から60–80の持続トークンになりました。当社のMac Studio M3 Ultra(60 GPUコア、256 GB RAM、Strata v0.2.6)は、同じQwen3.8-Flash-Next IQ3_Sモデルで61.4 tok/sのデコードと734 tok/sのプレフィルを提供しました。このカードの完全な結果は別の記事に記載されています。
Boxのお客様にとっての意味
- 設定は推測ではなく測定によって選択されます。エージェントは前後を比較し、役に立たないものをロールバックします。
- より低い温度と同じ速度での消費電力は、より静かな動作とより少ない摩耗を意味します。
- エージェントの重要な結論は、行動を起こす前にクロスチェックされます。
- 手頃な価格のハードウェアは、ソフトウェアアップデートだけで高速化を続けています。
ローカルAIを実行するハードウェアを最適化するローカルAI。