ニュース

実行するハードウェアをチューニングするローカルAIエージェント

推論速度を損なうことなく低いCPUブーストクロック、GPUの電力制限により、エージェントは最初に固定不可能と呼ばれ(修正後+30〜35%)、RTX 5090ラップトップとRTX 3060ロック解除で自動最適化されます。これはBoxにとって何を意味するのか。

ローカルAIシステムは手動でチューニングする必要はありません。私たちの実験では、ローカルハードウェア上で実行されているエージェントが同じハードウェアを分析し、独自の測定を実行し、実際に役立つ設定のみを保持します。以下は、最新から最古まで、先週の4つの結果です。

CPUブーストクロックの制限:同じ速度、より少ない熱

ローカルAIを実行するための1つの過小評価されたトリックは、CPUおよび/またはGPUブーストクロックを制限することです。音声で、地元のAIエージェントにメインのAIブレインを実行するノートパソコンを最適化するよう依頼しました。CPU周波数を5.5GHzから4.5GHzに低減しました。

CPUとGPUはサーマルバジェットを共有しているため、不要なCPUブーストを減らすこともGPUに役立ちます。チューニングに時間を費やす人はいませんでした。エージェントは単に最適な限界を見つけるように言われ、他の作業を続けながら実験自体を実行しました。

自己診断:AIを信頼しながら検証

セットアップ:Strata + Qwen3.8-Next-IQ3_S。ローカルAIはGPUの電力制限を修正できないと宣言しました。調査結果に疑問を呈し、外部でクロスチェックし(無料版のChatGPTでもこれに十分です)、制限を修正し、30〜35%のパフォーマンスを獲得しました。

適用されるルール:自己診断にAIを使用しますが、重要な所見をクロスチェックします。

RTX 5090ノートパソコンでの自動最適化

RTX 5090(24 GB VRAM)搭載のゲーム用ノートパソコン上のStrata、モデルQwen3.8-Flash-Next IQ3_S:

その後、エージェントは同じマシンを独自に最適化しました。

RTX 3060 12 GB:ロック解除と最初の獲得

私たちの実験的なコンピュータの1つ(小さなITXケース、48 GBのRAM、RTX 3060 12 GB)で、NVIDIAのロック解除を有効にしました。測定されたゲイン:GPUコンピューティングで最大+78%、AI推論プリフィルで+11%。

パースペクティブでは、coldnikoによる次のStrataワークでは、RTX 3060 12 GB + 48 GB RAMが毎秒32から60–80の持続トークンになりました。当社のMac Studio M3 Ultra(60 GPUコア、256 GB RAM、Strata v0.2.6)は、同じQwen3.8-Flash-Next IQ3_Sモデルで61.4 tok/sのデコードと734 tok/sのプレフィルを提供しました。このカードの完全な結果は別の記事に記載されています。

Boxのお客様にとっての意味

ローカルAIを実行するハードウェアを最適化するローカルAI。

Xの元のスレッド · RTX 3060の記事 · すべてのニュース