CLARYEL CLARYEL Box
設定を要求する

ニュース

私たちの実験構成：低価格のRTX 3060で約83.6 GBのモデルをローカル実行

Qwen3.8-Flash-Next IQ3_S、RTX 3060 12 GB、わずか48 GBのシステムRAM。クラウドの推論はありません。手頃な価格の消費者向けハードウェアだけです。

さらに詳しく検証：長い回答を通した速度、長いコンテキスト、出力品質 →

StrataローカルAI推論：RTX 3060 12 GBと48 GBのDDR5で毎秒68トークン

これはすごい！

Qwen3.8-Flash-Next IQ3_S（約83.6 GB）を、システムRAMわずか48 GBの低価格RTX 3060 12 GBでローカル実行！

デコード最大68トークン/秒、プロンプト処理約916トークン/秒、30Kトークンのプロンプトをわずか34秒で処理。

エンジンはcoldnikoのStrata。クラウド推論なし。手頃な一般向けハードウェアだけです！

以下に、完全なベンチマーク、ハードウェア仕様、最適化、およびトレードオフを示します。

最終セクションの重要なポイントに直接進むことができます。

これらの結果の背後にあるハードウェア

データセンターGPUなし、高価なマルチGPUサーバーなし、大規模なRAM構成なし。

実験はすべて、ごく一般的なコンシューマー/ワークステーションPCで行いました。

実験に使用したコンパクトPC

CPU

マザーボード

メモリ

GPU

ストレージ

OS

ネットワーク

重要な詳細：モデルは、利用可能なVRAMとRAMを組み合わせたものよりもはるかに大きいです。

まさにそれがこの実験を面白いものにしています。

モデル、エンジン、メモリアーキテクチャ

モデル

Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S

GGUFシャード2個：

追加コンポーネント

推論エンジン

実際のメモリ割り当て

重要な構成設定

--expert-cache auto
--prefill 4096
--spec 4
--spec-min-p 0.5
--mtp mtp/rt
--max-context 32768
--kv int8
--kv-grow
--kv-resident 32768
--vision
--vram-reserve-mib 960
--pool-workers 12
--conversation-cache-mib 1536
--prompt-cache-tail
--prompt-cache-spread
--resident-experts
--resident-budget-gib 24

これは従来の「モデル全体をGPUメモリにロードする」設定ではありません。

Strataは、GPUメモリ、システムRAM、エキスパートキャッシュ、NVMeストレージを一緒に使用します。

重要な最適化は、GPUの生産性を維持しながら、高価なエキスパートの移転を最小限に抑えることです。

実際のベンチマーク結果

同じモデル、同じハードウェア、2つのルーティング構成。

モードA：高速、常駐優先のエキスパートルーティング（prior = 1.5）

コンテキストプリフィルコールドデコードウォームデコード
1K285 tok/s42 tok/s61 tok/s
4K804 tok/s50 tok/s65 tok/s
8K819 tok/s61 tok/s68 tok/s
16K916 tok/s60 tok/s68 tok/s
30K890 tok/s58 tok/s61 tok/s

最初のトークンまでのコールドタイム：

比較として、モードBでは常駐優先ルーティングを無効にしています（prior = 0）：

コンテキストプリフィルコールドデコードウォームデコード
1K282 tok/s24 tok/s27 tok/s
4K781 tok/s29 tok/s26 tok/s
8K789 tok/s30 tok/s32 tok/s
16K889 tok/s30 tok/s29 tok/s
30K878 tok/s26 tok/s27 tok/s

500トークン生成の実行：

速度測定は、クライアント側のストリーミングタイミングと照合してクロスチェックされました。

主な観察事項：

キャッシュバイアスルーティングを無効にすると、デコード速度が約2〜2.4倍低下する可能性があります。

しかし、すべてのワークロードに対して積極的なルーティングを有効にしないことには重要な理由があります。詳細については、次のセクションを参照してください。

スピードとモデルの品質：隠されたトレードオフ

このバージョンのStrataエンジンでは、VRAMが13 GB以下のGPUは自動的に常駐優先ルーティングを使用します：

STRATA_ROUTE_PRIOR=1.5

これは、元のルーターが好むエキスパートを常に選択するのではなく、すでに高速メモリで利用可能なエキスパートを優先します。

そのメリットは劇的です。

ただし、これはタダで得られる最適化ではありません。

エキスパートの選択を変更すると、モデルの動作が変化し、元のモデルからの乖離が増え、長い推論やエージェントのワークフローに影響を与える可能性があります。

10のエージェントタスクに関する開発者の評価によると：

ベースライン結果自体は実行間で異なるため、これは方向性のある結果であり、決定的な品質測定ではありません。

私自身が行った6つの短いエージェントチェックは、両方のモードで合格しました。

ただし、別途行った一意性ストレス実行では繰り返しが発生しました：

結論は明快です：

そして、ベンチマークの速度だけをモデルの品質と混同してはいけません。

プロンプトキャッシュはすべてを変えます

最も印象的な結果の1つは、デコード速度ではありませんでした。同じプロンプトを使用して繰り返し要求した場合の応答時間でした。

完全にキャッシュされたプロンプトを使用する場合：

コンテキストコールドTTFTキャッシュされたTTFT
1K3.7 s0.08 s
4K4.9 s0.08 s
8K9.7 s0.27 s
16K17.3 s0.34 s
30K33.9 s0.44 s

これは、これらの実行で最初のトークンまでの時間を約45〜90倍短縮します。

プロンプトキャッシュは、同じ長いドキュメントを繰り返しクエリしたり、安定したコンテキストで会話を維持したりする場合に大きな違いをもたらします。

エンジンは、会話キャッシュ用にも構成されています。

ただし注意点があります：これらの結果は、キャッシュを完全に再利用できる同一プロンプトの場合です。

新しい任意の30Kトークンのプロンプトが0.5秒で処理されるという意味ではありません。

しかし、インタラクティブなローカルAIにとって、ウォームキャッシュはゲームチェンジャーです。

SSDの謎：PCIe 5.0はボトルネックではありません

最初は、NVMeドライブが疑わしく遅いように見えました。PCIeリンク、ストレージトポロジ、および実際のI/O動作を調査しました。

ドライブ：Lexar NM1090 PRO 2 TB、PCIe 5.0 × 4。

確認済みのPCIe接続：

そのため、ドライブは完全なPCIe 5.0リンク速度で動作しています。

キャッシュを介さない直接読み取りベンチマーク：

10.94 GB/秒のパラレル結果は特に重要です。これは、PCIe 4.0 × 4の実用的な帯域幅を超えています。

シングルストリームスループットがはるかに低いのはなぜですか？

PCIeの帯域幅はアプリケーションレベルのスループットと同じではないためです。

キューの深さ、I/Oサイズ、要求の並列処理、およびレイテンシはすべて重要です。

Strataのエキスパート読み込みパターンは、合成の最大スループットベンチマークよりも低並行性のケースにはるかに近いです。

観測されたエンジンストレージスループット：

違いは、PCIeダウングレードではなく、フェッチする必要があるエキスパートの数にあります。

もう1つの有用な詳細：RTX 3060自体はPCIe 4.0デバイスです。アイドル中にGen1へのリンクがドロップするのを見ることは、通常の電源管理動作です。

PCIeの問題を診断する前に、測定しているデバイスを常に確認してください。

重要な教訓：48 GBのマシンで83.6 GBのモデルをLinuxにキャッシュさせないでください

最初の起動時に深刻な問題に遭遇しました。

最初の構成では、モデルファイルのバッファリングされた読み込みが可能になりました。

モデルは約83.6 GBですが、システムには48 GBの物理RAMしかありません。

そのワークロードの下で、Linuxは深刻なメモリ回収圧力に陥りました。マシンはSSH接続を含むほとんど応答しなくなり、強制的に再起動する必要がありました。

解決策は、ロード戦略を変更し、メモリセーフガードを導入することでした。

現在の設定：

これらの変更後：

教訓：

物理メモリよりも大きいモデルを実行することは可能ですが、メモリアカウンティングは絶対に重要です。

ページキャッシュ圧力、ピン留めされたモデルデータ、常駐エキスパート、およびKVキャッシュを一緒に考慮する必要があります。

RAM構成がはるかに大きいマシンから最大性能フラグを盲目的にコピーしないでください。

消費電力、熱、および推論コスト

これはもう一つの楽しい驚きです。

測定されたコンポーネントパワー：

モデル読み込み済みのアイドル時：

生成中：

コンセント側でのシステム全体の推定消費電力（電力計による実測ではありません）：

観測温度：

サーマルスロットリングは観察されませんでした。

想定電気料金が€0.25/kWhの場合：

これにより、自宅で機能的でプライバシーを保護するローカルAIエンドポイントを操作することが完全に現実的になります。

もちろん、これらは推定電力コストであり、総所有コストではありません。ハードウェアの減価償却費、冷却費、メンテナンス費は含まれていません。

RTX 3060構成が意味をなさなくなるところ

この構成は、短い対話型リクエストに最適ですが、制限があります。

最も重要なのは：

比較のために、24 GBのGPUを搭載したより強力なローカルシステムで同じモデルを実行しました。

そのシステムで測定されたパフォーマンス：

同等のケースで、RTX 3060システムはプリフィルのスループットがはるかに低く、デコードのスループットは約半分で、利用できるコンテキストは8分の1です。

それでも、12 GBカードははるかに入手しやすく、驚くほど実用的です。

現在のアプローチ：

重要なのは、安価なGPUがハイエンドマシンに取って代わるというふりをすることではありません。

重要なのは、ローカルAIがすでに安価なハードウェア上でどれだけ便利に実行できるかということです。

それでも最適化できる点は何ですか？

システムはすでに良好に動作していますが、さらに実験したい興味深い方向性がいくつかあります。

並行推論

--slots 2オプションにより、2つの同時会話で合計スループットが向上する可能性があります。

このワークロードでは合計スループットが推定+10–12%向上する可能性がありますが、検証が必要です。

これは、単一の会話が12%速くなることを意味するものではありません。

より大きなプレフィルバッチ

現在：--prefill 4096

候補：--prefill auto:16384

プリフィルのウィンドウを大きくすると長いプロンプトの処理が改善する可能性がありますが、使えるVRAMはすでに逼迫しています。

GPUの12 GiBの約11.14 GiBが占有されているため、メモリ動作を慎重に測定する必要があります。

より多くのシステムRAM

--ple-io ramを使うと、より多くのモデルデータをシステムメモリに載せ、ストレージからの読み取りを減らせる可能性があります。

開発者のドキュメンテーションには、次のことが示唆されています。

ただしこの構成には大幅に多くのRAMが必要で、測定したレイアウトでは約72 GiB以上になります。

現在の48 GB構成では実用的ではありません。

投機的デコード

MTP投機的デコードはすでに有効になっています。

観測された受理率：ドラフト50–60トークンのうち約33–41トークンが受理、つまり約65–70%。

より長いコンテキスト

現在の32Kという上限は運用上の設定による制限であり、モデル自体が32Kしかサポートしないことを示すものではありません。

これを増やすには、メモリ容量、KVキャッシュの動作、レイテンシ、および安定性を再確認する必要があります。

このワークロードでは、高価なエキスパートの読み取りを減らし、アクセスパターンを改善することは、ドライブの最大シーケンシャル帯域幅を増やすことよりも重要になる可能性があります。

いつもの通り、ハードウェアのマーケティング上の数字だけでなく、実際のワークロードでベンチマークしましょう。

まとめ

この実験では次のことを実証しています。

約83.6 GBの量子化MoEモデルは、次の構成でローカル実行できます：

測定結果（最大値）：

しかし、重要な注意事項があります。

私は特にローカルAIの実用的な経済学に興味があります。

€10,000のシステムでの最大ベンチマークだけでなく、一般向けマシンや約€1,000からの手頃な構成で実際に得られる有用な性能です。

プライバシー、独立性、管理された運用コスト、現実世界の有用性は、印象的なベンチマーク数値だけを追いかけるよりも重要です。

これはまだ進化している実験であり、測定、失敗、構成の変更、および改善を共有し続けます。

ローカルAIの未来は、すでに驚くほど手頃な価格になっています。

後日の追記

そういえば言い忘れていましたが、GPUは先週、ほんの数日前に公開されたNVIDIA Unlockで動作しています。

これで、ロック解除せずに同じベンチマークを実行するようAIエージェントに依頼しましたので、約15〜20分で結果を比較できます。

今日ではありませんが、数日中にこのGPUを$1,000未満のシステムに取り付けて、そこでの性能を確認します。

Xの元のスレッド · すべてのニュース