ニュース
Strata 自律ループ:RTX 3060 対 Mac Studio M3、最初の結果
1つのモデル(Qwen3.8-Flash-Next IQ3_S)、同じファイル、同じ Strata バージョンを、大きく異なる2つの構成で実行。直近12時間のデータです。
構成
- 実験用 PC:RTX 3060(VRAM 12 GB)、シングルチャネル RAM 24 GB。メモリは極めて逼迫し、実行設定はアグレッシブ。24時間365日稼働。
- Hermes(コンピューター P2005):VRAM 24 GB、RAM 64 GB。結果の分析、作業の検証、改善を担当。
- Mac Studio M3:ユニファイドメモリ 256 GB。モデル全体がメモリに収まる。並行比較実行。
- 全システムで同一のモデルファイル、モデルバージョン、Strata バージョン。同一タスクと対応する繰り返し。

測定項目
- 限られたハードウェアでの実タスクへの有用性。
- 大きなコンテキストウィンドウでの劣化。
- 異なるハードウェア間の回答品質。
- モデルが自らの作業を改善できるか:継続的なループで誤りを見つけ、修正し、防止する。
速度(直近12時間)
| 指標 | RTX 3060 | Mac Studio M3 |
|---|---|---|
| ログレコード | 3392 | 4012 |
| 固有のタスク繰り返し | 2387 | 2497 |
| タスクあたり平均出力(トークン) | 235 | 228 |
| 平均タスク時間(秒) | 8.4 | 4.3 |
| 総合生成速度(tok/s) | 28 | 53.4 |
| 生成速度の中央値(tok/s) | 19 | 45 |
| タスク ID | RTX 3060, tok/s | Mac Studio M3, tok/s |
|---|---|---|
| A-me-00-0 | 44 | 69 |
| D-ea-00-0 | 5 | 18 |
| F-ha-01-0 | 18 | 45 |
| F-ha-02-0 | 19 | 39 |
| G-me-04 | 9 | 16 |
| H-ha-04-0 | 20 | 48 |
| J-ha-01-0 | 44 | 67 |
| K-ha-04-0 | 9 | 32 |
総合生成速度は Mac Studio が約1.9倍高い。実験用 PC 上の素のモデルは約60 tok/s。Hermes の生成は速いが負荷が異なるため、直接比較は誤解を招く。

回答品質:v1.8 と v1.9
| 指標 | RTX 3060 v1.8 | Mac Studio v1.8 | RTX 3060 v1.9 | Mac Studio v1.9 |
|---|---|---|---|---|
| 平均スコア | 0.882 | 0.876 | 0.938 | 0.944 |
| 完璧な回答(%) | 68.9 | 65.2 | 79.6 | 77.9 |
| フォーマット準拠(%) | 89.2 | 92.0 | 97.7 | 99.8 |
| 差 Mac − RTX | −0.006 | +0.006 | ||
品質はほぼ同等で、速度では Mac が優位。v1.8 から v1.9 で平均スコアは RTX 3060 で6.3%、Mac Studio で7.8%向上し、完璧な回答の割合も上昇した。カテゴリ別の差は分析中。


エージェントの挙動
プロンプトでの指示なしに、エージェントは改善のトークンコストを見積もり始め、一部のバージョンでは不要なトークン消費を減らすようプロセスを最適化した。
次の段階
収集済み:13,000回の実行、16,000ファイル、1,000ログファイル。この実験結果をより深く分析するため、分析システムのデモを構築中。