ローカルAIの自律開発5日間:77%から99%へ

凍結したローカルモデル周りの実験的自己改善開発環境5日間:品質・速度・コストと未解決点。

5日間の自律開発環境進捗グラフ

2026年10月31日から11月5日、Qwen3.8-Flash-Next IQ3_S向け実験開発環境が固定178課題(請求書・表・診断・コード・フィルタ)で完全正解率を77%から99%へ。モデル重みの微調整はなし。

推論はStrataからBasaltへ。デコードは約80から130–220 tok/s、prefillは約2倍、フルベンチマークは87分から6.9分。開発環境は契約チェック付きで15リリース。

ベンチマーク用マシンで約3.4万回のモデル呼び出し、約3700万トークン処理(有用な回答トークン約400万)。暦日120時間。ハードウェア変更・再起動・人の判断待ちで多くの容量が未使用。

同量の商用API想定コスト(入力3300万・出力400万、標準料金・キャッシュなし):Qwen Flash約3.25 $、DeepSeek Flash 7–15 $、Gemini 2.5 Flash約20 $、GPT-5.4 Mini約43 $、Grok 4.3約51 $、Claude Sonnet 5.5約106 $、GPT-5.4約143 $。5日間の現地電力は0.25 €/kWhでアイドル込み約7–10 €。規模の確認であり、ローカルAIが常に安い、またはモデルが同等であるとの主張ではない。

同一計算予算の生モデル基準(盲検best-of-2)に対し開発環境は+13.5ポイント。未見課題での持続を確認するholdout実行中。リリース・手法・ベンチマークはGitHub。

Xに投稿 · すべてのニュース