ニュース
低価格のコンピューターでソリューションをつくる方法
安価なコンピューター上のローカル AI モデルがどれだけ有用で信頼できる仕事をこなせるかを調べ、モデル全体がメモリに収まるマシンと比較しています。
参加するのは3台のコンピューターです。RTX 3060 グラフィックカードを搭載した低価格 PC は、厳しいメモリ制約の下で動作します。2台目のコンピューターではエージェント Hermes が結果を分析し、作業を検証し、改善を行います。Mac Studio M3 は十分なメモリを持つ基準機として、同じタスクを並行して実行します。すべてのマシンで同じモデルファイルと同じ Strata バージョンを使用しています。
重要なのは速度そのものではなく、実タスクにおける回答の品質と信頼性です。予備的な結果では、ハードウェアが限られていても回答品質が必ずしも下がるわけではないことが示されています。
実験の別の部分では、エージェントが自分の誤りを見つけて修正し、同様の誤りを防げるかを調べています。指示されていないにもかかわらず、改善にかかるトークンコストを考慮し、不要な消費を減らし始めました。
これらの実験は、文書処理などの実際の成果と実用的なシナリオにつながっています。