Novinky
Jak stavíme řešení na levných počítačích
Zkoumáme, kolik užitečné a spolehlivé práce zvládne lokální model AI na levném počítači, a porovnáváme ho se strojem, do jehož paměti se vejde celý model.
Účastní se tři počítače. Levné PC s grafickou kartou RTX 3060 pracuje s přísnými limity paměti. Druhý počítač s agentem Hermes analyzuje výsledky, ověřuje práci a zavádí zlepšení. Mac Studio M3 paralelně provádí stejné úlohy jako referenci s dostatkem paměti. Všechny stroje používají stejné soubory modelu a stejnou verzi Strata.
Nejde nám o rychlost samotnou, ale o kvalitu a spolehlivost odpovědí na reálných úlohách. Předběžné výsledky ukazují, že omezený hardware nemusí znamenat nižší kvalitu odpovědí.
Samostatná část experimentu sleduje, zda agent dokáže sám najít své chyby, opravit je a předejít podobným. Bez vyzvání také začal zohledňovat, kolik tokenů stojí jeho zlepšení, a omezovat zbytečnou spotřebu.
Tyto experimenty vedou k reálným výsledkům a praktickým scénářům, například k práci s dokumenty.