Nyheter
Så bygger vi lösningar på budgetdatorer
Vi undersöker hur mycket användbart och pålitligt arbete en lokal AI-modell kan göra på en billig dator och jämför med en maskin där hela modellen ryms i minnet.
Tre datorer deltar. En budget-pc med grafikkortet RTX 3060 arbetar med snäva minnesgränser. En andra dator med agenten Hermes analyserar resultaten, kontrollerar arbetet och gör förbättringar. En Mac Studio M3 kör parallellt samma uppgifter som referens med tillräckligt minne. Alla maskiner använder samma modellfiler och samma Strata-version.
Det som räknas för oss är inte hastighet i sig, utan kvalitet och pålitlighet i svaren på verkliga uppgifter. Preliminära resultat visar att begränsad hårdvara inte nödvändigtvis betyder sämre svarskvalitet.
En separat del av experimentet undersöker om agenten själv kan hitta sina fel, rätta dem och förebygga liknande. Utan att bli ombedd började den också ta hänsyn till hur många tokens dess förbättringar kostar och minska onödig förbrukning.
De här experimenten leder till verkliga resultat och praktiska scenarier, till exempel arbete med dokument.