Nyheder
Sådan bygger vi løsninger på budgetcomputere
Vi undersøger, hvor meget nyttigt og pålideligt arbejde en lokal AI-model kan udføre på en billig computer, og sammenligner med en maskine, hvor hele modellen kan være i hukommelsen.
Tre computere deltager. En budget-pc med et RTX 3060-grafikkort arbejder med stramme hukommelsesgrænser. En anden computer med agenten Hermes analyserer resultaterne, kontrollerer arbejdet og laver forbedringer. En Mac Studio M3 kører parallelt de samme opgaver som reference med tilstrækkelig hukommelse. Alle maskiner bruger de samme modelfiler og den samme Strata-version.
Det, der betyder noget for os, er ikke hastighed i sig selv, men kvaliteten og pålideligheden af svarene på virkelige opgaver. Foreløbige resultater viser, at begrænset hardware ikke nødvendigvis betyder lavere svarkvalitet.
En separat del af eksperimentet ser på, om agenten selv kan finde sine fejl, rette dem og forebygge lignende. Uden at blive bedt om det begyndte den også at tage højde for, hvor mange tokens dens forbedringer koster, og at skære ned på unødvendigt forbrug.
Disse eksperimenter fører til virkelige resultater og praktiske scenarier, for eksempel arbejde med dokumenter.