Nieuws
Hoe we oplossingen bouwen op budgetcomputers
We onderzoeken hoeveel nuttig en betrouwbaar werk een lokaal AI-model op een goedkope computer kan doen, en vergelijken dat met een machine waarin het hele model in het geheugen past.
Er doen drie computers mee. Een budget-pc met een RTX 3060-videokaart werkt met krappe geheugenlimieten. Een tweede computer met de agent Hermes analyseert de resultaten, controleert het werk en voert verbeteringen door. Een Mac Studio M3 voert parallel dezelfde taken uit als referentie met voldoende geheugen. Alle machines gebruiken dezelfde modelbestanden en dezelfde Strata-versie.
Het gaat ons niet om snelheid op zich, maar om de kwaliteit en betrouwbaarheid van antwoorden op echte taken. Voorlopige resultaten laten zien dat beperkte hardware niet per se een lagere antwoordkwaliteit betekent.
Een apart deel van het experiment kijkt of de agent eigen fouten kan vinden, herstellen en vergelijkbare fouten kan voorkomen. Zonder dat erom gevraagd werd, begon hij ook rekening te houden met de tokenkosten van zijn verbeteringen en onnodig verbruik te beperken.
Deze experimenten leiden tot echte resultaten en praktische scenario’s, bijvoorbeeld werken met documenten.