Știri
Cum construim soluții pe calculatoare ieftine
Studiem câtă muncă utilă și fiabilă poate face un model AI local pe un calculator ieftin și îl comparăm cu o mașină în care întregul model încape în memorie.
Participă trei calculatoare. Un PC ieftin cu placă video RTX 3060 lucrează cu limite stricte de memorie. Un al doilea calculator cu agentul Hermes analizează rezultatele, verifică munca și aduce îmbunătățiri. Un Mac Studio M3 rulează în paralel aceleași sarcini ca referință, cu memorie suficientă. Toate mașinile folosesc aceleași fișiere ale modelului și aceeași versiune Strata.
Pentru noi contează nu viteza în sine, ci calitatea și fiabilitatea răspunsurilor la sarcini reale. Rezultatele preliminare arată că hardware-ul limitat nu înseamnă neapărat o calitate mai slabă a răspunsurilor.
O parte separată a experimentului urmărește dacă agentul își poate găsi singur erorile, le poate corecta și poate preveni altele asemănătoare. Fără să i se ceară, a început să țină cont și de câți tokeni costă îmbunătățirile sale și să reducă consumul inutil.
Aceste experimente duc la rezultate reale și la scenarii practice, de exemplu lucrul cu documente.