Notizie
Come costruiamo soluzioni su computer economici
Studiamo quanto lavoro utile e affidabile può svolgere un modello di IA locale su un computer economico e lo confrontiamo con una macchina in cui l’intero modello sta in memoria.
Partecipano tre computer. Un PC economico con scheda grafica RTX 3060 lavora con limiti di memoria stretti. Un secondo computer con l’agente Hermes analizza i risultati, verifica il lavoro e introduce miglioramenti. Un Mac Studio M3 esegue in parallelo gli stessi compiti come riferimento con memoria sufficiente. Tutte le macchine usano gli stessi file del modello e la stessa versione di Strata.
Per noi conta non la velocità in sé, ma la qualità e l’affidabilità delle risposte su compiti reali. I risultati preliminari mostrano che un hardware limitato non significa necessariamente una qualità inferiore delle risposte.
Una parte separata dell’esperimento osserva se l’agente sa trovare i propri errori, correggerli e prevenirne di simili. Senza che gli fosse chiesto, ha anche iniziato a considerare quanti token costano i suoi miglioramenti e a ridurre il consumo superfluo.
Questi esperimenti portano a risultati reali e a scenari pratici, per esempio il lavoro con i documenti.