Agenti AI locali che ottimizzano l’hardware su cui girano

Un sistema di AI locale non va per forza ottimizzato a mano. Nei nostri esperimenti l’agente che gira sull’hardware locale analizza quello stesso hardware, esegue le proprie misurazioni e mantiene solo le impostazioni che aiutano davvero. Ecco quattro risultati dell’ultima settimana, dal più recente al meno recente.

Limitare le frequenze di boost della CPU: stessa velocità, meno calore

Un trucco sottovalutato per l’AI locale è limitare le frequenze di boost di CPU e/o GPU. A voce abbiamo chiesto all’agente AI locale di ottimizzare il portatile su cui gira il nostro cervello AI principale. Ha ridotto la frequenza della CPU da 5,5 GHz a 4,5 GHz.

• La velocità di inferenza LLM su Strata è rimasta esattamente la stessa, senza alcuna perdita.
• La temperatura della CPU è scesa di circa il 10%.
• Il consumo energetico della CPU è diminuito in modo significativo.
• Anche le temperature della GPU sono scese, senza limitare le frequenze della GPU.

CPU e GPU condividono lo stesso budget termico, quindi ridurre il boost superfluo della CPU aiuta anche la GPU. Nessuno ha passato ore a regolare parametri: all’agente è stato semplicemente chiesto di trovare i limiti ottimali, e ha condotto da solo gli esperimenti mentre il lavoro proseguiva su altro.

Autodiagnosi: fidati dell'IA, ma verifica

Configurazione: Strata + Qwen3.8-Next-IQ3_S. L’AI locale aveva dichiarato non risolvibile un limite di potenza della GPU. Abbiamo messo in dubbio la conclusione, l’abbiamo verificata esternamente (basta anche la versione gratuita di ChatGPT), abbiamo corretto il limite e ottenuto il 30–35% di prestazioni in più.

La regola che applichiamo: usare l’AI per l’autodiagnosi, ma verificare in modo incrociato le conclusioni critiche.

Ottimizzazione automatica su un portatile RTX 5090

Strata su un portatile da gaming con RTX 5090 (24 GB di VRAM), modello Qwen3.8-Flash-Next IQ3_S:

• Decode: 83,6 tok/s
• Decode in modalità agente: 99,8 tok/s
• Prefill 4K: 1.443 tok/s
• Prefill 16K: 2.132 tok/s
• Primo token: 0,28 s

Successivamente, l'agente ha ottimizzato la stessa macchina da solo:

• Decode a cache calda: 63–110 → 109–118 tok/s
• Picco di decode dell’agente: 119,5 → 125,5 tok/s (+5%)
• La configurazione ottimizzata è stata salvata, le impostazioni instabili sono state annullate e il server è stato spento in sicurezza.

RTX 3060 12 GB: lo sblocco e i primi guadagni

Su uno dei nostri computer sperimentali (un piccolo case ITX, 48 GB di RAM, una RTX 3060 12 GB) abbiamo attivato lo sblocco NVIDIA. Guadagno misurato: fino a +78% nel calcolo GPU e +11% nel prefill dell’inferenza AI.

Per dare un’idea: con il successivo lavoro di coldniko su Strata, la combinazione RTX 3060 12 GB + 48 GB di RAM è passata da 32 a 60–80 token al secondo sostenuti. Il nostro Mac Studio M3 Ultra (60 core GPU, 256 GB di RAM, Strata v0.2.6) ha fatto 61,4 tok/s in decode e 734 tok/s in prefill con lo stesso modello Qwen3.8-Flash-Next IQ3_S. I risultati completi di questa scheda sono in un articolo dedicato.

Cosa significa per un cliente Box

• Le impostazioni si scelgono misurando, non a intuito: l’agente confronta prima e dopo e annulla ciò che non aiuta.
• Temperature e consumi più bassi alla stessa velocità significano funzionamento più silenzioso e meno usura.
• Le conclusioni critiche dell’agente vengono verificate prima di agire.
• L’hardware accessibile continua a diventare più veloce con i soli aggiornamenti software.

AI locale che ottimizza l’hardware su cui gira l’AI locale.

Thread originale su X · L’articolo sulla RTX 3060 · Tutte le notizie