Notizie
Prime esecuzioni di Strata e un laboratorio per configurazioni AI locali ripetibili
31 tok/s con un modello da ~47 GB usando solo circa 3 GB di RAM di sistema, 45–48 tok/s dopo l’aumento di RAM, 32 GB di RAM confermati sufficienti, il primo flusso di lavoro notturno autonomo e macchine identiche per configurazioni ripetibili.
Il primo risultato: 31 token al secondo
- Strata v0.1.41
- Modello: Qwen3.8-Flash-Next IQ3_XXS
- CPU: Intel Core Ultra 7 270K Plus
- GPU: AMD Radeon RX 9070 OC, 16 GB GDDR6
- RAM: 32 GB DDR5-6000
- SSD: Lexar NM1090 Pro 2 TB, NVMe PCIe 5.0
- Contesto: 65.536 token
Il modello ha generato 12.136 token in circa 6,5 minuti: 31 token al secondo. Con un modello di circa 47 GB la VRAM era quasi piena, mentre la RAM di sistema usata era solo di circa 3 GB: Strata legge parte del modello direttamente dall’SSD. La GPU assorbiva circa 130–150 W, restava a 45 °C e le ventole si sentivano appena. Questo apre la strada a sistemi di AI locale molto più economici, senza enormi quantità di RAM né costose piattaforme server.
Un programma sistematico su diversi hardware
Questi risultati hanno avviato un programma più sistematico: Strata su 11 computer con configurazioni molto diverse, GPU NVIDIA, AMD e Intel, DDR4 e DDR5, storage NVMe da PCIe 3.0 a PCIe 5.0, compreso un array RAID 0 PCIe 5.0 da circa 35 GB/s. Prima compatibilità, prestazioni e stabilità; poi compiti pratici quotidiani e aziendali.
È stato verificato anche il caso opposto: su un mini PC senza GPU discreta e 8 GB di RAM, è stato possibile costruire Strata ma il modello non è stato lanciato, anche dopo aver aggiunto RAM, a causa della memoria video allocata dinamicamente. Conclusione: Strata non si avvia su questa configurazione non documentata.
Contesto da 256K e le prime lezioni pratiche
Sul sistema RX 9070 con un contesto 256K, l'output era di 15-30 token al secondo. In una sessione (9:44-12:00): 18 richieste, circa 108K prompt token (114 tok/s), circa 856K riutilizzati, circa 100K scritti (22.6 tok/s). Su circa 25 richieste, alcune si sono interrotte: un prompt con cinque domande contemporaneamente (ha funzionato quando è stato diviso) e una richiesta di una risposta di 60-70 mila token. Altre uscite hanno raggiunto 14-22 mila token e le lunghe generazioni hanno resistito in termini di qualità.
Su questa scheda ASUS Pro Q870M-C-CSM Strata non rilevava la GPU senza un monitor collegato; un dummy plug HDMI ha risolto.
32 GB di RAM sono sufficienti
Con 32 GB di RAM, Strata può funzionare senza caricare il modello nella RAM di sistema: la memoria resta libera per altre attività e la CPU per carichi paralleli, a 15–20 tok/s. Con 64 GB sulla stessa macchina (Strata v0.1.43, Qwen3.8-Flash-Next IQ3_S) la generazione ha raggiunto 45–48 tok/s, ma con molta meno memoria libera per altro. Più tardi, su due configurazioni diverse tra cui una DDR4, Strata ha usato pochissima RAM a 15–25 tok/s, mentre circa metà della CPU restava libera per Hermes e i componenti di supporto. Le prestazioni calano al crescere del contesto, quindi dipende dai compiti.
Il primo flusso di lavoro autonomo
Un’esecuzione notturna su hardware non supportato e senza GPU dedicata ha dato circa 1 token al secondo, perché gran parte del modello è finita nello swap. La velocità non era l’obiettivo: il compito è stato assegnato la sera e il risultato era pronto al mattino. Poi Hermes è passato a una macchina con una velocità utilizzabile e ha iniziato il lavoro quotidiano. Un controllo mattutino usa già i sensori di Home Assistant e monitora backup, salute dei dischi e temperature dei computer collegati; ha segnalato subito che la sala server si stava scaldando troppo con sei computer accesi.
Un laboratorio di macchine identiche
Per trasformare i singoli risultati in una configurazione ripetibile, abbiamo acquistato 10 schede madri e CPU identiche per 10 sistemi corrispondenti: una piattaforma ASUS con 8 slot RAM, DDR4 a prezzi accessibili e gestione remota a livello di BIOS, in modo che gli agenti possano persino reinstallare il sistema operativo da remoto.
Avevamo già configurato 20–30 computer quasi da zero e li gestivamo a voce dal telefono tramite agenti cloud, compreso un flusso contabile dall’installazione dell’ERP all’invio delle fatture al sistema fiscale italiano. Ora l’obiettivo è riprodurre questi flussi con l’AI locale. Senza ottimizzazioni, compiti che in cloud richiedono secondi o un minuto in locale richiedevano 5–10 minuti; poi è arrivata l’ottimizzazione. I compiti arrivano da molte fonti e gli agenti li registrano in OpenProject e li assegnano all’agente o alla persona più adatta.
Cosa significa per un cliente Box
- I modelli di grandi dimensioni possono essere eseguiti su hardware a prezzi accessibili con RAM modesta.
- Le configurazioni si scelgono in base a misurazioni su macchine reali.
- Macchine identiche rendono i risultati ripetibili e la gestione remota possibile.