Notizie
Le release di Strata sulle nostre macchine: l’agente aggiorna, misura e ottimizza
Il nostro agente rileva le nuove release di Strata di coldniko, aggiorna le macchine e ripete i benchmark: decode fino a 2,4× più veloce a 16K su un sistema Tesla P100, +46% di slot per gli esperti su un sistema Radeon, il Mac Studio confermato già ottimale e DeepSeek V4.1-Flash in locale.
Strata è un motore di inferenza AI locale sviluppato da coldniko. Da metà ottobre ne seguiamo le release su diverse nostre macchine. Ogni computer usa lo stesso modello, Qwen3.8-Flash-Next IQ3_S, quindi i risultati sono confrontabili. Le macchine prendono il nome dal loro livello hardware:
- P1005: Intel Xeon E5-2690 v4, NVIDIA Tesla P100 16 GB HBM2, 32 GB DDR4, NVMe circa 2,5 GB/s, CUDA 12.
- P2002: Intel Core Ultra 7 270K Plus, AMD Radeon RDNA4 (gfx1201) 16 GB, 64 GB DDR5, NVMe RAID 0, ROCm / HIP.
- Mac Studio: Apple M3 Ultra, Metal.
L'agente stesso rileva un nuovo rilascio di Strata, lo scarica, esegue le misurazioni e, su richiesta, ottimizza la configurazione. Tutta l'ottimizzazione viene eseguita localmente, utilizzando lo stesso modello Qwen3.8-Flash-Next IQ3_S sull'ultima versione di Strata.
P1005 (Tesla P100): da affamata di dati a limitata dal calcolo
Gli esperti del modello occupano in totale 46,8 GiB, troppo per la RAM, e la scheda da 16 GB era così piena che il motore avvisava che il decode sarebbe sceso a pochi token al secondo. Seguendo la documentazione del repository di Strata, l’agente ha cambiato quattro cose:
--vram-reserve-mib 960 (was 700)
--max-context 65536 (was 262144)
STRATA_Q8_SM60=0
--resident-experts
STRATA_DENSE_F32=1Risultato: l’utilizzo della GPU è passato dal 27% al 92% (155–170 W). Il prefill è diventato fino a 4,4× più veloce; il decode +40% a 8K e 2,4× a 16K.
| Contesto | Prima (prompt / decode, tok/s) | Dopo (prompt / decode, tok/s) |
|---|---|---|
| 512 | 47.7 / 13.4 | 54.5 / 14.3 |
| 2K | 62.6 / 10.3 | 74.5 / 13.9 |
| 8K | 46.4 / 9.9 | 178.1 / 14.3 |
| 16K | 43.8 / 6.2 | 193.9 / 15.1 |
| 32K | 44.1 / 6.0 | 213.8 / 12.6 |
I valori sono token al secondo di prompt / decode. Il prezzo: 24 GiB di RAM sono ora bloccati (page-locked) per gli esperti, quindi su questa macchina non va eseguito nient’altro di grande, e il limite di contesto è 65K invece di 262K. Tutto resta attivo dopo i riavvii.
P2002 (Radeon RDNA4): ottimizzazione a caldo, poi un breve riavvio
Prima l’ottimizzazione a caldo, senza riavviare il motore. Il governor della CPU su performance e una cache di pagina più lunga per gli esperti sono stati mantenuti; le frequenze GPU fisse riducevano il prefill di circa il 10% e sono state scartate; un read-ahead più ampio non ha avuto effetto. Il decode a 2K e 8K è migliorato del 10–18%.
Poi, con un riavvio di circa 40 secondi (la catena di fallback ha mantenuto la sessione, senza interruzioni visibili), l’agente ha portato la riserva di VRAM da 700 a 960 MiB e ha attivato --kv-grow, mantenendo l’intero contesto da 262K. Gli slot per gli esperti sono passati da 2518 a 3686 (+46%), l’hit rate degli esperti è salito dal 74% all’87% e gli avvisi di paging sono spariti. Ha anche aggiunto un watchdog, così il motore si riavvia da solo.
| Contesto | Prima (prompt / decode, tok/s) | Dopo (prompt / decode, tok/s) |
|---|---|---|
| 512 | 547 / 63.6 | 602 / 57.5–64 |
| 2K | 1228 / 60–71 | 1275–1303 / 66–74 |
| 8K | 2085 / 59–69 | 1723–2144 / 79–82 |
| 16K | 2180 / 72.7 | 1988–2169 / 76–78 |
| 32K | 2056 / 72.9 | 2023–2096 / 76–77 |
Suite standard: decode in chat 74,3 tok/s (era 71,9), primo token 0,39 s (era 0,46), decode dell’agente 66,7 tok/s (era 59,2). L’agente ha anche segnalato con onestà che i primi numeri subito dopo un riavvio sono circa il 25% più bassi perché la cache degli esperti è ancora fredda.
Mac Studio (M3 Ultra): la configurazione predefinita era già ottimale
L’agente ha riavviato il motore sei volte per prove A/B pulite e ha dimostrato empiricamente che la configurazione predefinita era già la migliore. Le opzioni KV non avevano effetto sulla memoria unificata; una grande cache degli esperti bloccata in memoria peggiorava le cose (decode crollato a circa 32 tok/s) ed è stata annullata. Il prefill di circa 790 tok/s è il limite di banda dell’hardware, non della configurazione. Suite finale: decode in chat 69,1 tok/s, primo token 0,48 s. Tutti i vicoli ciechi sono documentati, così nessuno li ripete.
Nuove release, misurate
- Strata 0.2.0 con interfaccia utente: Strata e l’AI locale ora si installano senza riga di comando, quindi sono alla portata di un pubblico molto più ampio.
- v0.2.2: tre computer aggiornati da v0.2.1.
- v0.2.3 → v0.2.3.1 sul Mac Studio: decode 61,3 → 66,4 tok/s (+8%), prefill 729,9 → 738,9 tok/s (+1%), nessuna regressione e nessun nuovo download dei file del modello.
- v0.2.6 e v0.2.7: finora ogni release ha portato un ulteriore guadagno di prestazioni. Per la v0.2.7 l’agente ha preparato un riepilogo delle note di rilascio e non ha installato nulla senza approvazione.
DeepSeek V4.1-Flash in locale
DeepSeek V4.1-Flash, un grande modello MoE, ora gira in locale su Strata: gli esperti più usati restano in RAM e il resto viene letto in streaming dall’SSD. Abbiamo misurato 14 tok/s in decode. Sul nostro hardware attuale non basta come cervello principale dell’agente, ma funziona bene come modello per un secondo parere e come revisore notturno.
Cosa significa per un cliente Box
- Gli aggiornamenti del motore vengono rilevati, applicati e misurati dall'agente, con approvazione prima delle modifiche.
- Ogni livello hardware ottiene la propria configurazione misurata e le opzioni non riuscite sono documentate.
- Lo stesso modello su hardware diverso fornisce una base chiara per la scelta di una configurazione.