Contesto da 256K su una RTX 3050 8GB in una workstation DDR3

L’11 novembre 2026 sono stati pubblicati i risultati della workstation P3001: un Intel Xeon E5-2697 v2 (12 core / 24 thread, solo AVX1), 64GB di RAM DDR3 ECC installati (il sistema ne vede circa 62GB) a 1333 MT/s, una NVIDIA RTX 3050 8GB, un SSD NVMe e Ubuntu 24.04. Il software era Strata 0.1.55 (build compatibile AVX) con Qwen3.8-Flash-Next IQ3_S, un modello compresso.

Precedente configurazione da 16K: 59 tok/s su testo reale

Nello stesso giorno, in precedenza, è stata resa nota sulla stessa macchina una configurazione con contesto da 16K e cache KV a 8 bit. La cache KV è la memoria di lavoro del modello per i token già elaborati. Le cifre pubblicate con quel post:

Lo stesso post indica 59 tok/s in decodifica su testo reale e 120–132 tok/s di prefill. Un thread successivo precisa che i 59 tok/s derivano dalla decodifica speculativa: Strata predice diversi token successivi e li verifica insieme. Sul testo reale l’accettazione delle predizioni è stata alta; sul riempimento artificiale di benchmark no (circa il 70% sul riempimento sintetico, secondo il post da 16K). Il prefill era limitato da DDR3-1333 e AVX1; in quella configurazione da 16K, 8GB di VRAM limitavano il contesto a 16K.

Configurazione da 256K

L’obiettivo dichiarato era una finestra di contesto da 256K token — capacità per circa 262.144 token in una singola richiesta. Un primo tentativo ha semplicemente alzato il limite a 256K con cache KV a 8 bit. Secondo il post, Strata ha allora cercato di tenere troppa di quella memoria di lavoro negli 8GB di VRAM della GPU, la cache degli esperti sulla GPU è scesa a zero slot ed è seguito un errore cuBLAS. Il server rispondeva ancora, ma l’accelerazione GPU non funzionava correttamente.

La soluzione pubblicata: passare la cache KV da int8 a q4_0 (compressione a 4 bit), con la memoria per token scesa da circa 71KB a 29,5KB; impostare –kv-resident 20480, così solo 20.480 posizioni KV restano residenti nella memoria GPU e i dati KV aggiuntivi arrivano dalla RAM di sistema; tenere 46,47GB di esperti del modello in RAM DDR3 page-locked; conservare 498 slot di cache esperti nella memoria GPU; e limitare la cache dei prompt a un solo checkpoint attivo. Impostazioni finali elencate: –max-context 262144, –kv q4_0, –kv-resident 20480, –prompt-cache 1, –prompt-cache-every 0. Il post afferma che Strata è partita correttamente e ha segnalato max_context: 262144, loaded: true.

Velocità misurata

Le cifre seguenti sono misure del motore di inferenza, una esecuzione per riga: dati preliminari, non medie di benchmark ripetuti. Il prefill è l’elaborazione dell’ingresso prima della risposta; il decode è la generazione token per token; il TTFT è l’attesa fino al primo token della risposta.

Il post osserva che aumentare l’ingresso da circa 6K a 160K token ha ridotto il prefill soltanto da 188 a 173 tok/s, mentre il decode è rimasto intorno a 23–26 tok/s. Una esecuzione ripetuta da 24K token con contesto in cache ha fatto scendere il TTFT da 128,3 secondi a 0,49 secondi. Un ingresso a freddo da 160K token ha richiesto circa 15,5 minuti prima del primo token di risposta — attribuito al collo di bottiglia del vecchio Xeon e della memoria DDR3. È menzionato un resoconto dell’agente su un’esecuzione da 200K token, ma la riga numerica completa di quella esecuzione non è in tabella.

Una distinzione importante nel thread: 256K è il limite di contesto configurato e dichiarato. Le misure dettagliate arrivano a 160K, non all’intero 256K. La finestra completa da 262K non era ancora stata misurata al momento dei post. Una risposta stima circa 26 minuti di prefill a freddo per l’intero 262K e precisa che va ancora misurato. I 59 tok/s non sono stati accertati per carichi con contesto da 256K. Il prefill nella nuova configurazione era più alto che nella precedente da 16K; il thread lo tratta come una differenza osservata tra configurazioni, non come prova di una sola causa, perché sono cambiati anche il formato KV e il layout di memoria.

Limiti e una stima energetica

Limiti elencati nel thread: memoria GPU quasi piena, circa 7,5–7,7GB usati su 8GB, con alcune esecuzioni che avvertivano che restavano liberi solo 193–331MB; RAM di sistema intorno a 53GB su 62GB, con circa 46,5GB occupati dagli esperti del modello bloccati in memoria; un solo checkpoint a caldo della cache dei prompt, quindi il passaggio tra conversazioni molto grandi può richiedere di rielaborare gli ingressi (un checkpoint da 200K token da solo potrebbe occupare circa 4,7GB); e i prompt lunghi a freddo sono lenti.

Una stima approssimativa dell’energia per il prefill da 160K è indicata come 300W × 15,5 minuti ≈ 0,078 kWh. A 0,25 €/kWh, sono circa 0,02 € di elettricità. Il post la indica come stima, non come misura energetica.

La conclusione pratica del thread è che l’IA locale economica non è pensata per competere con i modelli cloud su sessioni lunghe e impegnative, dove i servizi cloud sono spesso più rapidi ed economici. Il vantaggio principale di questi computer vecchi e poco costosi è la riservatezza: elaborare documenti sensibili in locale. Per molti di questi compiti basta una finestra di contesto piccola. Il risultato pubblicato è che una RTX 3050 8GB può eseguire un modello locale configurato a 256K senza spostare tutta la memoria di lavoro nella VRAM. Servono ulteriori misure, incluso l’intero intervallo di contesto, la ripetibilità e la qualità sui compiti.

I risultati delle misure e i registri sono pubblicati in un repository pubblico.

Repository del progetto su GitHub · Post su X · Risultati da 16K · Tutte le notizie