Context de 256K pe o RTX 3050 8GB într-o stație cu DDR3

Pe 11 noiembrie 2026 au fost publicate rezultate de la stația P3001: un Intel Xeon E5-2697 v2 (12 nuclee / 24 de fire, doar AVX1), 64GB RAM ECC DDR3 instalați (sistemul vede circa 62GB) la 1333 MT/s, o NVIDIA RTX 3050 8GB, un SSD NVMe și Ubuntu 24.04. Software-ul era Strata 0.1.55 (compilare compatibilă AVX) cu Qwen3.8-Flash-Next IQ3_S, un model comprimat.

Configurație anterioară de 16K: 59 tok/s pe text real

Mai devreme în aceeași zi, pe aceeași mașină a fost raportată o configurație de context de 16K cu memorie cache KV pe 8 biți. Memoria cache KV este memoria de lucru a modelului pentru tokenii deja procesați. Cifrele publicate cu acel mesaj:

Aceeași postare indică 59 tok/s la decodarea textului real și 120–132 tok/s prefill. Un fir ulterior precizează că acești 59 tok/s provin din decodarea speculativă: Strata prezice mai mulți tokeni următori și îi verifică împreună. Pe text real, acceptarea predicțiilor a fost ridicată; pe umplutură artificială de probă comparativă, nu (circa 70% acceptare pe umplutură sintetică, conform postării de 16K). Prefill era limitat de DDR3-1333 și AVX1; în acea configurație de 16K, 8GB VRAM limitau contextul la 16K.

Configurație de 256K

Obiectivul declarat era o fereastră de context de 256K tokeni — capacitate pentru aproximativ 262.144 de tokeni într-o singură cerere. O primă încercare a ridicat pur și simplu limita la 256K cu memorie cache KV pe 8 biți. Conform postării, Strata a încercat atunci să țină prea mult din această memorie de lucru în cei 8GB VRAM ai GPU, memoria cache de experți de pe GPU a scăzut la zero sloturi, apoi a urmat o eroare cuBLAS. Serverul încă răspundea, dar accelerarea GPU nu funcționa corect.

Soluția publicată: trecerea memoriei cache KV de la int8 la q4_0 (compresie pe 4 biți), memoria per token scăzând de la circa 71KB la 29,5KB; setarea –kv-resident 20480, astfel încât doar 20.480 de poziții KV să rămână rezidente în memoria GPU, iar datele KV suplimentare să vină din RAM-ul sistemului; păstrarea a 46,47GB de experți ai modelului în RAM DDR3 blocată (page-locked); păstrarea a 498 de sloturi de memorie cache de experți în memoria GPU; și limitarea memoriei cache de prompturi la un singur punct de control activ. Setări finale indicate: –max-context 262144, –kv q4_0, –kv-resident 20480, –prompt-cache 1, –prompt-cache-every 0. Postarea afirmă că Strata a pornit atunci corect și a raportat max_context: 262144, loaded: true.

Viteza măsurată

Cifrele următoare sunt măsurători ale motorului de inferență însuși, o rulare pe rând — date preliminare, nu medii ale unor probe comparative repetate. Prefill este procesarea intrării înainte de răspuns; decode este generarea token cu token; TTFT este așteptarea până la primul token de răspuns.

Postarea notează că creșterea intrării de la circa 6K la 160K tokeni a redus prefill doar de la 188 la 173 tok/s, în timp ce decode a rămas în jurul a 23–26 tok/s. O rulare repetată de 24K tokeni cu context din cache a redus TTFT de la 128,3 secunde la 0,49 secunde. O intrare la rece de 160K tokeni a durat circa 15,5 minute până la primul token de răspuns — atribuită strangulării vechiului Xeon și a memoriei DDR3. Este menționat un raport de agent despre o rulare de 200K tokeni, dar rândul numeric complet al acelei rulări nu este în tabel.

O distincție importantă în fir: 256K este limita de context configurată și declarată. Măsurătorile detaliate ajung la 160K, nu la cei 256K compleți. Fereastra completă de 262K nu fusese încă măsurată la momentul postărilor. Un răspuns estimează circa 26 de minute de prefill la rece pentru cei 262K compleți și indică faptul că acest lucru rămâne de măsurat. Cei 59 tok/s nu au fost stabiliți pentru sarcini cu context de 256K. Prefill-ul noii configurații a fost mai ridicat decât în configurația anterioară de 16K; firul tratează aceasta ca o diferență observată între configurații, nu ca dovada unei singure cauze, deoarece s-au schimbat și formatul KV și dispunerea memoriei.

Limite și o estimare energetică

Limite enumerate în fir: memoria GPU aproape plină, circa 7,5–7,7GB folosiți din 8GB, unele rulări avertizând că au rămas liberi doar 193–331MB; RAM-ul sistemului în jurul a 53GB din 62GB, din care circa 46,5GB ocupați de experții modelului fixați în memorie; un singur punct de control cald al memoriei cache de prompturi, astfel încât trecerea între conversații foarte mari poate necesita reprocesarea intrărilor (un punct de control de 200K tokeni ar putea ocupa, singur, circa 4,7GB); iar prompturile lungi la rece sunt lente.

O estimare aproximativă a energiei pentru prefill-ul de 160K este indicată ca 300W × 15,5 minute ≈ 0,078 kWh. La 0,25 €/kWh, aceasta reprezintă circa 0,02 € la electricitate. Postarea o marchează ca estimare, nu ca măsurătoare energetică.

Concluzia practică a firului este că IA locală ieftină nu este menită să concureze cu modelele din cloud pe sesiuni lungi și solicitante, unde serviciile din cloud sunt adesea mai rapide și mai economice. Principalul avantaj al acestor calculatoare vechi și ieftine este confidențialitatea: prelucrarea documentelor sensibile local. Pentru multe dintre aceste sarcini, o fereastră de context mică este suficientă. Rezultatul publicat este că o RTX 3050 8GB poate rula un model local configurat la 256K fără a muta toată memoria de lucru în VRAM. Sunt necesare măsurători suplimentare — inclusiv intervalul complet de context, repetabilitatea și calitatea pe sarcini.

Rezultatele măsurătorilor și jurnalele sunt publicate într-un depozit public.

Depozitul proiectului pe GitHub · Postare pe X · Rezultate 16K · Toate noutățile