256K-context op een RTX 3050 8GB in een DDR3-werkstation

Op 11 november 2026 zijn resultaten gepubliceerd van werkstation P3001: een Intel Xeon E5-2697 v2 (12 kernen / 24 threads, alleen AVX1), 64GB ECC DDR3-RAM geïnstalleerd (het systeem ziet ongeveer 62GB) op 1333 MT/s, een NVIDIA RTX 3050 8GB, een NVMe-SSD en Ubuntu 24.04. De software was Strata 0.1.55 (AVX-compatibele build) met Qwen3.8-Flash-Next IQ3_S, een gecomprimeerd model.

Eerdere 16K-configuratie: 59 tok/s op echte tekst

Eerder diezelfde dag is op dezelfde machine een 16K-contextconfiguratie met 8-bits KV-cache gerapporteerd. De KV-cache is het werkgeheugen van het model voor tokens die al zijn verwerkt. Cijfers bij dat bericht:

Hetzelfde bericht vermeldt 59 tok/s bij het decoderen van echte tekst en 120–132 tok/s prefill. Een latere thread preciseert dat die 59 tok/s afkomstig zijn van speculative decoding: Strata voorspelt meerdere volgende tokens en controleert ze samen. Op echte tekst was de acceptatie van voorspellingen hoog; op kunstmatige benchmarkvulling niet (ongeveer 70% acceptatie op synthetische vulling, volgens het 16K-bericht). Prefill werd begrensd door DDR3-1333 en AVX1; in die 16K-configuratie beperkten 8GB VRAM de context tot 16K.

256K-configuratie

Het verklaarde doel was een contextvenster van 256K tokens — ruimte voor ongeveer 262.144 tokens in één verzoek. Een eerste poging verhoogde de limiet simpelweg naar 256K met 8-bits KV-cache. Volgens het bericht probeerde Strata toen te veel van dat werkgeheugen in de 8GB VRAM van de GPU te houden, viel de expert-cache op de GPU terug tot nul slots, en volgde een cuBLAS-fout. De server reageerde nog, maar GPU-versnelling werkte niet correct.

De gepubliceerde oplossing: de KV-cache van int8 naar q4_0 zetten (4-bits compressie), waarbij het geheugen per token van ongeveer 71KB naar 29,5KB ging; –kv-resident 20480 instellen, zodat alleen 20.480 KV-posities in het GPU-geheugen blijven en extra KV-gegevens uit het systeem-RAM komen; 46,47GB model-experts in page-locked DDR3-RAM houden; 498 expert-cacheslots in het GPU-geheugen behouden; en de promptcache beperken tot één actief controlepunt. Vermelde eindinstellingen: –max-context 262144, –kv q4_0, –kv-resident 20480, –prompt-cache 1, –prompt-cache-every 0. Het bericht stelt dat Strata daarna correct startte en max_context: 262144, loaded: true rapporteerde.

Gemeten snelheid

De volgende cijfers zijn metingen van de inferentie-engine zelf, één run per rij — voorlopige gegevens, geen gemiddelden van herhaalde benchmarks. Prefill is de verwerking van de invoer vóór het antwoord; decode is de tokengeneratie; TTFT is de wachttijd tot het eerste antwoordtoken.

Het bericht merkt op dat het verhogen van de invoer van ongeveer 6K naar 160K tokens de prefill slechts van 188 naar 173 tok/s verlaagde, terwijl decode rond 23–26 tok/s bleef. Een herhaalde run van 24K tokens met gecachte context bracht de TTFT van 128,3 seconden naar 0,49 seconden. Een koude invoer van 160K tokens duurde ongeveer 15,5 minuten tot het eerste antwoordtoken — toegeschreven aan de bottleneck van de oude Xeon en het DDR3-geheugen. Een agentrapport over een run van 200K tokens wordt genoemd, maar de volledige cijferrij van die run staat niet in de tabel.

Een belangrijk onderscheid in de thread: 256K is de geconfigureerde en vermelde contextlimiet. De gedetailleerde metingen reiken tot 160K, niet tot de volledige 256K. Het volledige 262K-venster was op het moment van de berichten nog niet gemeten. Een antwoord schat ongeveer 26 minuten koude prefill voor de volledige 262K, en stelt dat dit nog gemeten moet worden. De 59 tok/s is niet vastgesteld voor 256K-contextbelastingen. De prefill van de nieuwe configuratie was hoger dan in de eerdere 16K-configuratie; de thread behandelt dat als een waargenomen verschil tussen configuraties, niet als bewijs van één oorzaak, omdat ook het KV-formaat en de geheugenindeling veranderden.

Beperkingen en een energieschatting

Beperkingen uit de thread: GPU-geheugen bijna vol, ongeveer 7,5–7,7GB van 8GB in gebruik, waarbij sommige runs waarschuwden dat er slechts 193–331MB vrij was; systeem-RAM rond 53GB van 62GB, waarvan ongeveer 46,5GB ingenomen door model-experts die in het geheugen zijn vastgezet; slechts één warm controlepunt van de promptcache, zodat wisselen tussen zeer grote gesprekken opnieuw verwerken van invoer kan vereisen (alleen een controlepunt van 200K tokens kan al ongeveer 4,7GB innemen); en lange koude prompts zijn traag.

Een ruwe energieschatting voor de 160K-prefill wordt gegeven als 300W × 15,5 minuten ≈ 0,078 kWh. Bij €0,25/kWh is dat ongeveer €0,02 aan elektriciteit. Het bericht markeert dit als een schatting, niet als een energiemeeting.

De praktische conclusie van de thread is dat goedkope lokale AI niet bedoeld is om met cloudmodellen te concurreren op lange, veeleisende sessies, waarbij clouddiensten vaak sneller en goedkoper zijn. Het belangrijkste voordeel van deze oude, goedkope computers is privacy: gevoelige documenten lokaal verwerken. Voor veel van die taken volstaat een klein contextvenster. Het gepubliceerde resultaat is dat een RTX 3050 8GB een lokaal model kan draaien dat op 256K is ingesteld, zonder al het werkgeheugen naar VRAM te verplaatsen. Verdere metingen — inclusief het volledige contextbereik, herhaalbaarheid en kwaliteit op taken — blijven nodig.

Meetresultaten en logbestanden zijn gepubliceerd in een openbare repository.

Projectrepository op GitHub · Bericht op X · 16K-resultaten · Al het nieuws