256K-kontekst på et RTX 3050 8GB i en DDR3-arbejdsstation

Den 11. november 2026 blev der offentliggjort resultater fra arbejdsstationen P3001: en Intel Xeon E5-2697 v2 (12 kerner / 24 tråde, kun AVX1), 64GB ECC DDR3-RAM installeret (systemet ser cirka 62 GB) ved 1333 MT/s, et NVIDIA RTX 3050 8GB, et NVMe-SSD og Ubuntu 24.04. Softwaren var Strata 0.1.55 (AVX-kompatibel bygning) med Qwen3.8-Flash-Next IQ3_S, en komprimeret model.

Tidligere 16K-konfiguration: 59 tok/s på rigtig tekst

Tidligere samme dag blev en 16K-kontekstkonfiguration med 8-bit KV-cache rapporteret på samme maskine. KV-cachen er modellens arbejdshukommelse for tokens, der allerede er behandlet. Tal offentliggjort med det indlæg:

Samme indlæg angiver 59 tok/s ved afkodning af rigtig tekst og 120–132 tok/s prefill. En senere tråd præciserer, at disse 59 tok/s kommer fra spekulativ afkodning: Strata forudsiger flere næste tokens og verificerer dem sammen. På rigtig tekst var accepten af forudsigelser høj; på kunstig testudfyldning ikke (cirka 70 % accept på syntetisk udfyldning, ifølge 16K-indlægget). Prefill blev begrænset af DDR3-1333 og AVX1; i den 16K-konfiguration begrænsede 8GB VRAM konteksten til 16K.

256K-konfiguration

Det erklærede mål var et kontekstvindue på 256K tokens — kapacitet til cirka 262.144 tokens i én forespørgsel. Et første forsøg hævede simpelthen grænsen til 256K med 8-bit KV-cache. Ifølge indlægget forsøgte Strata derefter at holde for meget af den arbejdshukommelse i GPU’ens 8GB VRAM, ekspertcachen på GPU’en faldt til nul pladser, og derefter fulgte en cuBLAS-fejl. Serveren svarede stadig, men GPU-acceleration fungerede ikke korrekt.

Den offentliggjorte løsning: skifte KV-cachen fra int8 til q4_0 (4-bit komprimering), hvor hukommelsen pr. token gik fra cirka 71KB til 29,5KB; indstille –kv-resident 20480, så kun 20.480 KV-positioner forbliver residente i GPU-hukommelsen, og yderligere KV-data kommer fra systemets RAM; holde 46,47GB modeleksperter i sidelåst (page-locked) DDR3-RAM; bevare 498 ekspertcachepladser i GPU-hukommelsen; og begrænse promptcachen til ét aktivt kontrolpunkt. Angivne slutindstillinger: –max-context 262144, –kv q4_0, –kv-resident 20480, –prompt-cache 1, –prompt-cache-every 0. Indlægget angiver, at Strata derefter startede korrekt og rapporterede max_context: 262144, loaded: true.

Målt hastighed

De følgende tal er målinger af selve inferensmotoren, én kørsel pr. række — foreløbige data, ikke gennemsnit af gentagne ydelsestest. Prefill er behandlingen af inputtet før svaret; decode er tokengenereringen; TTFT er ventetiden til det første svartoken.

Indlægget bemærker, at en stigning af inputtet fra cirka 6K til 160K tokens kun sænkede prefill fra 188 til 173 tok/s, mens decode blev omkring 23–26 tok/s. En gentaget kørsel på 24K tokens med cachet kontekst sænkede TTFT fra 128,3 sekunder til 0,49 sekunder. Et koldt input på 160K tokens tog cirka 15,5 minutter til det første svartoken — tilskrevet flaskehalsen i den gamle Xeon og DDR3-hukommelsen. En agentrapport om en kørsel på 200K tokens nævnes, men den fulde talrække for den kørsel er ikke i tabellen.

En vigtig skelnen i tråden: 256K er den konfigurerede og angivne kontekstgrænse. De detaljerede målinger når 160K, ikke de fulde 256K. Det fulde 262K-vindue var endnu ikke målt på tidspunktet for indlæggene. Et svar anslår cirka 26 minutters kold prefill for de fulde 262K og angiver, at det stadig skal måles. De 59 tok/s er ikke etableret for belastninger med 256K-kontekst. Prefill i den nye konfiguration var højere end i den tidligere 16K-konfiguration; tråden behandler det som en observeret forskel mellem konfigurationer, ikke som bevis for én årsag, fordi KV-formatet og hukommelseslayoutet også ændrede sig.

Begrænsninger og et energiestimat

Begrænsninger oplistet i tråden: GPU-hukommelsen næsten fuld, cirka 7,5–7,7GB af 8GB i brug, hvor nogle kørsler advarede om, at der kun var 193–331MB ledigt; systemets RAM omkring 53GB af 62GB, hvoraf cirka 46,5GB er optaget af modeleksperter, der er låst i hukommelsen; kun ét varmt kontrolpunkt i promptcachen, så skift mellem meget store samtaler kan kræve, at input behandles igen (et kontrolpunkt på 200K tokens alene kan optage cirka 4,7GB); og lange kolde prompts er langsomme.

Et groft energiestimat for 160K-prefill angives som 300W × 15,5 minutter ≈ 0,078 kWh. Ved 0,25 €/kWh er det cirka 0,02 € i el. Indlægget markerer det som et estimat, ikke som en energimåling.

Den praktiske konklusion i tråden er, at billig lokal AI ikke er beregnet til at konkurrere med cloudmodeller på lange, krævende sessioner, hvor cloudtjenester ofte er hurtigere og mere økonomiske. Den primære fordel ved disse ældre, billige computere er privatliv: at behandle følsomme dokumenter lokalt. Til mange af disse opgaver er et lille kontekstvindue tilstrækkeligt. Det offentliggjorte resultat er, at et RTX 3050 8GB kan køre en lokal model indstillet til 256K uden at flytte al arbejdshukommelsen til VRAM. Yderligere målinger — herunder hele kontekstintervallet, gentagelighed og kvalitet på opgaver — er stadig nødvendige.

Måleresultater og logfiler offentliggøres i et offentligt depot.

Projektets depot på GitHub · Opslag på X · 16K-resultater · Alle nyheder