256K-kontext på en RTX 3050 8GB i en DDR3-arbetsstation

Den 11 november 2026 publicerades resultat från arbetsstationen P3001: en Intel Xeon E5-2697 v2 (12 kärnor / 24 trådar, endast AVX1), 64GB ECC DDR3-RAM installerat (systemet ser cirka 62GB) vid 1333 MT/s, ett NVIDIA RTX 3050 8GB, en NVMe-SSD och Ubuntu 24.04. Programvaran var Strata 0.1.55 (AVX-kompatibel bygge) med Qwen3.8-Flash-Next IQ3_S, en komprimerad modell.

Tidigare 16K-konfiguration: 59 tok/s på verklig text

Tidigare samma dag rapporterades en 16K-kontextkonfiguration med 8-bitars KV-cache på samma maskin. KV-cachen är modellens arbetsminne för token som redan har behandlats. Siffror som publicerades med det inlägget:

Samma inlägg anger 59 tok/s vid avkodning av verklig text och 120–132 tok/s prefill. En senare tråd preciserar att dessa 59 tok/s kommer från spekulativ avkodning: Strata förutsäger flera nästa token och verifierar dem tillsammans. På verklig text var acceptansen av förutsägelser hög; på artificiell testfyllning inte (cirka 70 % acceptans på syntetisk fyllning, enligt 16K-inlägget). Prefill begränsades av DDR3-1333 och AVX1; i den 16K-konfigurationen begränsade 8GB VRAM kontexten till 16K.

256K-konfiguration

Det uttalade målet var ett kontextfönster på 256K token — kapacitet för cirka 262 144 token i en enda begäran. Ett första försök höjde helt enkelt gränsen till 256K med 8-bitars KV-cache. Enligt inlägget försökte Strata då hålla för mycket av det arbetsminnet i GPU:ns 8GB VRAM, expertcachen på GPU:n sjönk till noll fack, och därefter följde ett cuBLAS-fel. Servern svarade fortfarande, men GPU-acceleration fungerade inte korrekt.

Den publicerade lösningen: växla KV-cachen från int8 till q4_0 (4-bitars komprimering), varvid minnet per token gick från cirka 71KB till 29,5KB; ställa in –kv-resident 20480, så att endast 20 480 KV-positioner stannar residenta i GPU-minnet och ytterligare KV-data kommer från systemets RAM; hålla 46,47GB modellexperter i sidlåst (page-locked) DDR3-RAM; behålla 498 expertcachefack i GPU-minnet; och begränsa promptcachen till en aktiv kontrollpunkt. Angivna slutinställningar: –max-context 262144, –kv q4_0, –kv-resident 20480, –prompt-cache 1, –prompt-cache-every 0. Inlägget anger att Strata då startade korrekt och rapporterade max_context: 262144, loaded: true.

Uppmätt hastighet

Följande siffror är mätningar av själva inferensmotorn, en körning per rad — preliminära data, inte medelvärden från upprepade prestandatester. Prefill är bearbetningen av indata före svaret; decode är tokengenereringen; TTFT är väntan till det första svarstokenet.

Inlägget noterar att en ökning av indata från cirka 6K till 160K token bara sänkte prefill från 188 till 173 tok/s, medan decode stannade kring 23–26 tok/s. En upprepad körning på 24K token med cachad kontext sänkte TTFT från 128,3 sekunder till 0,49 sekunder. En kall indata på 160K token tog cirka 15,5 minuter till det första svarstokenet — tillskrivet flaskhalsen i den gamla Xeon-processorn och DDR3-minnet. En agentrapport om en körning på 200K token nämns, men den fullständiga sifferraden för den körningen finns inte i tabellen.

En viktig distinktion i tråden: 256K är den konfigurerade och uppgivna kontextgränsen. De detaljerade mätningarna når 160K, inte hela 256K. Det fulla 262K-fönstret hade ännu inte mätts när inläggen publicerades. Ett svar uppskattar cirka 26 minuters kall prefill för hela 262K och anger att detta fortfarande behöver mätas. De 59 tok/s är inte etablerade för belastningar med 256K-kontext. Prefill i den nya konfigurationen var högre än i den tidigare 16K-konfigurationen; tråden behandlar detta som en observerad skillnad mellan konfigurationer, inte som bevis för en enda orsak, eftersom även KV-formatet och minneslayouten ändrades.

Begränsningar och en energiuppskattning

Begränsningar som räknas upp i tråden: GPU-minnet nästan fullt, cirka 7,5–7,7GB av 8GB använt, med vissa körningar som varnade att bara 193–331MB fanns ledigt; systemets RAM omkring 53GB av 62GB, varav cirka 46,5GB upptas av modellexperter som är låsta i minnet; endast en varm kontrollpunkt i promptcachen, så att byte mellan mycket stora samtal kan kräva att indata bearbetas om (en kontrollpunkt på 200K token ensam kan ta cirka 4,7GB); och långa kalla prompter är långsamma.

En grov energiuppskattning för 160K-prefill anges som 300W × 15,5 minuter ≈ 0,078 kWh. Vid 0,25 €/kWh är det cirka 0,02 € i el. Inlägget markerar detta som en uppskattning, inte som en energimätning.

Den praktiska slutsatsen i tråden är att billig lokal AI inte är avsedd att konkurrera med molnmodeller på långa, krävande sessioner, där molntjänster ofta är snabbare och mer ekonomiska. Den främsta fördelen med dessa äldre, billiga datorer är integritet: att behandla känsliga dokument lokalt. För många sådana uppgifter räcker ett litet kontextfönster. Det publicerade resultatet är att ett RTX 3050 8GB kan köra en lokal modell inställd på 256K utan att flytta hela arbetsminnet till VRAM. Ytterligare mätningar — inklusive hela kontextintervallet, upprepbarhet och kvalitet på uppgifter — behövs fortfarande.

Mätresultat och loggar publiceras i ett offentligt kodförråd.

Projektets kodförråd på GitHub · Inlägg på X · 16K-resultat · Alla nyheter