256K-konteksti RTX 3050 8GB -kortilla DDR3-työasemassa

11. marraskuuta 2026 julkaistiin tuloksia työasemasta P3001: Intel Xeon E5-2697 v2 (12 ydintä / 24 säiettä, vain AVX1), 64GB ECC DDR3 -RAM asennettuna (järjestelmä näkee noin 62GB) 1333 MT/s nopeudella, NVIDIA RTX 3050 8GB, NVMe-SSD ja Ubuntu 24.04. Ohjelmisto oli Strata 0.1.55 (AVX-yhteensopiva koonti) ja pakattu malli Qwen3.8-Flash-Next IQ3_S.

Aiempi 16K-kokoonpano: 59 tok/s todellisella tekstillä

Aiemmin samana päivänä samassa koneessa ilmoitettiin 16K-kontekstikokoonpano 8-bittisellä KV-välimuistilla. KV-välimuisti on mallin työmuisti jo käsitellyille tokeneille. Tuon viestin yhteydessä julkaistut luvut:

Sama viesti ilmoittaa 59 tok/s todellisen tekstin purussa ja 120–132 tok/s prefillissä. Myöhempi ketju täsmentää, että nämä 59 tok/s tulevat spekulatiivisesta purusta: Strata ennustaa useita seuraavia tokeneita ja tarkistaa ne yhdessä. Todellisella tekstillä ennusteiden hyväksyntä oli korkea; keinotekoisella vertailutäytöllä ei (noin 70 % hyväksyntä synteettisellä täytöllä 16K-viestin mukaan). Prefilliä rajoittivat DDR3-1333 ja AVX1; tuossa 16K-kokoonpanossa 8GB VRAM rajoitti kontekstin 16K:hon.

256K-kokoonpano

Ilmoitettu tavoite oli 256K tokenin konteksti-ikkuna — kapasiteetti noin 262 144 tokenille yhdessä pyynnössä. Ensimmäinen yritys nosti rajan yksinkertaisesti 256K:hon 8-bittisellä KV-välimuistilla. Viestin mukaan Strata yritti tällöin pitää liian suuren osan tästä työmuistista GPU:n 8GB VRAM-muistissa, GPU:n asiantuntijavälimuisti putosi nollaan paikkaan ja seurasi cuBLAS-virhe. Palvelin vastasi yhä, mutta GPU-kiihdytys ei toiminut oikein.

Julkaistu ratkaisu: vaihtaa KV-välimuisti int8:sta q4_0:aan (4-bittinen pakkaus), jolloin muisti tokenia kohden laski noin 71 kt:sta 29,5 kt:een; asettaa –kv-resident 20480, jotta vain 20 480 KV-paikkaa jää pysyvästi GPU-muistiin ja lisä-KV-tiedot tulevat järjestelmän RAM-muistista; pitää 46,47GB mallin asiantuntijoita sivulukitussa (page-locked) DDR3-RAM-muistissa; säilyttää 498 asiantuntijavälimuistin paikkaa GPU-muistissa; ja rajata kehotteen välimuisti yhteen aktiiviseen tarkistuspisteeseen. Ilmoitetut loppuasetukset: –max-context 262144, –kv q4_0, –kv-resident 20480, –prompt-cache 1, –prompt-cache-every 0. Viestin mukaan Strata käynnistyi tällöin oikein ja ilmoitti max_context: 262144, loaded: true.

Mitattu nopeus

Seuraavat luvut ovat itse päättelymoottorin mittauksia, yksi ajo riviä kohden — alustavia tietoja, eivät toistettujen vertailuajojen keskiarvoja. Prefill on syötteen käsittely ennen vastausta; decode on tokenien tuottaminen; TTFT on odotus ensimmäiseen vastaus tokeniin.

Viesti huomauttaa, että syötteen kasvattaminen noin 6K:sta 160K tokeniin laski prefilliä vain 188:sta 173 tok/s:iin, kun taas decode pysyi noin 23–26 tok/s. Toistettu 24K tokenin ajo välimuistissa olevalla kontekstilla lyhensi TTFT:n 128,3 sekunnista 0,49 sekuntiin. Kylmä 160K tokenin syöte kesti noin 15,5 minuuttia ensimmäiseen vastaus tokeniin — tämä liitetään vanhan Xeonin ja DDR3-muistin pullonkaulaan. Agentin raportti 200K tokenin ajosta mainitaan, mutta tuon ajon täyttä numeroriviä ei ole taulukossa.

Tärkeä erottelu ketjussa: 256K on määritetty ja ilmoitettu kontekstiraja. Yksityiskohtaiset mittaukset yltävät 160K:hon, ei täyteen 256K:hon. Täyttä 262K-ikkunaa ei ollut vielä mitattu viestien julkaisuhetkellä. Vastauksessa arvioidaan noin 26 minuutin kylmä prefill täydelle 262K:lle, ja todetaan, että tämä on vielä mitattava. 59 tok/s ei ole vakiintunut 256K-kontekstin kuormille. Uuden kokoonpanon prefill oli korkeampi kuin aiemmassa 16K-kokoonpanossa; ketju käsittelee tätä kokoonpanojen välillä havaittuna erona, ei todisteena yhdestä syystä, koska myös KV-muoto ja muistin asettelu muuttuivat.

Rajoitukset ja energia-arvio

Ketjussa luetellut rajoitukset: GPU-muisti lähes täynnä, käytössä noin 7,5–7,7GB kahdeksasta gigatavusta, ja osassa ajoja varoitus, että vapaana oli vain 193–331 Mt; järjestelmän RAM noin 53GB 62 gigatavusta, josta noin 46,5GB on muistiin lukittujen mallin asiantuntijoiden käytössä; vain yksi lämmin kehotteen välimuistin tarkistuspiste, joten hyvin suurten keskustelujen vaihtaminen voi vaatia syötteiden uudelleenkäsittelyä (pelkkä 200K tokenin tarkistuspiste voi viedä noin 4,7GB); ja pitkät kylmät kehotteet ovat hitaita.

Karkea energia-arvio 160K-prefillille ilmoitetaan 300 W × 15,5 minuuttia ≈ 0,078 kWh. Hinnalla 0,25 €/kWh tämä on noin 0,02 € sähköä. Viesti merkitsee tämän arvioksi, ei energiamittaukseksi.

Ketjun käytännön johtopäätös on, että edullinen paikallinen tekoäly ei ole tarkoitettu kilpailemaan pilvimallien kanssa pitkillä, vaativilla istunnoilla, joissa pilvipalvelut ovat usein nopeampia ja edullisempia. Näiden vanhojen, edullisten tietokoneiden tärkein etu on yksityisyys: arkaluonteisten asiakirjojen käsittely paikallisesti. Moniin tällaisiin tehtäviin riittää pieni konteksti-ikkuna. Julkaistu tulos on, että RTX 3050 8GB voi ajaa paikallista mallia 256K-asetuksella siirtämättä kaikkea työmuistia VRAM-muistiin. Lisämittauksia tarvitaan edelleen — mukaan lukien koko kontekstialue, toistettavuus ja laatu tehtävissä.

Mittaustulokset ja lokit julkaistaan julkisessa tietovarastossa.

Projektin tietovarasto GitHubissa · Julkaisu X:ssä · 16K-tulokset · Kaikki uutiset