Kontext 256K na RTX 3050 8GB ve stanici s pamětí DDR3

11. listopadu 2026 byly zveřejněny výsledky ze stanice P3001: Intel Xeon E5-2697 v2 (12 jader / 24 vláken, pouze AVX1), 64GB paměti ECC DDR3 RAM nainstalovanými (systém vidí asi 62GB) při 1333 MT/s, NVIDIA RTX 3050 8GB, SSD NVMe a Ubuntu 24.04. Software byl Strata 0.1.55 (sestavení kompatibilní s AVX) s komprimovaným modelem Qwen3.8-Flash-Next IQ3_S.

Dřívější konfigurace 16K: 59 tok/s na skutečném textu

Dříve téhož dne byla na stejném stroji oznámena konfigurace kontextu 16K s 8bitovou mezipamětí KV. Mezipaměť KV je pracovní paměť modelu pro již zpracované tokeny. Čísla z tohoto příspěvku:

Stejný příspěvek uvádí 59 tok/s při dekódování skutečného textu a 120–132 tok/s prefill. Pozdější vlákno upřesňuje, že těchto 59 tok/s pochází ze speculative decoding: Strata předpovídá několik následujících tokenů a ověřuje je společně. Na skutečném textu bylo přijetí predikcí vysoké; na umělém výplni srovnávacího testu nikoli (přibližně 70% přijetí u syntetické výplně, podle příspěvku o 16K). Prefill omezovaly DDR3-1333 a AVX1; v oné konfiguraci 16K omezovalo 8GB VRAM kontext na 16K.

Konfigurace 256K

Deklarovaným cílem bylo kontextové okno 256K tokenů — kapacita přibližně 262 144 tokenů v jednom požadavku. První pokus pouze zvedl limit na 256K s 8bitovou mezipamětí KV. Podle příspěvku se Strata poté snažila udržet příliš mnoho této pracovní paměti v 8GB VRAM karty, mezipaměť expertů na GPU klesla na nulu slotů a následovala chyba cuBLAS. Server stále odpovídal, ale akcelerace GPU nefungovala správně.

Zveřejněné řešení: přepnout mezipaměť KV z int8 na q4_0 (4bitová komprese), přičemž paměť na token klesla z přibližně 71KB na 29,5KB; nastavit –kv-resident 20480, aby v paměti GPU zůstalo pouze 20 480 pozic KV a další data KV přicházela z systémové RAM; udržet 46,47GB expertů modelu v uzamčené (page-locked) paměti DDR3; zachovat 498 slotů mezipaměti expertů v paměti GPU; a omezit mezipaměť výzev na jeden aktivní kontrolní bod. Uvedená konečná nastavení: –max-context 262144, –kv q4_0, –kv-resident 20480, –prompt-cache 1, –prompt-cache-every 0. Příspěvek uvádí, že Strata se poté spustila správně a nahlásila max_context: 262144, loaded: true.

Naměřená rychlost

Následující čísla jsou měření samotného inferenčního enginu, jeden běh na řádek — předběžné údaje, nikoli průměry opakovaných srovnávacích testů. Prefill je zpracování vstupu před odpovědí; decode je generování token po tokenu; TTFT je čekání na první token odpovědi.

Příspěvek uvádí, že zvýšení vstupu z přibližně 6K na 160K tokenů snížilo prefill jen ze 188 na 173 tok/s, zatímco decode zůstal kolem 23–26 tok/s. Opakovaný běh 24K tokenů s kontextem v mezipaměti zkrátil TTFT ze 128,3 sekundy na 0,49 sekundy. Studený vstup 160K tokenů trval přibližně 15,5 minuty do prvního tokenu odpovědi — připsáno úzkému hrdlu starého Xeonu a paměti DDR3. Je zmíněna zpráva agenta o běhu 200K tokenů, ale úplný číselný řádek tohoto běhu v tabulce není.

Důležité rozlišení ve vlákně: 256K je nakonfigurovaný a deklarovaný limit kontextu. Podrobná měření sahají k 160K, nikoli k plným 256K. Plné okno 262K v době příspěvků ještě nebylo změřeno. Odpověď odhaduje přibližně 26 minut studeného prefill pro plných 262K a uvádí, že to je teprve třeba změřit. Hodnota 59 tok/s nebyla stanovena pro zátěže s kontextem 256K. Prefill nové konfigurace byl vyšší než v dřívější konfiguraci 16K; vlákno to považuje za pozorovaný rozdíl mezi konfiguracemi, nikoli za důkaz jediné příčiny, protože se změnil také formát KV a rozložení paměti.

Omezení a odhad spotřeby energie

Omezení uvedená ve vlákně: paměť GPU téměř plná, využito přibližně 7,5–7,7GB z 8GB, přičemž některé běhy varovaly, že volných zbývá jen 193–331MB; systémová RAM kolem 53GB z 62GB, z toho přibližně 46,5GB zabírají experti modelu uzamčení v paměti; pouze jeden teplý kontrolní bod mezipaměti výzev, takže přepínání mezi velmi dlouhými rozhovory může vyžadovat opětovné zpracování vstupů (samotný kontrolní bod 200K tokenů může zabrat přibližně 4,7GB); a dlouhé studené výzvy jsou pomalé.

Hrubý odhad energie pro prefill 160K je uveden jako 300W × 15,5 minuty ≈ 0,078 kWh. Při 0,25 €/kWh je to přibližně 0,02 € za elektřinu. Příspěvek to označuje jako odhad, nikoli jako energetické měření.

Praktický závěr vlákna je, že levná místní AI není určena k soutěži s cloudovými modely na dlouhých, náročných relacích, kde jsou cloudové služby často rychlejší a ekonomičtější. Hlavní výhodou těchto starých, levných počítačů je soukromí: zpracování citlivých dokumentů místně. Pro mnoho takových úkolů stačí malé kontextové okno. Zveřejněný výsledek spočívá v tom, že RTX 3050 8GB může spustit místní model nastavený na 256K, aniž by veškerou pracovní paměť přesunula do VRAM. Jsou potřeba další měření — včetně plného rozsahu kontextu, opakovatelnosti a kvality na úkolech.

Výsledky měření a protokoly jsou zveřejněny ve veřejném úložišti.

Úložiště projektu na GitHubu · Příspěvek na X · Výsledky 16K · Všechny novinky