256K-Kontext auf einer RTX 3050 8GB in einer DDR3-Workstation

Am 11. November 2026 wurden Ergebnisse der Workstation P3001 veröffentlicht: ein Intel Xeon E5-2697 v2 (12 Kerne / 24 Threads, nur AVX1), 64GB DDR3-ECC-RAM installiert (das System sieht etwa 62GB) mit 1333 MT/s, eine NVIDIA RTX 3050 8GB, eine NVMe-SSD und Ubuntu 24.04. Die Software war Strata 0.1.55 (AVX-kompatibler Build) mit Qwen3.8-Flash-Next IQ3_S, einem komprimierten Modell.

Frühere 16K-Konfiguration: 59 Tok/s bei realem Text

Am selben Tag wurde früher auf derselben Maschine eine 16K-Kontextkonfiguration mit 8-Bit-KV-Cache gemeldet. Der KV-Cache ist der Arbeitsspeicher des Modells für bereits verarbeitete Token. Die im Beitrag genannten Zahlen:

Derselbe Beitrag nennt 59 Tok/s Decode bei realem Text und 120–132 Tok/s Prefill. Ein späterer Thread stellt klar, dass die 59 Tok/s aus spekulativem Decoding stammen: Strata sagt mehrere kommende Token voraus und prüft sie gemeinsam. Bei realem Text war die Annahme der Vorhersagen hoch, bei künstlichem Benchmark-Fülltext nicht (etwa 70 % Annahme bei synthetischem Fülltext laut dem 16K-Beitrag). Prefill wurde durch DDR3-1333 und AVX1 begrenzt; in jener 16K-Konfiguration begrenzten 8GB VRAM den Kontext auf 16K.

256K-Konfiguration

Das genannte Ziel war ein Kontextfenster von 256K Token — Kapazität für etwa 262.144 Token in einer Anfrage. Ein erster Versuch erhöhte das Limit einfach auf 256K mit 8-Bit-KV-Cache. Laut Beitrag versuchte Strata dann, zu viel dieses Arbeitsspeichers in den 8GB VRAM der GPU zu halten, der GPU-Experten-Cache fiel auf null Slots, und es folgte ein cuBLAS-Fehler. Der Server antwortete noch, aber die GPU-Beschleunigung funktionierte nicht richtig.

Die veröffentlichte Lösung: KV-Cache von int8 auf q4_0 umstellen (4-Bit-Kompression), wobei der Speicher pro Token von etwa 71KB auf 29,5KB sank; –kv-resident 20480 setzen, sodass nur 20.480 KV-Positionen im GPU-Speicher resident bleiben und zusätzliche KV-Daten aus dem System-RAM gestreamt werden; 46,47GB Modell-Experten in page-locked DDR3-RAM halten; 498 Experten-Cache-Slots im GPU-Speicher behalten; und den Prompt-Cache auf einen aktiven Prüfpunkt begrenzen. Genannte Endeinstellungen: –max-context 262144, –kv q4_0, –kv-resident 20480, –prompt-cache 1, –prompt-cache-every 0. Der Beitrag stellt fest, dass Strata danach erfolgreich startete und max_context: 262144, loaded: true meldete.

Gemessene Geschwindigkeit

Die folgenden Zahlen sind Messungen der Inferenz-Engine selbst, ein Lauf pro Zeile — vorläufig, keine Mittelwerte wiederholter Benchmarks. Prefill ist die Verarbeitung der Eingabe vor der Antwort; Decode ist die tokenweise Erzeugung; TTFT ist die Wartezeit bis zum ersten Antwort-Token.

Der Beitrag hält fest, dass eine Erhöhung der Eingabe von etwa 6K auf 160K Token den Prefill nur von 188 auf 173 Tok/s senkte, während der Decode bei etwa 23–26 Tok/s blieb. Ein wiederholter 24K-Token-Lauf mit gecachtem Kontext senkte die TTFT von 128,3 Sekunden auf 0,49 Sekunden. Eine kalte 160K-Token-Eingabe dauerte etwa 15,5 Minuten bis zum ersten Antwort-Token — zurückgeführt auf den Engpass des alten Xeon und des DDR3-Speichers. Ein Agentenbericht über einen 200K-Token-Lauf wird erwähnt, die vollständige Zahlenzeile dieses Laufs steht jedoch nicht in der Tabelle.

Eine wichtige Unterscheidung im Thread: 256K ist das konfigurierte und gemeldete Kontextlimit. Die detaillierten Messungen reichen bis 160K, nicht bis zum vollen 256K. Das volle 262K-Fenster war zum Zeitpunkt der Beiträge noch nicht gemessen. Eine Antwort schätzt etwa 26 Minuten kalten Prefill für die vollen 262K und stellt fest, dass dies noch gemessen werden muss. 59 Tok/s sind für Lasten mit 256K-Kontext nicht belegt. Der Prefill in der neuen Konfiguration lag höher als in der vorherigen 16K-Konfiguration; der Thread behandelt das als beobachteten Unterschied zwischen Konfigurationen, nicht als Nachweis einer einzigen Ursache, weil sich auch das KV-Format und das Speicherlayout änderten.

Grenzen und eine Energieschätzung

Im Thread genannte Grenzen: GPU-Speicher fast voll, etwa 7,5–7,7GB von 8GB belegt, bei manchen Läufen die Warnung, dass nur 193–331MB frei blieben; System-RAM etwa 53GB von 62GB, davon etwa 46,5GB durch im Speicher fixierte Modell-Experten belegt; nur ein warmer Prompt-Cache-Prüfpunkt, sodass der Wechsel zwischen sehr großen Gesprächen eine erneute Verarbeitung der Eingaben erfordern kann (ein 200K-Token-Prüfpunkt allein könnte etwa 4,7GB belegen); und lange kalte Prompts sind langsam.

Eine grobe Energieschätzung für den 160K-Prefill lautet 300W × 15,5 Minuten ≈ 0,078 kWh. Bei 0,25 €/kWh sind das etwa 0,02 € Strom. Der Beitrag kennzeichnet dies als Schätzung, nicht als gemessenen Energie-Benchmark.

Die praktische Schlussfolgerung des Threads ist, dass preiswerte lokale KI nicht mit Cloud-Modellen bei langen, anspruchsvollen Sitzungen konkurrieren soll, in denen Cloud-Dienste oft schneller und wirtschaftlicher sind. Der Hauptvorteil solcher alter, preiswerter Computer ist die Vertraulichkeit: sensible Dokumente lokal zu verarbeiten. Für viele solche Aufgaben reicht ein kleines Kontextfenster. Das veröffentlichte Ergebnis ist, dass eine RTX 3050 8GB ein lokal auf 256K konfiguriertes Modell ausführen kann, ohne den gesamten Arbeitsspeicher in den VRAM zu legen. Weitere Messungen — einschließlich des vollen Kontextbereichs, der Wiederholbarkeit und der Aufgabenqualität — sind noch nötig.

Messergebnisse und Protokolle sind in einem öffentlichen Repository veröffentlicht.

Projekt-Repository auf GitHub · Beitrag auf X · 16K-Ergebnisse · Alle Neuigkeiten