News
Strata Releases auf unserer Flotte: Der Agent aktualisiert, misst und optimiert
Unser Agent erkennt neue Strata-Releases von coldniko, aktualisiert die Maschinen und führt die Benchmarks erneut durch: Dekodieren Sie bis zu 2,4 × schneller bei 16K auf einem Tesla P100-System, +46% Experten-Slots auf einem Radeon-System, das Mac Studio bestätigte optimal und DeepSeek V4.1-Flash läuft lokal.
Strata ist eine lokale KI-Inferenz-Engine, die von coldniko entwickelt wurde. Seit Mitte Oktober verfolgen wir die Veröffentlichungen auf mehreren unserer eigenen Maschinen. Auf jedem Computer läuft das gleiche Modell, Qwen3.8-Flash-Next IQ3_S, sodass die Ergebnisse vergleichbar sind. Die Maschinen sind nach ihrer Hardwarestufe benannt:
- P1005: Intel Xeon E5-2690 v4, NVIDIA Tesla P100 16 GB HBM2, 32 GB DDR4, NVMe etwa 2,5 GB/s, CUDA 12.
- P2002: Intel Core Ultra 7 270K Plus, AMD Radeon RDNA4 (gfx1201) 16 GB, 64 GB DDR5, NVMe RAID 0, ROCm / HIP.
- Mac Studio: Apple M3 Ultra, Metal.
Der Agent selbst erkennt eine neue Schichtfreigabe, lädt sie herunter, führt die Messungen durch und optimiert auf Wunsch die Konfiguration. Die gesamte Optimierung wird lokal mit demselben Qwen3.8-Flash-Next IQ3_S-Modell auf der neuesten Strata-Version ausgeführt.
P1005 (Tesla P100): von datenhungrig zu rechengebunden
Die Modellexperten summieren sich auf 46,8 GiB, zu groß für RAM, und die 16-GB-Karte war so voll, dass die Engine warnte, dass die Dekodierung auf wenige Token pro Sekunde sinken würde. Nach der Dokumentation des Strata-Repositorys hat der Agent vier Dinge geändert:
--vram-reserve-mib 960 (was 700)
--max-context 65536 (was 262144)
STRATA_Q8_SM60=0
--resident-experts
STRATA_DENSE_F32=1Ergebnis: Die GPU-Auslastung stieg von 27% auf 92% (155-170 W). Das Vorfüllen wurde bis zu 4,4 × schneller; Dekodieren +40% bei 8K und 2,4 × bei 16K.
| Kontext | Vorher (Eingabeaufforderung / Dekodierung, Token / s) | Nachher (Eingabeaufforderung / Dekodierung, tok / s) |
|---|---|---|
| 512 | 47.7 / 13.4 | 54.5 / 14.3 |
| 2K | 62.6 / 10.3 | 74.5 / 13.9 |
| 8K | 46.4 / 9.9 | 178.1 / 14.3 |
| 16K | 43.8 / 6.2 | 193.9 / 15.1 |
| 32K | 44.1 / 6.0 | 213.8 / 12.6 |
Werte sind Aufforderungs- / Dekodierungstoken pro Sekunde. Die Kosten: 24 GiB RAM sind jetzt für Experten seitengesperrt, daher sollte auf diesem Computer nichts anderes großes ausgeführt werden, und die Kontextbeschränkung beträgt 65K anstelle von 262K. Alles bleibt bei Neustarts bestehen.
P2002 (Radeon RDNA4): Live-Tuning, dann kurzer Neustart
Erstens Live-Tuning ohne Neustart des Motors. Der auf Leistung eingestellte CPU-Regler und ein längerer Seitencache für Experten wurden beibehalten; angeheftete GPU-Uhren reduzierten die Vorfüllung um etwa 10% und wurden abgelehnt; größeres Vorauslesen hatte keine Auswirkung. Die Dekodierung bei 2K und 8K verbesserte sich um 10-18%.
Dann erhöhte der Agent mit einem Neustart von etwa 40 Sekunden (die Fallback-Kette führte die Sitzung ohne sichtbare Unterbrechung durch) die VRAM-Reserve von 700 auf 960 MB und aktivierte --kv-grow, wobei der vollständige 262 KB-Kontext beibehalten wurde. Experten-Slots wuchsen von 2518 auf 3686 (+46%), die Experten-Trefferquote stieg von 74% auf 87% und die Paging-Warnungen verschwanden. Es wurde auch ein Wachhund hinzugefügt, damit der Motor von selbst neu startet.
| Kontext | Vorher (Eingabeaufforderung / Dekodierung, Token / s) | Nachher (Eingabeaufforderung / Dekodierung, tok / s) |
|---|---|---|
| 512 | 547 / 63.6 | 602 / 57.5–64 |
| 2K | 1228 / 60–71 | 1275–1303 / 66–74 |
| 8K | 2085 / 59–69 | 1723–2144 / 79–82 |
| 16K | 2180 / 72.7 | 1988–2169 / 76–78 |
| 32K | 2056 / 72.9 | 2023–2096 / 76–77 |
Standardsuite: Chat-Dekodierung 74,3 Token / s (war 71,9), erstes Token 0,39 s (war 0,46), Agent-Dekodierung 66,7 Token / s (war 59,2). Der Agent stellte auch ehrlich fest, dass die ersten Zahlen direkt nach einem Neustart etwa 25% niedrig sind, da der Expertencache noch kalt ist.
Mac Studio (M3 Ultra): Die Standardeinstellungen waren bereits optimal
Der Agent startete die Engine sechsmal für saubere A / B-Läufe neu und bewies empirisch, dass die Standardkonfiguration bereits die beste war. KV-Optionen hatten keine Auswirkung auf den einheitlichen Speicher. Ein großer verdrahteter Expertencache war schädlich (die Dekodierung brach auf etwa 32 tok / s zusammen) und wurde zurückgesetzt. Vorfüllung von etwa 790 tok / s ist die Bandbreitengrenze der Hardware, nicht der Konfiguration. Finale Suite: Chat-Dekodierung 69,1 Token / s, erstes Token 0,48 s. Alle Sackgassen wurden dokumentiert, damit niemand sie wiederholt.
Neuerscheinungen, gemessen
- Strata 0.2.0 mit Benutzeroberfläche: Strata und lokale KI können jetzt ohne Befehlszeile installiert werden, wodurch sie einem viel breiteren Publikum zugänglich sind.
- v0.2.2: Drei Computer wurden von v0.2.1 aktualisiert.
- v0.2.3 → v0.2.3.1 auf dem Mac Studio: Dekodieren von 61,3 → 66,4 tok / s (+8%), Vorfüllen von 729,9 → 738,9 tok / s (+1%), keine Regression und keine erneuten Downloads von Modelldateien.
- v0.2.6 und v0.2.7: Jedes Release hat bisher einen weiteren Leistungszuwachs gebracht. Für v0.2.7 hat der Agent eine Zusammenfassung der Versionshinweise erstellt und nichts ohne Genehmigung installiert.
DeepSeek V4.1-Flash läuft lokal
DeepSeek V4.1-Flash, ein großes MoE-Modell, läuft jetzt lokal auf Schichten: Die heißen Experten bleiben im RAM und der Rest wird von der SSD gestreamt. Wir haben 14 tok / s Dekodierung gemessen. Auf unserer aktuellen Hardware reicht das für das Haupthirn des Agenten nicht aus, aber es funktioniert gut als Zweitmeinungsmodell und Übernachtauditor.
Was das für Box-Kunden bedeutet
- Engine-Updates werden vom Agenten erkannt, angewendet und gemessen, mit Genehmigung vor Änderungen.
- Jede Hardwareebene erhält ihre eigene gemessene Konfiguration, und fehlgeschlagene Optionen werden dokumentiert.
- Das gleiche Modell auf unterschiedlicher Hardware bietet eine klare Grundlage für die Auswahl einer Konfiguration.