Nieuws
Strata releases op onze vloot: de agent updates, meet en optimaliseert
Onze agent detecteert nieuwe Strata releases van coldniko, werkt de machines bij en voert de benchmarks opnieuw uit: decodeer tot 2,4× sneller bij 16k op een Tesla P100-systeem, +46% expert slots op een Radeon-systeem, de Mac Studio confirmed optimal en DeepSeek V4.1-Flash draait lokaal.
Strata is een lokale AI-inferentie-engine ontwikkeld door coldniko. Sinds half oktober volgen we de releases op verschillende van onze eigen machines. Elke computer draait op hetzelfde model, Qwen3.8-Flash-Next IQ3_S, dus de resultaten zijn vergelijkbaar. De machines zijn vernoemd naar hun hardware niveau:
- P1005: Intel Xeon E5-2690 v4, NVIDIA Tesla P100 16 GB HBM2, 32 GB DDR4, NVMe ongeveer 2,5 GB/s, CUDA 12.
- P2002: Intel Core Ultra 7 270K Plus, AMD Radeon RDNA4 (gfx1201) 16 GB, 64 GB DDR5, NVMe RAID 0, ROCm / HIP.
- Mac Studio: Apple M3 Ultra, Metal.
De agent detecteert zelf een nieuwe Strata release, downloadt deze, voert de metingen uit en optimaliseert op verzoek de configuratie. Alle optimalisatie wordt lokaal uitgevoerd, met behulp van hetzelfde Qwen3.8-Flash-Next iq3_s-model op de nieuwste Strata-versie.
P1005 (Tesla P100): van data-starved naar compute-bound
De modelexperts hadden een totaal van 46,8 GiB, te groot voor RAM, en de 16 GB-Kaart was zo vol dat de motor waarschuwde dat decode tot een paar tokens per seconde zou dalen. Na de documentatie van de Strata repository veranderde de agent vier dingen:
--vram-reserve-mib 960 (was 700)
--max-context 65536 (was 262144)
STRATA_Q8_SM60=0
--resident-experts
STRATA_DENSE_F32=1Resultaat: GPU-gebruik ging van 27% naar 92% (155-170 W). Prefill werd tot 4,4× sneller; decoderen +40% bij 8K en 2,4× bij 16k.
| Context | Voor (prompt / decoderen, tok / s) | Na (prompt / decoderen, tok / s) |
|---|---|---|
| 512 | 47.7 / 13.4 | 54.5 / 14.3 |
| 2K | 62.6 / 10.3 | 74.5 / 13.9 |
| 8K | 46.4 / 9.9 | 178.1 / 14.3 |
| 16K | 43.8 / 6.2 | 193.9 / 15.1 |
| 32K | 44.1 / 6.0 | 213.8 / 12.6 |
De waarden zijn prompt / decode tokens per seconde. De kosten: 24 GiB RAM is nu page-locked voor experts, dus niets anders groot zou op deze machine moeten draaien, en de context cap is 65K in plaats van 262k. alles blijft bestaan tijdens reboots.
P2002 (Radeon RDNA4) : live tuning, daarna een korte herstart
Ten eerste, live tuning zonder de motor opnieuw op te starten. De CPU-regelaar ingesteld op prestaties en een langere pagina-cache voor experts werden bewaard; vastgezette GPU-klokken verminderden de voorvulling met ongeveer 10% en werden afgewezen; Grotere read-ahead had geen effect. Decoderen bij 2K en 8K verbeterd met 10-18%.
Vervolgens, met een herstart van ongeveer 40 seconden (de terugvalketen droeg de sessie, zonder zichtbare onderbreking), verhoogde de agent de VRAM-reserve van 700 naar 960 MiB en stelde --kv-grow in, waarbij de volledige 262K-context werd behouden. Expert slots groeide van 2518 naar 3686 (+46%), de expert hit rate steeg van 74% naar 87% en de paging waarschuwingen verdwenen. Er is ook een waakhond toegevoegd, zodat de motor vanzelf opnieuw start.
| Context | Voor (prompt / decoderen, tok / s) | Na (prompt / decoderen, tok / s) |
|---|---|---|
| 512 | 547 / 63.6 | 602 / 57.5–64 |
| 2K | 1228 / 60–71 | 1275–1303 / 66–74 |
| 8K | 2085 / 59–69 | 1723–2144 / 79–82 |
| 16K | 2180 / 72.7 | 1988–2169 / 76–78 |
| 32K | 2056 / 72.9 | 2023–2096 / 76–77 |
Standaard suite: chat decoderen 74,3 tok/s (was 71,9), eerste token 0,39 s (was 0,46), agent decoderen 66,7 tok / s (was 59,2). De agent merkte ook eerlijk op dat de eerste nummers direct na een herstart ongeveer 25% laag zijn omdat de expert cache nog steeds koud is.
Mac Studio (M3 Ultra): de standaardinstellingen waren al optimaal
De agent startte de motor zes keer opnieuw op voor Schone A/B-runs en bewees empirisch dat de standaardconfiguratie al de beste was. KV-opties hadden geen effect op het unified memory; een grote bedrade expert cache was schadelijk (decode stortte in tot ongeveer 32 tok/s) en werd teruggedraaid. Een voorvulling van ongeveer 790 tok / s is de bandbreedtelimiet van de hardware, niet van de configuratie. Laatste suite: chat decodeert 69.1 tok / s, eerste token 0.48 s. alle doodlopende wegen zijn gedocumenteerd, dus niemand herhaalt ze.
Nieuwe releases, gemeten
- Strata 0.2.0 met een gebruikersinterface: Strata en lokale AI kunnen nu worden geïnstalleerd zonder de opdrachtregel, waardoor ze toegankelijk zijn voor een veel breder publiek.
- v0.2.2: drie computers bijgewerkt vanaf v0.2.1.
- v0.2.3 → v0.2.3.1 op de Mac Studio: decodeer 61.3 → 66.4 tok/s (+8%), vul 729.9 → 738.9 tok/s (+1%) voor, geen regressie en geen herdownloads van modelbestanden.
- v0.2.6 en v0.2.7: elke release tot nu toe heeft weer een prestatiewinst opgeleverd. Voor v0.2.7 heeft de agent een samenvatting van de release notes opgesteld en niets geïnstalleerd zonder goedkeuring.
DeepSeek V4.1-Flash lokaal uitgevoerd
DeepSeek V4.1-Flash, een groot MoE-model, draait nu lokaal op Strata: de hot experts blijven in RAM en de rest wordt gestreamd vanaf de SSD. We hebben 14 tok / s gemeten. Op onze huidige hardware is dit niet genoeg voor het hoofdbrein van de agent, maar het werkt goed als een second-opinion model en overnight auditor.
Wat dit betekent voor een Box-klant
- Motorupdates worden gedetecteerd, toegepast en gemeten door de agent, met goedkeuring vóór wijzigingen.
- Elk hardwareniveau krijgt zijn eigen gemeten configuratie en mislukte opties worden gedocumenteerd.
- Hetzelfde model op verschillende hardware geeft een duidelijke basis voor het kiezen van een configuratie.