Nyheter
Strata-utgåvor på vår flotta: agenten uppdaterar, mäter och optimerar
Vår agent upptäcker nya Strata-utgåvor av coldniko, uppdaterar maskinerna och kör riktmärkena igen: avkoda upp till 2,4 jn snabbare vid 16k på ett Tesla P100-system, +46% expertplatser på ett Radeon-system, Mac-studion bekräftade optimal och DeepSeek V4.1-Flash körs lokalt.
Strata är en lokal AI-inferensmotor utvecklad av coldniko. Sedan mitten av oktober har vi följt dess utgåvor på flera av våra egna maskiner. Varje dator kör samma modell, Qwen3.8-Flash-Next IQ3_S, så resultaten är jämförbara. Maskinerna är uppkallade efter deras hårdvarunivå:
- P1005: Intel Xeon E5-2690 v4, NVIDIA Tesla P100 16 GB HBM2, 32 GB DDR4, NVMe cirka 2,5 GB/s, CUDA 12.
- P2002: Intel Core Ultra 7 270K Plus, AMD Radeon RDNA4 (gfx1201) 16 GB, 64 GB DDR5, NVMe RAID 0, ROCm / HIP.
- Mac Studio: Apple M3 Ultra, Metal.
Agenten själv upptäcker en ny Strata-release, laddar ner den, kör mätningarna och optimerar konfigurationen på begäran. All optimering körs lokalt, med samma Qwen3.8-Flash-Next iq3_s-modell på den senaste Strata-versionen.
P1005 (Tesla P100): från datasvält till beräkningsbunden
Modellexperterna totalt 46,8 GiB, för stor för RAM, och 16 GB-kortet var så fullt att motorn varnade för att decode skulle falla till några tokens per sekund. Efter Strata-arkivdokumentationen ändrade agenten fyra saker:
--vram-reserve-mib 960 (was 700)
--max-context 65536 (was 262144)
STRATA_Q8_SM60=0
--resident-experts
STRATA_DENSE_F32=1Resultat: GPU-användningen gick från 27% till 92% (155-170 W). Prefill blev upp till 4,4 xnumx snabbare; avkoda +40% vid 8K och 2,4 xnumx vid 16k.
| Sammanhang | Före (prompt / decode, tok/s) | Efter (prompt/decode, tok / s) |
|---|---|---|
| 512 | 47.7 / 13.4 | 54.5 / 14.3 |
| 2K | 62.6 / 10.3 | 74.5 / 13.9 |
| 8K | 46.4 / 9.9 | 178.1 / 14.3 |
| 16K | 43.8 / 6.2 | 193.9 / 15.1 |
| 32K | 44.1 / 6.0 | 213.8 / 12.6 |
Värden är prompt / decode tokens per sekund. Kostnaden: 24 GiB RAM är nu sidlåst för experter, så inget annat stort ska köras på den här maskinen, och kontextlocket är 65K istället för 262K. allt kvarstår över omstart.
P2002 (Radeon RDNA4): live-inställning, sedan en kort omstart
Först, live tuning utan att starta om motorn. CPU-guvernören inställd på prestanda och en längre sidcache för experter behölls; pinnade GPU-klockor minskade förfyllningen med cirka 10% och avvisades; större läsning hade ingen effekt. Avkodning vid 2K och 8K förbättrades med 10-18%.
Sedan, med en omstart på cirka 40 sekunder (reservkedjan Bar sessionen, utan synligt avbrott), höjde agenten VRAM-reserven från 700 till 960 MiB och aktiverade --kv-grow, vilket behöll hela 262K-sammanhanget. Expert slots växte från 2518 till 3686 (+46%), expert träfffrekvensen steg från 74% till 87% och personsökningsvarningarna försvann. Det har också lagt till en vakthund så att motorn startar om på egen hand.
| Sammanhang | Före (prompt / decode, tok/s) | Efter (prompt/decode, tok / s) |
|---|---|---|
| 512 | 547 / 63.6 | 602 / 57.5–64 |
| 2K | 1228 / 60–71 | 1275–1303 / 66–74 |
| 8K | 2085 / 59–69 | 1723–2144 / 79–82 |
| 16K | 2180 / 72.7 | 1988–2169 / 76–78 |
| 32K | 2056 / 72.9 | 2023–2096 / 76–77 |
Standard svit: chatt avkoda 74,3 tok/s (var 71,9), första token 0,39 s (var 0,46), agent avkoda 66,7 tok / s (var 59,2). Agenten noterade också ärligt att de första siffrorna direkt efter en omstart är cirka 25% låga eftersom expertcachen fortfarande är kall.
Mac Studio (M3 Ultra): standardinställningarna var redan optimala
Agenten startade om motorn sex gånger för rena A/B-körningar och bevisade empiriskt att standardkonfigurationen redan var den bästa. KV-alternativ hade ingen effekt på enhetligt minne; en stor trådbunden expertcache var skadlig (avkodning kollapsade till cirka 32 tok/s) och återställdes. Förfyllning på cirka 790 tok / s är bandbreddsgränsen för hårdvaran, inte för konfigurationen. Final suite: chat decode 69.1 tok / s, första token 0.48 s. alla återvändsgränder dokumenterades så ingen upprepar dem.
Nya utgåvor, uppmätta
- Strata 0.2.0 med ett användargränssnitt: Strata och lokal AI kan nu installeras utan kommandoraden, vilket gör dem tillgängliga för en mycket bredare publik.
- v0.2.2: tre datorer uppdaterade från v0.2.1.
- v0.2.3 XV0.2.3.1 på Mac Studio: avkoda 61.3 XV 66.4 tok/s (+8%), förfyllning 729.9 XV 738.9 tok/s (+1%), ingen regression och inga åternedladdningar av modellfiler.
- v0.2.6 och v0.2.7: Varje utgåva hittills har medfört en annan prestandavinst. För v0.2.7 förberedde agenten en sammanfattning av release notes och installerade ingenting utan godkännande.
DeepSeek V4.1-Flash körs lokalt
DeepSeek V4.1-Flash, en stor MoE-modell, körs nu lokalt på Strata: de heta experterna stannar i RAM och resten strömmas från SSD. Vi mätte 14 tok/s avkodning. På vår nuvarande hårdvara räcker det inte för agentens huvudhjärna, men det fungerar bra som en andra opinionsmodell och över natten revisor.
Vad detta betyder för en Box-kund
- Motoruppdateringar upptäcks, tillämpas och mäts av agenten, med godkännande före ändringar.
- Varje hårdvarunivå får sin egen uppmätta konfiguration, och misslyckade alternativ dokumenteras.
- Samma modell på olika hårdvara ger en tydlig grund för att välja en konfiguration.