Nyheder
Strata-Udgivelser på vores flåde: agenten opdaterer, måler og optimerer
Vores agent registrerer nye Strata-udgivelser fra coldniko, opdaterer maskinerne og kører benchmarks igen: afkode op til 2,4 hurtigere ved 16k på et Tesla P100-system, +46% ekspertpladser på et Radeon-system, Mac Studio bekræftet optimal og DeepSeek V4.1-Flash kører lokalt.
Strata er en lokal AI-inferensmotor udviklet af coldniko. Siden midten af oktober har vi fulgt dens Udgivelser på flere af vores egne maskiner. Hver computer kører den samme model, 3.8-Flash-næste 3_S, så resultaterne er sammenlignelige. Maskinerne er opkaldt efter deres maskinniveau:
- P1005: Intel Xeon E5-2690 v4, NVIDIA Tesla P100 16 GB HBM2, 32 GB DDR4, NVMe omkring 2,5 GB/s, CUDA 12.
- P2002: Intel Core Ultra 7 270K Plus, AMD Radeon RDNA4 (gfx1201) 16 GB, 64 GB DDR5, NVMe RAID 0, ROCm / HIP.
- Mac Studio: Apple M3 Ultra, Metal.
Agenten selv registrerer en ny Strata-frigivelse, henter den, kører målingerne og optimerer konfigurationen på anmodning. Alle optimering kører lokalt, ved hjælp af den samme 3.8-Flash-næste 3_S model på den nyeste Strata version.
P1005 (Tesla P100): fra datasult til beregningsbundet
Modeleksperterne er i alt 46,8 GiB, for store til RAM, og 16 GB-kortet var så fyldt, at motoren advarede om, at afkode ville falde til et par tokens pr. Efter Strata repository dokumentation, agenten ændret fire ting:
--vram-reserve-mib 960 (was 700)
--max-context 65536 (was 262144)
STRATA_Q8_SM60=0
--resident-experts
STRATA_DENSE_F32=1Resultat: GPU-udnyttelsen gik fra 27% Til 92% (155-170 V). Forfyldning blev op til 4,4 hurtigere; afkode +40% ved 8K og 2,4 hurtigere ved 16k.
| Forbindelse | Før (prompt / afkode, tok / s) | Efter (prompt / afkode, tok / s) |
|---|---|---|
| 512 | 47.7 / 13.4 | 54.5 / 14.3 |
| 2K | 62.6 / 10.3 | 74.5 / 13.9 |
| 8K | 46.4 / 9.9 | 178.1 / 14.3 |
| 16K | 43.8 / 6.2 | 193.9 / 15.1 |
| 32K | 44.1 / 6.0 | 213.8 / 12.6 |
Værdier er prompt / afkode tokens per sekund. Omkostningerne: 24 GiB RAM er nu sidelåst for eksperter, så intet andet stort skal køre på denne maskine, og konteksthætten er 65K i stedet for 262K. alt fortsætter på tværs af genstarter.
P2002 (Radeon RDNA4): live tuning, derefter en kort genstart
Først live tuning uden at genstarte motoren. CPU-regulatoren satte sig til ydeevne, og en længere sidecache for eksperter blev holdt; fastgjorte GPU-ure reducerede forfyldning med omkring 10% og blev afvist; større read-ahead havde ingen effekt. Dekode ved 2K og 8k forbedret med 10-18%.
Derefter, med en genstart på cirka 40 sekunder (fallback-kæden bar sessionen uden synlig afbrydelse), hævede agenten VRAM-reserven fra 700 til 960 MiB og aktiverede-kv-vokse, idet den fulde 262K-kontekst blev holdt. Ekspert slots voksede fra 2518 til 3686 (+46%), ekspert hit rate steg fra 74% til 87% og personsøgningsadvarslerne forsvandt. Det tilføjede også en vagthund, så motoren genstarter alene.
| Forbindelse | Før (prompt / afkode, tok / s) | Efter (prompt / afkode, tok / s) |
|---|---|---|
| 512 | 547 / 63.6 | 602 / 57.5–64 |
| 2K | 1228 / 60–71 | 1275–1303 / 66–74 |
| 8K | 2085 / 59–69 | 1723–2144 / 79–82 |
| 16K | 2180 / 72.7 | 1988–2169 / 76–78 |
| 32K | 2056 / 72.9 | 2023–2096 / 76–77 |
Standard suite: chat afkode 74,3 tok/s (var 71,9), første token 0,39 s (var 0,46), agent afkode 66,7 tok / s (var 59,2). Agenten bemærkede også ærligt, at de første tal lige efter en genstart er omkring 25% lave, fordi ekspertcachen stadig er kold.
Mac Studio (M3 Ultra): standardindstillingerne var allerede optimale
Agenten genstartede motoren seks gange for rene A/B-kørsler og beviste empirisk, at standardkonfigurationen allerede var den bedste. KV-indstillinger havde ingen effekt på den samlede hukommelse; en stor kablet ekspertcache var skadelig (dekode kollapsede til omkring 32 tok/s) og blev vendt tilbage. 790 tok / s er båndbreddegrænsen for udstyret, ikke for konfigurationen. Final suite: chat afkode 69.1 tok / s, første token 0.48 s. alle blindgyder blev dokumenteret, så ingen gentager dem.
Nye udgivelser, målt
- Strata 0.2.0 med en brugergrænseflade: Strata og lokal AI kan nu installeres uden kommandolinjen, hvilket gør dem tilgængelige for et meget bredere publikum.
- v0.2.2: tre computere opdateret fra v0.2.1.
- v0.2.3 chat v0.2.3.1 på Mac Studio: afkode 61.3 chat 66.4 tok/s (+8%), forudfyld 729.9 chat 738.9 tok/s (+1%), ingen regression og ingen genoverførsler af modelfiler.
- v0.2.6 og v0.2.7: hver udgivelse hidtil har bragt en anden præstationsgevinst. For v0.2.7 udarbejdede agenten en oversigt over udgivelsesnotaterne og installerede intet uden godkendelse.
DeepSeek V4.1-Flash kører lokalt
DeepSeek V4.1-Flash, en stor MoE-model, kører nu lokalt på lag: de varme eksperter forbliver i RAM, og resten streames fra SSD. Vi målte 14 Tok / s afkode. På vores nuværende udstyr er dette ikke nok for agentens hovedhjerne, men det fungerer godt som en second-opinion model og overnight auditor.
Hvad det betyder for en Box-kunde
- Motoropdateringer registreres, anvendes og måles af agenten med godkendelse før ændringer.
- Hvert udstyrsniveau får sin egen målte konfiguration, og mislykkede muligheder dokumenteres.
- Den samme model på forskellige beslag giver et klart grundlag for at vælge en konfiguration.