CLARYEL CLARYEL Box
Požádat o konfiguraci

Novinky

Strata releases na našem vozovém parku: agent aktualizuje, měří a optimalizuje

Náš agent detekuje nová vydání Strata od coldniko, aktualizuje stroje a znovu spouští benchmarky: dekódovat až 2,4× rychleji při 16K na systému Tesla P100, +46% expertních slotů na systému Radeon, MAC Studio potvrdilo optimal a DeepSeek V4.1-Flash běží lokálně.

Strata je místní odvozovací engine AI vyvinutý společností coldniko. Od poloviny října sledujeme jeho vydání na několika vlastních strojích. Každý počítač běží na stejném modelu, Qwen3.8-Flash-Next IQ3_S, takže výsledky jsou srovnatelné. Stroje jsou pojmenovány podle jejich hardwarové úrovně:

Agent sám detekuje novou verzi Strata, stáhne ji, spustí měření a na vyžádání optimalizuje konfiguraci. Veškerá optimalizace běží lokálně pomocí stejného modelu Qwen3.8-Flash-Next iq3_s na nejnovější verzi Strata.

P1005 (Tesla P100) : od hladovějících dat k výpočetním vazbám

Odborníci na model celkem 46,8 GiB, příliš velký pro RAM, a karta 16 GB byla tak plná, že motor varoval, že dekódování klesne na několik tokenů za sekundu. V návaznosti na dokumentaci Strata repository, agent změnil čtyři věci:

--vram-reserve-mib 960        (was 700)
--max-context 65536          (was 262144)
STRATA_Q8_SM60=0
--resident-experts
STRATA_DENSE_F32=1

Výsledek: využití GPU se zvýšilo z 27% na 92% (155-170 W). Předplnění bylo až 4,4× rychlejší; dekódovat +40% při 8K a 2,4× při 16k.

KontextPřed (výzva / dekódování, tok/s)Po (výzva / dekódování, tok/s)
51247.7 / 13.454.5 / 14.3
2K62.6 / 10.374.5 / 13.9
8K46.4 / 9.9178.1 / 14.3
16K43.8 / 6.2193.9 / 15.1
32K44.1 / 6.0213.8 / 12.6

Hodnoty jsou prompt / dekódovat tokeny za sekundu. Cena: 24 GiB RAM je nyní pro odborníky uzamčeno na stránce, takže na tomto počítači by nemělo běžet nic jiného a kontextový limit je 65K místo 262K. vše přetrvává po restartech.

P2002 (Radeon RDNA4): živé ladění, poté krátký restart

Nejprve živé ladění bez restartování motoru. Guvernér CPU nastavený na výkon a delší mezipaměť stránek pro odborníky byly zachovány; připnuté hodiny GPU snížily předplnění asi o 10% a byly odmítnuty; větší čtení nemělo žádný účinek. Dekódování při 2K a 8K se zlepšilo o 10-18%.

Poté, s restartem asi 40 sekund (záložní řetězec nesl relaci bez viditelného přerušení), agent zvýšil rezervu VRAM ze 700 na 960 MiB a povolil --kv-grow, přičemž zachoval plný kontext 262K. Expertní sloty vzrostly z 2518 na 3686 (+46%), míra zásahů odborníků vzrostla ze 74% na 87% a varování o stránkování zmizela. Přidal také hlídacího psa, aby se motor restartoval sám.

KontextPřed (výzva / dekódování, tok/s)Po (výzva / dekódování, tok/s)
512547 / 63.6602 / 57.5–64
2K1228 / 60–711275–1303 / 66–74
8K2085 / 59–691723–2144 / 79–82
16K2180 / 72.71988–2169 / 76–78
32K2056 / 72.92023–2096 / 76–77

Standardní sada: dekódování chatu 74,3 tok / s (bylo 71,9), první token 0,39 s (bylo 0,46), dekódování agenta 66,7 tok/s (bylo 59,2). Agent také upřímně poznamenal, že první čísla hned po restartu jsou asi o 25% nízká, protože expertní mezipaměť je stále studená.

Mac Studio( M3 Ultra): výchozí hodnoty byly již optimální

Agent restartoval motor šestkrát pro čisté a / B běhy a empiricky dokázal, že výchozí konfigurace byla již nejlepší. Možnosti KV neměly žádný vliv na sjednocenou paměť; velká drátová expertní mezipaměť byla škodlivá (dekódování se zhroutilo na přibližně 32 tok/s) a bylo vráceno. Předplnění přibližně 790 tok/s je limit šířky pásma hardwaru, nikoli konfigurace. Závěrečná sada: chat dekóduje 69,1 tok / s, první token 0,48 s. všechny slepé uličky byly zdokumentovány, takže je nikdo neopakuje.

Nové verze, měřeno

DeepSeek V4.1-Flash běží lokálně

DeepSeek V4.1-Flash, velký model MoE, nyní běží lokálně na Strata: hot experts zůstávají v RAM a zbytek je streamován z SSD. Naměřili jsme dekódování 14 tok/s. Na našem současném hardwaru to nestačí pro hlavní mozek agenta, ale funguje to dobře jako model druhého názoru a noční auditor.

Co to znamená pro zákazníka Box

Původní vlákno na X · Všechny novinky