Uutiset

Strata-julkaisut kalustossamme: agentti päivittää, mittaa ja optimoi

Agenttimme havaitsee coldnikon Uudet Strata-julkaisut, päivittää koneet ja suorittaa vertailuarvot uudelleen: dekoodaa jopa 2,4× nopeammin 16k: lla Tesla P100-järjestelmässä, +46% asiantuntijapaikat Radeon-järjestelmässä, Mac Studio vahvisti optimaalisen ja deepseek V4.1-Flash toimii paikallisesti.

27.10.2026

Strata on coldnikon kehittämä paikallinen AI-päättelymoottori. Lokakuun puolivälistä lähtien olemme seuranneet sen julkaisuja useilla omilla koneillamme. Jokainen tietokone käyttää samaa mallia, Qwen3.8-Flash-Next IQ3_S, joten tulokset ovat vertailukelpoisia. Koneet on nimetty laitteistotasonsa mukaan:

P1005: Intel Xeon E5-2690 v4, NVIDIA Tesla P100 16 GB HBM2, 32 GB DDR4, NVMe noin 2,5 GB/s, CUDA 12.
P2002: Intel Core Ultra 7 270K Plus, AMD Radeon RDNA4 (gfx1201) 16 GB, 64 GB DDR5, NVMe RAID 0, ROCm / HIP.
Mac Studio: Apple M3 Ultra, Metal.

Agentti tunnistaa itse uuden Strata-julkaisun, lataa sen, suorittaa mittaukset ja optimoi pyynnöstä kokoonpanon. Kaikki optimointi suoritetaan paikallisesti käyttäen samaa Qwen3.8-Flash-Next IQ3_S-mallia uusimmassa Strata-versiossa.

P1005 (Tesla P100): data-nälästä laskentaan sidottuun

Malliasiantuntijat yhteensä 46,8 GiB, liian suuri RAM-muistille, ja 16 Gt: n kortti oli niin täynnä, että moottori varoitti dekoodauksen putoavan muutamaan tokeniin sekunnissa. Strata repository-dokumentaation jälkeen agentti muutti neljä asiaa:

--vram-reserve-mib 960        (was 700)
--max-context 65536          (was 262144)
STRATA_Q8_SM60=0
--resident-experts
STRATA_DENSE_F32=1

Tulos: GPU: n käyttöaste nousi 27%: sta 92%: iin (155-170 W). Esitäyttö muuttui jopa 4,4× nopeammaksi; dekoodaus +40% 8K: lla ja 2,4× 16k: lla.

Konteksti	Ennen (kehote / dekoodaus, tok / s)	Jälkeen (kehote / dekoodaus, tok / s)
512	47.7 / 13.4	54.5 / 14.3
2K	62.6 / 10.3	74.5 / 13.9
8K	46.4 / 9.9	178.1 / 14.3
16K	43.8 / 6.2	193.9 / 15.1
32K	44.1 / 6.0	213.8 / 12.6

Arvot ovat prompt / decode-tunnuksia sekunnissa. Kustannukset: 24 GiB RAM-muistia on nyt lukittu asiantuntijoille, joten mitään muuta suurta ei pitäisi ajaa tällä koneella, ja kontekstikatto on 65K 262K: n sijaan.

P2002 (Radeon RDNA4): live-viritys, sitten lyhyt uudelleenkäynnistys

Ensinnäkin live-viritys käynnistämättä moottoria uudelleen. Suorittimen säädin asetettu suorituskykyyn ja pidempi sivuvälimuisti asiantuntijoille pidettiin; kiinnitetyt GPU-kellot vähensivät esitäyttöä noin 10% ja hylättiin; suurempi luku eteenpäin ei vaikuttanut. Dekoodaus 2K: ssa ja 8K: ssa parani 10-18%.

Sitten noin 40 sekunnin uudelleenkäynnistyksellä (vara-ketju suoritti istunnon ilman näkyvää keskeytystä) agentti nosti VRAM-varannon 700: sta 960 MiB: iin ja otti käyttöön-kv-grow, pitäen koko 262K-kontekstin. Expert slots kasvoi 2518: sta 3686: een (+46%), expert hit rate nousi 74%: sta 87%: iin ja sivutusvaroitukset katosivat. Se lisäsi myös vahtikoiran, joten moottori käynnistyy uudelleen itsestään.

Konteksti	Ennen (kehote / dekoodaus, tok / s)	Jälkeen (kehote / dekoodaus, tok / s)
512	547 / 63.6	602 / 57.5–64
2K	1228 / 60–71	1275–1303 / 66–74
8K	2085 / 59–69	1723–2144 / 79–82
16K	2180 / 72.7	1988–2169 / 76–78
32K	2056 / 72.9	2023–2096 / 76–77

Standard suite: chat purkaa 74.3 tok/s (oli 71.9), ensimmäinen token 0.39 s (oli 0.46), agentti purkaa 66.7 tok/s (oli 59.2). Agentti totesi myös rehellisesti, että ensimmäiset numerot heti uudelleenkäynnistyksen jälkeen ovat noin 25% alhaiset, koska expert-välimuisti on edelleen kylmä.

Mac Studio (M3 Ultra): oletusasetukset olivat jo optimaaliset

Agentti käynnisti moottorin uudelleen kuusi kertaa puhtaita A/B-ajoja varten ja osoitti empiirisesti, että oletuskokoonpano oli jo paras. KV-optioilla ei ollut vaikutusta yhtenäiseen muistiin; suuri langallinen expert-välimuisti oli haitallinen (dekoodaus romahti noin 32 tok/s: iin) ja se palautettiin. Noin 790 tok/s: n esitäyttö on laitteiston kaistanleveysraja, ei konfiguraatio. Lopullinen sarja: chat purkaa 69.1 tok/s, ensimmäinen token 0.48 s. kaikki umpikujat dokumentoitiin, joten kukaan ei toista niitä.

Uudet julkaisut, mitattu

Strata 0.2.0 käyttöliittymällä: Strata ja local AI voidaan nyt asentaa ilman komentoriviä, mikä tekee niistä paljon laajemman yleisön saatavilla.
v0.2.2: kolme tietokonetta päivitetty v0.2.1.
v0.2.3 → v0.2.3.1 Mac-studiossa: dekoodaus 61.3 → 66.4 tok/s (+8%), esitäyttö 729.9 → 738.9 tok/s (+1%), ei regressiota eikä mallitiedostojen uudelleenlatauksia.
v0.2.6 ja v0.2.7: jokainen julkaisu tähän mennessä on tuonut uuden suorituskyvyn. V0.2.7: ää varten agentti laati yhteenvedon vapautusmuistioista eikä asentanut mitään ilman hyväksyntää.

DeepSeek V4.1-salama käynnissä paikallisesti

Deepseek V4.1-Flash, suuri MoE-malli, toimii nyt paikallisesti kerroksissa: kuumat asiantuntijat pysyvät RAM-muistissa ja loput striimataan SSD: ltä. Mittasimme 14 tok/s dekoodauksen. Nykyisessä laitteistossamme tämä ei riitä agentin pääaivoille, mutta se toimii hyvin toisen mielipiteen mallina ja yön tarkastajana.

Mitä tämä tarkoittaa Box-asiakkaalle

Agentti havaitsee, soveltaa ja mittaa Moottorin päivitykset ja hyväksyy ne ennen muutoksia.
Jokainen laitteistotaso saa oman mitatun kokoonpanonsa, ja epäonnistuneet vaihtoehdot dokumentoidaan.
Sama malli eri laitteistoilla antaa selkeän perustan kokoonpanon valinnalle.

Alkuperäinen ketju X:ssä · Kaikki uutiset