Știri
Eliberări de straturi în flota noastră: agentul actualizează, măsoară și optimizează
Agentul nostru detectează noile versiuni ale straturilor de la coldniko, actualizează utilajele și repornește reperele: decodează cu până la 2,4ori mai rapid la 16K pe un sistem Tesla P100, +46% sloturi de experți pe un sistem Radeon, Mac Studio a confirmat optim și DeepSeek V4.1-Flash rulează local.
Strata este un motor local de inferență AI dezvoltat de coldniko. De la mijlocul lunii octombrie, urmărim lansările sale pe mai multe dintre utilajele noastre. Fiecare computer rulează același model, Qwen3.8-Flash-Next IQ3_S, astfel încât rezultatele sunt comparabile. Mașinile sunt numite după nivelul lor hardware:
- P1005: Intel Xeon E5-2690 v4, NVIDIA Tesla P100 16 GB HBM2, 32 GB DDR4, NVMe aproximativ 2,5 GB/s, CUDA 12.
- P2002: Intel Core Ultra 7 270K Plus, AMD Radeon RDNA4 (gfx1201) 16 GB, 64 GB DDR5, NVMe RAID 0, ROCm / HIP.
- Mac Studio: Apple M3 Ultra, Metal.
Agentul în sine detectează o nouă versiune a straturilor, o descarcă, execută măsurătorile și, la cerere, optimizează configurația. Toate optimizările rulează local, folosind același model Qwen3.8-Flash-Next IQ3_S pe cea mai recentă versiune de straturi.
P1005 (Tesla P100): de la lipsa datelor la legarea la calcul
Experții modelului totalizează 46,8 GiB, prea mare pentru RAM, iar cardul de 16 GB a fost atât de plin încât motorul a avertizat că decodificarea va scădea la câteva jetoane pe secundă. În urma documentației depozitului de Strata, agentul a schimbat patru lucruri:
--vram-reserve-mib 960 (was 700)
--max-context 65536 (was 262144)
STRATA_Q8_SM60=0
--resident-experts
STRATA_DENSE_F32=1Rezultat: Utilizarea GPU a crescut de la 27% la 92% (155–170 W). Preumplerea a devenit de până la 4,4 ori mai rapidă; decodificare +40% la 8K și 2,4× la 16K.
| Context | Înainte (prompt / decodificare, tok/s) | După (prompt / decodificare, tok/s) |
|---|---|---|
| 512 | 47.7 / 13.4 | 54.5 / 14.3 |
| 2K | 62.6 / 10.3 | 74.5 / 13.9 |
| 8K | 46.4 / 9.9 | 178.1 / 14.3 |
| 16K | 43.8 / 6.2 | 193.9 / 15.1 |
| 32K | 44.1 / 6.0 | 213.8 / 12.6 |
Valorile sunt prompte / decodifică jetoanele pe secundă. Costul: 24 GiO de RAM este acum blocat în pagină pentru experți, astfel încât nimic altceva mare nu ar trebui să ruleze pe această mașină, iar capacul contextual este de 65K în loc de 262K. Totul persistă în timpul repornirii.
P2002 (Radeon RDNA4): reglare în timp real, apoi o repornire scurtă
În primul rând, reglarea în timp real fără a reporni motorul. Regulatorul CPU setat la performanță și un cache de pagini mai lung pentru experți au fost păstrate; ceasurile GPU fixate au redus precompletarea cu aproximativ 10% și au fost respinse; o citire mai mare nu a avut niciun efect. Decodificarea la 2K și 8K s-a îmbunătățit cu 10–18%.
Apoi, cu o repornire de aproximativ 40 de secunde (lanțul de rezervă a efectuat sesiunea, fără întrerupere vizibilă), agentul a ridicat rezerva VRAM de la 700 la 960 MiB și a activat --kv-grow, păstrând contextul complet de 262K. Sloturile pentru experți au crescut de la 2518 la 3686 (+46%), rata de succes a experților a crescut de la 74% la 87%, iar avertismentele de paginare au dispărut. De asemenea, a adăugat un câine de pază, astfel încât motorul să repornească singur.
| Context | Înainte (prompt / decodificare, tok/s) | După (prompt / decodificare, tok/s) |
|---|---|---|
| 512 | 547 / 63.6 | 602 / 57.5–64 |
| 2K | 1228 / 60–71 | 1275–1303 / 66–74 |
| 8K | 2085 / 59–69 | 1723–2144 / 79–82 |
| 16K | 2180 / 72.7 | 1988–2169 / 76–78 |
| 32K | 2056 / 72.9 | 2023–2096 / 76–77 |
Suită standard: decodare chat 74,3 tok/s (a fost 71,9), primul tok 0,39 s (a fost 0,46), decodare agent 66,7 tok/s (a fost 59,2). Agentul a remarcat, de asemenea, cu sinceritate că primele numere imediat după o repornire sunt scăzute cu aproximativ 25%, deoarece cache-ul expertului este încă rece.
Mac Studio (M3 Ultra): valorile implicite erau deja optime
Agentul a repornit motorul de șase ori pentru funcționarea A/B curată și a demonstrat empiric că configurația implicită era deja cea mai bună. Opțiunile KV nu au avut niciun efect asupra memoriei unificate; un cache mare de experți cu fir a fost dăunător (decodificarea s-a prăbușit la aproximativ 32 de tok/s) și a fost inversat. Completarea prealabilă de aproximativ 790 tok/s este limita lățimii de bandă a hardware-ului, nu a configurației. Suita finală: decodare chat 69,1 tok/s, primul tok 0,48 s. Toate fundăturile au fost documentate, astfel încât nimeni să nu le repete.
Versiuni noi, măsurate
- Straturi 0.2.0 cu o interfață de utilizator: Straturile și IA locală pot fi acum instalate fără linia de comandă, ceea ce le face accesibile unui public mult mai larg.
- v0.2.2: trei computere actualizate de la v0.2.1.
- v0.2.3 → v0.2.3.1 pe Mac Studio: decodare 61.3 → 66.4 tok/s (+8%), precompletare 729.9 → 738.9 tok/s (+1%), fără regresie și fără re-descărcări ale fișierelor model.
- v0.2.6 și v0.2.7: fiecare versiune de până acum a adus un alt câștig de performanță. Pentru v0.2.7, agentul a pregătit un rezumat al notelor de lansare și nu a instalat nimic fără aprobare.
DeepSeek V4.1-Flash rulează local
DeepSeek V4.1-Flash, un model mare de ME, rulează acum local pe straturi: experții hot rămân în RAM, iar restul este transmis din SSD. Am măsurat 14 jetoane/s de decodare. Pe hardware-ul nostru actual, acest lucru nu este suficient pentru creierul principal al agentului, dar funcționează bine ca model de a doua opinie și auditor peste noapte.
Ce înseamnă pentru un client Box
- Actualizările motorului sunt detectate, aplicate și măsurate de agent, cu aprobare înainte de modificări.
- Fiecare nivel hardware are propria configurație măsurată, iar opțiunile eșuate sunt documentate.
- Același model pe hardware diferit oferă o bază clară pentru alegerea unei configurații.