Primele straturi rulează și un laborator pentru configurații AI locale repetabile

Primul rezultat: 31 de jetoane pe secundă

• Strat v0.1.41
• Model: Qwen3.8-Flash-Next IQ3_XXS
• CPU: Intel Core Ultra 7 270K Plus
• GPU: AMD Radeon RX 9070 OC, 16 GB GDDR6
• RAM: 32 GB DDR5-6000
• SSD: Lexar NM1090 Pro 2 TB, NVMe PCIe 5.0
• Context: 65,536 tokens

Modelul a generat 12.136 de jetoane în aproximativ 6,5 minute: 31 de jetoane pe secundă. Cu un model de aproximativ 47 GB, VRAM era aproape plin, în timp ce utilizarea RAM a sistemului era de numai aproximativ 3 GB: straturile citesc o parte a modelului direct de pe SSD. GPU-ul a atras aproximativ 130–150 W, a rămas la 45° C, iar ventilatoarele au fost abia auzite. Acest lucru deschide posibilitatea unor sisteme AI locale semnificativ mai ieftine, fără cantități uriașe de memorie RAM sau platforme de server scumpe.

Un program sistematic pe diferite componente hardware

Aceste rezultate au început un program mai sistematic: straturi pe 11 computere cu configurații foarte diferite, cu GPU-uri NVIDIA, AMD și Intel, DDR4 și DDR5 și stocare NVMe de la PCIe 3.0 la PCIe 5.0, inclusiv o matrice RAID 0 PCIe 5.0 de aproximativ 35 GB/s. În primul rând compatibilitate, performanță și stabilitate; apoi sarcini practice de zi cu zi și de afaceri.

A fost verificat și cazul opus: pe un mini PC fără GPU discret și 8 GB de RAM, au putut fi construite stratele, dar modelul nu a fost lansat, chiar și după adăugarea de RAM, din cauza memoriei video alocate dinamic. Concluzie: Straturile nu se lansează pe această configurație nedocumentată.

Contextul 256K și primele lecții practice

Pe sistemul RX 9070 cu un context de 256K, rezultatul a fost de 15–30 de jetoane pe secundă. Într-o singură sesiune (9:44–12:00): 18 solicitări, aproximativ 108K de jetoane prompte (114 tok/s), aproximativ 856K reutilizate, aproximativ 100K scrise (22,6 tok/s). Din aproximativ 25 de solicitări, câteva au dat faliment: o solicitare cu cinci întrebări simultan (a funcționat atunci când a fost împărțită) și o solicitare pentru un răspuns de 60–70 de mii de jetoane. Alte rezultate au ajuns la 14–22 de mii de jetoane, iar generațiile lungi au rezistat în calitate.

Straturile nu au detectat GPU-ul fără un monitor conectat pe această placă ASUS Pro Q870M-CSM; o fișă substitut HDMI a rezolvat-o.

32 GB de RAM sunt suficienți

Cu 32 GB de RAM, straturile pot rula fără a încărca modelul în memoria RAM a sistemului: memoria rămâne liberă pentru alte sarcini și procesorul pentru sarcini de lucru paralele, la 15–20 tok/s. Cu 64 GB pe aceeași mașină (Strata v0.1.43, Qwen3.8-Flash-Next IQ3_S), generarea a ajuns la 45–48 tok/s, dar cu mult mai puțină memorie rămasă pentru alte lucrări. Mai târziu, pe două configurații diferite, inclusiv DDR4, Strata a folosit abia RAM la 15–25 tok/s, în timp ce aproximativ jumătate din CPU a rămas gratuit pentru Hermes și componentele de sprijin. Performanța scade pe măsură ce lungimea contextului crește, deci depinde de sarcini.

Primul flux de lucru autonom

O funcționare peste noapte pe hardware neacceptat fără GPU discret a dat aproximativ 1 jeton pe secundă, deoarece o mare parte a modelului a ajuns în swap. Viteza nu a fost obiectivul: sarcina a fost atribuită seara, iar rezultatul a fost gata dimineața. Hermes s-a mutat apoi la o mașină cu o viteză utilizabilă și a început munca de zi cu zi. O verificare de dimineață utilizează deja senzori Home Assistant și monitorizează copiile de rezervă, starea de sănătate a discului și temperaturile pe computerele conectate; a raportat cu promptitudine că camera serverului se încălzea prea mult cu șase computere în funcțiune.

Un laborator de mașini identice

Pentru a transforma rezultatele individuale într-o configurație repetabilă, am cumpărat 10 plăci de bază și procesoare identice pentru 10 sisteme potrivite: o platformă ASUS cu 8 sloturi RAM, gestionare la distanță accesibilă DDR4 și la nivel de BIOS, astfel încât agenții să poată reinstala chiar și sistemul de operare de la distanță.

Am configurat deja 20–30 de computere aproape de la zero și le-am gestionat prin voce de la un telefon prin intermediul agenților cloud, inclusiv un flux de lucru contabil de la instalarea ERP până la introducerea facturilor în sistemul fiscal italian. Scopul acum este de a reproduce astfel de fluxuri de lucru cu IA locală. Din cutie, sarcinile care durează secunde sau un minut în cloud au durat 5–10 minute la nivel local; optimizarea a urmat. Sarcinile provin din mai multe surse, iar agenții le depun în OpenProject și le atribuie celui mai potrivit agent sau persoană.

Ce înseamnă pentru un client Box

• Modelele mari pot rula pe hardware accesibil cu memorie RAM modestă.
• Configurațiile sunt alese din măsurătorile efectuate pe mașini reale.
• Mașinile identice fac ca rezultatele să fie repetabile și să fie posibilă gestionarea de la distanță.

Firul original pe X · Toate noutățile