CLARYEL CLARYEL Box
Configuratie aanvragen

Nieuws

Eerste Strata loopt en een lab voor herhaalbare lokale AI-configuraties

31 tok/s met een model van ~47 GB met slechts ongeveer 3 GB systeem RAM, 45-48 tok / s na een RAM-upgrade, 32 GB RAM bevestigd als voldoende, de eerste autonome overnachtingsworkflow en identieke machines voor herhaalbare configuraties.

Strata dashboard toont 31 tokens per seconde

Het eerste resultaat: 31 tokens per seconde

Het model genereerde 12.136 tokens in ongeveer 6,5 minuten: 31 tokens per seconde. Met een model van ongeveer 47 GB was VRAM bijna vol, terwijl het systeem RAM-gebruik slechts ongeveer 3 GB was: Strata leest een deel van het model rechtstreeks van de SSD. De GPU trok ongeveer 130-150 W, bleef op 45 °C en de ventilatoren waren nauwelijks hoorbaar. Dit opent de mogelijkheid van aanzienlijk goedkopere lokale AI-systemen, zonder enorme hoeveelheden RAM of dure serverplatforms.

Een systematisch programma op verschillende hardware

Deze resultaten waren het begin van een systematischer programma: Strata op 11 computers met zeer verschillende configuraties, met NVIDIA, AMD en Intel GPU ' s, DDR4 en DDR5, en NVMe-opslag van PCIe 3.0 tot PCIe 5.0, inclusief een PCIe 5.0 RAID 0-array van ongeveer 35 GB/s. eerst Compatibiliteit, prestaties en stabiliteit; dan praktische dagelijkse en zakelijke taken.

Het tegenovergestelde geval werd ook gecontroleerd: op een mini-PC zonder discrete GPU en 8 GB RAM kon Strata worden gebouwd, maar het model werd niet gelanceerd, zelfs niet na het toevoegen van RAM, vanwege dynamisch toegewezen videogeheugen. Conclusie: Strata start niet op deze ongedocumenteerde configuratie.

256K context en de eerste praktische lessen

Op het RX 9070-systeem met een 256K-context was de output 15-30 tokens per seconde. In één sessie (9:44-12: 00): 18 Verzoeken, ongeveer 108k prompt tokens (114 tok/s), ongeveer 856k hergebruikt, ongeveer 100k geschreven (22,6 tok/s). Van de ongeveer 25 Verzoeken, een paar brak: een prompt met vijf vragen tegelijk (het werkte bij splitsing) en een verzoek voor een 60-70 duizend token antwoord. Andere uitgangen bereikten 14-22 duizend tokens, en lange generaties hielden stand in kwaliteit.

Strata detecteerde de GPU niet zonder een aangesloten monitor op dit ASUS Pro Q870M-C-CSM-bord; een HDMI-dummy-stekker loste het op.

32 GB RAM is voldoende

Met 32 GB RAM kan Strata draaien zonder het model in het systeem RAM te laden: het geheugen blijft vrij voor andere taken en de CPU voor parallelle werkbelastingen, bij 15-20 tok/s. met 64 GB op dezelfde machine (Strata v0.1.43, Qwen3.8-Flash-Next IQ3_S), bereikte de generatie 45-48 tok/s, maar met veel minder geheugen over voor ander werk. Later, op twee verschillende configuraties, waaronder DDR4, gebruikte Strata nauwelijks RAM bij 15-25 tok/s, terwijl ongeveer de helft van de CPU vrij bleef voor Hermes en ondersteunende componenten. De prestaties dalen naarmate de contextlengte toeneemt, dus het hangt af van de taken.

De eerste autonome workflow

Een nachtelijke run op niet-ondersteunde hardware zonder discrete GPU gaf ongeveer 1 token per seconde, omdat een groot deel van het model in swap belandde. Snelheid was niet het doel: de taak werd 's avonds toegewezen en het resultaat was' s ochtends klaar. Hermes ging vervolgens over op een machine met een bruikbare snelheid en begon dagelijks te werken. One morning check maakt al gebruik van Home Assistant-sensoren en bewaakt back-ups, schijfgezondheid en temperaturen op aangesloten computers; het meldde onmiddellijk dat de serverruimte te warm werd met zes computers die aan het draaien waren.

Een lab van identieke machines

Tien identieke ASUS server moederborden en CPU ' s

Om individuele resultaten om te zetten in een herhaalbare setup, kochten we 10 identieke moederborden en CPU ' s voor 10 bijpassende systemen: een ASUS-platform met 8 RAM-slots, betaalbare DDR4 en BIOS-niveau remote management, zodat agenten het besturingssysteem zelfs op afstand kunnen herinstalleren.

We hadden al 20-30 computers bijna vanaf nul opgezet en ze beheerd via spraak vanaf een telefoon via cloudagenten, inclusief een boekhoudkundige workflow van ERP-installatie tot het invoeren van facturen in het Italiaanse belastingstelsel. Het doel is nu om dergelijke workflows te reproduceren met lokale AI. Out of the box, taken die seconden of een minuut in beslag nemen in de cloud duurde 5-10 minuten lokaal; optimalisatie kwam vervolgens. Taken komen uit vele bronnen, en de agents archiveren ze in OpenProject en wijzen ze toe aan de meest geschikte agent of persoon.

Wat dit betekent voor een Box-klant

Oorspronkelijke draad over X · Al het nieuws