CLARYEL CLARYEL Box
Begär konfiguration

Nyheter

Första Strata-körningar och ett labb för repeterbara lokala AI-konfigurationer

31 tok / s med en ~47 GB-modell med endast cirka 3 GB systemminne, 45-48 tok/s efter en RAM-uppgradering, 32 GB RAM bekräftat som tillräckligt, det första autonoma arbetsflödet över natten och identiska maskiner för repeterbara konfigurationer.

Strata instrumentpanel som visar 31 tokens per sekund

Det första resultatet: 31 tokens per sekund

Modellen genererade 12 136 tokens på cirka 6,5 minuter: 31 tokens per sekund. Med en modell på cirka 47 GB var VRAM nästan full medan systemminneanvändningen bara var cirka 3 GB: Strata läser en del av modellen direkt från SSD. GPU: n drog cirka 130-150 W, stannade på 45 JK och fläktarna var knappt hörbara. Detta öppnar möjligheten till betydligt billigare lokala AI-system, utan enorma mängder RAM eller dyra serverplattformar.

Ett systematiskt program på olika hårdvaror

Dessa resultat startade ett mer systematiskt program: Strata på 11 datorer med mycket olika konfigurationer, med NVIDIA, AMD och Intel GPU: er, DDR4 och DDR5 och NVMe-lagring från PCIe 3.0 till PCIe 5.0, inklusive en PCIe 5.0 RAID 0-array på cirka 35 GB/s. först kompatibilitet, prestanda och stabilitet; sedan praktiska vardagliga och affärsmässiga uppgifter.

Det motsatta fallet kontrollerades också: på en mini-dator utan diskret GPU och 8 GB RAM kunde Strata byggas men modellen lanserades inte, även efter att ha lagt till RAM, på grund av dynamiskt tilldelat videominne. Slutsats: Strata startar inte på denna odokumenterade konfiguration.

256K sammanhang och de första praktiska lektionerna

På RX 9070-systemet med ett 256K-sammanhang var utgången 15-30 tokens per sekund. I en session (9: 44-12: 00): 18 förfrågningar, om 108k prompt tokens (114 tok/s), om 856k återanvänds, om 100k skrivet (22.6 tok/s). Av cirka 25 förfrågningar bröt några: en fråga med fem frågor på en gång (det fungerade när det delades) och en begäran om ett 60-70 tusen tokensvar. Andra utgångar nådde 14-22 tusen tokens, och långa generationer höll upp i kvalitet.

Strata upptäckte inte GPU utan en ansluten bildskärm på detta ASUS Pro Q870M-C-CSM-kort; en HDMI-dummy-kontakt löste det.

32 GB RAM räcker

Med 32 GB RAM kan Strata köras utan att ladda modellen i systemets RAM: minnet förblir ledigt för andra uppgifter och CPU: n för parallella arbetsbelastningar, vid 15-20 tok/s. med 64 GB på samma maskin (Strata v0.1.43, Qwen3.8-Flash-Next IQ3_S) nådde generationen 45-48 tok/s, men med mycket mindre minne kvar för annat arbete. Senare, på två olika konfigurationer inklusive DDR4, använde Strata knappt RAM vid 15-25 tok/s medan ungefär hälften av CPU: n var fri för Hermes och stödjande komponenter. Prestanda sjunker när kontextlängden växer, så det beror på uppgifterna.

Det första autonoma arbetsflödet

En nattkörning på ostödd hårdvara utan diskret GPU gav cirka 1 token per sekund, eftersom mycket av modellen hamnade i byte. Hastighet var inte målet: uppgiften tilldelades på kvällen och resultatet var klart på morgonen. Hermes flyttade sedan till en maskin med en användbar hastighet och började vardagligt arbete. En morgonkontroll använder redan hemassistentsensorer och övervakar säkerhetskopior, diskhälsa och temperaturer över anslutna datorer; det rapporterade omedelbart att serverrummet blev för varmt med sex datorer igång.

Ett labb av identiska maskiner

Tio identiska ASUS server moderkort och processorer

För att göra enskilda resultat till en repeterbar installation köpte vi 10 identiska moderkort och processorer för 10 matchande system: en ASUS-plattform med 8 RAM-kortplatser, prisvärd DDR4-och BIOS-nivå fjärrhantering, så agenter kan till och med installera om operativsystemet på distans.

Vi hade redan satt upp 20-30 datorer nästan från grunden och hanterade dem med röst från en telefon via molnagenter, inklusive ett bokföringsarbetsflöde från ERP-installation till att ange fakturor i det italienska skattesystemet. Målet är nu att reproducera sådana arbetsflöden med lokal AI. Utanför lådan tog uppgifter som tar sekunder eller en minut i molnet 5-10 minuter lokalt; optimering kom nästa. Uppgifter kommer in från många källor, och agenterna arkiverar dem i OpenProject och tilldelar dem till den bäst lämpade agenten eller personen.

Vad detta betyder för en Box-kund

Originaltråd på X · Alla nyheter