CLARYEL CLARYEL Box
Anmod om konfiguration

Nyheder

Første Strata kører og et laboratorium til gentagelige lokale AI-konfigurationer

31 tok/s med en ~47 GB model, der kun bruger omkring 3 GB system RAM, 45-48 tok / s efter en RAM-opgradering, 32 GB RAM bekræftet som nok, den første autonome natlige arbejdsgang og identiske maskiner til gentagelige konfigurationer.

Strata dashboard viser 31 tokens per sekund

Det første resultat: 31 tokens per sekund

Modellen genererede 12.136 tokens på cirka 6,5 minutter: 31 tokens pr. Med en model på omkring 47 GB var VRAM næsten fuld, mens system RAM-brugen kun var omkring 3 GB: Strata læser en del af modellen direkte fra SSD. GPU ' en trak omkring 130-150 V, opholdt sig på 45 Palling C og fansen var næppe hørbar. Dette åbner muligheden for betydeligt billigere lokale AI-systemer uden enorme mængder RAM eller dyre serverplatforme.

Et systematisk program om forskelligt udstyr

Disse resultater startede et mere systematisk program: Strata på 11 computere med meget forskellige konfigurationer med NVIDIA, AMD og Intel GPU ' er, DDR4 og DDR5 og NVMe-lagring fra PCIe 3.0 til PCIe 5.0, herunder en PCIe 5.0 RAID 0-array på omkring 35 GB/s. først Kompatibilitet, ydeevne og stabilitet; derefter praktiske hverdagsopgaver og forretningsopgaver.

Det modsatte tilfælde blev også kontrolleret: på en mini-PC uden diskret GPU og 8 GB RAM kunne Strata bygges, men modellen startede ikke, selv efter tilføjelse af RAM, på grund af dynamisk tildelt videohukommelse. Konklusion: Strata starter ikke på denne udokumenterede konfiguration.

256K kontekst og de første praktiske lektioner

På 9070-systemet med en 256K-kontekst var output 15-30 tokens pr. I en session (9: 44-12: 00): 18 anmodninger, om 108k prompt tokens (114 tok/s), om 856k genbrugt, om 100k skrevet (22.6 tok/s). Ud af omkring 25 anmodninger brød nogle få: en prompt med fem spørgsmål på en gang (det fungerede ved split) og en anmodning om et 60-70 tusind token svar. Andre udgange nåede 14-22 tusind tokens, og lange generationer holdt op i kvalitet.

Strata registrerede ikke GPU ' en uden en tilsluttet skærm på dette ASUS Pro 870M-C-CSM-kort; et HDMI-dummy-stik løste det.

32 GB RAM er nok

Med 32 GB RAM kan Strata køre uden at indlæse modellen i system-RAM: hukommelsen forbliver fri til andre opgaver og CPU ' en til parallelle arbejdsbelastninger ved 15-20 tok/s. med 64 GB på den samme maskine (Strata v0.1.43, 3.8-Flash-næste ik 3_s) nåede generationen 45-48 tok/s, men med meget mindre hukommelse tilbage til andet arbejde. Senere, på to forskellige konfigurationer, herunder DDR4, brugte Strata knap nok RAM på 15-25 tok/s, mens omkring halvdelen af CPU ' en forblev fri for Hermes og understøttende komponenter. Ydeevnen falder, når kontekstlængden vokser, så det afhænger af opgaverne.

Den første autonome arbejdsgang

1 token per sekund, fordi meget af modellen endte i bytte. Hastighed var ikke målet: opgaven blev tildelt om aftenen, og resultatet var klar om morgenen. Hermes flyttede derefter til en maskine med en brugbar hastighed og begyndte hverdagens arbejde. En morgencheck bruger allerede Hjemmeassistentsensorer og overvåger sikkerhedskopier, diskhelse og temperaturer på tværs af tilsluttede computere; det rapporterede straks, at serverrummet blev for varmt med seks computere, der kørte.

Et laboratorium med identiske maskiner

Ti identiske ASUS server bundkort og CPU ' er

For at gøre individuelle resultater til en gentagelig opsætning købte vi 10 identiske bundkort og CPU ' er til 10 matchende systemer: en ASUS-platform med 8 RAM-slots, overkommelig DDR4 og fjernstyring på BIOS-niveau, så agenter endda kan geninstallere operativsystemet eksternt.

Vi havde allerede oprettet 20-30 computere næsten fra bunden og styret dem med stemme fra en telefon gennem skyagenter, herunder en regnskabsarbejdsgang fra ERP-installation til indtastning af fakturaer i det italienske skattesystem. Målet er nu at gengive sådanne arbejdsgange med lokal AI. Ud af kassen tog opgaver, der tager sekunder eller et minut i skyen, 5-10 minutter lokalt; optimering kom næste. Opgaver kommer ind fra mange kilder, og agenterne arkiverer dem i OpenProject og tildeler dem til den bedst egnede agent eller person.

Hvad det betyder for en Box-kunde

Original tråd på X · Alle nyheder