CLARYEL CLARYEL Box
Požádat o konfiguraci

Novinky

První vrstvy běží a laboratoř pro opakovatelné místní konfigurace AI

31 tok/s s ~47 GB modelem používajícím pouze asi 3 GB systémové RAM, 45-48 tok/s po upgradu RAM, 32 GB RAM potvrzeno jako dost, první autonomní noční pracovní postup a identické stroje pro opakovatelné konfigurace.

Strata dashboard zobrazující 31 žetonů za sekundu

První výsledek: 31 žetonů za sekundu

Model vygeneroval 12 136 tokenů za přibližně 6,5 minuty: 31 tokenů za sekundu. S modelem asi 47 GB byla VRAM téměř plná, zatímco využití systémové paměti RAM bylo jen asi 3 GB:Strata čte část modelu přímo z SSD. GPU čerpal asi 130-150 W, zůstal na 45 °C a fanoušci byli sotva slyšitelní. To otevírá možnost výrazně levnějších místních systémů AI, bez obrovského množství paměti RAM nebo drahých serverových platforem.

Systematický program na jiném hardwaru

Tyto výsledky zahájily systematičtější program: Strata na 11 počítačích s velmi odlišnými konfiguracemi, s GPU NVIDIA, AMD a Intel, DDR4 a DDR5 a úložištěm NVMe od PCIe 3.0 do PCIe 5.0, včetně pole PCIe 5.0 RAID 0 asi 35 GB/s. nejprve Kompatibilita, výkon a stabilita; pak praktické každodenní a obchodní úkoly.

Byl zkontrolován i opačný případ: na mini PC bez diskrétního GPU a 8 GB RAM bylo možné vytvořit vrstvy, ale model se nespustil, ani po přidání RAM, kvůli dynamicky alokované video paměti. Závěr: Strata se nespustí v této nezdokumentované konfiguraci.

256K kontext a první praktické lekce

Na systému RX 9070 s kontextem 256K byl výstup 15-30 tokenů za sekundu. V jedné relaci (9:44-12:00): 18 žádostí, přibližně 108k prompt tokenů (114 tok/s), přibližně 856k znovu použito, přibližně 100k napsáno (22,6 tok/s). Z asi 25 žádostí se několik zlomilo: výzva s pěti otázkami najednou (fungovala při rozdělení) a žádost o odpověď na 60-70 tisíc tokenů. Ostatní výstupy dosáhly 14-22 tisíc žetonů a dlouhé generace se držely v kvalitě.

Strata nezjistila GPU bez připojeného monitoru na této desce ASUS pro Q870M-C-CSM; vyřešila to fiktivní zástrčka HDMI.

32 GB RAM stačí

S 32 GB RAM může Strata běžet bez načtení modelu do systémové RAM: paměť zůstává volná pro jiné úkoly a CPU pro paralelní pracovní zatížení, při 15-20 tok/s. S 64 GB na stejném počítači (Strata v0.1.43, Qwen3.8-Flash-Next IQ3_S), generace dosáhla 45-48 tok/s, ale s mnohem méně paměti pro jinou práci. Později, na dvou různých konfiguracích včetně DDR4, Strata sotva používala RAM při 15-25 tok / s, zatímco asi polovina CPU zůstala volná pro Hermes a podpůrné komponenty. Výkon klesá s rostoucí délkou kontextu, takže záleží na úkolech.

První autonomní pracovní postup

Noční běh na nepodporovaném hardwaru bez diskrétního GPU dal asi 1 token za sekundu, protože velká část modelu skončila ve swapu. Rychlost nebyla cílem: úkol byl přidělen večer a výsledek byl připraven ráno. Hermes se poté přesunul ke stroji s použitelnou rychlostí a začal každodenní práci. Jedna ranní kontrola již používá senzory Home Assistant a monitoruje zálohy, zdraví disku a teploty napříč připojenými počítači; okamžitě oznámila, že serverová místnost byla příliš teplá, když běželo šest počítačů.

Laboratoř identických strojů

Deset identických základních desek a procesorů ASUS server

Abychom proměnili jednotlivé výsledky v opakovatelné nastavení, koupili jsme 10 identických základních desek a procesorů pro 10 odpovídajících systémů: platformu ASUS s 8 sloty RAM, cenově dostupnou správu DDR4 a vzdálenou správu na úrovni BIOSu, takže agenti mohou dokonce přeinstalovat operační systém na dálku.

Již jsme nastavili 20-30 počítačů téměř od nuly a spravovali je hlasem z telefonu prostřednictvím cloudových agentů, včetně účetního workflow od instalace ERP až po zadávání faktur do italského daňového systému. Cílem je nyní reprodukovat takové pracovní postupy s místní AI. Po vybalení z krabice trvaly úkoly, které v cloudu trvají sekundy nebo minutu, místně 5-10 minut; Další byla optimalizace. Úkoly přicházejí z mnoha zdrojů a agenti je ukládají do OpenProject a přiřazují je nejvhodnějšímu agentovi nebo osobě.

Co to znamená pro zákazníka Box

Původní vlákno na X · Všechny novinky