Pierwsze uruchomienie Strata i laboratorium dla powtarzalnych lokalnych konfiguracji sztucznej inteligencji

Pierwszy wynik: 31 żetonów na sekundę

• Strata v0.1.41
• Model: Qwen3.8-Flash-Next IQ3_XXS
• Procesor: Intel Core Ultra 7 270K Plus
• Procesor graficzny: AMD Radeon RX 9070 OC, 16 GB GDDR6
• Pamięć ram: 32 GB DDR5-6000
• SSD: Lexar NM1090 Pro 2 TB, NVMe PCIe 5.0
• Kontekst: 65,536 tokens

Model wygenerował 12 136 tokenów w około 6,5 minuty: 31 tokenów na sekundę. Przy modelu o pojemności około 47 GB pamięć VRAM była prawie pełna, podczas gdy wykorzystanie pamięci RAM systemu wynosiło tylko około 3 GB: Strata odczytuje część modelu bezpośrednio z dysku SSD. Procesor graficzny pobierał około 130–150 W, pozostawał w temperaturze 45°C, a wentylatory były ledwo słyszalne. Otwiera to możliwość znacznie tańszych lokalnych systemów AI, bez ogromnych ilości pamięci RAM czy kosztownych platform serwerowych.

Systematyczny program na różnych urządzeniach

Wyniki te zapoczątkowały bardziej systematyczny program: Strata na 11 komputerach o bardzo różnych konfiguracjach, z procesorami graficznymi NVIDIA, AMD i Intel, DDR4 i DDR5 oraz pamięcią masową NVMe od PCIe 3.0 do PCIe 5.0, w tym macierz RAID 0 PCIe 5.0 o prędkości około 35 GB/s. Najpierw kompatybilność, wydajność i stabilność; następnie praktyczne codzienne i biznesowe zadania.

Sprawdzono również odwrotny przypadek: na minikomputerze bez dyskretnego procesora graficznego i 8 GB pamięci RAM można było zbudować Strata, ale model nie uruchomił się, nawet po dodaniu pamięci RAM, ze względu na dynamicznie przydzieloną pamięć wideo. Wniosek: Strata nie uruchamia się na tej nieudokumentowanej konfiguracji.

Kontekst 256K i pierwsze lekcje praktyczne

W systemie RX 9070 z kontekstem 256K, wyjście wynosiło 15–30 tokenów na sekundę. W jednej sesji (9:44–12:00): 18 żądań, około 108 000 tokenów podpowiedzi (114 tok/s), około 856 000 ponownie wykorzystanych, około 100 000 zapisanych (22,6 tok/s). Z około 25 próśb kilka się zepsuło: podpowiedź z pięcioma pytaniami naraz (działała po podziale) i prośba o 60–70 tysięcy tokenów odpowiedzi. Pozostałe produkcje sięgały 14–22 tys. tokenów, a długie pokolenia zalegały z jakością.

Strata nie wykryła GPU bez podłączonego monitora na tej płycie ASUS Pro Q870M-C-CSM; rozwiązała to zaślepka HDMI.

Wystarczy 32 GB pamięci RAM

Dzięki 32 GB pamięci RAM, Strata może działać bez ładowania modelu do systemowej pamięci RAM: pamięć pozostaje wolna dla innych zadań, a procesor dla równoległych obciążeń roboczych, przy 15–20 tok/s. Dzięki 64 GB na tej samej maszynie (Strata v0.1.43, Qwen3.8-Flash-Next IQ3_S), generacja osiągnęła 45–48 tok/s, ale przy znacznie mniejszej ilości pamięci pozostałej do innej pracy. Później, w dwóch różnych konfiguracjach, w tym DDR4, Strata prawie nie używała pamięci RAM z prędkością 15–25 tok/s, podczas gdy około połowa procesora pozostała wolna dla Hermesa i komponentów pomocniczych. Wydajność spada wraz ze wzrostem długości kontekstu, więc zależy to od zadań.

Pierwszy autonomiczny przepływ pracy

Nocna praca na nieobsługiwanym sprzęcie bez dyskretnego procesora graficznego dała około 1 tokena na sekundę, ponieważ większość modelu została wymieniona. Szybkość nie była celem: zadanie zostało przydzielone wieczorem, a wynik był gotowy rano. Następnie Hermes przeniósł się do maszyny o użytecznej prędkości i rozpoczął codzienną pracę. Pewnego ranka sprawdzono już czujniki i monitory Home Assistant, stan dysku i temperatury na podłączonych komputerach; natychmiast poinformowano, że serwerownia robi się zbyt ciepła przy sześciu uruchomionych komputerach.

Laboratorium identycznych maszyn

Aby przekształcić poszczególne wyniki w powtarzalną konfigurację, kupiliśmy 10 identycznych płyt głównych i procesorów dla 10 pasujących systemów: platformę ASUS z 8 gniazdami pamięci RAM, niedrogie zarządzanie na poziomie DDR4 i BIOS, dzięki czemu agenci mogą nawet zdalnie ponownie zainstalować system operacyjny.

Skonfigurowaliśmy już prawie od zera 20–30 komputerów i zarządzaliśmy nimi głosowo z telefonu za pośrednictwem agentów w chmurze, w tym przepływem pracy księgowości od instalacji ERP do wprowadzenia faktur do włoskiego systemu podatkowego. Obecnie celem jest odtworzenie takich przepływów pracy za pomocą lokalnej sztucznej inteligencji. Po wyjęciu z pudełka zadania, które zajmują sekundy lub minutę w chmurze, zajmowały lokalnie 5–10 minut; następnie nastąpiła optymalizacja. Zadania pochodzą z wielu źródeł, a agenci umieszczają je w OpenProject i przypisują do najbardziej odpowiedniego agenta lub osoby.

Co to oznacza dla klienta Box

• Duże modele mogą działać na niedrogim sprzęcie ze skromną pamięcią ram.
• Konfiguracje są wybierane z pomiarów na prawdziwych maszynach.
• Identyczne maszyny umożliwiają powtarzalne i zdalne zarządzanie wynikami.

Oryginalny wątek na X · Wszystkie wiadomości