Aktualności
Wydania Strata w naszej flocie: agent aktualizuje, mierzy i optymalizuje
Nasz agent wykrywa nowe wydania Strata przez coldniko, aktualizuje maszyny i ponownie uruchamia benchmarki: dekoduje do 2,4× szybciej przy 16K w systemie Tesla P100, +46% wyspecjalizowanych slotów w systemie Radeon, Mac Studio potwierdził optymalność, a DeepSeek V4.1-Flash działa lokalnie.
Strata to lokalny silnik wnioskowania o sztucznej inteligencji opracowany przez coldniko. Od połowy października śledzimy jego wydania na kilku własnych maszynach. Każdy komputer korzysta z tego samego modelu, Qwen3.8-Flash-Next IQ3_S, więc wyniki są porównywalne. Nazwy maszyn pochodzą od ich poziomu sprzętowego:
- P1005: Intel Xeon E5-2690 v4, NVIDIA Tesla P100 16 GB HBM2, 32 GB DDR4, NVMe około 2,5 GB/s, CUDA 12.
- P2002: Intel Core Ultra 7 270K Plus, AMD Radeon RDNA4 (gfx1201) 16 GB, 64 GB DDR5, NVMe RAID 0, ROCm / HIP.
- Mac Studio: Apple M3 Ultra, Metal.
Agent sam wykrywa nową wersję Strata, pobiera ją, uruchamia pomiary i na życzenie optymalizuje konfigurację. Cała optymalizacja przebiega lokalnie, przy użyciu tego samego modelu Qwen3.8-Flash-Next IQ3_S w najnowszej wersji Strata.
P1005 (Tesla P100): od danych zagłodzonych do danych obliczeniowych
Eksperci zajmujący się modelami mają 46,8 GB, zbyt dużą dla pamięci RAM, a karta 16 GB była tak pełna, że silnik ostrzegał, że dekodowanie spadnie do kilku tokenów na sekundę. Zgodnie z dokumentacją repozytorium Strata agent zmienił cztery rzeczy:
--vram-reserve-mib 960 (was 700)
--max-context 65536 (was 262144)
STRATA_Q8_SM60=0
--resident-experts
STRATA_DENSE_F32=1Wynik: Wykorzystanie GPU wzrosło z 27% do 92% (155–170 W). Wypełnienie wstępne stało się do 4,4× szybsze; dekodowanie +40% przy 8K i 2,4× przy 16K.
| Kontekst | Przed (monitem / dekodowaniem, tok/s) | After (monit / dekodowanie, tok/s) |
|---|---|---|
| 512 | 47.7 / 13.4 | 54.5 / 14.3 |
| 2K | 62.6 / 10.3 | 74.5 / 13.9 |
| 8K | 46.4 / 9.9 | 178.1 / 14.3 |
| 16K | 43.8 / 6.2 | 193.9 / 15.1 |
| 32K | 44.1 / 6.0 | 213.8 / 12.6 |
Wartości są znakami podpowiedzi / dekodowania na sekundę. Koszt: 24 GB pamięci RAM jest teraz zablokowany dla ekspertów, więc nic innego dużego nie powinno działać na tym komputerze, a nakładka kontekstowa wynosi 65K zamiast 262K. Wszystko utrzymuje się podczas ponownego uruchamiania.
P2002 (Radeon RDNA4): dostrajanie na żywo, a następnie krótki restart
Najpierw strojenie na żywo bez ponownego uruchamiania silnika. Regulator procesora ustawiony na wydajność i dłuższa pamięć podręczna stron dla ekspertów zostały zachowane; przypięte zegary GPU zmniejszyły wstępne wypełnienie o około 10% i zostały odrzucone; większy odczyt do przodu nie miał wpływu. Dekodowanie w 2K i 8K poprawiło się o 10–18%.
Następnie, przy ponownym uruchomieniu trwającym około 40 sekund (łańcuch awaryjny niósł sesję, bez widocznych przerw), agent podniósł rezerwę VRAM z 700 do 960 MiB i włączył --kv-grow, zachowując pełny kontekst 262K. Gniazda ekspertów wzrosły z 2518 do 3686 (+46%), wskaźnik trafień ekspertów wzrósł z 74% do 87%, a ostrzeżenia stronicowania zniknęły. Dodał również strażnika, dzięki czemu silnik uruchamia się sam.
| Kontekst | Przed (monitem / dekodowaniem, tok/s) | After (monit / dekodowanie, tok/s) |
|---|---|---|
| 512 | 547 / 63.6 | 602 / 57.5–64 |
| 2K | 1228 / 60–71 | 1275–1303 / 66–74 |
| 8K | 2085 / 59–69 | 1723–2144 / 79–82 |
| 16K | 2180 / 72.7 | 1988–2169 / 76–78 |
| 32K | 2056 / 72.9 | 2023–2096 / 76–77 |
Standardowy pakiet: dekodowanie czatu 74,3 tok/s (było 71,9), pierwszy token 0,39 s (było 0,46), dekodowanie agenta 66,7 tok/s (było 59,2). Agent zauważył również uczciwie, że pierwsze liczby tuż po ponownym uruchomieniu są o około 25% niskie, ponieważ pamięć podręczna eksperta jest nadal zimna.
Mac Studio (M3 Ultra): ustawienia domyślne były już optymalne
Agent ponownie uruchomił silnik sześć razy dla czystych przebiegów A/B i udowodnił empirycznie, że domyślna konfiguracja była już najlepsza. Opcje KV nie miały wpływu na ujednoliconą pamięć; duża przewodowa pamięć podręczna eksperta była szkodliwa (dekodowanie zostało zwinięte do około 32 tok/s) i została cofnięta. Wstępne wypełnienie około 790 tok/s jest limitem przepustowości sprzętu, a nie konfiguracji. Pakiet końcowy: dekodowanie czatu 69.1 tok/s, pierwszy token 0.48 s. Wszystkie ślepe zaułki zostały udokumentowane, więc nikt ich nie powtarza.
Zmierzone nowe wydania
- Strata 0.2.0 z interfejsem użytkownika: Strata i lokalna sztuczna inteligencja mogą być teraz instalowane bez wiersza poleceń, co sprawia, że są dostępne dla znacznie szerszej grupy odbiorców.
- v0.2.2: trzy komputery zaktualizowane z v0.2.1.
- v0.2.3 → v0.2.3.1 na Mac Studio: dekodowanie 61.3 → 66.4 tok/s (+8%), wstępne wypełnienie 729.9 → 738.9 tok/s (+1%), bez regresji i bez ponownego pobierania plików modeli.
- v0.2.6 i v0.2.7: każda dotychczasowa wersja przyniosła kolejny wzrost wydajności. Dla v0.2.7 agent przygotował podsumowanie informacji o wersji i nie zainstalował niczego bez zgody.
DeepSeek V4.1-Flash działa lokalnie
DeepSeek V4.1-Flash, duży model MoE, działa teraz lokalnie na Strata: gorący eksperci pozostają w pamięci RAM, a reszta jest przesyłana strumieniowo z dysku SSD. Zmierzyliśmy 14 tok/s dekodowania. Na naszym obecnym sprzęcie nie wystarcza to głównemu mózgowi agenta, ale działa dobrze jako model drugiej opinii i audytor z dnia na dzień.
Co to oznacza dla klienta Box
- Aktualizacje silnika są wykrywane, stosowane i mierzone przez agenta, za zgodą przed wprowadzeniem zmian.
- Każdy poziom sprzętowy otrzymuje własną zmierzoną konfigurację, a nieudane opcje są dokumentowane.
- Ten sam model na różnych urządzeniach daje wyraźną podstawę do wyboru konfiguracji.