Lokalni agenci AI dostrajający sprzęt, na którym działają

Lokalny system sztucznej inteligencji nie musi być dostrajany ręcznie. W naszych eksperymentach agent działający na lokalnym sprzęcie analizuje ten sam sprzęt, uruchamia własne pomiary i zachowuje tylko te ustawienia, które faktycznie pomagają. Poniżej znajdują się cztery wyniki z ostatniego tygodnia, od najnowszych do najstarszych.

Ograniczenie zegarów wzmocnienia procesora: ta sama prędkość, mniej ciepła

Jedną z niedocenianych sztuczek uruchamiania lokalnej sztucznej inteligencji jest ograniczenie zegarów CPU i/lub GPU Boost. Głosem poprosiliśmy lokalnego agenta sztucznej inteligencji o zoptymalizowanie laptopa, który obsługuje nasz główny mózg sztucznej inteligencji. Zmniejszył częstotliwość procesora z 5,5 GHz do 4,5 GHz.

• Prędkość wnioskowania LLM na Strata pozostała dokładnie taka sama, bez żadnej utraty.
• Temperatura procesora spadła o około 10%.
• Zużycie energii przez procesor znacznie spadło.
• Temperatura procesora graficznego również spadła, bez ograniczania zegarów procesora graficznego.

Procesor i procesor graficzny mają wspólny budżet termiczny, więc zmniejszenie niepotrzebnego wzmocnienia procesora pomaga również procesorowi graficznemu. Nikt nie spędzał godzin na dostrajaniu: agentowi po prostu powiedziano, aby znalazł optymalne limity, a on sam prowadził eksperymenty, podczas gdy prace nad innymi rzeczami były kontynuowane.

Autodiagnostyka: zaufaj sztucznej inteligencji, ale zweryfikuj

Konfiguracja: Strata + Qwen3.8-Next-IQ3_S. Lokalna sztuczna inteligencja uznała limit mocy GPU za nienaprawialny. Zakwestionowaliśmy to odkrycie, sprawdziliśmy je na zewnątrz (do tego wystarczy nawet darmowa wersja ChatGPT), ustaliliśmy limit i zyskaliśmy 30–35% wydajności.

Zasada, którą stosujemy: użyj sztucznej inteligencji do autodiagnostyki, ale sprawdź krytyczne wyniki.

Automatyczna optymalizacja na laptopie RTX 5090

Strata na laptopie do gier z RTX 5090 (24 GB VRAM), model Qwen3.8-Flash-Next IQ3_S:

• Dekodowanie: 83.6 tok/s
• Dekodowanie agenta: 99.8 tok/s
• Wstępne wypełnienie 4K: 1,443 tok/s
• Wypełnienie wstępne 16K: 2,132 tok/s
• Pierwszy token: 0.28 s

Następnie agent samodzielnie zoptymalizował tę samą maszynę:

• Ciepły dekod: 63–110 → 109–118 tok/s
• Dekodowanie czynnika szczytowego: 119.5 → 125.5 tok/s (+5%)
• Zoptymalizowana konfiguracja została zapisana, niestabilne ustawienia zostały przywrócone, a serwer został bezpiecznie zamknięty.

RTX 3060 12 GB: odblokowanie i pierwsze zyski

Na jednym z naszych eksperymentalnych komputerów (mała obudowa ITX, 48 GB pamięci RAM, RTX 3060 12 GB) włączyliśmy odblokowanie NVIDIA. Zmierzone wzmocnienie: do +78% w obliczeniach GPU i +11% w preferencjach wnioskowania AI.

Z perspektywy czasu, wraz z następną pracą Strata wykonaną przez coldniko, RTX 3060 12 GB + 48 GB pamięci RAM wzrósł z 32 do 60–80 żetonów na sekundę. Nasz Mac Studio M3 Ultra (60 rdzeni procesora graficznego, 256 GB pamięci RAM, Strata v0.2.6) dostarczył dekodowanie 61,4 tok/s i wstępne wypełnienie 734 tok/s w tym samym modelu Qwen3.8-Flash-Next IQ3_S. Pełne wyniki dla tej karty znajdują się w osobnym artykule.

Co to oznacza dla klienta Box

• Ustawienia są wybierane przez pomiar, a nie przez zgadywanie: agent porównuje przed i po, a co nie pomaga, wycofuje się.
• Niższe temperatury i pobór mocy przy tej samej prędkości oznaczają cichszą pracę i mniejsze zużycie.
• Krytyczne wnioski agenta są sprawdzane przed podjęciem działań.
• Niedrogi sprzęt staje się szybszy dzięki samym aktualizacjom oprogramowania.

Lokalna sztuczna inteligencja optymalizująca sprzęt, który obsługuje lokalną sztuczną inteligencję.

Oryginalny wątek na X · Artykuł RTX 3060 · Wszystkie wiadomości