Novinky
Místní agenti AI ladí hardware, na kterém běží
Nižší hodiny CPU boost bez ztráty rychlosti odvození, omezení výkonu GPU, které agent poprvé nazval neopravitelným (+30-35% po opravě), automatická optimalizace na notebooku RTX 5090 a odemknutí RTX 3060. Co to znamená pro zákazníka Box.
Místní systém AI nemusí být laděn ručně. V našich experimentech agent běžící na místním hardwaru analyzuje stejný hardware, provádí vlastní měření a uchovává pouze nastavení, která skutečně pomáhají. Níže jsou uvedeny čtyři výsledky za poslední týden, od nejnovějších po nejstarší.
Omezení hodin CPU boost: stejná rychlost, méně tepla
Jeden podceňovaný trik pro spuštění místní AI je omezit CPU a/nebo GPU boost hodiny. Hlasem jsme požádali místního agenta AI, aby optimalizoval notebook, který provozuje Náš hlavní mozek AI. Snížila frekvenci CPU z 5,5 GHz na 4,5 GHz.
- Rychlost inferencí LLM na Strata zůstala přesně stejná, bez jakékoliv ztráty.
- Teplota procesoru klesla asi o 10%.
- Spotřeba energie CPU výrazně klesla.
- Teploty GPU také klesly, aniž by byly omezeny hodiny GPU.
CPU a GPU sdílejí tepelný rozpočet, takže snížení zbytečné podpory CPU také pomáhá GPU. Nikdo netrávil hodiny laděním: agentovi bylo jednoduše řečeno, aby našel optimální limity, a sám provedl experimenty, zatímco práce pokračovala na jiných věcech.
Autodiagnostika: důvěřujte AI, ale ověřte
Nastavení: Strata + Qwen3.8-Next-IQ3_S.místní AI deklarovala nefixovatelný limit výkonu GPU. Zjištění jsme zpochybnili, externě jsme jej zkontrolovali (stačí k tomu i bezplatná verze ChatGPT), stanovili limit a získali 30-35% výkon.
Pravidlo, které používáme: používejte AI pro autodiagnostiku, ale křížově kontrolujte kritická zjištění.
Automatická optimalizace na notebooku RTX 5090
Strata na herním notebooku s RTX 5090 (24 GB VRAM), model Qwen3.8-Flash-Next IQ3_S:
- Dekódování: 83.6 tok/s
- Dekódování agenta: 99.8 tok/s
- Předplnění 4K: 1,443 tok/s
- Předplnění 16K: 2,132 tok/s
- První token: 0.28 s
Poté agent optimalizoval stejný stroj sám:
- Teplé dekódování: 63–110 → 109–118 tok/s
- Dekódování špičkového agenta: 119.5 → 125.5 tok/s (+5%)
- Optimalizovaná konfigurace byla uložena, nestabilní nastavení byla vrácena zpět a server byl bezpečně vypnut.
RTX 3060 12 GB: odemknutí a první zisky
Na jednom z našich experimentálních počítačů (malé pouzdro ITX, 48 GB RAM, RTX 3060 12 GB) jsme povolili odemknutí NVIDIA. Naměřený zisk: až +78% v GPU compute a +11% V ai inference prefill.
Pro perspektivu, s dalšími vrstvami práce coldniko RTX 3060 12 GB + 48 GB RAM šel z 32 na 60-80 trvalých tokenů za sekundu. Naše Mac Studio M3 Ultra (60 GPU jader, 256 GB RAM, Strata v0.2.6) dodáno 61.4 tok/s dekódování a 734 tok/s předplnění na stejném modelu Qwen3.8-Flash-Next iq3_s. Úplné výsledky této karty jsou v samostatném článku.
Co to znamená pro zákazníka Box
- Nastavení se volí měřením, nikoli hádáním: agent porovnává před a po a vrací zpět to, co nepomůže.
- Nižší teploty a odběr energie při stejné rychlosti znamenají tišší provoz a menší opotřebení.
- Kritické závěry agenta jsou křížově kontrolovány před tím, než jsou jednány.
- Cenově dostupný hardware je stále rychlejší pouze díky aktualizacím softwaru.
Místní AI optimalizace hardwaru, na kterém běží místní AI.