Nyheter
Lokala AI-agenter ställer in hårdvaran de kör på
Lägre CPU-boost-klockor utan förlust i inferenshastighet, en GPU-effektgräns som agenten först kallade unfixable (+30-35% efter fixen), automatisk optimering på en RTX 5090-bärbar dator och en RTX 3060-upplåsning. Vad detta betyder för en Box-kund.
Ett lokalt AI-system behöver inte ställas in för hand. I våra experiment analyserar agenten som körs på lokal hårdvara samma hårdvara, kör sina egna mätningar och behåller bara de inställningar som faktiskt hjälper. Nedan följer fyra resultat från den senaste veckan, från nyaste till äldsta.
Begränsande CPU boost klockor: samma hastighet, mindre värme
Ett underskattat trick för att köra lokal AI är att begränsa CPU-och/eller GPU-boost-klockor. Med röst bad vi den lokala AI-agenten att optimera den bärbara datorn som kör vår huvudsakliga AI-hjärna. Det minskade CPU-frekvensen från 5,5 GHz till 4,5 GHz.
- LLM-inferenshastighet på Strata förblev exakt densamma, utan någon förlust.
- CPU-temperaturen sjönk med cirka 10%.
- CPU - strömförbrukningen minskade avsevärt.
- GPU-temperaturer sjönk också, utan att begränsa GPU-klockor.
CPU och GPU delar en termisk budget, så att minska onödig CPU-boost hjälper också GPU. Ingen spenderade timmar på att ställa in: agenten fick helt enkelt veta att hitta de optimala gränserna, och det körde experimenten själv medan arbetet fortsatte med andra saker.
Självdiagnostik: lita på AI, men verifiera
Inställning: Strata + Qwen3.8-Next-IQ3_S. den lokala AI förklarade en GPU effektgräns unfixable. Vi ifrågasatte fyndet, kryssade det externt (även den fria versionen av ChatGPT räcker för detta), fixade gränsen och fick 30-35% prestanda.
Regeln Vi tillämpar: använd AI för självdiagnostik, men dubbelkontrollera kritiska resultat.
Automatisk optimering på en RTX 5090 bärbar dator
Strata på en gaming laptop med en RTX 5090 (24 GB VRAM), modell Qwen3.8-Flash-nästa IQ3_S:
- Avkoda: 83.6 tok/s
- Agent avkodning: 99.8 tok/s
- Förfyllning 4K: 1,443 tok/s
- Förfyllning 16K: 2,132 tok/s
- Första token: 0.28 s
Därefter optimerade agenten samma maskin på egen hand:
- Varm avkodning: 63–110 → 109–118 tok/s
- Topp agent avkodning: 119.5 → 125.5 tok/s (+5%)
- Den optimerade konfigurationen sparades, instabila inställningar rullades tillbaka och servern stängdes av säkert.
RTX 3060 12 GB: upplåsningen och de första vinsterna
På en av våra experimentella datorer (ett litet ITX-fodral, 48 GB RAM, en RTX 3060 12 GB) aktiverade vi NVIDIA unlock. Den uppmätta förstärkningen: upp till +78% i GPU compute och +11% i AI inference prefill.
För perspektiv, med nästa Strata-arbete av coldniko gick RTX 3060 12 GB + 48 GB RAM från 32 till 60-80 ihållande tokens per sekund. Vår Mac Studio M3 Ultra (60 GPU-kärnor, 256 GB RAM, Strata v0.2.6) levererade 61.4 tok/s avkodning och 734 tok/s förfyllning på samma Qwen3.8-Flash-Next iq3_s-modell. De fullständiga resultaten för detta kort finns i en separat artikel.
Vad detta betyder för en Box-kund
- Inställningarna väljs genom mätning, inte genom gissningar: agenten jämför före och efter och rullar tillbaka det som inte hjälper.
- Lägre temperaturer och kraftdragning med samma hastighet innebär tystare drift och mindre slitage.
- Kritiska slutsatser från agenten korskontrolleras innan de ageras.
- Prisvärd hårdvara fortsätter att bli snabbare med enbart programuppdateringar.
Lokal AI optimerar hårdvaran som kör lokal AI.