Lokale AI-agenten stemmen de hardware af waarop ze draaien

Een lokaal AI-systeem hoeft niet met de hand te worden afgestemd. In onze experimenten analyseert de agent die op lokale hardware draait dezelfde hardware, voert zijn eigen metingen uit en bewaart alleen de instellingen die daadwerkelijk helpen. Hieronder staan vier resultaten van de afgelopen week, van Nieuwste naar oudste.

Beperking CPU boost klokken: dezelfde snelheid, minder warmte

Een onderschatte truc voor het uitvoeren van lokale AI is om CPU-en/of GPU-boost-klokken te beperken. Via voice vroegen we de lokale AI-agent om de laptop te optimaliseren die ons belangrijkste AI-brein draait. Het verlaagde de CPU-frequentie van 5,5 GHz naar 4,5 GHz.

• De inferentiesnelheid van LLM op Strata bleef precies hetzelfde, zonder verlies.
• De CPU-temperatuur daalde met ongeveer 10%.
• Het stroomverbruik van de CPU daalde aanzienlijk.
• GPU-temperaturen daalden ook, zonder GPU-klokken te beperken.

De CPU en GPU delen een thermisch budget, dus het verminderen van onnodige CPU-boost helpt de GPU ook. Niemand besteedde uren aan het afstemmen: de agent werd gewoon verteld om de optimale grenzen te vinden, en het voerde de experimenten zelf uit terwijl het werk aan andere dingen voortduurde.

Zelfdiagnostiek: vertrouw op AI, maar verifieer

Setup: Strata + Qwen3.8-Next-IQ3_S.de lokale AI verklaarde een GPU-vermogenslimiet onhaalbaar. We hebben de bevinding in twijfel getrokken, het extern gecontroleerd (zelfs de gratis versie van ChatGPT is hiervoor voldoende), de limiet vastgesteld en 30-35% prestaties behaald.

De regel die we toepassen: gebruik AI voor zelfdiagnostiek, maar kruis kritische bevindingen.

Automatische optimalisatie op een RTX 5090 laptop

Strata op een gaming laptop met een RTX 5090 (24 GB VRAM), model Qwen3.8-Flash-Next IQ3_S:

• Decoderen: 83.6 tok/s
• Agent decodeert: 99.8 tok/s
• Vooraf invullen 4K: 1,443 tok/s
• Voorvulling 16K: 2,132 tok/s
• Eerste token: 0.28 s

Daarna optimaliseerde de agent dezelfde machine op zichzelf.:

• Warm decoderen: 63–110 → 109–118 tok/s
• Piekagent decodeert: 119.5 → 125.5 tok/s (+5%)
• De geoptimaliseerde configuratie werd opgeslagen, instabiele instellingen werden teruggedraaid en de server werd veilig afgesloten.

RTX 3060 12 GB: het ontgrendelen en de eerste winsten

Op een van onze experimentele computers (een kleine ITX-behuizing, 48 GB RAM, een RTX 3060 12 GB) hebben we de NVIDIA unlock ingeschakeld. De gemeten gain: tot +78% in GPU compute en +11% in AI inference prefill.

Voor perspectief, met het volgende Strata werk van coldniko ging de RTX 3060 12 GB + 48 GB RAM van 32 naar 60-80 duurzame tokens per seconde. Onze Mac Studio M3 Ultra (60 GPU-cores, 256 GB RAM, Strata v0.2.6) leverde 61,4 tok/s decodering en 734 tok/s prefill op hetzelfde Qwen3.8-Flash-Next iq3_s-model. De volledige resultaten van deze kaart staan in een apart artikel.

Wat dit betekent voor een Box-klant

• Instellingen worden gekozen door meting, niet door giswerk: de agent vergelijkt voor en na en rolt terug wat niet helpt.
• Lagere temperaturen en stroomverbruik bij dezelfde snelheid betekenen een stillere werking en minder slijtage.
• De kritische conclusies van de agent worden gecontroleerd voordat ze worden uitgevoerd.
• Betaalbare hardware wordt steeds sneller met alleen software-updates.

Lokale AI optimaliseert de hardware die lokale AI draait.

Oorspronkelijke draad over X · Het RTX 3060 artikel · Al het nieuws