Știri
Agenții locali AI reglează hardware-ul pe care rulează
Ceasuri de impuls CPU mai mici fără pierderi de viteză de inferență, o limită de putere GPU pe care agentul a numit-o mai întâi nefixabilă (+30-35% după remediere), auto-optimizare pe un laptop RTX 5090 și o deblocare RTX 3060. Ce înseamnă pentru un client Box.
Un sistem AI local nu trebuie să fie reglat manual. În experimentele noastre, agentul care rulează pe hardware local analizează același hardware, rulează propriile măsurători și păstrează numai setările care ajută de fapt. Mai jos sunt patru rezultate din ultima săptămână, de la cele mai noi la cele mai vechi.
Limitarea ceasurilor de stimulare a procesorului: aceeași viteză, mai puțină căldură
Un truc subestimat pentru rularea AI locală este limitarea ceasurilor de amplificare CPU și/sau GPU. Prin voce, am cerut agentului AI local să optimizeze laptopul care rulează creierul nostru principal AI. A redus frecvența procesorului de la 5,5 GHz la 4,5 GHz.
- Viteza de inferență LLM pe Strata a rămas exact aceeași, fără nicio pierdere.
- Temperatura procesorului a scăzut cu aproximativ 10%.
- Consumul de energie al procesorului a scăzut semnificativ.
- Temperaturile GPU-ului au scăzut și ele, fără a limita ceasurile GPU-ului.
CPU-ul și GPU-ul au un buget comun, astfel încât reducerea creșterii inutile a CPU-ului ajută, de asemenea, GPU-ul. Nimeni nu a petrecut ore în șir acordând: agentului i s-a spus pur și simplu să găsească limitele optime și a condus experimentele în sine, în timp ce munca a continuat cu alte lucruri.
Autodiagnosticare: ai încredere în AI, dar verifică
Configurare: Straturi + Qwen3.8-Next-IQ3_S. IA locală a declarat o limită de putere GPU nefixabilă. Am pus la îndoială constatarea, am verificat-o extern (chiar și versiunea gratuită a ChatGPT este suficientă pentru acest lucru), am fixat limita și am obținut o performanță de 30–35%.
Regula pe care o aplicăm: utilizează AI pentru autodiagnosticare, dar verifică încrucișat constatările critice.
Auto-optimizare pe un laptop RTX 5090
Straturi pe un laptop de jocuri cu RTX 5090 (24 GB VRAM), model Qwen3.8-Flash-Next IQ3_S:
- Decodare: 83.6 tok/s
- Decodare agent: 99.8 tok/s
- Precompletare 4K: 1,443 tok/s
- Preîncărcare 16K: 2,132 tok/s
- Primul jeton: 0.28 s
După aceea, agentul a optimizat singur același utilaj:
- Decodare la cald: 63–110 → 109–118 tok/s
- Decodare agent de vârf: 119.5 → 125.5 tok/s (+5%)
- Configurația optimizată a fost salvată, setările instabile au fost derulate înapoi, iar serverul a fost închis în siguranță.
RTX 3060 12 GB: deblocarea și primele câștiguri
Pe unul dintre computerele noastre experimentale (o carcasă ITX mică, 48 GB de RAM, un RTX 3060 de 12 GB) am activat deblocarea NVIDIA. Amplificarea măsurată: până la +78% în calculul GPU și +11% în preferința AI.
Pentru perspectivă, cu următoarele straturi lucrate de coldniko, RTX 3060 12 GB + 48 GB RAM a trecut de la 32 la 60–80 de jetoane susținute pe secundă. Mac Studio M3 Ultra (60 de nuclee GPU, 256 GB Ram, strat v0.2.6) a livrat 61,4 tok/s decodare și 734 tok/s precompletare pe același model Qwen3.8-Flash-Next IQ3_S. Rezultatele complete pentru acest card sunt într-un articol separat.
Ce înseamnă pentru un client Box
- Setările sunt alese prin măsurare, nu prin presupuneri: agentul compară înainte și după și derulează înapoi ceea ce nu ajută.
- Temperaturile mai scăzute și consumul de putere la aceeași viteză înseamnă o funcționare mai silențioasă și mai puțină uzură.
- Concluziile critice ale agentului sunt verificate încrucișat înainte de a se acționa asupra lor.
- Hardware-ul accesibil devine din ce în ce mai rapid doar cu actualizările de software.
Inteligența artificială locală optimizează hardware-ul care rulează inteligența artificială locală.