Nyheder
Lokale AI-agenter indstiller det udstyr, de kører på
Lavere CPU boost-ure uden tab af inferenshastighed, en GPU-strømgrænse, som agenten først kaldte ufikserbar (+30-35% efter rettelsen), automatisk optimering på en RTX 5090 bærbar computer og en RTX 3060-oplåsning. Hvad det betyder for en Box-kunde.
Et lokalt AI-system behøver ikke at indstilles manuelt. I vores eksperimenter analyserer agenten, der kører på lokalt udstyr, det samme udstyr, kører sine egne målinger og beholder kun de indstillinger, der rent faktisk hjælper. Nedenfor er fire resultater fra den sidste uge, fra nyeste til ældste.
Begrænsning CPU boost ure: samme hastighed, mindre varme
Et undervurderet trick til at køre lokal AI er at begrænse CPU og/eller GPU boost ure. Med stemme bad vi den lokale AI-agent om at optimere den bærbare computer, der kører vores vigtigste AI-hjerne. Det reducerede CPU-frekvensen fra 5,5 til 4,5.
- LLM-inferenshastigheden på Strata forblev nøjagtig den samme, uden noget tab.
- CPU-temperaturen faldt med omkring 10%.
- CPU-strømforbruget faldt betydeligt.
- GPU-temperaturer faldt også uden at begrænse GPU-ure.
CPU 'en og GPU' en deler et termisk budget, så reduktion af unødvendig CPU-boost hjælper også GPU ' en. Ingen brugte timer på at indstille: agenten blev simpelthen bedt om at finde de optimale grænser, og den kørte selve eksperimenterne, mens arbejdet fortsatte med andre ting.
Selvdiagnostik: stol på AI, men bekræft
Opsætning: Strata + 3.8-næste 3_S. den lokale AI erklærede en GPU-strømgrænse ufikserbar. Vi satte spørgsmålstegn ved fundet, krydstjekkede det eksternt (selv den gratis version af ChatGPT er nok til dette), fastsatte grænsen og fik 30-35% ydeevne.
Den regel, vi anvender: brug AI til selvdiagnostik, men krydstjek kritiske fund.
Automatisk optimering på en 5090 bærbar computer
Strata på en gaming-bærbar computer med en 5090 (24 GB VRAM), Model 3.8-Flash - næste 3_S:
- Afkode: 83.6 tok/s
- Agent afkode: 99.8 tok/s
- Forfyld 4K: 1,443 tok/s
- Forfyld 16K: 2,132 tok/s
- Første token: 0.28 s
Derefter optimerede agenten den samme maskine alene:
- Varm afkode: 63–110 → 109–118 tok/s
- Peak agent afkode: 119.5 → 125.5 tok/s (+5%)
- Den optimerede konfiguration blev gemt, ustabile indstillinger blev rullet tilbage, og serveren blev lukket sikkert ned.
3060 12 GB: oplåsning og de første gevinster
På en af vores eksperimentelle computere (en lille ITC-sag, 48 GB RAM, en RTC 3060 12 GB) aktiverede vi NVIDIA unlock. Den målte gevinst: op til +78% i GPU-beregning og + 11% i AI-inferensforfyldning.
For perspektiv, med det næste lag arbejde af coldniko RTC 3060 12 GB + 48 GB RAM gik fra 32 til 60-80 vedvarende tokens per sekund. Vores MAC Studio M3 Ultra (60 GPU-kerner, 256 GB RAM, Strata v0.2.6) leverede 61,4 Tok/s afkode og 734 Tok/s forfyldning på samme 3.8-Flash-næste ik 3_s model. De fulde resultater for dette kort er i en separat artikel.
Hvad det betyder for en Box-kunde
- Indstillinger vælges ved måling, ikke ved gætteri: agenten sammenligner før og efter og ruller tilbage, hvad der ikke hjælper.
- Lavere temperaturer og strømforbrug med samme hastighed betyder mere støjsvag drift og mindre slid.
- Kritiske konklusioner fra agenten krydstjekkes, før de behandles.
- Prisbillig udstyr bliver ved med at blive hurtigere med programopdateringer alene.
Lokal AI optimerer udstyret, der kører lokal AI.