Paikalliset TEKOÄLYAGENTIT virittävät käyttämäänsä laitteistoa

Paikallista tekoälyjärjestelmää ei tarvitse virittää käsin. Kokeissamme paikallisella laitteistolla toimiva agentti analysoi saman laitteiston, suorittaa omat mittauksensa ja säilyttää vain asetukset, jotka todella auttavat. Alla on neljä tulosta viime viikolta uusimmasta vanhimpaan.

Rajoittaminen CPU boost kellot: sama nopeus, vähemmän lämpöä

Yksi aliarvostettu temppu paikallisen tekoälyn käyttämiseen on rajoittaa CPU-ja/tai GPU-tehostuskelloja. Äänellä pyysimme paikallista TEKOÄLYAGENTTIA optimoimaan kannettavan tietokoneen, joka käyttää tärkeimpiä TEKOÄLYAIVOJAMME. Se alensi suorittimen taajuuden 5,5 GHz: stä 4,5 GHz: iin.

• LLM:n päätelmänopeus Stratalla pysyi täsmälleen samana, ilman häviötä.
• Suorittimen lämpötila laski noin 10%.
• Suorittimen virrankulutus laski merkittävästi.
• Myös GPU-lämpötilat laskivat rajoittamatta GPU-kelloja.

CPU ja GPU jakavat lämpöbudjetin, joten tarpeettoman CPU Boostin vähentäminen auttaa myös GPU: ta. Kukaan ei käyttänyt tuntikausia virittämiseen: agenttia käskettiin vain löytämään optimaaliset rajat, ja se suoritti kokeet itse samalla, kun työ jatkui muiden asioiden parissa.

Itsediagnostiikka: luota tekoälyyn, mutta varmista

Setup: Strata + Qwen3.8-Next-IQ3_S.paikallinen tekoäly julisti GPU: n tehorajan korjaamattomaksi. Kyseenalaistimme löydön, tarkistimme sen ulkoisesti (jopa ChatGPT: n ilmainen versio riittää tähän), vahvistimme rajan ja saimme 30-35%: n suorituskyvyn.

Soveltamamme sääntö: käytä tekoälyä itsediagnostiikkaan, mutta tarkista kriittiset havainnot.

Automaattinen optimointi RTX 5090-kannettavassa tietokoneessa

Kerrokset pelikannettavalla RTX 5090 (24 Gt VRAM), malli Qwen3.8-Flash-Seuraava IQ3_S:

• Dekoodaus: 83.6 tok/s
• Agentin dekoodaus: 99.8 tok/s
• Esitäyttö 4K: 1,443 tok/s
• Esitäyttö 16K: 2,132 tok/s
• Ensimmäinen token: 0.28 s

Sen jälkeen agentti optimoi saman koneen itse:

• Lämmin dekoodaus: 63–110 → 109–118 tok/s
• Huippuaineen dekoodaus: 119.5 → 125.5 tok/s (+5%)
• Optimoitu kokoonpano tallennettiin, epävakaat asetukset palautettiin ja palvelin suljettiin turvallisesti.

RTX 3060 12 Gt: avaus ja ensimmäiset voitot

Yhdessä kokeellisessa tietokoneessamme (pieni ITX-kotelo, 48 Gt RAM-muistia, RTX 3060 12 Gt) otimme NVidia-lukituksen käyttöön. Mitattu voitto: jopa +78% GPU-laskennassa ja + 11% tekoälyn päättelyn esitäytössä.

Näkökulmasta, coldnikon seuraavissa kerroksissa RTX 3060 12 Gt + 48 Gt RAM-muistia meni 32: sta 60-80 jatkuvaan tokeniin sekunnissa. Mac Studio M3 Ultra (60 GPU-ydintä, 256 Gt RAM-muistia, Strata v0.2.6) toimitti 61.4 tok/s-dekoodauksen ja 734 tok/s-esitäytön samalla Qwen3.8-Flash-Next Iq3_s-mallilla. Tämän kortin täydelliset tulokset ovat erillisessä artikkelissa.

Mitä tämä tarkoittaa Box-asiakkaalle

• Asetukset valitaan mittaamalla, ei arvailemalla: agentti vertaa ennen ja jälkeen ja rullaa takaisin sen, mikä ei auta.
• Alhaisemmat lämpötilat ja tehonsiirto samalla nopeudella tarkoittavat hiljaisempaa toimintaa ja vähemmän kulumista.
• Agentin kriittiset johtopäätökset tarkistetaan ennen kuin niihin ryhdytään.
• Edullinen laitteisto nopeutuu pelkkien ohjelmistopäivitysten myötä.

Paikallinen tekoäly optimoi paikallista tekoälyä käyttävän laitteiston.

Alkuperäinen ketju X:ssä · RTX 3060-artikkeli · Kaikki uutiset