Kokeellinen kokoonpanomme: ~83,6 Gt:n malli, joka toimii paikallisesti edullisella RTX 3060:lla

Tämä on uskomatonta!

Qwen3.8-Flash-Next IQ3_S (~83,6 Gt) toimii paikallisesti edullisella RTX 3060 12 Gt:lla ja vain 48 Gt järjestelmä-RAM-muistilla!

Jopa 68 merkkiä/s dekoodaus, ~ 916 tokenia/s kehotteen käsittely ja 30 000 tunnuksen kehote käsitellään vain 34 sekunnissa.

Powered by Strata by coldniko. Ei pilvipäätelmiä. Vain edullinen kuluttajalaitteisto!

Täydelliset vertailuarvot, laitteiston tiedot, optimoinnit ja kompromissit alla.

Voit hypätä suoraan viimeisessä osiossa oleviin tärkeimpiin.

Näiden tulosten takana oleva laitteisto

Ei datakeskuksen GPU:ta, ei kallista usean GPU:n palvelinta eikä massiivista RAM-kokoonpanoa.

Koko koe suoritettiin melko tavallisella kuluttaja/työasema-PC:llä.

CPU

• Intel Core Ultra 7 265 (Arrow Lake)
• 20 ydintä / 20 lankaa
• Jopa 5,3 GHz
• 30 MB L3-välimuisti
• AVX-VNNI / BF16-tuki; ei AVX-512

Emolevy

• ASUS Pro Q870I-C
• Intel Q870 piirisarja, LGA1851
• Mini-ITX muotokerroin

Muisti

• 48 GB DDR5-5600 (2 × 24 GB Micron)
• Noin 46 GiB käytettävissä

GPU

• NVIDIA GeForce RTX 3060 12 GB
• GA106, laskentakyky 8.6
• PCIe 4.0 ×16
• 170 W asetettu tehoraja

Varastointi

• Lexar NM1090 PRO 2 TB
• PCIe 5.0 ×4 NVMe

OS

• Ubuntu 24.04.5 LTS
• Linux-ydin 7.0.0-38
• NVIDIA-ohjain 615.71.10

Verkko

• Intel 1 GbE Ethernet

Ratkaiseva yksityiskohta: malli on paljon suurempi kuin käytettävissä oleva VRAM ja RAM yhteensä.

Juuri se tekee tästä kokeilusta mielenkiintoisen.

Malli-, moottori- ja muistiarkkitehtuuri

Malli

Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S

Kaksi GGUF-sirpaletta:

• 54.82 GB
• 28.80 GB
• Yhteensä: 83,62 Gt (77,87 GiB)

Lisäkomponentit

• Tiheät painot pakattuna: ~1,5 GiB
• MTP:n spekulatiivisen dekoodauksen luonnos
• BF16-näkösovitin: ~866 MB
• CPU-pohjainen näönkooderi (12 säiettä)

Päätelmämoottori

• Strata engine 0.1.52
• CUDA 13.0 -taustajärjestelmä
• CUDA-arkkitehtuuri sm_86

Todellinen muistin varaus

• GPU VRAM: 11,14 GiB käytetty
• Järjestelmämuistin asiantuntijat: 24 GiB
• Loput asiantuntijatiedot suoratoistettuna NVMe:stä
• Ei vaihtotoimintaa normaalin päättelyn aikana

Tärkeitä konfigurointiasetuksia

--expert-cache auto
--prefill 4096
--spec 4
--spec-min-p 0.5
--mtp mtp/rt
--max-context 32768
--kv int8
--kv-grow
--kv-resident 32768
--vision
--vram-reserve-mib 960
--pool-workers 12
--conversation-cache-mib 1536
--prompt-cache-tail
--prompt-cache-spread
--resident-experts
--resident-budget-gib 24

Tämä ei ole tavanomainen "lataa koko malli GPU-muistiin" -asetus.

Strata käyttää yhdessä GPU-muistia, järjestelmän RAM-muistia, asiantuntevaa välimuistia ja NVMe-tallennustilaa.

Tärkeä optimointi on minimoida kalliit asiantuntijasiirrot ja pitää GPU tuottavana.

Todelliset vertailutulokset

Sama malli, sama laitteisto, kaksi reitityskokoonpanoa.

Tila A: nopea, asuinpaikkaan perustuva asiantuntijareititys (ennen = 1,5)

Kylmä aika ensimmäiseen merkkiin:

• 1K: 3.7 s
• 4K: 4.9 s
• 8K: 9.7 s
• 16K: 17.3 s
• 30K: 33.9 s

Vertailun vuoksi: tila B poistaa käytöstä asuinpaikkaperusteisen reitityksen (ennen = 0):

500 tunnuksen sukupolvi:

• Nopea: 62 tok/s, yhteensä 7,1 s
• Tarkka: 21 tok/s, yhteensä 20,8 s

Nopeusmittaukset verrattiin asiakaspuolen suoratoistoajoihin.

Päähavainto:

Välimuistiin perustuvan reitityksen poistaminen käytöstä voi vähentää dekoodausnopeutta noin 2–2,4 kertaa.

Mutta on tärkeä syy olla jättämättä aggressiivista reititystä käyttöön jokaisessa työkuormassa. Siitä lisää seuraavassa osiossa.

Nopeus vs mallin laatu: piilotettu kompromissi

Tässä Strata-moottoriversiossa grafiikkasuorittimet, joissa on ≤13 Gt VRAM-muistia, käyttävät automaattisesti asuinsijaintiin perustuvaa reititystä:

STRATA_ROUTE_PRIOR=1.5

Tämä suosii asiantuntijoita, jotka ovat jo saatavilla nopeassa muistissa, sen sijaan, että valittaisiin aina alkuperäisen reitittimen suosimia asiantuntijoita.

Hyöty on dramaattinen:

• Asiantuntijavälimuistin osumaprosentti: 97,2 % nopeassa tilassa
• Ilman ennakkoluuloja: 65,3 %
• Tallennuslukemat vertailun aikana: 5,5 GiB vs 46 GiB
• Dekoodausnopeus: noin 2 kertaa nopeampi

Mutta tämä EI ole ilmainen optimointi.

Asiantuntijavalinnan muuttaminen voi muuttaa mallin käyttäytymistä, lisätä eroa alkuperäisestä mallista ja vaikuttaa pitkiin päättelyihin tai agenttien työnkulkuihin.

Kehittäjän arvion mukaan 10 agenttitehtävää:

• Reititys ennen 1.5: 4.5/10
• Reititys ennen 0: 5.6/10

Itse lähtötulokset vaihtelivat ajoittain, joten tämä on suuntatulos, ei lopullinen laatumittaus.

Oma kuusi lyhyttä agenttitarkastusta läpäisi molemmissa tiloissa.

Kuitenkin erillinen ainutlaatuisuus stressin aikana paljasti toiston:

• Nopea tila: 205 riviä, 96 kopiota
• Tarkka tila: 209 riviä, 79 kopiota

Johtopäätös on suoraviivainen:

• Nopea reititys chattiin, interaktiiviseen käyttöön ja lyhyisiin tehtäviin.
• Alkuperäinen reititys pidempiä, laatuherkkiä agenttien työnkulkuja varten.

Pelkästään vertailunopeutta ei pidä koskaan sekoittaa mallin laatuun.

Pikavälimuisti muuttaa kaiken

Yksi vaikuttavimmista tuloksista ei ollut dekoodauksen nopeus. Se oli vastausaika toistuviin pyyntöihin samaa kehotetta käyttäen.

Täysin välimuistissa olevan kehotteen kanssa:

Se on noin 45–90 kertaa vähemmän aikaa ensimmäiseen merkkiin näissä ajoissa.

Pikavälimuistilla on valtava ero, kun toistuvasti kysytään samaa pitkää asiakirjaa tai ylläpidetään keskustelua vakaalla kontekstilla.

Moottori on myös määritetty keskustelemaan välimuistiin:

• 1 536 MiB välimuistibudjetti
• Vähintään 4 096 merkkiä pysäköintiin
• Vapaan muistin vähimmäisraja: 1 536 MiB

Siinä on saalis: nämä tulokset koskevat identtisiä kehotteita, joissa on täysin uudelleen käytettävä välimuisti.

Ne eivät tarkoita, että mielivaltaiset uudet 30 000 tunnuksen kehotteet käsitellään puolessa sekunnissa.

Mutta interaktiiviselle paikalliselle tekoälylle lämmin välimuisti on pelin vaihtaja.

SSD-mysteeri: PCIe 5.0 ei ole pullonkaula

Aluksi NVMe-asema vaikutti epäilyttävän hitaalta. Tutkimme PCIe-linkkiä, tallennustopologiaa ja todellista I/O-käyttäytymistä.

Asema: Lexar NM1090 PRO 2 TB, PCIe 5.0 × 4.

Vahvistettu PCIe-yhteys:

• Nykyinen linkki: 32,0 GT/s × 4
• Suurin linkki: 32,0 GT/s × 4
• Prosessorin juuriportti: 32,0 GT/s × 4

Joten asema toimii täydellä PCIe 5.0 -linkin nopeudella.

Suorat välimuistiin tallentamattomat lukuvertailut:

• Yksi stream, 1–4 MiB:n lohkot: 2,9–3,4 Gt/s
• Neljä rinnakkaista streamia: 10,94 Gt/s
• Neljä streamia, 64 KiB:n lohkot: 2,25 Gt/s
• Neljä streamia, 4 KiB:n lohkoa: 0,26 Gt/s (~63K IOPS)

Tämä 10,94 Gt/s rinnakkaistulos on erityisen tärkeä: se ylittää PCIe 4,0 × 4:n käytännöllisen kaistanleveyden.

Miksi yhden virran kapasiteetti on paljon pienempi?

Koska PCIe-kaistanleveys ei ole sama asia kuin sovellustason suorituskyky.

Jonon syvyys, I/O-koko, pyynnön rinnakkaisuus ja latenssi ovat tärkeitä.

Stratan asiantuntijalatauskuvio on paljon lähempänä alhaisemman samanaikaisuuden tapausta kuin synteettistä suurimman suorituskyvyn vertailuarvoa.

Havaittu moottorin tallennuskapasiteetti:

• Nopea reititys: ~0,3 GB/s
• Alkuperäinen reititys: ~2,4 GB/s

Ero johtuu siitä, kuinka monta asiantuntijaa on haettava, ei PCIe-version alentamisesta.

Vielä yksi hyödyllinen yksityiskohta: RTX 3060 itsessään on PCIe 4.0 -laite. Sen linkin putoaminen Gen1:een tyhjäkäynnin aikana on normaalia virranhallintakäyttäytymistä.

Tarkista aina, mitä laitetta mittaat ennen PCIe-ongelman diagnosointia.

Tärkeä opetus: älä anna Linuxin välimuistiin 83,6 Gt:n mallia 48 Gt:n koneessa

Ensimmäisen käynnistyksen aikana törmäsimme vakavaan ongelmaan.

Ensimmäinen kokoonpano salli mallitiedostojen puskuroidun lataamisen.

Malli on ~83,6 Gt, kun taas järjestelmässä on vain 48 Gt fyysistä RAM-muistia.

Tämän työmäärän alaisena Linux joutui vakavaan muistin palautuspaineeseen. Koneesta tuli melkein reagoimaton, mukaan lukien SSH-yhteys, ja vaati pakotetun uudelleenkäynnistyksen.

Ratkaisu oli muuttaa latausstrategiaa ja ottaa käyttöön muistisuojat.

Nykyiset asetukset:

• STRATA_UNBUFFERED_LOAD=1
• STRATA_RESIDENT_HEADROOM_GIB=10
• 24 GiB:n asiantuntijabudjetti
• Muistin saatavuus tarkistettiin ennen julkaisua
• 12 GiB:n lisäturvamarginaali käynnistyskäytännössä

Näiden muutosten jälkeen:

• Ei vaihtotoimintaa normaalin päättelyn aikana
• Noin 34,6 GiB RAM-muistia käytössä tarkastelupisteessä
• Noin 12,7 GiB käytettävissä
• Vakaa tuotanto kuormitettuna

Oppitunti:

Fyysistä muistiasi suuremman mallin käyttäminen on mahdollista, mutta muistin laskenta on ehdottoman tärkeää.

Sivuvälimuistin paine, kiinnitetty mallitiedot, paikalliset asiantuntijat ja KV-välimuisti on otettava huomioon yhdessä.

Älä kopioi sokeasti maksimaalisen suorituskyvyn lippuja koneista, joissa on paljon suuremmat RAM-kokoonpanot.

Virrankulutus, lämpöenergia ja päättelykustannukset

Tämä on toinen miellyttävä yllätys.

Komponenttien mitattu teho:

Tyhjäkäynti malli ladattuna:

• CPU: ~5.8 W
• GPU: 15–18 W

Sukupolven aikana:

• CPU: ~62.8 W
• GPU: 152–167 W
• Lyhyt GPU-huippu noin 174 W

Arvioitu järjestelmän kokonaisteho seinällä (ei mitattu seinämittarilla):

• Tyhjäkäynti: ~54 W
• Tuotanto: ~280 W

Havaitut lämpötilat:

• GPU kuormitettuna: 62–68 °C
• GPU tyhjäkäynnillä: ~40°C
• NVMe: 38–47°C

Ei havaittu lämpökuristusta.

Sähkön oletushinnalla 0,25 €/kWh:

• 24 tuntia tyhjäkäyntiä: ~0,32 €
• 30 päivää yhtäjaksoisesti käyttämättömänä: ~9,72 €
• Tunti aktiivista sukupolvea: ~0,07 €

Tämän ansiosta on täysin realistista käyttää tehokasta, yksityisyyttä suojelevaa paikallista tekoälypäätepistettä kotona.

Nämä ovat tietysti arvioituja sähkökustannuksia, eivät kokonaiskustannuksia. Laitteiston poistot, jäähdytys ja huolto eivät sisälly.

Missä RTX 3060:n asennuksessa ei enää ole järkeä

Tämä kokoonpano on erinomainen lyhyille interaktiivisille pyynnöille, mutta sillä on rajoituksia.

Tärkeintä:

• Maksimikonteksti: 32 768 merkkiä
• Lähes 32K:n kehote ei jätä tarpeeksi tilaa sukupolvelle
• Käytännön benchmark-katto oli ~30 165 syöttötunnusta
• Ajatteleminen/päättely voi kuluttaa satoja ylimääräisiä luotuja tunnuksia
• Pitkät agenttiistunnot tulevat nopeasti rajoittuneiksi

Vertailun vuoksi käytin samaa mallia tehokkaammassa paikallisessa järjestelmässä, jossa on 24 Gt:n grafiikkasuoritin.

Mitattu suorituskyky kyseisessä järjestelmässä:

• 4K-kehotteen esitäyttö: 1 339 tok/s
• 4K-dekoodaus: 94 tok/s
• 16 000 kehotteen esitäyttö: 2 956 tok/s
• 16K-dekoodaus: 125 tok/s
• Maksimikonteksti: 262 144 merkkiä
• 15 työntekijälankaa

RTX 3060 -järjestelmä tarjoaa paljon pienemmän esitäytön suorituskyvyn ja suunnilleen puolet dekoodauksen suorituskyvystä vastaavissa tapauksissa kahdeksasosan käytettävissä olevasta kontekstista.

12 Gt:n kortti on kuitenkin paljon helpompi käyttää ja on edelleen vaikuttavan hyödyllinen.

Nykyinen lähestymistapani:

• Tehokkaampi laitteisto monimutkaisille, pitkään toimiville agenteille
• Edulliset 12 Gt:n GPU:t chattiin, lyhyisiin työnkulkuihin, kokeiluihin ja varmuuskopiointiin

Tarkoitus ei ole teeskennellä, että halpa GPU korvaa huippuluokan koneen.

Kysymys on siitä, kuinka paljon hyödyllistä paikallista tekoälyä voi jo suorittaa halvalla laitteistolla.

Mitä voisi vielä optimoida?

Järjestelmä toimii jo hyvin, mutta lisäkokeita varten on muutamia mielenkiintoisia mahdollisuuksia.

Samanaikainen päättely

Vaihtoehto --slots 2 voisi parantaa kokonaissuorituskykyä kahdella samanaikaisella keskustelulla.

Arvioitu +10–12 %:n kokonaissuorituskyky on mahdollista tälle työmäärälle, mutta se vaatii validoinnin.

Tämä ei tarkoita, että yksittäinen keskustelu muuttuisi 12 % nopeammaksi.

Suuremmat esitäyttöerät

Nykyinen: --prefill 4096

Ehdokas: --prefill auto:16384

Suuremmat esitäyttöikkunat saattavat parantaa pitkäkestoista käsittelyä, mutta käytettävissä oleva VRAM on jo tiukka.

Kun GPU:n 12 GiB:stä on varattu noin 11,14 GiB, muistin käyttäytyminen on mitattava huolellisesti.

Lisää järjestelmän RAM-muistia

Asetuksen --ple-io ram käyttäminen voisi tuoda enemmän mallin dataa järjestelmämuistiin ja vähentää tallennuslukuja.

Kehittäjän dokumentaatio ehdottaa:

• +16–31 % esitäytön suorituskyky
• +3–11 % dekoodausteho

Mutta tämä kokoonpano vaatisi huomattavasti enemmän RAM-muistia, noin 72+ GiB mitattua asettelua varten.

Se ei ole käytännöllinen nykyisessä 48 Gt:n kokoonpanossa.

Spekulatiivinen dekoodaus

MTP-spekulatiivinen dekoodaus on jo käytössä.

Havaittu hyväksyntä: ~33–41 hyväksyttyä tokenia 50–60 luonnostetusta, eli noin 65–70%.

Pidempi konteksti

Nykyinen 32K-raja on toiminnallinen konfiguraatioraja, ei todiste siitä, että malli itsessään tukee vain 32K-rajaa.

Sen kasvattaminen edellyttää muistikapasiteetin, KV-välimuistin käyttäytymisen, latenssin ja vakauden tarkistamista uudelleen.

Tälle työmäärälle kalliiden asiantuntijalukujen vähentäminen ja käyttötapojen parantaminen voivat olla tärkeämpiä kuin aseman maksimiperäisen kaistanleveyden lisääminen.

Kuten aina: vertaile todellista työmäärää, älä vain laitteistomarkkinointinumeroita.

Viimeiset ajatukset

Tässä on mitä tämä kokeilu osoittaa.

~83,6 Gt:n kvantisoitu MoE-malli voi toimia paikallisesti:

• RTX 3060 12 GB
• 48 GB DDR5 RAM
• Kuluttaja Intel-suoritin
• PCIe 5.0 NVMe SSD
• Ubuntu + Strata

Mitatuilla tuloksilla aina:

• 68 tok/s lämmin dekoodaus
• 916 tok/s nopea käsittely
• 30K-token kylmäkehote ~34 sekunnissa
• Täysin välimuistissa oleva 30 000 kehote: ~0,44 s ensimmäiseen merkkiin
• Ei vaihtoa normaaleissa käyttöolosuhteissa

Mutta on tärkeitä varoituksia.

• Suurin määritetty konteksti on 32 kt
• Nopea asiantuntijareititys muuttaa mallin käyttäytymistä
• Suurin nopeus ei välttämättä ole parasta laatua
• Tallennusteho riippuu pääsymalleista
• Muistinhallinta vaatii huolellista viritystä
• Pitkään toimineet agentit hyötyvät tehokkaammasta laitteistosta

Olen erityisen kiinnostunut paikallisen tekoälyn käytännön taloudesta.

Ei vain 10 000 euron järjestelmän maksimivertailu, vaan hyödyllinen suorituskyky kuluttajakoneissa ja edullisissa kokoonpanoissa noin 1 000 eurosta alkaen.

Yksityisyys, riippumattomuus, hallitut käyttökustannukset ja todellinen hyödyllisyys ovat tärkeämpiä kuin pelkkien vaikuttavien vertailulukujen jahtaaminen.

Tämä on edelleen kehittyvä kokeilu, ja aion jakaa mittaukset, viat, kokoonpanomuutokset ja parannukset jatkuvasti.

Paikallisen tekoälyn tulevaisuudesta on jo tulossa yllättävän edullinen.

Myöhemmät lisäykset

Oh, unohdin mainita, että GPU toimii NVIDIA Unlockin kanssa, joka julkaistiin vain muutama päivä sitten, viime viikolla.

Olen nyt pyytänyt tekoälyagenttiani suorittamaan samat vertailuarvot ilman lukituksen avaamista, joten voimme vertailla tuloksia noin 15–20 minuutissa.

Lähipäivinä, mutta en tänään, asennan tämän GPU:n järjestelmään, joka maksaa alle 1 000 dollaria, ja katson, kuinka se toimii siellä.

Alkuperäinen ketju X:ssä · Kaikki uutiset