Vores eksperimentelle konfiguration: en ~83,6 GB model, der kører lokalt på et budget RTX 3060

Det her er utroligt!

Qwen3.8-Flash-Next IQ3_S (~83.6 GB) kører lokalt på et budget RTX 3060 12 GB med kun 48 GB system-RAM!

Op til 68 tokens/sek. afkodning, ~916 tokens/sek. promptbehandling og en 30K-token prompt behandlet på kun 34 sekunder.

Drevet af Strata af coldniko. Ingen sky-inferens. Bare overkommelig forbrugerhardware!

Fuldstændige benchmarks, hardwarespecifikationer, optimeringer og afvejninger nedenfor.

Du kan hoppe direkte til de vigtigste takeaways i den sidste sektion.

Hardwaren bag disse resultater

Ingen datacenter-GPU, ingen dyr multi-GPU-server og ingen massiv RAM-konfiguration.

Hele forsøget blev udført på en ganske almindelig forbruger/arbejdsstation-pc.

CPU

• Intel Core Ultra 7 265 (Arrow Lake)
• 20 kerner / 20 tråde
• Op til 5,3 GHz
• 30 MB L3 cache
• AVX-VNNI / BF16 understøttelse; ingen AVX-512

Bundkort

• ASUS Pro Q870I-C
• Intel Q870-chipsæt, LGA1851
• Mini-ITX formfaktor

Hukommelse

• 48 GB DDR5-5600 (2 × 24 GB Micron)
• Cirka 46 GiB anvendelig

GPU

• NVIDIA GeForce RTX 3060 12 GB
• GA106, beregningsevne 8.6
• PCIe 4.0 ×16
• 170 W konfigureret effektgrænse

Opbevaring

• Lexar NM1090 PRO 2 TB
• PCIe 5.0 ×4 NVMe

OS

• Ubuntu 24.04.5 LTS
• Linux-kerne 7.0.0-38
• NVIDIA driver 615.71.10

Netværk

• Intel 1 GbE Ethernet

Den afgørende detalje: modellen er meget større end den tilgængelige VRAM og RAM tilsammen.

Det er netop det, der gør dette eksperiment interessant.

Model-, motor- og hukommelsesarkitektur

Model

Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S

To GGUF-skår:

• 54.82 GB
• 28.80 GB
• I alt: 83,62 GB (77,87 GiB)

Yderligere komponenter

• Pakket tætte vægte: ~1,5 GiB
• MTP-spekulativ-afkodningstegner
• BF16 vision-adapter: ~866 MB
• CPU-baseret vision encoder (12 tråde)

Inferensmotor

• Strata engine 0.1.52
• CUDA 13.0 backend
• CUDA-arkitektur sm_86

Faktisk hukommelsestildeling

• GPU VRAM: 11,14 GiB brugt
• Resident eksperter i system-RAM: 24 GiB
• Resterende ekspertdata streamet fra NVMe
• Ingen bytteaktivitet under normal slutning

Vigtige konfigurationsindstillinger

--expert-cache auto
--prefill 4096
--spec 4
--spec-min-p 0.5
--mtp mtp/rt
--max-context 32768
--kv int8
--kv-grow
--kv-resident 32768
--vision
--vram-reserve-mib 960
--pool-workers 12
--conversation-cache-mib 1536
--prompt-cache-tail
--prompt-cache-spread
--resident-experts
--resident-budget-gib 24

Dette er ikke en konventionel "indlæs hele modellen i GPU-hukommelsen" opsætning.

Strata bruger GPU-hukommelse, system-RAM, ekspert-caching og NVMe-lagring sammen.

Den vigtige optimering er at minimere dyre ekspertoverførsler og samtidig holde GPU'en produktiv.

Reelle benchmarkresultater

Samme model, samme hardware, to routing-konfigurationer.

Tilstand A: hurtig, residency-biased ekspertruting (tidligere = 1,5)

Kold tid til første token:

• 1K: 3.7 s
• 4K: 4.9 s
• 8K: 9.7 s
• 16K: 17.3 s
• 30K: 33.9 s

Til sammenligning deaktiverer Mode B residency-biased routing (forud = 0):

500-tokens generationskørsel:

• Hurtig: 62 tok/s, 7,1 s i alt
• Præcis: 21 tok/s, 20,8 s i alt

Hastighedsmålinger blev krydstjekket mod streamingtidspunkter på klientsiden.

Hovedobservation:

Deaktivering af cache-biased routing kan reducere afkodningshastigheden med cirka 2-2,4×.

Men der er en vigtig grund til ikke at lade aggressiv routing være aktiveret for hver arbejdsbyrde. Mere om det i næste afsnit.

Hastighed vs modelkvalitet: den skjulte afvejning

På denne Strata-motorversion bruger GPU'er med ≤13 GB VRAM automatisk residency-biased routing:

STRATA_ROUTE_PRIOR=1.5

Dette favoriserer eksperter, der allerede er tilgængelige i hurtig hukommelse i stedet for altid at vælge de eksperter, som den originale router foretrækker.

Fordelen er dramatisk:

• Ekspertcache-hitrate: 97,2 % i hurtig tilstand
• Uden bias: 65,3%
• Lageraflæsninger under den sammenlignede arbejdsbelastning: 5,5 GiB vs 46 GiB
• Afkodningshastighed: ca. 2× hurtigere

Men dette er IKKE en gratis optimering.

Ændring af ekspertvalg kan ændre modeladfærd, øge divergensen fra den originale model og påvirke lange ræsonnementer eller agentarbejdsgange.

Ifølge udviklerens evaluering af 10 agentopgaver:

• Rute før 1.5: 4.5/10
• Rute før 0: 5,6/10

Selve basisresultaterne varierede mellem kørsler, så dette er et retningsbestemt resultat, ikke en endelig kvalitetsmåling.

Mine egne seks korte agentchecks bestod i begge tilstande.

Men en særskilt unikhed stress køre udsat gentagelse:

• Hurtig tilstand: 205 linjer, 96 dubletter
• Præcis tilstand: 209 linjer, 79 dubletter

Konklusionen er ligetil:

• Hurtig routing til chat, interaktiv brug og korte opgaver.
• Original routing til længere, kvalitetsfølsomme agentarbejdsgange.

Og benchmarkhastighed alene må aldrig forveksles med modelkvalitet.

Hurtig caching ændrer alt

Et af de mest imponerende resultater var ikke afkodningshastighed. Det var responstiden for gentagne anmodninger med den samme prompt.

Med en fuldt cachelagret prompt:

Det er cirka 45-90 gange mindre tid til det første token i disse kørsler.

Prompt-cachen gør en enorm forskel, når du gentagne gange forespørger i det samme lange dokument eller opretholder en samtale med en stabil kontekst.

Motoren er også konfigureret til samtale-cache:

• 1.536 MiB cache budget
• Minimum 4.096 poletter til parkering
• Minimum ledig hukommelsestærskel: 1.536 MiB

Der er en hage: Disse resultater er for identiske prompter med en fuldt genbrugelig cache.

De betyder ikke, at vilkårlige nye 30K-token-prompter behandles på et halvt sekund.

Men for interaktiv lokal AI er en varm cache en game changer.

SSD-mysteriet: PCIe 5.0 er ikke flaskehalsen

Først virkede NVMe-drevet mistænkeligt langsomt. Vi undersøgte PCIe-linket, lagertopologi og faktisk I/O-adfærd.

Drevet: Lexar NM1090 PRO 2 TB, PCIe 5.0 ×4.

Verificeret PCIe-forbindelse:

• Nuværende link: 32,0 GT/s ×4
• Maksimal forbindelse: 32,0 GT/s ×4
• CPU-rodport: 32,0 GT/s × 4

Så drevet kører med sin fulde PCIe 5.0-linkhastighed.

Direkte uncached læsebenchmarks:

• Enkelt stream, 1–4 MiB blokke: 2,9–3,4 GB/s
• Fire parallelle streams: 10,94 GB/s
• Fire streams, 64 KiB blokke: 2,25 GB/s
• Fire streams, 4 KiB blokke: 0,26 GB/s (~63K IOPS)

Det parallelle resultat på 10,94 GB/s er særligt vigtigt: det overstiger den praktiske båndbredde for PCIe 4.0 × 4.

Hvorfor er single-stream-gennemstrømningen meget lavere?

Fordi PCIe-båndbredde ikke er det samme som gennemløb på applikationsniveau.

Kødybde, I/O-størrelse, forespørgselsparallelisme og latenstid betyder noget.

Stratas ekspertindlæsningsmønster er meget tættere på tilfældet med lavere samtidighed end på et syntetisk benchmark for maksimal gennemstrømning.

Observeret motorlagergennemstrømning:

• Hurtig routing: ~0,3 GB/s
• Original routing: ~2,4 GB/s

Forskellen kommer fra hvor mange eksperter der skal hentes, ikke fra en PCIe-nedgradering.

Endnu en nyttig detalje: RTX 3060 i sig selv er en PCIe 4.0-enhed. At se dens link falde til Gen1, mens den er inaktiv, er normal strømstyringsadfærd.

Kontroller altid, hvilken enhed du måler, før du diagnosticerer et PCIe-problem.

En vigtig lektie: Lad ikke Linux cache en 83,6 GB-model på en 48 GB-maskine

Vi ramte et alvorligt problem under den første opstart.

Den første konfiguration tillod bufferindlæsning af modelfilerne.

Modellen er på ~83,6 GB, mens systemet kun har 48 GB fysisk RAM.

Under denne arbejdsbyrde kom Linux ind i et alvorligt pres på hukommelsen. Maskinen reagerede næsten ikke, inklusive SSH-forbindelse, og krævede en tvungen genstart.

Løsningen var at ændre indlæsningsstrategien og indføre hukommelsessikringer.

Aktuelle indstillinger:

• STRATA_UNBUFFERED_LOAD=1
• STRATA_RESIDENT_HEADROOM_GIB=10
• 24 GiB resident ekspertbudget
• Hukommelsestilgængelighed kontrolleret før lancering
• 12 GiB ekstra sikkerhedsmargin i lanceringspolitikken

Efter disse ændringer:

• Ingen bytteaktivitet under normal slutning
• Cirka 34,6 GiB RAM i brug på det observerede punkt
• Cirka 12,7 GiB tilgængelig
• Stabil generation under belastning

Lektionen:

Det er muligt at køre en model, der er større end din fysiske hukommelse, men hukommelsesregnskab er helt afgørende.

Sidecache-tryk, fastgjorte modeldata, residente eksperter og KV-cache skal betragtes sammen.

Kopier ikke blindt flag med maksimal ydeevne fra maskiner med meget større RAM-konfigurationer.

Strømforbrug, termik og slutningsomkostninger

Dette er endnu en behagelig overraskelse.

Målt komponenteffekt:

Tomgang med model indlæst:

• CPU: ~5.8 W
• GPU: 15–18 W

Under generation:

• CPU: ~62.8 W
• GPU: 152–167 W
• Kort GPU topper omkring 174 W

Estimeret samlet systemeffekt ved væggen (ikke målt med en vægmåler):

• Tomgang: ~54 W
• Generation: ~280 W

Observerede temperaturer:

• GPU under belastning: 62–68°C
• GPU ved tomgang: ~40°C
• NVMe: 38–47°C

Ingen observeret termisk drosling.

Ved en antaget elpris på 0,25 €/kWh:

• 24 timers tomgang: ~€0,32
• 30 dage uafbrudt inaktiv: ~€9,72
• En times aktiv generation: ~€0,07

Dette gør det helt realistisk at betjene et dygtigt, privatlivsbevarende lokalt AI-slutpunkt derhjemme.

Det er selvfølgelig anslåede elomkostninger, ikke de samlede ejeromkostninger. Hardwareafskrivning, køling og vedligeholdelse er ekskluderet.

Hvor RTX 3060-opsætningen holder op med at give mening

Denne konfiguration er fremragende til korte interaktive anmodninger, men den har begrænsninger.

Vigtigst af alt:

• Maksimal kontekst: 32.768 tokens
• En prompt nær 32K efterlader utilstrækkelig plads til generation
• Det praktiske benchmarkloft var ~30.165 input-tokens
• Tænkning/ræsonnement kan forbruge hundredvis af yderligere genererede tokens
• Langvarige agentsessioner bliver hurtigt begrænset

Til sammenligning kørte jeg den samme model på et mere kraftfuldt lokalt system med en 24 GB GPU.

Målt ydeevne på dette system:

• 4K prompt forudfyldning: 1.339 tok/s
• 4K afkodning: 94 tok/s
• 16K prompt forfyldning: 2.956 tok/s
• 16K afkodning: 125 tok/s
• Maksimal kontekst: 262.144 tokens
• 15 arbejdstråde

RTX 3060-systemet leverer meget lavere prefill-gennemløb og omtrent halvdelen af dekodningsgennemløbet i sammenlignelige tilfælde med en ottendedel af den tilgængelige kontekst.

12 GB-kortet er dog langt mere tilgængeligt og forbliver imponerende nyttigt.

Min nuværende tilgang:

• Mere kraftfuld hardware til komplekse, langvarige agenter
• Overkommelige 12 GB GPU'er til chat, korte arbejdsgange, eksperimenter og sikkerhedskopiering

Pointen er ikke at lade som om, at en billig GPU erstatter en avanceret maskine.

Pointen er, hvor meget nyttig lokal AI allerede kan køre på billig hardware.

Hvad kunne stadig optimeres?

Systemet fungerer allerede godt, men der er et par interessante muligheder for yderligere eksperimenter.

Samtidig slutning

Muligheden --slots 2 kunne forbedre den samlede gennemstrømning med to samtidige samtaler.

En anslået +10–12 % samlet gennemstrømning er mulig for denne arbejdsbyrde, men den skal valideres.

Det betyder ikke, at en enkelt samtale bliver 12 % hurtigere.

Større prefill batches

Nuværende: --prefill 4096

Kandidat: --prefill auto:16384

Større forfyldningsvinduer kan forbedre langvarig behandling, men tilgængelig VRAM er allerede stram.

Med omkring 11,14 GiB af GPU'ens 12 GiB optaget, skal hukommelsesadfærd måles omhyggeligt.

Mere system-RAM

Brug af --ple-io ram kunne bringe flere modeldata ind i systemhukommelsen og reducere lagerlæsninger.

Udviklerens dokumentation foreslår:

• +16–31 % præfyldningsydelse
• +3–11 % afkodningsydelse

Men denne konfiguration ville kræve væsentligt mere RAM, cirka 72+ GiB for det målte layout.

Det er ikke praktisk på den nuværende 48 GB-konfiguration.

Spekulativ afkodning

MTP spekulativ afkodning er allerede aktiveret.

Observeret accept: ~33–41 accepterede tokens ud af 50–60 udkastede, eller cirka 65–70 %.

Længere sammenhæng

Den nuværende 32K-grænse er en operationel konfigurationsgrænse, ikke et bevis på, at selve modellen kun understøtter 32K.

Forøgelse af den kræver genkontrol af hukommelseskapacitet, KV-cache-adfærd, latens og stabilitet.

For denne arbejdsbyrde kan reduktion af dyre ekspertlæsninger og forbedring af adgangsmønstre betyde mere end at hæve drevets maksimale sekventielle båndbredde.

Som altid: benchmark den reelle arbejdsbyrde, ikke kun hardwaremarketingtal.

Sidste tanker

Her er hvad dette eksperiment demonstrerer.

En ~83,6 GB kvantiseret MoE-model kan køre lokalt på:

• RTX 3060 12 GB
• 48 GB DDR5 RAM
• Forbruger Intel CPU
• PCIe 5.0 NVMe SSD
• Ubuntu + Strata

Med målte resultater op til:

• 68 tok/s varm afkodning
• 916 tok/s promptbehandling
• 30K-token kold prompt på ~34 sekunder
• Fuldt cachelagret 30K-prompt: ~0,44 s til første token
• Ingen ombytning under normale driftsforhold

Men der er vigtige forbehold.

• Den maksimale konfigurerede kontekst er 32K
• Hurtig ekspertruting ændrer modeladfærd
• Den højeste hastighed er ikke nødvendigvis den højeste kvalitet
• Lagerydeevne afhænger af adgangsmønstre
• Hukommelsesstyring kræver omhyggelig justering
• Langtidsvirkende agenter drager fordel af mere kraftfuld hardware

Jeg er især interesseret i den praktiske økonomi i lokal kunstig intelligens.

Ikke kun det maksimale benchmark på et €10.000-system, men den nyttige ydeevne, der kan opnås på forbrugermaskiner og overkommelige konfigurationer, der starter omkring €1.000.

Privatliv, uafhængighed, kontrollerede driftsomkostninger og brugbarhed i den virkelige verden betyder mere end at jagte imponerende benchmark-tal alene.

Dette er stadig et eksperiment i udvikling, og jeg vil blive ved med at dele målingerne, fejlene, konfigurationsændringerne og forbedringerne.

Fremtiden for lokal kunstig intelligens er allerede ved at blive overraskende overkommelig.

Senere tilføjelser

Åh, jeg glemte at nævne, at GPU'en kører med NVIDIA Unlock, som blev udgivet for blot et par dage siden, i sidste uge.

Jeg har nu bedt min AI-agent om at køre de samme benchmarks uden oplåsning, så vi vil være i stand til at sammenligne resultaterne på omkring 15-20 minutter.

I de næste par dage, men ikke i dag, vil jeg installere denne GPU i et system, der koster mindre end $1.000, og se, hvordan det fungerer der.

Original tråd på X · Alle nyheder