Vår experimentella konfiguration: en ~83,6 GB-modell som körs lokalt på en budget RTX 3060

Det här är otroligt!

Qwen3.8-Flash-Next IQ3_S (~83.6 GB) körs lokalt på en budget RTX 3060 12 GB med bara 48 GB system-RAM!

Upp till 68 tokens/sek. avkodning, ~916 tokens/sek. promptbearbetning och en 30K-token prompt bearbetad på bara 34 sekunder.

Drivs av Strata av coldniko. Ingen moln slutledning. Bara prisvärd konsumenthårdvara!

Fullständiga riktmärken, hårdvaruspecifikationer, optimeringar och avvägningar nedan.

Du kan hoppa direkt till de viktigaste hämtställena i det sista avsnittet.

Hårdvaran bakom dessa resultat

Ingen datacenter-GPU, ingen dyr multi-GPU-server och ingen massiv RAM-konfiguration.

Hela experimentet utfördes på en ganska vanlig konsument-/arbetsstations-PC.

CPU

• Intel Core Ultra 7 265 (Arrow Lake)
• 20 kärnor / 20 trådar
• Upp till 5,3 GHz
• 30 MB L3-cache
• AVX-VNNI / BF16 stöd; ingen AVX-512

Moderkort

• ASUS Pro Q870I-C
• Intel Q870-chipset, LGA1851
• Mini-ITX formfaktor

Minne

• 48 GB DDR5-5600 (2 × 24 GB Micron)
• Cirka 46 GiB användbar

GPU

• NVIDIA GeForce RTX 3060 12 GB
• GA106, beräkningskapacitet 8.6
• PCIe 4.0 ×16
• 170 W konfigurerad effektgräns

Förvaring

• Lexar NM1090 PRO 2 TB
• PCIe 5.0 ×4 NVMe

OS

• Ubuntu 24.04.5 LTS
• Linuxkärna 7.0.0-38
• NVIDIA-drivrutin 615.71.10

Nätverk

• Intel 1 GbE Ethernet

Den avgörande detaljen: modellen är mycket större än tillgängligt VRAM och RAM kombinerat.

Det är just det som gör detta experiment intressant.

Modell-, motor- och minnesarkitektur

Modell

Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S

Två GGUF-skärvor:

• 54.82 GB
• 28.80 GB
• Totalt: 83,62 GB (77,87 GiB)

Ytterligare komponenter

• Packade täta vikter: ~1,5 GiB
• MTP-skrivare för spekulativ avkodning
• BF16 vision-adapter: ~866 MB
• CPU-baserad vision-kodare (12 trådar)

Inferensmotor

• Strata engine 0.1.52
• CUDA 13.0 backend
• CUDA-arkitektur sm_86

Faktisk minnesallokering

• GPU VRAM: 11,14 GiB använd
• Resident experter på system-RAM: 24 GiB
• Återstående expertdata streamas från NVMe
• Ingen bytesaktivitet under normal slutledning

Viktiga konfigurationsinställningar

--expert-cache auto
--prefill 4096
--spec 4
--spec-min-p 0.5
--mtp mtp/rt
--max-context 32768
--kv int8
--kv-grow
--kv-resident 32768
--vision
--vram-reserve-mib 960
--pool-workers 12
--conversation-cache-mib 1536
--prompt-cache-tail
--prompt-cache-spread
--resident-experts
--resident-budget-gib 24

Detta är inte en konventionell "ladda in hela modellen i GPU-minnet"-inställning.

Strata använder GPU-minne, system-RAM, expertcache och NVMe-lagring tillsammans.

Den viktiga optimeringen är att minimera dyra expertöverföringar samtidigt som grafikprocessorn är produktiv.

Riktiga benchmarkresultat

Samma modell, samma hårdvara, två routingkonfigurationer.

Läge A: snabb, uppehållsorienterad expertdirigering (tidigare = 1,5)

Kall tid till första token:

• 1K: 3.7 s
• 4K: 4.9 s
• 8K: 9.7 s
• 16K: 17.3 s
• 30K: 33.9 s

Som jämförelse inaktiverar läge B residency-biased routing (före = 0):

500-tokens generationskörning:

• Snabb: 62 tok/s, totalt 7,1 s
• Exakt: 21 tok/s, totalt 20,8 s

Hastighetsmätningar korskontrollerades mot strömningstider på klientsidan.

Huvudobservation:

Att inaktivera cache-biased routing kan minska avkodningshastigheten med cirka 2–2,4×.

Men det finns en viktig anledning att inte lämna aggressiv routing aktiverad för varje arbetsbelastning. Mer om det i nästa avsnitt.

Hastighet kontra modellkvalitet: den dolda avvägningen

På denna Strata-motorversion använder GPU:er med ≤13 GB VRAM automatiskt residency-biased routing:

STRATA_ROUTE_PRIOR=1.5

Detta gynnar experter som redan finns i snabbt minne istället för att alltid välja de experter som originalroutern skulle föredra.

Fördelen är dramatisk:

• Expertcacheträfffrekvens: 97,2 % i snabbt läge
• Utan partiskhet: 65,3 %
• Lagringsavläsningar under den jämförda arbetsbelastningen: 5,5 GiB vs 46 GiB
• Avkodningshastighet: cirka 2× snabbare

Men detta är INTE en gratis optimering.

Att ändra expertval kan ändra modellbeteende, öka avvikelsen från den ursprungliga modellen och påverka långa resonemang eller agentarbetsflöden.

Enligt utvecklarens utvärdering av 10 agentuppgifter:

• Routing före 1.5: 4.5/10
• Routing före 0: 5,6/10

Själva baslinjeresultaten varierade mellan körningarna, så detta är ett riktningsresultat, inte en definitiv kvalitetsmätning.

Mina egna sex korta agentcheckar klarade båda lägena.

Men en separat unikhet stress kör exponerad upprepning:

• Snabbläge: 205 rader, 96 dubbletter
• Exakt läge: 209 rader, 79 dubbletter

Slutsatsen är enkel:

• Snabb routing för chatt, interaktiv användning och korta uppgifter.
• Ursprunglig routing för längre, kvalitetskänsliga agentarbetsflöden.

Och enbart benchmarkhastighet bör aldrig förväxlas med modellkvalitet.

Snabb cachning ändrar allt

Ett av de mest imponerande resultaten var inte avkodningshastigheten. Det var svarstiden för upprepade förfrågningar med samma prompt.

Med en helt cachad prompt:

Det är ungefär 45–90 gånger kortare tid till den första token i dessa körningar.

Promptcachen gör en enorm skillnad när du upprepade gånger frågar efter samma långa dokument eller upprätthåller en konversation med ett stabilt sammanhang.

Motorn är också konfigurerad för konversationscache:

• 1 536 MiB cachebudget
• Minst 4 096 polletter för parkering
• Minsta tröskel för ledigt minne: 1 536 MiB

Det finns en hake: dessa resultat är för identiska uppmaningar med en helt återanvändbar cache.

De betyder inte att godtyckliga nya 30K-token-uppmaningar kommer att behandlas på en halv sekund.

Men för interaktiv lokal AI är en varm cache en spelväxlare.

SSD-mysteriet: PCIe 5.0 är inte flaskhalsen

Till en början verkade NVMe-enheten misstänkt långsam. Vi undersökte PCIe-länken, lagringstopologi och faktiska I/O-beteende.

Enheten: Lexar NM1090 PRO 2 TB, PCIe 5.0 ×4.

Verifierad PCIe-anslutning:

• Aktuell länk: 32,0 GT/s ×4
• Maximal länk: 32,0 GT/s ×4
• CPU rotport: 32,0 GT/s ×4

Så enheten kör med sin fulla PCIe 5.0-länkhastighet.

Direkt uncachade läsriktmärken:

• Enkelström, 1–4 MiB-block: 2,9–3,4 GB/s
• Fyra parallella strömmar: 10,94 GB/s
• Fyra strömmar, 64 KiB-block: 2,25 GB/s
• Fyra strömmar, 4 KiB-block: 0,26 GB/s (~63K IOPS)

Det parallella resultatet på 10,94 GB/s är särskilt viktigt: det överskrider den praktiska bandbredden för PCIe 4,0 × 4.

Varför är singelströmsgenomströmningen mycket lägre?

Eftersom PCIe-bandbredd inte är samma sak som genomströmning på applikationsnivå.

Ködjup, I/O-storlek, begäranparallellism och latens spelar roll.

Stratas expertladdningsmönster är mycket närmare fallet med lägre samtidighet än ett syntetiskt benchmark för maximal genomströmning.

Observerad motorlagringskapacitet:

• Snabb routing: ~0,3 GB/s
• Ursprunglig routing: ~2,4 GB/s

Skillnaden kommer från hur många experter som måste hämtas, inte från en PCIe-nedgradering.

En mer användbar detalj: RTX 3060 i sig är en PCIe 4.0-enhet. Att se dess länk sjunka till Gen1 medan den är inaktiv är normalt energihanteringsbeteende.

Kontrollera alltid vilken enhet du mäter innan du diagnostiserar ett PCIe-problem.

En viktig lärdom: låt inte Linux-cache en 83,6 GB-modell på en 48 GB-maskin

Vi stötte på ett allvarligt problem under den första uppstarten.

Den första konfigurationen tillät buffrad laddning av modellfilerna.

Modellen är på ~83,6 GB, medan systemet endast har 48 GB fysiskt RAM-minne.

Under den arbetsbelastningen kom Linux in i ett allvarligt tryck på minnesåtervinningen. Maskinen svarade nästan inte, inklusive SSH-anslutning, och krävde en tvingad omstart.

Lösningen var att ändra laddningsstrategin och införa minnesskydd.

Aktuella inställningar:

• STRATA_UNBUFFERED_LOAD=1
• STRATA_RESIDENT_HEADROOM_GIB=10
• 24 GiB invånare expertbudget
• Minnestillgänglighet kontrolleras före lansering
• 12 GiB ytterligare säkerhetsmarginal i lanseringspolicyn

Efter dessa ändringar:

• Ingen bytesaktivitet under normal slutledning
• Cirka 34,6 GiB RAM används vid den observerade punkten
• Cirka 12,7 GiB tillgängligt
• Stabil generation under belastning

Lektionen:

Att köra en modell som är större än ditt fysiska minne är möjligt, men minnesredovisning är helt avgörande.

Page-cache-tryck, fast modelldata, inhemska experter och KV-cache måste beaktas tillsammans.

Kopiera inte blint flaggor för maximal prestanda från maskiner med mycket större RAM-konfigurationer.

Strömförbrukning, termik och slutledningskostnad

Detta är ännu en trevlig överraskning.

Uppmätt komponenteffekt:

Tomgång med laddad modell:

• CPU: ~5.8 W
• GPU: 15–18 W

Under generationen:

• CPU: ~62.8 W
• GPU: 152–167 W
• Kort GPU toppar runt 174 W

Uppskattad total systemeffekt vid väggen (ej mätt med en väggmätare):

• Tomgång: ~54 W
• Generation: ~280 W

Observerade temperaturer:

• GPU under belastning: 62–68°C
• GPU vid tomgång: ~40°C
• NVMe: 38–47°C

Ingen observerad termisk strypning.

Vid ett antaget elpris på 0,25 €/kWh:

• 24 timmars tomgång: ~0,32 €
• 30 dagar oavbrutet inaktiv: ~9,72 €
• En timmes aktiv generering: ~€0,07

Detta gör det helt realistiskt att använda en kapabel, integritetsbevarande lokal AI-slutpunkt hemma.

Det är naturligtvis uppskattade elkostnader, inte totala ägandekostnader. Hårdvaruavskrivning, kylning och underhåll är exkluderade.

Där RTX 3060-inställningen slutar vara vettig

Denna konfiguration är utmärkt för korta interaktiva förfrågningar, men den har begränsningar.

Viktigast av allt:

• Maximalt sammanhang: 32 768 tokens
• En prompt nära 32K lämnar otillräckligt utrymme för generering
• Det praktiska referenstaket var ~30 165 inmatningstoken
• Att tänka/resonera kan konsumera hundratals ytterligare genererade tokens
• Långa agentsessioner blir snabbt begränsade

Som jämförelse körde jag samma modell på ett mer kraftfullt lokalt system med en 24 GB GPU.

Uppmätt prestanda på det systemet:

• 4K-prompt förfyllning: 1 339 tok/s
• 4K-avkodning: 94 tok/s
• 16K prompt förfyllning: 2 956 tok/s
• 16K avkodning: 125 tok/s
• Maximalt sammanhang: 262 144 tokens
• 15 arbetartrådar

RTX 3060-systemet ger mycket lägre prefill-genomströmning och ungefär hälften av avkodningsgenomströmningen i jämförbara fall, med en åttondel av det tillgängliga sammanhanget.

Dock är 12 GB-kortet mycket mer tillgängligt och förblir imponerande användbart.

Mitt nuvarande tillvägagångssätt:

• Kraftfullare hårdvara för komplexa, långvariga agenter
• Prisvärda 12 GB GPU:er för chatt, korta arbetsflöden, experiment och säkerhetskopiering

Poängen är inte att låtsas att en billig GPU ersätter en avancerad maskin.

Poängen är hur mycket användbar lokal AI redan kan köras på billig hårdvara.

Vad kan fortfarande optimeras?

Systemet fungerar redan bra, men det finns några intressanta möjligheter för ytterligare experiment.

Samtidig slutsats

Alternativet --slots 2 kan förbättra den totala genomströmningen med två samtidiga konversationer.

Uppskattningsvis +10–12 % sammanlagd genomströmning är möjlig för denna arbetsbelastning, men den behöver valideras.

Det betyder inte att en enskild konversation blir 12 % snabbare.

Större förfyllningssatser

Aktuell: --prefill 4096

Kandidat: --prefill auto:16384

Större förfyllningsfönster kan förbättra långvarig bearbetning, men tillgängligt VRAM är redan tätt.

Med ungefär 11,14 GiB av GPU:s 12 GiB upptagna måste minnesbeteendet mätas noggrant.

Mer system-RAM

Att använda --ple-io ram kan föra in mer modelldata till systemminnet och minska lagringsläsningarna.

Utvecklarens dokumentation föreslår:

• +16–31 % förfyllningsprestanda
• +3–11 % avkodningsprestanda

Men denna konfiguration skulle kräva betydligt mer RAM, ungefär 72+ GiB för den uppmätta layouten.

Det är inte praktiskt på den nuvarande 48 GB-konfigurationen.

Spekulativ avkodning

MTP-spekulativ avkodning är redan aktiverad.

Observerad acceptans: ~33–41 accepterade tokens av 50–60 utkastade, eller cirka 65–70 %.

Längre sammanhang

Den nuvarande 32K-gränsen är en operativ konfigurationsgräns, inte ett bevis på att själva modellen endast stöder 32K.

Att öka den kräver omkontroll av minneskapacitet, KV-cachebeteende, latens och stabilitet.

För den här arbetsbelastningen kan det vara viktigare att minska dyra expertläsningar och förbättra åtkomstmönster än att höja enhetens maximala sekventiella bandbredd.

Som alltid: jämför den verkliga arbetsbelastningen, inte bara marknadsföringssiffror för hårdvara.

Sista tankar

Här är vad detta experiment visar.

En ~83,6 GB kvantifierad MoE-modell kan köras lokalt på:

• RTX 3060 12 GB
• 48 GB DDR5 RAM
• Konsument Intel CPU
• PCIe 5.0 NVMe SSD
• Ubuntu + Strata

Med uppmätta resultat upp till:

• 68 tok/s varmavkodning
• 916 tok/s prompt bearbetning
• 30K-token kall prompt på ~34 sekunder
• Fullständigt cachad 30K-prompt: ~0,44 s till första token
• Inget byte under normala driftsförhållanden

Men det finns viktiga varningar.

• Maximalt konfigurerat sammanhang är 32K
• Snabb expertdirigering ändrar modellens beteende
• Den högsta hastigheten är inte nödvändigtvis den högsta kvaliteten
• Lagringsprestanda beror på åtkomstmönster
• Minneshantering kräver noggrann inställning
• Långvariga agenter drar nytta av kraftfullare hårdvara

Jag är särskilt intresserad av den praktiska ekonomin i lokal AI.

Inte bara det maximala riktmärket på ett €10 000-system, utan den användbara prestandan som kan uppnås på konsumentmaskiner och prisvärda konfigurationer som börjar runt €1 000.

Sekretess, oberoende, kontrollerade driftskostnader och verklig användbarhet är viktigare än att jaga imponerande benchmarksiffror enbart.

Detta är fortfarande ett experiment under utveckling, och jag kommer att fortsätta dela mätningar, misslyckanden, konfigurationsändringar och förbättringar.

Framtiden för lokal AI börjar redan bli förvånansvärt överkomlig.

Senare tillägg

Åh, jag glömde nämna att GPU:n körs med NVIDIA Unlock, som släpptes för bara några dagar sedan, förra veckan.

Jag har nu bett min AI-agent att köra samma riktmärken utan upplåsning, så vi kommer att kunna jämföra resultaten inom cirka 15–20 minuter.

Under de närmaste dagarna, men inte idag, kommer jag att installera denna GPU i ett system som kostar mindre än 1 000 $ och se hur det fungerar där.

Originaltråd på X · Alla nyheter