CLARYEL CLARYEL Box
Požádat o konfiguraci

Novinky

Naše experimentální konfigurace: model ~83,6 GB běžící lokálně na levném RTX 3060

Qwen3.8-Flash-Next IQ3_S na RTX 3060 12 GB s pouhými 48 GB systémové RAM. Žádné vyvozování z cloudu. Jen cenově dostupný spotřební hardware.

Strata místní AI odvození: 68 tokenů za sekundu na RTX 3060 12 GB se 48 GB DDR5

To je neuvěřitelné!

Qwen3.8-Flash-Next IQ3_S (~83,6 GB) běžící lokálně na levné RTX 3060 12 GB s pouhými 48 GB systémové RAM!

Dekódování až 68 tokenů/s, zpracování výzvy ~916 tokenů/s a výzva 30 000 tokenů zpracovaná za pouhých 34 sekund.

Provozováno na Strata by coldniko. Žádné vyvozování z cloudu. Jen cenově dostupný spotřební hardware!

Kompletní benchmarky, hardwarové specifikace, optimalizace a kompromisy níže.

V poslední části můžete přejít rovnou ke klíčovým informacím.

Hardware za těmito výsledky

Žádné GPU datového centra, žádný drahý multi-GPU server a žádná masivní konfigurace RAM.

Celý experiment byl proveden na docela běžném spotřebitelském/pracovním PC.

Kompaktní počítač použitý pro experiment

CPU

Základní deska

Paměť

GPU

Skladování

OS

Síť

Zásadní detail: model je mnohem větší než dostupná VRAM a RAM dohromady.

To je přesně to, co dělá tento experiment zajímavým.

Architektura modelu, motoru a paměti

Model

Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S

Dva úlomky GGUF:

Další komponenty

Inferenční stroj

Skutečná alokace paměti

Důležitá nastavení konfigurace

--expert-cache auto
--prefill 4096
--spec 4
--spec-min-p 0.5
--mtp mtp/rt
--max-context 32768
--kv int8
--kv-grow
--kv-resident 32768
--vision
--vram-reserve-mib 960
--pool-workers 12
--conversation-cache-mib 1536
--prompt-cache-tail
--prompt-cache-spread
--resident-experts
--resident-budget-gib 24

Toto není konvenční nastavení „nahrání celého modelu do paměti GPU“.

Strata využívá paměť GPU, systémovou RAM, mezipaměť expertů a úložiště NVMe dohromady.

Důležitou optimalizací je minimalizace drahých expertních přenosů při zachování produktivity GPU.

Skutečné výsledky benchmarků

Stejný model, stejný hardware, dvě konfigurace směrování.

Režim A: rychlé expertní směrování podle místa bydliště (předchozí = 1,5)

KontextPředvyplněníStudené dekódováníTeplé dekódování
1K285 tok/s42 tok/s61 tok/s
4K804 tok/s50 tok/s65 tok/s
8K819 tok/s61 tok/s68 tok/s
16K916 tok/s60 tok/s68 tok/s
30K890 tok/s58 tok/s61 tok/s

Chladný čas do prvního tokenu:

Pro srovnání, režim B deaktivuje směrování na základě bydliště (předchozí = 0):

KontextPředvyplněníStudené dekódováníTeplé dekódování
1K282 tok/s24 tok/s27 tok/s
4K781 tok/s29 tok/s26 tok/s
8K789 tok/s30 tok/s32 tok/s
16K889 tok/s30 tok/s29 tok/s
30K878 tok/s26 tok/s27 tok/s

Spuštění generování 500 tokenů:

Měření rychlosti byla porovnána s časováním streamování na straně klienta.

Hlavní pozorování:

Deaktivace směrování na základě mezipaměti může snížit rychlost dekódování přibližně 2–2,4×.

Existuje však důležitý důvod, proč nenechávat agresivní směrování povolené pro každou pracovní zátěž. Více o tom v další části.

Rychlost versus kvalita modelu: skrytý kompromis

V této verzi enginu Strata GPU s ≤13 GB VRAM automaticky používají směrování založené na rezidenci:

STRATA_ROUTE_PRIOR=1.5

To upřednostňuje odborníky, kteří jsou již k dispozici v rychlé paměti, místo aby vždy vybírali odborníky, které by preferoval původní router.

Výhoda je dramatická:

Ale toto NENÍ bezplatná optimalizace.

Změna expertního výběru může změnit chování modelu, zvýšit divergenci od původního modelu a ovlivnit dlouhé uvažování nebo pracovní postupy agentů.

Podle hodnocení vývojáře na 10 úlohách agenta:

Samotné výsledky základní linie se mezi jednotlivými běhy lišily, takže se jedná o směrový výsledek, nikoli o definitivní měření kvality.

Mých šest krátkých kontrol agentů prošlo v obou režimech.

Samostatný důraz na jedinečnost však probíhá exponovaným opakováním:

Závěr je jasný:

A samotná referenční rychlost by nikdy neměla být zaměňována s kvalitou modelu.

Rychlé ukládání do mezipaměti vše změní

Jedním z nejpůsobivějších výsledků nebyla rychlost dekódování. Jednalo se o dobu odezvy na opakované požadavky pomocí stejné výzvy.

S výzvou plně uloženou v mezipaměti:

KontextStudený TTFTTTFT v mezipaměti
1K3.7 s0.08 s
4K4.9 s0.08 s
8K9.7 s0.27 s
16K17.3 s0.34 s
30K33.9 s0.44 s

To je zhruba 45–90× méně času do prvního tokenu v těchto běhech.

Mezipaměť výzvy je obrovský rozdíl při opakovaném dotazování na stejný dlouhý dokument nebo udržování konverzace se stabilním kontextem.

Motor je také nakonfigurován pro ukládání do mezipaměti konverzace:

Má to háček: tyto výsledky jsou pro identické výzvy s plně znovu použitelnou mezipamětí.

Neznamená to, že svévolné výzvy k novým 30 000 tokenům zpracují za půl sekundy.

Ale pro interaktivní místní AI je teplá mezipaměť změnou hry.

Záhada SSD: PCIe 5.0 není překážkou

Nejprve se disk NVMe zdál podezřele pomalý. Zkoumali jsme propojení PCIe, topologii úložiště a skutečné I/O chování.

Disk: Lexar NM1090 PRO 2 TB, PCIe 5.0 × 4.

Ověřené připojení PCIe:

Disk tedy běží na plnou rychlost připojení PCIe 5.0.

Přímé benchmarky čtení bez mezipaměti:

Tento paralelní výsledek 10,94 GB/s je obzvláště důležitý: překračuje praktickou šířku pásma PCIe 4.0 × 4.

Proč je propustnost jednoho proudu mnohem nižší?

Protože šířka pásma PCIe není to samé jako propustnost na úrovni aplikace.

Důležitá je hloubka fronty, velikost I/O, paralelismus požadavků a latence.

Vzorec expertního načítání Strata je mnohem blíže případu nižší souběžnosti než syntetickému benchmarku maximální propustnosti.

Pozorovaná kapacita úložiště motoru:

Rozdíl spočívá v tom, kolik odborníků je třeba získat, nikoli v downgradu PCIe.

Ještě jeden užitečný detail: samotný RTX 3060 je zařízení PCIe 4.0. Vidět jeho propojení s Gen1 při nečinnosti je normální chování správy napájení.

Před diagnostikováním problému PCIe vždy zkontrolujte, které zařízení měříte.

Důležitá lekce: nenechávejte Linux ukládat do mezipaměti 83,6 GB model na 48 GB počítači

Při prvním spuštění jsme narazili na vážný problém.

První konfigurace umožňovala načítání souborů modelu ve vyrovnávací paměti.

Model má ~83,6 GB, přičemž systém má pouze 48 GB fyzické RAM.

Při této zátěži se Linux dostal do velkého tlaku na obnovu paměti. Stroj téměř přestal reagovat, včetně připojení SSH, a vyžadoval vynucený restart.

Řešením bylo změnit strategii načítání a zavést zabezpečení paměti.

Aktuální nastavení:

Po těchto změnách:

lekce:

Spuštění modelu většího než je vaše fyzická paměť je možné, ale účtování paměti je naprosto zásadní.

Tlak mezipaměti stránek, připojená data modelu, rezidentní odborníci a mezipaměť KV musí být zvažovány společně.

Nekopírujte slepě příznaky maximálního výkonu ze strojů s mnohem větší konfigurací RAM.

Spotřeba energie, tepelné a odvozené náklady

To je další příjemné překvapení.

Naměřený výkon součástek:

Nečinný s naloženým modelem:

Během generace:

Odhadovaný celkový výkon systému na zdi (neměřeno pomocí nástěnného měřiče):

Pozorované teploty:

Nebylo pozorováno žádné tepelné škrcení.

Při předpokládané ceně elektřiny 0,25 EUR/kWh:

Díky tomu je zcela realistické provozovat doma schopný místní koncový bod umělé inteligence chránící soukromí.

Samozřejmě se jedná o odhadované náklady na elektřinu, nikoli celkové náklady na vlastnictví. Odpisy hardwaru, chlazení a údržba jsou vyloučeny.

Kde nastavení RTX 3060 přestává dávat smysl

Tato konfigurace je vynikající pro krátké interaktivní požadavky, ale má své limity.

To nejdůležitější:

Pro srovnání jsem stejný model provozoval na výkonnějším lokálním systému s 24 GB GPU.

Naměřený výkon na tomto systému:

Systém RTX 3060 poskytuje mnohem nižší propustnost předvyplnění a zhruba poloviční propustnost dekódování ve srovnatelných případech s jednou osminou dostupného kontextu.

Karta 12 GB je však mnohem dostupnější a zůstává působivě užitečná.

Můj současný přístup:

Nejde o to předstírat, že levný GPU nahrazuje špičkový stroj.

Jde o to, kolik užitečné místní umělé inteligence již může běžet na levném hardwaru.

Co by se ještě dalo optimalizovat?

Systém již funguje dobře, ale existuje několik zajímavých cest pro další experimenty.

Souběžné vyvozování

Možnost --slots 2 by mohla zlepšit celkovou propustnost se dvěma souběžnými konverzacemi.

Odhadovaná celková propustnost +10–12 % je pro tuto zátěž možná, ale vyžaduje ověření.

To neznamená, že se jedna konverzace zrychlí o 12 %.

Větší předplněné dávky

Aktuální: --prefill 4096

Kandidát: --prefill auto:16384

Větší okna předvyplnění by mohla zlepšit dlouhotrvající zpracování, ale dostupná paměť VRAM je již omezená.

Při zhruba 11,14 GiB z 12 GiB obsazeného GPU je třeba pečlivě měřit chování paměti.

Více systémové RAM

Použití --ple-io ram by mohlo přinést více dat modelu do systémové paměti a omezit čtení úložiště.

Dokumentace vývojáře navrhuje:

Ale tato konfigurace by vyžadovala podstatně více RAM, přibližně 72+ GiB pro měřené rozložení.

Na aktuální konfiguraci 48 GB to není praktické.

Spekulativní dekódování

Spekulativní dekódování MTP je již povoleno.

Pozorované přijetí: ~33–41 přijatých tokenů z 50–60 draftovaných, neboli přibližně 65–70 %.

Delší kontext

Aktuální limit 32 kB je limitem provozní konfigurace, není důkazem, že samotný model podporuje pouze 32 kB.

Jeho zvýšení vyžaduje opětovnou kontrolu kapacity paměti, chování KV cache, latence a stability.

Pro tuto pracovní zátěž může být důležitější snížení drahých expertních čtení a zlepšení přístupových vzorů než zvýšení maximální sekvenční šířky pásma disku.

Jako vždy: porovnejte skutečnou pracovní zátěž, nejen marketingová čísla hardwaru.

Závěrečné myšlenky

Zde je to, co tento experiment ukazuje.

~83,6 GB kvantovaný model MoE může běžet lokálně na:

S naměřenými výsledky až:

Existují však důležitá upozornění.

Zajímá mě zejména praktická ekonomika místní umělé inteligence.

Nejen maximální benchmark na systému za 10 000 EUR, ale také užitečný výkon dosažitelný na spotřebitelských strojích a cenově dostupné konfigurace začínající kolem 1 000 EUR.

Soukromí, nezávislost, kontrolované provozní náklady a užitečnost v reálném světě jsou důležitější než jen honba za působivými srovnávacími výsledky.

Toto je stále vyvíjející se experiment a já se o měření, selhání, změny konfigurace a vylepšení budu dále podělit.

Budoucnost místní umělé inteligence už začíná být překvapivě dostupná.

Pozdější doplňky

Oh, zapomněl jsem zmínit, že GPU běží s NVIDIA Unlock, která byla vydána před několika dny, minulý týden.

Nyní jsem požádal svého agenta AI, aby spustil stejné benchmarky bez odemknutí, takže budeme moci porovnat výsledky asi za 15–20 minut.

V příštích několika dnech, i když ne dnes, nainstaluji tento GPU do systému, který stojí méně než 1 000 $, a uvidím, jak tam bude fungovat.

Původní vlákno na X · Všechny novinky