Noticias
Nuestra configuración experimental: un modelo de ~83,6 GB que se ejecuta localmente en un RTX 3060 económico
Qwen3.8-Flash-Next IQ3_S en una RTX 3060 de 12 GB con solo 48 GB de RAM del sistema. Sin inferencia de nubes. Solo hardware de consumo asequible.
¡Esto es increíble!
Qwen3.8-Flash-Next IQ3_S (~83,6 GB) ejecutándose localmente en un RTX 3060 económico de 12 GB con solo 48 GB de RAM del sistema.
Hasta 68 tokens/s de decodificación, ~916 tokens/s de procesamiento de avisos y un aviso de 30 000 tokens procesado en solo 34 segundos.
Desarrollado por Strata de coldniko. Sin inferencia de nubes. ¡Solo hardware de consumo asequible!
Puntos de referencia completos, especificaciones de hardware, optimizaciones y compensaciones a continuación.
Puede pasar directamente a las conclusiones clave en la sección final.
El hardware detrás de estos resultados
Sin GPU de centro de datos, sin costoso servidor multi-GPU y sin configuración de RAM masiva.
Todo el experimento se realizó en una PC de consumo/estación de trabajo bastante común.
CPU
- Intel Core Ultra 7 265 (Arrow Lake)
- 20 núcleos / 20 hilos
- Hasta 5,3 GHz
- Caché L3 de 30 MB
- Soporte AVX-VNNI/BF16; sin AVX-512
placa base
- ASUS Pro Q870I-C
- Conjunto de chips Intel Q870, LGA1851
- Factor de forma Mini-ITX
Memoria
- 48 GB DDR5-5600 (2 × 24 GB Micron)
- Aproximadamente 46 GiB utilizables
GPU
- NVIDIA GeForce RTX 3060 12 GB
- GA106, capacidad de cálculo 8.6
- PCIe 4.0 ×16
- Límite de potencia configurado de 170 W
Almacenamiento
- Lexar NM1090 PRO 2 TB
- PCIe 5.0 ×4 NVMe
OS
- Ubuntu 24.04.5 LTS
- Núcleo de Linux 7.0.0-38
- Controlador NVIDIA 615.71.10
Red
- Intel 1 GbE Ethernet
El detalle crucial: el modelo es mucho más grande que la VRAM y la RAM disponibles combinadas.
Eso es exactamente lo que hace que este experimento sea interesante.
Modelo, motor y arquitectura de memoria.
modelo
Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S
Dos fragmentos GGUF:
- 54.82 GB
- 28.80 GB
- Total: 83,62 GB (77,87 GiB)
Componentes adicionales
- Pesos densos empaquetados: ~1,5 GiB
- Redactor de decodificación especulativa MTP
- Adaptador de visión BF16: ~866 MB
- Codificador de visión basado en CPU (12 subprocesos)
motor de inferencia
- Strata engine 0.1.52
- Servidor CUDA 13.0
- Arquitectura CUDA sm_86
Asignación de memoria real
- VRAM de GPU: 11,14 GiB utilizados
- Expertos residentes en RAM del sistema: 24 GiB
- Datos expertos restantes transmitidos desde NVMe
- No hay actividad de intercambio durante la inferencia normal
Ajustes de configuración importantes
--expert-cache auto
--prefill 4096
--spec 4
--spec-min-p 0.5
--mtp mtp/rt
--max-context 32768
--kv int8
--kv-grow
--kv-resident 32768
--vision
--vram-reserve-mib 960
--pool-workers 12
--conversation-cache-mib 1536
--prompt-cache-tail
--prompt-cache-spread
--resident-experts
--resident-budget-gib 24Esta no es una configuración convencional de "cargar todo el modelo en la memoria de la GPU".
Strata utiliza la memoria GPU, la RAM del sistema, el almacenamiento en caché experto y el almacenamiento NVMe juntos.
La optimización importante es minimizar las costosas transferencias de expertos y al mismo tiempo mantener productiva la GPU.
Resultados reales de referencia
Mismo modelo, mismo hardware, dos configuraciones de enrutamiento.
Modo A: enrutamiento experto rápido y basado en la residencia (anterior = 1,5)
| Contexto | Precarga | decodificación en frío | decodificación cálida |
|---|---|---|---|
| 1K | 285 tok/s | 42 tok/s | 61 tok/s |
| 4K | 804 tok/s | 50 tok/s | 65 tok/s |
| 8K | 819 tok/s | 61 tok/s | 68 tok/s |
| 16K | 916 tok/s | 60 tok/s | 68 tok/s |
| 30K | 890 tok/s | 58 tok/s | 61 tok/s |
Tiempo frío hasta el primer token:
- 1K: 3.7 s
- 4K: 4.9 s
- 8K: 9.7 s
- 16K: 17.3 s
- 30K: 33.9 s
A modo de comparación, el Modo B desactiva el enrutamiento con sesgo de residencia (antes = 0):
| Contexto | Precarga | decodificación en frío | decodificación cálida |
|---|---|---|---|
| 1K | 282 tok/s | 24 tok/s | 27 tok/s |
| 4K | 781 tok/s | 29 tok/s | 26 tok/s |
| 8K | 789 tok/s | 30 tok/s | 32 tok/s |
| 16K | 889 tok/s | 30 tok/s | 29 tok/s |
| 30K | 878 tok/s | 26 tok/s | 27 tok/s |
Ejecución de generación de 500 tokens:
- Rápido: 62 tok/s, 7,1 s en total
- Preciso: 21 tok/s, 20,8 s en total
Las mediciones de velocidad se compararon con los tiempos de transmisión del lado del cliente.
Observación principal:
Deshabilitar el enrutamiento basado en caché puede reducir la velocidad de decodificación entre 2 y 2,4 veces aproximadamente.
Pero hay una razón importante para no dejar habilitado el enrutamiento agresivo para cada carga de trabajo. Más sobre eso en la siguiente sección.
Velocidad versus calidad del modelo: la compensación oculta
En esta versión del motor Strata, las GPU con ≤13 GB de VRAM utilizan automáticamente el enrutamiento sesgado por residencia:
STRATA_ROUTE_PRIOR=1.5Esto favorece a los expertos que ya están disponibles en la memoria rápida en lugar de seleccionar siempre los expertos que preferiría el enrutador original.
El beneficio es espectacular:
- Tasa de aciertos de caché de expertos: 97,2% en modo rápido
- Sin sesgo: 65,3%
- Lecturas de almacenamiento durante la carga de trabajo comparada: 5,5 GiB frente a 46 GiB
- Velocidad de decodificación: aproximadamente 2 veces más rápida
Pero esta NO es una optimización gratuita.
Cambiar la selección de expertos puede cambiar el comportamiento del modelo, aumentar la divergencia con respecto al modelo original y afectar el razonamiento prolongado o los flujos de trabajo de los agentes.
Según la evaluación del desarrollador sobre 10 tareas del agente:
- Enrutamiento anterior a 1.5: 4.5/10
- Enrutamiento anterior 0: 5.6/10
Los resultados de referencia variaron entre las ejecuciones, por lo que este es un resultado direccional, no una medición de calidad definitiva.
Mis seis controles breves de agente pasaron en ambos modos.
Sin embargo, una ejecución de estrés de unicidad separada expuso la repetición:
- Modo rápido: 205 líneas, 96 duplicados
- Modo preciso: 209 líneas, 79 duplicados
La conclusión es sencilla:
- Enrutamiento rápido para chat, uso interactivo y tareas cortas.
- Enrutamiento original para flujos de trabajo de agentes más largos y sensibles a la calidad.
Y la velocidad de referencia por sí sola nunca debe confundirse con la calidad del modelo.
El almacenamiento en caché rápido lo cambia todo
Uno de los resultados más impresionantes no fue la velocidad de decodificación. Era el tiempo de respuesta para solicitudes repetidas utilizando el mismo mensaje.
Con un mensaje completamente almacenado en caché:
| Contexto | TTFT en frío | TTFT en caché |
|---|---|---|
| 1K | 3.7 s | 0.08 s |
| 4K | 4.9 s | 0.08 s |
| 8K | 9.7 s | 0.27 s |
| 16K | 17.3 s | 0.34 s |
| 30K | 33.9 s | 0.44 s |
Eso es aproximadamente entre 45 y 90 veces menos tiempo para la primera ficha en estas ejecuciones.
El caché de avisos marca una gran diferencia cuando se consulta repetidamente el mismo documento extenso o se mantiene una conversación con un contexto estable.
El motor también está configurado para el almacenamiento en caché de conversaciones:
- Presupuesto de caché de 1.536 MiB
- Mínimo 4.096 tokens para estacionamiento
- Umbral mínimo de memoria libre: 1536 MiB
Hay un problema: estos resultados son para mensajes idénticos con un caché totalmente reutilizable.
No significan que nuevas solicitudes arbitrarias de 30.000 tokens se procesarán en medio segundo.
Pero para la IA local interactiva, un caché cálido cambia las reglas del juego.
El misterio de las SSD: PCIe 5.0 no es el cuello de botella
Al principio, la unidad NVMe parecía sospechosamente lenta. Investigamos el enlace PCIe, la topología de almacenamiento y el comportamiento real de E/S.
La unidad: Lexar NM1090 PRO 2 TB, PCIe 5.0 ×4.
Conexión PCIe verificada:
- Enlace actual: 32,0 GT/s ×4
- Enlace máximo: 32,0 GT/s ×4
- Puerto raíz de la CPU: 32,0 GT/s ×4
Por lo tanto, la unidad funciona a su máxima velocidad de enlace PCIe 5.0.
Puntos de referencia de lectura directa sin caché:
- Flujo único, bloques de 1 a 4 MiB: 2,9 a 3,4 GB/s
- Cuatro flujos paralelos: 10,94 GB/s
- Cuatro transmisiones, bloques de 64 KiB: 2,25 GB/s
- Cuatro transmisiones, bloques de 4 KiB: 0,26 GB/s (~63 000 IOPS)
Ese resultado paralelo de 10,94 GB/s es particularmente importante: supera el ancho de banda práctico de PCIe 4.0 ×4.
¿Por qué el rendimiento de un solo flujo es mucho menor?
Porque el ancho de banda PCIe no es lo mismo que el rendimiento a nivel de aplicación.
La profundidad de la cola, el tamaño de E/S, el paralelismo de solicitudes y la latencia son importantes.
El patrón de carga de expertos de Strata está mucho más cerca del caso de menor concurrencia que de un punto de referencia sintético de rendimiento máximo.
Rendimiento de almacenamiento del motor observado:
- Enrutamiento rápido: ~0,3 GB/s
- Enrutamiento original: ~2,4 GB/s
La diferencia proviene de la cantidad de expertos que se deben buscar, no de una degradación de PCIe.
Un detalle útil más: el RTX 3060 en sí es un dispositivo PCIe 4.0. Ver caer su enlace a Gen1 mientras está inactivo es un comportamiento normal de administración de energía.
Verifique siempre qué dispositivo está midiendo antes de diagnosticar un problema de PCIe.
Una lección importante: no permita que Linux almacene en caché un modelo de 83,6 GB en una máquina de 48 GB
Nos topamos con un problema grave durante el inicio inicial.
La primera configuración permitió la carga en búfer de los archivos del modelo.
El modelo tiene ~83,6 GB, mientras que el sistema tiene sólo 48 GB de RAM física.
Bajo esa carga de trabajo, Linux entró en una severa presión de recuperación de memoria. La máquina casi dejó de responder, incluida la conectividad SSH, y requirió un reinicio forzado.
La solución fue cambiar la estrategia de carga e introducir protecciones de memoria.
Configuración actual:
- STRATA_UNBUFFERED_LOAD=1
- STRATA_RESIDENT_HEADROOM_GIB=10
- Presupuesto de experto residente de 24 GiB
- Disponibilidad de memoria comprobada antes del lanzamiento.
- 12 GiB de margen de seguridad adicional en la política de lanzamiento
Después de estos cambios:
- No hay actividad de intercambio durante la inferencia normal
- Aproximadamente 34,6 GiB de RAM en uso en el punto observado
- Aproximadamente 12,7 GiB disponibles
- Generación estable bajo carga
La lección:
Es posible ejecutar un modelo más grande que su memoria física, pero la contabilidad de la memoria es absolutamente crítica.
La presión de la caché de página, los datos del modelo anclados, los expertos residentes y la caché KV deben considerarse en conjunto.
No copie ciegamente indicadores de máximo rendimiento de máquinas con configuraciones de RAM mucho más grandes.
Consumo de energía, térmicas y costo de inferencia.
Esta es otra agradable sorpresa.
Potencia medida del componente:
Inactivo con el modelo cargado:
- CPU: ~5.8 W
- GPU: 15–18 W
Durante la generación:
- CPU: ~62.8 W
- GPU: 152–167 W
- Breves picos de GPU alrededor de 174 W
Potencia total estimada del sistema en la pared (no medida con un medidor de pared):
- Inactivo: ~54 W
- Generación: ~280W
Temperaturas observadas:
- GPU bajo carga: 62–68°C
- GPU en reposo: ~40°C
- NVMe: 38–47°C
No se observó estrangulamiento térmico.
A un precio de electricidad supuesto de 0,25 €/kWh:
- 24 horas inactivo: ~0,32€
- 30 días continuamente inactivo: ~9,72€
- Una hora de generación activa: ~0,07€
Esto hace que sea completamente realista operar en casa un punto final de IA local capaz y que preserve la privacidad.
Por supuesto, esos son costos de electricidad estimados, no el costo total de propiedad. Se excluyen la depreciación, la refrigeración y el mantenimiento del hardware.
Donde la configuración RTX 3060 deja de tener sentido
Esta configuración es excelente para solicitudes interactivas breves, pero tiene límites.
Lo más importante:
- Contexto máximo: 32.768 tokens
- Un aviso cercano a 32K deja espacio insuficiente para la generación
- El límite de referencia práctico fue de ~30,165 tokens de entrada
- Pensar/razonar puede consumir cientos de tokens generados adicionales
- Las sesiones de agentes de larga duración se vuelven rápidamente limitadas
A modo de comparación, ejecuté el mismo modelo en un sistema local más potente con una GPU de 24 GB.
Rendimiento medido en ese sistema:
- Precarga de mensajes 4K: 1339 tok/s
- Decodificación 4K: 94 toneladas/s
- Precarga de mensajes de 16 000: 2956 tok/s
- Decodificación de 16K: 125 tok/s
- Contexto máximo: 262,144 tokens
- 15 hilos de trabajo
El sistema RTX 3060 ofrece un rendimiento de precarga mucho menor y aproximadamente la mitad del rendimiento de decodificación en casos comparables, con una octava parte del contexto disponible.
Sin embargo, la tarjeta de 12 GB es mucho más accesible y sigue siendo increíblemente útil.
Mi enfoque actual:
- Hardware más potente para agentes complejos y de larga duración
- GPU asequibles de 12 GB para chat, flujos de trabajo cortos, experimentos e inferencia de respaldo
La cuestión no es pretender que una GPU barata reemplace una máquina de alta gama.
La cuestión es cuánta IA local útil ya puede ejecutarse en hardware económico.
¿Qué podría optimizarse aún?
El sistema ya está funcionando bien, pero hay algunas vías interesantes para futuros experimentos.
inferencia concurrente
La opción --slots 2 podría mejorar el rendimiento total con dos conversaciones simultáneas.
Es posible obtener un rendimiento agregado estimado de +10 a 12 % para esta carga de trabajo, pero necesita validación.
Esto no significa que una sola conversación sea un 12% más rápida.
Lotes de precarga más grandes
Actual: --prefill 4096
Candidato: --prefill auto:16384
Las ventanas de precarga más grandes podrían mejorar el procesamiento prolongado, pero la VRAM disponible ya es escasa.
Con aproximadamente 11,14 GiB de los 12 GiB de la GPU ocupados, el comportamiento de la memoria debe medirse con cuidado.
Más RAM del sistema
El uso de --ple-io ram podría traer más datos del modelo a la memoria del sistema y reducir las lecturas de almacenamiento.
La documentación del desarrollador sugiere:
- +16–31 % de rendimiento de precarga
- +3–11 % de rendimiento de decodificación
Pero esta configuración requeriría sustancialmente más RAM, aproximadamente 72+ GiB para el diseño medido.
No es práctico con la configuración actual de 48 GB.
Decodificación especulativa
La decodificación especulativa MTP ya está habilitada.
Aceptación observada: ~33 a 41 tokens aceptados de 50 a 60 redactados, o aproximadamente entre 65 y 70 %.
Contexto más largo
El límite actual de 32K es un límite de configuración operativa, no evidencia de que el modelo en sí solo admita 32K.
Aumentarlo requiere volver a verificar la capacidad de la memoria, el comportamiento de la caché KV, la latencia y la estabilidad.
Para esta carga de trabajo, reducir las costosas lecturas de expertos y mejorar los patrones de acceso puede ser más importante que aumentar el ancho de banda secuencial máximo de la unidad.
Como siempre: compare la carga de trabajo real, no sólo las cifras de marketing de hardware.
Pensamientos finales
Esto es lo que demuestra este experimento.
Un modelo MoE cuantificado de ~83,6 GB se puede ejecutar localmente en:
- RTX 3060 12 GB
- 48 GB DDR5 RAM
- CPU Intel de consumo
- PCIe 5.0 NVMe SSD
- Ubuntu + Strata
Con resultados medidos hasta:
- 68 tok/s decodificación en caliente
- Procesamiento rápido de 916 tok/s
- Aviso en frío de 30.000 tokens en ~34 segundos
- Mensaje de 30 K totalmente almacenado en caché: ~0,44 s hasta el primer token
- No hay intercambio en condiciones normales de funcionamiento.
Pero hay salvedades importantes.
- El contexto máximo configurado es 32K
- El enrutamiento rápido y experto cambia el comportamiento del modelo
- La velocidad más alta no es necesariamente la más alta calidad
- El rendimiento del almacenamiento depende de los patrones de acceso
- La gestión de la memoria requiere un ajuste cuidadoso
- Los agentes de larga duración se benefician de un hardware más potente
Estoy particularmente interesado en la economía práctica de la IA local.
No solo el punto de referencia máximo en un sistema de 10.000 €, sino también el rendimiento útil que se puede lograr en máquinas de consumo y configuraciones asequibles a partir de 1.000 €.
La privacidad, la independencia, los costos operativos controlados y la utilidad en el mundo real son más importantes que perseguir cifras de referencia impresionantes por sí solo.
Este todavía es un experimento en evolución y seguiré compartiendo las mediciones, fallas, cambios de configuración y mejoras.
El futuro de la IA local ya se está volviendo sorprendentemente asequible.
Adiciones posteriores
Oh, olvidé mencionar que la GPU se ejecuta con NVIDIA Unlock, que se lanzó hace apenas unos días, la semana pasada.
Ahora le pedí a mi agente de IA que ejecutara los mismos puntos de referencia sin el desbloqueo, por lo que podremos comparar los resultados en unos 15 a 20 minutos.
En los próximos días, aunque no hoy, instalaré esta GPU en un sistema que cueste menos de $1000 y veré cómo funciona allí.