Contexto de 256K en una RTX 3050 8GB en una estación DDR3

El 11 de noviembre de 2026 se publicaron resultados de la estación P3001: un Intel Xeon E5-2697 v2 (12 núcleos / 24 hilos, solo AVX1), 64GB de RAM DDR3 ECC instalados (el sistema ve unos 62GB) a 1333 MT/s, una NVIDIA RTX 3050 8GB, un SSD NVMe y Ubuntu 24.04. El software era Strata 0.1.55 (compilación compatible con AVX) con Qwen3.8-Flash-Next IQ3_S, un modelo comprimido.

Configuración anterior de 16K: 59 tok/s en texto real

Ese mismo día, antes, se informó en la misma máquina de una configuración de contexto de 16K con caché KV de 8 bits. La caché KV es la memoria de trabajo del modelo para los tokens ya procesados. Las cifras publicadas con esa entrada:

La misma publicación indica 59 tok/s de decodificación en texto real y 120–132 tok/s de prefill. Un hilo posterior precisa que esos 59 tok/s provienen de la decodificación especulativa: Strata predice varios tokens siguientes y los verifica juntos. En texto real, la aceptación de las predicciones fue alta; en relleno artificial de prueba comparativa, no (alrededor del 70% de aceptación en relleno sintético, según la publicación de 16K). El prefill lo limitaban la DDR3-1333 y AVX1; en aquella configuración de 16K, 8GB de VRAM limitaban el contexto a 16K.

Configuración de 256K

El objetivo declarado era una ventana de contexto de 256K tokens — capacidad para unos 262.144 tokens en una sola petición. Un primer intento simplemente subió el límite a 256K con caché KV de 8 bits. Según la publicación, Strata intentó entonces conservar demasiada de esa memoria de trabajo en los 8GB de VRAM de la GPU, la caché de expertos en la GPU cayó a cero ranuras y siguió un error de cuBLAS. El servidor aún respondía, pero la aceleración de la GPU no funcionaba correctamente.

La solución publicada: pasar la caché KV de int8 a q4_0 (compresión de 4 bits), con la memoria por token bajando de unos 71KB a 29,5KB; fijar –kv-resident 20480, de modo que solo 20.480 posiciones KV permanezcan residentes en la memoria de la GPU y los datos KV adicionales lleguen desde la RAM del sistema; mantener 46,47GB de expertos del modelo en RAM DDR3 bloqueada (page-locked); conservar 498 ranuras de caché de expertos en la memoria de la GPU; y limitar la caché de indicaciones a un solo punto de control activo. Ajustes finales indicados: –max-context 262144, –kv q4_0, –kv-resident 20480, –prompt-cache 1, –prompt-cache-every 0. La publicación afirma que Strata arrancó entonces correctamente y comunicó max_context: 262144, loaded: true.

Velocidad medida

Las cifras siguientes son mediciones del propio motor de inferencia, una ejecución por fila: datos preliminares, no promedios de pruebas comparativas repetidas. El prefill es el procesamiento de la entrada antes de la respuesta; el decode es la generación token a token; el TTFT es la espera hasta el primer token de respuesta.

La publicación observa que subir la entrada de unos 6K a 160K tokens solo redujo el prefill de 188 a 173 tok/s, mientras que el decode se mantuvo en torno a 23–26 tok/s. Una ejecución repetida de 24K tokens con contexto en caché bajó el TTFT de 128,3 segundos a 0,49 segundos. Una entrada en frío de 160K tokens tardó unos 15,5 minutos hasta el primer token de respuesta — atribuido al cuello de botella del Xeon antiguo y de la memoria DDR3. Se menciona un informe del agente sobre una ejecución de 200K tokens, pero la fila numérica completa de esa ejecución no está en la tabla.

Una distinción importante en el hilo: 256K es el límite de contexto configurado y declarado. Las mediciones detalladas llegan a 160K, no a los 256K completos. La ventana completa de 262K aún no se había medido en el momento de las publicaciones. Una respuesta estima unos 26 minutos de prefill en frío para los 262K completos, y indica que eso sigue pendiente de medir. Los 59 tok/s no se han establecido para cargas con contexto de 256K. El prefill de la nueva configuración fue más alto que en la de 16K anterior; el hilo lo trata como una diferencia observada entre configuraciones, no como prueba de una sola causa, porque también cambiaron el formato KV y la disposición de la memoria.

Límites y una estimación energética

Límites enumerados en el hilo: memoria de la GPU casi llena, unos 7,5–7,7GB usados de 8GB, con algunas ejecuciones advirtiendo que solo quedaban libres 193–331MB; RAM del sistema en torno a 53GB de 62GB, con unos 46,5GB ocupados por expertos del modelo fijados en memoria; un solo punto de control caliente de la caché de indicaciones, de modo que el cambio entre conversaciones muy grandes puede exigir volver a procesar las entradas (un punto de control de 200K tokens por sí solo podría ocupar unos 4,7GB); y las indicaciones largas en frío son lentas.

Una estimación aproximada de la energía para el prefill de 160K se indica como 300W × 15,5 minutos ≈ 0,078 kWh. A 0,25 €/kWh, eso es unos 0,02 € de electricidad. La publicación lo marca como una estimación, no como una medición energética.

La conclusión práctica del hilo es que la IA local económica no está pensada para competir con los modelos en la nube en sesiones largas y exigentes, donde los servicios en la nube suelen ser más rápidos y económicos. La principal ventaja de estos ordenadores antiguos y baratos es la privacidad: procesar documentos sensibles en local. Para muchas de esas tareas basta una ventana de contexto pequeña. El resultado publicado es que una RTX 3050 8GB puede ejecutar un modelo local configurado a 256K sin trasladar toda su memoria de trabajo a la VRAM. Hacen falta más mediciones, incluido el rango de contexto completo, la repetibilidad y la calidad en las tareas.

Los resultados de las mediciones y los registros se publican en un repositorio público.

Repositorio del proyecto en GitHub · Publicación en X · Resultados de 16K · Todas las noticias