Noticias
Lanzamientos de Strata en nuestra flota: el agente actualiza, mide y optimiza
Nuestro agente detecta nuevos lanzamientos de Strata de coldniko, actualiza las máquinas y vuelve a ejecutar los puntos de referencia: decodifique hasta 2.4× más rápido a 16K en un sistema Tesla P100, +46% de ranuras expert en un sistema Radeon, Mac Studio confirmó que era óptimo y DeepSeek V4.1-Flash ejecutándose localmente.
Strata es un motor de inferencia de IA local desarrollado por coldniko. Desde mediados de octubre hemos estado siguiendo sus lanzamientos en varias de nuestras propias máquinas. Cada computadora ejecuta el mismo modelo, Qwen3.8-Flash-Next IQ3_S, por lo que los resultados son comparables. Las máquinas reciben el nombre de su nivel de hardware:
- P1005: Intel Xeon E5-2690 v4, NVIDIA Tesla P100 16 GB HBM2, 32 GB DDR4, NVMe alrededor de 2,5 GB/s, CUDA 12.
- P2002: Intel Core Ultra 7 270K Plus, AMD Radeon RDNA4 (gfx1201) 16 GB, 64 GB DDR5, NVMe RAID 0, ROCm / HIP.
- Mac Studio: Apple M3 Ultra, Metal.
El propio agente detecta una nueva liberación de Strata, la descarga, ejecuta las mediciones y, previa solicitud, optimiza la configuración. Toda la optimización se ejecuta localmente, utilizando el mismo modelo Qwen3.8-Flash-Next IQ3_S en la última versión de Strata.
P1005 (Tesla P100): de la falta de datos a la computación limitada
Los expertos en modelos totalizan 46,8 GiB, demasiado grandes para la RAM, y la tarjeta de 16 GB estaba tan llena que el motor advirtió que la decodificación se reduciría a unos pocos tokens por segundo. Siguiendo la documentación del repositorio de Strata, el agente cambió cuatro cosas:
--vram-reserve-mib 960 (was 700)
--max-context 65536 (was 262144)
STRATA_Q8_SM60=0
--resident-experts
STRATA_DENSE_F32=1Resultado: La utilización de la GPU pasó del 27% al 92% (155-170 W). El llenado previo se volvió hasta 4.4× más rápido; decodificar +40% a 8K y 2.4× a 16K.
| Contexto | Antes (solicitud / decodificación, tok/ s) | Después (solicitud / decodificación, tok/ s) |
|---|---|---|
| 512 | 47.7 / 13.4 | 54.5 / 14.3 |
| 2K | 62.6 / 10.3 | 74.5 / 13.9 |
| 8K | 46.4 / 9.9 | 178.1 / 14.3 |
| 16K | 43.8 / 6.2 | 193.9 / 15.1 |
| 32K | 44.1 / 6.0 | 213.8 / 12.6 |
Los valores son tokens de solicitud / decodificación por segundo. El costo: 24 GiB de RAM ahora están bloqueados por página para los expertos, por lo que nada más grande debería ejecutarse en esta máquina, y el límite de contexto es de 65K en lugar de 262K. Todo persiste a través de reinicios.
P2002 (Radeon RDNA4): sintonización en vivo, luego un breve reinicio
Primero, sintonización en vivo sin reiniciar el motor. Se mantuvo el regulador de CPU configurado en rendimiento y una caché de páginas más larga para los expertos; los relojes de GPU anclados redujeron el llenado previo en aproximadamente un 10% y fueron rechazados; la lectura anticipada más grande no tuvo ningún efecto. Decodificación a 2K y 8K mejorada en un 10-18%.
Luego, con un reinicio de aproximadamente 40 segundos (la cadena de respaldo llevó la sesión, sin interrupción visible), el agente elevó la reserva de VRAM de 700 a 960 MiB y habilitó --kv-grow, manteniendo el contexto completo de 262K. Los espacios de expertos crecieron de 2518 a 3686 (+46%), la tasa de aciertos de expertos aumentó del 74% al 87% y desaparecieron las advertencias de paginación. También agregó un perro guardián para que el motor se reinicie por sí solo.
| Contexto | Antes (solicitud / decodificación, tok/ s) | Después (solicitud / decodificación, tok/ s) |
|---|---|---|
| 512 | 547 / 63.6 | 602 / 57.5–64 |
| 2K | 1228 / 60–71 | 1275–1303 / 66–74 |
| 8K | 2085 / 59–69 | 1723–2144 / 79–82 |
| 16K | 2180 / 72.7 | 1988–2169 / 76–78 |
| 32K | 2056 / 72.9 | 2023–2096 / 76–77 |
Suite estándar: decodificación de chat 74,3 tok/s (antes 71,9), primer token 0,39 s (antes 0,46), decodificación de agente 66,7 tok /s (antes 59,2). El agente también notó honestamente que los primeros números inmediatamente después de un reinicio son aproximadamente un 25% bajos porque la caché de expertos aún está fría.
Mac Studio (M3 Ultra): los valores predeterminados ya eran óptimos
El agente reinició el motor seis veces para ejecuciones A/B limpias y demostró empíricamente que la configuración predeterminada ya era la mejor. Las opciones de KV no tuvieron ningún efecto en la memoria unificada; una gran caché de expertos cableada era dañina (la decodificación colapsó a aproximadamente 32 tok / s) y se revirtió. El llenado previo de aproximadamente 790 tok / s es el límite de ancho de banda del hardware, no de la configuración. Suite final: decodificación de chat 69.1 tok/ s, primer token 0.48 s. Todos los callejones sin salida fueron documentados para que nadie los repita.
Nuevos lanzamientos, medidos
- Strata 0.2.0 con una interfaz de usuario: Strata e IA local ahora se pueden instalar sin la línea de comandos, lo que los hace accesibles a un público mucho más amplio.
- v0.2.2: tres computadoras actualizadas de la v0.2.1.
- v0.2.3 → v0.2.3.1 en Mac Studio: decodifique 61,3 → 66,4 tok/s (+8%), rellene previamente 729,9 → 738,9 tok/s (+1%), sin regresión y sin descargas repetidas de archivos de modelo.
- v0.2.6 y v0.2.7: cada lanzamiento hasta ahora ha traído otra ganancia de rendimiento. Para la versión 0.2.7, el agente preparó un resumen de las notas de la versión y no instaló nada sin aprobación.
DeepSeek V4.1-Flash ejecutándose localmente
DeepSeek V4.1-Flash, un modelo MoE grande, ahora se ejecuta localmente en Strata: los expertos en caliente permanecen en la RAM y el resto se transmite desde el SSD. Medimos decodificación de 14 tok / s. En nuestro hardware actual, esto no es suficiente para el cerebro principal del agente, pero funciona bien como modelo de segunda opinión y auditor nocturno.
Qué significa para un cliente de Box
- Las actualizaciones del motor son detectadas, aplicadas y medidas por el agente, con aprobación antes de los cambios.
- Cada nivel de hardware obtiene su propia configuración medida y se documentan las opciones fallidas.
- El mismo modelo en hardware diferente proporciona una base clara para elegir una configuración.