Noticias
Primeras ejecuciones de Strata y un laboratorio para configuraciones locales repetibles de IA
31 tb / s con un modelo de ~47 GB que usa solo alrededor de 3 GB de RAM del sistema, 45-48 tb/s después de una actualización de RAM, 32 GB de RAM confirmados como suficientes, el primer flujo de trabajo nocturno autónomo y máquinas idénticas para configuraciones repetibles.
El primer resultado: 31 tokens por segundo
- Strata v0.1.41
- Modelo: Qwen3.8-Flash-Next IQ3_XXS
- CPU: Intel Core Ultra 7 270K Plus
- GPU: AMD Radeon RX 9070 OC, 16 GB GDDR6
- RAM: 32 GB DDR5-6000
- SSD: Lexar NM1090 Pro 2 TB, NVMe PCIe 5.0
- Contexto: 65,536 tokens
El modelo generó 12.136 tokens en aproximadamente 6,5 minutos: 31 tokens por segundo. Con un modelo de aproximadamente 47 GB, la VRAM estaba casi llena, mientras que el uso de RAM del sistema era de solo 3 GB: Strata lee parte del modelo directamente desde la SSD. La GPU consumió alrededor de 130-150 W, se mantuvo a 45 °C y los ventiladores apenas se escucharon. Esto abre la posibilidad de sistemas de IA locales significativamente más baratos, sin grandes cantidades de RAM o costosas plataformas de servidor.
Un programa sistemático en diferentes hardware
Estos resultados iniciaron un programa más sistemático: Strata en 11 computadoras con configuraciones muy diferentes, con GPU NVIDIA, AMD e Intel, DDR4 y DDR5, y almacenamiento NVMe desde PCIe 3.0 a PCIe 5.0, incluida una matriz PCIe 5.0 RAID 0 de aproximadamente 35 GB / s. Primero compatibilidad, rendimiento y estabilidad; luego tareas prácticas cotidianas y comerciales.
También se verificó el caso contrario: en una mini PC sin GPU discreta y 8 GB de RAM, se pudo construir Strata, pero el modelo no se lanzó, incluso después de agregar RAM, debido a la memoria de video asignada dinámicamente. Conclusión: Strata no se lanza en esta configuración indocumentada.
256K contexto y las primeras lecciones prácticas
En el sistema RX 9070 con un contexto de 256K, la salida fue de 15 a 30 tokens por segundo. En una sesión (9:44-12: 00): 18 solicitudes, alrededor de 108K tokens de solicitud (114 tok / s), alrededor de 856K reutilizados, alrededor de 100K escritos (22.6 tok / s). De unas 25 solicitudes, algunas se rompieron: un mensaje con cinco preguntas a la vez (funcionó cuando se dividió) y una solicitud de una respuesta simbólica de 60-70 mil. Otras salidas alcanzaron 14-22 mil tokens, y largas generaciones resistieron en calidad.
Strata no detectó la GPU sin un monitor conectado en esta placa ASUS Pro Q870M-C-CSM; un enchufe ficticio HDMI lo resolvió.
32 GB de RAM son suficientes
Con 32 GB de RAM, Strata puede ejecutarse sin cargar el modelo en la RAM del sistema: la memoria permanece libre para otras tareas y la CPU para cargas de trabajo paralelas, a 15-20 kb / s. Con 64 GB en la misma máquina (Strata v0.1.43, Qwen3.8-Flash-Next IQ3_S), la generación alcanzó los 45-48 tok/s, pero quedaba mucha menos memoria para otros trabajos. Más tarde, en dos configuraciones diferentes, incluida DDR4, Strata apenas usó RAM a 15-25 tok / s, mientras que aproximadamente la mitad de la CPU permaneció libre para Hermes y los componentes de soporte. El rendimiento disminuye a medida que aumenta la longitud del contexto, por lo que depende de las tareas.
El primer flujo de trabajo autónomo
Una ejecución nocturna en hardware no compatible sin GPU discreta dio alrededor de 1 token por segundo, porque gran parte del modelo terminó intercambiado. La velocidad no era el objetivo: la tarea se asignaba por la noche y el resultado estaba listo por la mañana. Hermes luego se mudó a una máquina con una velocidad utilizable y comenzó a trabajar todos los días. One morning check ya usa sensores de Home Assistant y monitorea las copias de seguridad, el estado del disco y las temperaturas en las computadoras conectadas; informó rápidamente que la sala de servidores se estaba calentando demasiado con seis computadoras en funcionamiento.
Un laboratorio de máquinas idénticas
Para convertir los resultados individuales en una configuración repetible, compramos 10 placas base y CPU idénticas para 10 sistemas coincidentes: una plataforma ASUS con 8 ranuras RAM, DDR4 asequible y administración remota a nivel de BIOS, para que los agentes puedan incluso reinstalar el sistema operativo de forma remota.
Ya habíamos configurado de 20 a 30 computadoras casi desde cero y las administrábamos por voz desde un teléfono a través de agentes en la nube, incluido un flujo de trabajo contable desde la instalación del ERP hasta la entrada de facturas en el sistema tributario italiano. El objetivo ahora es reproducir dichos flujos de trabajo con IA local. Fuera de la caja, las tareas que toman segundos o un minuto en la nube tomaron de 5 a 10 minutos localmente; la optimización vino después. Las tareas provienen de muchas fuentes, y los agentes las archivan en OpenProject y las asignan al agente o persona más adecuada.
Qué significa para un cliente de Box
- Los modelos grandes pueden ejecutarse en hardware asequible con RAM modesta.
- Las configuraciones se eligen a partir de mediciones en máquinas reales.
- Máquinas idénticas hacen que los resultados sean repetibles y posible la gestión remota.