Agentes locales de IA afinando el hardware en el que se ejecutan

Un sistema de IA local no tiene que ajustarse a mano. En nuestros experimentos, el agente que se ejecuta en hardware local analiza ese mismo hardware, ejecuta sus propias mediciones y mantiene solo la configuración que realmente ayuda. A continuación se muestran cuatro resultados de la última semana, del más reciente al más antiguo.

Limitación de los relojes de impulso de la CPU: misma velocidad, menos calor

Un truco subestimado para ejecutar IA local es limitar los relojes de impulso de CPU y/o GPU. Por voz, le pedimos al agente local de IA que optimizara la computadora portátil que ejecuta nuestro cerebro principal de IA. Redujo la frecuencia de la CPU de 5,5 GHz a 4,5 GHz.

• La velocidad de inferencia del LLM en Strata se mantuvo exactamente igual, sin ninguna pérdida.
• La temperatura de la CPU se redujo en aproximadamente un 10%.
• El consumo de energía de la CPU disminuyó significativamente.
• Las temperaturas de la GPU también bajaron, sin limitar los relojes de la GPU.

La CPU y la GPU comparten un presupuesto térmico, por lo que reducir el impulso innecesario de la CPU también ayuda a la GPU. Nadie pasó horas sintonizando: simplemente se le dijo al agente que encontrara los límites óptimos, y él mismo ejecutó los experimentos mientras continuaba trabajando en otras cosas.

Autodiagnóstico: confíe en la IA, pero verifíquela

Configuración: Strata + Qwen3.8-Next-IQ3_S. La IA local declaró que un límite de potencia de la GPU no se puede corregir. Cuestionamos el hallazgo, lo verificamos externamente (incluso la versión gratuita de ChatGPT es suficiente para esto), fijamos el límite y obtuvimos un rendimiento del 30-35%.

La regla que aplicamos: use IA para autodiagnósticos, pero verifique los hallazgos críticos.

Optimización automática en una computadora portátil RTX 5090

Strata en una computadora portátil para juegos con RTX 5090 (24 GB de VRAM), modelo Qwen3.8-Flash-Next IQ3_S:

• Decodificación: 83.6 tok/s
• Decodificación del agente: 99.8 tok/s
• Llenado previo 4K: 1,443 tok/s
• Llenado previo de 16K: 2,132 tok/s
• Primera ficha: 0.28 s

Después de eso, el agente optimizó la misma máquina por sí mismo:

• Decodificación cálida: 63–110 → 109–118 tok/s
• Decodificación máxima del agente: 119.5 → 125.5 tok/s (+5%)
• Se guardó la configuración optimizada, se revirtieron las configuraciones inestables y se cerró el servidor de forma segura.

RTX 3060 12 GB: el desbloqueo y las primeras ganancias

En una de nuestras computadoras experimentales (una pequeña carcasa ITX, 48 GB de RAM, una RTX 3060 de 12 GB) habilitamos el desbloqueo de NVIDIA. La ganancia medida: hasta un + 78% en cómputo de GPU y un +11% en prefill de inferencia de IA.

Para ponerlo en perspectiva, con el trabajo next Strata de coldniko, la MEMORIA RAM RTX 3060 de 12 GB + 48 GB pasó de 32 a 60-80 tokens sostenidos por segundo. Nuestro Mac Studio M3 Ultra (60 núcleos de GPU, 256 GB de RAM, Strata v0.2.6) entregó decodificación de 61,4 kb/sy llenado previo de 734 tok/s en el mismo modelo Qwen3.8-Flash-Next IQ3_S. Los resultados completos de esta tarjeta se encuentran en un artículo separado.

Qué significa para un cliente de Box

• La configuración se elige por medición, no por conjeturas: el agente compara el antes y el después y revierte lo que no ayuda.
• Temperaturas más bajas y consumo de energía a la misma velocidad significan un funcionamiento más silencioso y menos desgaste.
• Las conclusiones críticas del agente se verifican de forma cruzada antes de actuar.
• El hardware asequible sigue siendo cada vez más rápido solo con las actualizaciones de software.

IA local optimizando el hardware que ejecuta IA local.

Hilo original en X. · El artículo de RTX 3060 · Todas las noticias