Experimento con una tarjeta gráfica AMD RX 580 de 49 €: modelos pequeños y consumo de energía

El 12 de noviembre de 2026 se instaló una AMD Radeon RX 580 8 GB en la P3001, una estación de trabajo de segunda mano con procesador Xeon E5-2697 v2 y 64 GB de memoria ECC DDR3-1333 instalados en modo de cuatro canales (el sistema ve unos 62 GB). La tarjeta se compró por 49 €: 45 € por la propia tarjeta y 4 € de envío. Se trata de la variante RX 580 2048SP: tiene 2.048 procesadores de flujo, no los 2.304 de una RX 580 «completa», y en lo esencial está más cerca de una RX 570. Esa distinción importa al compararla con otras tarjetas de la misma línea. El sistema operativo es Ubuntu 24.04.

Strata no arranca en esta tarjeta, y no planeamos pedir compatibilidad de este modelo de GPU en Strata: el tiempo del autor se emplea mejor en hardware más capaz. El experimento usó llama.cpp con el backend Vulkan. No hay CUDA, no hay núcleos tensoriales ni aceleración FP16. En la misma estación, un modelo pequeño 3B en cuantización Q4 alcanzó 60 tok/s en decodificación. Como comparación, en un modelo Qwen grande de 77,9 GiB, RX 580 con llama.cpp midió 33,9 tok/s en prefill y 5,85 tok/s en decodificación. La misma estación con una RTX 3050 8 GB y Strata, en esta carga, midió 128–188 tok/s en prefill y 23–31 tok/s en decodificación. Durante la inferencia, la RX 580 consumió hasta unos 120 W. Para un modelo de ese tamaño la tarjeta es la opción más débil; como «segundo cerebro» para microtareas cortas, los resultados la siguen haciendo útil, y cuesta menos que una cantidad comparable de memoria de sistema más reciente.

El experimento se alejó después del modelo más grande posible y se orientó a modelos pequeños que caben por completo en 8 GB de memoria de vídeo. Se midieron por separado tres modelos: Qwen2.5-3B Q4 — 1,79 GiB, 392 tok/s de prefill y 60 tok/s de decodificación; Nemotron Nano 4B Q4 — 2,63 GiB, 268 / 40 tok/s; y Bonsai 2 9B Q2 — 2,37 GiB, 170 / 27 tok/s. El peso combinado es 6,79 GiB. En teoría los tres podrían caber en 8 GB, dejando unos 1,21 GiB para la caché KV, los búferes de cálculo y la sobrecarga. Es justo, y la residencia simultánea de los tres en memoria de vídeo no se ha verificado.

También se midió el consumo real de la tarjeta durante la inferencia local en cinco límites de potencia: 120, 100, 70, 50 y 30 W. Para los modelos pequeños que caben por completo en la memoria de vídeo, en este experimento el punto más eficiente para la generación fue 70 W. Frente a 120 W, el consumo de la tarjeta durante la inferencia fue aproximadamente un 36 % menor, la velocidad de generación solo un 12–15 % menor y la energía por token generado un 26–28 % menor. A 70 W el modelo 3B generó 39,5 tok/s. Una respuesta breve de 200 tokens usó 0,091 Wh de electricidad de la propia tarjeta. A 0,25 €/kWh eso es 0,000023 € por una respuesta así, 0,023 € por mil respuestas al día y unos 8,30 € por 365.000 respuestas de ese tipo en un año. Esta estimación no incluye el consumo en reposo ni el resto del ordenador. En reposo, la RX 580 consume unos 14 W, equivalentes a unos 30,70 € al año si permanece siempre encendida; el procesador, la memoria, la placa base y el almacenamiento suman lo suyo. Para cargas de baja intensidad, reducir el consumo en reposo puede importar más que reducir el de la inferencia. Precisión: 70 W es óptimo para la generación con modelos pequeños medida en este experimento, no necesariamente para cualquier tarea. Las peticiones largas, las cadenas de reconocimiento de texto en imágenes, el procesamiento de audio y otras cargas pueden tener características de velocidad y energía completamente distintas.

La siguiente línea de trabajo no es «cuán grande puede ser el modelo ejecutado», sino cuántas tareas cotidianas útiles puede realizar un sistema local económico: análisis de PDF pequeños, extracción de datos de escaneos, reconocimiento de texto en imágenes, transcripción de grabaciones cortas, clasificación de archivos, resúmenes, lectura de registros, enrutado de peticiones y preparación de datos para un sistema de IA más grande. Esas cargas multimodales y de documentos aún no han sido objeto de experimento en esta tarjeta. Su viabilidad, exactitud, latencia, necesidad de memoria y coste energético quedan por investigar. Algunas operaciones quizá se gestionen mejor en el procesador, dejando la tarjeta para la inferencia. Si pueden permanecer cargados varios modelos especializados, con solo uno en ejecución cada vez, es también una pregunta aún abierta.

La alimentación es una cuestión de ingeniería aparte. Una ranura PCIe x16 estándar puede entregar hasta 75 W directamente desde la placa base. El modo más eficiente para modelos pequeños en este experimento fue un límite de software de 70 W. La idea que estamos considerando es una configuración que funcione solo desde la ranura, sin un conector de alimentación adicional de 6 u 8 pines, de modo que una tarjeta así pudiera instalarse en un ordenador de oficina ya existente, sin cambiar la fuente de alimentación. Es una dirección de trabajo, no una solución terminada. En el experimento, incluso con el límite de software de 70 W, aún se observaron picos breves por encima de 75 W, y la RX 580 de la que disponemos sigue necesitando alimentación auxiliar. Un diseño seguro «solo desde la ranura» exigiría trabajo de ingeniería sobre la potencia de pico y comprobaciones de compatibilidad. Los flujos documentales, gráficos y de audio también quedan por confirmar. No afirmamos que una instalación así se esté ya suministrando a clientes.

Una tarjeta de 49 € no sustituye al sistema principal con Strata. Con los resultados ya obtenidos puede convertirse en un ejecutor económico, relativamente parco, para muchas tareas cortas y repetitivas, manteniendo los datos en local. Todas las mediciones, los experimentos sobre el límite de potencia, el método, los registros en bruto, los fallos y las conclusiones están publicados en el repositorio. Estamos averiguando cuánta IA local útil se puede obtener de un hardware que a menudo se considera obsoleto.

Mediciones en el repositorio · Publicación en X · Todas las noticias