Noticias
Cómo creamos soluciones en ordenadores económicos
Estudiamos cuánto trabajo útil y fiable puede hacer un modelo de IA local en un ordenador barato y lo comparamos con una máquina en la que todo el modelo cabe en memoria.
Participan tres ordenadores. Un PC económico con tarjeta gráfica RTX 3060 trabaja con límites de memoria estrictos. Un segundo ordenador con el agente Hermes analiza los resultados, verifica el trabajo e introduce mejoras. Un Mac Studio M3 ejecuta en paralelo las mismas tareas como referencia con memoria suficiente. Todas las máquinas usan los mismos archivos del modelo y la misma versión de Strata.
Lo que nos importa no es la velocidad en sí, sino la calidad y la fiabilidad de las respuestas en tareas reales. Los resultados preliminares muestran que un hardware limitado no implica necesariamente una calidad de respuesta inferior.
Una parte aparte del experimento observa si el agente puede encontrar sus propios errores, corregirlos y prevenir otros parecidos. Sin que se lo pidieran, también empezó a tener en cuenta cuántos tokens cuestan sus mejoras y a reducir el consumo innecesario.
Estos experimentos llevan a resultados reales y a escenarios prácticos, por ejemplo el trabajo con documentos.