Noticias
Bucle autónomo de Strata: RTX 3060 frente a Mac Studio M3, primeros resultados
Un modelo (Qwen3.8-Flash-Next IQ3_S), los mismos archivos y la misma versión de Strata en dos configuraciones muy distintas. Datos de las últimas 12 horas.
Configuración
- PC de experimentación: RTX 3060 con 12 GB de VRAM y 24 GB de RAM de un solo canal; memoria extremadamente justa y ajustes de ejecución agresivos. Funciona 24/7.
- Hermes (ordenador P2005): 24 GB de VRAM y 64 GB de RAM. Analiza los resultados, verifica el trabajo, introduce mejoras.
- Mac Studio M3: 256 GB de memoria unificada; todo el modelo cabe en memoria. Ejecuciones paralelas de comparación.
- Mismos archivos del modelo, misma versión del modelo y de Strata en todos los sistemas; tareas idénticas y repeticiones equivalentes.
Qué se mide
- Utilidad en tareas reales con hardware limitado.
- Degradación con ventanas de contexto grandes.
- Calidad de las respuestas en distinto hardware.
- Si el modelo puede mejorar su propio trabajo: encontrar errores, corregirlos y prevenirlos en un bucle continuo.
Velocidad, últimas 12 horas
| Métrica | RTX 3060 | Mac Studio M3 |
|---|---|---|
| Registros de log | 3392 | 4012 |
| Repeticiones únicas de tareas | 2387 | 2497 |
| Salida media por tarea, tokens | 235 | 228 |
| Duración media de la tarea, s | 8.4 | 4.3 |
| Velocidad de generación agregada, tok/s | 28 | 53.4 |
| Velocidad de generación mediana, tok/s | 19 | 45 |
| ID de tarea | RTX 3060, tok/s | Mac Studio M3, tok/s |
|---|---|---|
| A-me-00-0 | 44 | 69 |
| D-ea-00-0 | 5 | 18 |
| F-ha-01-0 | 18 | 45 |
| F-ha-02-0 | 19 | 39 |
| G-me-04 | 9 | 16 |
| H-ha-04-0 | 20 | 48 |
| J-ha-01-0 | 44 | 67 |
| K-ha-04-0 | 9 | 32 |
La velocidad de generación agregada es unas 1,9 veces mayor en el Mac Studio. El modelo puro en el PC de experimentación alcanza unos 60 tok/s. Hermes genera más rápido, pero tiene otra carga, así que una comparación directa sería engañosa.
Calidad de las respuestas: v1.8 y v1.9
| Métrica | RTX 3060 v1.8 | Mac Studio v1.8 | RTX 3060 v1.9 | Mac Studio v1.9 |
|---|---|---|---|---|
| Puntuación media | 0.882 | 0.876 | 0.938 | 0.944 |
| Respuestas perfectas, % | 68.9 | 65.2 | 79.6 | 77.9 |
| Cumplimiento del formato, % | 89.2 | 92.0 | 97.7 | 99.8 |
| Diferencia Mac − RTX | −0.006 | +0.006 | ||
La calidad está casi a la par; en velocidad gana el Mac. De v1.8 a v1.9 la puntuación media subió un 6,3 % en la RTX 3060 y un 7,8 % en el Mac Studio; también subió la proporción de respuestas perfectas. Las diferencias por categoría aún se están analizando.
Comportamiento del agente
Sin indicación en los prompts, el agente empezó a estimar el coste en tokens de sus mejoras y, en algunas versiones, a optimizar sus procesos para reducir el consumo innecesario de tokens.
Siguiente paso
Datos reunidos: 13.000 ejecuciones, 16.000 archivos, 1.000 archivos de log. Se está construyendo una demo de un sistema analítico para un análisis más profundo de los resultados de este experimento.