Notícias
Ciclo autónomo do Strata: RTX 3060 contra Mac Studio M3, primeiros resultados
Um modelo (Qwen3.8-Flash-Next IQ3_S), os mesmos ficheiros e a mesma versão do Strata em duas configurações muito diferentes. Dados das últimas 12 horas.
Configuração
- PC de experimentação: RTX 3060 com 12 GB de VRAM e 24 GB de RAM de canal único; memória extremamente apertada e definições de execução agressivas. Funciona 24/7.
- Hermes (computador P2005): 24 GB de VRAM e 64 GB de RAM. Analisa os resultados, verifica o trabalho, introduz melhorias.
- Mac Studio M3: 256 GB de memória unificada; o modelo inteiro cabe em memória. Execuções paralelas de comparação.
- Mesmos ficheiros do modelo, mesma versão do modelo e do Strata em todos os sistemas; tarefas idênticas e repetições correspondentes.
O que é medido
- Utilidade em tarefas reais com hardware limitado.
- Degradação com janelas de contexto grandes.
- Qualidade das respostas em hardware diferente.
- Se o modelo consegue melhorar o próprio trabalho: encontrar erros, corrigi-los e preveni-los num ciclo contínuo.
Velocidade, últimas 12 horas
| Métrica | RTX 3060 | Mac Studio M3 |
|---|---|---|
| Registos de log | 3392 | 4012 |
| Repetições únicas de tarefas | 2387 | 2497 |
| Saída média por tarefa, tokens | 235 | 228 |
| Duração média da tarefa, s | 8.4 | 4.3 |
| Velocidade de geração agregada, tok/s | 28 | 53.4 |
| Velocidade de geração mediana, tok/s | 19 | 45 |
| ID da tarefa | RTX 3060, tok/s | Mac Studio M3, tok/s |
|---|---|---|
| A-me-00-0 | 44 | 69 |
| D-ea-00-0 | 5 | 18 |
| F-ha-01-0 | 18 | 45 |
| F-ha-02-0 | 19 | 39 |
| G-me-04 | 9 | 16 |
| H-ha-04-0 | 20 | 48 |
| J-ha-01-0 | 44 | 67 |
| K-ha-04-0 | 9 | 32 |
A velocidade de geração agregada é cerca de 1,9 vezes maior no Mac Studio. O modelo puro no PC de experimentação atinge cerca de 60 tok/s. O Hermes gera mais depressa, mas tem outra carga, por isso uma comparação direta seria enganadora.
Qualidade das respostas: v1.8 e v1.9
| Métrica | RTX 3060 v1.8 | Mac Studio v1.8 | RTX 3060 v1.9 | Mac Studio v1.9 |
|---|---|---|---|---|
| Pontuação média | 0.882 | 0.876 | 0.938 | 0.944 |
| Respostas perfeitas, % | 68.9 | 65.2 | 79.6 | 77.9 |
| Conformidade com o formato, % | 89.2 | 92.0 | 97.7 | 99.8 |
| Diferença Mac − RTX | −0.006 | +0.006 | ||
A qualidade está quase empatada; na velocidade ganha o Mac. De v1.8 para v1.9 a pontuação média subiu 6,3% na RTX 3060 e 7,8% no Mac Studio; a proporção de respostas perfeitas também subiu. As diferenças por categoria ainda estão a ser analisadas.
Comportamento do agente
Sem indicação nos prompts, o agente começou a estimar o custo em tokens das suas melhorias e, em algumas versões, a otimizar os processos para reduzir o consumo desnecessário de tokens.
A seguir
Dados recolhidos: 13 000 execuções, 16 000 ficheiros, 1 000 ficheiros de log. Está a ser construída uma demo de um sistema analítico para uma análise mais profunda dos resultados desta experiência.