Notícias
Primeiras execuções de Strata e um laboratório para configurações de IA locais repetíveis
31 tok/s com um modelo de ~47 GB usando apenas cerca de 3 GB de RAM do sistema, 45-48 tok / s após uma atualização de RAM, 32 GB de RAM confirmados como suficientes, o primeiro fluxo de trabalho autônomo durante a noite e máquinas idênticas para Configurações repetíveis.
O primeiro resultado: 31 tokens por segundo
- Strata v0.1.41
- Modelo: Qwen3.8-Flash-Next IQ3_XXS
- CPU: Intel Core Ultra 7 270K Plus
- GPU: AMD Radeon RX 9070 OC, 16 GB GDDR6
- MEMÓRIA RAM: 32 GB DDR5-6000
- SSD: Lexar NM1090 Pro 2 TB, NVMe PCIe 5.0
- Contexto: 65,536 tokens
O modelo gerou 12.136 tokens em cerca de 6,5 minutos: 31 tokens por segundo. Com um modelo de cerca de 47 GB, a VRAM estava quase cheia, enquanto o uso de RAM do sistema era de apenas 3 GB: Strata lê parte do modelo diretamente do SSD. A GPU desenhou cerca de 130-150 W, permaneceu em 45 C e os ventiladores eram quase inaudíveis. Isso abre a possibilidade de sistemas de IA locais significativamente mais baratos, sem grandes quantidades de RAM ou plataformas de servidor caras.
Um programa sistemático sobre hardware diferente
Estes resultados deram início a um programa mais sistemático: Strata em 11 computadores com configurações muito diferentes, com GPUs NVIDIA, AMD e Intel, DDR4 e DDR5, e armazenamento NVMe de PCIe 3.0 a PCIe 5.0, incluindo uma matriz PCIe 5.0 RAID 0 de cerca de 35 GB/s. primeiro compatibilidade, desempenho e estabilidade; depois tarefas práticas diárias e de negócios.
O caso oposto também foi verificado: em um mini PC sem GPU discreta e 8 GB de RAM, foi possível construir Strata, mas o modelo não foi lançado, mesmo após a adição de RAM, devido à memória de vídeo alocada dinamicamente. Conclusão: o Strata não é iniciado nesta configuração não documentada.
256K contexto e as primeiras lições práticas
No sistema RX 9070 com um contexto de 256k, a saída foi de 15-30 tokens por segundo. Em uma sessão (9:44-12: 00): 18 solicitações, cerca de 108K tokens de prompt (114 tok/s), cerca de 856k reutilizados, cerca de 100k escritos (22,6 tok/s). De cerca de 25 pedidos, alguns quebraram: um prompt com cinco perguntas ao mesmo tempo (funcionou quando dividido) e um pedido de uma resposta simbólica de 60-70 mil. Outras saídas atingiram 14-22 mil fichas, e as longas gerações mantiveram-se em qualidade.
Strata não detectou a GPU sem um monitor conectado nesta placa ASUS Pro Q870M-C-CSM; um plugue fictício HDMI resolveu isso.
32 GB de RAM são suficientes
Com 32 GB de RAM, o Strata pode ser executado sem carregar o modelo na RAM do sistema: a memória permanece livre para outras tarefas e a CPU para cargas de trabalho paralelas, a 15-20 tok/S. Com 64 GB na mesma máquina (Strata v0.1.43, Qwen3.8-Flash-Next IQ3_S), a geração atingiu 45-48 tok/s, mas com muito menos memória para outros trabalhos. Mais tarde, em duas configurações diferentes, incluindo DDR4, Strata mal usou RAM em 15-25 tok/s, enquanto cerca de metade da CPU permaneceu livre para Hermes e componentes de suporte. O desempenho diminui à medida que o comprimento do contexto aumenta, por isso depende das tarefas.
O primeiro fluxo de trabalho autónomo
Uma execução noturna em hardware não suportado sem GPU discreta deu cerca de 1 token por segundo, porque grande parte do modelo acabou em swap. A velocidade não era o objetivo: a tarefa era atribuída à noite e o resultado estava pronto pela manhã. Hermes então mudou-se para uma máquina com uma velocidade utilizável e começou o trabalho diário. Uma manhã, o check já usa sensores do Home Assistant e monitora backups, integridade do disco e temperaturas em computadores conectados; ele prontamente informou que a sala do servidor estava ficando muito quente com seis computadores funcionando.
Um laboratório de máquinas idênticas
Para transformar os resultados individuais em uma configuração repetível, compramos 10 placas-mãe e CPUs idênticas para 10 sistemas correspondentes: uma plataforma ASUS com 8 slots de RAM, DDR4 acessível e gerenciamento remoto no nível do BIOS, para que os agentes possam reinstalar o sistema operacional remotamente.
Já tínhamos montado 20-30 computadores quase do zero e gerido-os por voz a partir de um telefone através de agentes na nuvem, incluindo um fluxo de trabalho contabilístico desde a instalação do ERP até à introdução de facturas no sistema fiscal Italiano. O objetivo agora é reproduzir esses fluxos de trabalho com IA local. Fora da caixa, as tarefas que levam segundos ou um minuto na nuvem levaram de 5 a 10 minutos localmente; a otimização veio a seguir. As tarefas vêm de muitas fontes, e os agentes as arquivam no OpenProject e as atribuem ao agente ou pessoa mais adequado.
O que isto significa para um cliente Box
- Modelos grandes podem ser executados em hardware acessível com RAM modesta.
- As configurações são escolhidas a partir de medições em máquinas reais.
- Máquinas idênticas tornam os resultados repetíveis e a gestão remota possível.