Notícias
Lançamentos da Strata na nossa frota: o agente actualiza, mede e optimiza
Nosso agente detecta novos lançamentos do Strata pela coldniko, atualiza as máquinas e reexecuta os benchmarks: decodificar até 2,4x mais rápido a 16k em um sistema Tesla P100, +46% de slots expert em um sistema Radeon, o Mac Studio confirmou o optimal e o Deepseek V4.1-Flash rodando localmente.
Strata é um motor de inferência de IA local desenvolvido pela coldniko. Desde meados de outubro que acompanhamos os seus lançamentos em várias das nossas próprias máquinas. Cada computador executa o mesmo modelo, Qwen3.8-Flash-Next IQ3_S, pelo que os resultados são comparáveis. As máquinas têm o nome do seu nível de hardware:
- P1005: Intel Xeon E5-2690 v4, NVIDIA Tesla P100 16 GB HBM2, 32 GB DDR4, NVMe cerca de 2,5 GB/s, CUDA 12.
- P2002: Intel Core Ultra 7 270K Plus, AMD Radeon RDNA4 (gfx1201) 16 GB, 64 GB DDR5, NVMe RAID 0, ROCm / HIP.
- Mac Studio: Apple M3 Ultra, Metal.
O próprio agente detecta uma nova liberação de Strata, baixa-a, executa as medições e, a pedido, otimiza a configuração. Toda a otimização é executada localmente, usando o mesmo modelo Qwen3.8-Flash-Next IQ3_S na versão mais recente do Strata.
P1005 (Tesla P100): da falta de dados à computação limitada
Os especialistas em modelos totalizam 46,8 GiB, muito grande para RAM, e o cartão de 16 GB estava tão cheio que o motor avisou que o decode cairia para alguns tokens por segundo. Seguindo a documentação do repositório Strata, o agente mudou quatro coisas:
--vram-reserve-mib 960 (was 700)
--max-context 65536 (was 262144)
STRATA_Q8_SM60=0
--resident-experts
STRATA_DENSE_F32=1Resultado: a utilização da GPU passou de 27% para 92% (155-170 W). O pré-preenchimento tornou-se até 4,4% mais rápido; descodificar +40% a 8k e 2,4% a 16k.
| Contexto | Antes (prompt / decode, tok / s) | Depois (prompt / decode, tok / s) |
|---|---|---|
| 512 | 47.7 / 13.4 | 54.5 / 14.3 |
| 2K | 62.6 / 10.3 | 74.5 / 13.9 |
| 8K | 46.4 / 9.9 | 178.1 / 14.3 |
| 16K | 43.8 / 6.2 | 193.9 / 15.1 |
| 32K | 44.1 / 6.0 | 213.8 / 12.6 |
Os valores são tokens prompt / decode por segundo. O custo: 24 GiB de RAM agora estão bloqueados para especialistas, então nada mais grande deve ser executado nesta máquina, e o limite de contexto é de 65K em vez de 262k. tudo persiste nas reinicializações.
P2002 (Radeon RDNA4): sintonização ao vivo e, em seguida, um breve reinício
Primeiro, ajuste ao vivo sem reiniciar o motor. O regulador da CPU definido para desempenho e um cache de página mais longo para especialistas foram mantidos; os relógios de GPU fixados reduziram o pré-preenchimento em cerca de 10% e foram rejeitados; a leitura antecipada maior não teve efeito. Decodificar em 2K e 8K melhorou em 10-18%.
Então, com um reinício de cerca de 40 segundos (a cadeia de fallback levou a sessão, sem interrupção visível), o agente aumentou a reserva de VRAM de 700 para 960 MiB e permitiu --KV-grow, mantendo o contexto completo de 262k. As vagas de peritos aumentaram de 2518 para 3686 (+46%), a taxa de acertos de peritos aumentou de 74% para 87% e os avisos de paginação desapareceram. Ele também adicionou um cão de guarda para que o motor reinicie por conta própria.
| Contexto | Antes (prompt / decode, tok / s) | Depois (prompt / decode, tok / s) |
|---|---|---|
| 512 | 547 / 63.6 | 602 / 57.5–64 |
| 2K | 1228 / 60–71 | 1275–1303 / 66–74 |
| 8K | 2085 / 59–69 | 1723–2144 / 79–82 |
| 16K | 2180 / 72.7 | 1988–2169 / 76–78 |
| 32K | 2056 / 72.9 | 2023–2096 / 76–77 |
Suíte padrão: decodificação de bate-papo 74,3 tok/s (era 71,9), primeiro token 0,39 s (era 0,46), decodificação de agente 66,7 tok/s (era 59,2). O agente também observou honestamente que os primeiros números logo após uma reinicialização são cerca de 25% baixos porque o Cache de especialistas ainda está frio.
Mac Studio (M3 Ultra): os padrões já eram ótimos
O agente reiniciou o motor seis vezes para execuções A/B limpas e provou empiricamente que a configuração padrão já era a melhor. As opções KV não tiveram efeito na memória unificada; um grande Cache especialista com fio era prejudicial (o decode diminuiu para cerca de 32 tok/s) e foi revertido. O pré-preenchimento de cerca de 790 tok/s é o limite de largura de banda do hardware, não da configuração. Suíte Final: decodificação de bate-papo 69.1 tok/s, primeiro token 0.48 S. Todos os becos sem saída foram documentados para que ninguém os repita.
Novos lançamentos, medidos
- Strata 0.2.0 com interface de utilizador: o Strata e a IA local podem agora ser instalados sem a linha de comandos, o que os torna acessíveis a um público muito mais vasto.
- v0.2.2: três computadores actualizados a partir da v0.2.1.
- v0.2.3 V0.2.3.1 no Mac Studio: descodificar 61,3 66,4 tok/s (+8%), pré-preencher 729,9 738,9 tok/s (+1%), sem regressão e sem re-transferências de ficheiros de modelo.
- v0.2.6 e v0.2.7: cada versão até agora trouxe outro ganho de desempenho. Para a v0.2.7, o agente preparou um resumo das notas de versão e não instalou nada sem aprovação.
DeepSeek V4.1-flash a funcionar localmente
DeepSeek V4.1-Flash, um grande modelo MoE, agora é executado localmente em Strata: os especialistas quentes permanecem na RAM e o resto é transmitido do SSD. Medimos a descodificação de 14 tok / s. Em nosso hardware atual, isso não é suficiente para o cérebro principal do agente, mas funciona bem como modelo de segunda opinião e auditor noturno.
O que isto significa para um cliente Box
- As actualizações do motor são detectadas, aplicadas e medidas pelo agente, com aprovação antes das alterações.
- Cada nível de hardware obtém sua própria configuração medida e as opções com falha são documentadas.
- O mesmo modelo em hardware diferente fornece uma base clara para a escolha de uma configuração.