Agentes locais de IA que ajustam o hardware em que são executados

Um sistema local de IA não tem de ser ajustado manualmente. Em nossos experimentos, o agente em execução no hardware local analisa esse mesmo hardware, executa suas próprias medições e mantém apenas as configurações que realmente ajudam. Abaixo estão quatro resultados da última semana, do mais novo ao mais antigo.

Limitando os relógios de aumento da CPU: mesma velocidade, menos calor

Um truque subestimado para executar a IA local é limitar os relógios de aumento da CPU e/ou GPU. Por voz, pedimos ao agente local de IA para otimizar o laptop que executa nosso cérebro principal de IA. Reduziu a frequência da CPU de 5,5 GHz para 4,5 GHz.

• A velocidade de inferência do LLM no Strata permaneceu exatamente a mesma, sem perda.
• A temperatura da CPU caiu cerca de 10%.
• O consumo de energia da CPU caiu significativamente.
• As temperaturas da GPU também caíram, sem limitar os relógios da GPU.

A CPU e a GPU compartilham um orçamento térmico, portanto, reduzir o aumento desnecessário da CPU também ajuda a GPU. Ninguém passou horas afinando: o agente foi simplesmente instruído a encontrar os limites ideais, e ele mesmo executou os experimentos enquanto continuava o trabalho em outras coisas.

Autodiagnóstico: confie na IA, mas verifique

Configuração: Strata + Qwen3.8-Next-IQ3_S. a IA local declarou um limite de potência da GPU não corrigível. Questionámos a descoberta, verificámo-la externamente (até a versão gratuita do ChatGPT é suficiente para isso), fixámos o limite e obtivemos um desempenho de 30-35%.

A regra que aplicamos: utilizar a IA para o autodiagnóstico, mas verificar os resultados críticos.

Otimização automática em um laptop RTX 5090

Strata em um laptop para jogos com um RTX 5090 (24 GB VRAM), modelo Qwen3.8-Flash-Next IQ3_S:

• Descodificar: 83.6 tok/s
• Descodificação do agente: 99.8 tok/s
• Pré-enchimento 4K: 1,443 tok/s
• Pré-enchimento 16K: 2,132 tok/s
• Primeiro token: 0.28 s

Depois disso, o agente otimizou a mesma máquina por conta própria:

• Descodificação a quente: 63–110 → 109–118 tok/s
• Descodificação do agente de pico: 119.5 → 125.5 tok/s (+5%)
• A configuração otimizada foi salva, as configurações instáveis foram revertidas e o servidor foi desligado com segurança.

RTX 3060 12 GB: o desbloqueio e os primeiros ganhos

Em um de nossos computadores experimentais (um pequeno gabinete ITX, 48 GB de RAM, um RTX 3060 12 GB), habilitamos o desbloqueio da NVIDIA. O ganho medido: até + 78% no cálculo da GPU e +11% no pré-preenchimento de inferência de IA.

Para perspectiva, com o próximo trabalho de Strata da coldniko, o RTX 3060 12 GB + 48 GB RAM passou de 32 para 60-80 tokens sustentados por segundo. Nosso MAC Studio M3 Ultra (60 núcleos de GPU, 256 GB de RAM, Strata v0.2.6) forneceu decodificação de 61,4 tok/s e pré-preenchimento de 734 tok/s no mesmo modelo Qwen3.8-Flash-Next iq3_s. Os resultados completos deste cartão encontram-se num artigo separado.

O que isto significa para um cliente Box

• As configurações são escolhidas por medição, não por adivinhação: o agente compara antes e depois e reverte o que não ajuda.
• Temperaturas mais baixas e consumo de energia na mesma velocidade significam uma operação mais silenciosa e menos desgaste.
• As conclusões críticas do agente são cruzadas antes de serem postas em prática.
• Hardware acessível continua ficando mais rápido apenas com atualizações de software.

Ia local otimizando o hardware que executa ia local.

Tópico original em X · O artigo RTX 3060 · Todas as notícias