Cinco dias de desenvolvimento autónomo de IA local: de 77% a 99%
Cinco dias de um ambiente de desenvolvimento experimental auto-melhorável em torno de um modelo local congelado: qualidade, velocidade, custo e questões em aberto.
Entre 31 de outubro e 5 de novembro de 2026, um ambiente de desenvolvimento experimental para Qwen3.8-Flash-Next IQ3_S elevou a fração de tarefas resolvidas na perfeição de 77% para 99% num conjunto fixo de 178 tarefas (faturas, tabelas, diagnóstico, código e filtragem). Os pesos do modelo não foram re-treinados.
A inferência passou de Strata para Basalt. O decode subiu de cerca de 80 para 130–220 tok/s; o prefill aproximadamente duplicou; a corrida completa do benchmark desceu de 87 minutos para 6,9. O ambiente de desenvolvimento passou por 15 releases com verificações contratuais.
Nas máquinas usadas para as corridas de benchmark houve cerca de 34.000 chamadas ao modelo e cerca de 37 milhões de tokens. O trabalho correu de forma autónoma sob regras fixas, com revisões humanas nos pontos de decisão.
Custo estimado para o mesmo volume de tokens via APIs comerciais (assumindo 33M de entrada e 4M de saída, a preços públicos típicos): da ordem de milhares de dólares. A corrida local usou hardware já disponível no laboratório.
Face a uma linha de base do modelo em bruto com o mesmo orçamento de computação (best-of-2 cego), o ambiente de desenvolvimento marcou +13,5 pontos percentuais. Correm holdouts para verificar a robustez em tarefas desconhecidas. Releases, método e benchmarks estão no GitHub.