Notícias
Como criamos soluções em computadores económicos
Estudamos quanto trabalho útil e fiável um modelo de IA local consegue fazer num computador barato e comparamo-lo com uma máquina onde o modelo inteiro cabe em memória.
Participam três computadores. Um PC económico com placa gráfica RTX 3060 trabalha com limites de memória apertados. Um segundo computador com o agente Hermes analisa os resultados, verifica o trabalho e introduz melhorias. Um Mac Studio M3 executa em paralelo as mesmas tarefas como referência com memória suficiente. Todas as máquinas usam os mesmos ficheiros do modelo e a mesma versão do Strata.
O que nos importa não é a velocidade em si, mas a qualidade e a fiabilidade das respostas em tarefas reais. Os resultados preliminares mostram que hardware limitado não significa necessariamente pior qualidade de resposta.
Uma parte separada da experiência observa se o agente consegue encontrar os próprios erros, corrigi-los e prevenir outros semelhantes. Sem que lhe pedissem, também começou a considerar quantos tokens custam as suas melhorias e a reduzir o consumo desnecessário.
Estas experiências levam a resultados reais e a cenários práticos, por exemplo o trabalho com documentos.