Custos energéticos preliminares da IA local numa carga real
Custos de eletricidade preliminares de uma execução de IA local, comparados com os preços de API na nuvem indicados para o mesmo número de tokens.
Foram recolhidos números preliminares de consumo de energia a partir de cargas reais de IA local, com medições e registos de sistema. Os números ainda são estimativas, mas dão um retrato suficientemente preciso da economia global.
As medições foram feitas num portátil eficiente com uma GPU moderna, no valor de cerca de 4.000–4.500 dólares (4.000–4.500 €). Em hardware menos eficiente, os custos de eletricidade serão provavelmente mais altos e podem aproximar-se dos preços de API dos modelos chineses mais baratos. Esses modelos estão muitas vezes disponíveis gratuitamente ou com descontos até 90%. Nesses casos, a IA na nuvem pode ser mais barata do que apenas a eletricidade necessária para a inferência local.
Os gráficos publicados com a mensagem comparam uma carga — 198 tarefas GPQA-Diamond, 56.514 tokens de entrada e 156.136 de saída, 212.650 tokens no total — com eletricidade a 0,25 $/kWh. Os custos locais na tabela são 0,014 $ só para a GPU e 0,025 $ para o PC completo estimado. Os totais na nuvem indicados para o mesmo número de tokens vão de 0,065 $ (Qwen Flash) a 1,674 $ (Claude Sonnet 5.5 e GPT-6.1 Sol). Uma nota da tabela indica que o hardware está excluído, que os custos na nuvem usam as mesmas quantidades de tokens e não execuções equivalentes medidas, e que a qualidade dos modelos pode diferir.
São resultados preliminares. Estão previstas mais medições, e os resultados devem ser publicados no GitHub.