Notícias
Poeira, refrigeração e energia de reserva: mantendo a IA local em funcionamento
Essa poeira se acumulou em menos de 10 dias em um apartamento familiar comum. As nossas regras para temperaturas, limpeza, prevenção, computação de reserva e energia de reserva, para que a IA local não pare.
Um aviso para todos que executam ia local em casa ou no escritório. A poeira nesta foto se acumulou em menos de 10 dias em um apartamento familiar comum com dois filhos pequenos. Não o limpámos deliberadamente, para ver o que iria acontecer.
Agora imagine o que está acontecendo dentro dos sistemas MacBooks, Mac Studios, Mac minis e DGX.
Regra 1: monitorizar as temperaturas
Registre continuamente as temperaturas da CPU, GPU, RAM e NVMe onde quer que os sensores estejam disponíveis e mantenha os dados históricos. Alimente esses registos à IA e peça-lhe que analise as tendências, tendo em conta a temperatura ambiente e o clima. Os sensores de temperatura domésticos tornam isso ainda melhor. A IA pode ajudar a detectar a degradação do arrefecimento antes de se tornar uma falha.
Regra 2: limpar o hardware
Obtenha um espanador de ar elétrico com fluxo de ar ajustável. Inspecione as aberturas e os filtros mensalmente e limpe conforme necessário, talvez a cada 1-3 meses.
Desligue primeiro e siga as instruções do fabricante. Não sobrecarregue os ventiladores nem sopre o pó mais fundo no seu interior. (Nosso soprador de 600 W é definitivamente um exagero.)
Regras 3 e 4: prevenção
Considere um purificador de ar HEPA acessível Perto da instalação para reduzir a poeira no ar. A cada 1-2 anos, dependendo das condições, considere a limpeza interna profissional e uma inspeção do sistema de refrigeração. A prevenção é mais barata do que o tempo de inatividade.
Falha de Hardware significa tempo de inatividade da IA
Imagine que um Mac Studio falhe e gaste 1-2 semanas em reparos. Sem computação sobressalente, os fluxos de trabalho de IA param e os negócios também podem parar. Faça backup dos dados e faça backup da capacidade de computação também. A redundância não é um luxo quando a IA gere o negócio.
Nossa solução: uma sala de IA dedicada
Estamos a transferir toda a instalação local de IA para uma cave separada. De acordo com as nossas observações, uma camada de pó comparável demora cerca de três anos a acumular-se ali, e não dez dias. A humidade, o fluxo de ar e as temperaturas continuarão a ser monitorizados. Há uma razão pela qual as salas de servidores priorizam a limpeza.
E uma nota final: um apartamento impecável não significa que o computador esteja seguro. Um computador sempre quente e poderoso pode ter recolhido essa poeira o tempo todo.
Energia de reserva
Os benchmarks locais de IA e o uso no mundo real geralmente ignoram o poder de backup. Um sistema de IA local confiável precisa de energia de backup igualmente confiável e poderosa. Nós próprios estamos a construir o nosso.
O que isto significa para um cliente Box
- As temperaturas são registadas e analisadas quanto a tendências, pelo que os problemas de arrefecimento são visíveis precocemente.
- A limpeza e a inspecção fazem parte da manutenção, não de uma reflexão tardia.
- As cargas de trabalho críticas precisam de capacidade computacional e energia de backup sobressalentes, não apenas backups de dados.