Notizie
Polvere, raffreddamento e alimentazione di backup: mantenere in funzione l'IA locale
Questa polvere si è accumulata in meno di 10 giorni in un normale appartamento di famiglia. Le nostre regole per temperature, pulizia, prevenzione, calcolo di riserva e alimentazione di backup, in modo che l'IA locale non si fermi.
Un avvertimento per tutti coloro che eseguono IA locale a casa o in ufficio. La polvere in questa foto si è accumulata in meno di 10 giorni in un normale appartamento familiare con due bambini piccoli. Deliberatamente non l'abbiamo pulito, per vedere cosa sarebbe successo.
Ora immaginate cosa sta succedendo all'interno di MacBook, Mac Studios, Mac minis e sistemi DGX.
Regola 1: monitorare le temperature
Registrate di continuo le temperature di CPU, GPU, RAM e NVMe ovunque ci siano sensori e conservate lo storico. Passate questi log all’AI e chiedetele di analizzare le tendenze, tenendo conto della temperatura della stanza e del meteo. Con sensori di temperatura domestici è ancora meglio. L’AI aiuta a individuare il degrado del raffreddamento prima che diventi un guasto.
Regola 2: pulire l'hardware
Procuratevi un soffiatore elettrico per la polvere con flusso regolabile. Controllate prese d’aria e filtri ogni mese e pulite quando serve, indicativamente ogni 1–3 mesi.
Prima spegnete e seguite le istruzioni del produttore. Non fate girare le ventole oltre il limite e non spingete la polvere più in profondità. (Il nostro soffiatore da 600 W è decisamente eccessivo.)
Regole 3 e 4: prevenzione
Valutate un purificatore d’aria HEPA economico vicino all’impianto per ridurre la polvere nell’aria. Ogni 1–2 anni, a seconda delle condizioni, valutate una pulizia interna professionale e un controllo del sistema di raffreddamento. Prevenire costa meno del fermo.
Guasto hardware significa AI ferma
Immaginate che un Mac Studio si guasti e resti 1–2 settimane in riparazione. Senza capacità di calcolo di riserva i flussi di lavoro AI si fermano, e può fermarsi anche l’azienda. Fate il backup dei dati, e anche della capacità di calcolo. La ridondanza non è un lusso quando l’AI fa girare l’azienda.
La nostra soluzione: una sala AI dedicata
Stiamo spostando l'intera configurazione AI locale in una stanza separata nel seminterrato. Dalle nostre osservazioni, uno strato di polvere comparabile impiega circa tre anni per accumularsi lì, non dieci giorni. L'umidità, il flusso d'aria e le temperature saranno comunque monitorati. C'è un motivo per cui le sale server danno priorità alla pulizia.
E una nota finale: un appartamento immacolato non significa che il computer sia sicuro. Un computer sempre caldo e potente potrebbe aver raccolto quella polvere per tutto il tempo.
Alimentazione di backup
Nei benchmark di AI locale e nell’uso reale l’alimentazione di backup viene spesso trascurata. Un sistema di AI locale affidabile ha bisogno di un’alimentazione di backup altrettanto affidabile e potente. La stiamo costruendo noi stessi.
Cosa significa per un cliente Box
- Le temperature vengono registrate e analizzate per le tendenze, quindi i problemi di raffreddamento sono visibili presto.
- Pulizia e ispezione fanno parte della manutenzione, non sono un ripensamento.
- I carichi critici hanno bisogno di capacità di calcolo di riserva e di alimentazione di backup, non solo di backup dei dati.