Nieuws
Stof, koeling en back-upvermogen: lokale AI draaiende houden
Dit stof verzamelde zich in minder dan 10 dagen in een gewoon Familieappartement. Onze regels voor temperaturen, reiniging, preventie, reservecomputing en back-up stroom, zodat lokale AI niet stopt.
Een waarschuwing voor iedereen die lokale AI thuis of op kantoor gebruikt. Het stof op deze foto verzameld in minder dan 10 dagen in een gewone familie appartement met twee kleine kinderen. We hebben het bewust niet schoongemaakt, om te zien wat er zou gebeuren.
Stel je nu voor wat er gebeurt in MacBooks, Mac Studios, Mac minis en DGX systemen.
Regel 1: temperatuur controleren
Log continu CPU -, GPU -, RAM-en NVMe-temperaturen bij waar sensoren beschikbaar zijn en bewaar de historische gegevens. Voer die logs naar AI en vraag het om trends te analyseren, rekening houdend met kamertemperatuur en weer. Home temperatuursensoren maken dit nog beter. AI kan helpen bij het detecteren van afkoeling voordat het een mislukking wordt.
Regel 2: Reinig de hardware
Koop een elektrische air duster met instelbare luchtstroom. Inspecteer ventilatieopeningen en filters maandelijks en reinig indien nodig, misschien om de 1-3 maanden.
Schakel eerst uit en volg de instructies van de fabrikant. Overspin ventilatoren niet of blaas stof dieper naar binnen. (Onze 600 W ventilator is absoluut overkill.)
Artikel 3 en 4: preventie
Overweeg een betaalbare HEPA-luchtreiniger in de buurt van de installatie om stof in de lucht te verminderen. Overweeg om de 1-2 jaar, afhankelijk van de omstandigheden, professionele interne reiniging en een inspectie van het koelsysteem. Preventie is goedkoper dan downtime.
Hardwarefout betekent ai downtime
Stel je voor dat een Mac Studio faalt en 1-2 weken in reparatie is. Zonder reservecomputing stoppen AI-workflows en kan het bedrijf ook stoppen. Maak een Back-up van de gegevens en maak ook een back-up van de rekencapaciteit. Redundantie is geen luxe als AI het bedrijf runt.
Onze oplossing: een speciale AI-ruimte
We verplaatsen de hele lokale AI-opstelling naar een aparte kelderruimte. Uit onze waarnemingen blijkt dat het ongeveer drie jaar duurt voordat een vergelijkbare stoflaag zich daar ophoopt, niet tien dagen. Vochtigheid, luchtstroom en temperaturen worden nog steeds bewaakt. Er is een reden waarom serverruimtes prioriteit geven aan netheid.
En een laatste opmerking: een vlekkeloos appartement betekent niet dat de computer veilig is. Een altijd hete, krachtige computer kan al die tijd dat stof hebben verzameld.
Back-up power
Lokale ai-benchmarks en real-world gebruik vaak over het hoofd back-up stroom. Een betrouwbaar lokaal AI-systeem heeft even betrouwbare, krachtige back-upkracht nodig. Wij bouwen de onze zelf.
Wat dit betekent voor een Box-klant
- Temperaturen worden geregistreerd en geanalyseerd op trends, zodat koelproblemen vroeg zichtbaar zijn.
- Reiniging en inspectie maken deel uit van onderhoud, geen bijzaak.
- Kritieke workloads hebben extra rekencapaciteit en back-upvermogen nodig, niet alleen gegevensback-ups.