Новости
Пыль, охлаждение и резервное питание: как локальный ИИ работает без остановок
Эта пыль накопилась меньше чем за 10 дней в обычной семейной квартире. Наши правила по температурам, чистке, профилактике, резервным мощностям и резервному питанию, чтобы локальный ИИ не останавливался.
Предупреждение всем, кто запускает локальный ИИ дома или в офисе. Пыль на этом фото накопилась меньше чем за 10 дней в обычной семейной квартире с двумя маленькими детьми. Мы намеренно не чистили, чтобы посмотреть, что будет.
Теперь представьте, что происходит внутри MacBook, Mac Studios, Mac minis и DGX-систем.
Правило 1: следите за температурами
Постоянно записывайте температуры CPU, GPU, ОЗУ и NVMe везде, где есть датчики, и храните историю. Отдавайте эти логи ИИ и просите анализировать тренды с учётом температуры в комнате и погоды. Домашние датчики температуры делают это ещё лучше. ИИ помогает заметить деградацию охлаждения до того, как она станет поломкой.
Правило 2: чистите железо
Купите электрический пылесдув с регулируемым потоком воздуха. Ежемесячно осматривайте вентиляционные отверстия и фильтры и чистите по необходимости, примерно раз в 1–3 месяца.
Сначала выключите питание и следуйте инструкциям производителя. Не раскручивайте вентиляторы сверх меры и не загоняйте пыль глубже внутрь. (Наш пылесдув на 600 Вт — явный перебор.)
Правила 3 и 4: профилактика
Подумайте о недорогом HEPA-очистителе воздуха рядом с установкой, чтобы уменьшить пыль в воздухе. Раз в 1–2 года, в зависимости от условий, стоит делать профессиональную внутреннюю чистку и проверку системы охлаждения. Профилактика дешевле простоя.
Поломка железа — это простой ИИ
Представьте, что Mac Studio сломался и 1–2 недели в ремонте. Без резервных вычислительных мощностей ИИ-процессы встают, а вместе с ними может встать и бизнес. Делайте резервные копии данных — и резервируйте вычислительные мощности тоже. Резервирование — не роскошь, когда бизнес работает на ИИ.
Наше решение: выделенное помещение для ИИ
Мы переносим всю локальную ИИ-установку в отдельное помещение в подвале. По нашим наблюдениям, сопоставимый слой пыли там накапливается примерно за три года, а не за десять дней. Влажность, воздухообмен и температуры по-прежнему будут под мониторингом. Серверные не зря так заботятся о чистоте.
И последнее: идеально чистая квартира не значит, что компьютер в безопасности. Мощный, постоянно горячий компьютер мог всё это время собирать эту пыль.
Резервное питание
В бенчмарках локального ИИ и в реальной работе часто забывают о резервном питании. Надёжной локальной ИИ-системе нужно столь же надёжное и мощное резервное питание. Мы собираем своё сами.
Что это значит для клиента Box
- Температура регистрируется и анализируется на предмет тенденций, поэтому проблемы с охлаждением видны на ранней стадии.
- Чистка и осмотр — часть обслуживания, а не что-то на потом.
- Критичным задачам нужны резервные вычислительные мощности и резервное питание, а не только резервные копии данных.