8 (921) 944 07 77
Я разберусь в вашей задаче и подскажу, как лучше поступить именно в вашем случае. Помогу подобрать оптимальное решение под ваши условия, отвечу на вопросы и предоставлю рекомендации по внедрению и эксплуатации.
ЗАКАЗАТЬ КОНСУЛЬТАЦИЮ БЕСПЛАТНО
Решение именно вашей задачи
Алексей Фильчиков
Эксперт с 25+ летним опытом в сфере ИБП
ИБП для сверхплотных ЦОДов: почему обычные решения не работают и что выбрать
Если проследить, как меняются ЦОДы под задачи ИИ, то становится понятнее, почему традиционные системы бесперебойного питания им не подходят.
Серверы такие нагрузки переносят нормально, но в работе стандартной схемы построения ИБП могут возникать проблемы. Разберем, с чем это связано и на что обращать внимание при выборе оборудования для ИИ ЦОДов.
- Например, еще недавно стойка на 10 кВт для ЦОДа считалась мощной. Но сегодня 100 кВт на стойку для ИИ-проекта — обычная история. Мощность выросла кратно.
- Изменился и характер нагрузки. Если раньше потребление было относительно плавным, то теперь оно может мгновенно измениться с 10% до 100% и обратно.
Серверы такие нагрузки переносят нормально, но в работе стандартной схемы построения ИБП могут возникать проблемы. Разберем, с чем это связано и на что обращать внимание при выборе оборудования для ИИ ЦОДов.
Проблема №1: мешает «старая» архитектура
В обычных ЦОД источник бесперебойного питания располагают в отдельном помещении, а электроэнергия от него передается по кабелям к стойкам и дальше распределяется между серверами.
В сверхплотных ИИ ЦОДах есть свои особенности потребления электроэнергии, которые нужно учитывать.
Представьте, что потребление стойки вдруг выросло в несколько раз. ИБП для ЦОД обычно справляется с передачей энергии в таких ситуациях, но между ним и стойкой остается кабель.
Чем длиннее кабель, тем выше потери напряжения и тем сильнее сказывается паразитная индуктивность.
В сверхплотных ИИ ЦОДах есть свои особенности потребления электроэнергии, которые нужно учитывать.
Представьте, что потребление стойки вдруг выросло в несколько раз. ИБП для ЦОД обычно справляется с передачей энергии в таких ситуациях, но между ним и стойкой остается кабель.
Чем длиннее кабель, тем выше потери напряжения и тем сильнее сказывается паразитная индуктивность.
- В результате ИБП не успевает вовремя отрабатывать резкие скачки потребления, если находится слишком далеко от стойки.
Решение для ИИ ЦОДа: перенести источник бесперебойного питания ближе к серверам, чтобы сократить расстояние, которое проходит энергия.
Перенос ИБП к серверной стойке снимает вопрос просадок напряжения: электропитание будет более стабильным. Но здесь возникает другая проблема — повышение теплоотдачи.
Проблема №2: перегрев ИБП в стойке
Любая электроника греется в процессе работы. Но пока ИБП стоит отдельно, его теплоотдача не влияет на работу серверов.
Перенести бесперебойник близко к стойке с мощностями ИИ ЦОДа — это все равно что включить рядом с серверами круглосуточный обогреватель.
Поскольку сами серверы тоже выделяют много тепла, дополнительный нагрев будет негативно влиять на их надежность и производительность. Возможны аварийные отключения, при худшем сценарии — выход оборудования из строя.
Теплоотдача промышленного ИБП — это наболевший вопрос для сверхплотных ЦОДов, и игнорировать его нельзя.
Перенести бесперебойник близко к стойке с мощностями ИИ ЦОДа — это все равно что включить рядом с серверами круглосуточный обогреватель.
Поскольку сами серверы тоже выделяют много тепла, дополнительный нагрев будет негативно влиять на их надежность и производительность. Возможны аварийные отключения, при худшем сценарии — выход оборудования из строя.
Теплоотдача промышленного ИБП — это наболевший вопрос для сверхплотных ЦОДов, и игнорировать его нельзя.
Современные технологии для сокращения теплоотдачи ИБП для ЦОД
Повышение КПД
У традиционных моделей бесперебойников КПД примерно 92–96%. Если повысить КПД — теплопотери можно сократить.
Например, полупроводниковые решения на основе карбида кремния (SiC) повышают КПД до 97–98%. Такие модели уже появились у Delta Electronics (серия DPH), Schneider Electric (линейка Galaxy V), Kehua и Huawei.
Однако при высоких мощностях даже оставшиеся 1–2% потерь превращаются в киловатты тепла.
Поэтому повышение КПД — шаг необходимый, но сам по себе он проблему перегрева не решает.
Например, полупроводниковые решения на основе карбида кремния (SiC) повышают КПД до 97–98%. Такие модели уже появились у Delta Electronics (серия DPH), Schneider Electric (линейка Galaxy V), Kehua и Huawei.
Однако при высоких мощностях даже оставшиеся 1–2% потерь превращаются в киловатты тепла.
Поэтому повышение КПД — шаг необходимый, но сам по себе он проблему перегрева не решает.
Режимы ECO/ESS
В обычном режиме бесперебойник для дата центра работает по принципу двойного преобразования энергии — переводит переменный ток в постоянный, а затем обратно в переменный. При этом выделяется много тепла.
При переключении в режим ECO или ESS питание на сервер подается напрямую из сети, без преобразования — поэтому теплоотдача заметно снижена.
В моделях с такими режимами предусмотрен автоматический возврат к двойному преобразованию электроэнергии, если ее качество в сети ухудшилось.
При переключении в режим ECO или ESS питание на сервер подается напрямую из сети, без преобразования — поэтому теплоотдача заметно снижена.
В моделях с такими режимами предусмотрен автоматический возврат к двойному преобразованию электроэнергии, если ее качество в сети ухудшилось.
Усиление охлаждения
Даже если снизить потери и использовать специальные режимы работы, то полностью избавиться от тепловыделения не получится.
При мощностях 50–100 кВт на стойку тепла становится слишком много, и воздушного охлаждения уже недостаточно.
Поэтому сейчас в ИИ ЦОДах начинают использовать более эффективные решения — в первую очередь, жидкостное охлаждение.
Такие интеграции есть у Delta Electronics, Kehua и Vertiv.
При мощностях 50–100 кВт на стойку тепла становится слишком много, и воздушного охлаждения уже недостаточно.
Поэтому сейчас в ИИ ЦОДах начинают использовать более эффективные решения — в первую очередь, жидкостное охлаждение.
Такие интеграции есть у Delta Electronics, Kehua и Vertiv.
Проблема №3: ограничения структуры ИБП
Система электроснабжения ИИ ЦОДов должна одновременно выдерживать резкие скачки нагрузки, быстро на них реагировать и при этом работать с минимальными потерями.
В таких условиях классические источники бесперебойного питания для ЦОД с двойным преобразованием уже не так эффективны. Преобразование переменного тока в постоянный и обратно — при высоких мощностях это лишние этапы, которые замедляют реакцию системы и увеличивают потери энергии.
Поэтому сейчас идет поиск более эффективных схем электроснабжения, в том числе с использованием постоянного тока (DC).
В таких условиях классические источники бесперебойного питания для ЦОД с двойным преобразованием уже не так эффективны. Преобразование переменного тока в постоянный и обратно — при высоких мощностях это лишние этапы, которые замедляют реакцию системы и увеличивают потери энергии.
Поэтому сейчас идет поиск более эффективных схем электроснабжения, в том числе с использованием постоянного тока (DC).
- Традиционно ЦОДы работают при 380–400 В переменного тока. Но сейчас уже появляются решения с постоянным током — например, на уровнях около 380 В, 800 В и даже 1200 В.
При переходе на DC меняется не только система электропитания — сами серверы изначально проектируются для работы с постоянным током
Например, NVIDIA выпускает серверы, рассчитанные на работу с таким типом питания.
Как выбрать ИБП для сверхплотного ЦОДа
Современные ИИ ЦОДы — это уже отдельный тип инфраструктуры. Здесь не получится просто взять мощный ИБП и адаптировать под новую систему. Старые схемы, к которым мы привыкли, становятся неэффективными, но им на смену приходят новые современные решения. Вот их особенности.
РАБОТА С ДИНАМИЧЕСКОЙ НАГРУЗКОЙ
ИБП должен корректно отрабатывать резкие скачки нагрузки. В спецификациях производителей это может указываться как:
ЖИДКОСТНОЕ ОХЛАЖДЕНИЕ
Обращайте внимание, поддерживает ли ИБП работу в системах с жидкостным охлаждением или интеграцию с ними. Такие решения уже есть на рынке и становятся стандартом для ИИ ЦОДов.
ИБП должен корректно отрабатывать резкие скачки нагрузки. В спецификациях производителей это может указываться как:
- высокая перегрузочная способность;
- быстрый отклик инвертора;
- минимальное время переходных процессов (миллисекунды).
ЖИДКОСТНОЕ ОХЛАЖДЕНИЕ
Обращайте внимание, поддерживает ли ИБП работу в системах с жидкостным охлаждением или интеграцию с ними. Такие решения уже есть на рынке и становятся стандартом для ИИ ЦОДов.
ВЫСОКИЙ КПД
Ориентируйтесь на КПД 97–98% при максимальных нагрузках — сравнивайте параметры моделей именно в этих условиях работы.
Высокий КПД обычно достигается не при двойном преобразовании, а в экономичных режимах ECO/ESS.
РАЗМЕЩЕНИЕ РЯДОМ СО СТОЙКОЙ ИЛИ В СТОЙКЕ
Уточняйте, допускает ли модель установку рядом с серверной стойкой: по габаритам, тепловыделению и условиям эксплуатации.
Ориентируйтесь на КПД 97–98% при максимальных нагрузках — сравнивайте параметры моделей именно в этих условиях работы.
Высокий КПД обычно достигается не при двойном преобразовании, а в экономичных режимах ECO/ESS.
РАЗМЕЩЕНИЕ РЯДОМ СО СТОЙКОЙ ИЛИ В СТОЙКЕ
Уточняйте, допускает ли модель установку рядом с серверной стойкой: по габаритам, тепловыделению и условиям эксплуатации.
СОВРЕМЕННЫЕ АККУМУЛЯТОРЫ
Для систем бесперебойного питания для ЦОД подойдут батареи с коротким временем автономной работы — примерно 1–3 минуты. В приоритете компактность, низкое тепловыделение и быстрая отдача энергии. Чаще всего это литий-ионные АКБ.
СПЕЦИАЛЬНЫЕ РЕЖИМЫ
Выбирайте модели с режимами: ECO (Economy Mode) или ESS (Energy Saver System).
У разных производителей они могут называться по-разному, но суть одна — работа в обход двойного преобразования при нормальном качестве сети.
Для систем бесперебойного питания для ЦОД подойдут батареи с коротким временем автономной работы — примерно 1–3 минуты. В приоритете компактность, низкое тепловыделение и быстрая отдача энергии. Чаще всего это литий-ионные АКБ.
СПЕЦИАЛЬНЫЕ РЕЖИМЫ
Выбирайте модели с режимами: ECO (Economy Mode) или ESS (Energy Saver System).
У разных производителей они могут называться по-разному, но суть одна — работа в обход двойного преобразования при нормальном качестве сети.
Подбор ИБП для сверхплотного ЦОДа лучше доверить профильному специалисту. Цена ошибки здесь высока, потому что требования к системе электропитания сильно отличаются от привычных. Проще один раз продумать систему целиком, чем потом переделывать ее под реальные условия работы.
-
Обращайтесь, если вас интересует экспертная консультация или помощь в решении задач, которые связаны с ИБП: расчет, проектирование, подбор, поиск, курирование покупки, монтаж, ремонт и обслуживание систем бесперебойного питания.С уважением,
Алексей Фильчиков
МОИ СТАТЬИ НА ДРУГИЕ ТЕМЫ