Указания по расчету энергетической плотности центров

Указания по расчету
энергетической
плотности центров
обработки данных
Нил Расмуссен
Информационная
статья № 120
Краткий обзор
Традиционные методы расчета удельной мощности центров обработки данных неоднозначны и обманчивы. Недостаточно описать удельную мощность центра обработки
данных в ваттах на квадратный фут или ваттах на квадратный метр, чтобы определить совместимость его систем питания и охлаждения с компьютерным оборудованием с высокой энергетической плотностью, таким как сверхтонкие серверы. Так
исторически сложилось, что сейчас не существует стандартного способа расчета
центров данных, поведение которых при работе с нагрузкой с высокой удельной
мощностью было бы предсказуемым. Адекватная спецификация удельной мощности
центра обработки данных должна обеспечивать его совместимость с ожидаемой
нагрузкой с высокой мощностью, содержать однозначные указания по проектированию и установке систем электроснабжения и охлаждения, позволять избежать чрезмерного увеличения резервных мощностей и обеспечивать максимальную эффективность энергозатрат. В данной статье излагаются теория и практика усовершенствованного метода подготовки спецификаций инфраструктуры электропитания и охлаждения центров данных.
American Power Conversion, 2005. Все права защищены. Никакая часть настоящей публикации не может использоваться, воспроизводиться, копироваться, передаваться или храниться в каких бы то ни было информационно-поисковых системах без письменного
разрешения владельца авторских прав. www.apc.com
Изд. 2005-0
2
Введение
Расчет рабочей энергетической плотности центров обработки данных и серверных залов становится
все более серьезной проблемой для специалистов в области информационных технологий. Выполнение спецификации центра обработки данных, исходя из традиционной удельной мощности в
430-861 Вт/м2 не позволяет гарантированно использовать в нем ИТ-оборудование новейших поколений. Выполнение спецификации центров обработки данных, исходя из рабочей удельной мощности
в 6458-10764 Вт/м2 с расчетом на новейшие поколения ИТ-оборудования с высокой удельной мощностью, приводит к появлению центров обработки данных с работающими на пределе системами
электроснабжения и охлаждения, непомерно высоким капитальным затратам и низкой эффективностью использования электроэнергии.
Проблема планирования удельной мощности еще сильнее осложняется необходимостью проектировать центр обработки данных с расчетом на несколько циклов смены технологий при неизвестной
природе оборудования, которое будет устанавливаться в нем в будущем.
Традиционный метод указания удельной мощности центра обработки данных в ваттах на квадратный
метр дает мало ответов на важнейшие вопросы, с которыми сегодня сталкиваются операторы центров. В частности, традиционный подход к указанию удельной мощности не дает ответа на главный
вопрос: что происходит при установке стойки, удельная мощность которой превышает указанную
в спецификации? Этот вопрос очень важен с практической точки зрения, поскольку современные
центры обработки данных обычно имеют номинальную удельную мощность в 1,5 кВт на стойку,
тогда как удельная мощность ИТ-оборудования обычно выше — 3-20 кВт на стойку.
Необходим новый, более совершенный метод указания удельной мощности центров обработки
данных. Усовершенствованный метод должен решать перечисленные ниже задачи.
•
Обеспечивать совместимость с ИТ-оборудованием с высокой удельной мощностью.
•
Предотвращать потери электроэнергии, пространства и лишние капитальные затраты.
•
Обеспечивать средства проверки планов внедрения ИТ-оборудования на соответствие проектной мощности систем электропитания и охлаждения.
Предметом данной статьи является усовершенствованный метод расчета удельной мощности.
Создание центров обработки данных, реализующих технологии электропитания, охлаждения, размещения в стойках и управления для решений с высокой удельной мощностью, рассматривается в ряде
других статей, в частности, в информационной статье APC №46 “Cooling Strategies for Ultra-High
Density Racks and Blade Servers”.
American Power Conversion, 2005. Все права защищены. Никакая часть настоящей публикации не может использоваться, воспроизводиться, копироваться, передаваться или храниться в каких бы то ни было информационно-поисковых системах без письменного
разрешения владельца авторских прав. www.apc.com
Изд. 2005-0
3
Различные методы указания удельной мощности
Наличие в литературе разных определений удельной мощности приводит к серьезной путанице в
сообществе пользователей. Для того чтобы лучше разобраться в этих определениях рассмотрим
гипотетический центр данных, мощность которого составляет 500 кВт.
Параметры центра обработки
Эвердьюпойс
Метрическая
данных на 50 кВт
(английская
система
система мер)
Общее энергопотребление ИТ-оборудования
Общее пространство, занимаемое
ИТ-оборудованием
500 000 Вт
2 800 футов2
260 м2
1 400 футов2
130 м2
4 200 футов2
390 м2
6,7 футов2
0,622 м2
Площадь подсобных помещений, отведенных
под систему охлаждения, электрокоммутационную аппаратуру и т.д.
Общая площадь центра обработки данных
Площадь, занимаемая одной стойкой для
ИТ-оборудования
Количество стоек
100
В таблице 1 приведены пять различных часто используемых определений удельной мощности и
полученные с их помощью показатели описанного выше центра обработки данных
Таблица 1 — Различные определения удельной мощности могут давать разные значения
применительно к одному центру обработки данных
Определение
Расчет
Удельная
мощность
Энергопотребление ИТоборудования, деленное на площадь, занимаемую всеми стойками
для ИТ-оборудования
500 000 ватт /
(6,7 фута2 x 100 стоек)
746 Вт/фут2
500 000 ватт /
(0,622 м2 x 100 стоек)
8039 Вт/м2
Описание
Данный метод подсчета учитывает только
площадь, занимаемую стойками, и не учитывает свободное пространство, оставленное
для доступа к стойкам, а также площади,
занимаемые другими элементами ИИЦОБД.
Значения удельной мощности, получаемые
при помощи данной методики, оказываются
значительно выше, чем при использовании
других методов. Обычно используется
производителями оборудования.
American Power Conversion, 2005. Все права защищены. Никакая часть настоящей публикации не может использоваться, воспроизводиться, копироваться, передаваться или храниться в каких бы то ни было информационно-поисковых системах без письменного
разрешения владельца авторских прав. www.apc.com
Изд. 2005-0
4
Определение
Расчет
Удельная
мощность
Энергопотребление ИТоборудования, деленное на площадь, занимаемую всеми стойками
для ИТ-оборудования,
включая проходы
между ними
500 000 ватт /
2 800 футов2
179 Вт/фут2
500 000 ватт / 260 м2
1923 Вт/м2
Энергопотребление ИТоборудования, деленное на общую площадь
центра обработки
данных
500 000 ватт /
4 200 футов2
119 Вт/фут2
500 000 ватт / 390 м2
1282 Вт/м2
Общее энергопотребление ИТ-оборудования,
а также оборудования
для электроснабжения
и охлаждения, деленное
на общую площадь
центра обработки
данных
(500 000 ватт +
295 000 ватт) /
4 200 футов2
189 Вт/фут2
(500 000 ватт +
295 000 ватт) / 390 м2
2038 Вт/м2
Энергопотребление
стойки
500 000 ватт / 100 стоек
5 кВт на
стойку
Описание
Данное определение чаще всего встречается
в литературе. Обычно используется величина в 28 футов2 (2,6 м2) на стойку. Этот метод
эффективен при подсчете потребностей в
распределении электропитания и охлаждения. Широко используется сотрудниками
ИТ-отделов.
Общая площадь центра обработки данных
включает в себя площадь, занимаемую ИТоборудованием, а также площади, на которых расположены системы электропитания и
охлаждения. Данный метод хорошо подходит
для планирования пространства, поскольку в
нем учитываются площади вспомогательных
помещений, которые в случае систем с
высокой удельной мощностью могут быть
достаточно велики. Широко используется
архитекторами.
Данное определение обычно используется
при планировании объектов и коммунальной
инфраструктуры, поскольку в нем используются общие показатели площади и общее
потребление энергии от внешних источников.
Предполагается, что оборудование для
охлаждения потребляет 265 кВт (включая
потери), а потери в системе электроснабжения составляют 30 кВт.
В данном случае расчет производится для
одной стойки, что позволяет избавиться от
вариаций при определении удельной
мощности.
Все определения удельной мощности, приведенные в таблице 1, встречаются в литературе и спецификациях. Четыре определения, в которых удельная мощность измеряется в ваттах на квадратный
фут или квадратный метр, являются недостаточно однозначными и требуют четкого пояснения того,
какие площади и мощности в них учитываются. Однако в публикуемых значениях удельной мощности
данная информация часто опускается. Это приводит к серьезной неразберихе в отрасли и к тому, что
сотрудники ИТ-отделов и проектировщики и архитекторы объектов часто не могут понять друг друга.
Данные, приведенные в таблице 1, демонстрируют, что значения удельной мощности одного и
того же объекта могут отличаться почти в восемь раз, в зависимости от используемого метода
ее определения.
American Power Conversion, 2005. Все права защищены. Никакая часть настоящей публикации не может использоваться, воспроизводиться, копироваться, передаваться или храниться в каких бы то ни было информационно-поисковых системах без письменного
разрешения владельца авторских прав. www.apc.com
Изд. 2005-0
5
Самым четким определением мощности является исходящее из энергопотребления одной стойки.
Оно предоставляет четкие указания в отношении потребностей стойки в электропитании и охлаждении (в случае с ИТ-оборудованием энергопотребление стойки в ваттах равняется ее потребности
в охлаждении, также выраженной в ваттах). В данной статье демонстрируется, что учет энергопотребления каждой стойки имеет еще одно важное преимущество при описании удельной мощности
центра обработки данных: это самый эффективный способ указания изменений удельной мощности
в рамках центра обработки данных.
На практике удельная мощность центров обработки данных не является постоянной величиной.
Некоторые стойки потребляют больше электроэнергии и, соответственно, выделяют больше тепла,
чем другие. Стойки с коммутационными панелями могут вообще не потреблять энергии. Стойки со
сверхтонкими серверами могут потреблять 20 кВт электроэнергии или даже больше. Эта проблема
осложняется еще и тем, что ИТ-оборудование постоянно обновляется, а это означает, что энергопотребление отдельных стоек меняется с течением времени. Традиционные способы указания удельной мощности не принимают во внимание все эти изменения мощности, теряя со временем свою
эффективность.
Ограничения традиционных методов указания
удельной мощности
Ниже приведены два примера, иллюстрирующих серьезные ограничение традиционного указания
удельной мощности.
В качестве первого примера мы рассмотрим центр данных, согласно спецификации имеющий удельную мощность в 538 Вт/м2. Используя определение удельной мощности, как отношения общей ИТнагрузки и общему пространству стоек для ИТ-оборудования и проходов, получаем цифру в 1400 Вт
на стойку (538 Вт/м2 х 2,6 м2 на стойку). Данным требованиям соответствует центр обработки данных,
рассчитанный на обеспечение до 1400 Вт мощности и до 1400 Вт охлаждения на каждую стойку.
Существует множество разновидностей ИТ-оборудования (например, сверхтонкие серверы), выходящего за рамки 1400 Вт на стойку. Ни один из этих типов оборудования нельзя будет установить в
центре обработки данных, где имеется жесткое ограничение в 1400 Вт на стойку. В результате, такой
центр обработки данных будет несовместим со многими типами ИТ-оборудования. Более того, при
установке в стойку нагрузки с низкой мощность, например, коммутационных панелей, неиспользуемую мощность нельзя перераспределить на другие стойки, поскольку для каждой из них установлен
лимит электропитания и охлаждения в 1400 Вт. Все это приводит к появлению неэффективного
центра обработки данных, несовместимого со многими типами ИТ-оборудования. К тому же, в нем
нельзя будет эффективно использовать ни имеющееся пространство в стойках, ни электрические
и охладительные ресурсы.
American Power Conversion, 2005. Все права защищены. Никакая часть настоящей публикации не может использоваться, воспроизводиться, копироваться, передаваться или храниться в каких бы то ни было информационно-поисковых системах без письменного
разрешения владельца авторских прав. www.apc.com
Изд. 2005-0
6
Во втором примере удельная мощность центра обработки данных указывается из расчета на одну
стойку. Для каждого места для стойки точно указывается необходимое электропитание и охлаждение. Реализуемый проект может быть приведен в соответствие с данной спецификацией, полностью
характеризующей будущий центр обработки данных. Речь идет об идеальном случае: к сожалению,
в реальности практически невозможно подготовить точную энергетическую спецификацию центра
обработки данных на уровне стоек. На практике невозможно предсказать нагрузку на уровне стойки
на все время работы центра данных. Несоответствие реальной удельной мощности установленного
ИТ-оборудования исходной спецификации на уровне стоек может иметь серьезные последствия,
одним из которых является невозможность перераспределения энергии, не используемой какой-либо
стойкой, нагрузка в которой оказывается ниже указанной, на другие стойки, поскольку для каждой
из них имеется определенный лимит электропитания и охлаждения. В результате снова получаем
неэффективный центр обработки данных, требующий заблаговременного наличия информации об
устанавливаемом оборудовании, которую обычно невозможно получить.
В обоих примерах рассматриваются широко используемые методы указания удельной мощности
центров данных. Как общая спецификация на зал, так и подробная спецификация на каждую стойку
имеют серьезные практические ограничения, из-за которых реализованные проекты порой не оправдывают ожиданий заказчиков. Усовершенствованный подход к составлению спецификаций должен
сохранять гибкость и совместимость в отношении ИТ-нагрузки, одновременно обеспечивая максимальную эффективность энергозатрат и использования электроэнергии, охлаждения и пространства.
Требования к указанию удельной мощности
Ниже перечислен ряд требований к усовершенствованному методу указания удельной мощности,
вытекающих из всего сказанного выше.
Предсказуемость. Спецификация удельной мощности должна позволять определять ресурсы
питания и охлаждения для каждой стойки в проектируемой или уже существующей ИТ-системе.
Возможность неполного указания будущих требований. Спецификация удельной мощности
не должна требовать точного заблаговременного указания мощности для каждого места для стойки.
Дело в том, что в реальности срок службы ИТ-оборудования намного короче, чем у центра обработки
данных, в котором постоянно идет замена оборудования на новое и просто отличное от уже использовавшегося.
Поддержка перераспределения ресурсов питания и охлаждения. Резервы питания и
охлаждения, не используемые определенной стойкой, должны быть доступны для других стоек.
Минимизация потерь. Неэффективные затраты электроэнергии должны быть сведены к минимуму. Необходимо использовать имеющиеся ресурсы электроснабжения, охлаждения и пространства.
Капитальные и текущие расходы должны быть сведены к минимуму.
American Power Conversion, 2005. Все права защищены. Никакая часть настоящей публикации не может использоваться, воспроизводиться, копироваться, передаваться или храниться в каких бы то ни было информационно-поисковых системах без письменного
разрешения владельца авторских прав. www.apc.com
Изд. 2005-0
7
Поддержка поэтапного внедрения. Спецификация удельной плотности должна поддерживать
поэтапное внедрение, включая ситуации, когда системы, внедряемые на разных этапах, имеют
разную удельную мощность, и когда на момент реализации одного этапа отсутствуют данные о
будущих этапах.
Хотя многие из перечисленных выше требований противоречивы, они могут послужить основой для
создания усовершенствованного метода составления спецификаций удельной мощности для центров обработки данных.
Практические ограничения и вариации
Любой практический метод указания удельной мощности должен осмыслять реально существующие
на практике ограничения и вариации, связанные с проектированием центров обработки данных. Ниже
описывается ряд таких ограничений и вариаций, а также их влияние на составление спецификаций
удельной мощности.
Увеличение подачи питания. Стоимость и степень сложности подачи питания находятся в
нелинейной зависимости от мощности. Например, стоимость однофазной линии на 6 кВт и трехфазной линии на 18 кВт отличаются не в три раза. Существует ряд оптимальных уровней мощности для
распределения переменного тока, обусловленных согласованием автоматов защиты и штепсельных
гнезд, а также координацией автоматов защиты по отказам. Эти вопросы и оптимальные характеристики цепей подачи питания рассматриваются в информационной статье APC №29 “Rack Powering
Options for High Density”. Спецификации в отношении подачи питания должны разрабатываться с
ориентацией на эти оптимальные размеры цепей, варьирующиеся в зависимости от географического
региона.
Ограничения, связанные с циркуляцией воздуха. Циркуляция воздуха в центре обработки
данных является главным фактором, ограничивающим удельную мощность стоек. На киловатт
мощности ИТ-оборудования требуется 47,2-77,5 литров воздуха в секунду. Во многих центрах обработки данных уже имеются готовые фальшполы, либо их высота ограничивается высотой потолка.
Если фальшпол входит в систему вентиляции, существуют практические ограничения на объем
воздуха, который можно гарантированно переместить под полом, что ограничивает достижимую
среднюю и максимальную удельную мощность стоек. Для многих уже существующих систем это
ограничивает реальную удельную мощность на уровне примерно 5 кВт на стойку. Для преодоления
этого барьера требуется установка дополнительного оборудования для кондиционирования и нагнетания воздуха. Следствием этого является быстрый рост затрат при превышении критической удельной мощности, и правильная спецификация удельной мощности должна учитывать данную проблему
и предлагать пути ее решения, пока она не стала слишком серьезной.
American Power Conversion, 2005. Все права защищены. Никакая часть настоящей публикации не может использоваться, воспроизводиться, копироваться, передаваться или храниться в каких бы то ни было информационно-поисковых системах без письменного
разрешения владельца авторских прав. www.apc.com
Изд. 2005-0
8
Вес. На некоторых объектах существует предел нагрузки на пол. Это в особенности справедливо
для систем с уже имеющимся фальшполом. При установке в стойки ИТ-оборудования с высокой
удельной мощностью их вес также обычно оказывается весьма значительным. В некоторых случаях
это реально ограничивает возможность внедрения систем с высокой удельной мощностью. Следовательно, в спецификации не должны указываться нереальные значения удельной мощности, при
которых превышается допустимая на данном объекте нагрузка на пол.
Резервные площади.
Часть площади многих центров обработки данных зарезервирована под
функции, не учитываемые при определении удельной мощности. Это могут быть ленточные накопители, место для оператора или области специального доступа. Следовательно, модель указания
удельной мощности должна резервировать эти площади и не зависеть от них при обеспечении какихлибо функций, связанных с реализацией электроснабжения или охлаждения систем с высокой
удельной мощностью.
Возможность распределения нагрузки. Возможность физического распределения ИТоборудования в центре обработки данных, благодаря широкому использованию волоконнооптических кабелей сегодня актуальна для большей части оборудования. Установка оборудования
с максимальной плотностью во многих случаях нежелательна и не имеет смысла. Примерами ИТоборудования, которое можно легко распределить по разным стойкам с целью снижения удельной
мощности, могут служить сверхтонкие серверы и серверы высотой 1U. Хотя кажется, что установка
в стойки максимального количества сверхтонких серверов и серверов высотой 1U оптимизирует
использование пространства, выигрыш от этого во многих случаях иллюзорен, поскольку обеспечение электроснабжения и охлаждения стоек с высокой удельной мощностью обычно обходится намного дороже использования дополнительных стоек. Следовательно, в модели удельной мощности не
должны слепо указываться значения мощности, основанные на возможностях оборудования, но
вместо этого должна приниматься во внимание возможность распределения нагрузки с целью оптимизации стоимости и эксплуатационной готовности системы в целом.
Реальные пространственные ограничения конкретной площадки. Реальные физические
ограничения пространства конкретной площадки сильно сказываются на преимуществах высокой
удельной мощности. Выясняется, что на многих уже существующих объектах, проектировавшихся
с расчетом на низкую удельную мощность, внедрение решений с высокой удельной мощностью
снижает остроту проблемы свободного пространства, однако преимущества уплотнения ИТоборудования оказываются не так велики. С другой стороны, существуют объекты, где физическое
пространство крайне ограничено ввиду чрезвычайной дороговизны площадей или сложности их
расширения. Следовательно, в методике указания удельной мощности должна приниматься во
внимание стоимость и любые жесткие ограничения пространства.
American Power Conversion, 2005. Все права защищены. Никакая часть настоящей публикации не может использоваться, воспроизводиться, копироваться, передаваться или храниться в каких бы то ни было информационно-поисковых системах без письменного
разрешения владельца авторских прав. www.apc.com
Изд. 2005-0
9
Потеря пространства, занимаемого
инфраструктурой электроснабжения и охлаждения
Инфраструктура электроснабжения и охлаждения занимает пространство, которое в ином случае
могло бы использоваться под ИТ-оборудование. Иногда оборудование для электроснабжения и
охлаждения выносится за пределы пространства, занимаемого ИТ-оборудованием, и размещается
в соседнем помещении. Однако потери пространства все равно имеют место и должны учитываться
в качестве эффективных потерь достижимой удельной мощности. Пространство, занимаемое инфраструктурой электроснабжения и охлаждения, можно выражать в эквиваленте стоек, и это пространство увеличивается по мере увеличения потенциала электроснабжения и охлаждения. Данный эффект
показан на рисунке 1.
Рисунок 1 — Взаимосвязь спецификации средней удельной мощности стоек и доли пространства, которое может использоваться для установки стоек с ИТ-оборудованием
% площадей, которые могут использоваться для
размещения стоек с ИТ-оборудованием
100%
80%
Конструкция без резервных элементов
60%
40%
Резервирование электропитания по схеме 2N,
охлаждения — по схеме N+1
20%
0%
1
2
3
4
5
6
7
8
9
10 11 12 13 14 15 16 17 18 19 20
Заданная средняя мощность на стойку — кВт
Примечание: Кривые на графике рассчитаны по формулам, приведенным в приложении
Здесь четко видно, что объем пространства, которое может быть использовано для установки ИТоборудования, находится в обратной зависимости от заданной средней мощности на стойку (удельной мощности). На горизонтальной оси указана заданная средняя мощность на стойку в помещении.
Вертикальная ось показывает долю свободного места в помещении, которое могло бы быть использовано для установки стоек, но теряется из-за установки дополнительной инфраструктуры электропитания и охлаждения (ИБП, блоки распределения питания и кондиционеры воздуха в машинном
зале). Нижняя кривая на рисунке 1 отражает данные для системы с дублированным (резервирование по схеме 2N) питанием и избыточным (резервирование по схеме N+1) кондиционированием
воздуха в машинном зале. Такая конструкция типична для систем с высокой удельной мощностью.
Заметим, что в находящихся сейчас в эксплуатации центрах обработки данных, где удельная мощ-
American Power Conversion, 2005. Все права защищены. Никакая часть настоящей публикации не может использоваться, воспроизводиться, копироваться, передаваться или храниться в каких бы то ни было информационно-поисковых системах без письменного
разрешения владельца авторских прав. www.apc.com
Изд. 2005-0
10
ность обычно составляет 1,5 кВт на стойку, теряется примерно 15 % площадей. Однако увеличение
спецификаций удельной мощности ведет к существенному уменьшению пространства. Если средняя
мощность на стойку превышает 7 кВт, более 50 % пространства приходится на долю систем электропитания и охлаждения, оказываясь недоступным для установки ИТ-стоек. Не имеет значения, если
реальная удельная мощность меньше заданной: пространство все равно оказывается занято оборудованием для электропитания и охлаждения. Отсюда вытекает основополагающий принцип проектирования систем с высокой удельной мощностью: определение для центра обработки данных
более высокой удельной мощности, чем необходимо, ведет к нерациональному уменьшению
пространства, которое могло бы использоваться для установки ИТ-оборудования. Это очень
серьезная потеря, накладывающаяся на потери, связанные увеличением стоимости системы и
текущих издержек. По этой причине чрезвычайно важно эффективно планировать удельную мощность, чтобы по возможности внедрять системы электропитания и охлаждения с высокой удельной
мощностью только когда в этом есть необходимость.
Подразделение пространства на области с разной
удельной мощностью
Перечисленные выше требования четко указывают на необходимость иметь возможность по-разному
указывать удельную мощность в разных областях центра обработки данных. Это необходимо для
реализации поэтапного внедрения системы, при котором удельная мощность может на разных этапах
быть разной. Альтернативный вариант, при котором весь центр обработки данных сразу рассчитывается на максимальную будущую нагрузку, совершенно непрактичен, поскольку ведет к ненужному
увеличению капитальных затрат и текущих расходов в 3-8 раз и резкому снижению эффективности
использования электроэнергии.
Даже при одноэтапном внедрении выделение в центре обработки данных сегментов с разной удельной мощностью может иметь значительные преимущества. Например, существует значительная
разница в удельной мощности сверхтонких серверов и систем хранения, и центр данных, в котором
серверы и системы хранения разделены, может извлечь серьезное преимущество из проектирования
раздельных зон с различными спецификациями удельной мощности, хотя общая мощность нагрузки
центра при этом не изменится. Если стойки с серверами и системами хранения располагаются в
случайном, неизвестном заранее порядке, системы распределения электропитания и охлаждения
должны быть рассчитаны на обеспечение максимальной удельной мощности в любой точке. Однако
при наличии заранее определенной зоны с пониженной удельной мощностью для систем хранения
мощность систем электропитания и охлаждения для данной зоны может быть снижена. Это может
привести к снижению капитальных и текущих затрат, а также к повышению эффективности использования электроэнергии.
American Power Conversion, 2005. Все права защищены. Никакая часть настоящей публикации не может использоваться, воспроизводиться, копироваться, передаваться или храниться в каких бы то ни было информационно-поисковых системах без письменного
разрешения владельца авторских прав. www.apc.com
Изд. 2005-0
11
Области с разной удельной мощностью могут быть заданы на плане помещения путем разделения стоек по разным зонам. Однако, мы предлагаем использовать хорошо зарекомендовавшую
себя схему, при которой это разделение является не произвольным, но всегда проводится по
рядам, где ряд — это группа стоек, выстроенных в одну линию. Выбор рядов в качестве основной единицы определения областей плотности обусловлен следующими факторами:
•
многие архитектуры распределения питания по стойкам основаны на использовании рядов;
•
многие архитектуры распределения охлаждения по стойкам основаны на использовании
рядов.
Это означает, что ряд является основным и наиболее экономичным уровнем, на котором определяются требования к удельной мощности, а также основной единицей расширения системы. Поэтому
далее в данном документе именно ряд будет рассматриваться в качестве основного уровня, на
котором определяется изменение удельной мощности по зонам.
Стратегия внедрения
Требования к составлению спецификаций удельной мощности должны охватывать меняющееся с
течением времени ИТ-оборудование и внедрение в несколько этапов. Необходимо сделать определенные предположения о том, будет ли меняться инфраструктура электропитания и охлаждения с
течением времени, и если будет, то как.
Неразумно было бы рассчитывать на то, что имеющееся оборудования для распределения электропитания и охлаждения будет меняться, реагируя на изменения ИТ-нагрузки. Внесение изменений в
эти системы, например, проведение работ на функционирующих электрических цепях или водопроводных трубах, может потребовать или поставить под угрозу отключения часть стоек или даже весь
центр обработки данных. Хорошо известно, что человеческие ошибки являются основной причиной
внеплановых простоев центров обработки данных, и чаще всего они возникают именно при внесении
изменений в работающее оборудование. Поэтому лучше всего не менять и не перенастраивать
оборудование для распределения электропитания и охлаждения, установленное в одном ряду
или зоне, на протяжении всего жизненного цикла этого ряда или зоны.
Практическая реализация этого передового опыта может быть суммирована в приведенном ниже
алгоритме внедрения.
•
Нанесение на план помещения схемы расположения стоек и шкафов с использованием стандартных размеров проходов.
•
Определение проектной спецификации удельной мощности ряда и последующая комплектация этого ряда в соответствии с данной спецификацией.
American Power Conversion, 2005. Все права защищены. Никакая часть настоящей публикации не может использоваться, воспроизводиться, копироваться, передаваться или храниться в каких бы то ни было информационно-поисковых системах без письменного
разрешения владельца авторских прав. www.apc.com
Изд. 2005-0
12
•
Если устанавливаемое оборудование укладывается в рамки проектной спецификации имеющегося незаполненного ряда, его можно установить в этот ряд.
•
Если необходимо установить оборудование, удельная мощность которого существенно отличается от мощности незаполненного ряда, не модифицируйте системы электропитания и
охлаждения, пытаясь установить оборудование в данный ряд, а лучше создайте новый
ряд, рассчитанный на более высокую удельную мощность.
•
С течением времени следует наметить полное избавление от рядов, в которых установлено
мало оборудования, и их пересборку на основе других спецификаций удельной мощности,
более полно соответствующих текущим потребностям.
Настоятельно рекомендуется использовать данный алгоритм, поскольку он сводит к минимуму
возможность человеческой ошибки, связанной с проведением работ по изменению функционирующих рядов в центре обработки данных. Этот практичный и эффективный алгоритм накладывает
ограничение на модель указания удельной мощности, налагая запрет на изменение распределения
электропитания и охлаждения в системе рядов.
Отметим, что на рынке имеется ряд продуктов, позволяющих изменять архитектуру электропитания
и охлаждения без риска возникновения неплановых простоев. В частности, система APC InfraStruXure
позволяет производить следующие операции:
•
изменение выходной мощности ИБП путем добавления модулей с возможностью горячего
подключения;
•
изменение типа и номинала штепсельных разъемов в стойке путем замены устанавливаемого
в стойку БРП с возможностью горячего подключения;
•
повышение мощности охлаждающего потока воздуха, подаваемого в стойку, путем установки
в нее дополнительных устройств.
Подобное оборудование позволяет повысить гибкость уже установленной системы и особенно
полезно для небольших систем, для которых не подходит поэтапное внедрение по рядам.
American Power Conversion, 2005. Все права защищены. Никакая часть настоящей публикации не может использоваться, воспроизводиться, копироваться, передаваться или храниться в каких бы то ни было информационно-поисковых системах без письменного
разрешения владельца авторских прав. www.apc.com
Изд. 2005-0
13
Пиковая и средняя удельная мощность в ряду
или зоне
Если бы нагрузка в каждой стойке имела одинаковую мощность, было бы, конечно, гораздо проще
составлять спецификации удельной мощности. Однако из всего сказанного выше ясно, что такая
цель практически недостижима и имеет мало общего с реально существующими системами. На
практике удельная мощность стоек может варьироваться от нуля (коммутационные панели) до
30 кВт (сверхтонкие серверы с высокой удельной мощностью). Эти вариации оказывают очень
сильное влияние на природу эффективного указания удельной мощности.
В ряду или зоне стоек, где мощность стоек варьируется, средняя мощность стойки будет меньше
пиковой. Являющийся чрезвычайно важным коэффициент реального соотношения пиковой и средней мощности в ряду всегда будет больше или равен единице. Будет поучительно рассмотреть ряд
альтернативных методов указания удельной мощности при проектировании рядов, поддерживающих
известный ассортимент стоек с различным энергопотреблением.
Проектирование всех стоек в ряду на пиковую мощность. Одним из вариантов составления
спецификации удельной мощности ряда является указание на то, что все стойки в ряду имеют
удельную мощность и охлаждение, равные максимальной ожидаемой пиковой мощности стойки.
В этом случае при выделении ресурсов электроснабжения и охлаждения следует исходить из того,
что все стойки могут потреблять максимум энергии. Это неизбежно обернется значительным ростом
ресурсов, выделяемых на электроснабжение и охлаждение, что повлечет за собой рост капитальных
и текущих затрат, а также снижение эффективности использования электроэнергии. Эти потери будут
равны нулю, если соотношение пикового и среднего энергопотребления стоек равно единице, но
станут заметными, если данный коэффициент в пределах ряда станет равен или больше 1,5. Более
того, спецификации с расчетом на самый острый вариант высочайшего энергопотребления не учитывают возможность того, что нагрузка, создающая максимальную пиковую мощность стоек, может
распределяться, что также может снижать соотношение пиковой и средней мощности на стойку.
В целом, указание общей удельной мощности ряда для максимального пикового энергопотребления
не является достаточно оптимальным решением, за исключением случаев, когда соотношение
пиковой и средней мощности стоек близко к единице, что редко встречается на практике.
Проектирование всех стоек в ряду на среднюю мощность. Другой подход предполагает указание
средней удельной мощности для всех стоек. Как и в предыдущем случае, этот простой подход оказывается неудовлетворительным, однако по другим причинам. Данный метод требует удаления из
стоек любого оборудования, нагрузка с которым оказывается выше средней, до тех пор, пока удельная мощность не опустится ниже средней отметки. Более того, в этом методе есть еще одно незначительное ограничение: при наличии стоек, реальная удельная мощность которых ниже заданной,
возникают неиспользуемые ресурсы электроснабжения и охлаждения, которые нельзя перераспределить на другие стойки. Это происходит потому, что ряд рассчитан на электроснабжение и охлаждение только стоек, характеристики которых не выходят за рамки средних значений. Рассмотрим
American Power Conversion, 2005. Все права защищены. Никакая часть настоящей публикации не может использоваться, воспроизводиться, копироваться, передаваться или храниться в каких бы то ни было информационно-поисковых системах без письменного
разрешения владельца авторских прав. www.apc.com
Изд. 2005-0
14
следующий сценарий: ИТ-оператор хочет установить в ряд, рассчитанный на 2 кВт на стойку, блок
сверхтонких серверов мощностью в 4 кВт. Можно сказать, что вполне реально переключить кабель
питания на 2 кВт с неиспользуемой стойки (если такая имеется) на блок сверхтонких серверов.
Однако возможность охлаждения этой четырехкиловаттной нагрузки представляется сомнительной,
поскольку система охлаждения не рассчитана на стойки, мощность которых превышает 2 кВт. Более
того, мы получаем непригодную к использованию стойку, поскольку питание с нее переключено на
другую.
Сравнивая два приведенных выше альтернативных сценария с требованиями, можно прийти к
выводу, что ключевым элементом эффективной спецификации удельной мощности является
обязательное указание соотношения пиковой и средней мощности стоек, которое должно
быть больше единицы. Выбор подходящего соотношения пиковой и средней мощности стоек
будет зависеть от ожидаемых вариаций их реальной мощности. На рисунке 2 показано данное
соотношение, учитывающее типичные ограничения и допущения, делаемые при проектировании
центра обработки данных.
Рисунок 2 — Влияние спецификации соотношения пиковой и средней удельной мощности
стоек на совокупную стоимость электропитания и охлаждения для различных степеней
вариаций реальной мощности от стойки к стойке
Нормализованная совокупная стоимость
владения на кВт ИТ-нагрузки
200%
Большой разброс реальной плотности
Типичный разброс реальной плотности
100%
Разброс реальной плотности отсутствует
0%
1
2
3
4
Заданное отношение пиковой плотности к средней
American Power Conversion, 2005. Все права защищены. Никакая часть настоящей публикации не может использоваться, воспроизводиться, копироваться, передаваться или храниться в каких бы то ни было информационно-поисковых системах без письменного
разрешения владельца авторских прав. www.apc.com
Изд. 2005-0
15
На рисунке 2 показано, как указание соотношения пиковой и средней удельной мощности влияет на
нормализованные совокупные расходы1, связанные с инфраструктурой электропитания и охлаждения на кВт установленного ИТ-оборудования для трех различных сценариев вариаций реальной
мощности стоек. Эти данные показывают, что при одинаковом энергопотреблении стоек совокупная
стоимость владения оказывается ниже всего, когда соотношение пиковой и средней удельной мощности стоек равно единице. Данный эффект объясняется тем, что внесение в спецификацию дополнительных резервов пиковой удельной мощности увеличивает расходы на электроснабжение и
охлаждение, но не создает никаких преимуществ при одинаковом энергопотреблении всех стоек.
Однако при увеличении вариаций мощности реально установленных стоек возникают существенные
потери, если спецификация соотношения пиковой и средней мощности не увеличивается. Это происходит из-за частично неиспользуемого потенциала электроснабжения и охлаждения в сочетании с
потребностью в увеличении площадей для имеющейся ИТ-нагрузки. Следовательно, соотношение
средней и пиковой удельной мощности стоек, превышающее единицу, в реальности ведет к снижению совокупной стоимости владения системой.
Из этого вытекает еще один ключевой элемент эффективной спецификации удельной мощности
центров обработки данных: соотношение пиковой и средней удельной мощности стоек в ряду
для типичных проектов должно равняться примерно двум, и если ожидаемая реальная вариация соотношения пиковой и средней удельной мощности в ряду превышает 2, рекомендуется
перераспределить ИТ-нагрузку с самой высокой удельной мощностью по другим стойкам для
ограничения соотношения пиковой и средней мощности или перенести лишнюю нагрузку в
другие ряды.
Спецификации мощности, основанные на правилах
Указание средней и пиковой удельной мощности ряда или зоны позволяет разработать проект для
предсказуемой реализации данной спецификации. Если пиковая мощность стойки близка к средней,
реализация не составляет труда. Однако если соотношение пиковой и средней мощности стоек в
пределах ряда достигает 1,5 или более, начинает расти сложность и дороговизна реализации проекта. В системах, где воздух подается через фальшпол, решение проблемы обеспечения работы
любых стоек на пиковой мощности в течение любого срока (при условии, что не превышается порог
средней мощности) может оказаться весьма сложным. Если в рамках спецификации допускается
установка, основанная на правилах, общая достижимая средняя и пиковая удельная мощность может
быть увеличена.
1
Совокупные расходы включают в себя капитальные затраты на оборудование для электроснабжения и охлаждения и его 10-летнюю службу, стоимость площадей и электричества. Эта сумма варьируется от 50 до 90 тысяч
долларов на стойку в зависимости от конструкции и степени утилизации. Отметим, что расходы на ИБП и охладитель не зависят от соотношения пиковой и средней нагрузки, вариации совокупной стоимости владения связаны
со стоимостью систем распределения электроэнергии и охлаждения.
American Power Conversion, 2005. Все права защищены. Никакая часть настоящей публикации не может использоваться, воспроизводиться, копироваться, передаваться или храниться в каких бы то ни было информационно-поисковых системах без письменного
разрешения владельца авторских прав. www.apc.com
Изд. 2005-0
16
Чтобы понять, какую проблему решают спецификации, основанные на правилах, рассмотрим в
качестве примера установку ряда на имеющуюся систему охлаждения с фальшполом с рекомендуемым соотношением пиковой и средней удельной мощности стоек, равным двум. С точки зрения
системы электроснабжения, каждую стойку следует обеспечить питанием, исходя из пиковой удельной мощности, но оснастить при этом БРП или ИБП, рассчитанным на среднюю удельную мощность
стоек, умноженную на их количество. Реализовать это несложно. Однако, если взглянуть на это с
точки зрения охлаждения, выясняется, что стойки не оснащены системой вентиляции, рассчитанной
на удвоенную удельную мощность. Стойки, удельная мощность которых превышает среднюю, должны заимствовать неиспользованные ресурсы из соседних стоек, работающих с нагрузкой ниже средней. Если вентиляционная пропускная способность фальшпола ограничена, отделение стоек с
высокой удельной мощностью друг от друга в пределах ряда значительно снижает местную перегрузку системы распределения воздуха. Если спецификация поддерживает возможность включения
правил, определяющих расположение стоек с высокой удельной мощностью в ряду, это позволяет
достичь более высоких показателей пиковой и средней удельной мощности в пределах возможностей системы.
Примером простого правила может быть следующее: номинальная мощность стойки может превышать среднюю лишь на величину, на которую энергопотребление соседних стоек ниже среднего. Для
достижения максимальной предсказуемой удельной мощности, возможной в данной системе, могут
использоваться более сложные правила, которые можно реализовать в системе управления электроснабжением и охлаждением.2
Указание возможностей удельной мощности для
будущего роста
Многие центры обработки данных не строятся в один прием, а развиваются и растут с течением
времени. В этих случаях не всегда желательно или возможно заранее указывать удельную мощность
для рядов и зон, которых еще нет в проекте. Любой практичный метод указания удельной мощности
центра обработки данных должен учитывать требования будущего оборудования, удельную мощность которого трудно предсказать, и по возможности сохранять резерв повышения удельной мощности в будущем. В идеале, расходы и обязательства, связанные с внедрением инфраструктуры электроснабжения и охлаждения, должны откладываться как можно дольше. Более того, будущее расширение центра обработки данных не должно сказываться на эксплуатационной готовности уже эксплуатируемого оборудования.
2
Реализация правил удельной мощности охлаждения в системе управления защищена патентами, заявки на
которые поданы корпорацией APC.
American Power Conversion, 2005. Все права защищены. Никакая часть настоящей публикации не может использоваться, воспроизводиться, копироваться, передаваться или храниться в каких бы то ни было информационно-поисковых системах без письменного
разрешения владельца авторских прав. www.apc.com
Изд. 2005-0
17
На практике широко используется вариант, при котором вся инфраструктура электропитания и охлаждения выстраивается заблаговременно, с расчетом на поддержание заранее определенной удельной мощности. Преимущество предварительной установки оборудования заключается в том, что в
будущем при установке ИТ-оборудования не потребуется проводить крупномасштабные работы с
внешними источниками ресурсов при работающем центре обработки данных. Однако данный подход
имеет ряд важных недостатков, часть которых перечислена ниже.
•
Удельная мощность нового ИТ-оборудования превосходит возможности инфраструктуры
электроснабжения и охлаждения, и поэтому оно не может быть эффективно внедрено.
•
Возможности инфраструктуры электроснабжения и охлаждения превосходят удельную мощность нового оборудования, и поэтому значительная часть средств, вложенных в инфраструктуру, оказывается потрачена впустую.
•
Объект не расширяется или расширение приходится производить в другом месте в силу законодательных ограничений или других причин делового характера, и поэтому значительная
часть средств, вложенных в инфраструктуру, оказывается потрачена впустую.
•
В ближайшем будущем загрузка центра обработки данных оказывается намного ниже возможностей инфраструктуры электропитания и охлаждения, что приводит к серьезному снижению эффективности использования электроэнергии и ненужным расходам на ее оплату.
•
Заблаговременная установка ненужной в данный момент инфраструктуры электроснабжения
и охлаждения оборачивается нежелательными капитальными затратами на приобретение и
обслуживание оборудования.
Эффективная модель указания удельной мощности должна позволять избегать этих проблем за
счет поддержки проектирования и внедрения модульной масштабируемой инфраструктуры электроснабжения и охлаждения. Такая архитектура должна базироваться на заблаговременной установке
основных внешних линий, таких как линии питания и охлаждения уровня рядов и зон, в сочетании
с последующим подключением дорогостоящей инфраструктуры электроснабжения и охлаждения,
такой как системы бесперебойного питания, БРП, стойки, системы распределения питания внутри
ряда, кондиционеры воздуха и вентиляционное оборудование. Принятие решения о конкретной
удельной мощности, поддерживаемой в ряду или зоне, должно откладываться до момента непосредственного внедрения, а установка инфраструктуры электроснабжения и охлаждения должна производиться ряд за рядом. Реально существующим примером такой архитектуры является система
APC InfraStruXure.
Из всего рассмотренного можно вывести еще один ключевой элемент предлагаемого метода указания удельной мощности: ряды и зоны, которые должны внедряться в центре обработки данных
в будущем, следует рассчитывать, исходя из самой высокой предполагаемой удельной мощности, которую должны поддерживать устанавливаемые основные линии питания и трубопроводы; однако непосредственно выбор систем электроснабжения и охлаждения рядов
следует отложить до определения удельной мощности внедряемого оборудования и плана
American Power Conversion, 2005. Все права защищены. Никакая часть настоящей публикации не может использоваться, воспроизводиться, копироваться, передаваться или храниться в каких бы то ни было информационно-поисковых системах без письменного
разрешения владельца авторских прав. www.apc.com
Изд. 2005-0
18
внедрения. Таким образом удается привести основные факторы, определяющие стоимость инфраструктуры электроснабжения и охлаждения, в соответствие с реальными потребностями системы и
производить внедрение по мере необходимости. Это позволяет резко сократить капитальные затраты и текущие расходы, а также значительно повысить эффективность использования электроэнергии
центром обработки данных.
Модель
Теперь можно создать модель указания удельной мощности, отвечающую изложенным выше требованиям и учитывающую различные встречающиеся на практике ограничения.
Данная модель включает в себя перечисленные ниже основные элементы.
•
Создается физическая схема центра обработки данных, основной единицей которой являются ряды стоек или шкафов.
•
Для каждого ряда необходимы данные из таблицы 2.
Таблица 2 — Данные, требуемые на уровне ряда
Данные
Единицы
Описание
Основная функция
Число
позиций
для стоек
шт.
Число позиций для стоек в ряду. Включает все
позиции, часть из которых могут быть заняты
оборудованием для электроснабжения или
охлаждения — в зависимости от архитектуры.
Определение общей потребности ряда в электроснабжении и охлаждении.
Средняя
мощность
на стойку
в ряду
кВт/стойка
Средняя удельная мощность на стойку, демонстрируемая стойками с ИТ-оборудованием в
указанном ряду. Должна быть указана для
каждого ряда в помещении.
Определение общей мощности ряда и его потребности в
вентиляции.
Пиковая
мощность
на стойку
в ряду
кВт/стойка
Пиковая удельная мощность на стойку, демонстрируемая стойками с ИТ-оборудованием в
указанном ряду. Должна быть указана для
каждого ряда в помещении.
Определение конструкции
системы электроснабжения
стоек и системы распределения охлаждения.
•
Для будущего внедрения рядов следует указать максимально реальные значения средней и
пиковой мощности, учитывая, что эти величины могут быть уменьшены перед внедрением с
минимальными потерями из-за чрезмерной величины проводов и трубопроводов основных
линий.
•
Приведенная выше информация используется для расчета данных в таблице 3.
American Power Conversion, 2005. Все права защищены. Никакая часть настоящей публикации не может использоваться, воспроизводиться, копироваться, передаваться или храниться в каких бы то ни было информационно-поисковых системах без письменного
разрешения владельца авторских прав. www.apc.com
Изд. 2005-0
19
Таблица 3 — Расчетные данные удельной мощности
Данные
Единицы Описание
Основная функция
Общее число
имеющихся
стоек для ИТоборудования
шт.
Количество имеющихся, согласно
проекту, стоек за исключением стоек,
предназначенных для инфраструктуры электропитания и охлаждения.
Определение общей мощности
доступных ИТ-стоек для целей
планирования.
Общая начальная потребность
в мощности
кВт
Требования к электроснабжению и
охлаждению машинного зала без
учета оборудования, которое планируется установить в будущем.
Определение краткосрочной
потребности в инвестициях
в электроснабжение и
оборудование.
Общая конечная
потребность в
мощности
кВт
Окончательная максимальная
потребность помещения в электроснабжении и охлаждении.
Определение масштабов ключевой вспомогательной инфраструктуры, включая коммутационное
оборудование, кабели и трубопроводы для охлаждения.
Пиковая удельная мощность
кВт/стойка
Самая высокая удельная мощность
в пределах любого ряда.
Определение архитектуры распределения охлаждения.
Средняя удельная мощность
центра обработки данных
кВт/стойка
Общий показатель удельной мощности для центра обработки данных.
Обеспечение перевода в другую
систему измерения (из Вт/м2 на
Вт/фут2 и наоборот). Для преобразования следует выбрать определение из таблицы 1.
Наиболее сложной проблемой создания спецификации удельной мощности с использованием данного метода является определение местоположений стоек, задействованных под инфраструктуру
электроснабжения и охлаждения и поэтому недоступных для ИТ-оборудования. Разумной величиной,
на которую можно ориентироваться, является одна стойка, занимаемая инфраструктурой электроснабжения и охлаждения, на каждые 15 кВт ИТ-нагрузки. Эта рекомендация основана на средних
требованиях по электроснабжению и охлаждению реальных действующих центров данных с резервированием по схемам 1N и 2N (c учетом проходов). Точная цифра зависит от выбранной архитектуры электроснабжения и охлаждения, ограничений помещения и указаний, предоставленных поставщиком системы. Например, в случае с системой для центров данных APC InfraStruXure корпорация
APC предоставляет средства автоматизированного проектирования, выполняющие эти расчеты для
каждого помещения.
American Power Conversion, 2005. Все права защищены. Никакая часть настоящей публикации не может использоваться, воспроизводиться, копироваться, передаваться или храниться в каких бы то ни было информационно-поисковых системах без письменного
разрешения владельца авторских прав. www.apc.com
Изд. 2005-0
20
Практические указания по использованию
Использование описанной модели для указания удельной мощности само по себе не обеспечивает
оптимальной проектировки помещений. На успешность окончательной установки могут влиять такие
факторы как выбор пользователем планировки помещения и самого помещения, а также пользовательская оценка требований к удельной плотности. Однако использование данной модели обеспечивает множество серьезных преимуществ, ряд которых перечислены ниже.
•
Обеспечение более полного и точного описания удельной мощности центра обработки данных, чем при использовании других методов составления спецификаций.
•
Работа центров данных, построенных в соответствии с данной спецификацией, будет более
предсказуемой.
•
Модель достаточно точна, чтобы имелась возможность быстрой оценки затрат, включая капитальные и текущие, что сокращает сроки проектирования и позволяет анализировать альтернативные сценарии.
•
Поддерживается система модульного масштабируемого внедрения центра данных, позволяющая резко снизить стоимость владения и повысить эффективность использования электроэнергии.
Ниже перечислены некоторые варианты практического применения описанного метода указания
удельной мощности.
•
Сравнение совокупной стоимости владения для разных центров обработки данных и
помещений.
•
Оценка расходов, связанных с повышением удельной мощности в проектируемом или работающем центре обработки данных.
•
Обеспечение спецификации, четко определяющей ожидания в отношении удельной мощности в форме, понятной пользователям ИТ, для унификации ожиданий пользователей ИТ,
операторов центров обработки данных и поставщиков систем для них.
Реализация данного метода указания удельной мощности в средствах автоматического проектирования центров обработки данных может облегчить и автоматизировать процесс составления спецификаций и проекта.
American Power Conversion, 2005. Все права защищены. Никакая часть настоящей публикации не может использоваться, воспроизводиться, копироваться, передаваться или храниться в каких бы то ни было информационно-поисковых системах без письменного
разрешения владельца авторских прав. www.apc.com
Изд. 2005-0
21
Пример спецификации центра обработки данных
Данный пример демонстрирует, как можно использовать данную модель для составления спецификации реального центра обработки данных. В данном случае предоставляется помещение для
проекта по консолидации серверов. Все ИБП, системы распределения питания и охлаждения должны
быть расположены в одном помещении и в настоящий момент отсутствуют. Фальшполы отсутствуют,
и высота помещения не позволяет их использовать. Необходимо внедрить сочетание разнообразного
сетевого оборудования, включая сверхтонкие серверы, серверы в стоечном исполнении, системы
хранения и сетевое оборудование. Все сверхтонкие серверы должны быть установлены в одном
месте. Предполагается, что требующееся в данный момент оборудование заполнит только половину
имеющегося помещения. Остающееся пространство следует зарезервировать под оборудование с
удельной мощностью на 20 % выше, чем у используемого сейчас, предусмотрев возможность установки не менее трех стоек сверхтонких серверов, энергопотребление которых оценивается на уровне
25 кВт на стойку. Требования к эксплуатационной готовности предполагают использование системы
электроснабжения и охлаждения без резервирования.
Схема помещения и предлагаемого размещения стоек (всего имеется 41 место для них) показана
на рисунке 3. Решено установить ряды 1, 2 и 3 немедленно, а ряды 4, 5, 6 и 7 — позднее. Анализ
планируемого к немедленному внедрению оборудования позволяет организовать оборудование со
сходным уровнем мощности в ряды таким образом, чтобы уменьшить в них перепад между пиковой
и средней мощностью, и расположить сверхтонкие серверы, как и требуется, вместе, в ряду 2. Спецификация на ряды 1, 2 и 3 сведена в таблицу 4.
American Power Conversion, 2005. Все права защищены. Никакая часть настоящей публикации не может использоваться, воспроизводиться, копироваться, передаваться или храниться в каких бы то ни было информационно-поисковых системах без письменного
разрешения владельца авторских прав. www.apc.com
Изд. 2005-0
22
Рисунок 3 — План помещения будущего центра данных с предлагаемой схемой размещения стоек (Изображение из программы APC InfraStruXure Build-Out Tool)
American Power Conversion, 2005. Все права защищены. Никакая часть настоящей публикации не может использоваться, воспроизводиться, копироваться, передаваться или храниться в каких бы то ни было информационно-поисковых системах без письменного
разрешения владельца авторских прав. www.apc.com
Изд. 2005-0
23
Таблица 4 — Данные об удельной мощности рядов для будущего
центра обработки данных
Данные
Единицы Ряд 1 Ряд 2 Ряд 3 Ряд 4 Ряд 5
Ряд 6 Ряд 7 Всего
Число позиций
для стоек
шт.
7
7
7
5
5
5
5
41
Средняя мощность
на стойку в ряду
кВт/стойка
2
5
3
4
4
4
4
3,7
Пиковая мощность
на стойку в ряду
кВт/стойка
4
15
6
15
15
15
15
15
На основе этой информации можно рассчитать среднюю удельную мощность первой очереди, которая будет равняться (2*7+ 5*7+ 3*7) / 21 = 3,3 кВт на стойку. Если предполагается, что дополнительные ряды будут иметь удельную мощность на 20 % выше (другие подробности пока отсутствуют), на
основании этого можно рассчитать общую среднюю удельную мощность центра обработки данных,
которая будет равняться (2*7+ 5*7+ 3*7+ 4*5+ 4*5 + 4*5+ 4*5) / 41 = 3,7 кВт на стойку. Указание будущих неопределенных рядов с высокой пиковой удельной мощностью, равной 15 кВт, обеспечивает
значительную гибкость в отношении последующего изменения конструкции этих рядов. В таблице 4
показаны будущие спецификации для рядов 4, 5, 6 и 7. Единственным последствием задания высокого пикового значения будущих рядов являются скромные масштабы первичных систем электроснабжения и охлаждения.
На основании рисунка 1 можно сделать предварительную оценку, что оборудование для электроснабжения и охлаждения будет занимать около 30 % общей площади, что эквивалентно 13 стойкам
(30 % от 41 стойки), а средняя удельная мощность стоек составит 3,7 кВт. Соответственно, общее
число имеющихся стоек для ИТ-оборудования в соответствии со спецификацией удельной мощности
составит 70 % или 28 стоек.
Спецификация удельной мощности для предлагаемого проекта по консолидации серверов, включает
в себя таблицу 4 и расчетные значения из таблицы 5.
Таблица 5 — Расчетные данные по помещению для будущего центра обработки данных
Данные
Общее число
имеющихся стоек
Общая начальная потребность
в мощности
Значение Единицы Комментарий
28
47
шт.
Часть площади центра обработки данных занята оборудованием для электроснабжения и охлаждения.
кВт
Изначально необходимо установить оборудование для
электропитания и охлаждения общей мощностью не
менее 47 кВт. Согласно рисунку 1, количество свободных
мест в рядах 1, 2 и 3 составляет 6, 4 и 5, соответственно,
что с учетом данных об удельной мощности этих рядов
дает 6 x 2 кВт/стойка + 4 x 5 кВт/стойка + 5 x 3 кВт/стойка
= 47 кВт.
American Power Conversion, 2005. Все права защищены. Никакая часть настоящей публикации не может использоваться, воспроизводиться, копироваться, передаваться или храниться в каких бы то ни было информационно-поисковых системах без письменного
разрешения владельца авторских прав. www.apc.com
Изд. 2005-0
24
Данные
Общая конечная
потребность в
мощности
Значение Единицы Комментарий
104
кВт
Установка остального оборудования для электроснабжения и охлаждения, мощность которого достигает 60 кВт,
откладывается до определения состава рядов (28 стоек
для ИТ-оборудования х 3,7 кВт/стойка = 104 кВт).
кВт/стойка
Необходимость охлаждения систем с такой высокой
удельной мощностью сокращает число возможных
вариантов и увеличивает расходы. Прежде чем проектировать систему, следует еще раз попытаться более
равномерно распределить оборудование с такой высокой
удельной мощностью.
кВт/стойка
Удельная мощность этого центра обработки данных,
согласно спецификации, более чем в два раза превышает среднюю удельную мощность существующих центров
обработки данных. Менее 2 % существующих в настоящее время центров обработки данных достигают такой
удельной мощности.
Пиковая удельная мощность
15
Средняя удельная мощность
центра обработки данных
3,7
Теперь можно заниматься разработкой проекта. Следующим шагом является определение конкретного местоположения оборудования для электроснабжения и охлаждения с учетом его характеристик
и конструкции системы. В основе данного процесса лежат сложные математические модели конкретного оборудования, а также правила оптимизации и предпочтения заказчика. Эта процедура не будет
рассматриваться, поскольку она будет разной для разного оборудования для электроснабжения и
охлаждения. В идеале, проект должен требовать данных только о том оборудовании для электроснабжения и охлаждения, которое необходимо для первоначальной установки, учитывая, однако,
перспективу того, что в будущем будет устанавливаться другое оборудование, и обеспечивая соответствие частично сформулированному плану будущего внедрения. Например, необходимо уже на
первом этапе внедрения установить основные кабельные линии и трубопроводы для будущих стоек.
Следует отметить, что хотя для рядов, установка которых намечена на будущее, указываются величины средней и пиковой удельной мощности, их можно менять в любой момент перед установкой,
при условии, что общая мощность оборудования на участке будет не выше запланированной.
American Power Conversion, 2005. Все права защищены. Никакая часть настоящей публикации не может использоваться, воспроизводиться, копироваться, передаваться или храниться в каких бы то ни было информационно-поисковых системах без письменного
разрешения владельца авторских прав. www.apc.com
Изд. 2005-0
25
Заключение
Традиционные методы расчета удельной мощности центров обработки данных примитивны, неоднозначны и обманчивы. Эти устаревшие методы непригодны для планирования, целью которого является обеспечение предсказуемой работы систем электроснабжения и охлаждения центров обработки
данных, в которых используется новейшее ИТ-оборудование с высокой удельной мощностью.
В данной статье описываются требования к составлению спецификаций удельной мощности
и предлагается новый метод ее указания. Данный метод позволяет получать практичные спецификации, позволяющие ИТ-персоналу и проектировщикам систем использовать понятные друг для друга формулировки требований и способствующие созданию центров обработки данных, отличающихся предсказуемостью характеристик, экономичностью и эффективностью использования
электроэнергии.
Об авторе
Нил Расмуссен — один из основателей и технический директор компании American Power Conversion
(APC). В APC Нил распоряжается самым крупным бюджетом для научно-исследовательских работ,
направленных на изучение инфраструктуры энергоснабжения, охлаждения и стоек для критически
важных сетей. Главные центры разработки продукции находятся в США (Массачусетс, Миссури, РодАйленд), Дании, Тайване и Ирландии. В настоящее время Нил направляет усилия APC на разработку
модульных решений для центров обработки данных с возможностью наращивания.
Перед основанием APC в 1981 г. Нил получил степень бакалавра и магистра по электротехнике в
Массачусетском технологическом институте, где он защитил диссертацию по анализу 200 МВт станции для Токамакского ядерного реактора. С 1979 по 1981 гг. он работал в лаборатории Линкольна в
Массачусетском технологическом институте над системами с маховиковыми накопителями энергии и
системами использования солнечной энергии.
American Power Conversion, 2005. Все права защищены. Никакая часть настоящей публикации не может использоваться, воспроизводиться, копироваться, передаваться или храниться в каких бы то ни было информационно-поисковых системах без письменного
разрешения владельца авторских прав. www.apc.com
Изд. 2005-0
26
Приложение: Определение процента площадей со
стойками в центре обработки данных, свободных
от оборудования для электроснабжения и
охлаждения
График на рисунке 1 получен путем установления баланса между мощностью нагрузки и потенциалом оборудования для электроснабжения и охлаждения, где
PI = мощность ИТ-оборудования
PN = потенциал оборудования для электроснабжения и охлаждения
DI = удельная мощность ИТ-оборудования в кВт на место для стойки
DN = удельная мощность оборудования для электроснабжения и охлаждения в кВт на место
для стойки
RN = количество мест для стоек, занятых оборудованием для электроснабжения и охлаждения
RI = количество мест для стоек, занятых ИТ-оборудованием
RT = общее количество мест для стоек в помещении
PN = PI
RN DN = RI DI
RN =
Однако,
RI DI
DN
RN = RT − RI
Следовательно,
RT − RI =
RI DI
DN

D 
RT = RI 1 + I 
 DN 
RI
1
=
RT 
D
1 + I
 DN



Функция на рисунке 1 построена на основе последней формулы. Величина DN зависит от особенностей используемого оборудования для электроснабжения и охлаждения, а также от избыточности
конфигурации.
American Power Conversion, 2005. Все права защищены. Никакая часть настоящей публикации не может использоваться, воспроизводиться, копироваться, передаваться или храниться в каких бы то ни было информационно-поисковых системах без письменного
разрешения владельца авторских прав. www.apc.com
Изд. 2005-0
27