Некоммерческое
партнерство
инженеров
Инженеры по отоплению, вентиляции, кондиционированию воздуха, теплоснабжению и строительной теплофизике
(495) 984-99-72 НП "АВОК"

(495) 107-91-50 ООО ИИП "АВОК-ПРЕСС"

АВОК ассоциированный
член
Summary:

Центры обработки данных: особенности проектирования и эксплуатации

Data Processing Centers: Specifics of Design and Operation

Keywords: data processing center, operation, free cooling, monitoring, predictive analytics

There are no two identical data centers in Russia: it is almost impossible to use standard designs in cosntruction of DPCs, and each new facility requires a special approach. This article is dedicated to specifics of design and operation of data centers in our country.

Описание:

Двух одинаковых дата-центров в России не найти: типовые проекты при строительстве ЦОД применить почти невозможно, и каждый новый объект требует особого подхода. Данный материал посвящен особенностям проектирования и эксплуатации дата-центров в нашей стране.

Центры обработки данных: особенности проектирования и эксплуатации

Двух одинаковых дата-центров в России не найти: типовые проекты при строительстве ЦОД применить почти невозможно, и каждый новый объект требует особого подхода. В чем особенности проектирования и эксплуатации дата-центров в нашей стране, рассказывают специалисты ИТ-компании КРОК.

Центры обработки данных

Сергей Махлин, руководитель направления электромеханических систем:

– Типовые проекты дата-центров России невозможны из-за серьезной разницы в климатических условиях регионов, большого разброса среднегодовой температуры, различной стоимости энергоресурсов. Очевидно, что важную роль играют бизнес-требования заказчика, наличие источников энергоснабжения, особенности площадки. Далее я расскажу, какие аспекты являются ключевыми на этапе проектирования.

1. Климатические условия. При разработке проекта ЦОД принимаются во внимание данные строительной климатологии, таблицы ASHRAE, максимальные и минимальные температуры для данной местности. На основе этой информации подбираются, например, решения для систем охлаждения. Так, в северных регионах могут эффективно применяться технологии фрикулинга, а в южных допустимы решения с использованием солнечных батарей для снятия пиков нагрузки. Адиабатическое охлаждение может использоваться в Центральной России, но оно вряд ли подойдет для районов с высокой влажностью. Мы несколько раз анализировали целесообразность применения этого способа в приморском климате, и расчеты показали, что в условиях влажного климата использование адиабатической системы невыгодно.

2. Особенности площадки. Если ЦОД располагается в уже построенном здании, то это накладывает на проектировщика многие дополнительные ограничения, сужающие возможности по оптимизации объекта: габариты, несущие способности, окружение, противопожарные разрывы и т. п. Например, центр обработки данных «Компрессор» ИТ-компании КРОК был открыт в уже существующем заводском цехе, поэтому при его создании потребовалось построить перекрытия, превратив высокое одноэтажное здание в трехэтажное. Это позволило эффективно разместить в здании ИТ-оборудование и инженерную инфраструктуру.

3. Требования заказчика. Поскольку заказчик не всегда знает, какое IT-оборудование может потребоваться, усилия проектировщиков также направлены на максимальную универсальность и гибкость инженерной инфраструктуры. Например, мы стараемся делать «холодный» коридор шириной 2,4 метра: это дает возможность устанавливать и негабаритное оборудование, и оборудование, которому требуется большая мощность.

Основные коллизии в проектировании ЦОД связаны с плохой согласованностью действий проектировщиков разных систем и отсутствием опытного координирующего технического специалиста, который комплексно контролирует проект. Чтобы сократить количество коллизий, рекомендуем даже предпроектные решения и небольшие проекты выполнять в BIM-среде, снижая тем самым количество нестыковок на этапе строительства.

От того, насколько тесным и эффективным будет взаимодействие всех работающих над проектом специалистов, зависит не только качество проекта, но и последующая эксплуатация дата-центра. Рассмотрим, к примеру, ключевое значение PUE (Power Usage Effectiveness). Если в среднем по рынку этот среднегодовой параметр составляет 1,5, то в результате творческого подхода и плотного взаимодействия инженеров на этапе проектирования можно добиться его существенного снижения. Это позволит заказчику сэкономить миллионы рублей на этапе эксплуатации. Кстати, в идеальном варианте представитель заказчика и эксплуатирующая служба также привлечены к процессу проектирования.

В целом проектирование ЦОД – достаточно консервативная отрасль, и к нововведениям как заказчики, так и проектировщики относятся довольно осторожно. Несмотря на то что системы охлаждения в дата-центрах – второй после IT-нагрузки источник затрат на электроэнергию, энергосберегающие технологии в России применяются ограниченно. Причина – низкие по сравнению с другими странами цены на энергоресурсы. Так, до сих пор, в зависимости от объемов и размеров ЦОД, для охлаждения активно используются фреоновые и чиллер-фанкойл-системы. По нашим прогнозам, пройдет немало лет, прежде чем решения с косвенным фрикулингом, иммерсионным охлаждением и рекуперацией тепла начнут составлять значимую конкуренцию «традиционным» способам.

Важным этапом создания ЦОД является сертификация, которую проводит Uptime Institute на соответствие стандартам Tier. Ее проведение возможно, начиная с проектной документации, и далее – на этапах запуска и эксплуатации (программы Design, Facility, Operations). Сертификация не налагает требований к определенным проектным решениям и технологиям: любое из них может быть признано приемлемым, если оно отвечает требованиям надежности, избыточности и отказоустойчивости. Такой подход позволяет использовать широкий спектр инфраструктурных и системных решений  обеспечить заказчику оптимальную работу ЦОД.

Павел Горюнов, технический директор ЦОД «Компрессор»:

– ЦОД «Компрессор» был запущен в эксплуатацию в 2011 году. В 2019 году он прошел повторную сертификацию Uptime Institute, подтвердив соответствие категории Tier III – Certification of Operational Sustainability – уровня Gold. На сегодняшний день это наивысший уровень отказоустойчивости среди коммерческих дата-центров в России. Он свидетельствует о том, что в ЦОД эффективно выстроены все процессы эксплуатации, а методики и регламенты обслуживания соответствуют мировым практикам.

Категория Tier III соответствует ожидаемому уровню безотказной работы 99,982 % – 95 минут простоя в год. При этом ЦОД «Компрессор» работает без простоя с момента открытия. Кроме того, дата-центр такого уровня не требует остановки работы оборудования для замены «железа» и обслуживания.

Для эффективной и стабильной работы ЦОД мы используем следующие решения:

фрикулинг. Он стал неотъемлемой частью системы охлаждения. Когда на улице температура от 0 до 10 °C, используется микс-режим, а при температуре ниже нуля применяется только фрикулинг. Это позволяет нам снизить расходы на потребление примерно до 30 % в год;

Io T. В нашем дата-центре используется беспроводной анализ температуры в машинных залах. Эта технология работает на базе промышленного IoT, который контролирует климатические параметры в ЦОД и предотвращает перегрев вычислительного оборудования. Программно-аппаратное решение включает беспроводные датчики, устанавливаемые в серверном помещении, и аналитический центр, размещенный в облаке. Датчики системы каждые 30 секунд фиксируют показатели температуры и влажности и в онлайн-режиме отправляют их в мониторинг. При выявлении потенциально опасных трендов программа сообщает об этом инженерам службы эксплуатации ЦОД. На первом этапе внедрения такая технология позволила нам выявить неоптимальные зоны в некоторых серверных. Впоследствии мы скорректировали их путем дополнительного физического разграничения горячих и холодных коридоров, а также настроек систем охлаждения ЦОД. Отмечу, что система позволила сэкономить порядка 5 % затрат на электроэнергию в год, а сами датчики могут работать автономно не менее двух лет без замены источников питания;

VR. Виртуальный тренажер для обучения персонала. Более 80 % отказов дата-центров связаны с человеческим фактором, поэтому необходимы постоянное обучение и тренировка сотрудников ЦОД. У нас есть опыт применения цифровой модели дата-центра со всеми комнатами и технологическими установками – это по сути, полный прототип объекта для тренажера в виртуальной среде. Такой VR-тренинг моделирует ситуацию аварийного переключения питания на дизель-генераторы и позволяет эффективно отработать действия при сценариях отказов;

CMMS. В ЦОД «Компрессор» мы дополнительно применяем CMMS-систему для регистрации и отслеживания всех типов проведенных работ. Это позволяет нам увидеть всю динамику по обслуживанию ЦОД, например: сколько плановых и аварийных работ произведено, когда это произошло, сколько было выполнено ремонтов и на каких установках. Дополнительно к этому применяются отдельные процедуры анализа аварийных ситуаций. Кроме того, точный трекинг заявок помогает нам оценить достаточность резервных компонентов и персонала, принимающего участие в эксплуатации и техническом обслуживании;

мониторинг и предиктивная аналитика. Большую роль в эксплуатации ЦОД играют предиктивная аналитика и меры, позволяющие нивелировать риски отказов оборудования и ЦОД в целом. К мерам предиктивного обслуживания относятся: тепловизионная съемка, вибротесты и другие замеры, которые важно производить регулярно с использованием специального оборудования и софта. Помимо этого, применяются классические решения для мониторинга и диспетчеризации всех систем ЦОД. Новые решения позволяют выводить паттерны поведения и предугадывать возможные события изменений в будущем. Особенно предиктивная аналитика актуальна после нескольких лет эксплуатации дата-центра и  при активной ротации нагрузки в ЦОД.

купить online журнал подписаться на журнал
Поделиться статьей в социальных сетях:

Статья опубликована в журнале “АВОК” за №1'2020

PDF pdf версия


Статьи по теме

Реклама
Реклама на нашем сайте
Яндекс цитирования

Подписка на журналы

АВОК
АВОК
Энергосбережение
Энергосбережение
Сантехника
Сантехника
Сертификационный центр АВОК
Реклама на нашем сайте
KSB
Онлайн-словарь АВОК!