В 2007 году «Тройка Диалог» объявила об открытии сверхсовременного инновационного датацентра для трейдинг-центра. Это событие наделало много шума, ему были посвящены десятки публикаций в прессе. Трейдинг-центр «Тройки Диалог» является сегодня одним из самых крупных и наиболее высокотехнологичных на российском фондовом рынке, а созданный ЦОД обеспечивает его отказоустойчивость и максимально надежное хранение больших объемов информации. По использованию новейших технологий и решений это уникальный проект: была применена инновационная система водяного охлаждения, причем при ее конструировании использовались как стандартные элементы, так и те, что специально проектировались под площадку. Созданная инфраструктура ЦОДа соответствует самому высокому уровню TIER IV по классификации The Uptime Institute. С момента его запуска прошел год. CIO «Тройки Диалог» Виктор Малахов рассказывает о том, как компания подходила к реализации этого проекта, и подводит первые итоги эксплуатации ЦОДа и инвестиций в него.

О компании

«Тройка Диалог» — одна из ведущих российских инвестиционных компаний. Ключевыми направлениями ее деятельности являются торговые операции с ценными бумагами, инвестиционно-банковские услуги, доверительное управление активами, прямые и венчурные инвестиции. На долю «Тройки Диалог» приходится 36% оборота по акциям на классическом рынке РТС и 23% рынка рублевых облигаций. Общая сумма активов под управлением «Тройки Диалог» превышает 4,5 млрд долл. Сеть отделений компании действует в 18 крупнейших городах России, а также в Нью-Йорке, Лондоне, Киеве и на Кипре.

Intelligent Enterprise: Каковы концептуальные особенности обеспечения непрерывности такого бизнеса, как трейдинг?

Виктор Малахов: Непрерывность бизнеса для нас — не пустой звук. Торговля на рынке ценных бумаг — это бизнес, который характеризуется высокой степенью активности. Наши обязательства перед клиентами и партнерами таковы, что мы не имеем права остановить работу даже на несколько секунд. Мы должны уметь реагировать на стремительные изменения рыночной конъюнктуры. Если мы на мгновение утратим представление о том, что происходит на рынке, или потеряем контакт с клиентом, это приведет к неприемлемым убыткам. Поэтому весь период торгового времени, который во все будние дни продолжается с восьми утра до полуночи, мы обеспечиваем непрерывность бизнеса и резервирование всех основных сервисов.

Наша концепция непрерывности создавалась в ходе проекта по построению трейдинг-центра. Датацентр у нас был и до этого, но именно с проектом создания нового ЦОДа было сформировано четкое представление о том, какой уровень непрерывности бизнеса необходимо обеспечить, и разработаны основные положения в этой области. Кроме того, «Тройка диалог» — компания быстроразвивающаяся, растущая по всем показателям: количеству людей, объему транзакций, прибыли. Естественно, такой интенсивный рост сопровождается повышенным спросом на ИТ-сервисы, на количество серверов и рабочих станций. Быстрый рост компании тоже надо учитывать при проектировании нового ЦОДа.

Как эти требования далее проецируются на архитектуру вычислительного комплекса?

Прежде всего стоит вопрос, строить ли собственный ЦОД или арендовать мощности аутсорсингового. Те мощности, которые можно арендовать, ориентированы, как правило, на удовлетворение потребностей небольших компаний. У нас масштаб принципиально иной, и вопросам безопасности мы уделяем повышенное внимание, поэтому свои ЦОДы мы строили всегда.

Еще одна причина, обусловившая необходимость строить собственный современный ЦОД, связана непосредственно со спецификой трейдинг-центра. Одна из ключевых технологических идей у нас заключается в том, что рабочие станции вынесены в ЦОД. В среднем на одного трейдера приходится три-четыре рабочие станции. Это требует дополнительного пространства и неудобно для самого трейдера. Во-первых, потому что загромождено рабочее место: много клавиатур и мышек на рабочем столе, где еще должны быть деловые бумаги, информационные материалы, телефон, личные вещи. Однако самое плохое — что такое количество рабочих станций производит много шума и тепла. Это крайне негативный фактор. Трейдеры сидят довольно плотно, чтобы иметь возможность общаться друг с другом и быть в курсе всего происходящего. Здесь очень большая концентрация информационных потоков, атмосфера накалена до предела. Совокупное тепло, выделяемое рабочими станциями, сравнимо с жаром от хорошего камина. Если пытаться охлаждать всё это классическим способом — использовать специальную мебель с отводом тепла от рабочих станций (с принудительной вентиляцией), — это займет дополнительное место и добавит шума. И по большому счету ситуация все равно останется неудовлетворительной. За счет размещения рабочих станций в датацентре мы смогли построить экологичное рабочее пространство на трейдинге: никакого лишнего шума, тепла и нагромождения ненужных пользователю устройств. У трейдера может быть до восьми рабочих станций, но при этом только одна клавиатура и мышь, которые обслуживают все станции удобным и прозрачным способом. Работать действительно комфортно.

С другой стороны, такой подход означает, что ЦОД не может находиться на другом конце земного шара. В идеале он должен быть размещен в том же бизнес-центре, что и трейдинг. Очевидно, что ЦОД должен работать круглосуточно, перебои в его работе недопустимы. Мы ориентируемся на показатель простоя в несколько минут в год. Эти требования обуславливают необходимость построения резервных ЦОДов. На то, чтобы переместить людей с одной площадки на другую, требуется время. Поэтому мы применяем кластерное резервирование в рамках основной площадки. Выход из строя любых компонентов не приводит к остановке операций на площадке. Немало усилий направлено и на то, чтобы саму инфраструктуру сделать устойчивой к сбоям, разрушениям и повреждениям. При возникновении нештатной ситуации необходимо, во-первых, ограничить ее последствия, а во-вторых — распределить ресурсы таким образом, чтобы даже в этой конфигурации можно было продолжать работу. Наконец, понимая, что такой элемент инфраструктуры, как ЦОД, долго создавать и проблематично менять, мы стараемся заложить в него решения, с которыми сможем прожить хотя бы ближайшие пять лет.

Расскажите о планировании проекта. Насколько важной оказалась роль предпроектного консалтинга?

Мы начали с концепции, описав в ней общее для всех участников видение проекта. На ранней стадии привлекали к проекту западных консультантов, специализирующихся на реализации проектов трейдинга. Наши консультанты, архитекторы и руководитель бизнеса специально посетили множество трейдинг-центров по всему миру, чтобы увидеть, какие идеи были реализованы ранее и как они работают на практике. Далее мировой опыт был сопоставлен с нашими потребностями. Затем появилась архитектурно-технологическая концепция. Участие консультантов на этой стадии проекта имело очень большое значение. Опыт, которым обладают эти люди, позволил еще до составления окончательного технического задания на основании минимальных исходных данных выработать основные инженерные требования.

То есть уже в самом начале мы сумели получить единое инженерное видение проекта и по его завершении убедились, насколько эта концепция была верна. На основании данной концепции были определены основные подрядчики, которые делали инженерное проектирование, поставляли основные системы, настраивали их и объединяли в единое целое. Для этого мы объявили восемь тендеров. Благодаря концепции мы довольно легко формировали требования к оборудованию и технологиям. Компания APC, которую мы выбрали в качестве одного из партнеров проекта, участвовала в нескольких тендерах и сделала комплексное предложение, покрывающее несколько наших потребностей. В результате была сформирована команда разработчиков и исполнителей проекта — «РД Констракшн Менеджмент», «АРМО-Групп», APC-MGE.

Расскажите об особенностях этапа проектирования решения.

Основная его особенность — ощутимая роль, которую сыграли правильно подобранные механизмы проектного управления. Специалисты «Тройки Диалог», архитектор проекта и представители подрядчиков составили проектную группу, которая регулярно собиралась непосредственно на нашей «стройплощадке». По сути это был форум, где все участники проекта (а их было несколько десятков) обсуждали вопросы инженерного, организационного и технологического плана. Мы работали по общему «мастер-плану».

В результате этого сложного, но интересного и интригующего процесса у нас появился объемный пакет проектной документации, который впоследствии был успешно реализован на практике.

Задача построения ЦОДа не тривиальна

Олег Письменский, директор департамента консалтинга и клиентских проектов APC в СНГ
Задача построения ЦОДа весьма непроста. Здесь возникает целый пласт задач, связанных с анализом, архитектурой, расположением площадки, технологиями, энергообеспечением, теплоотводом, обеспечением непрерывности работы ИТ и коммуникационного оборудования. Ни одно предприятие не обладает штатом специалистов, способных эффективно реализовать проект ЦОДа с учетом всех перечисленных аспектов — для регулярной деятельности в таких специалистах просто нет необходимости. В связи с этим следующей задачей является поиск ресурсов, обладающих знаниями и практикой, необходимой для успешной реализации данного проекта, и постановка управления ими.

АРС находится, пожалуй, в уникальном положении: плотное сотрудничество с ведущими в данной отрасти организациями, такими как Uptime Institute и AFCOM, позволяет анализировать многообразие существующих площадок и дает бесценные данные, которые позволяют разрабатывать уникальные комплексы для построения инженерной архитектуры ЦОДа.

Вторая отличительная черта АРС — применение в разработке специализированных инструментов проектирования, позволяющих не только подбирать необходимое оборудование, но и уже на этапе дизайна инженерной инфраструктуры ЦОДа производить моделирование изменений на протяжении всего его жизненного цикла.

Предоставляя консультационные услуги по вопросам проектирования, строительства и эксплуатации, ЦОД APC тем самым обеспечивает необходимый уровень компетенции в проектной группе. А внедрение в процесс строительства ЦОДа услуг управления проектом, контроля качества и ряда профессиональных сервисов, связанных с энергоаудитом, тестированием и комплексом пуско-наладочных работ, позволяет минимизировать риски и внедрить проект в заданные сроки, с запланированным бюджетом и с необходимым качеством.

Как развивался проект в дальнейшем? Каковы с точки зрения сегодняшнего дня основные моменты, позволившие вам успешно завершить его?

Проект был весьма длительным. Очень много времени было потрачено на концептуальную фазу, что совершенно правильно, поскольку это позволило максимально сэкономить время на завершающих этапах. Помещение, где работают трейдеры, представляет собой сложное сооружение, насыщенное различными системами. Для того чтобы сократить временные потери, мы старались как можно больше работ вести параллельно и оптимизировать использование рабочей силы на стройплощадке. Мы применили своеобразный «конвейерный» метод, когда в одном конце площадки уже монтировались рабочие места, подключались клавиатуры и тестировались мониторы, а в другом еще завершалась прокладка кабеля, укладывался фальшпол и собирались столы. В результате на строительство, начиная от «голого цемента» и заканчивая запуском в эксплуатацию, мы потратили только десять недель.

Наиболее серьезная проблема состояла в том, что на строительной площадке одновременно находилось несколько сотен разного рода специалистов. Для того чтобы координировать их работу, были предприняты титанические управленческие усилия. Тем не менее заставить закончить работу вовремя и свернуть деятельность было сложно: у них было непреодолимое желание всё довести до совершенства. Между тем за месяц до запуска определенные элементы инфраструктуры должны быть в стабильном состоянии, чтобы опираясь на них можно было двигаться дальше.

Для того чтобы вовремя подготовить датацентр, мы выделили отдель­ный поток строительных работ. ЦОД сдавался в эксплуатацию раньше, чем объект в целом, он был построен как отдельное пространство. В то время, когда в основном офисе ещё проводились активные строительные работы, помещение ЦОДа было закрыто и обеспылено — там уже начался чистовой монтаж технологического оборудования и систем охлаждения. Далее запускалась и тестировалась система охлаждения. После того как системы охлаждения, электропитания и пожаротушения были запущены в опытно-промышленном режиме, мы приступили к размещению серверного и коммуникационного оборудования, которое до этого находилось на отдельной площадке, где производилось его конфигурирование. Мы также конфигурировали и тестировали рабочие станции. Это была задача не из легких. Для ста сотрудников нужно было подготовить приблизительно триста пятьдесят рабочих станций, причем важно было обеспечить такой уровень преемственности данных, чтобы трейдеры могли прийти и начать работать сразу. В ходе тестирования мы приглашали группы сотрудников и показывали им новые рабочие места. Они делали замечания, а мы вносили соответствующие коррективы.

С гордостью могу сказать, что запуск трейдинг-центра прошёл довольно буднично. Опытная эксплуатация продолжалась две недели. В течение этого времени старый трейдинг-центр оставался в состоянии готовности на случай серьезного сбоя. На период опытной эксплуатации была обеспечена максимальная концентрация ИТ-специалистов и администраторов: все люди, которые нужны были для решения возможных проблем, находились рядом и ничем другим не занимались. Такой подход полностью себя оправдал. По истечении двух недель нужда в серьезных «переконфигурациях» отпала, мы вышли в промышленную эксплуатацию. «Возвращение назад» стало невозможным. А через месяц после начала промышленной эксплуатации число трейдеров выросло почти вдвое, так что вернуться на старую площадку было уже нельзя.

У вас уже накоплен солидный опыт эксплуатации ЦОДа. С какими проблемами вы столкнулись? Пришлось ли вносить изменения в его инфраструктуру уже после завершения проекта?

Принципиальных изменений за период эксплуатации вносить не пришлось. Доработки были связаны с системой охлаждения. В проекте датацентра была применена инновационная система водяного охлаждения. При ее конструировании использовались как стандартные элементы — своего рода «готовые кирпичи», так и те, что специально проектировались под нашу площадку с учетом совместимости с другими компонентами. Поэтому некоторые изменения в эту «уникальную» конструкцию пришлось вносить уже исходя из опыта эксплуатации. Задача управления несколькими сотнями удаленных рабочих станций также весьма нетривиальна. Чтобы обеспечить возможность перемещения трейдеров на новые места, добавления или удаления рабочих станций, в ходе эксплуатации в инфраструктуру были внесены небольшие коррективы.

Хочу отметить, что нам представилась возможность проверить жизнеспособность системы в «боевых условиях». Такие распространенные аварийные ситуации, как отключение электроэнергии, отказы рабочих станций и серверов, даже небольшой потоп, ЦОД и трейдинг-центр отработали в штатном режиме. Надеюсь, нам не придется столкнуться с воплощением в жизнь большинства сценариев, которые мы прорабатывали при проектировании ЦОДа, но могу сказать, что к непредвиденным ситуациям мы готовы.

Как бы вы сейчас, спустя год после запуска, оценили эффективность вложений в построенный вами ЦОД?

У нас не было выбора, строить или не строить ЦОД. Основной вопрос состоял в том, каким мы хотим его видеть и какие средства готовы в это вложить. То есть для оценки эффекта необходимо выяснить, что мы получили бы или не получили, если бы пошли по более дешевому пути, и сопоставить различные варианты совокупных издержек. Мы решили сделать дорого и хорошо и абсолютно точно можем сказать, сколько потратили на проект. Оценить то, что мы получили в результате, можно по двум показателям. Во-первых, цели, которые ставились в проекте, достигнуты. Мы получили ЦОД, который действительно обеспечивает непрерывность бизнеса. Он управляем и развиваем. Основная задача — разместить определенное количество трейдеров и всё необходимое оборудование, обеспечив комфортные условия для тех и для другого, — полностью решена.

Во-вторых, «premium price», что мы заплатили за качество, компенсируется положительным психологическим эффектом. Построенный ЦОД стал визитной карточкой нашего бизнеса. Это позволяет нам привлекать и новых клиентов, и новых трейдеров. Трейдеры стремятся получить не только хорошую работу с конкурентоспособным компенсационным пакетом. Они с большей охотой пойдут работать в компанию, где им предоставят комфортное рабочее место. Нет необходимости называть конкретные цифры, но могу сказать, что инвестиции себя оправдали.

Технические параметры трейдинг-центра «Тройки Диалог»

На сегодняшний день в трейдинг-центре работает 120 сотрудников. Компания планирует увеличить количество трейдеров до 150 человек.

ЦОД трейдинг-центра разместился на площади порядка 200 м2: 120 м2 — это оборудование серверной, остальное — вспомогательные помещения. В нем установлено пять основных рядов с 19- и 21-дюймовыми стойками APC NetShelter SX 48U. При этом полтора ряда отведено под хранилище для 350 рабочих станций. Силовые кабели проложены в специальных экранированных коробах по верху шкафов.

В качестве ИБП для центра обработки данных было выбрано семь модульных систем с «горячей» заменой APC Symmetra PX мощностью 80 кВт с двумя батарейными шкафами. Хотя при построении ЦОДа чаще всего используется схема резервирования электропитания N+1, в компании «Тройка Диалог» для системы электропитания была использована схема 2N, подразумевающая дублирование всех основных компонентов инженерной системы: каждая серверная стойка имеет подвод электропитания от двух независимых источников.

Установлено 20 внутрирядных кондиционеров водяного охлаждения АРС In Row RC номинальной холодопроизводительностью 17 кВт. Все кондиционеры спроектированы по модульному принципу с легким доступом ко всем агрегатам. Вентиляторы находятся в холодном воздушном потоке, что значительно продлевает срок их жизни. Трубы для подвода к кондиционерам «холодной» воды проложены под фальшполом. Различные варианты развития ситуации при возможных отказах кондиционеров были просчитаны с помощью системы проектирования АРС ISX Designer. В результате отказ любого из них не приведет к аварии ЦОДа.

Отдельное помещение предназначено для хладоцентра, где установлены четыре холодильные машины Hitachi. Две из них работают в «боевом режиме», обеспечивая охлаждение техники, еще две находятся в «горячем» резерве — восстановление холодоснабжения ЦОД при отказе чиллера займет всего несколько минут. Для обеспечения бесперебойной работы и резервирования питания чиллеров установлено несколько ИБП APC Silcon мощностью 120 кВт.

Все компоненты инфраструктуры ЦОДа контролируются и управляются через единую систему APC InfraStruXure Manager. Для мониторинга и контроля среды в ЦОДе используется система APC Environmental Management System.