CNews: Какой инфраструктурой дата-центров Райффайзенбанк располагает в России, и как происходит разграничение функций различных площадок?

Сергей Квашук: Мы используем три дата-центра, два из них – на Троицкой и Смоленской-Сенной в Москве – находятся в собственности банка. Кроме того, мы размещаем оборудование по модели colocation в дата-центре компании «Крок» на Волочаевской улице. С технической точки зрения ЦОД на Смоленской используется для тестовых сред и разработки, а остальные две площадки работают с промышленными данными. Деления на основную и резервную площадку фактически нет, и активные приложения могут оказаться в любом из двух дата-центров, работающих с боевыми данными.

Для некоторых систем нагрузка принципиально разносится на два ЦОДа (например, VDI), в других случаях происходит разграничение данных на активные и пассивные с помощью различных систем, работающих на уровне приложений. Также нами активно используется технология HDS Global Active Device на базе нескольких систем HDS VSP G200 для работы метрокластера, обслуживающего высококритичные системы базовой инфраструктуры и приложений, требующих резервирования в режиме Active-Active. В перспективе для этих задач планируется использовать VSP G800.

CNews: Какая инфраструктура СХД реализована на этих площадках на данный момент?

Сергей Квашук: У нас более 2 ПБ данных, из них около половины – это промышленные данные. В каждом из трех дата-центров у нас есть универсальные системы хранения, в которых консолидированы все данные. В настоящий момент мы используем гибридные массивы Hitachi HUS VM, которые сочетают в себе FMD-модули (для обеспечения быстродействия на флеш-уровне) с традиционными шпиндельными дисками, которые необходимы для вычислительной мощности (capacity), а также массивы HDS F800 и других производителей, полностью реализованные на флеш-технологиях.

CNews: Помимо решений Hitachi в Райффайзенбанке внедрены гибридные и флеш-СХД трех других производителей. Почему был выбран мультивендорный подход?

Сергей Квашук: Разнообразие внедренных решений вызвано как спецификой развития рынка флеш-технологий, так и особенностями задач, стоящих перед банком. Первый «слой» был реализован три года назад под нужды начинавшегося проекта VDI.

Через полтора года в связи с ростом числа машин на VDI потребовалось внедрение новой СХД. На этот раз в качестве платформы было выбрано решение другого вендора: к тому времени его продажи и технологическая поддержка уже были запущены в России, чего не было в момент внедрения первых флеш-СХД. Новые модули были внедрены в архитектуру VDI, а предыдущая СХД была переведена на работу с серверной виртуализацией.

Упомянутые выше решения других производителей заточены в основном под нишевые задачи, а оборудование Hitachi – третий элемент флеш-архитектуры банка – в отличие от них используется как универсальное хранилище. Этот проект развивался параллельно с внедрением оборудования для VDI. Массивы закупались под высокопроизводительные задачи, например, «тяжелые» базы данных с высоким уровнем нагрузки, хранилища, универсальный и разнородный «ввод-вывод». Системы Hitachi относятся к enterprise-уровню, такие решения по определению являются «всеядными», то есть готовы к работе с различными уровнями нагрузки и любыми типами и структурой данных.

CNews: Почему в качестве универсальной технологии хранения были выбраны именно решения Hitachi, а не продукты других производителей, которые уже использовались?

Сергей Квашук: Разработки некоторых других производителей, используемых у нас, хороши как нишевые решения. Они обладают рядом технологических ограничений, которые препятствуют их использованию в качестве универсальной платформы. Например, некоторые системы не умеют нормально работать с вводом-выводом, осуществляемым блоками не по 4 КБ, и проблема их использования заключается в том, что на сегодня существует ограниченное число приложений и операционных систем, которые способны поддерживать подобный ввод-вывод.

В других случаях неотключаемая дедупликация и компрессия в купе с небольшим объемом backend-хранилища не позволяют размещать большие объемы разнородных данных, состав которых не позволяет эффективно использовать дедупликацию. Таким образом, подобные системы удобно применять для специфических, хорошо дедуплицируемых данных, например для инфраструктуры VDI. С другой стороны, размещение неструктурированных или зашифрованных данных является нецелесообразным, так как нивелирует все преимущества этой платформы. C Hitachi подобных проблем нет, эти СХД можно использовать под любые типы задач с минимальными задержками и хорошим уровнем масштабирования за счет управляемой компрессии данных.

Только флеш

CNews: Каковы планы банка по развитию систем СХД и какие решения вы планируете использовать?

Сергей Квашук: В 2015 г. мы решили начать комплексную модернизацию ИТ-инфраструктуры банка в части СХД с целью перейти от гибридных решений на продукты, реализованные полностью на флеш. Перед нами стояла задача расширения ИТ-мощностей, которую можно было решить двумя способами: с помощью размещения своего оборудования на чужой площадке по модели colocation (решение довольно затратное по OPEX) или строительства нового дата-центра. Однако общая стратегия по экономии капитальных затрат на развитие зданий и помещений не позволяет нам делать это. Поэтому мы «зажаты в тиски» наших корпоративных ЦОДов общей площадью 100 кв. м. и мощностью 200 КВт. В результате был выбран путь внедрения более эффективного оборудования.

Для выполнения этой задачи было принято решение использовать новые СХД Hitachi VSP F800, которые были выбраны в рамках глобального конкурса, проводимого группой RBI. Благодаря технологии компрессии на массив 200 ТБ мы можем загрузить более 400 ТБ информации, что полностью покрывает наши потребности в объеме промышленных данных с учетом среднесрочного роста. Кроме того, мы развернули новую виртуализационную платформу для СХД, которая реализована на базе гибридных решений Hitachi G800. Таким образом, вся разнородная архитектура СХД может быть представлена в виде единых виртуальных сущностей, что значительно упрощает управление ИТ-инфраструктурой.

CNews: Флеш достаточно дорогая технология. Почему выбрана столь затратная стратегия развития инфраструктуры? Каково ее экономическое обоснование?

Сергей Квашук: Стоимость терабайта на системах all-flash с учетом технологий data reduction уже мало отличается от традиционных решений. Например, если сравнивать решение на HDS VSP Fx00 all-flash и G1000 на обычных дисках, то по цене получается примерно одинаковой. Вы получаете ту же производительность, но в меньшем физическом объеме, то есть эффективнее используете площади ЦОД.

В нашем случае выгода с точки зрения капитальных затрат заключалась в том, что закупка систем F800 позволила избежать расширения дата-центра, что является гораздо более дорогостоящим проектом, чем модернизация СХД. Решение, построенное только на флеш, занимает всего треть серверного шкафа, в то время как классической СХД такой же емкости требуется для размещения два шкафа. Кроме того, СХД на флеш позволяет в четыре раза сэкономить на электроэнергии: одна система F800 с энергопотреблением 1,5 КВт заменяет два шкафа Hitachi VSP на 6 КВт.

Одновременно возрастает эффективность работы оборудования. Даже в гибридном массиве флеш-технологии не всегда могут оперативно компенсировать операции ввода-вывода. Предварительно системе необходимо накопить статистику, прежде чем произойдет релокация этих операций на флеш. Для конечного пользователя это означает проблемы со скоростью работы приложений.

CNews: В чем недостатки выбранного решения флеш?

Сергей Квашук: У выбранного нами флеш-решения есть ограничение по масштабируемости – предельная емкость при максимальной комплектации составляет порядка 200 ТБ (до компрессии), в то время как для гибридной СХД этот лимит измеряется петабайтами. Но на данный момент нам достаточно этого объема. В будущем, когда мы исчерпаем этот объем, просто установим еще одну систему, актуальную на тот момент времени.

CNews: Считается, что у флеш-массивов ниже надежность по сравнению с традиционными системами. Так ли это на самом деле?

Сергей Квашук: На протяжении трех лет мы эксплуатируем флеш-системы четырех вендоров. За 2,5 года жесткой эксплуатации массивов с FMD-модулями Hitachi ни разу ни один из них не вышел из строя. С продукцией других производителей дела обстоят хуже – как правило, за квартал возникают проблемы с 2–3 модулями. Бывали случаи, когда модули памяти либо компоненты массива выходили из строя через несколько недель после запуска.

CNews: Используете ли вы технологии software-definedstorage (SDS) для управления массивами СХД и почему?

Сергей Квашук: Да, мы уже два года применяем решение для программно-определяемого хранения, которое позволяет с помощью средств виртуализации создавать виртуальные СХД с дедупликацией, компрессией и прочими необходимыми функциями для обеспечения работы виртуальных машин. Сейчас эта технология используется в дата-центре для тестовых сред, но в перспективе она также будет реализована в облаке для тестировщиков в качестве дешевой платформы для хранения.

Достоинством SDS является то, что технология обеспечивает достаточно низкую задержку и неплохой ввод-вывод практически для любой СХД. За счет вычислительных ресурсов и оперативной памяти платформы виртуализации, SDS обеспечивает более высокую производительность даже на самых простых системах хранения. Например, в качестве «бэкэнда» мы используем одну из бюджетных платформ, хотя в этом качестве можно применять даже обычные серверные диски.

CNews: Будет ли программно-определяемое хранение применено к промышленным данным?

Сергей Квашук: Применять аналогичный подход к боевым данным мы пока не готовы, так как решения SDS весьма требовательны к пропускной способности сети, и для обеспечения корректной работы нам потребуется произвести апгрейд сетевой инфраструктуры дата-центра. Ядро нашей компьютерной сети построено на решении Cisco Catalyst 65хх, а для нормальной работы программно-определяемых систем необходимо «подняться» хотя бы до платформы Nexus либо любого другого аналогичного решения, чтобы обеспечить скорость соединения 100 Гб/с на интерсайтовом уровне, 40 Гб/с на транспортном уровне и 10 Гб/с – на абонентском.