Отказоустойчивость программных и аппаратных RAID-массивов

Современные бизнес-процессы фактически целиком опираются на информационные технологии, и в последние несколько лет тенденция к лавинообразному увеличению объемов накопленной и обрабатываемой информации сохраняется. Взрывной рост количества электронных данных обусловил специфические требования к вычислительно-информационным системам: на первое место ставятся их надежность и отказоустойчивость. Требования к непрерывности бизнеса являются на сегодняшний день наиболее приоритетными, а время простоя – основной характеристикой аппаратных комплексов и услуг ЦОД. Незапланированный отказ в обслуживании является причиной серьезных финансовых потерь, утраты доверия клиентов и партнеров и последующего снижения основных показателей деятельности компании в целом. Расчет объемов потерь от временной остановки BC или потери данных является одной из востребованных задач для современных аналитиков.

Зачастую, при формировании требований к информационным комплексам основной акцент ставится на вычислительные мощности, при этом на второй план уходят требования к надежности и отказоустойчивости ядра консолидированной инфраструктуры – сетям и СХД.

Отказ системы хранения является, по сути, отказом одного или нескольких узлов собственно дискового массива или инфраструктуры: дисков, источников питания, подсистемы охлаждения, контроллеров дискового массива, сетевой инфраструктуры. Технология обеспечения отказоустойчивости охватывает не только аппаратные компоненты, но и логику организации дискового массива, а также правильность работы с кэшем при синхронизации данных между несколькими контроллерами (когерентность). Некорректная работа с кэшем может спровоцировать потерю целостности данных в системе хранения и последующую невозможность использования системы.

Общие подходы обеспечения отказоустойчивости

Современная отказоустойчивая СХД подразумевает обязательное дублирование всех компонентов и отсутствие единой точки отказа (SPOF, Single point of failure). В дисковых массивах различной ценовой категории компромисс «цена/надежность» достигается различными методами. Разделяя дисковые массивы на три группы – Entry-level, Mid-range и Hi-end, рассмотрим архитектуру организации отказоустойчивости в каждой группе отдельно. Решения класса hi-end, как правило, обладают монолитной архитектурой (например, Hitachi USP), в то время как системы mid-range обычно реализуются модульной (например, EMC Сlariion и NetApp). Массивы Entry-level, как правило, являются наименее защищенными с точки зрения отказов, поскольку минимизация стоимости в этих решениях имеет высший приоритет.

Для high-end-массивов практически нет узлов с единой точкой отказа – в отличие от mid-range, где узкими местами традиционно считают контроллер, шину между контроллерами (с протоколами FC, Infiniband, PCI-E, Ethernet), ограниченное число петель FC-AL к дискам и расположение дисков RAID-группы «вдоль» одной петли (в high-end-массивах RAID-группы располагаются «поперек» петель FC-AL). Например, во многих high-end-массивах Hitachi RAID-группа состоит из четырех или восьми дисков, и каждый из них подключается к двум различным петлям от двух различных контроллеров. Такая конфигурация позволяет выполнять операции записи-чтения со всех дисков RAID-группы параллельно.

Не стоит забывать и о том, что для high-end-массивов типичной является архитектура cache-centric, при которой к общей кэш-памяти имеют доступ все контроллеры массива. Напротив, для массивов класса mid-range кэш-память фиксирована и привязана к своему контроллеру. В итоге стоит отметить не только наличие проблемных мест, но и потерю производительности, в том числе и при масштабируемости: необходимость проведения дополнительных операций с кэш-памятью вкупе с определенными сложностями при расширении массива накладывают массу ограничений, от которых свободны решения hi-end.

К сожалению, преимущества hi-end разбиваются об их стоимость: решения такого класса большинству средних (и тем более малых) компаний не по карману, а требования к надежности в секторе SMB не столь высоки, поэтому характеристик массивов mid-range обычно достаточно для поддержки всех информационных систем предприятия. Проектируя инфраструктуру, тем не менее необходимо выполнять тщательный анализ возможных рисков и размеров потерь.

Важно помнить, что сам дисковый массив является SPOF. Технология защиты данных от потери при выходе из строя одного или нескольких дисков в массиве выбирается на основании требований к надежности хранения данных и производительности операций ввода-вывода, а также бюджета. Например, RAID-массив уровня 1 («зеркало») обеспечивает очень высокий уровень надежности хранения данных, но стоимость такого решения зачастую неоправданно высока. Длительное время считалось, что наиболее экономически выгодным, производительным и достаточно надежным является массив RAID5, допускающий выход из строя одного (любого) диска. В настоящее время есть реализации массива уровня RAID6, не проигрывающего по производительности, но сохраняющего работоспособность при выходе из строя двух любых дисков.

Кроме этого, дополнительное повышение надежности может быть достигнуто за счет применения технологии hot-spare (дополнительных дисков, которые автоматически подключаются к массиву при выходе из строя «основных» дисков), использования защиты кэш-памяти, обслуживающей операции записи (в том числе зеркалирование и поддержка батареями или сохранение ее содержимого на диски в случае отключения внешнего питания).

Программные RAID-массивы

За последние несколько лет реализация RAID-массивов с применением программного обеспечения на стандартных серверных комплектующих (в отличие от аппаратных RAID-контроллеров) приобрела новую силу, и сейчас программные RAID-массивы рассматриваются наряду с аппаратными не только в классе entry-level, но и mid-range.

Ранее считалось, что с использованием программных RAID-массивов (обычно встроенных в стандартную операционную систему или свободно распространяемых) можно построить бюджетную СХД без претензий на уровень предприятия. Сейчас объем решений для построения систем хранения данных для рынка средних компаний существенно вырос, да и крупнейшие вендоры включили в свои линейки подобные продукты.

Тем не менее большинство отказоустойчивых систем на программном RAID реализованы посредством репликации. Репликация же требует наличия двойного набора дисков (то есть существенного увеличения стоимости системы хранения), а также может значительно сказаться на производительности, если дублирующая СХД обладает более низкой скоростью обмена данными (а это типовая ситуация, поскольку репликация чаще всего осуществляется с применением транспорта Gigabit Ethernet, не позволяющим обеспечить достаточную скорость). Эта проблема характерна для продуктов класса программных RAID-массивов: такие решения, как Open-E, StarWind, openfiler, freeNAS и другие, не позволяют реализовать полноценную отказоустойчивую архитектуру и не могут служить «дешевой альтернативой» аппаратным решениям.

Но выбор СХД не сводится к двум случаям («надежно, но дорого» или «дешево, но ненадежно»). Как и везде, существует промежуточный вариант. Например, довольно привлекательно выглядит применение решения RAIDIX компании AVRORAID. В нем реализованы два механизма отказоустойчивости. Синхронизация кэш-буфера между двумя узлами, работающими по принципу кластера Active-Passive с единым набором дисков. Синхронизация выполняется посредством транспорта FibreChannel с низкой латентностью. Вторым механизмом отказоустойчивости в этом решении является удаленная репликация на случай катастроф. Результатом является полноценное отказоустойчивое решение на программном RAID-массиве без дополнительных затрат на второй дисковый массив и потерь производительности на обеспечение синхронизации кэша.

При этом достигается высокая производительность системы хранения данных за счет использования параллельных вычислений и уникальных математических алгоритмов собственной разработки для массива уровня RAID6 и RAID10, а ПО не требует специализированного оборудования и работает на стандартной серверной платформе x86. Благодаря этому снижены требования к обслуживающему персоналу, а эксплуатация и обслуживание системы могут проводиться специалистами, имеющими средний опыт работы с серверным оборудованием. Добавим: решение характеризуется невысокой стоимостью как на этапе приобретения, так и в процессе внедрения и эксплуатации. Также уникальной особенностью решения является то, что оно полностью российское, что добавляет преимуществ в части его внедрения и поддержки.

Несмотря на то что RAIDIX функционирует на большом количестве стандартных платформ, существуют решения, оптимально подходящие для обеспечения высокой степени отказоустойчивости. В их числе платформа Supermicro Storage Bridge Bay (SBB), оптимизированная для ответственных приложений хранения данных уровня предприятия. Super SBB (SYS-6036ST-6LR) – это полностью резервированная отказоустойчивая система, которая обеспечивает «горячую замену» для всех активных компонентов: парное соединение Ethernet 10G между двумя серверными платами (на каждой по два чипа Xeon 5500/5600, шесть слотов DIMM, три PCI-E Gen2 и SAS 2.0 (6 Гбит/с) в сочетании с высокоскоростным зеркалированием кэша гарантирует доступ к жестким дискам даже при отказе одной из них. Эта платформа в связке с RAIDIX позволяет в едином корпусе реализовать отказоустойчивую систему хранения данных емкостью до 32 ТБ, отвечающую требованиям mid-range-сегмента, причем готовая система хранения данных будет обладать не только требуемым (и достаточно высоким) уровнем надежности, но и привлекательной ценой. Благодаря возможности использовать дублированные компоненты в рамках одной аппаратной конфигурации, концепция RAIDIX существенно повышает надежность всего СХД в целом: например, посредством механизма синхронизации данных на контроллере, находящемся в режиме ожидания, в любой момент времени содержится «слепок» конфигурации и данных активного контроллера. Таким образом, при выходе из строя активного контроллера пассивный прозрачно для пользователей «берет на себя» всю нагрузку, предоставляя тем самым пользователям сохранить доступ к данным, а техническому персоналу - возможность заменить неисправное устройство. Время передачи управления второму контроллеру в случае такой реализации существенно меньше, что очень важно для отказоустойчивых систем.

Характерно, что подобное комплексное решение (специализированная высоконадежная платформа плюс программное обеспечение RAIDIX для создания СХД) позволяет решить задачу, которую практически невозможно решить классическими средствами в рамках бюджета: решение на основе бесплатного ПО будет обладать низкой надежностью, но минимальной ценой – по сути оно вплотную приблизится к сегменту entry level; полностью аппаратное решение, конечно же, обеспечит максимальный уровень надежности, но его стоимость будет приближаться к hi-end. Таким образом, рассмотренный вариант можно вполне рекомендовать компаниям малого и среднего размера в тех случаях, когда есть необходимость достичь оптимальной надежности хранения данных и не превысить возможности бюджета. Впрочем, достаточно подсчитать стоимость времени простоя или убытки при утрате важной для бизнес-процессов информации, чтобы оценить – стоит ли экономить средства на построении отказоустойчивой системы хранения данных.

Источник: it-world