Архитектура SAN

Архитектура SAN

Что такое SAN?

SAN является высокоскоростной сетью передачи данных, предназначенной для подключения серверов к устройствам хранения данных. Разнообразные топологии SAN (точка-точка, петля с арбитражной логикой (Arbitrated Loop) и коммутация) замещают традиционные шинные соединения "сервер-устройства хранения" и предоставляют по сравнению с ними большую гибкость, производительность и надежность (Рис. 1). В основе концепции SAN лежит возможность соединения любого из серверов с любым устройством хранения данных, работающим по протоколу Fibre Channel. Принцип взаимодействия узлов в SAN c топологиями точка-точка или коммутацией очевиден. В SAN с топологией Arbitrated Loop передача данных осуществляется последовательно от узла к узлу. Для того, чтобы начать передачу данных передающее устройство инициализирует арбитраж за право использования среды передачи данных (отсюда и название топологии — Arbitrated Loop).

Технологическая основа SAN — протокол Fibre Channel

Транспортную основу SAN составляет протокол Fibre Channel, использующий как медные (до 25 метров), так и волоконно-оптические соединения устройств (до 10 километров), обеспечивающий в настоящее время скорость передачи данных, равную 400 Мбайт/с в дуплексном режиме. Уже объявлено о работе над новыми редакциями стандарта для скоростей 800Мбайт/с и 2Гбайта/с (с учетом двунаправленной передачи данных). На сегодняшний день уже можно строить сети с большой удаленностью между соединяемыми объектами (до 120 километров с использованием специальных технологий).

Оптоволокно используется значительно чаще, поэтому для построения большой полноценной SAN нужно проектировать оптоволоконную кабельную сеть (как для Gigabit Ethernet). Без нормальной кабельной сети подключение устройств к SAN становится очень трудоемкой задачей, а количество проводов — соизмеримым с ЛВС.

Компоненты SAN

Компоненты SAN подразделяются на следующие:

• Host Bus Adaptors (HBA);
• Ресурсы хранения данных;
• Устройства, реализующие инфраструктуру SAN;
• Программное обеспечение.

HBA устанавливаются в серверы и осуществляют их взаимодействие с SAN по протоколу Fibre Channel. Стек протоколов Fibre Channel реализован внутри HBA. Наиболее известными производителями HBA являются компании Emulex, JNI, Qlogic и Agilent. Производители серверов часто используют под своим именем HBA этих компаний.

К ресурсам хранения данных относятся дисковые массивы, ленточные приводы и библиотеки с интерфейсом Fibre Channel. Многие свои возможности ресурсы хранения реализуют только будучи включенными в SAN. Так дисковые массивы высшего (high-end) класса могут осуществлять репликацию данных между массивами по сетям Fibre Channel, а ленточные библиотеки могут реализовывать перенос данных на ленту прямо с дисковых массивов с интерфейсом Fibre Channel, минуя сеть и серверы (Serverless backup). Наибольшую популярность на рынке приобрели дисковые массивы компаний EMC, Hitachi, IBM, Compaq (семейство StorageWorks, доставшееся Compaq от Digital), а из производителей ленточных библиотек следует упомянуть StorageTek, Quantum/ATL, IBM.

Устройствами, реализующими инфраструктуру SAN, являются коммутаторы Fibre Channel (Fibre Channel switches, FC-switches), концентраторы (Fibre Channel Hub) и маршрутизаторы (Fibre Channel-SCSI routers).

Концентраторы используются для объединения устройств, работающих в режиме Fibre Channel Arbitrated Loop (FC_AL). Применение концентраторов позволяет подключать и отключать устройства в петле без остановки системы, поскольку концентратор автоматически замыкает петлю в случае отключения устройства и автоматически размыкает петлю, если к нему было подключено новое устройство. Каждое изменение петли сопровождается сложным процессом её инициализации. Процесс инициализации многоступенчатый, и до его окончания обмен данными в петле невозможен. Топология FC_AL имеет и другие ограничения. Так, например, петля может содержать не более 126 устройств, процесс её инициализации занимает много времени и производительность петли уменьшается с увеличением числа устройств. Из-за этих ограничений в настоящий момент топология FC_AL и концентраторы применяются редко, однако концентраторы иногда можно встретить на периферии SAN.

Все современные SAN построены на коммутаторах, позволяющих реализовать полноценное сетевое соединение. Коммутаторы могут не только соединять устройства Fibre Channel, но и разграничивать доступ между устройствами, для чего на коммутаторах создаются так называемые зоны (Zones). Устройства, помещенные в разные зоны, не могут обмениваться информацией друг с другом.

Количество портов в SAN можно увеличивать, соединяя коммутаторы друг с другом. Группа связанных коммутаторов носит название Fibre Channel Fabric или просто Fabric. Связи между коммутаторами называют Interswitch Links или сокращенно ISL.

Коммутаторы, которые не обладают возможностью составлять Fabric или обладают ограниченными возможностями (например, на коммутаторе может быть только один ISL), называют коммутаторами начального уровня.

К коммутаторам класса Director относятся модульные коммутаторы с числом портов больше 64-х. Все компоненты коммутатора класса Director такие, как блоки питания, вентиляторы, управляющие процессоры и модули коммутации, продублированы. Большинство из них можно заменить без остановки системы. Коммутатор класса Director является высоко надежным устройством, поэтому его можно применять в SAN в одном экземпляре.

Наиболее известны на рынке в качестве производителей коммутаторов Fibre Channel компании Brocade, Qlogic, McDATA и InRange. Маршрутизаторы Fibre Channel-SCSI предназначены для подключения к SAN устройств, не оборудованных интерфейсами Fibre Channel, таких как старые дисковые массивы и ленточные библиотеки. Для выполнения процедур Serverless backup (см. далее) в маршрутизаторы Fibre Channel-SCSI встроены механизмы переноса данных с дисков на ленту на уровне блоков. Маршрутизаторы Fibre Channel-SCSI представлены на рынке моделями производства компаний Crossroads и ADIC.

Программное обеспечение позволяет реализовать резервирование путей доступа серверов к дисковым массивам и динамическое распределение нагрузки между путями. Для большинства дисковых массивов существует простой способ определить, что порты, доступные через разные котроллеры, относятся к одному диску. Специализированное программное обеспечение поддерживает таблицу путей доступа к устройствам и обеспечивает отключение путей в случае аварии, динамическое подключение новых путей и распределение нагрузки между ними. Как правило, изготовители дисковых массивов предлагают специализированное программное обеспечение такого типа для своих массивов. Компания VERITAS Software производит программное обеспечение VERITAS Volume Manager, предназначенное для организации логических дисковых томов из физических дисков и обеспечивающее резервирование путей доступа к дискам, а также распределение нагрузки между ними для большинства известных дисковых массивов. VERITAS Volume Manager работает на платформах Solaris/SPARC, HP-UX, AIX, Windows NT/2K и Linux.

Значительную роль играет программное обеспечение в резервном копировании через SAN. Рассмотрим, например, процедуру Serverless backup.

Непосредственный перенос данных с дисковых массивов на ленту производится на уровне физических дисковых блоков. Перед выполнением резервного копирования программное обеспечение формирует таблицу дисковых блоков, относящихся к тем логическим структурам (файловым системам, файлам баз данных), которые подлежат резервному копированию. Для получения целостного непротиворечивого образа данных на ленте необходимо, чтобы в процессе резервного копирования перемещаемые на ленту блоки данных оставались неизменными. Таблица соответствия физических блоков и логических структур также записывается на ленту и используется при восстановлении данных.

Наиболее известными средствами резервного копирования, работающими в SAN, являются VERITAS Netbackup, Legato NetWorker, Tivoli Storage Manager и HP Omniback II.

Программное обеспечение используется также для управления SAN — отображения топологии, управления зонами на коммутаторах, обнаружения отказов устройств в SAN, сбора статистики производительности и т.д. К наиболее распространенному программному обеспечению управления SAN (и системами хранения) можно отнести VERITAS SANPoint Control, BMC PATROL Storage Management, McDATA SANavigator, Tivoli Storage Network Manager.

В последнее время все популярнее становится внедрение средств виртуализации дисковых ресурсов в SAN. Идея виртуализации состоит в том, чтобы обеспечить представление серверам ресурсов хранения в виде, независимом от используемых дисков или дисковых массивов. В идеале серверы должны "видеть" не устройства хранения данных, а ресурсы.

Технически идея реализуется следующим образом: между серверами и дисковыми устройствами помещается специальное устройство виртуализации, к нему с одной стороны подключаются дисковые устройства, а с другой — серверы. На устройстве виртуализации содержатся правила преобразования физических ресурсов хранения данных в логические, которыми оперируют серверы.

Недостатком такого решения является то, что серверы взаимодействуют с устройствами хранения только через устройство виртуализации и в случае выхода его из строя все ресурсы хранения становятся недоступны для серверов. Помимо этого становится сложным использование внутренних процедур дисковых массивов (создание копии данных внутри массива, удаленная репликация), поскольку истинная структура данных скрыта от серверов.

В ближайшем будущем ожидается появление нового поколения средств виртуализации. Ожидается, что средства виртуализации начнут встраиваться внутрь HBA и коммутаторов. Устройство виртуализации станет специальным сервисом внутри коммутатора. HBA будут получать от сервиса виртуализации правила трансляции логических устройств хранения в физические и потом работать с физическими устройствами непосредственно.

Среди производителей устройств виртуализации следует упомянуть компании Datacore, Vicom и VERITAS Software. Многие крупные производители продают продукцию этих компаний под своим именем.