В данной статье, мы рассмотрим, какие виды систем хранения данных (СХД) на сегодняшнее время существуют, так же рассмотрю одни из основных компонентов СХД – внешние интерфейсы подключения (протоколы взаимодействия) и накопители, на которых хранятся данные. Так же проведем их общее сравнение по предоставляемым возможностям. Для примеров мы буду ссылаться на линейку СХД, представляемую компанией DELL.

Оглавление:

• Существующие типы систем хранения данных
• Архитектура системы хранения DAS (Direct Attached Storage)
• Примеры моделей DAS
• Архитектура системы хранения NAS (Network Attached Storage)
• Примеры моделей NAS
• Архитектура системы хранения SAN (Storage Area Network)
• Примеры моделей SAN
• Типы носителей информации и протокол взаимодействия с системами хранения данных Протокол Fibre Channel
• Протокол iSCSI
• Протокол SAS
• Сравнение протоколов подключения систем хранения данных

Существующие типы систем хранения данных

В случае отдельного ПК под системой хранения данных можно понимать внутренний жесткий диск или систему дисков (RAID массив). Если же речь заходит о системах хранения данных разного уровня предприятий, то традиционно можно выделить три технологии организации хранения данных:

• Direct Attached Storage (DAS);
• Network Attach Storage (NAS);
• Storage Area Network (SAN).

Устройства DAS (Direct Attached Storage) – решение, когда устройство для хранения данных подключено непосредственно к серверу, или к рабочей станции, как правило, через интерфейс по протоколу SAS.

Устройства NAS (Network Attached Storage) – отдельно стоящая интегрированная дисковая система, по-сути, NAS-cервер, со своей специализированной ОС и набором полезных функций быстрого запуска системы и обеспечения доступа к файлам.  Система подключается к обычной компьютерной сети (ЛВС), и является быстрым решением проблемы нехватки свободного дискового пространства, доступного для пользователей данной сети.

Storage Area Network (SAN) –это специальная выделенная сеть, объединяющая устройства хранения данных с серверами приложений, обычно строится на основе протокола Fibre Channel или протокола iSCSI.

Теперь давайте более детально рассмотрим каждый из приведенных выше типов СХД, их положительные и отрицательные стороны.

Архитектура системы хранения DAS (Direct Attached Storage)

К основным преимуществам DAS систем можно отнести их низкую стоимость (в сравнении с другими решениями СХД), простоту развертывания и администрирования, а также высокую скорость обмена данными между системой хранения и сервером. Собственно, именно благодаря этому они завоевали большую популярность в сегменте малых офисов, хостинг-провайдеров и небольших корпоративных сетей. В то же время DAS-системы имеют и свои недостатки, к которым можно отнести неоптимальную утилизацию ресурсов, поскольку каждая DAS система требует подключения выделенного сервера и позволяет подключить максимум 2 сервера к дисковой полке в определенной конфигурации.

Рисунок 1: Архитектура Direct Attached Storage

Плюсы:

• Достаточно низкая стоимость. По сути эта СХД представляет собой дисковую корзину с жесткими дисками, вынесенную за пределы сервера.
• Простота развертывания и администрирования.
• Высокая скорость обмена между дисковым массивом и сервером.

Минусы:

• Низкая надежность. При выходе из строя сервера, к которому подключено данное хранилище, данные перестают быть доступными.
• Низкая степень консолидации ресурсов – вся ёмкость доступна одному или двум серверам, что снижает гибкость распределения данных между серверами. В результате необходимо закупать либо больше внутренних жестких дисков, либо ставить дополнительные дисковые полки для других серверных систем
• Низкая утилизация ресурсов.

Примеры моделей DAS

Из интересных моделей устройств этого типа хотелось бы отметить модельный ряд DELL PowerVaultсерии MD. Начальные модели дисковых полок (JBOD) MD1000 и MD1120  позволяют создавать дисковые массивы c количеством диском до 144-х. Это достигается за счет модульности архитектуры, в массив можно подключить вплоть до 6 устройств, по три дисковых полки на каждый канал RAID-контроллера. Например, если использовать стойку из 6 DELL PowerVault MD1120, то реализуем массив с эффективным объемом данных 43,2 ТБ. Подобные дисковые полки подключаются одним или двумя кабелями SAS к внешним портам RAID-контроллеров, установленных в серверах Dell PowerEdge и управляются консолью управления самого сервера.

Если же есть потребность в создании архитектуры с высокой отказоустойчивостью, например, для создания отказоустойчивого кластера MS Exchange, SQL-сервера, то для этих целей подойдет модельDELL PowerVault MD3000. Это система уже имеет активную логику внутри дисковой полки и полностью избыточна за счет использования двух встроенных контроллеров RAID, работающих по схеме «актвиный-активный» и имеющих зеркалированную копию буферизованных в кэш-памяти данных.

Оба контроллера параллельно обрабатывают потоки чтения и записи данных, и в случае неисправности одного из них, второй «подхватывает» данные с соседнего контроллера. При этом подключение к низко уровнему SAS-контроллеру внутри 2-х серверов (кластеру) может производиться по нескольким интерфейсам (MPIO), что обеспечивает избыточность и балансировку нагрузки в средах Microsoft.  Для наращивания дискового пространства к PowerVault MD3000 можно подключить 2-е дополнительные дисковые полки MD1000.

Архитектура системы хранения NAS (Network Attached Storage)

Технология NAS (сетевые подсистемы хранения данных, Network Attached Storage) развивается как альтернатива универсальным серверам, несущим множество функций (печати, приложений, факс сервер, электронная почта и т.п.). В отличие от них NAS-устройства исполняют только одну функцию — файловый сервер. И стараются сделать это как можно лучше, проще и быстрее.

NAS подключаются к ЛВС и осуществляют доступ к данным для неограниченного количества гетерогенных клиентов (клиентов с различными ОС) или других серверов. В настоящее время практически все NAS устройства ориентированы на использование в сетях Ethernet (Fast Ethernet, Gigabit Ethernet) на основе протоколов TCP/IP. Доступ к устройствам NAS производится с помощью специальных протоколов доступа к файлам. Наиболее распространенными протоколами файлового доступа являются протоколы CIFS, NFS и DAFS.  Внутри подобных серверов стоят специализированные ОС, такие как MS Windows Storage Server.

Рисунок 2:  Архитектура Network Attached Storage

Плюсы:

• Дешевизна и доступность его ресурсов не только для отдельных серверов, но и для любых компьютеров организации.
• Простота коллективного использования ресурсов.
• Простота развертывания и администрирования
• Универсальность для клиентов (один сервер может обслуживать клиентов MS, Novell, Mac, Unix)

Минусы:

• Доступ к информации через протоколы “сетевых файловых систем” зачастую медленнее, чем как к локальному диску.
• Большинство недорогих NAS-серверов не позволяют обеспечить скоростной и гибкий метод доступа к данным на уровне блоков, присущих SAN системам, а не на уровне файлов.

Примеры моделей NAS

В настоящий момент классические NAS решения, такие как PowerVault NF100/500/600 .  Это системы на базе массовых 1 и 2-х процессорных серверов Dell, оптимизированных для быстрого развертывания NAS-сервисов. Они позволяют создавать файловое хранилище вплоть до 10 ТБ (PowerVault NF600)  используя SATA или SAS диски, и подключив данный сервер к ЛВС. Также имеются и более высокопроизводительные интегрированные решение, например PowerVault NX1950, вмещающие в себя 15 дисков и расширяемые до 45 за счет подключения дополнительных дисковых полок MD1000.

Серьезным преимуществом NX1950 является возможность работать не только с файлами, но и с блоками данных на уровне протокола iSCSI. Также разновидность NX1950 может работать как «гейтвэй», позволяющий организовать файловый доступ к СХД на базе iSCSI (c блочным методом доступа), например MD3000i  или к Dell EqualLogic PS5x00.

Архитектура системы хранения SAN (Storage Area Network)

Storage Area Network (SAN) — это специальная выделенная сеть, объединяющая устройства хранения данных с серверами приложений, обычно строится на основе протокола Fibre Channel, либо на набирающем обороты протоколу iSCSI. В отличие от NAS, SAN не имеет понятия о файлах: файловые операции выполняются на подключенных к SAN серверах. SAN оперирует блоками, как некий большой жесткий диск. Идеальный результат работы SAN — возможность доступа любого сервера под любой операционной системой к любой части дисковой емкости, находящейся в SAN. Оконечные элементы SAN — это серверы приложений и системы хранения данных (дисковые массивы, ленточные библиотеки и т. п.). А между ними, как и в обычной сети, находятся адаптеры, коммутаторы, мосты, концентраторы. ISCSI является более «дружелюбным» протоколом, поскольку он основан на использовании стандартной инфраструктуры Ethernet – сетевых карт, коммутаторов, кабелей. Более того, именно системы хранения данных на базе iSCSI являются наиболее популярными для виртуализированных серверов, в силу простоты настройки протокола.

Рисунок 3: Архитектура Storage Area Network

Плюсы:

• Высокая надёжность доступа к данным, находящимся на внешних системах хранения. Независимость топологии SAN от используемых СХД и серверов.
• Централизованное хранение данных (надёжность, безопасность).
• Удобное централизованное управление коммутацией и данными.
• Перенос интенсивного трафика ввода-вывода в отдельную сеть, разгружая LAN.
• Высокое быстродействие и низкая латентность.
• Масштабируемость и гибкость логической структуры SAN
• Возможность организации резервных, удаленных СХД и удаленной системы бэкапа и восстановления данных.
• Возможность строить отказоустойчивые кластерные решения без дополнительных затрат на базе имеющейся SAN.

Минусы:

• Более высокая стоимость
• Сложность в настройке FC-систем
• Необходимость сертификации специалистов по FC-сетям (iSCSI является более простым протоколом)
• Более жесткие требования к совместимости и валидации компонентов.
• Появление в силу дороговизны DAS-«островов» в сетях на базе FC-протокола, когда на предприятиях появляются одиночные серверы с внутренним дисковым пространством, NAS-серверы или DAS-системы в силу нехватки бюджета.

Примеры моделей SAN

В настоящий момент имеется достаточно большой выбор дисковых массивов для построения SAN, начиная от моделей для малых и средних предприятий, такие как серия DELL AX, которые позволяют создавать хранилища емкостью до 60 Тбайт, и заканчивая дисковыми массивами для больших корпораций DELL/EMC серии CX4, они позволяют создать хранилища емкостью до 950 Тб. Есть недорогое решение на основе iSCSI, это PowerVault MD3000i  – решение позволяет подключать до 16-32 серверов, в одно устройство можно установить до 15 дисков, и расширить систему двумя полками MD1000, создав массив на 45Тб.

Отдельного упоминания заслуживает система Dell EqualLogic на базе протокола iSCSI. Она позиционируется как СХД масштаба предприятия и сравнима по цене с системами Dell | EMC CX4, с модульной архитектурой портов, поддерживающих как FC протокол, так и iSCSI протокол. Система EqualLogic является одноранговой, т.е каждая дисковая полка имеет активные контроллеры RAID. При подключении этих массивов в единую систему, производительность дискового пула плавно растет с ростом доступного объема хранения данных. Система позволяет создать массивы более 500TB, настраивается менее, чем за час, и не требует специализированных знаний администраторов.

Модель лицензирования также отличается от остальных и уже включает в первоначальную стоимость все возможные опции моментальных копий, репликацию и средства интеграции в различные ОС и приложения. Эта система считается одной из наиболее быстрых систем в тестах для MS Exchange (ESRP).

Типы носителей информации и протокол взаимодействия с СХД

Определившись с типом СХД, который Вам наиболее подходит для решения тех или иных задач, необходимо перейти к выбору протокола взаимодействия с СХД и выбору накопителей, которые будут использоваться в системе хранения.

В настоящий момент для хранения данных в дисковых массивах используются SATA и SAS диски. Какие диски выбрать в хранилище зависит от конкретных задач. Стоит отметить несколько фактов.

SATA II диски:

• Доступны объемы одного диска до 1 ТБ
• Скорость вращения 5400-7200 RPM
• Скорость ввода/вывода до 2,4 Гбит/с
• Время наработки на отказ примерно в два раза меньше чем у SAS дисков.
• Менее надежные, чем SAS диски.
• Дешевле примерно в 1,5 раза, чем SAS-диски.

SAS диски:

• Доступны объемы одного диска до 450 ГБ
• Скорость вращения 7200 (NearLine), 10000 и 15000 RPM
• Скорость ввода/вывода до 3,0 Гбит/с
• Время наработки на отказ в два раза больше чем у SATA II дисков.
• Более надежные диски.

Важно! В прошлом году начался промышленный выпуск SAS дисков с пониженной скоростью вращения – 7200 rpm (Near-line SAS Drive). Это позволило повысить объем хранимых данных на одном диске до 1 ТБ и снизить энергопторебление дисков со скоростным интерфейсом. При том, что стоимость таких дисков сравнима со стоимостью дисков SATA II, а надежность и скорость ввода/вывода осталась на уровне SAS дисков.

Таким образом, в настоящий момент стоит действительно серьезно задуматься над протоколами хранения данных, которые вы собираетесь использовать в рамках корпоративной СХД.

До недавнего времени основными протоколами взаимодействия с СХД являлись – FibreChannel и SCSI. Сейчас на смену SCSI, расширив его функционал, пришли протоколы iSCSI и SAS. Давайте ниже рассмотрим плюсы и минусы каждого из протоколов и соответствующих интерфейсов подключения к СХД.

Протокол Fibre Channel

На практике современный Fibre Channel (FC) имеет скорости 2 Гбит/Сек (Fibre Channel 2 Gb), 4 Гбит/Сек (Fibre Channel 4 Gb) full- duplex или 8 Гбит/Сек, то есть такая скорость обеспечивается одновременно в обе стороны. При таких скоростях расстояния подключения практически не ограничены – от стандартных 300 метров на самом «обычном» оборудовании до нескольких сотен или даже тысяч километров при использовании специализированного оборудования. Главный плюс протокола FC – возможность объединения многих устройств хранения и хостов (серверов) в единую сеть хранения данных (SAN). При этом не проблема распределенности устройств на больших расстояниях, возможность агрегирования каналов, возможность резервирования путей доступа, «горячего подключения» оборудования, большая помехозащищенность. Но с другой стороны мы имеем высокую стоимость, и высокую трудоемкость инсталляции и обслуживания дисковых массивов использующих FC.

Важно! Следует разделять два термина протокол Fibre Channel и оптоволоконный интерфейс Fiber Channel. Протокол Fibre Сhannel может работать на разных интерфейсах — и на оптоволоконном соединении с разной модуляцией, и на медных соединениях.

Плюсы:

• Гибкая масштабируемость СХД;
• Позволяет создавать СХД на значительных расстояниях (но меньших, чем в случае iSCSI протокола; где, в теории, вся глобальная IP сеть может выступать носителем.
• Большие возможности резервирования.

Минусы:

• Высокая стоимость решения;
• Еще более высокая стоимость при организации FC-сети на сотни или тысячи километров
• Высокая трудоемкость при внедрении и обслуживании.

Важно! Помимо появления протокола FC8 Гб/c, ожидается появление протокола FCoE (Fibre Channel over Ethernet), который позволит использовать стандартные IP сети для организации обмена пакетами FC.

Протокол iSCSI

Протокол iSCSI (инкапсуляция SCSI пакетов в протокол IP) позволяет пользователям создать сети хранения данных на базе протокола IP с использованием Ethernet-инфраструктуры и портов RJ45. Таким образом, протокол iSCSI дает возможность обойти те ограничения, которыми характеризуются хранилища данных с непосредственным подключением, включая невозможность совместного использования ресурсов через серверы и невозможность расширения емкости без отключения приложений.  Скорость передачи на данный момент ограничена 1 Гб/c (Gigabit Ethernet), но данная скорость является достаточной для большинства бизнес-приложений масштаба средних предприятий и это подтверждают многочисленные тесты.  Интересно то, что важна не столько скорость передачи данных на одном канале, сколько алгоритмы работы RAID контроллеров и возможность агрегации массивов в единый пул, как в случае с DELL EqualLogic, когда используются по три 1Гб порта на каждом массиве, и идет балансировка нагрузки среди массивов одной группы.

Важно отметить, что сети SAN на базе протокола iSCSI обеспечивают те же преимущества, что и сети SAN с использованием протокола Fibre Channel, но при этом упрощаются процедуры развертывания и управления сетью, и значительно снижаются стоимостные затраты на данную СХД.

Плюсы:

• Высокая доступность;
• Масштабируемость;
• Простота администрирования, так как используется технология Ethernet;
• Более низкая цена организации SAN на протоколе iSCSI, чем на FC.
• Простота интеграции в среды виртуализации

Минусы:

• Есть определенные ограничения по использованию СХД с протоколом iSCSI с некоторыми OLAP и OLTP приложениями, с системами Real Time и при работе с большим числом видеопотоков в HD формате
• Высокоуровневые СХД на базе iSCSI, также как и CХД c FC-протоколом, требуют использования быстрых, дорогостоящих Ethernet-коммутаторов
• Рекомендуется использование либо выделенных Ethernet коммутаторов, либо организация VLAN для разделения потоков данных. Дизайн сети является не менее важной частью проекта, чем при разработке FC-сетей.

Важно! В скором времени производители обещают выпустить в серийное производство SAN на базе протокола iSCSI с поддержкой скоростей передачи данных до 10 Гб/c. Также готовится финальная версия протокола DCE (Data Center Ethernet), массовое появление устройств, поддерживающих протокол DCE, ожидается к 2011 году.

C точки зрения используемых интерфейсов, протокол iSCSI задействует интерфейсы Ethernet 1Гбит/C, а ими могут быть как медные, так оптоволоконные интерфейсы при работе на больших расстояниях.

Протокол SAS

Протокол SAS и одноименный интерфейс разработаны для замены параллельного SCSI и позволяет достичь более высокой пропускной способности, чем SCSI. Хотя SAS использует последовательный интерфейс в отличие от параллельного интерфейса, используемого традиционным SCSI, для управления SAS-устройствами по-прежнему используются команды SCSI. SAS позволяет обеспечить физическое подключение между массивом данных и несколькими серверами на небольшие расстояния.

Плюсы:

• Приемлемая цена;
• Легкость консолидации хранилищ – хотя СХД на базе SAS не может подключаться к такому количеству хостов (серверов), как SAN конфигурации которые используют протоколы FC или iSCSI, но при использовании протокола SAS не возникает трудностей с дополнительным оборудованием для организации общего хранилища для нескольких серверов.
• Протокол SAS позволяет обеспечить большую пропускную способность с помощью 4 канальных соединений внутри одного интерфейса. Каждый канал обеспечивает 3 Гб/c , что позволяет достичь скорости передачи данных 12 Гб/с (в настоящий момент это наивысшая скорость передачи данных для СХД).

Минусы:

• Ограниченность досягаемости – длинна кабеля не может превышать 8 метров. Тем самым хранилища с подключением по протоколу SAS, будут оптимальны только тогда когда серверы и массивы будут расположены в одной стойке или в одной серверной;
• Количество подключаемых хостов (серверов) как правило, ограничено несколькими узлами.

Важно! В 2009 году ожидается появление технологии SAS со скоростью передачи данных по одному каналу – 6 Гбит/c, что позволит значительно увеличить привлекательность использования данного протокола.

Сравнение протоколов подключения СХД

Ниже приведена сводная таблица сравнения возможностей различных протоколов взаимодействия с СХД.

Параметр	Протоколы подключения СХД
	iSCSI	SAS	FC
Архитектура	SCSI команды инкапсулируются в IP пакет и передаются через Ethernet, последовательная передача	Последовательная передача SCSI команд	Коммутируемая
Растояние между дисковым массивом и узлом (сервер или свитч)	Ограничено лишь расстоянием IP cетей.	Не более 8 метров между устройствами.	50.000 метров без использования специализрованных рипитеров
Масштабируемость	Миллионы устройств – при работе по протоколу IPv6.	32 устройства	256 устройств 16 миллионов устройств, если использовать FC-SW (fabric switches) архитектура
Производительность	1 Гб/с (планируется развитие до 10 Гб/с)	3 Гб/с при использовании 4х портов, до 12 Гб/с (в 2009 году до 6 Гб/с по одному порту)	До 8 Гб/с
Уровень вложений (затрат на внедрение)	Незначительный  – используется Ethernet	Средний	Значительный

Таким образом, представленные решения на первый взгляд достаточно четко разделяются по соответствию требованиям заказчиков. Однако на практике все не так однозначно, включаются дополнительные факторы в виде ограничений по бюджетам, динамики развития организации (и динамики увеличения объема хранимой информации), отраслевая специфика и т.д.

Автор: Андрей Захаров, Ведущий специалист компании «Алатус»