Фраза дня: многоуровневое хранилище

Что такое многоуровневое хранилище?
Многоуровневое хранилище - это метод назначения различных категорий данных различным типам носителей для снижения общих затрат на хранение и повышения производительности и доступности критически важных приложений. В многоуровневой архитектуре хранения данные иерархически классифицируются в зависимости от их ценности для бизнеса, при этом данные ранжируются по тому, как часто к ним обращаются пользователи и приложения. Затем данные назначаются на определенные уровни хранения, которые определяются их производительностью, доступностью и стоимостью носителя.

Как правило, наиболее важные данные передаются с самых быстрых носителей, которые обычно являются самыми дорогими. В базовой конфигурации критически важные данные могут быть назначены высокопроизводительному уровню, который состоит из твердотельных флэш-накопителей (SSD) и модулей памяти Intel Optane, в то время как менее важные данные записываются на второй уровень, состоящий только из жестких дисков. дисководы (HDD). Затем можно использовать третий уровень для архивирования данных, которые необходимо хранить неограниченное время, с данными, хранящимися на ленточных накопителях или платформах облачного хранения.

Уровни - это одно звено в цепочке действий, регулируемых управлением жизненным циклом информации.

История многоуровневого хранения
IBM первой применила многоуровневую архитектуру хранения на своих мэйнфреймах. Когда впервые было задумано многоуровневое хранилище, основные производственные данные вручную размещались на различных конфигурациях жестких дисков с последовательным интерфейсом SCSI (SAS) и Serial Advanced Technology Attachment (SATA). Данные записывались в блоки на дисках с использованием таких методов, как короткое перемещение и чередование по избыточному массиву независимых дисков (RAID).

В результате были созданы уровни хранения с разной емкостью, стоимостью и характеристиками производительности, что позволило удовлетворить различные требования к хранению в пределах одного мэйнфрейма. Для обеспечения большей гибкости за другими носителями располагался дополнительный уровень ленточных библиотек для поддержки «горячих» данных или обеспечения глубокого архива для «холодных» данных.

Развитие иерархического управления хранением данных (HSM) помогло сократить ручной процесс многоуровневого хранения. HSM представила программную автоматизацию, которая динамически перемещает данные между различными системами хранения, типами дисков или группами RAID в режиме реального времени, причем способами, которые в значительной степени прозрачны для пользователя.

Что такое многоуровневое хранилище?
Многоуровневый подход к управлению данными использует различные типы носителей для создания нескольких уровней для размещения различных типов данных. Точный подход, применяемый организациями к многоуровневому распределению, зависит от конкретных требований к хранилищу, данным и приложениям. Сегодняшние ИТ-группы могут поддерживать от двух до пяти уровней, иногда даже больше.

В значительной степени количество уровней будет зависеть от того, как организация классифицирует свои данные. Например, бизнес-данные часто группируются в одну из четырех категорий: критически важные, горячие данные, теплые данные и холодные данные. На основе этих категорий организация может реализовать четыре уровня хранения - уровень 0, уровень 1, уровень 2, уровень 3 - с уровнем 0, поддерживающим критически важные рабочие нагрузки, и уровнем 3 для хранения холодных данных.

Организации не привязаны к этой структуре - они могут развернуть больше или меньше уровней, но этот подход представляет основные принципы, которые входят в многоуровневую архитектуру хранения.

Компании могут отклоняться от этой структуры разными способами. Например, они могут разбить уровень 1 или уровень 2 на два уровня, чтобы лучше использовать ресурсы хранения, и в этом случае они будут реализовывать пять уровней, а не четыре. Независимо от конфигурации, на самом высоком уровне в этой модели - уровне 0 - всегда хранятся данные для наиболее требовательных рабочих нагрузок, а на самом низком уровне - будь то уровень 3, уровень 4, уровень 5 или что-то еще - хранятся наименее важные и активные данные.

Что такое хранилище уровня 0?
Верхний уровень иерархии хранилищ традиционно начинался с хранилища уровня 1, но появление твердотельных и флеш-хранилищ привело к появлению концепции хранилища уровня 0. Уровень 0 обеспечивает более высокую производительность, чем хранилище уровня 1, и большая часть данных, ранее считавшихся уровнем 1, теперь хранится на уровне 0.

Хранилище уровня 0 - это самый быстрый и самый дорогой уровень в иерархии, который подходит для критически важных приложений с минимальной устойчивостью к простою или задержкам. Данные, помещенные на «нулевой уровень», часто включают масштабируемые транзакционные базы данных для аналитики, финансов, здравоохранения и безопасности.

Устройства хранения, составляющие уровень 0, могут включать в себя флэш-твердотельные накопители или устройства памяти класса хранения (SCM), такие как твердотельные накопители Optane или модули памяти. В твердотельных накопителях обычно используются технологии Peripheral Component Interconnect Express (PCIe) или энергонезависимой памяти Express (NVMe) для максимальной производительности. В некоторых случаях организация может использовать флэш-память одноуровневой ячейки (SLC) для повышения производительности и надежности. Хранилище уровня 0 также может использовать оперативную память (RAM) для оптимизации производительности.

Хотя хранилище уровня 0 является наиболее дорогим типом хранилища, ощутимые преимущества повышенной производительности, такие как более быстрое время вывода на рынок или увеличение продаж, необходимо сопоставить со стоимостью устройств хранения уровня 0.

Что такое хранилище уровня 1?
Данные уровня 1 поддерживают приложения, которые необходимы для повседневной работы организации. Приложения, которые полагаются на эти данные, обычно могут выдерживать более высокую задержку и более низкий IOPS, чем приложения уровня 0. Затраты на хранение также более важны, чем при хранении уровня 0, хотя на уровне 1 по-прежнему используются высококачественные носители, такие как RAID с двойной четностью, чтобы обеспечить требуемую задержку и пропускную способность хранилища, даже если это не так. быстро, как хранилище уровня 0.

СХД уровня 1 может использовать твердотельные накопители, жесткие диски или их комбинацию в конфигурации гибридных дисков. Гибридные системы хранения кэшируют горячие данные во флэш-памяти для быстрого извлечения и записи оставшихся данных на жесткие диски. Жесткие диски, используемые для хранилища уровня 1, как правило, самые быстрые и дорогие, особенно если они являются единственным типом хранилища, используемым на этом уровне.

В некоторых случаях хранилище на основе жестких дисков будет использовать часть ОЗУ сервера для работы в качестве виртуального диска, особенно если жесткие диски не являются частью гибридной системы. Однако это также означает, что для вычислительных ресурсов доступно меньше памяти. Кроме того, RAM требует постоянного источника питания для сохранения данных. Твердотельные и жесткие диски являются устройствами энергонезависимой памяти (NVM), поэтому их можно отключить от источника питания и при этом сохранить свои данные.

Даже если предприятия запускают большинство своих приложений уровня 1 на вращающемся диске, они все равно могут запускать отдельные рабочие нагрузки на флэш-накопителях All-Flash или на гибридных флэш-дисках. В некоторых случаях ИТ-группы будут использовать простаивающие вычислительные мощности для запуска транзакционных баз данных в быстром хранилище в оперативной памяти. Эти устройства включают энергонезависимые двухрядные модули памяти (NVDIMM), которые вставляются в стандартный слот сервера.

Что такое хранилище уровня 2?
Хранилище уровня 2 связано с теплыми данными, которые могут включать старые электронные письма, секретные файлы, историческую финансовую информацию или множество других типов информации. Этот уровень также может поддерживать отчеты и аналитику. Для хранилища уровня 2 обычно требуется большая емкость для более длительного использования, поэтому акцент смещается с производительности на экономичность.

Хранилище уровня 2 часто служит вторичным хранилищем организации, в котором размещаются резервные копии уровня 0 и уровня 1 в рамках стратегии обеспечения непрерывности бизнеса и аварийного восстановления (BC / DR). Хранилище уровня 2 позволяет быстро восстановить ключевые файлы, если данные в основном хранилище становятся недоступными.

Данные резервного копирования в хранилище уровня 2 могут включать системы планирования ресурсов предприятия (ERP), корпоративную электронную почту, приложения бэк-офиса или любые другие данные приложений, которые требуют высокой надежности и безопасности, но не требуют субмиллисекундной задержки.

Данные уровня 2 хранятся на более дешевых носителях, которые могут включать жесткие диски, устройства резервного копирования, ленточные хранилища или облачные хранилища. Жесткие диски обычно основаны на SATA, а не на более дорогих RAID-массивах или устройствах SAS. Требования к восстановлению часто зависят от типа носителя, используемого для хранилища уровня 2.

Что такое хранилище уровня 3?
Хранилище уровня 3 - это уровень архива, расположенный за уровнем резервного копирования. К данным на этом уровне редко обращаются или обновляются, если вообще. Носители данных уровня могут включать медленно вращающиеся жесткие диски, записываемые компакт-диски, ленточные накопители или архивные облачные хранилища - все, что предлагает наименее дорогое хранилище по сравнению с другими уровнями. На Уровне 3 хранятся фиксированные копии любого контента, который считается имеющим стратегическую ценность, даже если он незначителен, или контента, который необходимо сохранить в соответствии с применимыми правилами.

Многие организации направляют резервные копии в хранилище уровня 2 на определенный период времени, а затем перемещают данные в ленточную библиотеку уровня 3 для долгосрочного хранения. Данные могут храниться на неопределенный срок или истекать к определенной дате. В некоторых случаях архивные данные записываются на диск только один раз и никогда не стираются и не обновляются.

Компании в регулируемых отраслях используют архивы для переноса устаревших или неактивных данных из более дорогих хранилищ. Хранилище уровня 3 поддерживает соответствие нормативным требованиям, исторический анализ или другие бизнес-потребности, которые могут периодически возникать, но не требуют современного хранилища.

Организации все чаще обращаются к объектным хранилищам для своих данных уровня 3, часто реализуя этот уровень как часть стратегии гибридного облака, в которой используются как локальные системы, так и облачные сервисы. Публичное облако может хранить данные уровня 3 как часть этой гибридной стратегии.

Некоторые эксперты по хранению данных предсказывают будущее с меньшим количеством уровней хранения, возможно, только с двумя, с первичными данными, хранящимися на уровне флэш-памяти, а архивированные и резервные данные, размещенные в облаке.

Что такое автоматическое многоуровневое хранение?
Создание многоуровневого хранилища началось как ручной процесс, но автоматизация стала играть более важную роль как в размещении данных, так и в анализе их размещения. С момента своего появления многоуровневая автоматизация продолжала совершенствоваться и развиваться, при этом все большее количество продуктов для хранения данных теперь предлагает возможности многоуровневого хранения, встроенные в систему хранения или в качестве стороннего программного обеспечения или услуг.

Автоматизация многоуровневого хранения данных приобрела все большее значение с появлением гибридных массивов хранения, в которых используются флеш-накопители SSD и жесткие диски. Автоматизация гарантирует, что только самые важные данные остаются на дорогих носителях, а остальные распределяются соответствующим образом.

Поставщики массивов хранения встроили автоматизированное многоуровневое хранение в стек управления программным обеспечением. Автоматизированные политики перемещают данные на соответствующий уровень на основе политик, определенных компанией, как правило, в режиме реального времени.

Ряд сторонних поставщиков программного обеспечения также предлагают программное обеспечение для управления, которое включает многоуровневое хранилище. Эти продукты включают программно определяемые шлюзы облачных хранилищ, средства управления копированием данных и корпоративные пакеты для синхронизации и совместного использования файлов.

Что такое оптимизированное многоуровневое хранение?
Эксперты по хранению данных заявили, что хорошо разработанная таксономия классификации данных является стержнем оптимизированной многоуровневой архитектуры хранения. Таксономия классифицирует все данные и уравновешивает затраты с требованиями к производительности хранилища.

Архитекторы хранилищ должны четко определить атрибуты доступности, производительности и обслуживания для каждого уровня. Цель состоит в том, чтобы позволить приложению выбирать хранилище, соответствующее выполняемым им бизнес-задачам.

Если бизнес зависит от непрерывного времени безотказной работы приложений обработки транзакций, полученный доход может более чем покрыть расходы на высокопроизводительное хранилище. Многоуровневое хранение может повысить производительность приложений за счет освобождения первичного хранилища и перемещения вторичных данных на более дешевый уровень.

Принято считать, что в любой момент времени только от 10% до 20% данных считаются «горячими». Это означает, что самое быстрое и дорогое хранилище должно быть выделено исключительно для этих часто используемых данных, а оставшиеся 80–90% должны храниться на более дешевом уровне хранилища.

Многоуровневое хранение против кеширования
Термины многоуровневое хранение и кэширование данных часто используются как синонимы, особенно при работе с флэш-носителями, но это разные процессы.

Кэширование помещает временную копию данных на высокопроизводительный носитель, такой как динамическая RAM (DRAM) или твердотельная память, для повышения производительности. Кеш находится между приложением и внутренним хранилищем.

Те же данные также находятся на более низком уровне хранения, обычно на жестком диске. Программное обеспечение хоста или контроллер хранилища копирует данные в кэш, но исходная копия данных остается в исходном месте.

Многоуровневые данные всегда находятся на одном типе носителя, но перемещаются между носителями по мере изменения шаблонов доступа к данным. Многоуровневое хранилище не копирует данные. Он перемещает данные на другой носитель, выбирая место, которое наилучшим образом обеспечивает баланс между доступностью, производительностью и стоимостью носителя. Таким образом можно лучше использовать оборудование для хранения данных, одновременно увеличивая производительность критически важных приложений.