Фраза дня: NVMe over Fabrics (NVMe-oF)

NVMe over Fabrics, также известный как NVMe-oF и энергонезависимая память, экспрессируемая через фабрики, - это спецификация протокола, предназначенная для подключения хостов к хранилищу через сетевую структуру с использованием протокола NVMe.

Протокол предназначен для передачи данных между главным компьютером и целевым твердотельным запоминающим устройством или системой по сети - это осуществляется с помощью команды на основе сообщений NVMe. Передача данных может осуществляться с помощью таких методов, как Ethernet, Fibre Channel (FC) или InfiniBand.

NVM Express Inc. - некоммерческая организация, опубликовавшая версию 1.0 спецификации NVMe 1 марта 2011 года. Позже, 5 июня 2016 года, та же организация опубликовала версию 1.0 спецификации NVMe-oF. Затем в мае 2017 года был выпущен NVMe версии 1.3. В этом обновлении были добавлены функции, повышающие безопасность, совместное использование ресурсов и отказоустойчивость твердотельных накопителей (SSD).

По оценкам организации NVM Express, 90% протокола NVMe-oF совпадает с протоколом NVMe, который предназначен для локального использования через шину Peripheral Component Interconnect Express (PCIe) компьютера.

Поставщики работают над разработкой зрелой корпоративной экосистемы, которая поддерживает сквозной NVMe через фабрики, включая серверную операционную систему, серверный гипервизор, карты сетевых адаптеров, ОС хранения и накопители. Кроме того, поставщики коммутаторов сетей хранения данных (SAN) - не ограничиваясь Cisco Systems Inc. и Mellanox Technologies - пытаются позиционировать FC 32 гигабит в секунду (Гбит / с) в качестве логической матрицы для флэш-памяти NVMe.

С момента первоначальной разработки NVMe-oF было несколько реализаций протокола, таких как NVMe-oF с использованием удаленного прямого доступа к памяти (RDMA), FC или протокола управления передачей / Интернет-протокола (TCP / IP).

Использование NVMe over Fabrics
Хотя это еще относительно молодая технология, NVMe-oF широко используется в сетевых архитектурах. Использование NVMe-oF может помочь предоставить современный протокол хранения, который может в полной мере использовать преимущества современных твердотельных накопителей. Протокол также может помочь в устранении разрыва между хранилищами с прямым подключением (DAS) и SAN, позволяя организациям поддерживать рабочие нагрузки, требующие высокой пропускной способности и низких задержек.

Первоначальное развертывание NVMe было DAS на серверах, с флэш-картами NVMe вместо традиционных твердотельных накопителей в качестве носителей. Такая компоновка обеспечивает многообещающий прирост производительности по сравнению с существующими системами хранения на основе флеш-памяти, но также имеет свои недостатки. NVMe требует добавления сторонних программных инструментов для оптимизации работы службы записи и данных. В массивах NVMe на уровне контроллера хранилища сохраняются узкие места.

Другие варианты использования NVMe-oF включают оптимизацию аналитики в реальном времени, а также участие в искусственном интеллекте (AI) и машинном обучении.

Использование NVMe-oF - относительно новый этап в развитии технологии, открывающий путь к появлению флеш-систем в масштабе стойки, которые объединяют собственное сквозное управление данными. Темпы массового внедрения будут зависеть от того, насколько быстро будет происходить комплексная разработка экосистемы NVMe.

Преимущества NVMe over Fabrics
Преимущества накопителей на базе NVMe:

• низкая задержка;
• дополнительные параллельные запросы;
• повышенная эффективность работы;
• уменьшение длины стеков хранилищ ОС на стороне сервера;
• улучшения, касающиеся производительности массива хранения;
• более быстрое конечное решение с переходом с дисков Serial-Attached SCSI (SAS) / Serial Advanced Technology Attachment (SATA) на твердотельные накопители NVMe; а также
• разнообразие типов реализации для разных сценариев.

Технические характеристики NVMe over Fabrics

• высокоскоростной;
• низкая задержка в сети;
• кредитный контроль потока;
• возможность масштабирования до тысяч других устройств;
• поддержка нескольких путей в фабрике для одновременного использования нескольких путей между инициатором хоста NVMe и целевым хранилищем; а также
• поддержка нескольких хостов в фабрике для одновременной отправки и получения команд от нескольких хостов и подсистем хранения.

NVMe over Fabrics против NVMe: основные различия
NVMe является альтернативой стандарту интерфейса малых компьютерных систем (SCSI) для подключения и передачи данных между хостом и периферийным целевым запоминающим устройством или системой. NVMe разработан для использования с более быстрыми носителями, такими как твердотельные накопители и технологии на основе пост-флэш-памяти. Стандарт NVMe сокращает время доступа на несколько порядков по сравнению с протоколами SCSI и SATA, разработанными для вращающихся носителей.

NVMe поддерживает 64 000 очередей, каждая с глубиной очереди до 64 000 команд. Все команды ввода / вывода (I / O) вместе с последующими ответами работают на одном и том же ядре процессора, превращая многоядерные процессоры в высокий уровень параллелизма. Блокировка ввода-вывода не требуется, поскольку каждый поток приложения получает выделенную очередь.

Устройства на основе NVMe передают данные с помощью последовательного слота расширения PCIe, что означает, что нет необходимости в выделенном аппаратном контроллере для маршрутизации трафика сетевого хранилища. Используя NVMe, твердотельный накопитель PCIe на базе хоста может более эффективно передавать данные в целевое хранилище или подсистему.

Одно из основных различий между NVMe и NVMe over Fabrics - это механизм транспортного сопоставления для отправки и получения команд или ответов. NVMe-oF использует модель на основе сообщений для связи между хостом и целевым устройством хранения. Локальный NVMe будет сопоставлять команды и ответы с общей памятью на хосте по протоколу интерфейса PCIe.

Несмотря на то, что он отражает характеристики производительности PCIe Gen 3, у NVMe отсутствует собственный уровень обмена сообщениями для направления трафика между удаленными хостами и твердотельными накопителями NVMe в массиве. NVMe-oF - это ответ отрасли на разработку уровня обмена сообщениями.

NVMe over Fabrics с использованием RDMA
Использование RDMA в NVMe-oF определяется технической подгруппой организации NVM Express. Доступные сопоставления включают RDMA через конвергентный Ethernet (RoCE) и протокол RDMA Internet Wide Area (iWARP) для Ethernet и InfiniBand.

RDMA - это механизм передачи памяти в память между двумя компьютерами. Данные отправляются из одного адресного пространства памяти в другое без вызова ОС или процессора. Результатом являются меньшие накладные расходы и более быстрый доступ и время ответа на запросы, с задержкой обычно в микросекундах (мкс).

NVMe служит протоколом для перемещения трафика хранилища через RDMA по фабрикам. Протокол обеспечивает общий язык для вычислительных серверов и хранилищ для связи при передаче данных.

NVMe over Fabrics с использованием RDMA по существу требует внедрения новой сети хранения данных, которая увеличивает производительность. Компромисс заключается в меньшей масштабируемости по сравнению с протоколом FC.

NVMe over Fabrics с использованием Fibre Channel
NVMe over Fabrics с использованием Fibre Channel (FC-NVMe) был разработан комитетом T11 Международного комитета по стандартам информационных технологий (INCITS). FC позволяет отображать поверх него другие протоколы, такие как NVMe, SCSI и проприетарное оптоволоконное соединение IBM (Ficon), для отправки данных и команд между хостом и целевыми устройствами хранения.

FC-NVMe и Gen 6 FC могут сосуществовать в одной инфраструктуре, что позволяет центрам обработки данных избежать модернизации вилочного погрузчика.

Заказчики используют микропрограммное обеспечение для обновления существующих сетевых коммутаторов FC при условии, что адаптеры главной шины (HBA) поддерживают целевые устройства хранения с поддержкой 16 или 32 Гбит / с FC и NVMe-oF.

Протокол FC поддерживает доступ к совместно используемой флэш-памяти NVMe, но при интерпретации и преобразовании инкапсулированных команд SCSI в команды NVMe снижается производительность. Промышленная ассоциация Fibre Channel (FCIA) помогает продвигать стандарты для обратно совместимых реализаций FC-NVMe, позволяя одному адаптеру FC-NVMe поддерживать диски на основе SCSI, традиционные твердотельные накопители и флэш-карты NVMe с подключением через PCIe.

NVMe over Fabrics с использованием TCP / IP
Одна из новейших разработок, касающихся NVMe-oF, включает разработку NVMe-oF с использованием TCP / IP. NVMe-oF теперь может поддерживать привязку транспорта TCP. NVMe over TCP позволяет использовать NVMe-oF в стандартной сети Ethernet. Также нет необходимости вносить изменения в конфигурацию или внедрять какое-либо специальное оборудование с использованием NVMe-oF TCP / IP. Поскольку транспортная привязка может использоваться в любой сети Ethernet или в Интернете, устраняются проблемы, обычно связанные с внедрением любого дополнительного оборудования и конфигураций.

TCP - широко распространенный стандарт для установления и поддержания сетевых соединений при обмене данными по сети. TCP будет работать вместе с IP, поскольку оба протокола, используемые вместе, облегчают обмен данными через Интернет и частные сети. Привязка транспорта TCP в NVMe-oF определяет, как данные между хостом и подсистемой энергонезависимой памяти инкапсулируются и доставляются.

Привязка TCP также определяет способ сопоставления очередей, капсул и данных, что поддерживает TCP-связь между хостами NVMe-oF и контроллерами через IP-сети.

NVMe-oF с использованием TCP / IP - хороший выбор для организаций, которые хотят использовать свою инфраструктуру Ethernet. Это также даст разработчикам возможность перенести технологию NVMe с Internet SCSI (iSCSI). Например, организация, которая не хочет иметь дело с какими-либо потенциальными проблемами, связанными с внедрением NVMe over Fabrics с использованием RDMA, может вместо этого воспользоваться преимуществами NVMe-oF с использованием TCP / IP в ядре Linux.

Поддержка индустрии хранения для NVMe и NVMe-oF
Как известные поставщики систем хранения, так и стартапы борются за место на рынке. К продуктам хранения All-flash NVMe и NVMe-oF относятся следующие:

• DataDirect Networks (DDN) Flashscale;
• Гибридная система Datrium DVX;
• Kaminario K2.N;
• Массивы NetApp Fabric-Attached Storage (FAS), включая Flash Cache с возможностью подключения NVMe SSD;
• Pure Storage FlashArray // X; а также
• Tegile IntelliFlash (приобретена Western Digital Corp. в 2017 году и затем продана DDN в 2019 году).

В декабре 2017 года IBM анонсировала конфигурацию NVMe-oF InfiniBand, объединяющую ее системы Power9 и FlashSystem V9000, продукт, предназначенный для когнитивных рабочих нагрузок, которые принимают огромные объемы данных.

В 2017 году компания Hewlett Packard Enterprise представила свою серверную флеш-память HPE Persistent Memory, в которой используются серверы ProLiant Gen9 и твердотельные накопители с постоянной памятью PCIe, совместимые с NVMe.

Dell EMC была одним из первых поставщиков систем хранения, который вывел на рынок полностью флэш-накопитель на базе NVMe. Массив DSSD D5 был построен с серверами Dell PowerEdge и запатентованной сетевой сетью NVMe поверх PCIe. Товар был отложен в 2017 году из-за плохих продаж.

Несколько стартапов также запустили массивы на базе флэш-памяти NVMe:

• Apeiron Data Systems использует диски NVMe для носителей и размещает службы данных в программируемых вентильных массивах (FPGA) вместо серверов, подключенных к массивам хранения.
• E8 Storage (купленное Amazon в 2019 году) использует свое программное обеспечение для репликации моментальных снимков с флэш-массива E8-D24 NVMe на подключенные фирменные вычислительные серверы, что позволяет снизить накладные расходы на управление массивом.
• Программно-определяемое хранилище Excelero работает на любых стандартных серверах.
• Массивы Mangstor MX6300 NVMe-oF основаны на Dell EMC PowerEdge, оснащенном фирменными картами NVMe PCIe.
• Компания Pavilion Data Systems имеет фирменный массив памяти Pavilion, состоящий из стандартных сетевых карт (NIC), коммутаторов и процессоров PCIe. Устройство Pavilion 4U содержит 20 контроллеров хранилища и 40 портов Ethernet, которые подключаются к 72 твердотельным накопителям NVMe через внутреннюю сеть коммутаторов PCIe.
• Vexata Inc. предлагает свое распределенное программное обеспечение VX-100 и Vexata Active Data Fabric. Массив NVMe, подключенный к сети Ethernet, включает в себя интерфейсный контроллер, сквозной маршрутизатор на базе FPGA и узлы данных, которые управляют расписаниями ввода-вывода и метаданными.

Производители микросхем, сетевые поставщики готовят рынок
В 2017 году поставщики компьютерного оборудования открыли новые горизонты технологий NVMe over Fabrics. Поставщики сетевых устройств ждут, когда поставщики систем хранения данных наверстают упущенное и начнут продавать массивы на основе NVMe-oF.

Коммутатор FC, соперники Brocade и Cisco, представили оборудование FC 32 Гбит / с Gen 6, которое поддерживает трафик флэш-памяти NVMe, включая возможности фабрики FC-NVMe. Также в бой вступил Cavium, обновивший адаптеры QLogic Gen 6 FC и FastLinQ Ethernet для NVMe-oF.

Marvell представила свои контроллеры 88SS1093 NVMe SSD, отличающиеся передовым дизайном, в котором технология проверки четности с низкой плотностью используется для флэш-устройств NAND с трехуровневыми ячейками (TLC), работающих поверх многоуровневых ячеек (MLC) NAND.

Mellanox Technologies разработала эталонную архитектуру хранилища NVMe-oF на основе своих программируемых процессоров BlueField system-on-a-chip (SoC). Подобно гиперконвергентной инфраструктуре (HCI), BlueField объединяет инструменты вычислений, сети, безопасности, хранения и виртуализации в одном устройстве.

Microsemi Corp. объединилась с American Megatrends (AMI) для разработки эталонной архитектуры NVMe-oF. Система включает коммутаторы Microsemi Switchtec PCIe в составе оборудования для разукрупненной составной инфраструктуры Intel Rack Scale Design (RSD), на котором установлена прошивка AMI для управления фабрикой. Среди производителей дисков компания Intel Corp. лидирует с двухпортовыми твердотельными накопителями NVMe на базе 3D NAND и накопителями Intel Optane NVMe, основанными на технологии памяти 3D XPoint, разработанной Intel и производителем микросхем Micron Technology, Inc. Intel утверждает, что диски Optane NVMe примерно в восемь раз быстрее, чем твердотельные накопители NVMe PCIe на базе флэш-памяти NAND. Micron представила свою серию твердотельных накопителей NVMe 9200, а также занялась продажей систем хранения, запустив эталонную архитектуру Micron Accelerated Solutions NVMe и устройства на базе Micron SolidScale NVMe-oF. Компания Seagate Technology представила свой твердотельный накопитель Nytro 5000 M.2 NVMe и начала опробовать дополнительную карту NVMe емкостью 64 терабайта (ТБ).

Продолжить знакомиться с технологией NVMe-oF можно здесь.