Как спланировать объём хранилища для виртуализированных сред и быстрорастущих объёмов данных?

Планирование емкости хранилища для виртуализированных сред является одной из самых стратегически сложных задач, стоящих сегодня перед командами ИТ-инфраструктуры. По мере роста плотности виртуальных машин и экспоненциального увеличения объемов данных нагрузка на базовые системы хранения данных возрастает в геометрической прогрессии. Независимо от того, управляете ли вы центром обработки данных среднего предприятия или масштабируете платформу рабочих нагрузок, тесно интегрированную с облаком, правильное планирование емкости хранилища с самого начала определяет, будет ли ваша инфраструктура поддерживать оперативность бизнеса или превратится в его главный узкий момент. Слияние накладных расходов виртуализации, хранения снимков, требований к быстрому развертыванию и непредсказуемых моделей роста делает необходимым внедрение решений для хранения данных, которые изначально обеспечивают как запас производительности, так и масштабируемость. Правильно выбранное NVMe-массив на основе полностью флэш-памяти стало ключевым компонентом этого процесса планирования для организаций, которые не могут позволить себе снижение производительности из-за задержек.

Задача не заканчивается выбором платформы с высокой ёмкостью. Эффективное планирование ёмкости требует структурированного метода, учитывающего текущие профили рабочей нагрузки, прогнозируемые темпы роста, управление разрастанием виртуальных машин (VM sprawl), коэффициенты сжатия данных, а также непреложную необходимость обеспечения стабильной производительности ввода-вывода (I/O) под нагрузкой. Массив NVMe на базе полностью флэш-технологии обеспечивает пропускную способность с низкой задержкой, требуемую виртуализированными рабочими нагрузками, однако даже самые мощные аппаратные инвестиции не раскроют своего полного потенциала без целенаправленного, основанного на данных планирования. В данной статье рассматриваются ключевые аспекты планирования ёмкости хранилища для виртуализированных сред, испытывающих стремительный рост объёмов данных, и предлагается практическая методология, которую архитекторы инфраструктуры и администраторы систем хранения данных могут напрямую применять в своих циклах планирования.

Понимание особых требований к хранилищу в виртуализированных средах

Плотность виртуальных машин и её влияние на профили ввода-вывода (I/O) хранилища

Одним из наиболее недооцениваемых факторов при планировании емкости хранилища является то, как плотность виртуальных машин изменяет шаблоны запросов ввода-вывода (I/O). В среде физических серверов каждый хост генерирует предсказуемую нагрузку на ввод-вывод. Однако в виртуализированных средах десятки или даже сотни виртуальных машин одновременно конкурируют за одни и те же ресурсы хранилища, создавая конкуренцию за ресурсы ввода-вывода, которая может полностью парализовать традиционные массивы дисков с механическим приводом. Каждая виртуальная машина генерирует собственные операции чтения и записи, транзакции метаданных и активность создания снимков, причём все они должны обрабатываться параллельно без возникновения всплесков задержек, ухудшающих производительность приложений.

Массив полностью на базе NVMe-накопителей создан специально для работы в условиях высокой одновременной нагрузки ввода-вывода. В отличие от систем на основе SATA или SAS, NVMe-накопители взаимодействуют напрямую через линии PCIe, устраняя накладные расходы, связанные с преобразованием протоколов, и тем самым снижая задержки, характерные для устаревших архитектур хранения данных. При планировании ёмкости для среды с высокой плотностью виртуализации исходной точкой расчётов должна служить не просто суммарная ёмкость в гигабайтах, а устойчивое значение IOPS и пропускной способности, которое будет обеспечивать совокупная рабочая нагрузка всех виртуальных машин в период пикового спроса. Занижение этого показателя — одна из наиболее распространённых и дорогостоящих ошибок при проектировании корпоративных систем хранения данных.

Следовательно, сбор точных исходных метрик до утверждения плана емкости является обязательным требованием. Инструменты, отслеживающие гистограммы ввода-вывода на уровне виртуальных машин, процентили задержек и глубину очередей в течение репрезентативных временных интервалов, предоставляют планировщикам необходимые данные для корректного выбора конфигурации развертывания массива NVMe с полной поддержкой технологии all-flash. План емкости, основанный на данных о вводе-выводе в день пиковой нагрузки, значительно надежнее плана, построенного исключительно на средних показателях загрузки.

Накладные расходы на снимки и реалии тонкого выделения

Виртуализированные среды в значительной степени полагаются на снимки для защиты данных, быстрого восстановления и рабочих процессов тестирования и разработки. Хотя снимки чрезвычайно ценны, они создают дополнительную нагрузку на хранилище, которую многие специалисты по планированию не учитывают должным образом. Каждый снимок сохраняет копию изменённых блоков данных, и по мере эволюции рабочих нагрузок виртуальных машин цепочки снимков могут занимать значительно больше места, чем это следует из первоначального объёма, занимаемого виртуальными машинами. В средах с жёсткими временными окнами резервного копирования и несколькими ежедневными снимками на каждую виртуальную машину такая дополнительная нагрузка может легко составлять от 30 до 60 процентов от общего используемого объёма хранилища.

Тонкое выделение ресурсов усугубляет эту сложность. Виртуальные диски зачастую выделяются в объёмах, значительно превышающих их текущее фактическое использование, что обеспечивает администраторам гибкость, но затрудняет оценку реально занятой ёмкости до тех пор, пока не сработают предупреждающие сигналы. Массив NVMe на базе полностью флэш-памяти, поддерживающий дедупликацию и сжатие данных в потоке, может значительно сократить физическое пространство, занимаемое как данными виртуальных машин, так и цепочками снимков, однако проектировщикам следует понимать, что коэффициенты снижения объёма данных существенно различаются в зависимости от типа рабочей нагрузки. Базы данных, уже сжатые медиафайлы и зашифрованные наборы данных обеспечивают значительно более низкие коэффициенты снижения объёма по сравнению с универсальными виртуальными рабочими столами или файловыми серверами.

Модели ёмкости, предполагающие единый коэффициент снижения объёма данных 3:1 или 4:1 для всех типов рабочих нагрузок, приведут к искажённым прогнозам. Вместо этого проектировщики должны сегментировать рабочие нагрузки по типу данных и применять консервативные, специфичные для каждой рабочей нагрузки оценки снижения объёма при расчёте требуемой ёмкости массива NVMe на базе полностью флэш-памяти в среде с гетерогенной виртуализацией.

Создание масштабируемой системы планирования мощностей для быстрого роста данных

Установление базовых показателей темпов роста и моделей прогнозирования

Быстрый рост данных — это не однородное явление во всех категориях рабочих нагрузок. Специалистам по планированию хранилищ необходимо избегать соблазна применять единый годовой процент роста ко всему хранилищу в целом. Объёмы структурированных данных в операционных базах данных могут расти умеренно, тогда как объёмы журналов транзакций при этом будут значительными. Виртуализированные серверы приложений могут оставаться стабильными по основному занимаемому объёму, но в периоды активной разработки вызывать экспоненциальный рост объёмов снимков. Аналитические платформы и системы сбора телеметрии могут демонстрировать экспоненциальное накопление неструктурированных данных, что приводит к перегрузке систем хранения, изначально спроектированных преимущественно для транзакционных рабочих нагрузок.

Эффективная методология планирования емкости начинается с анализа темпов роста по сегментам. Для каждой основной категории рабочих нагрузок следует выработать собственный прогноз роста на основе исторических данных о потреблении за период не менее шести–двенадцати месяцев. Затем эти прогнозы по категориям объединяются с консервативным запасом — как правило, на 15–20 % выше прогнозируемого максимального значения — для определения требуемой полезной емкости на каждый горизонт планирования. При применении данного анализа к платформе NVMe-массивов на базе технологий All-Flash планировщики также должны учитывать фактическую (эффективную) емкость системы после сжатия и дедупликации данных, а не полагаться исключительно на номинальные значения емкости физических накопителей.

Прогнозные модели следует пересматривать как минимум ежеквартально, особенно в средах, где реализуются инициативы цифровой трансформации, проекты возврата облачных решений в локальную инфраструктуру (cloud repatriation) или масштабные усилия по модернизации приложений. Любой из этих бизнес-драйверов может резко ускорить темпы потребления и сделать недействительными предположения, сформулированные даже шесть месяцев назад. Массив NVMe на базе технологий all-flash с возможностями модульного расширения обеспечивает архитектурную гибкость для оперативного реагирования на такие изменения без необходимости полной замены платформы.

Определение уровней ёмкости и границ производительности

Не каждый байт данных виртуальной машины требует одинаковых характеристик производительности, и стратегия единой емкостной зоны редко является наиболее экономически эффективным решением. Хранение данных с разделением на уровни в виртуализированной среде позволяет администраторам размещать данные в соответствии с реальными требованиями к производительности, а не прибегать к универсальному подходу «один размер подходит всем». Активные рабочие наборы ВМ, часто используемые базы данных и журналы приложений, чувствительные к задержкам, должны размещаться на самом высокопроизводительном уровне — массиве NVMe полностью на флеш-памяти, где гарантируются времена отклика менее одной миллисекунды и высокая стабильная пропускная способность.

Данные, к которым обращаются реже, например шаблоны виртуальных машин, архивные снимки или репозитории исторических журналов, могут размещаться на более дешёвых вторичных уровнях хранения без потери производительности. Автоматизированные политики многоуровневого хранения, доступные на современных платформах NVMe-массивов на основе полностью флэш-технологий, способны динамически управлять таким размещением на основе наблюдаемых шаблонов доступа, снижая административную нагрузку и одновременно оптимизируя стоимость за гигабайт по всей совокупности хранилищ. Определение границ между уровнями — как с точки зрения пороговых значений производительности, так и политик возрастного отбора данных — является ключевым результатом процесса планирования ёмкости.

Отсутствие чёткого определения этих границ приводит к «ползучему» перемещению данных (tier creep), при котором все данные по умолчанию переносятся на уровень с наивысшей производительностью, что быстро исчерпывает объём флэш-накопителей и приводит к превышению бюджетных затрат. Управление политиками многоуровневого хранения должно быть установлено на раннем этапе, регулярно пересматриваться и обеспечиваться с помощью автоматизированных инструментов, а не полагаться на субъективные решения администраторов.

Согласование выбора массива NVMe на базе полностью флэш-технологий с требованиями платформы виртуализации

Совместимость протоколов и глубина интеграции

Выбор массива NVMe на базе полностью флэш-технологий для виртуальной среды требует не только оценки чистых характеристик производительности. Массив должен обеспечивать нативную интеграцию с используемой платформой гипервизора — будь то VMware vSphere, Microsoft Hyper-V или среда на базе открытого исходного кода KVM — чтобы поддерживать такие функции, как vStorage APIs для интеграции с массивами (VAAI), автоматическое управление хранилищами данных и координация снимков, ориентированных на виртуальные машины (VM-aware). При отсутствии этих точек интеграции администраторам приходится управлять уровнями хранения и виртуализации независимо друг от друга, что приводит к снижению операционной эффективности и повышает риск несоответствия конфигураций.

Поддержка NVMe-oF (NVMe over Fabrics) расширяет преимущества производительности решений на базе массивов «всё-флеш» с интерфейсом NVMe на всю сетевую инфраструктуру, обеспечивая общий доступ к ним со стороны нескольких гипервизорных хостов без задержек, характерных для традиционных протоколов iSCSI или Fibre Channel. По мере масштабирования виртуализированных сред — увеличения количества хостов и плотности виртуальных машин — такая связь через инфраструктуру становится ключевым фактором, обеспечивающим сохранение тех характеристик производительности, которые изначально делают технологию массивов «всё-флеш» с интерфейсом NVMe ценной.

Специалистам по планированию ёмкости следует проверить совместимость дорожной карты протоколов на этапе выбора решения, чтобы гарантировать, что выбранная платформа массива «всё-флеш» с интерфейсом NVMe сможет поддерживать меняющиеся требования к подключению по мере роста виртуализированной среды. Инвестиции в платформу, требующую дорогостоящих шлюзов протоколов для поддержки будущих потребностей в подключении, сводят на нет преимущества снижения совокупной стоимости владения (TCO), которые архитектуры «всё-флеш» призваны обеспечить.

Соображения высокой доступности и устойчивости данных

Виртуализированные среды объединяют множество приложений и служб на общем хранилище, что означает: сбой хранилища затрагивает значительно большую область, чем сбой одного физического сервера. Поэтому при планировании емкости виртуализированных сред высокая доступность и устойчивость данных должны рассматриваться как основные параметры проектирования, а не как второстепенные соображения. Конфигурации RAID, избыточность с двумя контроллерами, резервная емкость «горячего» резерва и накладные расходы на репликацию — всё это потребляет «сырую» емкость хранилища, которую необходимо явно учитывать в моделях емкости.

Массив NVMe на основе полностью флэш-памяти, предназначенный для корпоративных виртуализированных рабочих нагрузок, должен поддерживать конфигурации RAID, оптимизированные для флэш-носителей, например RAID-TEC или схемы с тройным контролем чётности, обеспечивающие защиту от одновременного выхода из строя нескольких дисков без избыточных затрат ёмкости. Резервные диски, зарезервированные для автоматического восстановления RAID, должны учитываться при расчёте общей (сырой) ёмкости и исключаться из итоговых значений полезной ёмкости. Цели репликации — будь то локальные вторичные массивы или удалённые площадки аварийного восстановления — представляют собой дополнительные требования к ёмкости, которые необходимо моделировать отдельно.

При планировании емкости с учетом отказоустойчивости консервативная целевая нагрузка — не более семидесяти–семидесяти пяти процентов эффективного использования доступной емкости — обеспечивает необходимый запас для перестройки RAID, всплесков создания снимков и аварийного выделения ресурсов без снижения производительности. Массив NVMe на базе полностью флэш-технологии, сохраняющий полную производительность в таких реальных условиях, обеспечивает значительно большую ценность по сравнению с системой, производительность которой снижается под нагрузкой именно в те моменты, когда отказоустойчивость имеет решающее значение.

Эксплуатационные практики, обеспечивающие долгосрочное здоровье емкости

Циклы мониторинга, оповещения и отчетности по емкости

Планирование емкости — это не однократное мероприятие, выполняемое на этапе закупки. Это непрерывная операционная дисциплина, требующая структурированного мониторинга, проактивного оповещения и регулярной отчётности для поддержания своей эффективности. Администраторы хранилищ должны настроить пороги использования на своём NVMe-массиве с полным использованием флеш-памяти так, чтобы при достижении определённых уровней эффективного использования (обычно при 60 %, 75 % и 85 %) генерировались последовательно усиливающиеся оповещения задолго до достижения критических пределов ёмкости. Такие сигналы раннего предупреждения обеспечивают необходимый запас времени для инициирования закупки расширений, переноса рабочих нагрузок на вторичные уровни хранения или освобождения неиспользуемого хранилища виртуальных машин до того, как среда окажется под угрозой.

Ежемесячные отчёты о ёмкости, отслеживающие тенденции потребления по категориям рабочих нагрузок, по хранилищам данных и по кластерам хостов, позволяют планировщикам обновлять модели прогнозирования роста на основе актуальных данных, а не полагаться на устаревшие базовые показатели. Визуализация тенденций в скользящем двенадцатимесячном окне позволяет своевременно выявить ускорение или замедление темпов роста, чтобы соответствующим образом скорректировать сроки закупок. Большинство корпоративных платформ NVMe-массивов с полностью флэш-хранилищем включают встроенные аналитические инструменты и панели мониторинга прогнозирования ёмкости, которые изначально поддерживают данную функцию отчётов.

Внедрение регулярного процесса официального анализа емкости — с чётким определением ответственности, путей эскалации и полномочий по утверждению расширений — превращает управление ёмкостью хранилища из реактивной деятельности по ликвидации аварийных ситуаций в стратегическую функцию управления инфраструктурой. Организации, интегрирующие эту дисциплину в ежеквартальные обзоры ИТ-операций, последовательно демонстрируют более высокую экономическую эффективность и меньшее количество незапланированных инцидентов, связанных с производительностью, по сравнению с теми, кто управляет ёмкостью реактивно.

Управление жизненным циклом виртуальных машин и освобождение хранилища

Одним из наиболее значимых факторов роста емкости в виртуализированных средах является не органический рост данных, а «разрастание ВМ» (VM sprawl) — накопление выделенных виртуальных машин, которые больше не используются активно, но продолжают потреблять ресурсы хранилища. Покинутые виртуальные машины для разработки, просроченные тестовые среды и сиротские снимки (orphaned snapshots) в совокупности могут составлять существенную долю общей занятой емкости в корпоративных виртуализированных инфраструктурах. Без дисциплинированного управления жизненным циклом виртуальных машин планировщики будут постоянно завышать требования к емкости, поскольку возможности освобождения ресурсов остаются незаметными.

Внедрение формального рабочего процесса вывода виртуальных машин (ВМ) из эксплуатации — включая автоматическое выявление неактивных ВМ на основе метрик простоя ЦП и ввода-вывода, процедуры уведомления ответственных владельцев, а также политики архивирования или удаления с чётко установленными временными рамками — напрямую высвобождает ёмкость массивов NVMe с полным использованием флеш-памяти, которую в противном случае пришлось бы компенсировать закупкой дополнительного оборудования. Многие организации в ходе первого официального аудита жизненного цикла ВМ обнаруживают, что от десяти до двадцати процентов общей выделенной ёмкости хранилища приходится на ВМ, фактически заброшенные в течение шести месяцев и более.

Высвобожденную ёмкость в результате управления жизненным циклом ВМ следует явно возвращать в модели планирования ёмкости, а не рассматривать как непредвиденный бонус; это гарантирует точность прогнозов и обеспечивает, что решения о закупках отражают реальные траектории спроса. Комбинирование проактивного высвобождения ёмкости с inline-сокращением данных на массиве NVMe с полным использованием флеш-памяти максимизирует эффективную ёмкость, доступную от каждого аппаратного инвестиционного решения, и существенно продлевает циклы обновления.

Часто задаваемые вопросы

Какой объем резервной емкости следует поддерживать на NVMe-массиве на основе полностью флэш-памяти для виртуализированных рабочих нагрузок?

Согласно отраслевой передовой практике, на NVMe-массиве на основе полностью флэш-памяти, предназначенном для поддержки виртуализированных сред, следует поддерживать как минимум двадцать пять–тридцать процентов свободной эффективной емкости. Этот резерв компенсирует накладные расходы при восстановлении RAID, резкий рост объема снимков, быстрое развертывание виртуальных машин и особенности производительности флэш-носителей при высоких нагрузках записи. Постоянная эксплуатация системы при загрузке свыше семидесяти пяти процентов повышает риск эффекта умножения операций записи (write amplification) и может привести к ухудшению показателей задержки в системах хранения данных на основе флэш-памяти.

Можно ли надежно прогнозировать коэффициенты дедупликации данных и сжатия при планировании емкости NVMe-массива на основе полностью флэш-памяти?

Коэффициенты сжатия данных зависят от характера рабочей нагрузки и должны рассматриваться как ориентировочные значения, а не гарантированные показатели при проектировании ёмкости массивов NVMe на базе технологий all-flash. Для типовых виртуальных рабочих столов и файловых серверов обычно достигаются более высокие коэффициенты сжатия, тогда как зашифрованные данные, сжатые медиафайлы и некоторые форматы баз данных дают минимальный эффект сжатия. При планировании ёмкости следует получать оценки коэффициентов сжатия, специфичные для конкретной рабочей нагрузки, с помощью инструментов оценки поставщика или пилотных развертываний, а затем применять консервативную поправку в размере двадцати–тридцати процентов к этим оценкам при построении моделей ёмкости.

Как часто следует пересматривать и обновлять планы хранения данных для виртуализированных сред?

Для сред с быстрым ростом объёмов данных планы по ёмкости должны официально пересматриваться и обновляться как минимум ежеквартально. Ежемесячные отчёты о динамике потребления, используемые для актуализации моделей роста, позволяют специалистам по планированию на раннем этапе выявлять изменения траектории и корректировать стратегии закупок или освобождения ресурсов до возникновения ограничений по ёмкости. Крупные бизнес-события — такие как миграция приложений, расширение организации или ввод в эксплуатацию новых рабочих нагрузок — должны инициировать внеочередные проверки ёмкости независимо от установленного графика регулярных проверок.

Какую роль играет технология NVMe over Fabrics в масштабировании ёмкости на нескольких хостах виртуализации?

NVMe over Fabrics расширяет низкую задержку работы массива NVMe на полностью флэш-накопителях через высокоскоростную сетевую инфраструктуру на несколько гипервизорных хостов одновременно, обеспечивая общий доступ к хранилищу без протокольных издержек традиционных технологий SAN. Это особенно важно в масштабных виртуализированных средах, где множество хостов должны одновременно обращаться к одним и тем же хранилищам данных. NVMe-oF позволяет централизовать ёмкость на единой платформе массива NVMe на полностью флэш-накопителях, при этом обеспечивая стабильную задержку менее одной миллисекунды для всех подключённых хостов, что упрощает управление ёмкостью и сокращает общее количество требуемых систем хранения.