Требования к оборудованию и сети
vStack HCP работает на одних и тех же серверах сразу как гипервизор, программно-определяемое хранилище (SDS) и программно-определяемая сеть (SDN). Отдельного массива хранения и отдельных серверов управления нет. Поэтому узел рассчитывают под три нагрузки одновременно: ядра и память уходят виртуальным машинам, диски слою хранения, пара агрегированных портов межузловому трафику SDS и SDN.
Кластер собирают из одинаковых узлов. Слой хранения разложен по всем узлам, а избыточность задаётся один раз, при установке, числом от 1 до 3. От этого числа и от числа узлов зависит, сколько одновременных отказов кластер переживёт и сколько ёмкости уйдёт на избыточность.
Слой хранения только all-flash: системные диски и диски пулов должны быть SSD или NVMe. Гибридных конфигураций с HDD платформа не предполагает.
Сеть для кластера работает как внутренняя шина. Узел подключается двумя агрегатами LACP через два коммутатора. Один агрегат несёт SDN-трафик и публичные точки доступа, второй трафик хранения и кластерный обмен. Требования к коммутации поэтому такие же жёсткие, как к серверам.
Управляющая ВМ (vStack Center) живёт на том же кластере. Отдельный сервер под неё не нужен, но её ресурсы входят в общий баланс кластера, а в сетях кластера под неё зарезервирован адрес с последним октетом 250.
Требования к узлу
| Компонент | Минимальное требование |
|---|---|
| Процессор | Intel Xeon E5-2600 v4 и новее. Процессоры AMD в линии 3.x не поддерживаются |
| Виртуализация | Intel VT-x с EPT. VT-d нужен, если в ВМ пробрасываются PCI-устройства |
| Оперативная память | 384 ГБ и больше. До 64 ГБ из них забирает кэш ZFS (ARC) |
| Режим загрузки | UEFI. Загрузка в режиме BIOS (Legacy) не поддерживается |
| Системные диски | 2 SSD не менее 96 ГБ каждый |
| Диски слоя хранения | X дисков SSD или NVMe не менее 512 ГБ каждый, где X — количество узлов в кластере |
| Сетевые адаптеры | Не менее одного адаптера с двумя портами 10 GbE. Рекомендуются два адаптера, по одному в PCI-слоте каждого процессорного сокета |
| HBA | LSI 9400-16i или другой контроллер из списка ниже |
| Коммутация | По схеме коммутации кластера |
| Узлов в кластере | 4 и больше. 4 узла — минимальная рекомендованная конфигурация |
Поддерживаемые адаптеры и контроллеры
Узел загружается с ядром GENERIC_PROD. Адаптер работает, только если его
драйвер есть в этом ядре. Подключаемых модулей для других семейств в поставке
нет. Наличие драйвера означает, что адаптер будет виден системе, но не то, что
он проверен в составе кластера. Проверенные модели перечислены в
рекомендованных конфигурациях.
| Класс | Драйвер | Семейство |
|---|---|---|
| HBA и RAID | mpr | LSI/Broadcom SAS3: 9300, 9400 (в том числе 9400-16i) |
mps | LSI/Broadcom SAS2: 9200 | |
mrsas, mfi | LSI/Broadcom MegaRAID | |
smartpqi | Microchip (Adaptec) SmartPQI | |
aac, ahd | Adaptec | |
ciss | HP Smart Array | |
hptiop | HighPoint RocketRAID | |
isp | QLogic Fibre Channel | |
ahci | Встроенные SATA-контроллеры | |
| NVMe | nvme, nda | NVMe-накопители с прямым подключением |
| Сеть | ix | Intel 10 GbE: 82599, X520, X540, X550 |
ixl | Intel 700-й серии: X710, XL710, XXV710 | |
ice | Intel E810 | |
iavf | Виртуальные функции Intel | |
igc, em | Intel 1 GbE, включая семейство igb | |
mlx5en | Mellanox/NVIDIA ConnectX-4 и новее, интерфейсы mce* | |
bce, bge | Broadcom NetXtreme и NetXtreme II (1 GbE) | |
vmx | VMware VMXNET3 |
Не поддерживаются, потому что драйверов нет в ядре:
- HBA LSI/Broadcom 9500 и 9600 (драйвер
mpi3mr); - сетевые адаптеры Broadcom NetXtreme-C/E (драйвер
bnxt); - сетевые адаптеры Chelsio (драйвер
cxgbe).
Диски хранения и пулы
Слой хранения собран в три уровня.
Диски. Только SSD и NVMe. Деления на «кэш» и «ёмкость», как в гибридных системах, нет, ярусов хранения тоже.
На каждом узле нужно столько дисков хранения, сколько узлов в кластере. Установщик
спрашивает первый диск пула, например da1, и берёт X дисков подряд начиная с
него: при da1 на кластере из 5 узлов это da1–da5. Системные диски в этот
ряд попадать не должны.
Пул. Группа дисков под ZFS. Пул собран не на одном узле, а из одного диска с каждого узла кластера. Свои диски узел отдаёт в пул напрямую, диски соседей видит по iSCSI. Поэтому дисков в пуле столько же, сколько узлов, и пулов в кластере тоже столько же. Пул собирается как RAID-Z с уровнем, равным избыточности кластера (параметр «N plus»): 1 — RAID-Z1, 2 — RAID-Z2, 3 — RAID-Z3. Все диски в нём равноправны.
Избыточность пула совпадает с избыточностью кластера. Кластер из 7 узлов с избыточностью 2 держит пул в работе, пока в пуле живы хотя бы 5 дисков. Отказ диска касается целого пула, а не отдельной виртуальной машины.
От избыточности зависит и доля ёмкости, которая уходит на чётность: N дисков из X. На 4 узлах с избыточностью 2 это половина сырой ёмкости.
Рекомендованные конфигурации кластера
Жёстких требований к модельному ряду у платформы нет. Ниже конфигурации, которые уже работают в эксплуатации. Берите их как ориентир.
| Параметр узла | Минимальная: 4 узла (3+1) | Рекомендуемая: 9 узлов (7+2) | Максимальная: 24 узла (22+2) |
|---|---|---|---|
| Платформа | 2U Intel server platform | 2U Intel server platform | 2U Intel server platform, High Performance Fans, NVMe Direct Connection |
| Процессоры | 2 × Intel Xeon E5-2620 v4 (8 ядер) и выше | 2 × Intel Xeon Gold 6348 (28 ядер) | 2 × Intel Xeon Platinum 8558P (48 ядер) |
| Память | 12 × 32 ГБ DDR4 RDIMM 2400 МГц | 16 × 64 ГБ DDR4 RDIMM 3200 МГц | 32 × 64 ГБ DDR5 RDIMM 5600 МГц |
| HBA | 1 × LSI 9400-16i | 1 × LSI 9400-16i | Прямое подключение NVMe |
| Диски слоя хранения | 4 × 960 ГБ SSD SATA (DWPD=1, Intel DC S4510 или enterprise-аналог) | 9 × 3840 ГБ SSD SAS (DWPD ≥ 1, Samsung PM1643a или enterprise-аналог) | 24 × 3840 ГБ SSD NVMe (DWPD ≥ 1, Dapustor R5101 или enterprise-аналог) |
| Системные диски | 2 × 240 ГБ SSD SATA (Samsung PM883 или enterprise-аналог) | 2 × 240 ГБ SSD SATA (Samsung PM883 или enterprise-аналог) | 2 × 960 ГБ SSD NVMe (Intel P5530 или enterprise-аналог) |
| Сетевые адаптеры | 2 × двухпортовый 10/25 Гбит/с Eth SFP28 (Mellanox CX-5, Intel XXV710, E810) | 2 × двухпортовый 10/25 Гбит/с Eth SFP28 (Mellanox CX-5, Intel XXV710, E810) | 2 × двухпортовый 25 Гбит/с Eth SFP28 (Mellanox CX-5, Intel XXV710, E810) |
| Питание | 2 × блок питания (Hot Plug) | 2 × блок питания (Hot Plug) | 2 × блок питания (Hot Plug) |
Установщик разрешает избыточность 2 и на 4 узлах, но тогда на чётность уходит половина ёмкости пулов. Для промышленной инсталляции с N+2 мы рекомендуем 5 узлов и больше.
Требования к коммутации
- Не менее двух коммутаторов с поддержкой Tagged VLAN и LACP / vPC.
- На каждом коммутаторе портов не меньше, чем узлов, умноженных на 2.
- LACP на портах узлов в режиме
active. Статическая агрегация (mode on) не подходит: узел ждёт LACPDU от коммутатора. - IGMP snooping включён, и в VLAN изолированных сетей есть IGMP querier.
Изолированные виртуальные сети идут как VXLAN поверх multicast-групп
239.248.x.x. Без querier коммутатор перестаёт пересылать этот трафик, когда истекают записи групп. - MTU 9216 на портах коммутатора. На агрегатах узла MTU 9000: установщик принимает и большее значение, но в конфигурацию узла записывает не больше 9000.
Подойдёт любой современный коммутатор Enterprise-класса. Проверенные модели:
- Cisco Nexus 3524X;
- Extreme Networks X590-24x-1q-2c;
- Huawei CloudEngine S6730-H24X6C;
- Juniper EX4600-40F-AFI;
- Eltex MES5448.
Сетевые сегменты
Узел поднимает два агрегата LACP, по два порта в каждом:
| Агрегат | Что несёт |
|---|---|
lagg10 | Сеть, инкапсулирующая изолированные виртуальные сети (VXLAN), и сеть публичных точек доступа |
lagg20 | Кластерная сеть и сеть хранения (iSCSI, native) |
Если портов хватает только на один агрегат, второй можно не создавать. Тогда все
сегменты идут через lagg10. Как выбрать схему, описано в
инструкции по установке.
Трафик разведён по VLAN. Номера ниже взяты из примера контрольного листа установки и совпадают со значениями по умолчанию в установщике.
| Сегмент | Пример VLAN ID | Маршрутизация | MTU |
|---|---|---|---|
| Кластерная сеть | 1001 | — | как у агрегата |
| Сеть, инкапсулирующая изолированные виртуальные сети | 1002 | non-routed | как у агрегата |
| Сеть публичных точек доступа | 1003 | non-routed | 1500 |
| Сеть хранения (native) | 1004 | routed | как у агрегата |
| Диапазон VLAN ID для маршрутизируемых виртуальных сетей | 1010–1060 | — | — |
Адресное пространство сети публичных точек доступа задаётся отдельно. В
примерах этого раздела это 192.0.2.0/24. Шлюз по умолчанию узла берётся из этой
же сети.
Адреса в сетях кластера распределены так:
- узел получает адрес с последним октетом 100 + ID узла: узел 1 —
.101, узел 2 —.102и так далее; - адрес с последним октетом 250 в сети публичных точек доступа и в кластерной сети занимает управляющая ВМ (vStack Center). По адресу в сети публичных точек доступа открывается её веб-интерфейс;
.249тоже зарезервирован.
ID узла лежит в диапазоне 1–63: больший номер не примет Cluster Manager.
Как сверить конфигурацию после установки через vStack Center — в документации vStack Center.
Ограничения и обходные пути
| Ограничение | Почему | Что делать |
|---|---|---|
| Процессоры AMD | Линия 3.x поддерживает только Intel. Поддержку AMD EPYC готовят в линии 4.0 | Используйте серверы на Intel Xeon |
| Загрузка в режиме BIOS | Установщик размечает системный диск под UEFI с разделом ESP | Включите UEFI в настройках сервера до установки |
HBA LSI 9500/9600, адаптеры Broadcom bnxt и Chelsio cxgbe | Драйверов mpi3mr, bnxt и cxgbe нет в ядре узла | Берите контроллеры и адаптеры из списка поддерживаемых |
| Дисков слоя хранения меньше, чем узлов | Каждый пул берёт по одному диску с каждого узла, а пулов столько же, сколько узлов | Дополните узлы дисками до X, прежде чем начинать установку |
| HDD в слое хранения | Платформа рассчитана на all-flash, все проверенные конфигурации собраны на SSD и NVMe | Ставьте в пулы SSD или NVMe |
| Ярусов хранения нет | Схема «кэш на SSD плюс ёмкость на HDD» не поддерживается. Отдельный «медленный» пул тоже не выход: пул наследует характеристики своих дисков | Планируйте всю ёмкость на SSD и NVMe |
| Избыточность 2 на 4 узлах съедает половину ёмкости | На чётность уходят 2 диска из 4 в каждом пуле | Для N+2 планируйте 5 узлов и больше |
| Один коммутатор вместо двух | Агрегат LACP / vPC собирается через пару коммутаторов. На одном коммутаторе отказоустойчивость коммутации теряется | Ставьте два коммутатора Enterprise-класса |
| Портов на коммутаторе меньше, чем узлов × 2 | Каждый узел подключается двумя портами к каждому коммутатору | Расширьте число портов или добавьте коммутатор |
LACP в режиме on | Без обмена LACPDU агрегат на стороне узла не собирается | Переведите порты в mode active |
| IGMP snooping выключен или в VLAN изолированных сетей нет querier | Трафик изолированных сетей идёт через multicast-группы, которые коммутатор ведёт по IGMP | Включите IGMP snooping и назначьте querier в VLAN изолированных сетей |
| MTU агрегата выше 9000 | Установщик записывает в конфигурацию не больше 9000. На адаптерах Mellanox MTU выше 9000 к тому же откатывает интерфейс на 1500 | Задавайте на агрегатах 9000, 9216 оставьте коммутатору |
См. также
- Установка узла и сборка кластера — порядок установки и параметры, которые спрашивает установщик.
- Первичная настройка кластера — приёмка состава кластера и базовые настройки после установки, в документации vStack Center.