Requisitos de hardware e rede

O vStack HCP é executado nos mesmos servidores simultaneamente como hipervisor, armazenamento definido por software (SDS) e rede definida por software (SDN). Não há storage array separado nem servidores de gerenciamento separados. Por isso um nó é dimensionado para três cargas de trabalho ao mesmo tempo: núcleos e memória vão para as máquinas virtuais, os discos para a camada de armazenamento e um par de portas agregadas para o tráfego SDS e SDN entre os nós.

Um cluster é construído a partir de nós idênticos. A camada de armazenamento é distribuída por todos os nós, e a redundância é definida uma única vez, durante a instalação, como um número de 1 a 3. Esse número e a quantidade de nós determinam quantas falhas simultâneas o cluster suporta e quanta capacidade vai para a redundância.

A camada de armazenamento é exclusivamente all-flash: os discos de sistema e os discos dos pools devem ser SSD ou NVMe. A plataforma não prevê configurações híbridas com HDDs.

Para o cluster, a rede funciona como um barramento interno. Um nó se conecta com dois agregados LACP por meio de dois switches. Um agregado transporta o tráfego SDN e os pontos de acesso públicos, o outro transporta o tráfego de armazenamento e a comunicação do cluster. Por isso os requisitos de comutação são tão rigorosos quanto os requisitos de servidor.

A VM de gerenciamento (vStack Center) fica no mesmo cluster. Ela não precisa de um servidor separado, mas seus recursos fazem parte do balanço geral do cluster, e nas redes do cluster um endereço com o último octeto 250 é reservado para ela.

Requisitos do nó

Componente	Requisito mínimo
Processador	Intel Xeon E5-2600 v4 ou mais recente. Processadores AMD não são suportados na linha 3.x
Virtualização	Intel VT-x com EPT. VT-d é necessário se dispositivos PCI forem repassados para as VMs
RAM	384 GB ou mais. Até 64 GB disso são ocupados pelo cache do ZFS (ARC)
Modo de inicialização	UEFI. A inicialização em modo BIOS (Legacy) não é suportada
Discos de sistema	2 SSDs de pelo menos 96 GB cada
Discos da camada de armazenamento	X discos SSD ou NVMe de pelo menos 512 GB cada, onde X é a quantidade de nós no cluster
Adaptadores de rede	Pelo menos um adaptador com duas portas de 10 GbE. Recomendam-se dois adaptadores, um em um slot PCI de cada soquete de processador
HBA	LSI 9400-16i ou outra controladora da lista abaixo
Comutação	De acordo com o esquema de comutação do cluster
Nós no cluster	4 ou mais. 4 nós é a configuração mínima recomendada

Adaptadores e controladoras suportados

Um nó inicializa com o kernel GENERIC_PROD. Um adaptador funciona somente se o seu driver estiver nesse kernel. Não são fornecidos módulos carregáveis para outras famílias. Ter um driver significa que o adaptador será visível para o sistema, não que ele tenha sido testado como parte de um cluster. Os modelos testados estão listados nas configurações recomendadas.

Classe	Driver	Família
HBA e RAID	mpr	LSI/Broadcom SAS3: 9300, 9400 (incluindo 9400-16i)
	mps	LSI/Broadcom SAS2: 9200
	mrsas, mfi	LSI/Broadcom MegaRAID
	smartpqi	Microchip (Adaptec) SmartPQI
	aac, ahd	Adaptec
	ciss	HP Smart Array
	hptiop	HighPoint RocketRAID
	isp	QLogic Fibre Channel
	ahci	Controladoras SATA onboard
NVMe	nvme, nda	Unidades NVMe conectadas diretamente
Rede	ix	Intel 10 GbE: 82599, X520, X540, X550
	ixl	Intel série 700: X710, XL710, XXV710
	ice	Intel E810
	iavf	Funções virtuais Intel
	igc, em	Intel 1 GbE, incluindo a família igb
	mlx5en	Mellanox/NVIDIA ConnectX-4 e mais recentes, interfaces mce*
	bce, bge	Broadcom NetXtreme e NetXtreme II (1 GbE)
	vmx	VMware VMXNET3

Não suportados, porque seus drivers não estão no kernel:

• HBAs LSI/Broadcom 9500 e 9600 (driver mpi3mr);
• adaptadores de rede Broadcom NetXtreme-C/E (driver bnxt);
• adaptadores de rede Chelsio (driver cxgbe).

Discos de armazenamento e pools

A camada de armazenamento é construída em três níveis.

Discos. Somente SSD e NVMe. Não há divisão em "cache" e "capacidade" como em sistemas híbridos, nem camadas (tiers) de armazenamento.

Cada nó precisa de tantos discos de armazenamento quanto houver nós no cluster. O instalador pede o primeiro disco do pool, por exemplo da1, e pega X discos consecutivos a partir dele: com da1 em um cluster de 5 nós, são da1–da5. Os discos de sistema não devem cair nesse intervalo.

Pool. Um grupo de discos sob ZFS. Um pool não é construído em um único nó, mas a partir de um disco em cada nó do cluster. Um nó contribui com seus próprios discos para o pool diretamente e vê os discos dos vizinhos por iSCSI. Portanto, um pool tem tantos discos quanto houver nós, e o cluster também tem tantos pools quanto houver nós. Um pool é construído como RAID-Z com nível igual à redundância do cluster (o parâmetro "N plus"): 1 — RAID-Z1, 2 — RAID-Z2, 3 — RAID-Z3. Todos os discos nele são equivalentes.

A redundância do pool corresponde à redundância do cluster. Um cluster de 7 nós com redundância 2 mantém um pool em funcionamento enquanto pelo menos 5 discos do pool estiverem ativos. Uma falha de disco afeta o pool inteiro, não uma máquina virtual individual.

A redundância também determina a parcela da capacidade que vai para a paridade: N discos de X. Em 4 nós com redundância 2, isso é metade da capacidade bruta.

Configurações de cluster recomendadas

A plataforma não tem requisitos rígidos quanto à linha de modelos. Abaixo estão configurações que já estão em produção. Use-as como referência.

Parâmetro do nó	Mínimo: 4 nós (3+1)	Recomendado: 9 nós (7+2)	Máximo: 24 nós (22+2)
Plataforma	Plataforma de servidor Intel 2U	Plataforma de servidor Intel 2U	Plataforma de servidor Intel 2U, High Performance Fans, NVMe Direct Connection
Processadores	2 × Intel Xeon E5-2620 v4 (8 núcleos) ou superior	2 × Intel Xeon Gold 6348 (28 núcleos)	2 × Intel Xeon Platinum 8558P (48 núcleos)
Memória	12 × 32 GB DDR4 RDIMM 2400 MHz	16 × 64 GB DDR4 RDIMM 3200 MHz	32 × 64 GB DDR5 RDIMM 5600 MHz
HBA	1 × LSI 9400-16i	1 × LSI 9400-16i	Conexão NVMe direta
Discos da camada de armazenamento	4 × 960 GB SSD SATA (DWPD=1, Intel DC S4510 ou um equivalente enterprise)	9 × 3840 GB SSD SAS (DWPD ≥ 1, Samsung PM1643a ou um equivalente enterprise)	24 × 3840 GB SSD NVMe (DWPD ≥ 1, Dapustor R5101 ou um equivalente enterprise)
Discos de sistema	2 × 240 GB SSD SATA (Samsung PM883 ou um equivalente enterprise)	2 × 240 GB SSD SATA (Samsung PM883 ou um equivalente enterprise)	2 × 960 GB SSD NVMe (Intel P5530 ou um equivalente enterprise)
Adaptadores de rede	2 × 10/25 Gbps Eth SFP28 de duas portas (Mellanox CX-5, Intel XXV710, E810)	2 × 10/25 Gbps Eth SFP28 de duas portas (Mellanox CX-5, Intel XXV710, E810)	2 × 25 Gbps Eth SFP28 de duas portas (Mellanox CX-5, Intel XXV710, E810)
Alimentação	2 × fonte de alimentação (Hot Plug)	2 × fonte de alimentação (Hot Plug)	2 × fonte de alimentação (Hot Plug)

Redundância

O instalador também permite redundância 2 em 4 nós, mas então metade da capacidade do pool vai para a paridade. Para uma instalação de produção com N+2, recomendamos 5 nós ou mais.

Requisitos de comutação

• Pelo menos dois switches com suporte a Tagged VLAN e LACP / vPC.
• Cada switch tem pelo menos tantas portas quanto a quantidade de nós multiplicada por 2.
• LACP nas portas dos nós em modo active. A agregação estática (mode on) não é adequada: o nó espera LACPDUs do switch.
• IGMP snooping habilitado, e a VLAN das redes isoladas tem um IGMP querier. As redes virtuais isoladas funcionam como VXLAN sobre os grupos multicast 239.248.x.x. Sem um querier, o switch para de encaminhar esse tráfego quando as entradas dos grupos expiram.
• MTU 9216 nas portas dos switches. MTU 9000 nos agregados dos nós: o instalador aceita um valor maior, mas grava no máximo 9000 na configuração do nó.

Qualquer switch moderno de classe enterprise serve. Modelos testados:

• Cisco Nexus 3524X;
• Extreme Networks X590-24x-1q-2c;
• Huawei CloudEngine S6730-H24X6C;
• Juniper EX4600-40F-AFI;
• Eltex MES5448.

Segmentos de rede

Um nó ativa dois agregados LACP, com duas portas em cada:

Agregado	O que transporta
lagg10	A rede que encapsula as redes virtuais isoladas (VXLAN) e a rede de pontos de acesso públicos
lagg20	A rede do cluster e a rede de armazenamento (iSCSI, nativa)

Se houver portas suficientes para apenas um agregado, você pode dispensar o segundo. Então todos os segmentos passam pelo lagg10. Como escolher o esquema está descrito no guia de instalação.

O tráfego é separado por VLAN. Os números abaixo foram tirados do checklist de instalação de exemplo e correspondem aos padrões do instalador.

Segmento	VLAN ID de exemplo	Roteamento	MTU
Rede do cluster	1001	—	igual ao agregado
Rede que encapsula as redes virtuais isoladas	1002	não roteada	igual ao agregado
Rede de pontos de acesso públicos	1003	não roteada	1500
Rede de armazenamento (nativa)	1004	roteada	igual ao agregado
Intervalo de VLAN IDs para redes virtuais roteadas	1010–1060	—	—

O espaço de endereços da rede de pontos de acesso públicos é definido separadamente. Nos exemplos desta seção, é 192.0.2.0/24. O gateway padrão do nó é tirado da mesma rede.

Os endereços nas redes do cluster são alocados da seguinte forma:

• um nó recebe um endereço com o último octeto 100 + ID do nó: nó 1 — .101, nó 2 — .102 e assim por diante;
• o endereço com o último octeto 250 na rede de pontos de acesso públicos e na rede do cluster é ocupado pela VM de gerenciamento (vStack Center). Sua interface web abre no endereço da rede de pontos de acesso públicos;
• o .249 também é reservado.

O ID do nó está no intervalo 1–63: o Cluster Manager não aceita um número maior.

Como verificar a configuração após a instalação pelo vStack Center está descrito na documentação do vStack Center.

Limitações e soluções alternativas

Limitação	Por quê	O que fazer
Processadores AMD	A linha 3.x suporta somente Intel. O suporte a AMD EPYC está sendo preparado na linha 4.0	Use servidores Intel Xeon
Inicialização em modo BIOS	O instalador particiona o disco de sistema para UEFI com uma partição ESP	Habilite o UEFI nas configurações do servidor antes da instalação
HBAs LSI 9500/9600, adaptadores Broadcom bnxt e Chelsio cxgbe	Os drivers mpi3mr, bnxt e cxgbe não estão no kernel do nó	Use controladoras e adaptadores da lista de suportados
Menos discos da camada de armazenamento do que nós	Cada pool pega um disco de cada nó, e há tantos pools quanto nós	Adicione discos aos nós até X antes de iniciar a instalação
HDDs na camada de armazenamento	A plataforma foi projetada para all-flash; todas as configurações testadas são construídas com SSD e NVMe	Coloque discos SSD ou NVMe nos pools
Sem camadas (tiers) de armazenamento	O esquema "cache em SSD mais capacidade em HDD" não é suportado. Um pool "lento" separado também não é solução: um pool herda as características de seus discos	Planeje toda a capacidade em SSD e NVMe
Redundância 2 em 4 nós consome metade da capacidade	2 discos de 4 em cada pool vão para a paridade	Para N+2, planeje 5 nós ou mais
Um switch em vez de dois	Um agregado LACP / vPC é construído sobre um par de switches. Com um único switch, perde-se a tolerância a falhas da comutação	Instale dois switches de classe enterprise
Menos portas de switch do que nós × 2	Cada nó se conecta com duas portas a cada switch	Aumente a quantidade de portas ou adicione um switch
LACP em modo on	Sem a troca de LACPDUs, o agregado do lado do nó não sobe	Configure as portas em mode active
IGMP snooping desligado, ou a VLAN das redes isoladas não tem querier	O tráfego das redes isoladas passa por grupos multicast que o switch acompanha via IGMP	Habilite o IGMP snooping e designe um querier na VLAN das redes isoladas
MTU do agregado acima de 9000	O instalador grava no máximo 9000 na configuração. Em adaptadores Mellanox, um MTU acima de 9000 também faz a interface voltar para 1500	Defina 9000 nos agregados e deixe 9216 para o switch

Consulte também

• Instalação do nó e montagem do cluster — o procedimento de instalação e os parâmetros que o instalador solicita.
• Configuração inicial do cluster — aceitação da composição do cluster e configurações básicas após a instalação, na documentação do vStack Center.