Ana içeriğe geç

Donanım ve ağ gereksinimleri

vStack HCP aynı sunucular üzerinde eş zamanlı olarak hipervizör, yazılım tanımlı depolama (SDS) ve yazılım tanımlı ağ (SDN) olarak çalışır. Ayrı bir depolama dizisi ve ayrı yönetim sunucuları yoktur. Bu nedenle bir düğüm aynı anda üç iş yüküne göre boyutlandırılır: çekirdekler ve bellek sanal makinelere, diskler depolama katmanına, bir çift birleştirilmiş port ise düğümler arası SDS ve SDN trafiğine ayrılır.

Bir küme özdeş düğümlerden oluşturulur. Depolama katmanı tüm düğümlere yayılır ve yedeklilik, kurulum sırasında bir kez, 1 ile 3 arasında bir sayı olarak belirlenir. Bu sayı ve düğüm sayısı, kümenin kaç eş zamanlı arızaya dayanacağını ve kapasitenin ne kadarının yedekliliğe gideceğini belirler.

Depolama katmanı yalnızca tamamen flash tabanlıdır: sistem diskleri ve havuz diskleri SSD veya NVMe olmalıdır. Platform, HDD içeren hibrit yapılandırmaları öngörmez.

Küme için ağ, dahili bir veri yolu gibi çalışır. Bir düğüm, iki anahtar üzerinden iki LACP birleşimiyle bağlanır. Birleşimlerden biri SDN trafiğini ve genel erişim noktalarını, diğeri depolama trafiğini ve küme iletişimini taşır. Bu nedenle anahtarlama gereksinimleri de sunucu gereksinimleri kadar katıdır.

Yönetim VM'si (vStack Center) aynı küme üzerinde bulunur. Ayrı bir sunucuya ihtiyaç duymaz, ancak kaynakları kümenin genel dengesinin bir parçasıdır ve küme ağlarında son okteti 250 olan adres ona ayrılmıştır.

Düğüm gereksinimleri​

BileşenAsgari gereksinim
İşlemciIntel Xeon E5-2600 v4 veya daha yenisi. 3.x serisinde AMD işlemciler desteklenmez
SanallaştırmaEPT destekli Intel VT-x. PCI aygıtları VM'lere aktarılıyorsa VT-d gereklidir
RAM384 GB veya daha fazla. Bunun 64 GB'a kadarını ZFS önbelleği (ARC) kullanır
Önyükleme moduUEFI. BIOS (Legacy) modunda önyükleme desteklenmez
Sistem diskleriHer biri en az 96 GB olan 2 SSD
Depolama katmanı diskleriHer biri en az 512 GB olan X adet SSD veya NVMe disk; X, kümedeki düğüm sayısıdır
Ağ bağdaştırıcılarıİki adet 10 GbE portlu en az bir bağdaştırıcı. Her işlemci soketinin bir PCI yuvasında birer tane olmak üzere iki bağdaştırıcı önerilir
HBALSI 9400-16i veya aşağıdaki listeden başka bir denetleyici
AnahtarlamaKüme anahtarlama şemasına göre
Kümedeki düğümler4 veya daha fazla. 4 düğüm, önerilen asgari yapılandırmadır

Desteklenen bağdaştırıcılar ve denetleyiciler​

Bir düğüm GENERIC_PROD çekirdeğiyle önyüklenir. Bir bağdaştırıcı yalnızca sürücüsü bu çekirdekte bulunuyorsa çalışır. Diğer aileler için yüklenebilir modül sağlanmaz. Sürücünün bulunması, bağdaştırıcının sistem tarafından görüleceği anlamına gelir; bir kümenin parçası olarak test edildiği anlamına gelmez. Test edilmiş modeller önerilen yapılandırmalarda listelenmiştir.

SınıfSürücüAile
HBA ve RAIDmprLSI/Broadcom SAS3: 9300, 9400 (9400-16i dahil)
mpsLSI/Broadcom SAS2: 9200
mrsas, mfiLSI/Broadcom MegaRAID
smartpqiMicrochip (Adaptec) SmartPQI
aac, ahdAdaptec
cissHP Smart Array
hptiopHighPoint RocketRAID
ispQLogic Fibre Channel
ahciAnakart üzerindeki SATA denetleyicileri
NVMenvme, ndaDoğrudan bağlı NVMe sürücüler
AğixIntel 10 GbE: 82599, X520, X540, X550
ixlIntel 700 serisi: X710, XL710, XXV710
iceIntel E810
iavfIntel sanal işlevleri
igc, emigb ailesi dahil Intel 1 GbE
mlx5enMellanox/NVIDIA ConnectX-4 ve daha yenisi, mce* arayüzleri
bce, bgeBroadcom NetXtreme ve NetXtreme II (1 GbE)
vmxVMware VMXNET3

Sürücüleri çekirdekte bulunmadığı için desteklenmeyenler:

  • LSI/Broadcom 9500 ve 9600 HBA'lar (mpi3mr sürücüsü);
  • Broadcom NetXtreme-C/E ağ bağdaştırıcıları (bnxt sürücüsü);
  • Chelsio ağ bağdaştırıcıları (cxgbe sürücüsü).

Depolama diskleri ve havuzlar​

Depolama katmanı üç düzeyde oluşturulur.

Diskler. Yalnızca SSD ve NVMe. Hibrit sistemlerdeki gibi "önbellek" ve "kapasite" ayrımı yoktur, depolama katmanları da yoktur.

Her düğümde, kümedeki düğüm sayısı kadar depolama diski gerekir. Yükleyici ilk havuz diskini sorar, örneğin da1, ve ondan başlayarak ardışık X diski alır: 5 düğümlü bir kümede da1 ile bunlar da1–da5 olur. Sistem diskleri bu aralığa girmemelidir.

Havuz. ZFS altındaki bir disk grubu. Bir havuz tek bir düğüm üzerinde değil, kümenin her düğümünden birer disk alınarak oluşturulur. Düğüm kendi disklerini havuza doğrudan katar, komşularının disklerini ise iSCSI üzerinden görür. Bu nedenle bir havuzda düğüm sayısı kadar disk bulunur ve kümede de düğüm sayısı kadar havuz vardır. Havuz, küme yedekliliğine eşit düzeyde RAID-Z olarak oluşturulur ("N artı" parametresi): 1 — RAID-Z1, 2 — RAID-Z2, 3 — RAID-Z3. İçindeki tüm diskler eşittir.

Havuz yedekliliği küme yedekliliğiyle aynıdır. Yedekliliği 2 olan 7 düğümlü bir küme, havuzdaki en az 5 disk sağlam olduğu sürece havuzu çalışır durumda tutar. Bir disk arızası tek bir sanal makineyi değil, havuzun tamamını etkiler.

Yedeklilik ayrıca kapasitenin eşliğe (parity) giden payını da belirler: X diskten N'si. Yedekliliği 2 olan 4 düğümde bu, ham kapasitenin yarısıdır.

Önerilen küme yapılandırmaları​

Platformun model yelpazesi için katı gereksinimleri yoktur. Aşağıda halihazırda üretimde çalışan yapılandırmalar verilmiştir. Bunları referans olarak kullanın.

Düğüm parametresiAsgari: 4 düğüm (3+1)Önerilen: 9 düğüm (7+2)Azami: 24 düğüm (22+2)
Platform2U Intel sunucu platformu2U Intel sunucu platformu2U Intel sunucu platformu, High Performance Fans, NVMe Direct Connection
İşlemciler2 × Intel Xeon E5-2620 v4 (8 çekirdek) veya üstü2 × Intel Xeon Gold 6348 (28 çekirdek)2 × Intel Xeon Platinum 8558P (48 çekirdek)
Bellek12 × 32 GB DDR4 RDIMM 2400 MHz16 × 64 GB DDR4 RDIMM 3200 MHz32 × 64 GB DDR5 RDIMM 5600 MHz
HBA1 × LSI 9400-16i1 × LSI 9400-16iDoğrudan NVMe bağlantısı
Depolama katmanı diskleri4 × 960 GB SSD SATA (DWPD=1, Intel DC S4510 veya kurumsal bir muadili)9 × 3840 GB SSD SAS (DWPD ≥ 1, Samsung PM1643a veya kurumsal bir muadili)24 × 3840 GB SSD NVMe (DWPD ≥ 1, Dapustor R5101 veya kurumsal bir muadili)
Sistem diskleri2 × 240 GB SSD SATA (Samsung PM883 veya kurumsal bir muadili)2 × 240 GB SSD SATA (Samsung PM883 veya kurumsal bir muadili)2 × 960 GB SSD NVMe (Intel P5530 veya kurumsal bir muadili)
Ağ bağdaştırıcıları2 × çift portlu 10/25 Gbps Eth SFP28 (Mellanox CX-5, Intel XXV710, E810)2 × çift portlu 10/25 Gbps Eth SFP28 (Mellanox CX-5, Intel XXV710, E810)2 × çift portlu 25 Gbps Eth SFP28 (Mellanox CX-5, Intel XXV710, E810)
Güç2 × güç kaynağı (Hot Plug)2 × güç kaynağı (Hot Plug)2 × güç kaynağı (Hot Plug)
Yedeklilik

Yükleyici 4 düğümde de yedeklilik 2'ye izin verir, ancak bu durumda havuz kapasitesinin yarısı eşliğe gider. N+2 ile bir üretim kurulumu için 5 veya daha fazla düğüm öneririz.

Anahtarlama gereksinimleri​

  • Tagged VLAN ve LACP / vPC destekli en az iki anahtar.
  • Her anahtarda en az düğüm sayısının 2 katı kadar port.
  • Düğüm portlarında active modunda LACP. Statik birleştirme (mode on) uygun değildir: düğüm, anahtardan LACPDU bekler.
  • IGMP snooping etkindir ve yalıtılmış ağların VLAN'ında bir IGMP querier bulunur. Yalıtılmış sanal ağlar, 239.248.x.x çok noktaya yayın (multicast) grupları üzerinden VXLAN olarak çalışır. Querier olmadan anahtar, grup kayıtlarının süresi dolduğunda bu trafiği iletmeyi durdurur.
  • Anahtar portlarında MTU 9216. Düğüm birleşimlerinde MTU 9000: yükleyici daha büyük bir değeri kabul eder, ancak düğüm yapılandırmasına 9000'den fazlasını yazmaz.

Kurumsal sınıf herhangi bir modern anahtar uygundur. Test edilmiş modeller:

  • Cisco Nexus 3524X;
  • Extreme Networks X590-24x-1q-2c;
  • Huawei CloudEngine S6730-H24X6C;
  • Juniper EX4600-40F-AFI;
  • Eltex MES5448.

Ağ segmentleri​

Bir düğüm, her birinde iki port bulunan iki LACP birleşimi ayağa kaldırır:

BirleşimNe taşır
lagg10Yalıtılmış sanal ağları kapsülleyen ağ (VXLAN) ve genel erişim noktası ağı
lagg20Küme ağı ve depolama ağı (iSCSI, native)

Portlar yalnızca bir birleşime yetiyorsa ikincisini atlayabilirsiniz. Bu durumda tüm segmentler lagg10 üzerinden geçer. Şemanın nasıl seçileceği kurulum kılavuzunda açıklanmıştır.

Trafik VLAN ile ayrılır. Aşağıdaki numaralar örnek kurulum kontrol listesinden alınmıştır ve yükleyicinin varsayılan değerleriyle eşleşir.

SegmentÖrnek VLAN IDYönlendirmeMTU
Küme ağı1001—birleşimle aynı
Yalıtılmış sanal ağları kapsülleyen ağ1002yönlendirilmeyenbirleşimle aynı
Genel erişim noktası ağı1003yönlendirilmeyen1500
Depolama ağı (native)1004yönlendirilenbirleşimle aynı
Yönlendirilmiş sanal ağlar için VLAN ID aralığı1010–1060——

Genel erişim noktası ağının adres alanı ayrıca belirlenir. Bu bölümdeki örneklerde bu, 192.0.2.0/24'tür. Düğümün varsayılan ağ geçidi de aynı ağdan alınır.

Küme ağlarındaki adresler şu şekilde dağıtılır:

  • bir düğüm, son okteti 100 + düğüm ID'si olan bir adres alır: düğüm 1 — .101, düğüm 2 — .102 vb.;
  • genel erişim noktası ağında ve küme ağında son okteti 250 olan adresi yönetim VM'si (vStack Center) alır. Web arayüzü, genel erişim noktası ağındaki adreste açılır;
  • .249 de ayrılmıştır.

Düğüm ID'si 1–63 aralığındadır: Cluster Manager daha büyük bir sayıyı kabul etmez.

Kurulumdan sonra yapılandırmanın vStack Center üzerinden nasıl doğrulanacağı vStack Center dokümantasyonunda açıklanmıştır.

Sınırlamalar ve geçici çözümler​

SınırlamaNedenNe yapmalı
AMD işlemciler3.x serisi yalnızca Intel'i destekler. AMD EPYC desteği 4.0 serisinde hazırlanmaktadırIntel Xeon sunucular kullanın
BIOS modunda önyüklemeYükleyici, sistem diskini ESP bölümüyle UEFI için bölümlendirirKurulumdan önce sunucu ayarlarında UEFI'yi etkinleştirin
LSI 9500/9600 HBA'lar, Broadcom bnxt ve Chelsio cxgbe bağdaştırıcılarımpi3mr, bnxt ve cxgbe sürücüleri düğüm çekirdeğinde bulunmazDesteklenen listedeki denetleyicileri ve bağdaştırıcıları kullanın
Depolama katmanı disklerinin düğümlerden az olmasıHer havuz her düğümden bir disk alır ve düğüm sayısı kadar havuz vardırKuruluma başlamadan önce düğümlere X'e kadar disk ekleyin
Depolama katmanında HDD'lerPlatform tamamen flash için tasarlanmıştır; test edilmiş tüm yapılandırmalar SSD ve NVMe üzerine kuruludurHavuzlara SSD veya NVMe diskler takın
Depolama katmanlarının olmaması"SSD'de önbellek artı HDD'de kapasite" şeması desteklenmez. Ayrı bir "yavaş" havuz da çözüm değildir: havuz, disklerinin özelliklerini devralırTüm kapasiteyi SSD ve NVMe üzerinde planlayın
4 düğümde yedeklilik 2, kapasitenin yarısını tüketirHer havuzdaki 4 diskten 2'si eşliğe giderN+2 için 5 veya daha fazla düğüm planlayın
İki yerine tek anahtarLACP / vPC birleşimi bir anahtar çifti üzerinde kurulur. Tek anahtarla anahtarlama hata toleransı kaybolurKurumsal sınıf iki anahtar kurun
Anahtar portlarının düğüm × 2'den az olmasıHer düğüm her anahtara iki portla bağlanırPort sayısını artırın veya bir anahtar ekleyin
on modunda LACPLACPDU alışverişi olmadan düğüm tarafındaki birleşim ayağa kalkmazPortları mode active olarak ayarlayın
IGMP snooping kapalı veya yalıtılmış ağların VLAN'ında querier yokYalıtılmış ağ trafiği, anahtarın IGMP ile izlediği çok noktaya yayın gruplarından geçerIGMP snooping'i etkinleştirin ve yalıtılmış ağların VLAN'ında bir querier atayın
Birleşim MTU'sunun 9000'in üzerinde olmasıYükleyici yapılandırmaya 9000'den fazlasını yazmaz. Mellanox bağdaştırıcılarında 9000'in üzerindeki bir MTU ayrıca arayüzün 1500'e düşmesine neden olurBirleşimlerde 9000 ayarlayın, 9216'yı anahtara bırakın

Ayrıca bakın​