Donanım ve ağ gereksinimleri
vStack HCP aynı sunucular üzerinde eş zamanlı olarak hipervizör, yazılım tanımlı depolama (SDS) ve yazılım tanımlı ağ (SDN) olarak çalışır. Ayrı bir depolama dizisi ve ayrı yönetim sunucuları yoktur. Bu nedenle bir düğüm aynı anda üç iş yüküne göre boyutlandırılır: çekirdekler ve bellek sanal makinelere, diskler depolama katmanına, bir çift birleştirilmiş port ise düğümler arası SDS ve SDN trafiğine ayrılır.
Bir küme özdeş düğümlerden oluşturulur. Depolama katmanı tüm düğümlere yayılır ve yedeklilik, kurulum sırasında bir kez, 1 ile 3 arasında bir sayı olarak belirlenir. Bu sayı ve düğüm sayısı, kümenin kaç eş zamanlı arızaya dayanacağını ve kapasitenin ne kadarının yedekliliğe gideceğini belirler.
Depolama katmanı yalnızca tamamen flash tabanlıdır: sistem diskleri ve havuz diskleri SSD veya NVMe olmalıdır. Platform, HDD içeren hibrit yapılandırmaları öngörmez.
Küme için ağ, dahili bir veri yolu gibi çalışır. Bir düğüm, iki anahtar üzerinden iki LACP birleşimiyle bağlanır. Birleşimlerden biri SDN trafiğini ve genel erişim noktalarını, diğeri depolama trafiğini ve küme iletişimini taşır. Bu nedenle anahtarlama gereksinimleri de sunucu gereksinimleri kadar katıdır.
Yönetim VM'si (vStack Center) aynı küme üzerinde bulunur. Ayrı bir sunucuya ihtiyaç duymaz, ancak kaynakları kümenin genel dengesinin bir parçasıdır ve küme ağlarında son okteti 250 olan adres ona ayrılmıştır.
Düğüm gereksinimleri
| Bileşen | Asgari gereksinim |
|---|---|
| İşlemci | Intel Xeon E5-2600 v4 veya daha yenisi. 3.x serisinde AMD işlemciler desteklenmez |
| Sanallaştırma | EPT destekli Intel VT-x. PCI aygıtları VM'lere aktarılıyorsa VT-d gereklidir |
| RAM | 384 GB veya daha fazla. Bunun 64 GB'a kadarını ZFS önbelleği (ARC) kullanır |
| Önyükleme modu | UEFI. BIOS (Legacy) modunda önyükleme desteklenmez |
| Sistem diskleri | Her biri en az 96 GB olan 2 SSD |
| Depolama katmanı diskleri | Her biri en az 512 GB olan X adet SSD veya NVMe disk; X, kümedeki düğüm sayısıdır |
| Ağ bağdaştırıcıları | İki adet 10 GbE portlu en az bir bağdaştırıcı. Her işlemci soketinin bir PCI yuvasında birer tane olmak üzere iki bağdaştırıcı önerilir |
| HBA | LSI 9400-16i veya aşağıdaki listeden başka bir denetleyici |
| Anahtarlama | Küme anahtarlama şemasına göre |
| Kümedeki düğümler | 4 veya daha fazla. 4 düğüm, önerilen asgari yapılandırmadır |
Desteklenen bağdaştırıcılar ve denetleyiciler
Bir düğüm GENERIC_PROD çekirdeğiyle önyüklenir. Bir bağdaştırıcı yalnızca sürücüsü
bu çekirdekte bulunuyorsa çalışır. Diğer aileler için yüklenebilir modül sağlanmaz.
Sürücünün bulunması, bağdaştırıcının sistem tarafından görüleceği anlamına gelir; bir
kümenin parçası olarak test edildiği anlamına gelmez. Test edilmiş modeller
önerilen yapılandırmalarda listelenmiştir.
| Sınıf | Sürücü | Aile |
|---|---|---|
| HBA ve RAID | mpr | LSI/Broadcom SAS3: 9300, 9400 (9400-16i dahil) |
mps | LSI/Broadcom SAS2: 9200 | |
mrsas, mfi | LSI/Broadcom MegaRAID | |
smartpqi | Microchip (Adaptec) SmartPQI | |
aac, ahd | Adaptec | |
ciss | HP Smart Array | |
hptiop | HighPoint RocketRAID | |
isp | QLogic Fibre Channel | |
ahci | Anakart üzerindeki SATA denetleyicileri | |
| NVMe | nvme, nda | Doğrudan bağlı NVMe sürücüler |
| Ağ | ix | Intel 10 GbE: 82599, X520, X540, X550 |
ixl | Intel 700 serisi: X710, XL710, XXV710 | |
ice | Intel E810 | |
iavf | Intel sanal işlevleri | |
igc, em | igb ailesi dahil Intel 1 GbE | |
mlx5en | Mellanox/NVIDIA ConnectX-4 ve daha yenisi, mce* arayüzleri | |
bce, bge | Broadcom NetXtreme ve NetXtreme II (1 GbE) | |
vmx | VMware VMXNET3 |
Sürücüleri çekirdekte bulunmadığı için desteklenmeyenler:
- LSI/Broadcom 9500 ve 9600 HBA'lar (
mpi3mrsürücüsü); - Broadcom NetXtreme-C/E ağ bağdaştırıcıları (
bnxtsürücüsü); - Chelsio ağ bağdaştırıcıları (
cxgbesürücüsü).
Depolama diskleri ve havuzlar
Depolama katmanı üç düzeyde oluşturulur.
Diskler. Yalnızca SSD ve NVMe. Hibrit sistemlerdeki gibi "önbellek" ve "kapasite" ayrımı yoktur, depolama katmanları da yoktur.
Her düğümde, kümedeki düğüm sayısı kadar depolama diski gerekir. Yükleyici ilk havuz
diskini sorar, örneğin da1, ve ondan başlayarak ardışık X diski alır: 5 düğümlü bir
kümede da1 ile bunlar da1–da5 olur. Sistem diskleri bu aralığa girmemelidir.
Havuz. ZFS altındaki bir disk grubu. Bir havuz tek bir düğüm üzerinde değil, kümenin her düğümünden birer disk alınarak oluşturulur. Düğüm kendi disklerini havuza doğrudan katar, komşularının disklerini ise iSCSI üzerinden görür. Bu nedenle bir havuzda düğüm sayısı kadar disk bulunur ve kümede de düğüm sayısı kadar havuz vardır. Havuz, küme yedekliliğine eşit düzeyde RAID-Z olarak oluşturulur ("N artı" parametresi): 1 — RAID-Z1, 2 — RAID-Z2, 3 — RAID-Z3. İçindeki tüm diskler eşittir.
Havuz yedekliliği küme yedekliliğiyle aynıdır. Yedekliliği 2 olan 7 düğümlü bir küme, havuzdaki en az 5 disk sağlam olduğu sürece havuzu çalışır durumda tutar. Bir disk arızası tek bir sanal makineyi değil, havuzun tamamını etkiler.
Yedeklilik ayrıca kapasitenin eşliğe (parity) giden payını da belirler: X diskten N'si. Yedekliliği 2 olan 4 düğümde bu, ham kapasitenin yarısıdır.
Önerilen küme yapılandırmaları
Platformun model yelpazesi için katı gereksinimleri yoktur. Aşağıda halihazırda üretimde çalışan yapılandırmalar verilmiştir. Bunları referans olarak kullanın.
| Düğüm parametresi | Asgari: 4 düğüm (3+1) | Önerilen: 9 düğüm (7+2) | Azami: 24 düğüm (22+2) |
|---|---|---|---|
| Platform | 2U Intel sunucu platformu | 2U Intel sunucu platformu | 2U Intel sunucu platformu, High Performance Fans, NVMe Direct Connection |
| İşlemciler | 2 × Intel Xeon E5-2620 v4 (8 çekirdek) veya üstü | 2 × Intel Xeon Gold 6348 (28 çekirdek) | 2 × Intel Xeon Platinum 8558P (48 çekirdek) |
| Bellek | 12 × 32 GB DDR4 RDIMM 2400 MHz | 16 × 64 GB DDR4 RDIMM 3200 MHz | 32 × 64 GB DDR5 RDIMM 5600 MHz |
| HBA | 1 × LSI 9400-16i | 1 × LSI 9400-16i | Doğrudan NVMe bağlantısı |
| Depolama katmanı diskleri | 4 × 960 GB SSD SATA (DWPD=1, Intel DC S4510 veya kurumsal bir muadili) | 9 × 3840 GB SSD SAS (DWPD ≥ 1, Samsung PM1643a veya kurumsal bir muadili) | 24 × 3840 GB SSD NVMe (DWPD ≥ 1, Dapustor R5101 veya kurumsal bir muadili) |
| Sistem diskleri | 2 × 240 GB SSD SATA (Samsung PM883 veya kurumsal bir muadili) | 2 × 240 GB SSD SATA (Samsung PM883 veya kurumsal bir muadili) | 2 × 960 GB SSD NVMe (Intel P5530 veya kurumsal bir muadili) |
| Ağ bağdaştırıcıları | 2 × çift portlu 10/25 Gbps Eth SFP28 (Mellanox CX-5, Intel XXV710, E810) | 2 × çift portlu 10/25 Gbps Eth SFP28 (Mellanox CX-5, Intel XXV710, E810) | 2 × çift portlu 25 Gbps Eth SFP28 (Mellanox CX-5, Intel XXV710, E810) |
| Güç | 2 × güç kaynağı (Hot Plug) | 2 × güç kaynağı (Hot Plug) | 2 × güç kaynağı (Hot Plug) |
Yükleyici 4 düğümde de yedeklilik 2'ye izin verir, ancak bu durumda havuz kapasitesinin yarısı eşliğe gider. N+2 ile bir üretim kurulumu için 5 veya daha fazla düğüm öneririz.
Anahtarlama gereksinimleri
- Tagged VLAN ve LACP / vPC destekli en az iki anahtar.
- Her anahtarda en az düğüm sayısının 2 katı kadar port.
- Düğüm portlarında
activemodunda LACP. Statik birleştirme (mode on) uygun değildir: düğüm, anahtardan LACPDU bekler. - IGMP snooping etkindir ve yalıtılmış ağların VLAN'ında bir IGMP querier bulunur.
Yalıtılmış sanal ağlar,
239.248.x.xçok noktaya yayın (multicast) grupları üzerinden VXLAN olarak çalışır. Querier olmadan anahtar, grup kayıtlarının süresi dolduğunda bu trafiği iletmeyi durdurur. - Anahtar portlarında MTU 9216. Düğüm birleşimlerinde MTU 9000: yükleyici daha büyük bir değeri kabul eder, ancak düğüm yapılandırmasına 9000'den fazlasını yazmaz.
Kurumsal sınıf herhangi bir modern anahtar uygundur. Test edilmiş modeller:
- Cisco Nexus 3524X;
- Extreme Networks X590-24x-1q-2c;
- Huawei CloudEngine S6730-H24X6C;
- Juniper EX4600-40F-AFI;
- Eltex MES5448.
Ağ segmentleri
Bir düğüm, her birinde iki port bulunan iki LACP birleşimi ayağa kaldırır:
| Birleşim | Ne taşır |
|---|---|
lagg10 | Yalıtılmış sanal ağları kapsülleyen ağ (VXLAN) ve genel erişim noktası ağı |
lagg20 | Küme ağı ve depolama ağı (iSCSI, native) |
Portlar yalnızca bir birleşime yetiyorsa ikincisini atlayabilirsiniz. Bu durumda tüm
segmentler lagg10 üzerinden geçer. Şemanın nasıl seçileceği
kurulum kılavuzunda
açıklanmıştır.
Trafik VLAN ile ayrılır. Aşağıdaki numaralar örnek kurulum kontrol listesinden alınmıştır ve yükleyicinin varsayılan değerleriyle eşleşir.
| Segment | Örnek VLAN ID | Yönlendirme | MTU |
|---|---|---|---|
| Küme ağı | 1001 | — | birleşimle aynı |
| Yalıtılmış sanal ağları kapsülleyen ağ | 1002 | yönlendirilmeyen | birleşimle aynı |
| Genel erişim noktası ağı | 1003 | yönlendirilmeyen | 1500 |
| Depolama ağı (native) | 1004 | yönlendirilen | birleşimle aynı |
| Yönlendirilmiş sanal ağlar için VLAN ID aralığı | 1010–1060 | — | — |
Genel erişim noktası ağının adres alanı ayrıca belirlenir. Bu bölümdeki örneklerde
bu, 192.0.2.0/24'tür. Düğümün varsayılan ağ geçidi de aynı ağdan alınır.
Küme ağlarındaki adresler şu şekilde dağıtılır:
- bir düğüm, son okteti 100 + düğüm ID'si olan bir adres alır: düğüm 1 —
.101, düğüm 2 —.102vb.; - genel erişim noktası ağında ve küme ağında son okteti 250 olan adresi yönetim VM'si (vStack Center) alır. Web arayüzü, genel erişim noktası ağındaki adreste açılır;
.249de ayrılmıştır.
Düğüm ID'si 1–63 aralığındadır: Cluster Manager daha büyük bir sayıyı kabul etmez.
Kurulumdan sonra yapılandırmanın vStack Center üzerinden nasıl doğrulanacağı vStack Center dokümantasyonunda açıklanmıştır.
Sınırlamalar ve geçici çözümler
| Sınırlama | Neden | Ne yapmalı |
|---|---|---|
| AMD işlemciler | 3.x serisi yalnızca Intel'i destekler. AMD EPYC desteği 4.0 serisinde hazırlanmaktadır | Intel Xeon sunucular kullanın |
| BIOS modunda önyükleme | Yükleyici, sistem diskini ESP bölümüyle UEFI için bölümlendirir | Kurulumdan önce sunucu ayarlarında UEFI'yi etkinleştirin |
LSI 9500/9600 HBA'lar, Broadcom bnxt ve Chelsio cxgbe bağdaştırıcıları | mpi3mr, bnxt ve cxgbe sürücüleri düğüm çekirdeğinde bulunmaz | Desteklenen listedeki denetleyicileri ve bağdaştırıcıları kullanın |
| Depolama katmanı disklerinin düğümlerden az olması | Her havuz her düğümden bir disk alır ve düğüm sayısı kadar havuz vardır | Kuruluma başlamadan önce düğümlere X'e kadar disk ekleyin |
| Depolama katmanında HDD'ler | Platform tamamen flash için tasarlanmıştır; test edilmiş tüm yapılandırmalar SSD ve NVMe üzerine kuruludur | Havuzlara SSD veya NVMe diskler takın |
| Depolama katmanlarının olmaması | "SSD'de önbellek artı HDD'de kapasite" şeması desteklenmez. Ayrı bir "yavaş" havuz da çözüm değildir: havuz, disklerinin özelliklerini devralır | Tüm kapasiteyi SSD ve NVMe üzerinde planlayın |
| 4 düğümde yedeklilik 2, kapasitenin yarısını tüketir | Her havuzdaki 4 diskten 2'si eşliğe gider | N+2 için 5 veya daha fazla düğüm planlayın |
| İki yerine tek anahtar | LACP / vPC birleşimi bir anahtar çifti üzerinde kurulur. Tek anahtarla anahtarlama hata toleransı kaybolur | Kurumsal sınıf iki anahtar kurun |
| Anahtar portlarının düğüm × 2'den az olması | Her düğüm her anahtara iki portla bağlanır | Port sayısını artırın veya bir anahtar ekleyin |
on modunda LACP | LACPDU alışverişi olmadan düğüm tarafındaki birleşim ayağa kalkmaz | Portları mode active olarak ayarlayın |
| IGMP snooping kapalı veya yalıtılmış ağların VLAN'ında querier yok | Yalıtılmış ağ trafiği, anahtarın IGMP ile izlediği çok noktaya yayın gruplarından geçer | IGMP snooping'i etkinleştirin ve yalıtılmış ağların VLAN'ında bir querier atayın |
| Birleşim MTU'sunun 9000'in üzerinde olması | Yükleyici yapılandırmaya 9000'den fazlasını yazmaz. Mellanox bağdaştırıcılarında 9000'in üzerindeki bir MTU ayrıca arayüzün 1500'e düşmesine neden olur | Birleşimlerde 9000 ayarlayın, 9216'yı anahtara bırakın |
Ayrıca bakın
- Düğüm kurulumu ve kümenin oluşturulması — kurulum prosedürü ve yükleyicinin sorduğu parametreler.
- Kümenin ilk yapılandırması — kurulumdan sonra küme bileşiminin kabulü ve temel ayarlar, vStack Center dokümantasyonunda.