1. Base server

Có tới hàng trăm server của nhiều hãng phần cứng máy chủ như Dell, HPE, Supermicro, Cisco, Fujitsu, lenovo… có thể đáp ứng các yêu cầu làm node vSAN. Việc chọn lựa Base server cần đáp ứng các tiêu chí như sau:

+ Là HW phổ thông(sử dụng phổ biến ở thị trường nội địa) có thể có part thay thế bất cứ lúc nào, và được nằm trong list HCL của VMware

+ Hãng phần cứng chất lượng tốt và có vòng đời hỗ trợ update firmware dài hạn( 5- 7 năm)

+ Nên chọn hãng có hw không bị locked firmware( HPE điểm trừ)

+ Nên chọn hãng phần cứng có tính ổn định cao và được khách hàng đã qua sử dụng đánh giá + Có thể hỗ trợ slot NVME U.2 mà không bắt buộc phải mua Disk của hãng( supermicro)

Với các tiêu chí trên Supermicro và Dell được ưa chuộng trong việc lựa chọn HW build vsan.

Trong tài liệu này này sẽ nhắc đến các model của Dell R730xd/R740xd cho dòng 2U( stoage nhiều) và dòng R630/R640 1U( save rack space)

Model	max SAS3 disk slot	HBA Controller	Disk group *
R630/ R640	10	HBA330 mini	1 -2
R730xd 12×3.5”	12	HBA330	1 -2
R730xd 24×2.5”	24	HBA330	1- 4
R740xd 12×3.5”	12	HBA330	1- 2
R740xd 24×2.5”	24	HBA330	1- 4

* Số lượng Disk group sẽ phụ thuộc vào max slot / disk per group

Việc chọn base server hỗ trợ nhiều slot disk để hệ thống có thể scale up( tăng perf bằng cách tăng số lượng disk) trong tương lai nếu có vấn đề về perf storage cần tăng mà chưa phải thay thế bất kể 1 thành phần nào của hệ

2. Storage Device

Nếu muốn hệ thống lưu trữ nhanh, hãy mua đĩa nhanh, cụ thể là mua SSD thay vì HDD

Disk controller – HBA SAS3

Mình chọn SAS3 nên sẽ chú ý vào LSI 9300-8i hoặc HBA330 của DELL, một số chassis hỗ trợ NVME

U.2 có thể còn có card PCIe khác

Cả hw và fw được hỗ trợ, tương thích với version vSAN hiện tại

Disk

Type Capacity Demession Use IOCTRL Latency vSAN DG lic

SATA SSD	500G, 960G, 1.92T	2.5”	Capacity	ncq	low	std / ent	AF
NL-SAS3	4, 6, 8, 10.. (TB)	3.5”	Capacity	scsi	higher	std	hybrid
SAS3 10k	1.2, 1.8, 2.4T	2.5”	Capacity	scsi	high	std	hybrid
SAS3 SSD	800G, 960G, 1.6T, 1.92T,….	2.5”	Capacity / cache	scsi	lower	ent/ std	AF
NVME	….	2.5” U.2 PCIe	Cache / Capacity	….	very low	ent	AF
SCM	….		Cache	….	ultra low	ent	AF
NVDIMM	16GB, 32GB		Cache	….	ultra low	ent	??

Với các hệ thống không quá khắt khe về perf(slow high capacity) có thể lựa chọn hybrid vsan là một lựa chọn tốt với các ưu điểm: giảm chi phí lic vsan, và giảm chi phí price per GB, tuy có hơi chậm nhưng phù hợp với hệ thống tính toán cần nhiều phần stoage Các lựa chọn disk khi build hệ thống:

Đơn giản nhất là All Flash với SAS3 SSD wite intensive dùng cho cache, và SATA SSD ENT cho vùng capacity vừa rẻ vừa được latency thấp( Chassis 2.5”) là lựa chọn vừa tiền và ít rủi ro khi triển khai thực tế
Rẻ nhất có thể dùng DiskGroup với SAS3 SSD dùng cho cache, và NL-SAS3 7.2k cho vùng capacity( Chassis 3.5”)
Phổ biến nhất nhất có thể dùng diskgroup với SAS3 SSD dùng cho cache, và SAS3 10k cho vùng capacity ( Chassis 2.5”, Chassis 3.5” hybrid tray)

Lưu ý Dung lượng cache phải ít nhất 25% tổng dung lượng vùng đĩa lưu trữ, mua cache lớn có thể mở rộng đĩa và perf lúc nào cũng ổn khi có tải không dự kiến trước( unpredictable workload)

3. DiskGroup

Phần này là chia disk và cache vào group, thao tác cụ thể sau này sẽ cấu hình khi init vSAN. Phần này trực quan nhất là dùng tool sizer disk cho vsan ở phía dưới

Disk layout

Tổng thể toàn bộ disk của cụm vsan nhìn theo các node, các node phải đồng đều về DiskGroup và các DiskGroup phải giống nhau để tải chia đều trên toàn bộ cluster

Phần này trực quan nhất là dùng tool sizer disk cho vsan ở phía dưới IO Networking

mcx354a-fcbt 40Gbps dual port > cho phần vsan

QLogic FastLinQ 41164 Quad Port 10GbE >> cho phần VM, MGMT tham khảo thêm danh sách card network cho Dell R14 https://itprice.com/dell-price-list/10g.html

CPU for vSAN

Với máy chủ Dell R640 hoặc R740xd sử dụng CPU Intel® Xeon® Gold 5218R là rất đáng giá tại thời điểm viết tài liệu gọi là Big 2nd Gen Intel Xeon Scalable Refresh, cho hiệu năng cao, số core cao, thích hợp cho ảo hoá. RAM for vSAN

vsan có sử dụng vài chục GB ram cho việc quản lý disk group chi tiết

https://blogs.vmware.com/virtualblocks/2015/11/11/vsan-design-sizing-memory-overheadconsiderations/

hoặc https://kb.vmware.com/s/article/2113954

Thông thường các node vsan tránh off để ảnh hưởng đến service, Ram cho mỗi node khuyến cáo là 256GB(R13) hoặc 384GB(R14) hoặc cao hơn tuỳ hệ thống

4. vSAN Network – Switch for vSAN, vMotion

Phần này dùng mã N3K-C3132Q-40GE hoặc Lenovo RackSwitch™ G8332 cho hệ thống 40Gbps phần backend storage. Nếu bố trí các node vsan và switch trong 1 tủ có thể dùng dây DAC 3m QSFP+ để giảm chi phí đầu tư mà vẫn đạt được băng thông lớn

02 mã switch đề xuất có đặc điểm port 40G thoải mái cho hệ thống từ 16 đến 32 node vsan với chi phí cực rẻ, với port 40G có thể tận dụng cho toàn bộ các trafic khác của vsan như mgmt, vmotion, vm.

Cuộc chạy đua băng thông rộng 10G / 40G và 25G/100G thì công nghệ 10G / 40G đã cũ và rẻ hơn so với vài năm trước.

Switch for VM & MGMT

Có thể dùng sw 10G như N3K-C3064PQ-10GX hoặc rất nhiều sản phẩm 10G

Ngoài ra có thể sử dụng các dòng switch của Dell EMC trong dòng sản phẩm S4100-ON, chẳng hạn như S4148U, S4148F, S4148FE, S4148T, S4128F, và S4128T. Đây là các thiết bị chuyển mạch 1RU, tức là chiếm 1 đơn vị rack khi lắp đặt trong tủ rack.

Các tính năng chính của loạt sản phẩm này bao gồm:

* Kích thước: Chúng là các switch có mật độ cao và chỉ cao 1RU (khoảng 1.75 inches cao).

* Cấu hình Cổng: Các switch này cung cấp nhiều tùy chọn về tốc độ cổng, từ 1 GbE tới 100 GbE (Gigabit Ethernet), với khả năng tự động điều chỉnh tốc độ trên các cổng nhất định (dual-speed).

* Công nghệ Cổng:
– Các cổng SFP+ (Small Form-factor Pluggable Plus) hỗ trợ tốc độ 1/10GbE cho phép kết nối linh hoạt với các tốc độ mạng khác nhau.
– Cổng BaseT trên mô hình S4148T-ON cho phép kết nối mạng dùng cáp đồng (cáp Ethernet thông thường).
– Cổng QSFP28 (Quad Small Form-factor Pluggable 28) hỗ trợ tốc độ lên tới 100GbE cho các ứng dụng cần băng thông cao.

* Kiến trúc Switch: Chúng sử dụng kiến trúc switching “nonblocking” và “cut-through”. “Nonblocking” nghĩa là switch có đủ băng thông để xử lý đủ lưu lượng trên tất cả các cổng cùng một lúc mà không bị nghẽn. “Cut-through” là phương pháp truyền dữ liệu mà switch bắt đầu chuyển gói tin ngay khi nó nhận đủ thông tin về điểm đến, giảm độ trễ trong mạng.

* Hệ điều hành: Các switch S4148-ON đang chạy hệ điều hành mạng OS10 của Dell trong hướng dẫn triển khai này. OS10 là một hệ điều hành mạng linh hoạt và mạnh mẽ, phục vụ nhu cầu cấu hình và quản lý switch.

* Top of Rack: Đây là các switch thường được đặt ở vị trí đầu của rack (top of rack – ToR), thích hợp cho việc kết nối với máy chủ và thiết bị lưu trữ trong một trung tâm dữ liệu.

5. Sizing vSAN

Quy mô của hệ thống vSAN dựa trên thông tin cụ thể của từng case sẽ có phương án cụ thể, và tuỳ case sẽ có tính toán cụ thể hơn để đảm bảo đầy đủ các tiêu chuẩn kỹ thuật cũng như tính kinh tế của giải pháp

Single cluster: Bắt đầu bằng hệ thống đơn giản và đầy đủ các thành phần, được coi như giai đoạn 1 của hệ thống

Stresth cluster – Fault domain sẽ là giai đoạn 2 của hệ thống

All Flash / Hybrid

Xu thế là All Flash, tiết kiệm đầu tư có thể xài hybrid

https://vsan.virtualappliances.eu/ tool khá trực quan về số node nhưng chưa thấy phần xuất BoM

https://kauteetech.github.io/vsancapacity/ Phần raid1 của hệ thống còn khoảng 33% dung lượng khả dụng, các thành phần khác dùng cho các việc khác

https://core.vmware.com/sites/default/files/resource/vmware_vsan_design_guide_noindex.pd f

https://core.vmware.com/vsan-plan-and-design

Điều chỉnh perf cho hệ thống vSAN

Có thể add thêm node, hoặc add thêm disk tuỳ option nâng cấp hệ thống