該虛擬化項目，采用4臺聯(lián) 想System X3650 M5，使用vSAN架構(gòu)組成虛擬化環(huán)境，網(wǎng)絡(luò)拓撲如圖1所示。

每臺主機配置了2個E5-2620 V4 的 CPU、256GB內(nèi)存、1個300GB的SAS磁盤（用于ESXi系統(tǒng)安裝）、2個400GB的Intel數(shù)據(jù)中心級固態(tài)硬盤S3710、10個900GB的SAS磁盤，所有磁盤都是2.5英寸，HDD磁盤轉(zhuǎn)速都是10000轉(zhuǎn)/分。

每臺主機配置有1塊2端口的Intel D520萬兆網(wǎng)卡，萬兆網(wǎng)卡分別連接到2臺華為S6720萬兆交換機，2臺萬兆交換機使用40GB的QSFP光纖組成動能堆疊方式。每臺主機有4個千兆端口，分別連接到2臺華為S5720千兆虛擬機，其中2個千兆端口用于管理，另2個千兆端口連接到交換機Trunk端口用于虛擬機流量。

圖2 為聯(lián)想X3650 M5安裝第2個硬盤背板

使用聯(lián)想X3650 M5服務(wù)器組建vSAN架構(gòu)，可以將每塊硬盤配置為RAID-0，這是VMware官方兼容列表中提供的參數(shù)。但如果將磁盤配置為RAID-0不利于后期的管理與維護。經(jīng)過實際測試，可以將聯(lián)想X3650 M5陣列卡的緩存模塊移除，然后將每塊磁盤配置為JBOD模式即可。

安裝硬盤擴展背板

本案例中2臺服務(wù)器是新采購的，另2臺服務(wù)器去年購買的服務(wù)器。300GB硬盤是原來2臺服務(wù)器上的，本次案例中為每個服務(wù)器配置1塊300GB的硬盤用于安裝ESXi的系統(tǒng)。

因為每臺服務(wù)器安裝了13個2.5英寸的磁盤（2個 SSD、11 個 HDD），但 聯(lián)想3650 M5只有前8個盤位能用，如果使用另外8個盤位，需要添加1塊2.5寸盤體8盤位的X3650 M5系列硬盤擴展背板。

關(guān)閉服務(wù)器的電源，打開服務(wù)器的機廂，在第2個空閑的硬盤槽位安裝硬盤擴展背板，如圖2所示。

在圖2中，圖中線標為01的接線原來插在BP1接口板的1口，線標為02的接線原來接在BP1接口板的2口，01與02接到服務(wù)器機廂中的RAID卡上。

在安裝了BP2的硬盤擴展板之后，將 BP1的 01、02線拔下，將購買硬盤擴展板時帶的2條SAS線，按照圖2的方式連接到一起（即1接 1、2接 2），然后將 01接到BP1的右側(cè)接口上，02接到BP2的左側(cè)接口上。

在服務(wù)器的機廂背面，印有硬盤擴展背板連線接法，如圖3所示。

移除陣列卡緩存模塊并啟用JBOD模式

因為本案例需要組建vSAN，需要將每塊硬盤配置為RAID-0或配置為直通模式。聯(lián)想X3650 M5支持將磁盤配置為直通模式，但只有不配備緩存陣列卡才支持JBOD/硬盤直通模式功能，如果服務(wù)器中配置了帶緩存模塊的M5210陣列卡，必須手動移除緩存模式。

注意：下面的操作將導致陣列及數(shù)據(jù)丟失，強烈建議先清除陣列信息并恢復陣列卡出廠設(shè)置再行操作。如果操作不當，可能導致陣列卡鎖定安全模式，甚至損壞硬件，請酌情謹慎操作。同時，由于涉及硬件插拔操作，請遵守操作規(guī)范。因為本案例中的除了300GB硬盤外，其他硬盤都是新配置的，不涉及到數(shù)據(jù)的備份，所以在清除了300GB硬盤的RAID信息后，關(guān)閉服務(wù)器的電源，打開服務(wù)器的機廂，開始移除緩存模塊。

圖3 硬盤擴展背板連接示意圖

1.在服務(wù)器完全斷開之后，打開服務(wù)器的機廂，找到RAID卡，其中陣列卡PCB板上面的小塊子板即緩存模塊，由兩側(cè)的黑色卡扣固定。

2.拔出陣列卡后取下緩存模塊，然后將陣列卡插回原位。如果不再使用緩存模塊，可以直接移除緩存模塊及線纜、電容組件。

3.將機廂蓋板蓋回，重新通電并開機。在看到Lenovo System x Logo的時候按F1鍵，準備進入BIOS。

4.等待過程中會出現(xiàn)“Critical Message”的錯誤窗口，告知緩存模塊丟失或者損壞。

5.先按回車鍵，并輸入D，再回車，降入iMR模式。

注意:請勿輸入其他字符或者直接按回車鍵，錯誤操作會導致陣列卡鎖定安全模式。

6.錯誤處理完成，按ESC鍵退出。然后按Y鍵繼續(xù)退出。

7.此時進入BIOS，無法找到陣列卡，左下角會提示需要重啟。

8.重啟后再次進入 BIOS， 在“System Configuration and Boot Management”對話框中移動光標到“System Settings”處并按回車鍵。

9.在“System Settings”對話框中，移動光標到“Storage”并按回車鍵。

10.在“Storage”菜 單中進入陣列卡，一般配備的是ServeRAID M5210或 者M1215陣列卡。

11.在“Dashboard View”菜單中移動光標到“Main Menu”并按回車鍵。

12.在“Main Menu”菜單中移動光標到"Controller Management"并按回車鍵。

1 3.在“Advanced Controller Properties”菜單，查看“JBOD Mode”項目的狀態(tài)，如果是“Enabled”狀態(tài)則表示JBOD模式已經(jīng)支持。

如 果JBOD模 式 是Disabled，請 將 其 改 為Enabled，保存退出后，如果再次進入“Advanced Controller Properties”菜單，如果“JBOD Mode”仍然是Disabled，表示當前陣列卡不支持JBOD模式，或者當前陣列卡的緩存模塊沒有移除，請移除緩存模式后再次檢查。

將磁盤配置為JBOD并設(shè)置引導磁盤

在確認支持JBOD模式之后，可以將每個磁盤標記為JBOD模 式?！癠nconfigured Good”狀態(tài)和“JBOD”狀態(tài)的硬盤可以任意相互轉(zhuǎn)換，在“Drive Management”界面中選 中“Unconfigured Good”狀態(tài)的硬盤，在“Operation”中選擇“Make JBOD”，如圖 4所示。

在“Main Menu”菜單中移動光標到“Configuration Management” 按 回 車鍵， 在“Configuration Management”菜單按鍵移動光標到“Make Unconfigured Good”并按回車鍵。

圖4 標記為JBOD磁盤

圖5 選擇引導磁盤

圖6 配置好的vSAN群集

進 入“Make Unconfigured Good”菜單，在此可以查看已經(jīng)設(shè)置為JBOD模式的磁盤及數(shù)據(jù)，當前已經(jīng)有13塊磁盤標記為JBOD模式并在列表中顯示了每塊磁盤的信息，這包括磁盤的容量大小、端口位置等。

設(shè)置引導磁盤

因為本案例中每臺服務(wù)器有13塊磁盤，要將ESXi安裝在300GB的磁盤中，需要將300GB的磁盤設(shè)置為引導磁盤。

1.進入BIOS系統(tǒng)設(shè)置（System Settings） →Storage→ Main Menu→Controller Management，在Controller Management菜單中移動光標到“Select Boot Device”處并按回車鍵。

2.在彈出的對話框中，選擇300GB的磁盤，如圖5所示。引導磁盤的后面會有Bootable的字符。

3.返 回Controller Management菜單，可以看到當前引導磁盤已經(jīng)設(shè)置為300GB的磁盤。

最后保存設(shè)置退出。

將ESXi安裝到300GB的磁盤

在將服務(wù)器設(shè)置為JBOD模式并設(shè)置了每塊磁盤之后，使用ESXi 6.5.0安裝光盤啟動服務(wù)器（或使用工具U盤），安裝VMware ESXi 6.5.0。在選擇磁盤安裝ESXi的時候，選擇容量大小為300GB的磁盤（實際識別為 279.40GB）。

關(guān)于ESXi的系統(tǒng)安裝以及vSAN群集的配置，本文不做過多介紹，圖6是搭建好vSAN群集后的截圖，當前群集中有4臺主機（一共有64個處理器核心、1021.78GB內(nèi)存、33.77TB存儲空間）。