文/李雪鋒　趙春　陳麗榮　張增修　陳潔

多校區(qū)虛擬化平臺的設計與實現(xiàn)

文/李雪鋒趙春陳麗榮張增修陳潔

多校區(qū)虛擬化平臺設計與實現(xiàn)，主要涉及多校區(qū)虛擬化平臺實施部署、多校區(qū)虛擬化平臺模擬測試、業(yè)務遷移方案等。實踐發(fā)現(xiàn)，根據(jù)學校多校區(qū)的特點，通過采用虛擬化技術，在兩個校區(qū)部署虛擬化平臺，實現(xiàn)虛擬化業(yè)務在兩校區(qū)虛擬主機高效穩(wěn)定運行，從而進一步提升兩校區(qū)信息化集成業(yè)務的連續(xù)可用性和安全性。

隨著信息化技術不斷發(fā)展，虛擬化技術越來越多應用于學校信息化建設。常見服務器虛擬化的軟件主要有Microsoft Hyper-V、VMware vSphere和 Citrix XenServer等等。在華東師范大學閔行校區(qū)(或中北校區(qū))，通過服務器虛擬化軟件VMware vSphere來將多臺物理服務器組合成一個群集，并通過配置SAN共享存儲，來實現(xiàn)vSphere的HA、DRS和vMotion的虛擬化高級功能，保障閔行校區(qū)（或中北校區(qū)）虛擬化業(yè)務高可用性和安全性。但這種方式存在單校區(qū)安全隱患，如當閔行機房（或中北機房）出現(xiàn)斷電故障、用于支持物理服務器的PDU故障或者主機故障，將會使大范圍的服務受到影響，導致業(yè)務的長時間中斷或者不可恢復。

如何實現(xiàn)當任何一個校區(qū)的虛擬化出現(xiàn)故障，能夠快速實現(xiàn)將業(yè)務飄到另一個校區(qū)提供服務，最大限度地減少損失，保證業(yè)務的高可用性與安全性，下文將從理論到實踐詳細闡述閔行校區(qū)和中北校區(qū)進行多校區(qū)虛擬化平臺如何實施部署。

多校區(qū)虛擬化架構設計

華東師范大學閔行校區(qū)和中北校區(qū)的多校區(qū)虛擬化平臺實施部署時，中北校區(qū)和閔行校區(qū)現(xiàn)有網(wǎng)絡架構，服務器層面通過VMware vSphere 來實現(xiàn)服務器虛擬化。存儲層面通過EMC vplex設備創(chuàng)建虛擬卷為虛擬化平臺提供共享存儲。通過服務器和存儲虛擬化技術，在中北校區(qū)與閔行校區(qū)搭建兩校區(qū)虛擬化平臺。其基本架構如圖1所示。

在中北校區(qū)和閔行校區(qū)各部署一套配置一致UCS刀片，通過虛擬化軟件VMware vSphere來實現(xiàn)服務器層面的虛擬化。兩校區(qū)網(wǎng)絡實現(xiàn)萬兆互聯(lián)，具有高速率、低延時、二層互通等特性，滿足虛擬化業(yè)務對網(wǎng)絡要求。在兩校區(qū)通過部署EMC vplex設備來實現(xiàn)存儲層面的虛擬化，兩校區(qū)vplex設備通過四根萬兆以太網(wǎng)實現(xiàn)兩校區(qū)數(shù)據(jù)復制與通信。同時，在第三點故障域部署監(jiān)控點，主要用于兩校區(qū)vplex設備的健康監(jiān)測與故障切換。在每一個校區(qū)，服務器與存儲之間通過兩臺brocade光纖交換機進行連接。利用虛擬化技術，建立一個統(tǒng)一的、整體部署的多校區(qū)虛擬化的系統(tǒng)架構，實現(xiàn)多校區(qū)虛擬化業(yè)務的雙活容錯，提高信息化集成業(yè)務的連續(xù)可用性和安全性。

圖1　兩校區(qū)虛擬化架構

多校區(qū)虛擬化實現(xiàn)

虛擬化的實施部署工作主要涉及服務器虛擬化與存儲虛擬化這兩個方面的實施部署，具體如下。

服務器虛擬化實現(xiàn)

在中北校區(qū)與閔行校區(qū)都采用配置一致的UCS刀片用作虛擬化主機，虛擬化軟件采用VMware vSphere。服務器虛擬化主要涉及以下三個方面工作。

1.UCS刀片服務器初始化工作

在安裝虛擬化軟件ESXI之前，我們需要對UCS刀片進行初始化工作。UCS刀片主要用于部署虛擬化軟件，承載虛擬化業(yè)務。UCS刀片主要由機箱和FI（fabric interconnect）組成。FI處理UCS所有的管理任務，提供上聯(lián)到現(xiàn)有的LAN和SAN，提供下聯(lián)到機箱。UCS刀片初始化工作主要通過FI管理控制臺來配置，主要涉及organization配置、UUID suffix配置、server池配置、本地磁盤策略配置、service profile模板配置、MAC池配置、vlan配置、vlan group創(chuàng)建、虛擬網(wǎng)卡模板配置、wwpn配置、wwnn配置、vsan配置、vhba模板配置、FEX配置、電源冗余策略配置、FI端口類型配置、物理刀片服務器與service profile關聯(lián)配置等。

2.vSphere ESXi安裝配置

ESXi直接運行在物理服務器上，能夠提供功能強大且經(jīng)過生產(chǎn)驗證的虛擬化層。通過對服務器硬件資源（如內(nèi)存、存儲器、處理器及網(wǎng)絡設備等）進行抽象，實現(xiàn)多臺虛擬機共享底層硬件資源。當我們完成UCS刀片服務器初始化工作，接下來就需要在中北校區(qū)和閔行校區(qū)每臺刀片服務器上安裝和配置虛擬化軟件ESXi。

（1）ESXi安裝工作。通過調(diào)整服務器BIOS引導順序進行安裝工作，在安裝過程中需要設置root用戶密碼等。

（2）ESXi配置工作。完成安裝后，通過root用戶進行配置，主要涉及IP地址、DNS、VLAN、主機名和功能許可license等。

（3）vCenter server安裝配置

vCenter Server是VMware vSphere一個關于ESXi主機和虛擬機集中管理的虛擬化平臺。通過vCenter Server可以實現(xiàn)vSphere許多高級功能，如HA、DRS、vMotion等。

（1）vCenter server安裝工作。按照vCenter server部署基本要求，我們將軟件安裝到一臺Window Server2008R2 64位操作系統(tǒng)的虛擬機上。在安裝過程中，需要配置vCenter的數(shù)據(jù)庫，可以選擇系統(tǒng)自帶的Microsoft SQL Server Express,但對主機數(shù)量和虛擬機數(shù)量都有限制，僅適用于小規(guī)模部署，因此我們采用外部數(shù)據(jù)庫配置。關于涉及到TCP、UPD端口都采用默認設置。

（2）vCenter server配置工作。通過客戶端軟件連接到vCenter server進行相關配置工作， vCenter server配置工作主要涉及vCenter server基本功能配置、虛擬化網(wǎng)絡配置和共享存儲配置等。

vCenter server基本功能配置。主要涉及添加vCenter 許可license、建立兩校區(qū)數(shù)據(jù)中心、建立兩校區(qū)群集、將兩校區(qū)配置好的虛擬化主機添加到群集中、兩校區(qū)群集HA、DRS和vMotion功能配置等。

虛擬化網(wǎng)絡配置。網(wǎng)絡虛擬化可以實現(xiàn)不同虛擬機之間以及虛擬機與物理主機之間通信。針對每一臺主機采用標準交換機網(wǎng)絡模式，根據(jù)業(yè)務需求對端口組、管理網(wǎng)絡、網(wǎng)絡流量調(diào)整、網(wǎng)絡安全策略、物理網(wǎng)卡綁定等進行配置。

共享存儲配置。針對通過光纖通道分配的兩校區(qū)虛擬卷，建立虛擬機文件系統(tǒng)（VMFS）,實現(xiàn)多個物理主機對同一存儲器同時執(zhí)行讀寫操作。

存儲虛擬化實現(xiàn)

通過服務器虛擬化配置，將中北校區(qū)和閔行校區(qū)的ESXi主機都添加到同一個群集中。要實現(xiàn)兩個校區(qū)虛擬化，還需要為兩校區(qū)主機配置SAN共享存儲?；趦尚^(qū)已有的EMC的存儲設備，在閔行校區(qū)和中北校區(qū)各部署一臺vplex設備，通過EMC vplex虛擬化技術，將中北校區(qū)和閔行校區(qū)的存儲卷做成一個虛擬卷，對于中北校區(qū)和閔行校區(qū)的ESXi主機而言，識別到的是同一塊存儲。接下來詳細介紹虛擬卷的配置，假設需要配置的虛擬卷大小為10T。

1.vplex初始化工作。主要涉及Hostname與管理端口配置、meta-volume配置、時間同步配置、WAN interface配置、logging volume配置、監(jiān)控點部署等

2.存儲卷分配。在中北和閔行的EMC存儲上分別劃分相應大小為10T的卷給vplex設備。

3.存儲卷標記。兩校區(qū)的vplex識別到存儲卷后并其進行標記，目的是讓存儲卷受vplex管理。

4.區(qū)間創(chuàng)建。分別在中北和閔行的vplex上創(chuàng)建區(qū)間。區(qū)間用來對vplex管理的存儲卷進行空間規(guī)劃，我們將10T的存儲卷做成一個區(qū)間。

5.設備創(chuàng)建。設備創(chuàng)建過程實際上就是區(qū)間與設備映射的過程，我們采用一對一唯一映射方式在中北和閔行vplex創(chuàng)建設備。

6.虛擬卷創(chuàng)建。虛擬卷實際上就是將中北和閔行的vplex上的設備做成一個統(tǒng)一的卷，提供給虛擬主機使用。在創(chuàng)建虛擬卷中，需要創(chuàng)建一個consistency group（CG），這個CG包含這個全局的虛擬卷，在CG中需要設定一定取勝規(guī)則。

通過上面步驟，成功建立了虛擬卷。通過在中北和閔行的vplex建立存儲視圖，將UCS刀片服務器的HBA卡wwpn、vplex通信端口以及虛擬卷結合在一起，實現(xiàn)虛擬卷分配到兩校區(qū)ESXi主機，在虛擬主機經(jīng)過磁盤掃描后，就可以識別到通過vplex分配的虛擬卷。

圖2　多校區(qū)虛擬卷

多校區(qū)虛擬化模擬測試

通過上面的部署，通過虛擬化技術實現(xiàn)了多校區(qū)虛擬化平臺。在業(yè)務遷移到多校區(qū)虛擬化平臺之前，需要對虛擬化平臺進行一系列功能模擬測試工作，主要涉及服務器虛擬化和存儲虛擬化的模擬測試。

服務器虛擬化測試

服務器虛擬化測試主要針對中北校區(qū)和閔行校區(qū)虛擬化平臺主要功能測試，主要涉及VMware vSphere的HA、vMotion等功能測試。將從閔行校區(qū)ESXi主機中取出的主機A和從中北校區(qū)ESXi主機中取出的主機B做成一個群集，并開啟群集的HA功能和vMotion功能，在主機A創(chuàng)建一臺業(yè)務測試機C。

1.多校區(qū)HA功能測試

vSphere HA功能用于檢測故障，對群集中運行的虛擬機提供快速恢復功能。核心功能包括主機監(jiān)控、虛擬機監(jiān)控和應用程序監(jiān)控功能，用于在檢測不到檢測信號時最大程度地縮短停機時間。本文主要以主機監(jiān)控功能測試為例。

表1　存儲虛擬化故障測試表

（1）通過對閔行ESXi主機A執(zhí)行斷電操作來模擬主機故障，同時針對業(yè)務測試機C，ping命令窗口顯示請求超時。

（2）經(jīng)過約200秒，業(yè)務測試機C的ping請求正常，業(yè)務測試機在中北校區(qū)主機B上重啟完成。

（3）恢復主機A正常狀態(tài)，對主機B執(zhí)行斷電操作模擬主機故障，同時針對業(yè)務測試機C，ping命令窗口顯示請求超時。

（4）經(jīng)過約200秒，業(yè)務測試機C的ping請求正常，業(yè)務測試機重回在閔行校區(qū)主機A上重啟完成。

2.多校vMotion功能測試

VMware vMotion 可以將運行中的虛擬機從一臺虛擬主機實時遷移到另一臺虛擬主機上。在遷移過程中能夠保證業(yè)務的連續(xù)可用性和事務的完整性。Storage vMotion可以在不中斷服務的情形下實現(xiàn)虛擬機文件的不同數(shù)據(jù)存儲之間的遷移。本文主要以虛擬機遷移為例。

（1）對位于閔行ESXi主機A上的業(yè)務測試機C執(zhí)行vMotion，同時開啟對業(yè)務測試機的ping操作。

（2）在vMotion整個過程中，出現(xiàn)一個ping包丟失，服務可用無中斷，業(yè)務測試機成功遷移到中北校區(qū)ESXi主機B。

（3）對遷移到主機B的業(yè)務測試機C執(zhí)行vMotion，同時開啟對業(yè)務測試機的ping操作。

（4）在vMotion整個過程中，出現(xiàn)一個ping包丟失，服務可用無中斷，業(yè)務測試機成功遷移到閔行校區(qū)ESXi主機A。

存儲虛擬化測試

在兩校區(qū)通過部署EMC vplex設備來實現(xiàn)存儲層面的虛擬化，并在第三點故障域部署監(jiān)控點，主要用于兩校區(qū)vplex設備的健康監(jiān)測與故障切換。存儲虛擬化測試主要針對vplex設備及監(jiān)控點進行測試，假定vplex設定規(guī)則為集群cluster1作為勝利者，測試結果參見表格1。

業(yè)務遷移方案

多校區(qū)虛擬化平臺搭建與測試完成之后，接下來考慮相關業(yè)務系統(tǒng)遷移工作，主要涉及短信平臺、報表系統(tǒng)、ESRS監(jiān)控系統(tǒng)、Lenovo虛擬化平臺、AD域服務器等。

1.針對部署在其他虛擬化平臺的業(yè)務，如Lenovo虛擬化業(yè)務等

關于部署在Lenovo虛擬化平臺的業(yè)務系統(tǒng)，由于不滿足vMotion的條件，只能采用冷遷移的方式。

（1）在vCenter上新建一個群集，將Lenovo主機添加到新建的群集中；

（2）將Lenovo虛擬平臺的業(yè)務虛擬機進行關機，并將虛擬機遷移到多校區(qū)虛擬化平臺群集上；

（3）遷移完成后，在兩校區(qū)虛擬化平臺上將業(yè)務虛擬機重新啟動，業(yè)務運行。

2.針對部署在實體機上的業(yè)務，如報表系統(tǒng)、短信平臺等

（1）針對部署在實體機上的業(yè)務且操作系統(tǒng)為Window或者Linux系統(tǒng)，如報表系統(tǒng)、ESRS監(jiān)控系統(tǒng)、AD域服務器等。我們采用VMware vCenter Converter工具來實現(xiàn)實轉(zhuǎn)虛操作，將實體機轉(zhuǎn)化成兩校區(qū)虛擬化平臺的虛擬機。

（2）針對部署在實體機上的業(yè)務且操作系統(tǒng)為solaris系統(tǒng)，如短信平臺。我們只能采用在兩校區(qū)虛擬化平臺重新部署的方式，無法采用VMware vCenter Converter工具來實現(xiàn)實轉(zhuǎn)虛操作。

通過上述操作，完成相關業(yè)務系統(tǒng)的遷移工作。經(jīng)過一段時間觀察，業(yè)務運行穩(wěn)定，達到預期效果。針對后續(xù)新增業(yè)務系統(tǒng)，如K2系統(tǒng)、資源管理系統(tǒng)等，采用直接部署在兩校區(qū)虛擬化平臺上的方式，進一步提高業(yè)務的連續(xù)可用性和安全性。

多校區(qū)虛擬化平臺采用EMC vplex設備創(chuàng)建的虛擬卷作為共享存儲，通過VMware vSphere虛擬化技術來實現(xiàn)虛擬化業(yè)務在兩校區(qū)虛擬主機上高效穩(wěn)定運行。到目前為止，在多校區(qū)虛擬化平臺上遷移和新建的業(yè)務運行穩(wěn)定，達到預期目標。多校區(qū)虛擬化平臺建立了一個統(tǒng)一的、整體部署的虛擬化異地容災的系統(tǒng)框架，實現(xiàn)兩校區(qū)虛擬化業(yè)務的雙活容錯，有效解決了單校區(qū)安全隱患，提高信息化集成業(yè)務的連續(xù)可用性和安全性。

（為華東師范大學信息化辦公室）