文/李雪鋒　趙春　陳麗榮　張增修　陳潔

多校區(qū)虛擬化平臺的設(shè)計與實現(xiàn)

文/李雪鋒趙春陳麗榮張增修陳潔

多校區(qū)虛擬化平臺設(shè)計與實現(xiàn)，主要涉及多校區(qū)虛擬化平臺實施部署、多校區(qū)虛擬化平臺模擬測試、業(yè)務(wù)遷移方案等。實踐發(fā)現(xiàn)，根據(jù)學(xué)校多校區(qū)的特點，通過采用虛擬化技術(shù)，在兩個校區(qū)部署虛擬化平臺，實現(xiàn)虛擬化業(yè)務(wù)在兩校區(qū)虛擬主機(jī)高效穩(wěn)定運(yùn)行，從而進(jìn)一步提升兩校區(qū)信息化集成業(yè)務(wù)的連續(xù)可用性和安全性。

隨著信息化技術(shù)不斷發(fā)展，虛擬化技術(shù)越來越多應(yīng)用于學(xué)校信息化建設(shè)。常見服務(wù)器虛擬化的軟件主要有Microsoft Hyper-V、VMware vSphere和 Citrix XenServer等等。在華東師范大學(xué)閔行校區(qū)(或中北校區(qū))，通過服務(wù)器虛擬化軟件VMware vSphere來將多臺物理服務(wù)器組合成一個群集，并通過配置SAN共享存儲，來實現(xiàn)vSphere的HA、DRS和vMotion的虛擬化高級功能，保障閔行校區(qū)（或中北校區(qū)）虛擬化業(yè)務(wù)高可用性和安全性。但這種方式存在單校區(qū)安全隱患，如當(dāng)閔行機(jī)房（或中北機(jī)房）出現(xiàn)斷電故障、用于支持物理服務(wù)器的PDU故障或者主機(jī)故障，將會使大范圍的服務(wù)受到影響，導(dǎo)致業(yè)務(wù)的長時間中斷或者不可恢復(fù)。

如何實現(xiàn)當(dāng)任何一個校區(qū)的虛擬化出現(xiàn)故障，能夠快速實現(xiàn)將業(yè)務(wù)飄到另一個校區(qū)提供服務(wù)，最大限度地減少損失，保證業(yè)務(wù)的高可用性與安全性，下文將從理論到實踐詳細(xì)闡述閔行校區(qū)和中北校區(qū)進(jìn)行多校區(qū)虛擬化平臺如何實施部署。

多校區(qū)虛擬化架構(gòu)設(shè)計

華東師范大學(xué)閔行校區(qū)和中北校區(qū)的多校區(qū)虛擬化平臺實施部署時，中北校區(qū)和閔行校區(qū)現(xiàn)有網(wǎng)絡(luò)架構(gòu)，服務(wù)器層面通過VMware vSphere 來實現(xiàn)服務(wù)器虛擬化。存儲層面通過EMC vplex設(shè)備創(chuàng)建虛擬卷為虛擬化平臺提供共享存儲。通過服務(wù)器和存儲虛擬化技術(shù)，在中北校區(qū)與閔行校區(qū)搭建兩校區(qū)虛擬化平臺。其基本架構(gòu)如圖1所示。

在中北校區(qū)和閔行校區(qū)各部署一套配置一致UCS刀片，通過虛擬化軟件VMware vSphere來實現(xiàn)服務(wù)器層面的虛擬化。兩校區(qū)網(wǎng)絡(luò)實現(xiàn)萬兆互聯(lián)，具有高速率、低延時、二層互通等特性，滿足虛擬化業(yè)務(wù)對網(wǎng)絡(luò)要求。在兩校區(qū)通過部署EMC vplex設(shè)備來實現(xiàn)存儲層面的虛擬化，兩校區(qū)vplex設(shè)備通過四根萬兆以太網(wǎng)實現(xiàn)兩校區(qū)數(shù)據(jù)復(fù)制與通信。同時，在第三點故障域部署監(jiān)控點，主要用于兩校區(qū)vplex設(shè)備的健康監(jiān)測與故障切換。在每一個校區(qū)，服務(wù)器與存儲之間通過兩臺brocade光纖交換機(jī)進(jìn)行連接。利用虛擬化技術(shù)，建立一個統(tǒng)一的、整體部署的多校區(qū)虛擬化的系統(tǒng)架構(gòu)，實現(xiàn)多校區(qū)虛擬化業(yè)務(wù)的雙活容錯，提高信息化集成業(yè)務(wù)的連續(xù)可用性和安全性。

圖1　兩校區(qū)虛擬化架構(gòu)

多校區(qū)虛擬化實現(xiàn)

虛擬化的實施部署工作主要涉及服務(wù)器虛擬化與存儲虛擬化這兩個方面的實施部署，具體如下。

服務(wù)器虛擬化實現(xiàn)

在中北校區(qū)與閔行校區(qū)都采用配置一致的UCS刀片用作虛擬化主機(jī)，虛擬化軟件采用VMware vSphere。服務(wù)器虛擬化主要涉及以下三個方面工作。

1.UCS刀片服務(wù)器初始化工作

在安裝虛擬化軟件ESXI之前，我們需要對UCS刀片進(jìn)行初始化工作。UCS刀片主要用于部署虛擬化軟件，承載虛擬化業(yè)務(wù)。UCS刀片主要由機(jī)箱和FI（fabric interconnect）組成。FI處理UCS所有的管理任務(wù)，提供上聯(lián)到現(xiàn)有的LAN和SAN，提供下聯(lián)到機(jī)箱。UCS刀片初始化工作主要通過FI管理控制臺來配置，主要涉及organization配置、UUID suffix配置、server池配置、本地磁盤策略配置、service profile模板配置、MAC池配置、vlan配置、vlan group創(chuàng)建、虛擬網(wǎng)卡模板配置、wwpn配置、wwnn配置、vsan配置、vhba模板配置、FEX配置、電源冗余策略配置、FI端口類型配置、物理刀片服務(wù)器與service profile關(guān)聯(lián)配置等。

2.vSphere ESXi安裝配置

ESXi直接運(yùn)行在物理服務(wù)器上，能夠提供功能強(qiáng)大且經(jīng)過生產(chǎn)驗證的虛擬化層。通過對服務(wù)器硬件資源（如內(nèi)存、存儲器、處理器及網(wǎng)絡(luò)設(shè)備等）進(jìn)行抽象，實現(xiàn)多臺虛擬機(jī)共享底層硬件資源。當(dāng)我們完成UCS刀片服務(wù)器初始化工作，接下來就需要在中北校區(qū)和閔行校區(qū)每臺刀片服務(wù)器上安裝和配置虛擬化軟件ESXi。

（1）ESXi安裝工作。通過調(diào)整服務(wù)器BIOS引導(dǎo)順序進(jìn)行安裝工作，在安裝過程中需要設(shè)置root用戶密碼等。

（2）ESXi配置工作。完成安裝后，通過root用戶進(jìn)行配置，主要涉及IP地址、DNS、VLAN、主機(jī)名和功能許可license等。

（3）vCenter server安裝配置

vCenter Server是VMware vSphere一個關(guān)于ESXi主機(jī)和虛擬機(jī)集中管理的虛擬化平臺。通過vCenter Server可以實現(xiàn)vSphere許多高級功能，如HA、DRS、vMotion等。

（1）vCenter server安裝工作。按照vCenter server部署基本要求，我們將軟件安裝到一臺Window Server2008R2 64位操作系統(tǒng)的虛擬機(jī)上。在安裝過程中，需要配置vCenter的數(shù)據(jù)庫，可以選擇系統(tǒng)自帶的Microsoft SQL Server Express,但對主機(jī)數(shù)量和虛擬機(jī)數(shù)量都有限制，僅適用于小規(guī)模部署，因此我們采用外部數(shù)據(jù)庫配置。關(guān)于涉及到TCP、UPD端口都采用默認(rèn)設(shè)置。

（2）vCenter server配置工作。通過客戶端軟件連接到vCenter server進(jìn)行相關(guān)配置工作， vCenter server配置工作主要涉及vCenter server基本功能配置、虛擬化網(wǎng)絡(luò)配置和共享存儲配置等。

vCenter server基本功能配置。主要涉及添加vCenter 許可license、建立兩校區(qū)數(shù)據(jù)中心、建立兩校區(qū)群集、將兩校區(qū)配置好的虛擬化主機(jī)添加到群集中、兩校區(qū)群集HA、DRS和vMotion功能配置等。

虛擬化網(wǎng)絡(luò)配置。網(wǎng)絡(luò)虛擬化可以實現(xiàn)不同虛擬機(jī)之間以及虛擬機(jī)與物理主機(jī)之間通信。針對每一臺主機(jī)采用標(biāo)準(zhǔn)交換機(jī)網(wǎng)絡(luò)模式，根據(jù)業(yè)務(wù)需求對端口組、管理網(wǎng)絡(luò)、網(wǎng)絡(luò)流量調(diào)整、網(wǎng)絡(luò)安全策略、物理網(wǎng)卡綁定等進(jìn)行配置。

共享存儲配置。針對通過光纖通道分配的兩校區(qū)虛擬卷，建立虛擬機(jī)文件系統(tǒng)（VMFS）,實現(xiàn)多個物理主機(jī)對同一存儲器同時執(zhí)行讀寫操作。

存儲虛擬化實現(xiàn)

通過服務(wù)器虛擬化配置，將中北校區(qū)和閔行校區(qū)的ESXi主機(jī)都添加到同一個群集中。要實現(xiàn)兩個校區(qū)虛擬化，還需要為兩校區(qū)主機(jī)配置SAN共享存儲。基于兩校區(qū)已有的EMC的存儲設(shè)備，在閔行校區(qū)和中北校區(qū)各部署一臺vplex設(shè)備，通過EMC vplex虛擬化技術(shù)，將中北校區(qū)和閔行校區(qū)的存儲卷做成一個虛擬卷，對于中北校區(qū)和閔行校區(qū)的ESXi主機(jī)而言，識別到的是同一塊存儲。接下來詳細(xì)介紹虛擬卷的配置，假設(shè)需要配置的虛擬卷大小為10T。

1.vplex初始化工作。主要涉及Hostname與管理端口配置、meta-volume配置、時間同步配置、WAN interface配置、logging volume配置、監(jiān)控點部署等

2.存儲卷分配。在中北和閔行的EMC存儲上分別劃分相應(yīng)大小為10T的卷給vplex設(shè)備。

3.存儲卷標(biāo)記。兩校區(qū)的vplex識別到存儲卷后并其進(jìn)行標(biāo)記，目的是讓存儲卷受vplex管理。

4.區(qū)間創(chuàng)建。分別在中北和閔行的vplex上創(chuàng)建區(qū)間。區(qū)間用來對vplex管理的存儲卷進(jìn)行空間規(guī)劃，我們將10T的存儲卷做成一個區(qū)間。

5.設(shè)備創(chuàng)建。設(shè)備創(chuàng)建過程實際上就是區(qū)間與設(shè)備映射的過程，我們采用一對一唯一映射方式在中北和閔行vplex創(chuàng)建設(shè)備。

6.虛擬卷創(chuàng)建。虛擬卷實際上就是將中北和閔行的vplex上的設(shè)備做成一個統(tǒng)一的卷，提供給虛擬主機(jī)使用。在創(chuàng)建虛擬卷中，需要創(chuàng)建一個consistency group（CG），這個CG包含這個全局的虛擬卷，在CG中需要設(shè)定一定取勝規(guī)則。

通過上面步驟，成功建立了虛擬卷。通過在中北和閔行的vplex建立存儲視圖，將UCS刀片服務(wù)器的HBA卡wwpn、vplex通信端口以及虛擬卷結(jié)合在一起，實現(xiàn)虛擬卷分配到兩校區(qū)ESXi主機(jī)，在虛擬主機(jī)經(jīng)過磁盤掃描后，就可以識別到通過vplex分配的虛擬卷。

圖2　多校區(qū)虛擬卷

多校區(qū)虛擬化模擬測試

通過上面的部署，通過虛擬化技術(shù)實現(xiàn)了多校區(qū)虛擬化平臺。在業(yè)務(wù)遷移到多校區(qū)虛擬化平臺之前，需要對虛擬化平臺進(jìn)行一系列功能模擬測試工作，主要涉及服務(wù)器虛擬化和存儲虛擬化的模擬測試。

服務(wù)器虛擬化測試

服務(wù)器虛擬化測試主要針對中北校區(qū)和閔行校區(qū)虛擬化平臺主要功能測試，主要涉及VMware vSphere的HA、vMotion等功能測試。將從閔行校區(qū)ESXi主機(jī)中取出的主機(jī)A和從中北校區(qū)ESXi主機(jī)中取出的主機(jī)B做成一個群集，并開啟群集的HA功能和vMotion功能，在主機(jī)A創(chuàng)建一臺業(yè)務(wù)測試機(jī)C。

1.多校區(qū)HA功能測試

vSphere HA功能用于檢測故障，對群集中運(yùn)行的虛擬機(jī)提供快速恢復(fù)功能。核心功能包括主機(jī)監(jiān)控、虛擬機(jī)監(jiān)控和應(yīng)用程序監(jiān)控功能，用于在檢測不到檢測信號時最大程度地縮短停機(jī)時間。本文主要以主機(jī)監(jiān)控功能測試為例。

表1　存儲虛擬化故障測試表

（1）通過對閔行ESXi主機(jī)A執(zhí)行斷電操作來模擬主機(jī)故障，同時針對業(yè)務(wù)測試機(jī)C，ping命令窗口顯示請求超時。

（2）經(jīng)過約200秒，業(yè)務(wù)測試機(jī)C的ping請求正常，業(yè)務(wù)測試機(jī)在中北校區(qū)主機(jī)B上重啟完成。

（3）恢復(fù)主機(jī)A正常狀態(tài)，對主機(jī)B執(zhí)行斷電操作模擬主機(jī)故障，同時針對業(yè)務(wù)測試機(jī)C，ping命令窗口顯示請求超時。

（4）經(jīng)過約200秒，業(yè)務(wù)測試機(jī)C的ping請求正常，業(yè)務(wù)測試機(jī)重回在閔行校區(qū)主機(jī)A上重啟完成。

2.多校vMotion功能測試

VMware vMotion 可以將運(yùn)行中的虛擬機(jī)從一臺虛擬主機(jī)實時遷移到另一臺虛擬主機(jī)上。在遷移過程中能夠保證業(yè)務(wù)的連續(xù)可用性和事務(wù)的完整性。Storage vMotion可以在不中斷服務(wù)的情形下實現(xiàn)虛擬機(jī)文件的不同數(shù)據(jù)存儲之間的遷移。本文主要以虛擬機(jī)遷移為例。

（1）對位于閔行ESXi主機(jī)A上的業(yè)務(wù)測試機(jī)C執(zhí)行vMotion，同時開啟對業(yè)務(wù)測試機(jī)的ping操作。

（2）在vMotion整個過程中，出現(xiàn)一個ping包丟失，服務(wù)可用無中斷，業(yè)務(wù)測試機(jī)成功遷移到中北校區(qū)ESXi主機(jī)B。

（3）對遷移到主機(jī)B的業(yè)務(wù)測試機(jī)C執(zhí)行vMotion，同時開啟對業(yè)務(wù)測試機(jī)的ping操作。

（4）在vMotion整個過程中，出現(xiàn)一個ping包丟失，服務(wù)可用無中斷，業(yè)務(wù)測試機(jī)成功遷移到閔行校區(qū)ESXi主機(jī)A。

存儲虛擬化測試

在兩校區(qū)通過部署EMC vplex設(shè)備來實現(xiàn)存儲層面的虛擬化，并在第三點故障域部署監(jiān)控點，主要用于兩校區(qū)vplex設(shè)備的健康監(jiān)測與故障切換。存儲虛擬化測試主要針對vplex設(shè)備及監(jiān)控點進(jìn)行測試，假定vplex設(shè)定規(guī)則為集群cluster1作為勝利者，測試結(jié)果參見表格1。

業(yè)務(wù)遷移方案

多校區(qū)虛擬化平臺搭建與測試完成之后，接下來考慮相關(guān)業(yè)務(wù)系統(tǒng)遷移工作，主要涉及短信平臺、報表系統(tǒng)、ESRS監(jiān)控系統(tǒng)、Lenovo虛擬化平臺、AD域服務(wù)器等。

1.針對部署在其他虛擬化平臺的業(yè)務(wù)，如Lenovo虛擬化業(yè)務(wù)等

關(guān)于部署在Lenovo虛擬化平臺的業(yè)務(wù)系統(tǒng)，由于不滿足vMotion的條件，只能采用冷遷移的方式。

（1）在vCenter上新建一個群集，將Lenovo主機(jī)添加到新建的群集中；

（2）將Lenovo虛擬平臺的業(yè)務(wù)虛擬機(jī)進(jìn)行關(guān)機(jī)，并將虛擬機(jī)遷移到多校區(qū)虛擬化平臺群集上；

（3）遷移完成后，在兩校區(qū)虛擬化平臺上將業(yè)務(wù)虛擬機(jī)重新啟動，業(yè)務(wù)運(yùn)行。

2.針對部署在實體機(jī)上的業(yè)務(wù)，如報表系統(tǒng)、短信平臺等

（1）針對部署在實體機(jī)上的業(yè)務(wù)且操作系統(tǒng)為Window或者Linux系統(tǒng)，如報表系統(tǒng)、ESRS監(jiān)控系統(tǒng)、AD域服務(wù)器等。我們采用VMware vCenter Converter工具來實現(xiàn)實轉(zhuǎn)虛操作，將實體機(jī)轉(zhuǎn)化成兩校區(qū)虛擬化平臺的虛擬機(jī)。

（2）針對部署在實體機(jī)上的業(yè)務(wù)且操作系統(tǒng)為solaris系統(tǒng)，如短信平臺。我們只能采用在兩校區(qū)虛擬化平臺重新部署的方式，無法采用VMware vCenter Converter工具來實現(xiàn)實轉(zhuǎn)虛操作。

通過上述操作，完成相關(guān)業(yè)務(wù)系統(tǒng)的遷移工作。經(jīng)過一段時間觀察，業(yè)務(wù)運(yùn)行穩(wěn)定，達(dá)到預(yù)期效果。針對后續(xù)新增業(yè)務(wù)系統(tǒng)，如K2系統(tǒng)、資源管理系統(tǒng)等，采用直接部署在兩校區(qū)虛擬化平臺上的方式，進(jìn)一步提高業(yè)務(wù)的連續(xù)可用性和安全性。

多校區(qū)虛擬化平臺采用EMC vplex設(shè)備創(chuàng)建的虛擬卷作為共享存儲，通過VMware vSphere虛擬化技術(shù)來實現(xiàn)虛擬化業(yè)務(wù)在兩校區(qū)虛擬主機(jī)上高效穩(wěn)定運(yùn)行。到目前為止，在多校區(qū)虛擬化平臺上遷移和新建的業(yè)務(wù)運(yùn)行穩(wěn)定，達(dá)到預(yù)期目標(biāo)。多校區(qū)虛擬化平臺建立了一個統(tǒng)一的、整體部署的虛擬化異地容災(zāi)的系統(tǒng)框架，實現(xiàn)兩校區(qū)虛擬化業(yè)務(wù)的雙活容錯，有效解決了單校區(qū)安全隱患，提高信息化集成業(yè)務(wù)的連續(xù)可用性和安全性。

（為華東師范大學(xué)信息化辦公室）