文/李雪鋒 趙春 陳麗榮 張增修 陳潔
多校區(qū)虛擬化平臺的設(shè)計與實現(xiàn)
文/李雪鋒趙春陳麗榮張增修陳潔
多校區(qū)虛擬化平臺設(shè)計與實現(xiàn),主要涉及多校區(qū)虛擬化平臺實施部署、多校區(qū)虛擬化平臺模擬測試、業(yè)務(wù)遷移方案等。實踐發(fā)現(xiàn),根據(jù)學(xué)校多校區(qū)的特點,通過采用虛擬化技術(shù),在兩個校區(qū)部署虛擬化平臺,實現(xiàn)虛擬化業(yè)務(wù)在兩校區(qū)虛擬主機(jī)高效穩(wěn)定運(yùn)行,從而進(jìn)一步提升兩校區(qū)信息化集成業(yè)務(wù)的連續(xù)可用性和安全性。
隨著信息化技術(shù)不斷發(fā)展,虛擬化技術(shù)越來越多應(yīng)用于學(xué)校信息化建設(shè)。常見服務(wù)器虛擬化的軟件主要有Microsoft Hyper-V、VMware vSphere和 Citrix XenServer等等。在華東師范大學(xué)閔行校區(qū)(或中北校區(qū)),通過服務(wù)器虛擬化軟件VMware vSphere來將多臺物理服務(wù)器組合成一個群集,并通過配置SAN共享存儲,來實現(xiàn)vSphere的HA、DRS和vMotion的虛擬化高級功能,保障閔行校區(qū)(或中北校區(qū))虛擬化業(yè)務(wù)高可用性和安全性。但這種方式存在單校區(qū)安全隱患,如當(dāng)閔行機(jī)房(或中北機(jī)房)出現(xiàn)斷電故障、用于支持物理服務(wù)器的PDU故障或者主機(jī)故障,將會使大范圍的服務(wù)受到影響,導(dǎo)致業(yè)務(wù)的長時間中斷或者不可恢復(fù)。
如何實現(xiàn)當(dāng)任何一個校區(qū)的虛擬化出現(xiàn)故障,能夠快速實現(xiàn)將業(yè)務(wù)飄到另一個校區(qū)提供服務(wù),最大限度地減少損失,保證業(yè)務(wù)的高可用性與安全性,下文將從理論到實踐詳細(xì)闡述閔行校區(qū)和中北校區(qū)進(jìn)行多校區(qū)虛擬化平臺如何實施部署。
華東師范大學(xué)閔行校區(qū)和中北校區(qū)的多校區(qū)虛擬化平臺實施部署時,中北校區(qū)和閔行校區(qū)現(xiàn)有網(wǎng)絡(luò)架構(gòu),服務(wù)器層面通過VMware vSphere 來實現(xiàn)服務(wù)器虛擬化。存儲層面通過EMC vplex設(shè)備創(chuàng)建虛擬卷為虛擬化平臺提供共享存儲。通過服務(wù)器和存儲虛擬化技術(shù),在中北校區(qū)與閔行校區(qū)搭建兩校區(qū)虛擬化平臺。其基本架構(gòu)如圖1所示。
在中北校區(qū)和閔行校區(qū)各部署一套配置一致UCS刀片,通過虛擬化軟件VMware vSphere來實現(xiàn)服務(wù)器層面的虛擬化。兩校區(qū)網(wǎng)絡(luò)實現(xiàn)萬兆互聯(lián),具有高速率、低延時、二層互通等特性,滿足虛擬化業(yè)務(wù)對網(wǎng)絡(luò)要求。在兩校區(qū)通過部署EMC vplex設(shè)備來實現(xiàn)存儲層面的虛擬化,兩校區(qū)vplex設(shè)備通過四根萬兆以太網(wǎng)實現(xiàn)兩校區(qū)數(shù)據(jù)復(fù)制與通信。同時,在第三點故障域部署監(jiān)控點,主要用于兩校區(qū)vplex設(shè)備的健康監(jiān)測與故障切換。在每一個校區(qū),服務(wù)器與存儲之間通過兩臺brocade光纖交換機(jī)進(jìn)行連接。利用虛擬化技術(shù),建立一個統(tǒng)一的、整體部署的多校區(qū)虛擬化的系統(tǒng)架構(gòu),實現(xiàn)多校區(qū)虛擬化業(yè)務(wù)的雙活容錯,提高信息化集成業(yè)務(wù)的連續(xù)可用性和安全性。
圖1 兩校區(qū)虛擬化架構(gòu)
虛擬化的實施部署工作主要涉及服務(wù)器虛擬化與存儲虛擬化這兩個方面的實施部署,具體如下。
服務(wù)器虛擬化實現(xiàn)
在中北校區(qū)與閔行校區(qū)都采用配置一致的UCS刀片用作虛擬化主機(jī),虛擬化軟件采用VMware vSphere。服務(wù)器虛擬化主要涉及以下三個方面工作。
1.UCS刀片服務(wù)器初始化工作
在安裝虛擬化軟件ESXI之前,我們需要對UCS刀片進(jìn)行初始化工作。UCS刀片主要用于部署虛擬化軟件,承載虛擬化業(yè)務(wù)。UCS刀片主要由機(jī)箱和FI(fabric interconnect)組成。FI處理UCS所有的管理任務(wù),提供上聯(lián)到現(xiàn)有的LAN和SAN,提供下聯(lián)到機(jī)箱。UCS刀片初始化工作主要通過FI管理控制臺來配置,主要涉及organization配置、UUID suffix配置、server池配置、本地磁盤策略配置、service profile模板配置、MAC池配置、vlan配置、vlan group創(chuàng)建、虛擬網(wǎng)卡模板配置、wwpn配置、wwnn配置、vsan配置、vhba模板配置、FEX配置、電源冗余策略配置、FI端口類型配置、物理刀片服務(wù)器與service profile關(guān)聯(lián)配置等。
2.vSphere ESXi安裝配置
ESXi直接運(yùn)行在物理服務(wù)器上,能夠提供功能強(qiáng)大且經(jīng)過生產(chǎn)驗證的虛擬化層。通過對服務(wù)器硬件資源(如內(nèi)存、存儲器、處理器及網(wǎng)絡(luò)設(shè)備等)進(jìn)行抽象,實現(xiàn)多臺虛擬機(jī)共享底層硬件資源。當(dāng)我們完成UCS刀片服務(wù)器初始化工作,接下來就需要在中北校區(qū)和閔行校區(qū)每臺刀片服務(wù)器上安裝和配置虛擬化軟件ESXi。
(1)ESXi安裝工作。通過調(diào)整服務(wù)器BIOS引導(dǎo)順序進(jìn)行安裝工作,在安裝過程中需要設(shè)置root用戶密碼等。
(2)ESXi配置工作。完成安裝后,通過root用戶進(jìn)行配置,主要涉及IP地址、DNS、VLAN、主機(jī)名和功能許可license等。
(3)vCenter server安裝配置
vCenter Server是VMware vSphere一個關(guān)于ESXi主機(jī)和虛擬機(jī)集中管理的虛擬化平臺。通過vCenter Server可以實現(xiàn)vSphere許多高級功能,如HA、DRS、vMotion等。
(1)vCenter server安裝工作。按照vCenter server部署基本要求,我們將軟件安裝到一臺Window Server2008R2 64位操作系統(tǒng)的虛擬機(jī)上。在安裝過程中,需要配置vCenter的數(shù)據(jù)庫,可以選擇系統(tǒng)自帶的Microsoft SQL Server Express,但對主機(jī)數(shù)量和虛擬機(jī)數(shù)量都有限制,僅適用于小規(guī)模部署,因此我們采用外部數(shù)據(jù)庫配置。關(guān)于涉及到TCP、UPD端口都采用默認(rèn)設(shè)置。
(2)vCenter server配置工作。通過客戶端軟件連接到vCenter server進(jìn)行相關(guān)配置工作, vCenter server配置工作主要涉及vCenter server基本功能配置、虛擬化網(wǎng)絡(luò)配置和共享存儲配置等。
vCenter server基本功能配置。主要涉及添加vCenter 許可license、建立兩校區(qū)數(shù)據(jù)中心、建立兩校區(qū)群集、將兩校區(qū)配置好的虛擬化主機(jī)添加到群集中、兩校區(qū)群集HA、DRS和vMotion功能配置等。
虛擬化網(wǎng)絡(luò)配置。網(wǎng)絡(luò)虛擬化可以實現(xiàn)不同虛擬機(jī)之間以及虛擬機(jī)與物理主機(jī)之間通信。針對每一臺主機(jī)采用標(biāo)準(zhǔn)交換機(jī)網(wǎng)絡(luò)模式,根據(jù)業(yè)務(wù)需求對端口組、管理網(wǎng)絡(luò)、網(wǎng)絡(luò)流量調(diào)整、網(wǎng)絡(luò)安全策略、物理網(wǎng)卡綁定等進(jìn)行配置。
共享存儲配置。針對通過光纖通道分配的兩校區(qū)虛擬卷,建立虛擬機(jī)文件系統(tǒng)(VMFS),實現(xiàn)多個物理主機(jī)對同一存儲器同時執(zhí)行讀寫操作。
存儲虛擬化實現(xiàn)
通過服務(wù)器虛擬化配置,將中北校區(qū)和閔行校區(qū)的ESXi主機(jī)都添加到同一個群集中。要實現(xiàn)兩個校區(qū)虛擬化,還需要為兩校區(qū)主機(jī)配置SAN共享存儲。基于兩校區(qū)已有的EMC的存儲設(shè)備,在閔行校區(qū)和中北校區(qū)各部署一臺vplex設(shè)備,通過EMC vplex虛擬化技術(shù),將中北校區(qū)和閔行校區(qū)的存儲卷做成一個虛擬卷,對于中北校區(qū)和閔行校區(qū)的ESXi主機(jī)而言,識別到的是同一塊存儲。接下來詳細(xì)介紹虛擬卷的配置,假設(shè)需要配置的虛擬卷大小為10T。
1.vplex初始化工作。主要涉及Hostname與管理端口配置、meta-volume配置、時間同步配置、WAN interface配置、logging volume配置、監(jiān)控點部署等
2.存儲卷分配。在中北和閔行的EMC存儲上分別劃分相應(yīng)大小為10T的卷給vplex設(shè)備。
3.存儲卷標(biāo)記。兩校區(qū)的vplex識別到存儲卷后并其進(jìn)行標(biāo)記,目的是讓存儲卷受vplex管理。
4.區(qū)間創(chuàng)建。分別在中北和閔行的vplex上創(chuàng)建區(qū)間。區(qū)間用來對vplex管理的存儲卷進(jìn)行空間規(guī)劃,我們將10T的存儲卷做成一個區(qū)間。
5.設(shè)備創(chuàng)建。設(shè)備創(chuàng)建過程實際上就是區(qū)間與設(shè)備映射的過程,我們采用一對一唯一映射方式在中北和閔行vplex創(chuàng)建設(shè)備。
6.虛擬卷創(chuàng)建。虛擬卷實際上就是將中北和閔行的vplex上的設(shè)備做成一個統(tǒng)一的卷,提供給虛擬主機(jī)使用。在創(chuàng)建虛擬卷中,需要創(chuàng)建一個consistency group(CG),這個CG包含這個全局的虛擬卷,在CG中需要設(shè)定一定取勝規(guī)則。
通過上面步驟,成功建立了虛擬卷。通過在中北和閔行的vplex建立存儲視圖,將UCS刀片服務(wù)器的HBA卡wwpn、vplex通信端口以及虛擬卷結(jié)合在一起,實現(xiàn)虛擬卷分配到兩校區(qū)ESXi主機(jī),在虛擬主機(jī)經(jīng)過磁盤掃描后,就可以識別到通過vplex分配的虛擬卷。
圖2 多校區(qū)虛擬卷
通過上面的部署,通過虛擬化技術(shù)實現(xiàn)了多校區(qū)虛擬化平臺。在業(yè)務(wù)遷移到多校區(qū)虛擬化平臺之前,需要對虛擬化平臺進(jìn)行一系列功能模擬測試工作,主要涉及服務(wù)器虛擬化和存儲虛擬化的模擬測試。
服務(wù)器虛擬化測試
服務(wù)器虛擬化測試主要針對中北校區(qū)和閔行校區(qū)虛擬化平臺主要功能測試,主要涉及VMware vSphere的HA、vMotion等功能測試。將從閔行校區(qū)ESXi主機(jī)中取出的主機(jī)A和從中北校區(qū)ESXi主機(jī)中取出的主機(jī)B做成一個群集,并開啟群集的HA功能和vMotion功能,在主機(jī)A創(chuàng)建一臺業(yè)務(wù)測試機(jī)C。
1.多校區(qū)HA功能測試
vSphere HA功能用于檢測故障,對群集中運(yùn)行的虛擬機(jī)提供快速恢復(fù)功能。核心功能包括主機(jī)監(jiān)控、虛擬機(jī)監(jiān)控和應(yīng)用程序監(jiān)控功能,用于在檢測不到檢測信號時最大程度地縮短停機(jī)時間。本文主要以主機(jī)監(jiān)控功能測試為例。
表1 存儲虛擬化故障測試表
(1)通過對閔行ESXi主機(jī)A執(zhí)行斷電操作來模擬主機(jī)故障,同時針對業(yè)務(wù)測試機(jī)C,ping命令窗口顯示請求超時。
(2)經(jīng)過約200秒,業(yè)務(wù)測試機(jī)C的ping請求正常,業(yè)務(wù)測試機(jī)在中北校區(qū)主機(jī)B上重啟完成。
(3)恢復(fù)主機(jī)A正常狀態(tài),對主機(jī)B執(zhí)行斷電操作模擬主機(jī)故障,同時針對業(yè)務(wù)測試機(jī)C,ping命令窗口顯示請求超時。
(4)經(jīng)過約200秒,業(yè)務(wù)測試機(jī)C的ping請求正常,業(yè)務(wù)測試機(jī)重回在閔行校區(qū)主機(jī)A上重啟完成。
2.多校vMotion功能測試
VMware vMotion 可以將運(yùn)行中的虛擬機(jī)從一臺虛擬主機(jī)實時遷移到另一臺虛擬主機(jī)上。在遷移過程中能夠保證業(yè)務(wù)的連續(xù)可用性和事務(wù)的完整性。Storage vMotion可以在不中斷服務(wù)的情形下實現(xiàn)虛擬機(jī)文件的不同數(shù)據(jù)存儲之間的遷移。本文主要以虛擬機(jī)遷移為例。
(1)對位于閔行ESXi主機(jī)A上的業(yè)務(wù)測試機(jī)C執(zhí)行vMotion,同時開啟對業(yè)務(wù)測試機(jī)的ping操作。
(2)在vMotion整個過程中,出現(xiàn)一個ping包丟失,服務(wù)可用無中斷,業(yè)務(wù)測試機(jī)成功遷移到中北校區(qū)ESXi主機(jī)B。
(3)對遷移到主機(jī)B的業(yè)務(wù)測試機(jī)C執(zhí)行vMotion,同時開啟對業(yè)務(wù)測試機(jī)的ping操作。
(4)在vMotion整個過程中,出現(xiàn)一個ping包丟失,服務(wù)可用無中斷,業(yè)務(wù)測試機(jī)成功遷移到閔行校區(qū)ESXi主機(jī)A。
存儲虛擬化測試
在兩校區(qū)通過部署EMC vplex設(shè)備來實現(xiàn)存儲層面的虛擬化,并在第三點故障域部署監(jiān)控點,主要用于兩校區(qū)vplex設(shè)備的健康監(jiān)測與故障切換。存儲虛擬化測試主要針對vplex設(shè)備及監(jiān)控點進(jìn)行測試,假定vplex設(shè)定規(guī)則為集群cluster1作為勝利者,測試結(jié)果參見表格1。
多校區(qū)虛擬化平臺搭建與測試完成之后,接下來考慮相關(guān)業(yè)務(wù)系統(tǒng)遷移工作,主要涉及短信平臺、報表系統(tǒng)、ESRS監(jiān)控系統(tǒng)、Lenovo虛擬化平臺、AD域服務(wù)器等。
1.針對部署在其他虛擬化平臺的業(yè)務(wù),如Lenovo虛擬化業(yè)務(wù)等
關(guān)于部署在Lenovo虛擬化平臺的業(yè)務(wù)系統(tǒng),由于不滿足vMotion的條件,只能采用冷遷移的方式。
(1)在vCenter上新建一個群集,將Lenovo主機(jī)添加到新建的群集中;
(2)將Lenovo虛擬平臺的業(yè)務(wù)虛擬機(jī)進(jìn)行關(guān)機(jī),并將虛擬機(jī)遷移到多校區(qū)虛擬化平臺群集上;
(3)遷移完成后,在兩校區(qū)虛擬化平臺上將業(yè)務(wù)虛擬機(jī)重新啟動,業(yè)務(wù)運(yùn)行。
2.針對部署在實體機(jī)上的業(yè)務(wù),如報表系統(tǒng)、短信平臺等
(1)針對部署在實體機(jī)上的業(yè)務(wù)且操作系統(tǒng)為Window或者Linux系統(tǒng),如報表系統(tǒng)、ESRS監(jiān)控系統(tǒng)、AD域服務(wù)器等。我們采用VMware vCenter Converter工具來實現(xiàn)實轉(zhuǎn)虛操作,將實體機(jī)轉(zhuǎn)化成兩校區(qū)虛擬化平臺的虛擬機(jī)。
(2)針對部署在實體機(jī)上的業(yè)務(wù)且操作系統(tǒng)為solaris系統(tǒng),如短信平臺。我們只能采用在兩校區(qū)虛擬化平臺重新部署的方式,無法采用VMware vCenter Converter工具來實現(xiàn)實轉(zhuǎn)虛操作。
通過上述操作,完成相關(guān)業(yè)務(wù)系統(tǒng)的遷移工作。經(jīng)過一段時間觀察,業(yè)務(wù)運(yùn)行穩(wěn)定,達(dá)到預(yù)期效果。針對后續(xù)新增業(yè)務(wù)系統(tǒng),如K2系統(tǒng)、資源管理系統(tǒng)等,采用直接部署在兩校區(qū)虛擬化平臺上的方式,進(jìn)一步提高業(yè)務(wù)的連續(xù)可用性和安全性。
多校區(qū)虛擬化平臺采用EMC vplex設(shè)備創(chuàng)建的虛擬卷作為共享存儲,通過VMware vSphere虛擬化技術(shù)來實現(xiàn)虛擬化業(yè)務(wù)在兩校區(qū)虛擬主機(jī)上高效穩(wěn)定運(yùn)行。到目前為止,在多校區(qū)虛擬化平臺上遷移和新建的業(yè)務(wù)運(yùn)行穩(wěn)定,達(dá)到預(yù)期目標(biāo)。多校區(qū)虛擬化平臺建立了一個統(tǒng)一的、整體部署的虛擬化異地容災(zāi)的系統(tǒng)框架,實現(xiàn)兩校區(qū)虛擬化業(yè)務(wù)的雙活容錯,有效解決了單校區(qū)安全隱患,提高信息化集成業(yè)務(wù)的連續(xù)可用性和安全性。
(為華東師范大學(xué)信息化辦公室)