◆宮宇 婁道凱

高校數(shù)據(jù)中心虛擬化的建設(shè)與實(shí)踐—以東北財(cái)經(jīng)大學(xué)實(shí)驗(yàn)教學(xué)中心為例

◆宮宇 婁道凱

（東北財(cái)經(jīng)大學(xué)創(chuàng)新創(chuàng)業(yè)與實(shí)驗(yàn)教學(xué)中心 遼寧 116025）

本文以東北財(cái)經(jīng)大學(xué)實(shí)驗(yàn)教學(xué)中心為例，分析傳統(tǒng)物理服務(wù)器架構(gòu)的數(shù)據(jù)中心在運(yùn)維管理以及對(duì)實(shí)驗(yàn)教學(xué)支撐的不足，通過(guò)虛擬化技術(shù)完成傳統(tǒng)物理數(shù)據(jù)中心到虛擬化數(shù)據(jù)中心的改造，實(shí)踐證明虛擬化數(shù)據(jù)中心的建立，在實(shí)現(xiàn)綠色、高效、便捷、統(tǒng)一管理的同時(shí)，為學(xué)校雙創(chuàng)教育、實(shí)驗(yàn)教學(xué)的發(fā)展提供了有力支撐。

服務(wù)器；虛擬化；數(shù)據(jù)中心；實(shí)驗(yàn)教學(xué)

1 傳統(tǒng)物理服務(wù)器架構(gòu)的數(shù)據(jù)中心的劣勢(shì)分析

我校實(shí)驗(yàn)教學(xué)中心自2008年陸續(xù)購(gòu)置了20余臺(tái)聯(lián)想萬(wàn)全物理服務(wù)器，用于支撐全校30多個(gè)實(shí)驗(yàn)教學(xué)系統(tǒng)的運(yùn)行。中心目前承擔(dān)運(yùn)行的各類(lèi)業(yè)務(wù)主要包括：創(chuàng)新創(chuàng)業(yè)、實(shí)驗(yàn)教學(xué)、國(guó)家級(jí)虛擬仿真項(xiàng)目建設(shè)、創(chuàng)業(yè)大賽、上機(jī)考試等。隨著實(shí)驗(yàn)、實(shí)踐、創(chuàng)新創(chuàng)業(yè)等各類(lèi)系統(tǒng)對(duì)算力需求的逐年攀升，原有的服務(wù)器資源在保證舊有業(yè)務(wù)系統(tǒng)的運(yùn)行之外，已無(wú)法支撐新的業(yè)務(wù)系統(tǒng)的部署和運(yùn)行，主要存在如下幾個(gè)方面問(wèn)題。

1.1 服務(wù)器算力資源分配不均及硬件故障

中心的20多臺(tái)物理服務(wù)器運(yùn)行至今已有十余年，raid卡故障、硬盤(pán)故障、電源故障、網(wǎng)卡故障等時(shí)有發(fā)生。一臺(tái)物理服務(wù)器的硬件故障有可能導(dǎo)致若干業(yè)務(wù)系統(tǒng)無(wú)法運(yùn)行，無(wú)法實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)運(yùn)行的快速恢復(fù)。由于算力資源受限，多個(gè)業(yè)務(wù)系統(tǒng)同時(shí)運(yùn)行會(huì)導(dǎo)致CPU、內(nèi)存資源急劇攀升，而處于空閑的服務(wù)器資源則沒(méi)有充分利用。

1.2 服務(wù)器算力資源分配不均及硬件故障

服務(wù)器資源的分配原則是一臺(tái)物理服務(wù)器對(duì)應(yīng)一個(gè)應(yīng)用，但隨著各類(lèi)業(yè)務(wù)系統(tǒng)的不斷增加，在物理服務(wù)器資源有限的情況下，導(dǎo)致一臺(tái)服務(wù)器通常需要運(yùn)行兩個(gè)甚至多個(gè)應(yīng)用系統(tǒng)。由于各個(gè)業(yè)務(wù)系統(tǒng)運(yùn)行所需的庫(kù)文件、中間件、數(shù)據(jù)庫(kù)的不同，即使能夠在同一操作系統(tǒng)運(yùn)行，不同的軟件彼此在運(yùn)行過(guò)程中也會(huì)有沖突的情況產(chǎn)生（進(jìn)程、端口占用），不同廠商的技術(shù)人員在對(duì)本公司開(kāi)發(fā)的系統(tǒng)進(jìn)行運(yùn)維時(shí)，有可能導(dǎo)致另一個(gè)業(yè)務(wù)系統(tǒng)無(wú)法正常使用。

1.3 運(yùn)維及部署周期成本高

由于服務(wù)器的物理隔離，運(yùn)維管理人員無(wú)法實(shí)現(xiàn)物理服務(wù)器的批量、集中、統(tǒng)一管理，無(wú)法實(shí)現(xiàn)算力資源的統(tǒng)一調(diào)度。一個(gè)新應(yīng)用的上線運(yùn)行之前，一般需要經(jīng)過(guò)預(yù)算、采購(gòu)、系統(tǒng)安裝、調(diào)試、測(cè)試和上線等幾個(gè)階段。在服務(wù)器上架之后系統(tǒng)部署之前，需要部署raid陣列、安裝操作系統(tǒng)、配置相應(yīng)的安全防護(hù)策略等若干步驟。由于數(shù)據(jù)中心本身物理空間、電力的限制，實(shí)現(xiàn)一個(gè)應(yīng)用對(duì)應(yīng)一個(gè)物理服務(wù)器勢(shì)必造成空間、能源、人力的巨大損耗。

2 數(shù)據(jù)中心虛擬化的優(yōu)勢(shì)分析

服務(wù)器虛擬化是將服務(wù)器物理資源抽象成邏輯資源，讓一臺(tái)服務(wù)器變成幾臺(tái)甚至上百臺(tái)物理隔離的虛擬服務(wù)器，不再受物理結(jié)構(gòu)限制，讓CPU、內(nèi)存、磁盤(pán)、網(wǎng)絡(luò)等硬件變成動(dòng)態(tài)可管理的“資源池”，從而提高資源利用率，簡(jiǎn)化系統(tǒng)管理，實(shí)現(xiàn)服務(wù)器的資源整合[1]。結(jié)合我校實(shí)驗(yàn)教學(xué)中心物理服務(wù)器數(shù)據(jù)中心的現(xiàn)狀，通過(guò)服務(wù)器虛擬化帶來(lái)如下優(yōu)勢(shì)。

2.1 降低能耗、節(jié)省空間

利用虛擬化將三臺(tái)計(jì)算服務(wù)器、三臺(tái)存儲(chǔ)服務(wù)器及相關(guān)網(wǎng)絡(luò)互聯(lián)設(shè)備構(gòu)建虛擬化集群，替代25臺(tái)物理服務(wù)器的計(jì)算及存儲(chǔ)資源。

2.2 降低能耗、節(jié)省空間

每個(gè)虛擬主機(jī)可以根據(jù)業(yè)務(wù)系統(tǒng)的配置要求，配置相應(yīng)的CPU、內(nèi)存、硬盤(pán)、操作系統(tǒng)、設(shè)置獨(dú)立的IP及應(yīng)用端口，實(shí)現(xiàn)虛擬主機(jī)與業(yè)務(wù)系統(tǒng)的一對(duì)一關(guān)系，各虛擬主機(jī)之間彼此互不影響，結(jié)合安全審計(jì)堡壘機(jī)，將各業(yè)務(wù)系統(tǒng)的虛擬主機(jī)與廠商技術(shù)人員實(shí)現(xiàn)業(yè)務(wù)綁定，實(shí)現(xiàn)遠(yuǎn)程部署和運(yùn)維，對(duì)業(yè)務(wù)系統(tǒng)的任何操作都能有據(jù)可查。

2.3 服務(wù)器資源的統(tǒng)一分配、調(diào)度

合理利用CPU、內(nèi)存、硬盤(pán)、網(wǎng)絡(luò)資源，實(shí)現(xiàn)服務(wù)器資源的按需分配，提高服務(wù)器資源的利用率，當(dāng)某臺(tái)主機(jī)服務(wù)器的計(jì)算、存儲(chǔ)資源不足時(shí)，利用虛擬化特有的HA、VMotion、FT等高級(jí)功能，可以隨時(shí)將虛機(jī)資源遷移到另外一臺(tái)資源充足的服務(wù)器上運(yùn)行，遷移方式可以實(shí)現(xiàn)計(jì)算、存儲(chǔ)及整機(jī)遷移。

2.4 利用P2V（物理機(jī)遷移虛擬機(jī)）實(shí)現(xiàn)系統(tǒng)遷移

實(shí)驗(yàn)系統(tǒng)的運(yùn)行環(huán)境存在數(shù)據(jù)庫(kù)、操作系統(tǒng)版本老舊，無(wú)法升級(jí)且只能在固定服務(wù)器上運(yùn)行，部分實(shí)驗(yàn)系統(tǒng)已經(jīng)脫保，但依舊在使用的情況存在。為保證實(shí)驗(yàn)系統(tǒng)的可靠運(yùn)行，提升實(shí)驗(yàn)系統(tǒng)對(duì)算力資源的需求，保證實(shí)驗(yàn)系統(tǒng)的穩(wěn)定運(yùn)行和統(tǒng)一管理，采用P2V技術(shù)將實(shí)驗(yàn)系統(tǒng)遷移到虛擬機(jī)上，使之能夠運(yùn)行于虛擬化平臺(tái)之上。由于部分實(shí)驗(yàn)系統(tǒng)采用USB硬加密的方式，導(dǎo)致虛擬機(jī)無(wú)法識(shí)別USB硬加密的問(wèn)題，通過(guò)將USB over Network軟件解決。

3 數(shù)據(jù)中心虛擬化的優(yōu)勢(shì)分析

實(shí)驗(yàn)教學(xué)中心為全校師生提供IaSS基礎(chǔ)架構(gòu)服務(wù)，具體包括兩大服務(wù)方向：計(jì)算終端服務(wù)、數(shù)據(jù)中心服務(wù)。計(jì)算終端服務(wù)：1200余臺(tái)終端承擔(dān)全校實(shí)驗(yàn)、實(shí)訓(xùn)、考試、創(chuàng)新創(chuàng)業(yè)大賽的上機(jī)任務(wù)。數(shù)據(jù)中心服務(wù)：25臺(tái)物理服務(wù)器為各類(lèi)實(shí)驗(yàn)教學(xué)平臺(tái)提供基礎(chǔ)運(yùn)行環(huán)境。

中心31個(gè)實(shí)驗(yàn)室共計(jì)1200余臺(tái)計(jì)算終端（包括物理PC、桌面云服務(wù)），目前已完成VDI、VOI、IDV三種桌面云虛擬化技術(shù)解決方案的設(shè)計(jì)、部署、測(cè)試和運(yùn)行，能夠滿(mǎn)足實(shí)驗(yàn)、實(shí)訓(xùn)、創(chuàng)新創(chuàng)業(yè)大賽等多場(chǎng)景使用需求。其中VDI解決方案40點(diǎn)位實(shí)現(xiàn)實(shí)驗(yàn)室開(kāi)放共享、教學(xué)資源的遠(yuǎn)程訪問(wèn)，VOI解決方案部署40點(diǎn)位充分發(fā)揮現(xiàn)有實(shí)驗(yàn)室硬件資源、為虛擬仿真、科研、高性能計(jì)算提供服務(wù)。其中IDV架構(gòu)解決方案262點(diǎn)位部署從2019年至今，已保證各類(lèi)日常教學(xué)、和各類(lèi)考試的高效穩(wěn)定運(yùn)行[2]。

中心具備功能完備的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。31個(gè)實(shí)驗(yàn)室通過(guò)劃分獨(dú)立的VLAN和IP子網(wǎng)，實(shí)現(xiàn)可靠的安全性、帶寬利用率以及便捷的管理。每個(gè)實(shí)驗(yàn)室通過(guò)接入層交換機(jī)光纖匯聚到核心交換機(jī)S7606，數(shù)據(jù)中心區(qū)域通過(guò)千兆電口上聯(lián)核心交換機(jī)S7606實(shí)現(xiàn)不同實(shí)驗(yàn)室之間、實(shí)驗(yàn)室與數(shù)據(jù)中心區(qū)域的高速互訪，核心交換機(jī)上聯(lián)出口網(wǎng)關(guān)NPE60E千兆光纖鏈路至校園網(wǎng)。

因此通過(guò)服務(wù)器虛擬化技術(shù)完成從傳統(tǒng)物理架構(gòu)向虛擬化數(shù)據(jù)中心的改造是完全可行的，將25臺(tái)物理服務(wù)器的實(shí)驗(yàn)平臺(tái)全部遷移到虛擬化集群，具體網(wǎng)絡(luò)拓?fù)淙鐖D1所示。

圖1 實(shí)驗(yàn)教學(xué)中心網(wǎng)絡(luò)拓?fù)?/p>

4 基于vsphere構(gòu)建數(shù)據(jù)中心虛擬化的建設(shè)實(shí)踐

圖2 數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)?/p>

針對(duì)上述傳統(tǒng)物理架構(gòu)的數(shù)據(jù)中心運(yùn)行中存在的問(wèn)題，結(jié)合中心現(xiàn)有網(wǎng)絡(luò)拓?fù)?、統(tǒng)計(jì)現(xiàn)有實(shí)驗(yàn)平臺(tái)所需計(jì)算及相關(guān)存儲(chǔ)資源以及未來(lái)的可擴(kuò)展性。采用vsphere的兩大組件ESXI及vCenter[3]，實(shí)現(xiàn)計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)資源的集中統(tǒng)一管理，實(shí)現(xiàn)虛擬服務(wù)器的動(dòng)態(tài)分配，將三臺(tái)高性能DELL服務(wù)器進(jìn)行vmware虛擬化作為計(jì)算節(jié)點(diǎn)，同時(shí)利舊兩臺(tái)聯(lián)想服務(wù)器用于數(shù)據(jù)備份及共享存儲(chǔ)[4]，一臺(tái)QNAP文件存儲(chǔ)服務(wù)器用于存儲(chǔ)虛機(jī)模板及鏡像模板等服務(wù)。

六臺(tái)服務(wù)器通過(guò)萬(wàn)兆光纖交換機(jī)萬(wàn)兆雙鏈路互聯(lián)，數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)淙鐖D2所示。

4.1 計(jì)算及存儲(chǔ)資源規(guī)劃

采用三臺(tái)配置相同的DELL高性能服務(wù)器作為計(jì)算節(jié)點(diǎn)，允許一個(gè)計(jì)算節(jié)點(diǎn)器宕機(jī)后，虛機(jī)資源可以遷移到另外兩臺(tái)服務(wù)器繼續(xù)工作，同時(shí)為避免共享存儲(chǔ)的單點(diǎn)故障，充分利用計(jì)算節(jié)點(diǎn)的本身的存儲(chǔ)資源。非生產(chǎn)NAS存儲(chǔ)用于虛擬機(jī)的備份，生產(chǎn)數(shù)據(jù)共享存儲(chǔ)用于計(jì)算節(jié)點(diǎn)及本地存儲(chǔ)資源不夠時(shí)，將虛機(jī)存儲(chǔ)資源遷移到共享存儲(chǔ)，具體配置如表1所示。

表1 計(jì)算及存儲(chǔ)資源配置表

服務(wù)器名稱(chēng)配置用途 DELL PowerEdge R740 服務(wù)器1CPU：英特爾至強(qiáng)銀牌 4210 2.2G，內(nèi)存128G，3.8T本地存儲(chǔ)運(yùn)行Web服務(wù) DELL PowerEdge R740 服務(wù)器2CPU：英特爾至強(qiáng)銀牌 4210 2.2G，內(nèi)存128G，無(wú)本地存儲(chǔ)連接共享存儲(chǔ)，計(jì)算節(jié)點(diǎn)資源補(bǔ)充 DELL PowerEdge R740 服務(wù)器3CPU：英特爾至強(qiáng)銀牌 4210 2.2G，內(nèi)存128G，7.6T本地存儲(chǔ)運(yùn)行舊實(shí)驗(yàn)平臺(tái)、虛擬仿真等 非生產(chǎn)數(shù)據(jù)NAS存儲(chǔ)服務(wù)器15.7T 存儲(chǔ)虛擬機(jī)備份 生產(chǎn)數(shù)據(jù)共享存儲(chǔ)服務(wù)器3.8T 存儲(chǔ)虛擬機(jī)存儲(chǔ) 文件備份服務(wù)器12T 存儲(chǔ)系統(tǒng)鏡像及文件存儲(chǔ)服務(wù)

4.2 降低能耗、節(jié)省空間

每個(gè)DELL服務(wù)器總共有四塊千兆網(wǎng)卡用于跑業(yè)務(wù)流量，兩塊萬(wàn)兆網(wǎng)卡用于互聯(lián)共享存儲(chǔ)和數(shù)據(jù)備份服務(wù)器。

數(shù)據(jù)中心的內(nèi)部網(wǎng)絡(luò)流量涉及的業(yè)務(wù)主要包括：舊實(shí)驗(yàn)教學(xué)平臺(tái)、虛擬仿真項(xiàng)目、Web服務(wù)。根據(jù)各類(lèi)業(yè)務(wù)的屬性特點(diǎn)，按照VLAN屬性對(duì)網(wǎng)絡(luò)流量邏輯隔離，方便后續(xù)IP地址統(tǒng)一規(guī)劃，安全策略統(tǒng)一防護(hù)，同時(shí)管理流量及共享存儲(chǔ)及備份流量需要通過(guò)上行鏈路網(wǎng)卡物理隔離。

為保證虛機(jī)遷移，要求三臺(tái)計(jì)算節(jié)點(diǎn)服務(wù)器配置相同的四臺(tái)虛擬標(biāo)準(zhǔn)交換機(jī)用于上聯(lián)計(jì)算節(jié)點(diǎn)網(wǎng)卡。

實(shí)驗(yàn)平臺(tái)及虛擬仿真項(xiàng)目的特點(diǎn)是用戶(hù)訪問(wèn)量大，對(duì)I/O速度要求較多，占用空間多，將此類(lèi)業(yè)務(wù)綁定兩塊千兆物理網(wǎng)卡，實(shí)現(xiàn)流量的負(fù)載均衡及鏈路帶寬擴(kuò)充。

Web業(yè)務(wù)流量由于涉及對(duì)外信息發(fā)布功能，對(duì)I/O速度要求不多，且占用存儲(chǔ)資源不多，此類(lèi)業(yè)務(wù)單獨(dú)綁定一個(gè)千兆物理網(wǎng)卡。

管理流量涉及虛機(jī)遷移、ESXI主機(jī)管理、以及vCenter服務(wù)，將此類(lèi)流量單獨(dú)上聯(lián)一個(gè)千兆物理網(wǎng)卡。

三臺(tái)計(jì)算機(jī)點(diǎn)的共享存儲(chǔ)流量及數(shù)據(jù)備份流量，只是內(nèi)部數(shù)據(jù)交換，不涉及用戶(hù)訪問(wèn)，因此分別綁定一個(gè)萬(wàn)兆網(wǎng)卡與萬(wàn)兆交換互聯(lián)。

計(jì)算節(jié)點(diǎn)主機(jī)網(wǎng)絡(luò)規(guī)劃如下表2所示。

表2 計(jì)算主機(jī)節(jié)點(diǎn)網(wǎng)絡(luò)規(guī)劃

業(yè)務(wù)類(lèi)型IP網(wǎng)段VLAN端口組ID虛擬標(biāo)準(zhǔn)交換機(jī)上行鏈路網(wǎng)卡 管理流量192.168.99.0/2499vSwitch0vmnic01000M 生產(chǎn)數(shù)據(jù)共享存儲(chǔ)172.16.60.0/24無(wú)vSwitch1vmnic410000M 非生產(chǎn)數(shù)據(jù)備份存儲(chǔ)172.16.61.0/24無(wú)vSwitch2vmnic510000M 虛擬仿真項(xiàng)目192.168.96.0/24VLAN96vSwitch3Vmnic1，vmnic2雙網(wǎng)卡2000M Web流量192.168.97.0/24VLAN97vSwitch4vmnic3 1000M

4.3 計(jì)算及存儲(chǔ)資源規(guī)劃

中心技術(shù)運(yùn)維人員負(fù)責(zé)虛擬化服務(wù)器CPU、內(nèi)存、硬盤(pán)的分配和創(chuàng)建，部署操作系統(tǒng)基礎(chǔ)環(huán)境、IP地址規(guī)劃、網(wǎng)絡(luò)連通性。

通過(guò)技術(shù)和制度兩個(gè)層面保證信息系統(tǒng)的網(wǎng)絡(luò)安全。技術(shù)上在操作系統(tǒng)防火墻、WAF、出口網(wǎng)關(guān)配置控制策略實(shí)現(xiàn)各類(lèi)系統(tǒng)的精細(xì)化管理，部署堡壘機(jī)滿(mǎn)足運(yùn)維管理的安全審計(jì)需求。在制度方面通過(guò)信息系統(tǒng)開(kāi)發(fā)與部署安全承諾書(shū)、堡壘機(jī)使用申請(qǐng)表、虛擬機(jī)使用申請(qǐng)表、密碼使用制度、用戶(hù)身份制度，規(guī)范各類(lèi)系統(tǒng)的安全責(zé)任要求。

5 結(jié)束語(yǔ)

通過(guò)服務(wù)器虛擬化技術(shù)實(shí)現(xiàn)數(shù)據(jù)中心從傳統(tǒng)物理架構(gòu)向虛擬化數(shù)據(jù)中心的改造，幫助運(yùn)維技術(shù)人員能夠進(jìn)行理論和實(shí)踐的技術(shù)積累的同時(shí)，有力支撐了創(chuàng)新創(chuàng)業(yè)與實(shí)驗(yàn)教學(xué)的業(yè)務(wù)開(kāi)展，中心的本科教育教學(xué)改革成果《“大平臺(tái)+”支持下的新商科“課賽訓(xùn)創(chuàng)”創(chuàng)新創(chuàng)業(yè)教育體系的構(gòu)建》，榮獲2020年度遼寧省本科教學(xué)成果二等獎(jiǎng)。隨著國(guó)內(nèi)超融合、私有云等技術(shù)的逐步成熟，未來(lái)將計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)、安全資源納入統(tǒng)一管理和擴(kuò)建，并將數(shù)據(jù)中心現(xiàn)有基礎(chǔ)設(shè)施淘汰、利舊和新建，規(guī)劃構(gòu)建一個(gè)靈活高效、生態(tài)豐富、可持續(xù)運(yùn)營(yíng)的校園實(shí)驗(yàn)和實(shí)踐云服務(wù)平臺(tái)全面支撐全校實(shí)驗(yàn)教學(xué)、科研、創(chuàng)業(yè)實(shí)踐。

[1]劉金豐.企業(yè)桌面云規(guī)劃、部署與運(yùn)維[M].北京：機(jī)械工業(yè)出版，2018：48-49.

[2]宮宇.基于IDV架構(gòu)的云桌面實(shí)驗(yàn)室運(yùn)維管理實(shí)踐[J].中國(guó)管理信息化，2020，23（17）：191-192.

[3]王春海.深入學(xué)習(xí)VMware vSphere 6[M].北京：人民郵電出版社，2018：105-112.

[4]何坤源.VMware vSphere6.7虛擬化架構(gòu)實(shí)戰(zhàn)指南 [M].2019：160-175.