戶(hù)利利,張聰

(深圳大學(xué) 信息中心，廣東 深圳 518060)

0 引言

隨著近幾年IT信息化技術(shù)的快速發(fā)展，高校作為人才培養(yǎng)的搖籃和科技創(chuàng)新的高地，信息化系統(tǒng)也日趨完善。各種學(xué)習(xí)平臺(tái)、教學(xué)、辦公管理軟件的引入改善了教學(xué)方法，提高了管理效率。數(shù)據(jù)中心作為高校信息化建設(shè)的核心樞紐，是高校信息化建設(shè)的基礎(chǔ)和載體，也是未來(lái)高校發(fā)展的核心資源。本文結(jié)合S大學(xué)數(shù)據(jù)中心的發(fā)展情況，介紹了高校數(shù)據(jù)中心的發(fā)展歷史，重點(diǎn)介紹了超融合虛擬化平臺(tái)的技術(shù)架構(gòu)和S大學(xué)超融合虛擬化平臺(tái)的建設(shè)和使用情況。

1 高校數(shù)據(jù)中心的發(fā)展歷程

隨著信息化技術(shù)的高速發(fā)展，高校對(duì)信息化基礎(chǔ)設(shè)施的需求不斷增加，為了滿(mǎn)足這種需求，數(shù)據(jù)中心作為高校信息化建設(shè)的核心樞紐也在不斷變化和發(fā)展。高校的數(shù)據(jù)中心基礎(chǔ)設(shè)施從單機(jī)服務(wù)器系統(tǒng)逐步演化為軟件定義的虛擬化平臺(tái)。

1.1 傳統(tǒng)的數(shù)據(jù)中心

20世紀(jì)80年代，以X86服務(wù)器和PC系統(tǒng)的誕生為標(biāo)志，數(shù)據(jù)中心主要采用包含網(wǎng)絡(luò)、服務(wù)器和操作系統(tǒng)等多層次水平分工的架構(gòu)，這個(gè)時(shí)期，各層IT產(chǎn)業(yè)鏈獲得了很大的發(fā)展，產(chǎn)生了一大批生成服務(wù)器和網(wǎng)絡(luò)設(shè)備的廠商，各個(gè)高校的數(shù)據(jù)中心也是在此基礎(chǔ)上建立了起來(lái)。在這個(gè)時(shí)期，業(yè)務(wù)系統(tǒng)都是部署在單臺(tái)服務(wù)器中，使用服務(wù)器自帶的計(jì)算和存儲(chǔ)資源，通過(guò)交換機(jī)連接到網(wǎng)絡(luò)中。

1.2 存儲(chǔ)集中的數(shù)據(jù)中心

隨著信息化的發(fā)展，產(chǎn)生了大量的數(shù)據(jù)，服務(wù)器上自帶的存儲(chǔ)已經(jīng)不能滿(mǎn)足用戶(hù)的需求，大空間存儲(chǔ)的需求推進(jìn)了存儲(chǔ)設(shè)備的產(chǎn)生，這個(gè)時(shí)期，數(shù)據(jù)中心的架構(gòu)轉(zhuǎn)化為服務(wù)器加后端共享存儲(chǔ)的模式。2007年，S大學(xué)信息中心采購(gòu)了一套EMC存儲(chǔ)，用于備份各個(gè)業(yè)務(wù)系統(tǒng)的歷史數(shù)據(jù)。

1.3 傳統(tǒng)的虛擬化系統(tǒng)

伴隨互聯(lián)網(wǎng)行業(yè)的興起，產(chǎn)生了越來(lái)越多的應(yīng)用系統(tǒng)，對(duì)服務(wù)器、存儲(chǔ)的需求呈指數(shù)級(jí)的增加，高校數(shù)據(jù)中心機(jī)房里產(chǎn)生了大量不同品牌和型號(hào)的設(shè)備，大大增加了運(yùn)維的工作量和運(yùn)維難度，傳統(tǒng)的物理服務(wù)器+共享存儲(chǔ)的架構(gòu)已經(jīng)不能滿(mǎn)足業(yè)務(wù)的需求。另外一方面，服務(wù)器虛擬化技術(shù)的整合式架構(gòu)進(jìn)化為傳統(tǒng)的虛擬化架構(gòu)，提高了資源利用率和運(yùn)維效率[1]。傳統(tǒng)的虛擬化架構(gòu)是通過(guò)光纖交換機(jī)將高性能服務(wù)器和存儲(chǔ)連接起來(lái)，各個(gè)主機(jī)通過(guò)交換機(jī)實(shí)現(xiàn)存儲(chǔ)共享，通過(guò)虛擬化軟件將高性能主機(jī)的CPU和內(nèi)存以及后端的存儲(chǔ)資源進(jìn)行統(tǒng)一管理和配置。從2011年開(kāi)始，S大學(xué)信息中心分三期建立了由9臺(tái)Dell R815主機(jī)和EMC存儲(chǔ)構(gòu)成的3個(gè)集群的vmware虛擬化平臺(tái)。

1.4 超融合架構(gòu)的虛擬化系統(tǒng)

隨著商業(yè)數(shù)字化和互聯(lián)網(wǎng)化對(duì)IT資源的使用速度和使用要求的大幅提升以及分布式存儲(chǔ)架構(gòu)技術(shù)的發(fā)展，產(chǎn)生了超融合虛擬化架構(gòu)。2016年7月在Gartner公司月公布的技術(shù)成熟度曲線中超融合架構(gòu)已經(jīng)度過(guò)概念炒作期，進(jìn)入實(shí)際落地階段，成為現(xiàn)代化數(shù)據(jù)中心基礎(chǔ)架構(gòu)的標(biāo)準(zhǔn)組件[2]。超融合架構(gòu)中，在多臺(tái)服務(wù)器硬件中同時(shí)部署分布式存儲(chǔ)和計(jì)算虛擬化軟件，將這些服務(wù)器節(jié)點(diǎn)上的計(jì)算、存儲(chǔ)資源進(jìn)行虛擬化，構(gòu)成一個(gè)統(tǒng)一的虛擬資源池提供給用戶(hù)使用。2018年，S大學(xué)信息中心構(gòu)建了由19臺(tái)主機(jī)構(gòu)成的華為超融合虛擬化平臺(tái)，用來(lái)替代即將退役的vmware虛擬化平臺(tái)。

2 超融合架構(gòu)

超融合技術(shù)最早的起源是受Google、Facebook等大型互聯(lián)網(wǎng)公司通過(guò)軟件技術(shù)構(gòu)建大規(guī)模數(shù)據(jù)中心的啟發(fā)，結(jié)合虛擬化技術(shù)實(shí)現(xiàn)的可擴(kuò)展的IT基礎(chǔ)架構(gòu)[3]?；ヂ?lián)網(wǎng)對(duì)IT資源的使用速度和使用需求的大幅提高以及分布式存儲(chǔ)架構(gòu)、SSD技術(shù)的發(fā)展都促成了超融合架構(gòu)的實(shí)際落地和快速發(fā)展。超融合架構(gòu)打破了傳統(tǒng)的服務(wù)器、網(wǎng)絡(luò)和存儲(chǔ)的孤立界線，將CPU、內(nèi)存、存儲(chǔ)、網(wǎng)絡(luò)和虛擬化技術(shù)整合在一臺(tái)設(shè)備上，每一臺(tái)設(shè)備作為一個(gè)單元節(jié)點(diǎn)，多節(jié)點(diǎn)通過(guò)網(wǎng)絡(luò)聚合實(shí)現(xiàn)模塊化的無(wú)縫橫向擴(kuò)展，形成統(tǒng)一的資源池[4]。

超融合虛擬化架構(gòu)是在傳統(tǒng)虛擬化架構(gòu)基礎(chǔ)上發(fā)展起來(lái)的。傳統(tǒng)虛擬化架構(gòu)中的存儲(chǔ)是單獨(dú)的設(shè)備，通過(guò)FC交換機(jī)與虛擬化主機(jī)連接。這種架構(gòu)的缺點(diǎn)是系統(tǒng)復(fù)雜，采購(gòu)起點(diǎn)高，即使是一個(gè)容量小、性能低的虛擬化系統(tǒng)，主機(jī)、交換機(jī)、存儲(chǔ)這3種類(lèi)型的設(shè)備都缺一不可，并且系統(tǒng)的搭建和配置也比較復(fù)雜。同時(shí)這種架構(gòu)擴(kuò)展困難，如果需要增加計(jì)算資源即添加主機(jī)，不僅需要新購(gòu)置交換機(jī)的光模塊，還需要在后端存儲(chǔ)部分對(duì)新增加的主機(jī)進(jìn)行路徑添加等設(shè)置。在超融合架構(gòu)中，網(wǎng)絡(luò)、存儲(chǔ)、主機(jī)3個(gè)層面集成到了一起，大大降低了系統(tǒng)的復(fù)雜度。并且系統(tǒng)方便擴(kuò)展，可以通過(guò)橫向擴(kuò)展的方式同時(shí)添加計(jì)算和存儲(chǔ)資源，擴(kuò)展的過(guò)程相對(duì)于傳統(tǒng)的虛擬化架構(gòu)簡(jiǎn)化了很多，同時(shí)節(jié)點(diǎn)數(shù)量可以擴(kuò)展得非常大。傳統(tǒng)虛擬化架構(gòu)與超融合虛擬化架構(gòu)的部署對(duì)比圖如圖1所示。

圖1 傳統(tǒng)虛擬化架構(gòu)與超融合虛擬化架構(gòu)的部署對(duì)比圖

超融合架構(gòu)不僅在部署和維護(hù)中優(yōu)于傳統(tǒng)虛擬化架構(gòu)，在性能上也具有顯著的優(yōu)點(diǎn)。超融合架構(gòu)的存儲(chǔ)是根據(jù)服務(wù)器節(jié)點(diǎn)數(shù)量多節(jié)點(diǎn)并發(fā)的，系統(tǒng)的讀寫(xiě)性能隨著服務(wù)器節(jié)點(diǎn)數(shù)量線性擴(kuò)展的，節(jié)點(diǎn)越多，讀寫(xiě)性能越好，并且為了保證分布式數(shù)據(jù)的可靠性，超融合架構(gòu)采用的是3副本方式進(jìn)行數(shù)據(jù)備份。而傳統(tǒng)的虛擬化架構(gòu)的讀寫(xiě)性能不具有擴(kuò)展性，并且為了保證系統(tǒng)的可靠性，傳統(tǒng)的虛擬化架構(gòu)存儲(chǔ)部分需要雙控制器，而雙控制器使得即使安裝了SSD卡的存儲(chǔ)，也無(wú)法發(fā)揮SSD的性能。

3 超融合虛擬化系統(tǒng)在S大學(xué)的應(yīng)用

2011年開(kāi)始，S大學(xué)分三期創(chuàng)建了vmware虛擬化平臺(tái)，平臺(tái)上主要是各個(gè)學(xué)院的網(wǎng)站以及財(cái)務(wù)、人力和教務(wù)等業(yè)務(wù)單位的虛擬機(jī)。考慮到系統(tǒng)硬件的使用年限和系統(tǒng)的穩(wěn)定性，我們?cè)?017年底的時(shí)候采購(gòu)了華為的超融合虛擬化平臺(tái)來(lái)替代vmware虛擬化平臺(tái)。

4 總體技術(shù)架構(gòu)

S大學(xué)的超融合虛擬化平臺(tái)由19個(gè)節(jié)點(diǎn)構(gòu)成，其中高性能節(jié)點(diǎn)3個(gè)，存儲(chǔ)和計(jì)算節(jié)點(diǎn)16個(gè)，每個(gè)節(jié)點(diǎn)有4個(gè)10G端口，2個(gè)用于業(yè)務(wù)，2個(gè)用于存儲(chǔ)。節(jié)點(diǎn)上的2個(gè)業(yè)務(wù)端口通過(guò)鏈路聚合為基于源目的MAC負(fù)載均衡的方式連接于兩個(gè)萬(wàn)兆交換機(jī)，構(gòu)成業(yè)務(wù)平面；節(jié)點(diǎn)上的2個(gè)存儲(chǔ)端口通過(guò)鏈路聚合為主備模式的方式分別連接于兩個(gè)萬(wàn)兆交換機(jī),構(gòu)成存儲(chǔ)平面，用于華為FusionStorage分布式存儲(chǔ)的端口。千兆交換機(jī)S5720主要是對(duì)各個(gè)主機(jī)的管理端口進(jìn)行管理。該校超融合的網(wǎng)絡(luò)架構(gòu)圖如圖2所示。

圖2 網(wǎng)絡(luò)架構(gòu)圖

5 基礎(chǔ)硬件配置

高性能節(jié)點(diǎn)為華為XH622節(jié)點(diǎn)主機(jī)，配置為2顆 英特爾至強(qiáng)E5-2699 V4處理器(帶散熱器)，16條 DDR4 RDIMM 32GB內(nèi)存，2張10Gb雙端口網(wǎng)卡(含兩個(gè)多模模塊)，2塊600GB SAS 10K RPM 2.5的硬盤(pán)。存儲(chǔ)和計(jì)算節(jié)點(diǎn)為華為XH628節(jié)點(diǎn)主機(jī)，配置為2顆英特爾至強(qiáng)E5-2680 V4處理器(帶散熱器)，16條DDR4 RDIMM 32GB內(nèi)存；2張10Gb雙端口網(wǎng)卡(含兩個(gè)多模模塊)，2個(gè)600GB SAS 10K RPM 2.5’硬盤(pán)和10個(gè)4 000GB SATA 7.2K RPM 3.5’硬盤(pán)，SSD卡為ES3 600C V3 800G SSD卡。其中XH622和XH628節(jié)點(diǎn)提供4個(gè)10G SFP光口和1個(gè)RJ45電口，其中2個(gè)10G SFP光口用于業(yè)務(wù)接入，2個(gè)10G SFP電口用于存儲(chǔ)接入，RJ45電口用于管理網(wǎng)絡(luò)接入。

萬(wàn)兆交換機(jī)兩臺(tái)，配置為華為CE6 851-48S6Q-HI，56Tbps，包轉(zhuǎn)發(fā)率1080Mpps，10GE光端口數(shù)量48個(gè)，用于服務(wù)器節(jié)點(diǎn)的存儲(chǔ)和業(yè)務(wù)接入，40GE端口數(shù)量6個(gè)。負(fù)責(zé)管理的千兆交換機(jī)一臺(tái)，配置為華為S5 720-56C-EI-AC，交換機(jī)容量598Gbps，包轉(zhuǎn)發(fā)率252Mpps，10/100/1 000Base-T以太網(wǎng)端口數(shù)量48個(gè)，用于機(jī)箱和各個(gè)計(jì)算節(jié)點(diǎn)的接入，萬(wàn)兆SFP+光口4個(gè)(配置兩個(gè)萬(wàn)兆多模模塊)。

6 IP地址

考慮到系統(tǒng)的安全和管理、維護(hù)的方便性，系統(tǒng)在設(shè)計(jì)初期對(duì)管理、業(yè)務(wù)和存儲(chǔ)平臺(tái)的IP做了些規(guī)劃。IP的規(guī)劃遵從如下原則：

·BMC平面與業(yè)務(wù)平面、存儲(chǔ)平面要有對(duì)應(yīng)關(guān)系，即IP地址最后一位要相同；

·同一網(wǎng)段的IP地址也需要根據(jù)設(shè)備類(lèi)型進(jìn)行規(guī)劃：

服務(wù)器機(jī)框IP為1-10；高性能計(jì)算點(diǎn)為21-30；管理&存儲(chǔ)&計(jì)算節(jié)點(diǎn)為31-40；存儲(chǔ)和計(jì)算節(jié)點(diǎn)為41-60；

·用于管理的軟件平臺(tái)IP地址從61開(kāi)始按順序往后排。

最終IP如表1所示(考慮到平臺(tái)安全，IP網(wǎng)段有些字符用*代替)。

表1 最終IP

7 超融合虛擬化

華為的超融合虛擬化平臺(tái)計(jì)算虛擬化部分采用的是Fushion Computer安裝方案。虛擬基礎(chǔ)設(shè)施系統(tǒng)由虛擬資源管理節(jié)點(diǎn)Fushion VRM(VRM)和計(jì)算節(jié)點(diǎn)代理Fusion CNA(CNA)兩部分組成。CNA節(jié)點(diǎn)部署虛擬化管理代理軟件和虛擬化軟件，用于將服務(wù)器的CPU和內(nèi)存進(jìn)行虛擬化。VRM是計(jì)算資源管理節(jié)點(diǎn)，用于對(duì)所有的CNA節(jié)點(diǎn)的計(jì)算資源進(jìn)行管理。在本項(xiàng)目中，在兩個(gè)不同的管理CNA節(jié)點(diǎn)上分別部署了主備VRM節(jié)點(diǎn)。

華為的超融合平臺(tái)存儲(chǔ)虛擬化部分采用的是Fushion Storage安裝方案。其中Fushion Storage Manager(FSM)采用主備方式部署于兩個(gè)管理CNA節(jié)點(diǎn)上，用于管理進(jìn)程、提供存儲(chǔ)告警、監(jiān)控、日志等操作維護(hù)功能。Fushion Storage Agent(FSA)部署在各個(gè)CNA節(jié)點(diǎn)上，實(shí)現(xiàn)與FSM的通信。MDC實(shí)現(xiàn)對(duì)業(yè)務(wù)進(jìn)程控制，對(duì)分布式集群狀態(tài)控制，控制數(shù)據(jù)分布式規(guī)則、數(shù)據(jù)重建等。業(yè)務(wù)IO進(jìn)程VBS，負(fù)責(zé)卷元數(shù)據(jù)的管理，提供分布式集群接入點(diǎn)服務(wù)，使計(jì)算資源能夠通過(guò)VBS訪問(wèn)分布式存儲(chǔ)資源。每個(gè)服務(wù)器上部署一個(gè)VBS進(jìn)程，形成VBS集群。OSD執(zhí)行具體的I/O操作。在每個(gè)服務(wù)器上部署多個(gè)OSD進(jìn)程，一塊磁盤(pán)對(duì)應(yīng)部署一個(gè)OSD進(jìn)程。

8 建設(shè)成果與分析

超融合虛擬化平臺(tái)建成后可以對(duì)外提供19×512G的內(nèi)存，180T的可用存儲(chǔ)，在不考慮超賣(mài)情況下，可以提供798個(gè)虛擬機(jī)。目前平臺(tái)已經(jīng)平穩(wěn)運(yùn)行將近兩年，為學(xué)院、財(cái)務(wù)、教務(wù)等業(yè)務(wù)單位提供將近300臺(tái)虛擬機(jī)。

這套超融合系統(tǒng)是為了接替將要退役的vmware虛擬化平臺(tái)。這兩套系統(tǒng)一個(gè)是基于傳統(tǒng)架構(gòu)的虛擬化系統(tǒng)，一個(gè)是基于超融合架構(gòu)的虛擬化系統(tǒng)。在使用過(guò)程和維護(hù)過(guò)程中還是有差別的。

超融合系統(tǒng)部署簡(jiǎn)單，而傳統(tǒng)架構(gòu)的系統(tǒng)則要復(fù)雜很多。超融合系統(tǒng)硬件上架后兩天的時(shí)間里，系統(tǒng)已經(jīng)全部部署完畢；vmware虛擬化平臺(tái)在15年時(shí)候，我們對(duì)該平臺(tái)上增加了一套華為集中存儲(chǔ)，只是對(duì)存儲(chǔ)進(jìn)行配置和添加主機(jī)工作就持續(xù)了7天。

性能方面，vmware作為老牌虛擬化廠商還是領(lǐng)先于華為的，在虛擬機(jī)遷移、克隆、快照等方面都是優(yōu)于華為的。

在廠商運(yùn)維和安全方面，華為是優(yōu)于vmware的。華為是我們的國(guó)產(chǎn)軟件，滿(mǎn)足軟件國(guó)產(chǎn)化的安全要求，華為虛擬化廠商的運(yùn)維服務(wù)做得很到位，400服務(wù)隨時(shí)解答用戶(hù)的各種問(wèn)題，eservice運(yùn)維服務(wù)也為用戶(hù)提供了實(shí)時(shí)的平臺(tái)監(jiān)控，并且原廠服務(wù)也不是很貴，而Vmware的license和原廠服務(wù)則要遠(yuǎn)遠(yuǎn)高于華為。

9 總結(jié)

利用有限資金建設(shè)滿(mǎn)足學(xué)校需求的虛擬化平臺(tái)是高校數(shù)據(jù)中心建設(shè)中的重要問(wèn)題，超融合虛擬化平臺(tái)因其建設(shè)門(mén)檻低，擴(kuò)展簡(jiǎn)單等優(yōu)點(diǎn)已經(jīng)廣泛應(yīng)用于高校信息化建設(shè)中。本文通過(guò)高校數(shù)據(jù)中心的發(fā)展歷史，介紹了S大學(xué)的數(shù)據(jù)中心在各個(gè)時(shí)期的情況，重點(diǎn)介紹了S大學(xué)超融合虛擬化平臺(tái)技術(shù)架構(gòu)、建設(shè)情況和主要技術(shù)模塊的功能。實(shí)踐證明華為超融合虛擬化平臺(tái)在性能提升、降低成本、操作簡(jiǎn)便和方便擴(kuò)容等方面具有不可替代的優(yōu)勢(shì)，同時(shí)可以很好的滿(mǎn)足各個(gè)業(yè)務(wù)部門(mén)對(duì)信息化的需求。