余久方, 楊 帆

(1. 南京工業(yè)職業(yè)技術(shù)學(xué)院 計(jì)算機(jī)與軟件學(xué)院, 南京 210023; 2. 華為技術(shù)有限公司, 南京 210012)

0 引 言

目前云計(jì)算技術(shù)在不斷成熟與發(fā)展,以集中管理、簡化運(yùn)維為目標(biāo)的IaaS層應(yīng)用代表即虛擬化技術(shù)也被廣泛應(yīng)用。高校中的虛擬化應(yīng)用主要是在學(xué)生機(jī)房部署云桌面[1-2],減輕實(shí)驗(yàn)管理人員負(fù)擔(dān)、降低實(shí)驗(yàn)軟件環(huán)境被破壞的風(fēng)險(xiǎn)?，F(xiàn)在高校中提倡產(chǎn)教融合[3]和校企合作,以筆者所在學(xué)校為例,與浙江華為公司合作成立南京培訓(xùn)分部,建立云與大數(shù)據(jù)人才培養(yǎng)基地,旨在共同進(jìn)行專業(yè)建設(shè)、人才培養(yǎng)以及教師專業(yè)技能提升。依托該基地建設(shè)的云計(jì)算實(shí)訓(xùn)平臺要承載多重業(yè)務(wù):1)正常的教學(xué)實(shí)驗(yàn); 2)企業(yè)客戶的培訓(xùn); 3)教室的云桌面。以上業(yè)務(wù)給云計(jì)算平臺帶來多種需求:首先是云平臺系統(tǒng)多樣性,既要有學(xué)生實(shí)驗(yàn)的云平臺,也要有企業(yè)特定的云平臺,還需要支持教室云桌面的商用云平臺;其次是實(shí)訓(xùn)平臺環(huán)境的安全性要求高,考慮生產(chǎn)環(huán)境和實(shí)驗(yàn)環(huán)境公用網(wǎng)絡(luò)資源以及不同的用戶共用服務(wù)器資源,需要進(jìn)行安全性設(shè)計(jì)?；谝陨犀F(xiàn)狀,本文提出一個(gè)綜合解決方案,來解決新形勢下高校云平臺系統(tǒng)面臨的問題。

1 關(guān)鍵技術(shù)分析

1.1 嵌套虛擬化

市場上主流的虛擬化技術(shù)有VMware vSphere, RedHat KVM,Citrix XenServer,微軟Hyper-V[4-5],華為的Fusion Compute,基于虛擬化技術(shù)基礎(chǔ)上的桌面云軟件主要有VMware View,Citrix的XenDesktop,微軟的Virtual Desktop Infrastructure,華為的Fusion Access。使用這些虛擬化技術(shù)和桌面云軟件可以按需搭建IaaS層應(yīng)用,這是目前一層虛擬化技術(shù)的主要使用場景,在公有云和私有云中都有成熟應(yīng)用。嵌套虛擬化是指以虛擬機(jī)為宿主機(jī),在其上再次進(jìn)行虛擬化的方案,在公有云中嵌套虛擬化的應(yīng)用較少,原因之一是各個(gè)廠家對標(biāo)準(zhǔn)的hypervisor都做了一些修改,有些還是私有hypervisor,如果支持嵌套虛擬化需要大量的適配測試工作量;原因之二是嵌套虛擬化帶來了CPU性能、網(wǎng)絡(luò)性能、硬盤讀寫性能的下降[6]。在私有云中有一些嵌套虛擬化應(yīng)用在安全監(jiān)控場景上,使用一層虛擬化監(jiān)控用戶對硬件資源的操作,在二層的虛擬化中部署用戶的云平臺[7],在用戶虛擬機(jī)層面監(jiān)控用戶的行為。通過以上2次的監(jiān)控對比,分析用戶可能的攻擊行為。在一些商用的虛擬化平臺比如VMware ESXi上,已經(jīng)可以對運(yùn)行于其上的虛擬機(jī)提供虛擬化支持。

教學(xué)實(shí)訓(xùn)環(huán)境對云平臺中服務(wù)器的性能要求不是很高,但是由于學(xué)生人數(shù)多,想正常開展教學(xué)工作就需要大量的服務(wù)器,這將產(chǎn)生巨大的實(shí)驗(yàn)設(shè)備采購費(fèi)用。以華為RH2288V3服務(wù)器為例,雙CPU加2個(gè)硬盤的服務(wù)器價(jià)格在35 000元左右,如果要支持2個(gè)班級90個(gè)學(xué)生的實(shí)訓(xùn),每2人一組實(shí)驗(yàn)也需要共計(jì)150多萬元的設(shè)備,代價(jià)非常高昂。使用嵌套虛擬化能夠大大減少設(shè)備費(fèi)用,物理服務(wù)器上安裝虛擬化操作系統(tǒng)進(jìn)行一層虛擬化,虛擬出多個(gè)虛擬機(jī)作為虛擬服務(wù)器,在虛擬服務(wù)器上安裝虛擬化平臺系統(tǒng)進(jìn)行二層虛擬化,供學(xué)生進(jìn)行云計(jì)算實(shí)驗(yàn)。

1.2 存儲技術(shù)

大數(shù)據(jù)時(shí)代隨著人們對數(shù)據(jù)存儲、訪問、備份的需求日益增加,對存儲的容量、性能、擴(kuò)展性要求也越來越高。從存儲存放的位置來分,可以分為內(nèi)置存儲和外掛存儲。內(nèi)置存儲把磁盤直接放在服務(wù)器內(nèi)部,由于空間的限制這種方式下存儲容量通常都比較小并且難擴(kuò)展,對于存儲容量需求大的場景一般都需要配置外掛存儲。外掛存儲從最早的直連存儲DAS(direct attached stroage)發(fā)展到后來的網(wǎng)絡(luò)存儲NAS(network attached storage)和SAN(storage area network),在靈活性和擴(kuò)展性上逐步提高,給數(shù)據(jù)中心存儲方案帶來了更多選擇。

DAS直接將外置存儲設(shè)備通過電纜連接到服務(wù)器上,存儲設(shè)備和服務(wù)器之間采用SCSI協(xié)議或者FC協(xié)議,這種方式相比內(nèi)置存儲大大提升了存儲容量,但是其缺點(diǎn)是多個(gè)服務(wù)器無法共享存儲并且服務(wù)器容易成為整個(gè)系統(tǒng)的瓶頸。網(wǎng)絡(luò)存儲NAS和SAN的出現(xiàn)解決了DAS面臨的問題。

NAS適用于文件存儲,存儲設(shè)備在把數(shù)據(jù)發(fā)送到服務(wù)器之前已經(jīng)把文件組合完成, 減輕了服務(wù)器的負(fù)擔(dān)[8]。NAS存儲只能以文件方式訪問,不能直接訪問物理數(shù)據(jù)塊,在訪問性能要求高的場景無法滿足應(yīng)用。SAN分為FCSAN和IPSAN,是結(jié)構(gòu)化存儲的首選,2種存儲方式都具有較高的性能和較好的擴(kuò)展性,FCSAN中服務(wù)器和存儲設(shè)備之間通過FC交換機(jī)連接,之間運(yùn)行FC協(xié)議,這種方式傳輸效率高但是成本高,并且FC協(xié)議實(shí)現(xiàn)復(fù)雜,各個(gè)廠家的產(chǎn)品之間不能很好地互通[9];IPSAN中服務(wù)器和存儲設(shè)置之間通過以太網(wǎng)交換機(jī)連接,利用已有的TCP/IP協(xié)議傳輸數(shù)據(jù),技術(shù)更加成熟。 FC交換機(jī)目前支持的端口速率有1、2、4、8、16 Gb/s,而以太網(wǎng)交換機(jī)支持的端口速率除了1、10 Gb/s外,已經(jīng)支持25、50、100 Gb/s甚至更高[10]。 由此可以看出IPSAN 具有更好的適應(yīng)性和擴(kuò)展性。

1.3 數(shù)據(jù)中心網(wǎng)絡(luò)安全

隨著數(shù)據(jù)中心規(guī)模化的增長,其面臨的網(wǎng)絡(luò)安全威脅也日益突出,Cisco 2017數(shù)據(jù)中心安全研究報(bào)告指出,88%的數(shù)據(jù)中心管理者2016年收到的安全攻擊有所增多[11],數(shù)據(jù)中心需要有適用其業(yè)務(wù)的靈活的安全保障方案。

對用戶進(jìn)行邏輯隔離是一種有效的網(wǎng)絡(luò)安全措施,隔離由終端標(biāo)記和網(wǎng)絡(luò)設(shè)備處理2部分完成。vlan是一種基礎(chǔ)、高效的隔離廣播域技術(shù),網(wǎng)絡(luò)設(shè)備按照用戶接入端口配置進(jìn)行vlan標(biāo)記,并根據(jù)vlan+mac進(jìn)行按源學(xué)習(xí)、按目的查表轉(zhuǎn)發(fā),實(shí)現(xiàn)用戶之間的互通和隔離[12]。數(shù)據(jù)中心租戶數(shù)量的增長使得傳統(tǒng)的4094個(gè) vlan不足以滿足需求,vxlan通過overlay技術(shù)在報(bào)文中增加VNI字段,讓租戶數(shù)量可以擴(kuò)展到16M[13],網(wǎng)絡(luò)設(shè)備通過VNI+mac進(jìn)行按源學(xué)習(xí)、按目的查表轉(zhuǎn)發(fā),在跨過3層網(wǎng)絡(luò)時(shí)進(jìn)行overlay隧道信息的封裝。Cisco的VN-Tag技術(shù)和HP的VEPA技術(shù)也是一種標(biāo)記和隔離轉(zhuǎn)發(fā)技術(shù)[14]。網(wǎng)絡(luò)安全技術(shù)靈活多樣,需要根據(jù)具體的網(wǎng)絡(luò)規(guī)模和技術(shù)復(fù)雜度進(jìn)行按需選擇。

2 綜合云平臺構(gòu)建

2.1 方案選擇

南京工業(yè)職業(yè)技術(shù)學(xué)院的云計(jì)算平臺需要承擔(dān)的業(yè)務(wù)量如下:

1) 云計(jì)算課程的實(shí)訓(xùn),支持2個(gè)班級共90個(gè)學(xué)生并發(fā)實(shí)驗(yàn)。實(shí)驗(yàn)中希望學(xué)生接觸和掌握業(yè)內(nèi)多種主流商用云平臺。

2) 多門課程的信息化教學(xué),需要提供6個(gè)教室共270個(gè)機(jī)位。需要成熟的虛擬化和桌面云方案,保障日常教學(xué)。

3) 華為企業(yè)客戶培訓(xùn),能支持3個(gè)客戶班共45人同時(shí)進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)需要使用華為的Fusion Compute虛擬化方案和Fusion Access桌面云。

為了滿足學(xué)生需要掌握多種廠家虛擬化方案的需求,在云計(jì)算課程實(shí)訓(xùn)服務(wù)器的一層虛擬化上提供二層嵌套虛擬化支持,以一層虛擬機(jī)為服務(wù)器安裝虛擬化軟件,解決實(shí)驗(yàn)中物理服務(wù)器不足問題。華為企業(yè)客戶培訓(xùn)由于是專項(xiàng)技術(shù)培訓(xùn),只能在服務(wù)器上安裝華為的虛擬化平臺和云桌面軟件。

虛擬化技術(shù)作為云計(jì)算IaaS層的核心以及云桌面方案的基礎(chǔ),其穩(wěn)定性和可靠性至關(guān)重要,VMware在服務(wù)器虛擬化中相比其他廠家占優(yōu)勢,在2016年的Gartner服務(wù)器虛擬化魔力象限中處于領(lǐng)先地位,因此信息化教室和云計(jì)算課程實(shí)訓(xùn)的一層虛擬化技術(shù)采用VMware vSphere。Citrix XenDesktop的市場占有率較高,能夠兼容其他廠家如VMware、Microsoft的虛擬化技術(shù),經(jīng)過綜合比較教室的云桌面系統(tǒng)選用Citrix的。

考慮到實(shí)際的業(yè)務(wù)量以及用戶數(shù)量(在4 094以下),在一層虛擬化中對不同的用戶采用vlan進(jìn)行隔離,防止由于用戶個(gè)人行為對網(wǎng)絡(luò)造成破壞。另外考慮到存儲系統(tǒng)的擴(kuò)展性,采用IP SAN網(wǎng)絡(luò)存儲,網(wǎng)絡(luò)中的服務(wù)器可通過IP網(wǎng)絡(luò)添加存儲資源。

設(shè)計(jì)后的綜合實(shí)驗(yàn)平臺結(jié)構(gòu)如圖1。

2.2 業(yè)務(wù)和性能分析

2.2.1 業(yè)務(wù)分析

從計(jì)算資源角度,教室服務(wù)器提供6個(gè)教室共270個(gè)虛擬機(jī)和云桌面,底層的虛擬化采用了VMware vSphere,所有教室虛擬機(jī)使用同一個(gè)模板。方便管理員進(jìn)行軟件安裝、卸載等日常維護(hù)工作,云桌面軟件采用了Citrix的XenDesktop;培訓(xùn)服務(wù)器提供客戶培訓(xùn)的45個(gè)+云計(jì)算實(shí)訓(xùn)的90個(gè)共135個(gè)云桌面,采用了華為的Fusion Compute虛擬化方案和Fusion Access云桌面方案,其中用于實(shí)訓(xùn)的云桌面提供給學(xué)生登陸操作實(shí)訓(xùn)服務(wù)器和正常的信息化學(xué)習(xí);實(shí)訓(xùn)服務(wù)器提供實(shí)訓(xùn)室的90個(gè)實(shí)驗(yàn)用虛擬機(jī)(按需,可以更多),采用了VMware vSphere作為第1層虛擬化方案,在其上可以部署第2層虛擬化,即第1層虛擬化后的虛擬機(jī)可以作為1臺服務(wù)器,供學(xué)生在其上安裝華為或者其他廠家的虛擬化平臺進(jìn)行第2層虛擬化,這樣節(jié)省物理服務(wù)器資源的同時(shí)也讓學(xué)生能夠進(jìn)行多廠家云平臺的學(xué)習(xí)。

圖1 綜合云平臺架構(gòu)Fig.1 Architecture of the integrated cloud platform

從網(wǎng)絡(luò)資源角度,管理員為每個(gè)虛擬機(jī)劃分1個(gè)vlan和1個(gè)網(wǎng)段,每個(gè)網(wǎng)段的網(wǎng)關(guān)運(yùn)行在核心交換機(jī),即虛擬機(jī)之間只有通過核心交換機(jī)才能相互訪問,對于不允許相互訪問的教室和實(shí)訓(xùn)室、培訓(xùn)室,在核心交換機(jī)上配置端口隔離。出口路由器上使用ACL來控制用戶訪問外網(wǎng)的權(quán)限,使用nat進(jìn)行內(nèi)外部地址轉(zhuǎn)換。

從存儲資源角度,每套服務(wù)器有內(nèi)置的本地存儲,也部署了華為5300V3的IPSAN網(wǎng)絡(luò)存儲,目前提供的存儲總?cè)萘砍^200T,后續(xù)可以按需擴(kuò)容。

綜合云平臺的虛擬化方案和隔離方案如圖2所示。

圖2 綜合云平臺的虛擬化和隔離Fig.2 Virtualization and Isolation of the Integrated Cloud Platform

2.2.2 性能分析

本方案中用到的計(jì)算、網(wǎng)絡(luò)、存儲資源設(shè)備如表1所示。每臺云桌面虛擬機(jī)提供4核CPU、4G內(nèi)存、150G硬盤空間;每臺用于支持嵌套虛擬化的虛擬服務(wù)器按需分配資源,目前的平臺能力可以支持90臺4核CPU 12G內(nèi)存的虛擬服務(wù)器。平臺提供的資源相對充足,架構(gòu)也方便后續(xù)擴(kuò)展。從目前運(yùn)行結(jié)果看,云桌面用戶和嵌套虛擬化用戶體驗(yàn)均良好,另外本方案設(shè)計(jì)的安全性較好,沒有出現(xiàn)過由于實(shí)驗(yàn)環(huán)境問題導(dǎo)致正常教學(xué)的云桌面環(huán)境出現(xiàn)問題。本平臺目前提供的對外資源如表2所示。

表1 綜合云平臺設(shè)備使用Table1 Equipments of the integrated cloud platform

表2 目前平臺對外提供的資源Table 2 Current resources provided by the platform

圖3 教室的云桌面虛擬機(jī)Fig.3 Cloud desktop virtual machines for classrooms

在教室服務(wù)器上劃分了超過270個(gè)虛擬機(jī)(多幾個(gè)為測試使用)用于支持教室的桌面云,如圖3所示。在培訓(xùn)服務(wù)器上劃分超過135個(gè)虛擬機(jī)用于支持培訓(xùn)教室和實(shí)訓(xùn)教室的云桌面,如圖4所示。對于嵌套虛擬化環(huán)境,虛擬機(jī)按需創(chuàng)建,管理員根據(jù)需求在實(shí)驗(yàn)前創(chuàng)建好用戶信息,為每個(gè)用戶分配好vlan和IP地址段并創(chuàng)建好一層虛擬機(jī)。比如用戶可以申請2個(gè)一層虛擬機(jī)作為虛擬服務(wù)器,其中一個(gè)虛擬機(jī)作為服務(wù)器安裝為Fusion Compute的CNA結(jié)點(diǎn),另一個(gè)虛擬機(jī)安裝為VRM結(jié)點(diǎn),安裝完成后登陸VRM可以進(jìn)行CNA結(jié)點(diǎn)的管理,并可以基于該CNA結(jié)點(diǎn)創(chuàng)建虛擬機(jī),如圖5所示。

圖4 培訓(xùn)教室和實(shí)訓(xùn)教室的云桌面虛擬機(jī)

圖5 基于虛擬服務(wù)器創(chuàng)建虛擬機(jī)Fig.5 Create virtual machines based on virtual servers

本平臺的實(shí)訓(xùn)環(huán)境使用嵌套虛擬化方案后,使用6臺RH2288V3服務(wù)器,加上1臺5300V3存儲設(shè)備,即可提供90臺虛擬服務(wù)器,供2個(gè)班級每2人一組進(jìn)行實(shí)驗(yàn)(虛擬服務(wù)器安裝虛擬化平臺把管理結(jié)點(diǎn)和計(jì)算結(jié)點(diǎn)分開能提供更好的用戶體驗(yàn)),設(shè)備價(jià)格在30萬元內(nèi),相比原來的非嵌套虛擬化方案的150多萬元設(shè)備,實(shí)訓(xùn)成本不到原來的20%,可見本平臺方案可以大大減少實(shí)訓(xùn)設(shè)備成本。

3 結(jié) 語

云計(jì)算的IaaS層技術(shù)目前已經(jīng)有較為廣泛的應(yīng)用,但是如何在復(fù)雜場景下提供業(yè)務(wù)并保證安全性,需要管理員提前進(jìn)行規(guī)劃。本文提出了一種在產(chǎn)教融合背景下高校云平臺的架構(gòu),綜合考慮了環(huán)境的可管理性、擴(kuò)展性和安全性,運(yùn)行結(jié)果表明該架構(gòu)取得了預(yù)期的效果。但是還有一些問題留待后續(xù)繼續(xù)研究,比如嵌套虛擬化在云平臺上的性能下降幅度[15],云平臺的具體擴(kuò)展能力等。