鄭偉鴻，林珠（1.廣東省計(jì)算中心，廣州510033；2.廣東省高性能計(jì)算重點(diǎn)實(shí)驗(yàn)室，廣州510033）

高性能集群的虛擬化策略

鄭偉鴻1，2，林珠1，2
（1.廣東省計(jì)算中心，廣州510033；2.廣東省高性能計(jì)算重點(diǎn)實(shí)驗(yàn)室，廣州510033）

隨著虛擬化在科研和生產(chǎn)中的應(yīng)用逐步擴(kuò)大，虛擬化技術(shù)和集群技術(shù)逐漸受到關(guān)注。通過介紹虛擬化技術(shù)和服務(wù)集群技術(shù)，以部署紅帽虛擬化平臺為例，闡述虛擬化平臺的系統(tǒng)架構(gòu)和功能結(jié)構(gòu)，并給出其配置部署方法。實(shí)驗(yàn)表明，該虛擬化平臺可以提供多種有效的、可靠的、高可用的應(yīng)用服務(wù)。提高服務(wù)器整體的性能，合理分配資源，提高資源利用率，并降低運(yùn)行成本。

虛擬化；集群；紅帽虛擬化

0　引言

虛擬化技術(shù)的應(yīng)用廣泛，在科研、政府、高校以及商業(yè)等都日益體現(xiàn)。虛擬化技術(shù)不僅可以降低IT部署的TCO（Total Cost of Ownership），而且提供了可靠、高效率、高可用性的服務(wù)[1]。高性能集群的虛擬化策略主要研究虛擬化技術(shù)搭建服務(wù)器集群以抽象物理資源，統(tǒng)一管理資源和調(diào)度資源，提供方便、快捷、高效、可靠的虛擬化服務(wù)，并降低管理成本。

1　平臺虛擬化關(guān)鍵技術(shù)

1.1虛擬化技術(shù)

虛擬化技術(shù)使得在一臺服務(wù)器上同時運(yùn)行多個虛擬服務(wù)器，且各虛擬服務(wù)器彼此隔離，安全獨(dú)立運(yùn)行。

1.2集群技術(shù)

集群是一組相互獨(dú)立的、通過高速網(wǎng)絡(luò)互聯(lián)的計(jì)算機(jī)，它們構(gòu)成了一個松耦合的計(jì)算節(jié)點(diǎn)集合，并以單一系統(tǒng)的模式加以管理，為用戶提供統(tǒng)一的服務(wù)器資源視圖，實(shí)現(xiàn)資源共享，具有良好的負(fù)載均衡、故障遷移和恢復(fù)能力[3]。對于用戶來說，集群像是一個獨(dú)立的服務(wù)器。通過集群技術(shù)，可以提高系統(tǒng)的可擴(kuò)展性、增強(qiáng)系統(tǒng)的可靠性，并在較低成本的條件下提高系統(tǒng)的性能。集群系統(tǒng)的關(guān)鍵功能包括應(yīng)用故障接管、站點(diǎn)故障接管、服務(wù)器遷移和負(fù)載均衡等。

2　平臺虛擬化實(shí)現(xiàn)

e），是一個開源的系統(tǒng)虛擬化模塊[4]，自Linux 2.6.20之后集成在Linux的各個主要發(fā)行版本中。它使用Linux自身的調(diào)度器進(jìn)行管理，所以相對于Xen，其核心源碼很少。KVM目前已成為學(xué)術(shù)界的主流VMM之一。

紅帽虛擬化（Red Hat Enterprise Virtualization）采用整合了KVM的Linux內(nèi)核，具有諸多優(yōu)勢，如：（1）利用硬件虛擬化特性，具有高性能的基于內(nèi)核優(yōu)秀調(diào)度技術(shù)。（2）具備SELinux，提高系統(tǒng)安全。（3）獨(dú)特的hybrid-mode操作,提供了靈活性。（4）Linux的應(yīng)用程序和虛擬機(jī)同時并存在同一臺服務(wù)器上，有效地利用系統(tǒng)硬件資源，高效平滑地將虛擬化整合到企業(yè)數(shù)據(jù)中心的核心。（5）構(gòu)建在信任的、穩(wěn)定的企業(yè)級平臺之上。

因此，本文闡述通過紅帽虛擬化技術(shù)實(shí)現(xiàn)高性能計(jì)算集群的虛擬化。

（1）系統(tǒng)架構(gòu)

在CPU、內(nèi)存、磁盤和網(wǎng)絡(luò)等物理資源的基礎(chǔ)上，運(yùn)行著可以允許多個操作系統(tǒng)和應(yīng)用共享硬件的用戶硬件抽象層，該硬件抽象層是由內(nèi)嵌KVM的Linux組成Hypervisor。將硬件抽象虛擬化后，提供給上層虛擬機(jī)操作系統(tǒng)。使用Virtio半虛擬化驅(qū)動提高運(yùn)算效率（如圖1）。

圖1　系統(tǒng)架構(gòu)圖

（2）系統(tǒng)拓?fù)浣Y(jié)構(gòu)

基于紅帽虛擬化技術(shù)的體系結(jié)構(gòu)，本系統(tǒng)以RHEV Manager（RHEV-M)作為管理節(jié)點(diǎn)，整合RHEV Hypervisor（RHEV-H）服務(wù)器的資源和存儲資源，統(tǒng)一管理，以虛擬化的方式把資源提供給用戶[5]（如圖2）。

圖2　系統(tǒng)拓?fù)浣Y(jié)構(gòu)圖

3　平臺虛擬化實(shí)現(xiàn)

3.1搭建虛擬化平臺的管理點(diǎn)：RHEV Manager（RHEV-M）

RHEV-M采用集中式虛擬化管理解決方案，整合了服務(wù)器虛擬化和桌面虛擬化的管理功能，并提供集中式管理功能，如：高可用、在線遷移、電源管理、負(fù)載均衡、鏡像管理，范本管理，用戶權(quán)限策略管理，集中監(jiān)控等[6]。

使用型號為曙光CB85-F的刀片服務(wù)器搭建RHEV-M，該刀片具有4顆CPU，每顆CPU有6核、32G內(nèi)存、128G磁盤空間和千兆以太網(wǎng)。

3.2搭建虛擬化平臺的計(jì)算機(jī)節(jié)點(diǎn)RHEV Hyoer-visor（RHEV-H）

RHEV-H作為獨(dú)立的企業(yè)級Hypervisor，具有良好的擴(kuò)展性，采用RHEL kernel+KVM架構(gòu)，高性能的VirtIo驅(qū)動和Libvirt管理接口。并提供內(nèi)存頁面共享、SELinux安全體系和隔離系統(tǒng)、Live Migration在線遷移、Snapshoot快照和Thin Provisioning儲存資源隨需分配等功能。

使用4臺型號為曙光CB85-F的刀片服務(wù)器搭建RHEV-M，該刀片具有4顆CPU，每顆CPU有6核、32G內(nèi)存、128G磁盤空間和千兆以太網(wǎng)。

3.3搭建存儲空間

搭建存儲空間：本次虛擬化平臺的建設(shè)采用了曙光DS200-N10存儲陣列作為平臺數(shù)據(jù)的存儲空間。存儲空間大小為4TB，并設(shè)置RAID 5保障數(shù)據(jù)安全性。

4　平臺虛擬化運(yùn)行

4.1主機(jī)調(diào)配

RHEV-H將物理機(jī)器上的處理器、內(nèi)存資源進(jìn)行抽象為資源池，供虛擬機(jī)使用。增加RHEV-H主機(jī)的步驟如下：

首先，打開RHEV-M管理系統(tǒng)，點(diǎn)擊administrator portal并登錄。登錄后，進(jìn)入管理界面，在管理界面中點(diǎn)擊“數(shù)據(jù)中心”標(biāo)簽，單擊“新建”，打開“新建數(shù)據(jù)中心”向?qū)?，命名為“rhev”并選擇類型為NFS，點(diǎn)擊“確定”完成添加數(shù)據(jù)中心。

其次，單擊“集群”標(biāo)簽，單擊“新建”打開新建集群向?qū)?，選擇數(shù)據(jù)中心為rhev，選擇CPU名稱為AMDOpteron G3，選擇策略為“Evenly_Distributed”即負(fù)載均衡。單擊“確定”完成集群創(chuàng)建。

最后，單擊“主機(jī)”標(biāo)簽，單擊“新建”打開添加主機(jī)向?qū)?，選擇數(shù)據(jù)中心為“rhev”，選擇主機(jī)集群為“rhev”，輸入主機(jī)名為node1.example.com，主機(jī)的IP地址172.16.20.42，SSH端口為22，并輸入用戶名root。點(diǎn)擊“確定”，完成添加主機(jī)。

4.2配置邏輯網(wǎng)絡(luò)

配置邏輯網(wǎng)絡(luò)，為連接NAS存儲服務(wù)和虛擬機(jī)的通信打下基礎(chǔ)。登錄RHEV-M管理系統(tǒng)，點(diǎn)擊“網(wǎng)絡(luò)”標(biāo)簽，點(diǎn)擊“新建”，打開新建邏輯網(wǎng)絡(luò)向?qū)Вx擇數(shù)據(jù)中心為rhev，輸入邏輯網(wǎng)絡(luò)名稱rhevm，點(diǎn)擊“確定”完成邏輯網(wǎng)絡(luò)調(diào)配。

4.3存儲調(diào)配

紅帽虛擬化平臺的存儲分為三類，分別為data、export、iso。

data主要用來存放虛擬機(jī)的磁盤文件。一個平臺可以有多個data存儲空間。

export主要用于虛擬機(jī)導(dǎo)入與導(dǎo)出時，作為中轉(zhuǎn)空間。一個平臺只能有一個export存儲空間。

iso主要用于存放各種鏡像文件，供虛擬機(jī)初始安裝系統(tǒng)使用。一個平臺只能有一個iso存儲空間。

本平臺使用NAS網(wǎng)絡(luò)存儲掛載磁盤陣列DS200-N10為data存儲空間。步驟如下：

首先，登錄DS200-N10的Web管理系統(tǒng)，分配出4TB的LVM，并啟用NAS服務(wù)，設(shè)置文件夾名稱和訪問IP。

其次，登錄RHEV-M管理系統(tǒng)，打開“存儲”標(biāo)簽，點(diǎn)擊“新建域”，打開添加存儲向?qū)?，選擇數(shù)據(jù)中心為“rhev”，選擇存儲類型為“Data/NFS”,填入NAS存儲的訪問路徑。點(diǎn)擊“確認(rèn)”完成添加。

添加export和iso存儲空間的步驟與之類似。添加各個存儲空間后，如圖3所示。

4.4虛擬主機(jī)調(diào)配

具備了以上調(diào)配的資源后，就可以創(chuàng)建虛擬主機(jī)了。步驟如下：

首先，登錄RHEV-M管理系統(tǒng)，打開“虛擬機(jī)”標(biāo)簽，點(diǎn)擊“新建虛擬機(jī)”，打開添加虛擬機(jī)向?qū)?，選擇集群為“rhev”，選擇操作系統(tǒng)類型，填寫虛擬機(jī)名稱，按需分配CPU、內(nèi)存資源。同時，可以選擇平臺現(xiàn)有的模板來快速創(chuàng)建虛擬機(jī)。

其次，根據(jù)向?qū)?，添加虛擬機(jī)的虛擬磁盤。

最后，為新建的虛擬機(jī)添加虛擬網(wǎng)卡。單擊選擇虛擬機(jī)后，選擇下方的“網(wǎng)絡(luò)接口”標(biāo)簽，點(diǎn)擊“添加”，打開添加虛擬網(wǎng)卡向?qū)?，輸入虛擬網(wǎng)卡的名稱，選擇網(wǎng)卡類型為VirtIo，點(diǎn)擊“確定”完成添加。

4.5備份功能調(diào)配

紅帽虛擬化平臺通過snapshot快照功能對虛擬機(jī)進(jìn)行備份?？煺展δ芸梢詫?shí)現(xiàn)虛擬機(jī)在線備份，不需要中斷服務(wù)，這是一個非常值得點(diǎn)贊的功能。備份步驟如下：

右鍵單擊需要備份的虛擬機(jī)，在彈出的菜單中選擇“創(chuàng)建快照”，打開創(chuàng)建快照向?qū)?，輸入快照名稱，點(diǎn)擊“確定”完成創(chuàng)建。

4.6遷移功能調(diào)配

紅帽虛擬化平臺的遷移功能包括自動遷移和手動遷移。自動遷移是指當(dāng)主機(jī)node1出現(xiàn)故障無法正常運(yùn)行時，系統(tǒng)會自動將node1上的虛擬機(jī)遷移到其他主機(jī)如node2，并繼續(xù)運(yùn)行。保障平臺的高可用性。手動遷移是指管理員根據(jù)主機(jī)的CPU、內(nèi)存等資源的使用情況通過虛擬機(jī)的編輯菜單，自主地選擇虛擬機(jī)運(yùn)行的主機(jī)。

圖3　

5　結(jié)語

通過紅帽虛擬化平臺的建設(shè)和使用，能夠利用有限的資源，提供多種有效的、可靠的、高可用的應(yīng)用服務(wù)。提高服務(wù)器整體的性能，合理分配資源，提高資源利用率，并降低了運(yùn)行成本。

[1]李罡.構(gòu)建基于VMWare ESX虛擬化平臺的企業(yè)私有云[J].科技視界，2013,025：90~98

[2]虛擬化技術(shù).維基百科http://zh.wikipedia.org/

[3]車靜光.微機(jī)集群組建、優(yōu)化和管理[M].北京：機(jī)械工業(yè)出版社，2004:12~15

[4]王則陸，孫超，于麗.KVM虛擬化技術(shù)在申威平臺的應(yīng)用[J].信息技術(shù)與信息化,2014,006:174~176

[5]高小伍.數(shù)字化校園虛擬化平臺的構(gòu)建[J].中國教育網(wǎng)絡(luò),2009,001:127~128

[6]Red_Hat_Enterprise_Virtualization-3.3-Installation_Guide-en-US

Virtualization Strategy of High Performance Cluster

ZHENG Wei-hong1，2，LIN Zhu1，2

（1.Guangdong Computing Center，Guangzhou 510033；2.Guangdong Key Laboratory of High Performance Computing，Guangzhou 510033）

With the expanding of virtualization application in the application of scientific research and production,virtualization technology and cluster technology are gradually coming into focus.By introducing the virtualization technology and cluster technology of services,to deploy the Red Hat virtualization platform as an example,expounds the system architecture and function structure of virtualization platform,and gives the configuration to deploy method.Experiments show that the virtualization platform can provide a variety of effective, reliable,highly available application services.Improves the overall server performance,reasonable allocation of resources,improves resource utilization,and reduces the operation cost.

Virtualization;Cluster;Red Hat Virtualization

廣東省實(shí)驗(yàn)室體系建設(shè)開放運(yùn)行費(fèi)“廣東省高性能計(jì)算重點(diǎn)實(shí)驗(yàn)室”（粵科財(cái)字[2013]82號）、社會發(fā)展發(fā)展領(lǐng)域科技計(jì)劃項(xiàng)目（No.2013B020200008）

1007-1423（2015）11-0058-04

10.3969/j.issn.1007-1423.2015.11.011

鄭偉鴻（1989-），男，廣東饒平人，本科，助理工程師，研究方向?yàn)樘摂M化技術(shù)、軟件研發(fā)

林珠（1983-），女，廣東梅州人，研究生，高級工程師，研究方向?yàn)樵朴?jì)算、科技管理

2015-03-03

2015-03-30