李建敦

(上海電機學院 電子信息學院, 上海 201306)

?

高性能計算任務(wù)在虛擬化平臺上的節(jié)能調(diào)度

李建敦

(上海電機學院 電子信息學院, 上海 201306)

摘要對于虛擬計算系統(tǒng)(如云計算的基礎(chǔ)設(shè)施即服務(wù))而言，除對外提供簡單的單虛擬機外，還需要通過虛擬小組來響應(yīng)高性能計算任務(wù)的服務(wù)請求。此時，伴隨節(jié)點間通信峰值而來的網(wǎng)絡(luò)擁塞問題是影響計算效率提升的關(guān)鍵點。從可持續(xù)發(fā)展的角度入手，以高性能計算(HPC)任務(wù)在虛擬化平臺上的最優(yōu)部署為目標，通過對稱多處理虛擬機的應(yīng)用，提出了一種基于布局的節(jié)能調(diào)度方法。仿真實驗顯示，該方法能夠有效緩解虛擬化平臺中的通信峰值問題，同時較大幅度地降低高性能計算任務(wù)的運行時間。

關(guān)鍵詞高性能計算任務(wù); 云計算; 虛擬化; 節(jié)能調(diào)度

在一些計算系統(tǒng)的設(shè)計環(huán)節(jié)，如傳感器網(wǎng)絡(luò)[1]、有限電源支持設(shè)備等，能耗往往扮演重要角色。近年來，這種局面已經(jīng)擴展到了其他系統(tǒng)，包括超級計算機、數(shù)據(jù)中心等大規(guī)模計算平臺[2]。同時，隨著云計算[3-4]被廣泛接受與大范圍應(yīng)用，虛擬化逐漸成為集中計算系統(tǒng)，特別是商業(yè)數(shù)據(jù)中心的主流發(fā)展趨勢。

虛擬化環(huán)境中，如云數(shù)據(jù)中心[5]，為了應(yīng)對云外用戶的高性能計算(High Performance Computing, HPC)任務(wù)需求，往往需要將多個虛擬機聯(lián)合起來實現(xiàn)協(xié)同調(diào)度(Co-Schedule)。在此場景中，隨著主機間通信峰值而來的網(wǎng)絡(luò)擁塞問題是影響計算效率提升的關(guān)鍵，因此，如何緩解通信峰值問題，實現(xiàn)平臺內(nèi)部網(wǎng)絡(luò)的有效利用是面臨的巨大挑戰(zhàn)。

作為綠色計算分支之一，上述問題已經(jīng)得到了廣泛研究?？紤]到能耗主要集中于網(wǎng)絡(luò)設(shè)備[6-7]的事實，減少電子元器件(如各級門)的規(guī)模將有助于能耗的控制。Roberts[8]著眼下一代網(wǎng)絡(luò)，提出了重新設(shè)計現(xiàn)有路由器的思路。從網(wǎng)絡(luò)協(xié)議入手，Chen等[9]初次考慮了以太網(wǎng)的節(jié)能編碼問題，并通過改進降低了20%的能耗。上述方法都要求改變當前已廣泛應(yīng)用的以太網(wǎng)底層設(shè)計，但短期內(nèi)較難實施。

通過性能擴展與空邏輯，Bolla等[10]和Wierman等[11]通過網(wǎng)絡(luò)請求隊列的調(diào)整節(jié)約了能源；然而該方法依賴大規(guī)模的流量配置，打亂了原有的先進先出序列，有造成大量請求延誤的風險。為了減少在喚醒與休眠狀態(tài)間的切換次數(shù)，Nedevschi等[12]強制性規(guī)定了網(wǎng)絡(luò)操作的發(fā)生概率。為了促使網(wǎng)絡(luò)設(shè)備進入深度睡眠，Jimeno等[13]設(shè)置了網(wǎng)絡(luò)連接代理。Wang等[14]認為大多數(shù)網(wǎng)絡(luò)管理問題源自路由器的物理與邏輯配置間的緊耦合，于是提出了虛擬路由器的思想，以使物理與邏輯解耦，方便網(wǎng)絡(luò)負載的動態(tài)遷移，從而將剩余的物理路由器置于節(jié)能模式。不同于圍繞網(wǎng)絡(luò)設(shè)備的擴展類方法，上述方法無疑會影響虛擬平臺上正在運行的其他任務(wù)。本文聚焦網(wǎng)絡(luò)擁塞的一般源頭，即由HPC任務(wù)子程序間的頻繁通信來尋找解決方案。

對于多虛擬機的節(jié)能部署，業(yè)界同樣已有工作積累。Ma等[15]針對目標計算系統(tǒng)，不管其是否配備有動態(tài)電壓擴展(Dynamic Voltage Scaling, DVS)，提出了HPC任務(wù)的節(jié)能調(diào)度算法，能夠在維持任務(wù)運行時間的基礎(chǔ)上降低能耗。Verma等[16]同樣提出了一個考慮能耗的調(diào)度方法。通過工作流歷史及其對未來流量的預測，Bradley等[17]成功降低了承載網(wǎng)絡(luò)應(yīng)用平臺的能耗。同樣的工作還可以在文獻[18-22]中找到，但他們的計算平臺并未采用虛擬化技術(shù)。

從上層管理角度出發(fā)，本文利用對稱多處理虛擬機替代單核虛擬機，為HPC任務(wù)在虛擬化平臺上的部署引入了一種基于布局的節(jié)能協(xié)同調(diào)度方法(Layout Based Power-efficient Co-scheduling Approach, LPC)，以節(jié)省更多的帶寬資源。仿真實驗表明，該算法能夠較大程度地避免物理節(jié)點間的通信，有效緩解了網(wǎng)絡(luò)峰值問題，并縮短了計算任務(wù)的執(zhí)行時間。

1節(jié)能協(xié)同調(diào)度算法

1.1理論基礎(chǔ)

在節(jié)能調(diào)度的前期研究[23]中，針對如何將計算任務(wù)部署至虛擬化的物理節(jié)點上的問題，設(shè)置了3個標準，即請求響應(yīng)時間、節(jié)約的能耗與負載均衡度，并給出了4個范式來評估部署的級別與優(yōu)劣。

設(shè)有N個節(jié)點，每個節(jié)點能夠承載最多M個虛擬機，它們共同構(gòu)成全集U。其中，子集S由所有處于休眠狀態(tài)的節(jié)點構(gòu)成。此外，有兩個標注節(jié)點狀態(tài)的函數(shù)，其中，F(xiàn)(i)表示節(jié)點i上的負載規(guī)模，其值為整型，值域為[0，M]；而Z(i)表示節(jié)點i的狀態(tài)(即喚醒與休眠狀態(tài))，其值為布爾型，用“0”表示工作狀態(tài)，“1”表示休眠狀態(tài)。對于節(jié)能與負載均衡間的協(xié)調(diào)，引入了4個范式來評估。

范式1全集U中的任意節(jié)點i均滿足F(i)>0或Z(i)=1，即

(1)

(2)

(3)

由于虛擬機的封裝性，可能存在工作負載的分布雖未達到完全均衡，但已不能再優(yōu)化的情況，故將范式3的要求放寬，形成范式4。

(4)

此外，文獻[23]中，針對虛擬機的部署問題，提出了一個復合的節(jié)能調(diào)度方案，它由預啟動技術(shù)和最小負載優(yōu)先放置算法構(gòu)成。然而，該方案并不適用本文提出的問題，原因如下： ① 以獨立的虛擬機為調(diào)度的基本單位，并未考慮虛擬機間的通信；② 調(diào)度優(yōu)劣的衡量標準并未涉及網(wǎng)絡(luò)擁塞狀況。

1.2調(diào)度算法

在云計算的服務(wù)級別XaaS(X as a Service)中，對于日常應(yīng)用，如虛擬桌面等，單個虛擬機(Unique Virtual Machine, UVM)足以滿足用戶需求；然而，對于分布式計算任務(wù)，如基于消息傳遞模型(Message Passing Interface, MPI)的HPC任務(wù)，UVM就難以勝任了。同時，多個虛擬機共同服務(wù)一個計算任務(wù)也并不僅僅是虛擬機的簡單集成，更是多個虛擬機的協(xié)同調(diào)度與通信優(yōu)化的問題。

在通信效率與網(wǎng)絡(luò)負載方面，同一物理節(jié)點上的虛擬機通信與跨節(jié)點間的虛擬機通信之間，存在著顯著差異[16]。為了有效地利用網(wǎng)絡(luò)，本文深化了基于布局的方法，以虛擬小組為單位，實現(xiàn)了HPC任務(wù)在虛擬平臺上的節(jié)能部署。

由于節(jié)點間的虛擬機通信會影響其上正在運行的其他虛擬機的效率，特別是交互性強的任務(wù)，如虛擬桌面類，故在實際工作中，需要盡量避免兩種情況： ① 跨物理機部署的虛擬小組；② 非隸屬于同一虛擬小組的虛擬機共享同一物理機。具體方案如下： ① 同虛擬小組內(nèi)的所有虛擬機共享同一臺物理機；② 開辟專用的節(jié)點區(qū)域?qū)ｉT服務(wù)特定的虛擬小組。

對于并行計算任務(wù)來講，可以用單一的對稱多處理虛擬機(Symmetric Virtual Machine, SVM)來代替多個獨立的虛擬機。與UVM相比，SVM的作用在于突破了客機操作系統(tǒng)所形成的屏障，以類似物理機上進程的形式完成通信。對于負載均衡的指標，繼續(xù)以最小負載優(yōu)先算法來操作。考慮到完成HPC任務(wù)往往需要多個虛擬機協(xié)同配合才能完成，因此，預啟動技術(shù)既不現(xiàn)實也不必要。面向節(jié)能調(diào)度的4個范式，HPC任務(wù)的節(jié)能調(diào)度算法如下。

部署n核HPC任務(wù)的算法描述(n≥M)如下：

2仿真實驗

為了驗證算法的有效性，本文搭建了測試平臺進行了大量實驗。仿真平臺由4臺PC機(HP Compad dc 7900)組成，每臺皆為4核(Intel(R) Core(TM) 2 Quad CPU Q8400 2.66GHz)，內(nèi)存為4GB，硬盤為300GB，通過100Mbit/s以太網(wǎng)交換機實現(xiàn)互連，操作系統(tǒng)為Ubuntu Server 9.10 AMD64。選取1臺PC機為控制節(jié)點，其他為計算節(jié)點(N=3)。云計算管理中間件采用Eucalyptus[25]，網(wǎng)絡(luò)流量監(jiān)測通過Ntop來實現(xiàn)。虛擬機的類型有5種，如表1所示。

本文在算例方面生成了兩個消息傳遞型并行任務(wù)(Message Passing Interface, MPI)A和B，其中，任務(wù)A由2個相互通信(100000次)的進程組成；而任務(wù)B需要實現(xiàn)6個進程之間的廣播操作(15000次)，由于6個進程需要同時運行，故必須部署到2個或更多的節(jié)點上。具體的拆分方式有4種，按每個節(jié)點上的核數(shù)排列為1-2-3、2-2-2、2-4、3-3。

表1　虛擬機類型及配置Tab.1　VM types and configuration

然后，利用輪盤賭、貪心算法與本文的LPC算法分別對算例進行調(diào)度。實驗結(jié)果表明，輪盤賭、貪心算法的下一個部署決策受當前的虛擬機分布情況影響較大，而LPC較直接地搜索出當前擁有最小負載的子集，并將虛擬小組均衡地部署上去。因此，本文僅給出了UVM/SVM及其不同模式下的網(wǎng)絡(luò)負載比較，如圖1、2所示。

圖1　網(wǎng)絡(luò)負載Fig.1　Network load

由圖1(a)可見，除了LPC(即SVM曲線)，輪盤賭與貪心算法(合并為UVM曲線)都耗費了較多的帶寬。以任務(wù)A為例，其網(wǎng)絡(luò)峰值最高可達 3Mbit/s，而通過將這些任務(wù)限定于單一節(jié)點后，通信平穩(wěn)，并未出現(xiàn)較大的波動，驗證了節(jié)點間、節(jié)點內(nèi)與進程間通信的較大差異。由圖1(b)可見，對于不同的模式，承載的節(jié)點越少，其占用的帶寬就越少，它們之間呈正相關(guān)，這是由于節(jié)點間通信流量小的結(jié)果；模式1-2-3、2-4與3-3較模式2-2-2更穩(wěn)定，模式3-3是最穩(wěn)定的。

由圖2可知，在相同的部署模式下，SVM的網(wǎng)絡(luò)峰值都要略高于UVM，這是由于進程在操作系統(tǒng)內(nèi)部的通信更迅捷，故造成流量較虛擬機間的通信更大。然而，由于SVM的響應(yīng)時間要比UVM的1/2還少(見表2)，因此，整體而言，依然是SVM更優(yōu)。

在執(zhí)行時間方面，任務(wù)A和B的差距同樣明顯。在UVM下，對任務(wù)A的執(zhí)行需要150.6s，而SVM只需0.14s。對于任務(wù)B，在不同模式下，SVM較UVM的執(zhí)行時間平均下降了74.25%；由表2可見，除模式2-2-2外，模式承載的節(jié)點越少，所需時間也越少，這同樣是由于網(wǎng)絡(luò)峰值所致，而模式2-2-2需要3個節(jié)點，并不符合范式4的要求。

圖2　任務(wù)B的網(wǎng)絡(luò)負載Fig.2　Network load of Job B

模式執(zhí)行時間/sUVMSVM下降率/%1-2-3469.82183.7460.92-2-2375.6584.5877.52-4727.87153.6778.93-3626.04127.0079.7

3結(jié)語

隨著服務(wù)器虛擬化技術(shù)的廣泛應(yīng)用，如云數(shù)據(jù)中心，互聯(lián)網(wǎng)服務(wù)商已經(jīng)可以面向HPC任務(wù)提供請求即響應(yīng)服務(wù)。但是，如何有能效地服務(wù)HPC用戶依然是個問題。本文從管理角度入手，通過SVM的應(yīng)用提出了一個節(jié)能協(xié)同調(diào)度算法。仿真實驗顯示，該算法能夠避免大量的節(jié)點間通信，緩解了網(wǎng)絡(luò)峰值問題，減少了HPC任務(wù)的運行時間。

參考文獻

[1]范念飛，劉雨，李慶，等.聯(lián)合模擬網(wǎng)絡(luò)編碼和壓縮感知的數(shù)據(jù)傳輸方案[J].重慶郵電大學學報(自然科學版)，2012，(5)： 566-572.

[2]ORGERIE C，ASSUNCAO M D，LEFEVRE L.A survey on techniques for improving the energy efficiency of large scale distributed systems[J].ACM Computing Surveys，2014，46(4)： 1-35.

[3]ARMBRUST M，F(xiàn)OX A，GRIFFITH R，et al. A view of cloud computing[J].Communications of the ACM，2010，53(4)： 50-58.

[4]譚偉，董守斌，梁興建.云計算環(huán)境下強競爭力制造資源構(gòu)建及其云服務(wù)建模[J].小型微型計算機系統(tǒng)，2015，36(12)： 2634-2638.

[5]BERL A，GELENBE E，GIROLAMO M D，et al. Energy-efficient cloud computing[J].Computer Journal，2010，53(7)： 1045-1051.

[6]BOLLA R， BRUSCHI R，DAVOzLI F，et al. Energy efficiency in the future Internet： A survey of existing approaches and trends in energy-aware fixed network infrastructures[J].IEEE Communications Surveys and Tutorials，2011，13(2)： 223-244.

[7]POPOUIC-GERBER J，OLIVER J A，CORDERO N，et al.Power electronics enabling efficient energy usage： Energy savings potential and technological challenges[J].IEEE Transactions on Power Electronics，2012，27(5)： 2338-2353.

[8]ROBERTS L G.A radical new router[J].IEEE Spectrum，2009，46(7)： 34-39.

[9]CHEN Yanpei，WANG T X.，KATZ R.H.Energy efficient Ethernet encodings[C]∥33rd IEEE Conference on Local Computer Networks.Montreal，QB，Canada： IEEE，2008： 122-129.

[10]BOLLA R，BRUSCHI R，DAVOLI F，et al.Performance constrained power consumption optimization in distributed network equipment[C]∥2009 IEEE International Conference on Communications Workshops.Dresden： IEEE，2009： 1-6.

[11]WIERMAN A，Andrew L H，Tang A O.Power-aware speed scaling in processor sharing systems[C]∥Proceedings of IEEE INFOCOM.[S.L.]： IEEE，2009： 2007-2015.

[12]NEDEVSCHI S，POPA L，IANNACCONE G，et al. Reducing network energy consumption via sleeping and rate-adaptation[C]∥Proceedings of the 5th USENIX Symposium on Networked Systems Design and Implementation.Berkeley，CA，USA： USENIX，2008： 323-336.

[13]JIMENO M，CHRISTENSEN K，NORDMAN B.A network connection proxy to enable hosts to sleep and save energy[C]∥IEEE International Conference on Performance，Computing and Communications Conference.[S.L.]： IEEE，2008： 101-110.

[14]WANG Yi，KELLER E，BISKEBORN B，et al. Virtual routers on the move： live router migration as a network-management primitive[J].ACM SIGCOMM Computer Communication Review，2008，38(4)： 231-242.

[15]MA Yan，GONG Bin，GUO Zhihong，et al. Energy-aware scheduling of parallel application in hybrid computing system[J].Chinese Journal of Electronics，2014，23(4)： 688-694.

[16]VERMA A，AHUJA P，NEOGI A.Power-aware dynamic placement of HPC applications[C]∥Proceedings of the 22nd annual international conference on Supercomputing.New York，NY，USA： ACM，2008： 175-184.

[17]Bradley D，Harper R，Hunter S.Workload-based power management for parallel computer systems[J].IBM Journal of Research and Development，2003，47(5/6)： 703-718.

[18]KANT K，MURUGAN M，DU D H C.Enhancing data center sustainability through energy adaptive computing[J].ACM Journal of Emerging Technologies in Computing Systems，2012，8(4)： 1-20.

[19]SATOH F，YANAGISAWA H，TAKAHASHI H，et al. Total energy management system for cloud computing[C]∥2013 IEEE International Conference on Cloud Engineering(IC2E).Redwood City，CA： IEEE，2013： 233-240.

[20]PIGA L，BERGAMASCHI R A，BRETERNITZ M，et al.Adaptive global power optimization for web servers[J].Journal of Supercomputing，2014，68(3)： 1088-1112.

[21]SHEIKH H F，Tan Hengxing，AHMAD I，et al.Energy- and performance-aware scheduling of tasks on parallel and distributed systems[J].ACM Journal of Emerging Technologies in Computing Systems，2012，8(4)： 1-37.

[22]GARG S K，YEO C S，ANANDASIVAM A，et al.Environment-conscious scheduling of HPC applications on distributed cloud-oriented data centers[J].Journal of Parallel and Distributed Computing，2011，71(6)： 732-749.

[23]LI Jiandun，PENG Junjie，ZHANG Wu.A scheduling algorithm for private clouds[J].Journal of Convergence Information Technology，2011，6(7)： 1-9.

[24]SOUTHERN G，HWANG D，BARNES R.SMP virtualization performance evaluation[EB/OL].(2015-10-12).http：∥users.soe.ucsc.edu/～gsouther/papers/vpact09_gmu.pdf.

[25]NURMI D，WOLSKI R，GRZEGORCZYK C，et al.The eucalyptus open-source cloud-computing system[C]∥9th IEEE/ACM International Symposium on Cluster Computing and the Grid.Shanghai： IEEE，2009： 124-131.

收稿日期：2016-04-04

作者簡介：李建敦(1982-)，男，講師，博士，主要研究方向為高性能計算與云計算，E-mail： lijd@sdju.edu.cn

文章編號2095-0020(2016)03-0164-06

中圖分類號TP 393.01

文獻標識碼A

Power-Efficient Schedule of High Performance Computing Jobs on Virtualized Platforms

LIJiandun

(School of Electronic Information Engineering, Shanghai Dianji University, Shanghai 201306, China)

AbstractFor virtualized computing systems, e.g., infrastructure as a service of cloud computing, there is demand from on-demand users to run high performance computing (HPC) jobs using a virtual group (VG) besides providing simple single virtual machine (VM). In this case, network jam always occurs during communication peaks among VMs within a VG, especially when they are co-serving a HPC job. Thus, they are challenging problems to alleviate network peaks and to use the network efficiently in terms of power consumption. This paper introduces a layout-based power-efficient co-scheduling algorithm for HPC jobs hosted by virtualized platforms. In these platforms, symmetric multiprocessing virtual machine is recommended against unique processor virtual machine. Simulation indicates that the proposed algorithm out performs others in managing networking peaks of virtualized environment and shortening execution time of HPC jobs.

Keywordshigh performance computing job; cloud computing; virtualization; energy-saving scheduling

項目支持： 上海高校青年教師培養(yǎng)資助計劃資助(14AZ23)；上海電機學院科研啟動金項目資助(13QD01)；上海電機學院重點學科資助(13XKJ01)