闞運(yùn)奇，劉宏偉，左德承，張 展

(1. 哈爾濱工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院， 黑龍江 哈爾濱 150001；2. 東北電力大學(xué) 信息工程學(xué)院， 吉林 吉林 132400)

?

云計(jì)算系統(tǒng)虛擬機(jī)內(nèi)存資源預(yù)留方法*

闞運(yùn)奇1,2，劉宏偉1，左德承1，張 展1

(1. 哈爾濱工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院， 黑龍江 哈爾濱 150001；2. 東北電力大學(xué) 信息工程學(xué)院， 吉林 吉林 132400)

為降低消費(fèi)者租借云計(jì)算系統(tǒng)資源的開銷,提出了成本約束的內(nèi)存預(yù)留隨機(jī)整數(shù)線性規(guī)劃模型及方法。結(jié)合預(yù)留計(jì)劃和按需計(jì)劃的內(nèi)存資源價(jià)格，設(shè)計(jì)包含成本及資源總量約束條件的隨機(jī)開銷函數(shù),并以函數(shù)期望值最小化為目標(biāo)，基于內(nèi)存消耗量概率分布求出優(yōu)化的內(nèi)存預(yù)留量。試驗(yàn)表明，消費(fèi)者利用該方法租借資源的開銷比利用預(yù)留計(jì)劃、按需計(jì)劃及同類方法租借資源的開銷更小。

云計(jì)算；虛擬機(jī)；內(nèi)存資源預(yù)留；成本優(yōu)化

云計(jì)算是一種大規(guī)模的分布式計(jì)算模式[1]，按使用量付費(fèi)，這種模式提供可用的、便捷的、按需的網(wǎng)絡(luò)訪問，云提供商將CPU、內(nèi)存、硬盤等復(fù)合資源整合到虛擬機(jī)(Virtual Machine, VM)，并通過資源配置機(jī)制租借給消費(fèi)者[2]。但多數(shù)云服務(wù)提供商提供的虛擬機(jī)型號(hào)有限且規(guī)格固定，即每個(gè)類型的虛擬機(jī)包含的資源量是固定的，而不同的消費(fèi)者對(duì)各類資源需求各異，規(guī)格固定、型號(hào)有限的虛擬機(jī)無法滿足各類消費(fèi)者的需求，這將導(dǎo)致消費(fèi)者無法充分地利用虛擬機(jī)各項(xiàng)資源，造成資源浪費(fèi)及成本增加，尤其是價(jià)格較高的CPU、內(nèi)存等資源。

另外，包括Amazon EC2[3-4]、Go Grid[5]和阿里云平臺(tái)等在內(nèi)的云計(jì)算系統(tǒng)向消費(fèi)者提供的虛擬機(jī)租借方案有多種，其中兩個(gè)主要的租借方案是：短期按需計(jì)劃和長期預(yù)留計(jì)劃。一般來說,按需計(jì)劃是指云計(jì)算提供商按消費(fèi)者需求提供資源的計(jì)劃，并按資源使用時(shí)間收費(fèi)。采用按需計(jì)劃的消費(fèi)者可以靈活地申請(qǐng)和退訂資源，但資源的單價(jià)較高。預(yù)留計(jì)劃是指消費(fèi)者長期租借定量的資源并預(yù)付費(fèi)用，如1年期，計(jì)費(fèi)標(biāo)準(zhǔn)如表1所示。消費(fèi)者采用預(yù)留計(jì)劃租借虛擬機(jī)資源單價(jià)較低，但租借方式不夠靈活。租借虛擬機(jī)來執(zhí)行持續(xù)任務(wù)的消費(fèi)者無法預(yù)知任務(wù)負(fù)載，多采用復(fù)合型租借方案，即：預(yù)留滿足普通日常負(fù)載需求的資源，在負(fù)載量突增時(shí)按需租借資源。消費(fèi)者采用該方案可降低由于預(yù)留過量資源造成的開銷，同時(shí)也可避免全部采用按需計(jì)劃租借資源造成的高額開銷。如何求得一個(gè)優(yōu)化的資源預(yù)留量來降低成本并滿足負(fù)載運(yùn)行的需求成為亟須解決的問題。

表1 阿里云虛擬機(jī)計(jì)費(fèi)標(biāo)準(zhǔn)

國內(nèi)外有較多針對(duì)云計(jì)算系統(tǒng)資源預(yù)訂及配置的相關(guān)研究[6-15]：

文獻(xiàn)[10]提出了云資源優(yōu)化配置(Optimal Cloud Resource Provisioning, OCRP)算法,通過制定一個(gè)隨機(jī)規(guī)劃模型解決由于消費(fèi)者需求不確定造成的預(yù)訂資源困難問題，降低了消費(fèi)者的成本；文獻(xiàn)[11]提出了具有容錯(cuò)功能的考慮負(fù)載均衡的成本開銷最小化的云計(jì)算系統(tǒng)資源分配方案。以上研究均以虛擬機(jī)為整體作為研究對(duì)象來考慮資源預(yù)定計(jì)劃及資源分配方案，并沒有以虛擬機(jī)各項(xiàng)資源為對(duì)象細(xì)粒度地研究資源分配方案。

文獻(xiàn)[14]設(shè)計(jì)了內(nèi)存均衡管理器實(shí)現(xiàn)了虛擬機(jī)內(nèi)存均衡(Virtual Machine Memory Balancing, VMMB)機(jī)制，動(dòng)態(tài)監(jiān)測各虛擬機(jī)內(nèi)存需求，定期重新平衡虛擬機(jī)的內(nèi)存配額；文獻(xiàn)[15]提出了兩種動(dòng)態(tài)虛擬機(jī)調(diào)度技術(shù)，減少了系統(tǒng)響應(yīng)時(shí)間且平衡了CPU、內(nèi)存等資源利用率。以上方法側(cè)重于從云計(jì)算服務(wù)商角度進(jìn)行資源配置管理，但沒有從消費(fèi)者角度考慮開銷問題。

1 問題描述

1.1 云計(jì)算系統(tǒng)及相關(guān)定義

云計(jì)算系統(tǒng)由高性能硬件資源構(gòu)成基礎(chǔ)設(shè)施，由云操作系統(tǒng)管理資源組建虛擬機(jī)為消費(fèi)者提供安全可靠[16]的服務(wù)：計(jì)算、數(shù)據(jù)存儲(chǔ)、文件處理[17]等。為方便描述，下面定義一些符號(hào)及集合：

1.2 云計(jì)算系統(tǒng)付費(fèi)模式

云提供商向消費(fèi)者出租虛擬機(jī)，雙方遵守SLA協(xié)議(Service-Level Agreement)[18]。典型的如阿里云計(jì)算平臺(tái)，其向消費(fèi)者提供兩種虛擬機(jī)租借計(jì)劃——預(yù)留計(jì)劃和按需計(jì)劃，按這兩種計(jì)劃出租各種規(guī)格虛擬機(jī)的單價(jià)如表1所示。

如果消費(fèi)者租借虛擬機(jī)用來執(zhí)行長期不間斷性任務(wù)，那么他們一般采用混合方式租借資源，下面以這類消費(fèi)者為對(duì)象研究虛擬機(jī)資源配置及預(yù)留方案，這類消費(fèi)者的開銷可表示為：Costtotal=Coston+Costr，Costr代表以預(yù)留計(jì)劃租借資源的開銷，Coston代表以按需計(jì)劃租借資源的開銷。消費(fèi)者采用預(yù)留計(jì)劃比采用按需計(jì)劃租借資源的價(jià)格要低，但如果用戶預(yù)留過多的資源會(huì)造成用戶資金浪費(fèi)；而如果預(yù)留資源過少，會(huì)導(dǎo)致任務(wù)負(fù)載頻繁超過預(yù)訂資源的承載量，消費(fèi)者會(huì)采用按需計(jì)劃以較高的價(jià)格頻繁租借資源，最終其總開銷Costtotal增加。

1.3 各項(xiàng)資源利用不均衡問題

為降低用戶開銷可以以虛擬機(jī)為對(duì)象制訂虛擬機(jī)預(yù)留方案，在保障日常任務(wù)正常運(yùn)行的前提下降低開銷，但由于虛擬機(jī)規(guī)格固定所以不可避免地造成單項(xiàng)資源(如：內(nèi)存)浪費(fèi)。

在VMware云計(jì)算系統(tǒng)中驗(yàn)證了這種現(xiàn)象的存在，首先參考阿里云計(jì)算系統(tǒng)基礎(chǔ)型虛擬機(jī)(1核CPU、1 GB內(nèi)存)設(shè)置并啟動(dòng)了一個(gè)小型虛擬機(jī)，在虛擬機(jī)中安裝Windows Server 2003操作系統(tǒng)并搭建網(wǎng)站，然后利用Loadrunner系統(tǒng)[19]模擬產(chǎn)生了峰值為500的網(wǎng)站訪問負(fù)載，通過VMware虛擬機(jī)性能監(jiān)測器監(jiān)控獲得各項(xiàng)資源消耗量。

表2 某時(shí)刻虛擬機(jī)資源利用率

為充分展現(xiàn)各項(xiàng)資源消耗對(duì)比情況，設(shè)置虛擬機(jī)資源量可以彈性擴(kuò)展，但在商業(yè)云計(jì)算系統(tǒng)中，當(dāng)任意一項(xiàng)資源消耗量達(dá)到配額量時(shí)需要啟動(dòng)新的虛擬機(jī)或延遲服務(wù)，這樣會(huì)導(dǎo)致消費(fèi)者開銷增大或服務(wù)質(zhì)量下降。通過實(shí)驗(yàn)獲得了CPU、內(nèi)存資源消耗率的對(duì)比，如圖1所示。

圖1 高負(fù)載下主要資源消耗對(duì)比圖Fig.1 Comparison of main resources consumption rates under heavy load

當(dāng)任務(wù)負(fù)載對(duì)CPU資源的需求持續(xù)增加時(shí)，為保障任務(wù)正常執(zhí)行，消費(fèi)者需要申請(qǐng)啟動(dòng)新的虛擬機(jī)V(m+1)n，雖然滿足了任務(wù)負(fù)載對(duì)CPU資源量的需求，但也造成內(nèi)存及其他資源更大的浪費(fèi)。通過實(shí)驗(yàn)表明消費(fèi)者很難充分地利用資源規(guī)格固定的虛擬機(jī)中的各項(xiàng)資源，最終導(dǎo)致開銷增加及資源浪費(fèi)。

2 基于成本約束的內(nèi)存預(yù)留隨機(jī)整數(shù)線性規(guī)劃模型

2.1 VM資源均衡預(yù)訂問題描述

不同的商業(yè)云計(jì)算系統(tǒng)對(duì)于資源單位的定義不同，如：亞馬遜EC2以ECU為單位配置CPU資源，1個(gè)ECU相當(dāng)于1 GHz的計(jì)算單元；阿里云平臺(tái)以核為單位配置CPU資源，1核相當(dāng)于1 GHz的計(jì)算單元。一般云計(jì)算系統(tǒng)為虛擬機(jī)配置CPU資源量均為整數(shù)單位1 GHz，并且CPU資源單價(jià)最高，所以資源預(yù)留方案中可先確定CPU預(yù)留量然后圍繞CPU資源量來確定內(nèi)存的用量，但幾乎所有的云提供商給出的可供選擇的內(nèi)存配額規(guī)格都較少，如：500 M，1 GB等。

消費(fèi)者采用復(fù)合內(nèi)存預(yù)留方案后，可以記錄其租借的虛擬機(jī)在一段較長時(shí)期的CPU、內(nèi)存消耗量，然后選取合理的CPU資源量，圍繞CPU資源量進(jìn)一步為消費(fèi)者預(yù)留適量的內(nèi)存，降低用戶開銷。

2.2 內(nèi)存預(yù)留量隨機(jī)整數(shù)規(guī)劃期望值模型

某消費(fèi)者在一段時(shí)間內(nèi)的內(nèi)存消耗量是隨機(jī)整數(shù)[20]，通過數(shù)據(jù)分析可以確定內(nèi)存消耗量的概率分布，結(jié)合兩種租借計(jì)劃內(nèi)存資源的單價(jià)，采用隨機(jī)整數(shù)規(guī)劃求得優(yōu)化的內(nèi)存預(yù)留量。

為研究問題方便直觀，首先以基礎(chǔ)型VM為研究對(duì)象，該類型VM具有1核CPU、1 GB內(nèi)存。

(1)

(2)

(3)

由式(2)、式(3)推導(dǎo)得到總開銷公式為：

(4)

在一定約束條件下使總開銷最小化，由式(4)推導(dǎo)出：

(5)

式中，TC代表物理節(jié)點(diǎn)的內(nèi)存總數(shù)量。 由式(4)、式(5)推導(dǎo)得到：

(6)

(7)

3 基于內(nèi)存消耗分布概率的預(yù)留內(nèi)存定量求解方法

VMware虛擬機(jī)監(jiān)控器以20 s為時(shí)間間隔記錄監(jiān)測數(shù)據(jù)，給出一組資源消耗量實(shí)驗(yàn)數(shù)據(jù)，如表3所示。由于篇幅關(guān)系，該表僅列出部分測試數(shù)據(jù)，表中灰色區(qū)域中的數(shù)據(jù)是CPU消耗量超配額(1 GHz)的數(shù)據(jù)。

表3 虛擬機(jī)資源消耗量實(shí)驗(yàn)數(shù)據(jù)

圖2 內(nèi)存消耗量概率分布圖Fig.2 Memory consumption probability distribution map

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)環(huán)境及方案

運(yùn)行本次實(shí)驗(yàn)的云計(jì)算實(shí)驗(yàn)平臺(tái)配置如表4所示。采用阿里云計(jì)費(fèi)體系作為實(shí)驗(yàn)的計(jì)費(fèi)參考標(biāo)準(zhǔn)(如表1所示)。

實(shí)驗(yàn)由1臺(tái)安裝Loadrunner系統(tǒng)的服務(wù)器控制10臺(tái)HP瘦客戶機(jī)向虛擬機(jī)端發(fā)送WEB網(wǎng)絡(luò)負(fù)載,模擬不同數(shù)量的網(wǎng)絡(luò)請(qǐng)求Requests，產(chǎn)生不同規(guī)模的負(fù)載，每次測試時(shí)間為20 min。

4.2 與商業(yè)云計(jì)算系統(tǒng)資源租借方案開銷對(duì)比分析

根據(jù)監(jiān)測得到的內(nèi)存消耗數(shù)據(jù)，可計(jì)算求得采用多種租借方案的最終開銷。首先與阿里云計(jì)算系統(tǒng)提供的兩種資源租借方案進(jìn)行了對(duì)比。

表5 不同負(fù)載下用各方案租借內(nèi)存20 min開銷

通過對(duì)比發(fā)現(xiàn)，采用內(nèi)存資源復(fù)合預(yù)留方案租借資源的總開銷低于其他兩種方案。如果以采用預(yù)留計(jì)劃租借資源的開銷為基準(zhǔn)，其他兩種方案與其對(duì)比結(jié)果如圖3所示。

圖3 采用各方案租借內(nèi)存開銷對(duì)比圖Fig.3 Cost of renting memory resources by different plans

另外表5中數(shù)據(jù)是租借內(nèi)存約20 min的開銷，多數(shù)消費(fèi)者租借虛擬機(jī)時(shí)間一般在1年期及以上，假設(shè)虛擬機(jī)承載的任務(wù)負(fù)載較為穩(wěn)定，那么可預(yù)計(jì)內(nèi)存開銷如表6所示。

表6 不同負(fù)載下用各方案租借內(nèi)存1年預(yù)期開銷

4.3 與相關(guān)研究方案對(duì)比分析

表7 不同負(fù)載下用2種方案租借內(nèi)存20 min開銷

在當(dāng)前實(shí)驗(yàn)中，以虛擬機(jī)為研究對(duì)象的算法預(yù)留的內(nèi)存量必然是云虛擬機(jī)額定內(nèi)存量，而內(nèi)存復(fù)合預(yù)留方案以虛擬機(jī)內(nèi)存資源為對(duì)象細(xì)粒度地研究資源預(yù)留量，其值小于標(biāo)準(zhǔn)虛擬機(jī)額定內(nèi)存資源量、小于OCRP算法的資源預(yù)留量，所以租借內(nèi)存的開銷較低。

4.4 監(jiān)測時(shí)間間隔對(duì)預(yù)留方案的影響分析

5 結(jié)論

近年來，云計(jì)算系統(tǒng)資源管理配置已成為云計(jì)算研究領(lǐng)域的熱點(diǎn)問題，降低消費(fèi)者租借云計(jì)算資源成本也逐漸得到重視，本文提出了一種虛擬機(jī)內(nèi)存資源優(yōu)化預(yù)留方法，不以虛擬機(jī)為對(duì)象而以虛擬機(jī)各項(xiàng)資源為對(duì)象細(xì)粒度地研究資源預(yù)留方案，通過與標(biāo)準(zhǔn)云計(jì)算系統(tǒng)資源租借方案以及相關(guān)的研究成果對(duì)比試驗(yàn)發(fā)現(xiàn)該方案能夠降低用戶的總開銷，同時(shí)降低資源閑置率，有利于云提供商動(dòng)態(tài)配置資源。

內(nèi)存資源優(yōu)化預(yù)留方法以降低消費(fèi)者成本為目標(biāo)，為提高方案的適應(yīng)性應(yīng)進(jìn)一步結(jié)合云計(jì)算系統(tǒng)服務(wù)器負(fù)載均衡、能耗[21]等指標(biāo)研究綜合性資源配置及預(yù)留方案。

References)

[1] Armbrust M, Fox A, Griffith R, et al. A view of cloud computing[J].Communications of the ACM, 2010， 53(4): 50-58.

[2] Püschel T, Schryen G, Hristova D, et al. Revenue management for cloud computing providers: decision models for service admission control under non-probabilistic uncertainty[J]. European Journal of Operational Research, 2015, 244(2): 637-647.

[3] Tang S, Yuan J, Wang C, et al. A framework for Amazon EC2 bidding strategy under SLA constraints[J]. IEEE Transactions on Parallel & Distributed Systems, 2014, 25(1): 2-11.

[4] Juve G, Deelman E, Berriman G B, et al. An evaluation of the cost and performance of scientific workflows on Amazon EC2[J]. Journal of Grid Computing, 2012, 10(1): 5-21.

[5] Barrett E, Howley E, Duggan J. Applying reinforcement learning towards automating resource allocation and application scalability in the cloud[J]. Concurrency & Computation Practice & Experience, 2013, 25(12): 1656-1674.

[6] Goiri í, Guitart J, Torres J. Economic model of a cloud provider operating in a federated cloud[J]. Information Systems Frontiers, 2012, 14(4): 827-843.

[7] Wu L, Garg S K, Versteeg S, et al. SLA-based resource provisioning for hosted software-as-a-service applications in cloud computing environments[J]. IEEE Transactions on Services Computing, 2014, 7(3): 465-485.

[8] Al-Ayyoub M, Jararweh Y, Daraghmeh M, et al. Multi-agent based dynamic resource provisioning and monitoring for cloud computing systems infrastructure[J].Cluster Computing, 2015, 18(2): 919-932.

[9] Chaisiri S, Lee B S, Niyato D. Optimal virtual machine placement across multiple cloud providers[C]// Services Computing Conference, IEEE Asia-Pacific, 2009: 103-110.

[10] Chaisiri S, Lee B S，Niyato D. Optimization of resource provisioning cost in cloud computing[J]. IEEE Transactions on Services Computing, 2012, 5(2): 164-177.

[11] Di S, Wang C L. Error-tolerant resource allocation and payment minimization for cloud system[J]. IEEE Transactions on Parallel & Distributed Systems, 2015, 24(6): 1097-1106.

[12] Chard K, Bubendorfer K. High performance resource allocation strategies for computational economies[J]. IEEE Transactions on Parallel and Distributed Systems, 2013, 24(1): 72-84.

[13] Di S, Wang C L. Dynamic optimization of multiattribute resource allocation in self-organizing clouds[J]. IEEE Transactions on Parallel & Distributed Systems, 2013, 24(3): 464-478.

[14] Min C, Kim I, Kim T, et al. VMMB: virtual machine memory balancing for unmodified operating systems[J]. Journal of Grid Computing, 2012, 10(1): 69-84.

[15] Rathor V S, Pateriya R K, Gupta R K. An efficient virtual machine scheduling technique in cloud computing environment[J]. International Journal of Modern Education & Computer Science, 2015, 7(3): 39-46.

[16] 劉婷婷, 王文彬. 云計(jì)算中基于公平的安全判定相等協(xié)議的身份認(rèn)證方案[J]. 國防科技大學(xué)學(xué)報(bào), 2013, 35(5): 120-123,139.

LIU Tingting, WANG Wenbin.An authentication scheme based on fair equality-determination protocol in cloud computing[J]. Journal of National University of Defense Technology, 2013, 35(5): 120-123, 139.(in Chinese)

[17] 付松齡, 廖湘科, 黃辰林, 等.FlatLFS:一種面向海量小文件處理優(yōu)化的輕量級(jí)文件系統(tǒng)[J].國防科技大學(xué)學(xué)報(bào),2013, 35(2): 120-126.

FU Songling, LIAO Xiangke, HUANG Chenlin, et al.FlatLFS:a lightweight file system for optimizing the performance of accessing massive small files[J]. Journal of National University of Defense Technology, 2013, 35(2):120-126.(in Chinese)

[18] Macías M, Guitart J. SLA negotiation and enforcement policies for revenue maximization and client classification in cloud providers[J]. Future Generation Computer Systems, 2014, 41(C): 19-31.

[19] Guan X, Cheng B, Song A, et al. Modeling users′ behavior for testing the performance of a web map tile service[J]. Transactions in GIS, 2014, 18(S1): 109-125.

[21] Mastelic T, Oleksiak A, Claussen H, et al. Cloud computing: survey on energy efficiency[J].ACM Computing Surveys, 2015, 47(2): 1-36.

Memory resources reservation method for virtual machine in cloud computing system

KAN Yunqi1,2, LIU Hongwei1, ZUO Decheng1, ZHANG Zhan1

(1. School of Computer Science and Technology, Harbin Institute of Technology, Harbin 150001, China；2. School of Information Engineering, Northeast Dianli University, Jilin 132400, China)

In order to reduce the consumers’ costs of renting resources in cloud computing system, a random integer linear programming model and a method for memory reservation were presented on the basis of cost constraints. Combined with the memory resource price of the reservation plan and the on-demand plan, the random cost function which consists of costs and total amount of resources constraints was designed. Aimed at minimizing the expected value of the cost function, the optimal amount of memory reserved was obtained on the basis of the probability distribution of memory consumption. The experiments show that the cost of renting recourses by utilizing this method is less than the cost of renting recourses by adopting reservation plan, on-demand plan and other similar methods.

cloud computing; virtual machine; memory resources reservation; cost optimization

10.11887/j.cn.201605008

http://journal.nudt.edu.cn

2015-11-25

國家863計(jì)劃資助項(xiàng)目(2013AA01A215)

闞運(yùn)奇(1981—)，男，吉林吉林人，副教授，博士研究生，E-mail: kanyunqi@ftcl.hit.edu.cn

TN95

A

1001-2486(2016)05-045-07