馮 偉，陳靜怡，吳 杰

（復(fù)旦大學(xué) 計算機(jī)科學(xué)技術(shù)學(xué)院，上海200433）

0 引 言

目前，數(shù)據(jù)中心通過虛擬化技術(shù)使虛擬機(jī)共享物理機(jī)資源池的方式，以物理機(jī)服務(wù)單元承載虛擬機(jī)，同時以虛擬機(jī)服務(wù)單元來承載應(yīng)用服務(wù)。對于數(shù)據(jù)中心中物理資源（如服務(wù)器，網(wǎng)絡(luò)，存儲等）和虛擬資源的大量聚集，如何通過虛擬資源的調(diào)度管理改變傳統(tǒng)IT的資源提供與管理模式，實現(xiàn)IT資源的集約共享，提高資源整體利用率，降低服務(wù)成本，并保證服務(wù)質(zhì)量是當(dāng)前迫切需要解決及改善的重要問題。目前亟需解決的問題突出表現(xiàn)在：

（1）傳統(tǒng)的虛擬機(jī)資源分配與調(diào)度通常未能做到面向應(yīng)用的動態(tài)自適應(yīng)［1］。典型的Internet應(yīng)用的訪問通常是負(fù)載隨時間動態(tài)變化的，如何根據(jù)應(yīng)用模式及負(fù)載，結(jié)合虛擬資源特征，在進(jìn)行虛擬機(jī)資源的多目標(biāo)優(yōu)化，目前尚未很好的解決；

（2）為實現(xiàn)應(yīng)用負(fù)載自適應(yīng)的需求，將導(dǎo)致虛擬機(jī)放置問題［2］的復(fù)雜化。目前學(xué)術(shù)界和工業(yè)界主要關(guān)注虛擬機(jī)與物理機(jī)之間的容量映射［3］（NP難問題），卻未考慮虛擬機(jī)承載的應(yīng)用資源消耗類型、用戶對應(yīng)用的訪問模式以及虛擬機(jī)應(yīng)用負(fù)載匹配關(guān)系等因素；

（3）虛擬機(jī)遷移策略［4］：目前學(xué)術(shù)界關(guān)于虛擬機(jī)遷移的研究主要考慮獨占性資源如CPU、內(nèi)存等的利用率，以及能耗，卻沒有綜合考慮共享性資源I/O狀況以及未考慮虛擬機(jī)具有本地動態(tài)伸縮能力。因此，在新的情況下，綜合考慮各方面因素，需要確定虛擬機(jī)需要遷移的時機(jī)和策略，以確保遷移能具有較長時間的穩(wěn)定。

上述問題的解決將會對數(shù)據(jù)中心的虛擬資源調(diào)度管理［5］重要意義。而以上3個問題產(chǎn)生的根本原因是由于虛擬機(jī)的資源消耗特征與物理機(jī)資源配置不匹配造成的。為解決該問題，本篇論文論述了一種新的虛擬機(jī)放置算法：基于資源消耗特征匹配的虛擬機(jī)放置算法。算法綜合考慮虛擬機(jī)資源消耗特征、應(yīng)用訪問模式以及虛擬機(jī)資源配置與負(fù)載匹配關(guān)系等因素，能夠有效地對虛擬機(jī)進(jìn)行優(yōu)化放置，同時大幅提高了物理機(jī)資源整體利用率。

1 相關(guān)研究

傳統(tǒng)數(shù)據(jù)中心提供以物理機(jī)為基本單位的服務(wù)器租賃服務(wù)，由于資源分配的粗粒度，造成數(shù)據(jù)中心資源利用率低，能耗較高，同時服務(wù)能力無法動態(tài)擴(kuò)展。

由于虛擬化技術(shù)的廣泛應(yīng)用，虛擬機(jī)正逐步取代物理機(jī)成為數(shù)據(jù)中心的基本服務(wù)單元。根據(jù)虛擬機(jī)具備的遷移以及本地動態(tài)伸縮的不同特性，可以提供不同形式的服務(wù)以提高資源使用率，降低能耗并保證服務(wù)質(zhì)量。

以亞馬遜EC2為代表的傳統(tǒng)彈性云服務(wù)提供服務(wù)能力固定、不可遷移的虛擬機(jī)服務(wù)，采用以虛擬機(jī)為單位、按需增減開啟運行的虛擬機(jī)數(shù)量，進(jìn)行負(fù)載自適應(yīng)。與傳統(tǒng)數(shù)據(jù)中心以物理機(jī)作為租賃服務(wù)單位相比，能夠提供較小粒度的資源分配，將有限的物理資源分配給更多的虛擬機(jī)以容納更多用戶請求；同時，數(shù)據(jù)中心資源整體利用率有所提高。文獻(xiàn) ［6］，研究了虛擬化數(shù)據(jù)中心的網(wǎng)絡(luò)特征以及虛擬機(jī)的網(wǎng)絡(luò)性能。文獻(xiàn) ［7］通過研究虛擬機(jī)放置和遷移策略，使用流量感知的虛擬機(jī)放置算法，將具有通信關(guān)聯(lián)的虛擬機(jī)遷移到同一或網(wǎng)絡(luò)位置相近的物理機(jī)上，降低數(shù)據(jù)中心內(nèi)部通信量，提高網(wǎng)絡(luò)可擴(kuò)展性。

文獻(xiàn) ［8－10］等研究了粒度較為精細(xì)的動態(tài)虛擬機(jī)資源伸縮模型，通過本地資源的動態(tài)伸縮來適應(yīng)負(fù)載變化，以達(dá)到提高可擴(kuò)展性和保證服務(wù)質(zhì)量的目的。另外文獻(xiàn)［11］提出了一種應(yīng)用無關(guān)的負(fù)載均衡機(jī)制，通過實時監(jiān)控物理機(jī)及虛擬機(jī)的各項資源使用情況，結(jié)合應(yīng)用的當(dāng)前負(fù)載并預(yù)測其變化趨勢，及時調(diào)整物理資源到虛擬資源的重新分配。文獻(xiàn) ［12］研究的資源控制系統(tǒng)能夠自動的適應(yīng)應(yīng)用負(fù)載動態(tài)變化，并獲取應(yīng)用程序性能和資源分配值之間的復(fù)雜關(guān)系，按需調(diào)整分配資源量，在保證服務(wù)質(zhì)量的同時提高數(shù)據(jù)中心的可擴(kuò)展性。

未來數(shù)據(jù)中心的虛擬機(jī)服務(wù)單元將具備動態(tài)遷移和伸縮能力［13］，需要對虛擬資源進(jìn)行自適應(yīng)調(diào)度和管理以適應(yīng)應(yīng)用負(fù)載的動態(tài)變化。究其核心問題依然是虛擬機(jī)的優(yōu)化放置問題，本文將從虛擬機(jī)的負(fù)載—資源—服務(wù)性能模型出發(fā)，研究虛擬機(jī)資源特征表達(dá)和虛擬機(jī)特征匹配算法。

2 基于資源特征匹配的虛擬機(jī)放置算法

本文首先建立應(yīng)用負(fù)載—資源消耗—服務(wù)性能的關(guān)系模型，并根據(jù)三者的內(nèi)在聯(lián)系，采用統(tǒng)計和回歸方法建立基于虛擬機(jī)應(yīng)用性能表現(xiàn)和訪問模式的資源特征表達(dá)。進(jìn)而，虛擬機(jī)放置算法在資源特征表達(dá)的基礎(chǔ)上，根據(jù)物理機(jī)的資源配置，選擇關(guān)聯(lián)與特征匹配的虛擬機(jī)集合，提高資源的整體利用率。

2.1 虛擬機(jī)性能特征模型

應(yīng)用負(fù)載的變化將會影響數(shù)據(jù)中心中服務(wù)單元的內(nèi)部網(wǎng)絡(luò)帶寬消耗、能耗、CPU和內(nèi)存利用率的變化，而服務(wù)單元消耗的內(nèi)部網(wǎng)絡(luò)帶寬、CPU和內(nèi)存利用率的變化又將影響最終的服務(wù)性能。本節(jié)首先在數(shù)據(jù)中心的虛擬機(jī)服務(wù)單元層面對應(yīng)用負(fù)載、服務(wù)單元資源與服務(wù)性能建立關(guān)系模型，如圖1所示。

圖1 應(yīng)用負(fù)載—資源消耗—服務(wù)性能的關(guān)系模型

負(fù)載—資源—服務(wù)性能的關(guān)系模型的關(guān)鍵問題是如何根據(jù)虛擬機(jī)的CPU利用率、內(nèi)存使用量和占用的內(nèi)部網(wǎng)絡(luò)帶寬標(biāo)識虛擬機(jī)應(yīng)用的性能特征 （為簡化模型，本文暫未考慮能耗的影響）。由于CPU和內(nèi)存是虛擬機(jī)獨占性資源，內(nèi)部網(wǎng)絡(luò)帶寬是一臺物理機(jī)上所有虛擬機(jī)的共享性資源，而且3個影響因素的量綱均不不同。為統(tǒng)一表征對虛擬機(jī)應(yīng)用性能的影響，本節(jié)通過采用各影響因素的變化率來表征虛擬機(jī)應(yīng)用響應(yīng)性能的變化率進(jìn)行歸一化處理。本節(jié)采用統(tǒng)計和線性回歸的方法建立虛擬機(jī)性能敏感因素的特征表達(dá)，描述如下

式中：Rate（VM）——應(yīng)用請求數(shù)量每變化△ （Request）時虛擬機(jī)響應(yīng)時間的變化率；C——常數(shù)；ki——影響系數(shù)，用以表征敏感程度；Rate（CPU）、Rate（MEM）、Rate（TRA）——應(yīng)用請求數(shù)量每變化△ （Request）時，虛擬機(jī)CPU使用量與內(nèi)存使用量以及內(nèi)部網(wǎng)絡(luò)帶寬的變化率，且Rate（TRA）指虛擬機(jī)所在物理機(jī)的帶寬消耗變化率 （包括虛擬機(jī)響應(yīng)請求所消耗內(nèi)部網(wǎng)絡(luò)帶寬的變化率和同一物理機(jī)上其它虛擬機(jī)消耗內(nèi)部網(wǎng)絡(luò)帶寬的變化率）。

同時，本節(jié)采用標(biāo)準(zhǔn)差分析方法表達(dá)虛擬機(jī)資源消耗特征與物理機(jī)資源配置的匹配程度，匹配度公式定義如下

式中：▽i——虛擬機(jī)m性能敏感因素要求的標(biāo)準(zhǔn)系數(shù)，根據(jù)虛擬機(jī)實際運行數(shù)據(jù)得知；Sm——影響系數(shù)標(biāo)準(zhǔn)差，用以表示各類虛擬資源消耗與物理機(jī)資源配置的匹配程度；Ω（m，n）——虛擬機(jī)n對虛擬機(jī)m消耗各類虛擬資源的優(yōu)化程度。

負(fù)載—資源—服務(wù)性能的關(guān)系模型能夠根據(jù)負(fù)載、資源和服務(wù)性能之間的影響關(guān)系，定量確定各因素的影響程度，為虛擬機(jī)資源特征匹配算法的有效性提供評判依據(jù)。

2.2 基于訪問模式的虛擬機(jī)資源特征表達(dá)

在虛擬機(jī)具有動態(tài)伸縮能力和遷移特性情況下，虛擬機(jī)已經(jīng)不再是固定的資源配置，而是動態(tài)適應(yīng)應(yīng)用負(fù)載變化、與時間序列相關(guān)的資源配置序列集合。因此，本節(jié)將根據(jù)虛擬機(jī)的資源配置序列來關(guān)聯(lián)組合特征匹配的虛擬機(jī)，建立基于訪問模式的虛擬機(jī)資源特征表達(dá)模型。為簡化模型，本模型暫不考慮能耗因素，把CPU、內(nèi)存資源和實時流量作為關(guān)鍵指標(biāo)，描述如下：VM （APPi）＝＜（WLD1，CPU1，MEM1，TRA1），...， （WLDT，CPUT，MEMT，TRAT）＞；其中VM （APPi）即 （WLDi，CPUi，MEMi，TRAi）表示在ti時間點，應(yīng)用APPi的負(fù)載請求為APPi時，消耗的計算資源、內(nèi)存資源量以及內(nèi)部網(wǎng)絡(luò)帶寬；T （APPi）＝ ＜t1，t2，…，tn＞表示應(yīng)用APPi的時間序列。確定每個虛擬機(jī)基于訪問模式的資源特征表達(dá)具體過程如下：

（1）對VMi的負(fù)載請求、資源使用和能耗情況進(jìn)行監(jiān)測，確定負(fù)載的訪問周期T和變化關(guān)系 WLDi＝fi（t＋T），以及資源消耗變化關(guān)系RESOURCE （CPUi，MEMi，TRAi）＝hi（t＋T），并將每個訪問周期T內(nèi)的資源需求＜（WLD1，CPU1， MEM1，TRA1）， …，（WLDT，CPUT，MEMT，TRAT）＞作為一組樣本；

（2）對每個虛擬機(jī)維護(hù)一定數(shù)量的資源需求樣本信息，若樣本信息超過樣本容量時則根據(jù)各樣本的預(yù)測誤差大小對樣本更新維護(hù)；

（3）處理樣本數(shù)據(jù)，確定虛擬機(jī)基于訪問模式的資源特征表達(dá)TimeResourFeature（VMi）。

2.3 虛擬機(jī)資源特征匹配算法

虛擬機(jī)資源特征匹配算法建立在虛擬機(jī)資源特征表達(dá)的基礎(chǔ)之上，選擇同時滿足性能特征和應(yīng)用訪問特征資源匹配條件虛擬機(jī)集合進(jìn)行關(guān)聯(lián)，進(jìn)而有效匹配物理機(jī)的資源配置。

算法將所有數(shù)據(jù)中心的物理機(jī)PMSET邏輯劃分為n個物理機(jī)集合，其中物理機(jī)集合PMSETi中包含的物理機(jī)數(shù)量為pi；根據(jù)物理機(jī)的劃分，將數(shù)據(jù)中心的所有虛擬機(jī)VMSET劃分為相應(yīng)的虛擬機(jī)集合，虛擬機(jī)集合VMSETi中包含的虛擬機(jī)數(shù)量為vi。物理機(jī)集合關(guān)系表述如下

式中：PMSET（i，j）——物理機(jī)集合 PMSETi中的第j臺物理機(jī)。虛擬機(jī)集合關(guān)系表述如下

式中：VMSETi——PMSETi中所有的虛擬機(jī)集合，VMSET（i，k）——虛擬機(jī)集合 VMSETi中的第k個虛擬機(jī)。具體算法流程如下：

Match （PMSETi，VMSETi）//特征匹配算法

while（PMSET）｛//遍歷物理機(jī)集合

foreach （PMSET（i，j）） ｛//隨機(jī)選擇某一虛擬機(jī)對物理機(jī)初始化

VMSET（i，j，k）＝ RandomSelect （VMSET）；

//將物理機(jī)的可使用資源去除虛擬機(jī)需要的資源得到空閑資源IdleResource （PMSET（i，j）） ＝InitResource （PMSET（i，j））－Resource （VMSET（i，j，k））；

while （IdleResource （PMSET（i，j）） ＞ MinResource（VMSETi））｛

//尋找同時滿足兩個特征匹配條件的虛擬機(jī)組合

if（KeyFactorMatch （VMSET（i，j，k），VMSETi－ VMSET（i，j，k）））

selectVMs＝ TimeFeatureMatch （VMSET（i，j，k），VMSETi－ VMSET（i，j，k））

//調(diào)整物理機(jī)空閑資源

IdleResource （PMSET（i，j）） ＝ IdleResource （PMSET（i，j））－Resource （selectVMs）；

｝//end while

｝//end foreach

｝//end while

其中，TimeFeatureMatch（）表示基于訪問模式的資源特征匹配條件，KeyFactorMatch（）表示性能敏感因素的特征匹配條件。特征匹配算法 Match（PMSETi，VMSETi）的平均時間復(fù)雜度為O（·pi），將VMSETi經(jīng)過排序優(yōu)化后可達(dá)到O（K·vi·pi）其中K為常數(shù)；算法可對多個物理機(jī)集合同時進(jìn)行匹配，進(jìn)而可提高匹配效率。

3 實驗設(shè)計及結(jié)果分析

實驗?zāi)康氖歉鶕?jù)監(jiān)控資源實際運行情況，利用本文描述的資源消耗特征模型對應(yīng)用所使用的資源建模，并驗證基于資源消耗特征匹配的虛擬機(jī)放置算法有效性。

實驗環(huán)境采用CentOS系統(tǒng)，并且部署Xen虛擬化環(huán)境，在Xen的Domain0上發(fā)布虛擬機(jī)作為虛擬化資源；同時采用SNMP協(xié)議獲得CPU利用率、內(nèi)存使用量以及占用的內(nèi)部網(wǎng)絡(luò)帶寬等資源實時運行數(shù)據(jù)，使用Jmeter獲得不同請求數(shù)量下的虛擬機(jī)響應(yīng)時間RTT。實驗環(huán)境包括3臺物理機(jī)，其中一臺作為SNMP監(jiān)控服務(wù)器，其余兩臺部署虛擬機(jī)。

3.1 虛擬化環(huán)境下內(nèi)部網(wǎng)絡(luò)帶寬分配機(jī)制

由于內(nèi)部網(wǎng)絡(luò)作為多個虛擬機(jī)的共享資源，需要首先研究虛擬化環(huán)境下的網(wǎng)絡(luò)帶寬分配機(jī)制。在試驗環(huán)境的某一臺物理機(jī)上部署3臺同樣配置的虛擬機(jī)VM1、VM2和VM3。在0s時，VM1向VM2，VM2向VM3同時進(jìn)行文件傳輸；40s時VM3向VM1進(jìn)行文件傳輸；100s時停止VM1向VM2的文件傳輸，實驗結(jié)果如圖2所示。

圖2 Xen虛擬化環(huán)境下的內(nèi)部網(wǎng)絡(luò)帶寬使用情況

根據(jù)實驗結(jié)果分析得知Xen虛擬化環(huán)境下的內(nèi)部上行網(wǎng)絡(luò)總帶寬可達(dá)到11MB/s，網(wǎng)絡(luò)帶寬分配采用可搶占式的平均共享機(jī)制。因此在虛擬化環(huán)境下，同一物理機(jī)上不同用戶的虛擬機(jī)將會相互影響，這種內(nèi)部網(wǎng)絡(luò)帶寬分配機(jī)制在將來的理論研究和實踐中需要進(jìn)行改進(jìn)。

3.2 虛擬機(jī)性能影響因素特征表達(dá)

在兩臺虛擬機(jī)VM1和VM2上分別部署兩種應(yīng)用：SNS1和SNS2，其中SNS1主要處理HTTP請求，SNS2主要處理檢索請求；同時為簡化處理數(shù)據(jù)，本文設(shè)置二者的應(yīng)用訪問周期相同，包含請求量遞增到最大請求量的全部過程。根據(jù)監(jiān)控得到的實際運行數(shù)據(jù)，本文在實驗環(huán)境中以虛擬機(jī)性能敏感因素的影響系數(shù)均值作為物理機(jī)資源的配置要求標(biāo)準(zhǔn)。VM1性能特征表達(dá)的回歸分析結(jié)果見表1。

表1 VM1性能特征表達(dá)的回歸分析

得到SNS1應(yīng)用的虛擬機(jī)性能影響因素特征表達(dá)為：Rate（VM1）＝2.11－0.31·Rate （CPU）－0.04·Rate（MEM）－0.12·Rate（TRA）；虛擬機(jī) VM2性能特征表達(dá)的回歸分析結(jié)果見表2。

表2 VM2性能特征表達(dá)的回歸分析

得到SNS2應(yīng)用的虛擬機(jī)性能影響因素特征表達(dá)為：Rate（VM2）＝2.29－0.33·Rate （CPU）－0.55·Rate（MEM）－0.30·Rate（TRA）；根據(jù)公式計算得到，影響系數(shù)標(biāo)準(zhǔn)差S1＝0.337672，S2＝0.094403，即 VM2的資源消耗均衡程度優(yōu)于VM1。

3.3 算法性能分析

模擬虛擬機(jī)應(yīng)用的請求變化，根據(jù)兩種應(yīng)用訪問模式的虛擬機(jī)資源特征表達(dá)關(guān)系進(jìn)行特征匹配，匹配后兩虛擬機(jī)的綜合性能特征表達(dá)見表3。

表3 VM1和VM2綜合性能特征表達(dá)的回歸分析

得到SNS1和SNS2兩種應(yīng)用的綜合虛擬機(jī)性能影響因素特征表達(dá)為：Rate（VM12）＝2.44－0.32·Rate（CPU）－0.25·Rate（MEM）－0.29·Rate（TRA）；根據(jù)公式計算得到，影響系數(shù)標(biāo)準(zhǔn)差 S12＝0.029427。優(yōu)化度為Ω（s12，s1）＝11.48，Ω（s12，s2）＝3.21，即將虛擬機(jī) VM1和 VM2關(guān)聯(lián)在同一物理機(jī)上時，與將兩虛擬機(jī)分別放置在不同的物理機(jī)上時相比，其消耗資源的優(yōu)化程度將顯著提高。

在本實驗環(huán)境中，一臺物理機(jī)最多可承載4臺VM1或VM2類型的虛擬機(jī)。首先在一臺物理機(jī)上承載4臺VM1虛擬機(jī)，當(dāng)應(yīng)用請求使虛擬機(jī)的CPU利用率達(dá)到90%以上，即CPU資源已經(jīng)充分利用時，其內(nèi)存使用率僅為37%。一個訪問周期內(nèi)，虛擬機(jī)VM1的資源特征如圖3所示。

圖3 虛擬機(jī)VM1的資源利用率

根據(jù)實驗的設(shè)計，可以VM1實驗結(jié)果等效為物理機(jī)的資源使用情況，即物理機(jī)的CPU資源充分利用時，其內(nèi)存資源處于低效利用狀態(tài)，造成很大浪費。

經(jīng)過算法關(guān)聯(lián)后，一臺物理機(jī)承載2臺VM1和2臺VM2虛擬機(jī)，當(dāng)應(yīng)用請求使虛擬機(jī)的CPU利用率達(dá)到90%以上，即CPU資源已經(jīng)充分利用時，其內(nèi)存使用率為76%，其中VM1和VM2資源綜合利用率為二者的加權(quán)平均值。一個訪問周期內(nèi)，虛擬機(jī)VM1和VM2的資源綜合特征如圖4所示。

圖4 虛擬機(jī)VM1和VM2資源綜合利用率

同樣地，將VM1和VM2的綜合實驗結(jié)果等效為物理機(jī)的資源使用情況，即當(dāng)物理機(jī)的CPU資源充分利用時（90%以上），其內(nèi)存利用率由37%提高到76%，資源利用率得到顯著提高，進(jìn)而驗證了算法的有效性。

4 結(jié)束語

本文在進(jìn)行虛擬機(jī)的優(yōu)化放置時，不再將虛擬機(jī)與物理機(jī)的映射這個NP難問題作為核心來解決，而是基于監(jiān)控和統(tǒng)計對虛擬機(jī)資源消耗特征進(jìn)行參數(shù)化表達(dá)，并將特征匹配的虛擬機(jī)進(jìn)行關(guān)聯(lián)，使得每個物理服務(wù)單元的資源得到充分有效的利用。同時算法是在監(jiān)控和統(tǒng)計分析的基礎(chǔ)上進(jìn)行的，因此可以對，避免了虛擬機(jī)不必要的遷移。經(jīng)過實驗驗證，虛擬機(jī)放置算法VMP－RUFM通過調(diào)整物理機(jī)上各虛擬機(jī)性能影響因素的影響系數(shù)以適應(yīng)物理機(jī)的資源配置，達(dá)到了提高物理資源整體利用率的目的。

［1］Gupta R.A two stage heuristic algorithm for solving the server consolidation problem with item－item and bin－item incompatibility constraints［C］.IEEE International Conference on Services Computing，2008：39－46.

［2］Chris Hyser，Bret Mckee，Rob Gardner，et al.Autonomic virtual machine placement in the data center ［R］.HP Labs Technical Report，2007.

［3］Swarna Mylavarapu，Vijay Sukthankar，Pradipta Banerjee.An optimized capacity planning approach for virtual infrastructure exhibiting stochastic workload ［C］.Proceedings of the ACM Symposium on Applied Computing.New York，NY，USA：ACM，2010.

［4］Park J，Kim J，Choi H，et al.Virtual machine migration in selfmanaging virtualized server environments［C］.Proc Int Conf on Advanced Communication Technology，2009：2077－2083.

［5］Nie L，Xu Z.An adaptive scheduling mechanism for elastic grid computing ［C］.Proceedings of the Fifth International Conference on Semantics，Knowledge and Grid.Washington，DC，USA：IEEE Computer Society，2009：184－191.

［6］Wang Guohui，Eugene Ng T S.The impact of virtualization on network performance of Amazon EC2data center ［C］.San Diego，California，USA：Proceedings of the 29th conference on Information communications，2010：1163－1171.

［7］Vasileios Pappas，Li Zhang.Improving the scalability of data center networks with traffic－aware virtual machine ［C］.San Diego，CA：Proceedings of IEEE INFOCOM，2010：1－9.

［8］Timothy Wood，Prashant Shenoy，Arun Venkataramani，et al.Black－box and gray－box resource management for virtual machines ［J］.Computer Networks：The International Journal of Computer and Telecommunications Networking，2009：2923－2938.

［9］SONG Ying，LI Yaqiong.A service－oriented priority－based resource scheduling scheme for virtualized utility computing ［C］.High Performance Computing Conference，2008：186－193.

［10］SONG Ying，WANG Hui，LI Yaqiong，et al.Multi－tiered on－demand resource scheduling for VM－based data center，international symposium on cluster［C］.Cloud and Grid Computing，2009：148－155.

［11］ZHOU Wenyu，YANG Shoubao，F(xiàn)ANG Jun，et al.A load balancing scheme for virtual machine cluster based on dynamic resource allocation ［C］.Barcelona，Spain：9th International Conference on Grid and Cooperative Computing，2010：87－98.

［12］PradeepPadala，Hou Kai－Yuan，Kang G Shin，et al.Automated control of multiple virtualized resources ［C］.Proceedings of the 4th ACM European Conference on Computer Systems，2009：13－26.

［13］Xu Jing，José A B Fortes.Multi－objective virtual machine placement in virtualized data center environments［J］.IEEE/ACM International Conference on Green Computing and Communications ＆ IEEE/ACM International Conference on Cyber，Physical and Social Computing，2010：179－188.