李啟銳 彭志平 崔得龍 何杰光

摘 要：針對容器化云環(huán)境中數(shù)據(jù)中心能耗較高的問題，提出了一種基于最佳能耗優(yōu)先（Power Full， PF）物理機選擇算法的虛擬資源配置策略。首先，提出容器云虛擬資源的配置和遷移方案，發(fā)現(xiàn)物理機選擇策略對數(shù)據(jù)中心能耗有重要影響;

其次，通過研究主機利用率與容器利用率，主機利用率與虛擬機利用率，主機利用率與數(shù)據(jù)中心能耗之間的數(shù)學關系，

然后，通過研究物理機利用率與容器、虛擬機利用率之間以及與數(shù)據(jù)中心能耗之間的數(shù)學計算關系，建立容器云數(shù)據(jù)中心能耗的數(shù)學模型，定義出優(yōu)化目標函數(shù);最后，通過對物理機的能耗函數(shù)使用線性插值進行模擬，依據(jù)鄰近事物相類似的特性，提出改進的最佳能耗優(yōu)先物理機選擇算法。仿真實驗將此算法與先來先得（First Fit， FF）、最低利用率優(yōu)先（Least Fit， LF）、最高利用率優(yōu)先（Most Full， MF）進行比較，實驗結(jié)果表明，在有規(guī)律不同物理機群的計算服務中，其能耗比FF、LF、MF分別平均降低45%、53%和49%;在有規(guī)律相同物理機群的計算服務中，其能耗比FF、LF、MF分別平均降低56%、46%和58%;在無規(guī)律不同物理機群的計算服務中，其能耗比FF、LF、MF分別平均降低32%、24%和12%。所提算法實現(xiàn)了對容器云虛擬資源的合理配置，且在數(shù)據(jù)中心節(jié)能方面具有優(yōu)越性。

關鍵詞：云計算;容器;虛擬資源配置;數(shù)據(jù)中心能耗;資源利用率

中圖分類號： TP391

文獻標志碼：A

文章編號：1001-9081（2019）03-0784-06

Abstract： Aiming at high energy consumption of data center in container cloud， a virtual resource deployment strategy based on host selection algorithm with Power Full （PF） was proposed. Firstly， the allocation and migration scheme of virtual resource in container cloud was proposed and the significant impact of host selection strategy on energy consumption of data center was found.

Secondly， by studying the mathematical relationship between the utilization of host and ?the utilization of containers ， between the utilization of host and the ?utilization of virtual machines and between the utilization of host and energy consumption of data center，

Secondly， by studying the mathematical relationship between the utilization of host and the utilization of container and virtual machines， the mathematical relationship between the utilization of host and energy consumption of data center，

a mathematical model of the energy consumption of data center in container cloud was constructed and an optimization objective function was defined. Finally， the function of host's energy consumption was simulated using linear interpolation method， and a host selection algorithm with PF was proposed according to the clustering property of the objects. Simulation results show that compared with First Fit （FF）， Least Full （LF） and Most Full （MF）， the energy consumption of the proposed algorithm is averagely reduced by 45%，53% and 49% respectively in the computing service of regular tasks and different host clusters; is averagely reduced by 56%，46% and 58% respectively in the computing service of regular tasks and same host cluster; is averagely reduced by 32%，24% and 12% respectively in the computing service of irregular tasks and different host clusters. The results indicate that the proposed algorithm realizes reasonable virtual resource deployment in container cloud， and has advantage in data center energy saving.

Key words： cloud computing; container; allocation of virtual resource; energy consumption of data center; utilization of resource

0 引言

近幾年，隨著Docker的出現(xiàn)，容器（Container）技術對云計算發(fā)展產(chǎn)生了巨大的影響[1]。容器虛擬化技術及其構建的云平臺以其固有的部署快、啟動快、遷移易、性能高等優(yōu)勢，正逐漸被各大云服務提供商所廣泛采納[2]。截至2017年8月，Docker項目在GitHub上擁有的Star超過4.5萬顆;已有45%的公司運行容器機器規(guī)模在250臺以上，比2016 年提高了25 個百分點。容器技術已經(jīng)成為云計算領域的研究熱點。LinkedIn 的數(shù)據(jù)表明，2017年Docker一詞的出現(xiàn)次數(shù)較前一年增長了160%。

雖然云服務供需雙方對數(shù)據(jù)中心資源管理和租用方式隨著容器等新技術的發(fā)展逐漸改變，但提高資源利用率和降低數(shù)據(jù)中心能耗仍然是容器云服務提供商最關注的兩個重要問題[3]。虛擬化容器技術是當前云計算資源供應最流行的方式，與傳統(tǒng)虛擬機技術不同，容器不需要一個完整的操作系統(tǒng) 實例，可極大降低對服務器CPU、內(nèi)存等資源的消耗[4]。為了進一步提高容器云數(shù)據(jù)中心的資源利用率，李青等[5]設計了一種以容器為基本虛擬化資源管理單位的數(shù)據(jù)中心QoS （Quality of Service， QoS）保證的作業(yè)資源匹配算法，有效提高了節(jié)點應用的性能。Xu 等[6]研究了以容器替代虛擬機的云計算資源調(diào)度算法，大幅度降低云用戶的響應時間和提高云提供商資源的利用率。崔廣章等[7]在Mesos資源調(diào)度策略的基礎上將Mesos-Slave節(jié)點的CPU使用率、內(nèi)存的占有率以及運行的容器個數(shù)三個因素加權作為資源調(diào)度的依據(jù)，使容器云集群資源利用率趨于均衡。與虛擬機相比，容器不僅是一種低開銷的虛擬化技術，而且提高了性能。但是，與針對虛擬化云數(shù)據(jù)中心的計算和網(wǎng)絡資源的能效被廣泛研究不同，只有少數(shù)學者調(diào)查了容器的節(jié)能管理問題[8]。Demirkol等[9]研究了容器虛擬化技術與傳統(tǒng)虛擬化技術在不同環(huán)境下的能耗情況，發(fā)現(xiàn)在大部分環(huán)境中容器虛擬化技術的節(jié)能效果更佳。Kaurt等[10]提出了一種基于CaaS （Container-as-a-Service）的數(shù)據(jù)中心任務調(diào)度策略，通過使用輕量級容器替代傳統(tǒng)的虛擬機的方式不僅縮短了任務的反應時間而且降低了數(shù)據(jù)中心的能耗。施超等[8]將機器學習中的歐氏距離、皮爾遜相關系數(shù)、余弦相似度、Taninoto系數(shù)作為容器與虛擬機穩(wěn)定匹配的偏好規(guī)則，同時通過偏好列表將一對一的穩(wěn)定婚姻匹配改進為多對一的穩(wěn)定匹配，解決了將容器整合到虛擬機上的初始化部署問題，取得較好的節(jié)能效果。

綜上所述，盡管越來越多的云資源提供商和學者對容器技術產(chǎn)生了興趣，但是目前關于容器部署方面的研究還處于初級階段。文獻[5-7]初步研究了容器的資源整合問題，提出的算法提高了容器云資源的利用率，但是忽略了在優(yōu)化資源利用率的同時，容易出現(xiàn)數(shù)據(jù)中心能耗升高問題。文獻[8-10]證明了使用容器虛擬化技術能夠有效降低數(shù)據(jù)中心的能耗，并利用穩(wěn)定匹配思想對資源進行有效的分配，但對云環(huán)境中虛擬機和容器資源動態(tài)變化的問題還處于初步探究階段。因此，本文從降低數(shù)據(jù)中心能耗的角度出發(fā)，提出一種容器云資源配置方案，對容器云數(shù)據(jù)中心的能耗問題進行數(shù)學建模，根據(jù)模型對資源配置時物理機選擇方法進行了研究和改進，提出的PF算法有效解決了容器云數(shù)據(jù)中心的能耗優(yōu)化問題。

1 容器云資源配置

Google、Aamzon、Microsoft等互聯(lián)網(wǎng)公司加大對Docker開源技術的研發(fā)力度， CaaS云模型越來越受各大云計算服務商青睞，將成為主要的云服務模型之一。研究表明，相比于單獨使用容器部署，使用虛擬機、容器混合部署能獲得相近甚至更好的性能。

基于虛擬機、容器混合的云資源配置包括兩部分：一部分是物理機（Host）虛擬化，即將物理機資源分配給虛擬機;另一部分是虛擬機（Virtual Machine，VM）容器化，即將虛擬機資源分配給容器。為了描述方便，本文將虛擬機和容器統(tǒng)稱為虛擬服務器或虛擬資源，將物理機稱為物理服務器或物理資源。整個配置過程又分為兩階段：第一階段是云任務提交到數(shù)據(jù)中心后的資源初始配置;第二階段是云任務運行過程中虛擬服務器的遷移。

1.1 虛擬機資源配置

在數(shù)據(jù)中心，物理機的數(shù)量較多，一臺虛擬機請求物理資源時，要按某種策略選擇一臺物理機部署該虛擬機，并為其分配CPU、內(nèi)存、帶寬和硬盤等資源。具體的部署算法描述如下：

步驟1 數(shù)據(jù)中心選擇一臺Host給VM，被選擇的Host可用的CPU、內(nèi)存、帶寬和硬盤資源必須滿足VM的需求。

步驟2 Host為VM分配內(nèi)存資源。

步驟3 Host為VM分配帶寬資源。

步驟4 Host為VM分配CPU資源。假設Host有m個處理核（記為HPE），VM需要n個處理核（記為VPE），按順序?qū)個HPE分配給n個VPE。

步驟5 Host為 VM分配硬盤資源。

步驟6 重復步驟1～5，直到所有VM都分配到所需求的物理資源。

1.2 容器資源配置

容器的部署過程與虛擬機的部署過程類似，將虛擬機的CPU、內(nèi)存、帶寬和硬盤等資源分配給容器。但是，由于容器是云任務實際的運行載體，在請求虛擬機的CPU資源時，不以其額定的CPU資源與虛擬機可用的CPU資源進行對比判斷該虛擬機是否滿足當前容器的需求（初始配置除外），而是以容器實際的CPU工作負載與虛擬機可用的CPU資源進行對比。通常情況，容器的CPU使用率不會達到100%，因此會出現(xiàn)部署在某虛擬機上的所有容器額定CPU資源大小之和比該虛擬機額定的CPU資源大的情況。

1.3 虛擬機/容器遷移

當容器獲得相關資源后，部署在容器中的云任務就可以開始運行。在云計算環(huán)境中，云任務呈現(xiàn)多樣性，往往既有大量實時在線處理業(yè)務，又有大量異步處理業(yè)務。實時在線業(yè)務處理時間短、需求波動大;而異步業(yè)務處理時間長，數(shù)據(jù)量龐大。隨著任務的執(zhí)行，各個容器中任務的完成情況各不相同。因此，數(shù)據(jù)中心的物理機、虛擬機和容器的負載會隨著任務的執(zhí)行而產(chǎn)生動態(tài)的變化。有的物理機由于任務較早完成而新任務沒有及時到來使其過于空閑，造成資源利用率較低。當該值低于某個臨界值時稱該服務器為欠載狀態(tài)。類似地，有的物理機由于任務過長而又有新的任務到來使其過于繁忙，造成資源利用率過高。當該值高于某個臨界值時稱該服務器為過載狀態(tài)。欠載容易造成資源浪費，過載容易造成SLA違約并影響系統(tǒng)穩(wěn)定性。在數(shù)據(jù)中心，這兩種情況都需要盡可能避免，盡量做到服務器間負載均衡。

在容器云環(huán)境中，虛擬服務器遷移是保證物理服務器負載均衡的主要手段。與傳統(tǒng)的云計算環(huán)境不同，容器云中有物理機、虛擬機和容器三種不同粒度和層次的服務器，容器可以在虛擬機之間遷移，虛擬機可以在物理機之間遷移，這兩種遷移可以使用相同或者不同的策略。為了使問題的描述簡單化，本文對這兩種遷移采用相同的策略，并以虛擬機遷移為例詳細介紹遷移過程。

遷移過程應被視為多階段3W問題：何時觸發(fā)遷移（When），要遷移哪個虛擬服務器（Which），遷移到哪里（Where）。何時觸發(fā)遷移取決于數(shù)據(jù)中心的資源調(diào)度策略，可以采用定時觸發(fā)、定量觸發(fā)或監(jiān)控觸發(fā)的方式。定時觸發(fā)為固定某些時刻點來處理遷移工作。定量觸發(fā)為當一定數(shù)量的任務被執(zhí)行完成后開始處理遷移工作。監(jiān)控觸發(fā)為根據(jù)數(shù)據(jù)中心實時監(jiān)測情況決定是否啟動虛擬服務器遷移。要遷移哪個虛擬服務器通常根據(jù)數(shù)據(jù)中心預設的欠載和過載的臨界值來決定，當虛擬服務器的利用率低于欠載臨界值或者高于過載臨界值時應該被遷移。遷移到哪里取決于物理機的選擇策略，不同策略產(chǎn)生不同的遷移結(jié)果。具體遷移算法描述如下：

步驟1 統(tǒng)計Host的資源利用率，將過載的Host保存到列表OverList并按降序排列。

步驟2 將OverList中每臺Host上的VM按照利用率降序排列。

步驟3 選擇一臺不在OverList中的Host作為遷移目標（DHdest）。

步驟4 按先后順序從OverList中選出一臺Host作為遷移源物理機（OHsrc），按順序?qū)Hsrc上的VM添移到DHdest，并且保證DHdest不過載，直到OHsrc不再過載。 若DHdest不能完全接納待遷移的虛擬機，按步驟3重新選擇一臺Host作為遷移目標進行遷移。直到OverList列表中的Host被處理完成。

步驟5 統(tǒng)計資源利用率欠載的Host機并保存到列表UnderList。

步驟6 選擇一臺不在UnderList和OverList中的Host作為遷移目標（DHdest）。

步驟7 從UnderList中選擇一臺Host作為遷移源物理機（UHsrc），將部署在UHsrc上的全部虛擬機遷移到DHdest，并且保證DHdest不過載。若DHdest不能完全接納待遷移的虛擬機，重新按步驟7選擇一臺Host作為遷移目標進行遷移。

步驟8 關閉UHsrc。

由以上分析可知，無論是虛擬資源部署還是虛擬資源遷移，容器云在進行資源配置都面臨物理機的選擇問題。物理機作為數(shù)據(jù)中心最大的能源消耗者，物理機選擇方法對降低數(shù)據(jù)中心能耗就顯得尤為關鍵[8]。因此，找到物理機與虛擬機、容器之間在能耗值上的計算關系，為容器云數(shù)據(jù)中心能耗建立數(shù)學模型，對數(shù)據(jù)中心整體能耗優(yōu)化問題至關重要。

2.2 數(shù)據(jù)中心的能耗模型

數(shù)據(jù)中心擁有空調(diào)、交換機、路由器等耗能設備，但物理機是最大的能源消費者。對物理機來說，它的CPU、內(nèi)存、網(wǎng)卡、內(nèi)存等也是都是耗能設備。相比其他部件，CPU是主要的耗能部件，也是能耗變化最為頻繁的部件，而CPU的利用率的變化是造成物理機整體能耗變化的主要因素。

由目標函數(shù)可知，對于相同的云任務集合C，數(shù)據(jù)中心能耗優(yōu)化問題的本質(zhì)上是要解決虛擬機和容器在部署、遷移時的物理機選擇問題。

3 主機選擇策略及改進

數(shù)據(jù)中心的物理機數(shù)量龐大，例如，騰訊天津數(shù)據(jù)中心服務器數(shù)量已經(jīng)突破10萬臺，而且在同一數(shù)據(jù)中心有各種不同品牌、型號的物理機，它們在運行過程中利用率和能耗情況也有所不同。此外，數(shù)據(jù)中心計算資源充足，對于云任務集合C，其運行所需要的虛擬機和容器一般不會被部署在所有物理機上。因此，虛擬資源配置和遷移時使用的物理機選擇策略對數(shù)據(jù)中心的能耗有較大影響。

3.1 常用物理機選擇策略

當前，云計算環(huán)境常用的物理機選擇策略主要有隨機選擇（Random）、先來先得（First Fit， FF）、最大利用率優(yōu)先（Most Full， MF）、最小利用率優(yōu)先（Least Full， LF）等。

1）Random：在所有可用的物理機中隨機選擇一臺作為初始部署或遷移目標。

2）FirstFit：按照數(shù)據(jù)中心物理機的偏愛列表從頭到尾進行遍歷，找到的第一臺合適的物理機作為初始部署或遷移目標。

3）MostFull：計算所有可用的物理機在初始化或遷移時刻的利用率，選取利用率最大的物理機作為初始部署或遷移目標。

4）LeastFull：計算所有可用的物理機在初始化或遷移時刻的利用率，選取利用率最小的物理機作為初始部署或遷移目標。

以上幾種策略中，Random策略最為簡單，每臺物理機被選擇的機會均等，起到公平調(diào)度的效果，但沒有考慮利用率的問題。FF可以按照某種方式對物理機進行偏愛設置，排在列表前面的物理機被選擇的機會大于列表后面的物理機。MF與LF較為復雜，要計算每臺物理機的利用率。選擇利用率大的物理機，單位時間能耗會相對較大，但處理時間相對較少。選擇利用率小的物理機，單位時間能耗相對較小，但處理時間相對較長。

根據(jù)前面的分析，式（10）中pi（t）是一個單調(diào)遞增的非負函數(shù)，意味著物理機利用率越高，單位時間能耗也就越高。因此，利用率是影響物理機能耗的一個重要因素。但是，根據(jù)式（12）可知，物理機一段時間內(nèi)的能耗不僅與這段時間內(nèi)該物理機的利用率有關，也與該物理機單位時間的能耗有關。如果只考慮利用率對能耗的影響，而不考慮物理機本身例如功率等固有的屬性，得到的結(jié)果未必是最優(yōu)結(jié)果。

3.2 物理機選擇策略的改進

從式（11）可知，在一個數(shù)據(jù)中心的調(diào)度間隔t1～t2內(nèi)某臺物理機的能耗是該機的能耗函數(shù)在這段時間內(nèi)的積分。計算積分是一個相對復雜的過程，加上數(shù)據(jù)中心物理機數(shù)量眾多，如果每臺物理機都要頻繁計算積分，容易造成計算量過大。對式（11）使用線性插值進行擬合，可得：

由式（14）可知，只要知道t1時刻與t2時刻容器的利用率，便可用式（8）和式（9）計算出物理機的利用率，進而可用式（10）和式（14）計算出該機在t1～t2的能耗值。當把物理機在前一時間段的能耗值都計算出來后，可以用此值作為物理機選擇的依據(jù)，選擇能耗值較小的物理機作為部署和遷移的目標物理機。因為根據(jù)物體的聚類性質(zhì)，鄰近事物具有類似的特性。前一時段能耗較小的物理機，后一時段能耗同樣較小的概率較大。本文將這種物理機選擇算法稱為Power Full （PF）算法，簡稱PF算法。PF算法描述如下：

步驟1 將空閑與關閉的物理機放入排它集X。

步驟2 將所有有任務運行的物理機放入運行集E中，并使用式（8）和式（9）計算E中每臺物理機的CPU利用率。

步驟3 將E中過載的物理機和欠載的物理機移入X。

步驟4 使用式（10）和式（14）計算E中每臺物理機的能耗的模擬值。

步驟5 返回E中選擇模擬值最小的物理機。

3.3 算法的復雜度分析

在實際的云計算環(huán)境中，有專門的高性能資源調(diào)度服務器，根據(jù)各物理機、虛擬機及容器的實時運行狀況對資源調(diào)度進行決策。

在步驟2中，資源調(diào)度服務器收集所有容器的利用率以計算物理主機的整體利用率，按照式（8）和式（9），該步驟的時間復雜度為O（M×N×S）。但在實際運行過程中，一般有MNS，因此A與B是0和1的稀疏矩陣，通過使用稀疏矩陣壓縮存儲方法和編程技術可使該步驟的時間復雜度降低到O（M+N+S）。

步驟4對根據(jù)式（14）計算每臺物理機的能耗模擬值，復雜度為O（M）。

步驟5對物理機的能耗模擬值進行排序，假如使用快速排序方法，則復雜度為Ο（M log M）。

Random與FF算法不需要計算物理主機的利用率，僅需要選擇一臺合適的物理主機即可，復雜度為Ο（M）。LF、MF與PF算法均要計算物理主機利用率章并進行排序。相比LF與MF，PF多做了步驟4，即多了一個復雜度為Ο（M）的步驟。在式（14）中，由于（t2-t1）對于每臺物理機都是一樣的，在實際計算時可用pi（t2）+pi（t1）的值來代表物理機的能耗值進行排序。數(shù)據(jù)中心中物理機的數(shù)量相比容器要少得多，而且步驟4只需進行M次加法，這對于高性能的資源調(diào)度服務器來說，該步驟的時間開銷其實可以忽略不計。步驟4增加的時間對于數(shù)據(jù)中心來說完全可以接受。

PF算法運行在資源調(diào)度服務器，算法所需要的容器利用率信息由監(jiān)視服務器通過常規(guī)方法獲得，PF算法不需要虛擬機和容器額外的工作，不會對虛擬機和容器的性能產(chǎn)生影響。

4 實驗結(jié)果及分析

4.1 實驗環(huán)境

CloudSim是常用的云計算資源調(diào)度算法模擬仿真平臺，使用Java語言開發(fā)，開放源代碼，可以自定義物理機選擇算法、處理機共享算法等常用的云計算資源調(diào)度策略[11-12]。ContainerCloudSim是ClodSim的擴展，提供了容器云環(huán)境下計算資源調(diào)度算法的建模和仿真。此外，ContainerCloudSim還建立了數(shù)據(jù)中心的能耗模型，提供了對各種資源調(diào)度算法在數(shù)據(jù)中心節(jié)能方面的表現(xiàn)進行評價的途徑[13]。CloudSim的最新版本4.0中集成了ContainerCloudSim。本文將使用ContainerCloudSim作為實驗平臺對改進后的算法進行驗證。

在本次實驗中，CPU實時資源利用率是重要的基礎數(shù)據(jù)。為了使仿真實驗更加接近真實場境，本文使用從真實世界的工作負載跟蹤獲得的數(shù)據(jù)進行實驗。工作負載數(shù)據(jù)來自Planet-Lab基礎設施10天內(nèi)監(jiān)控到數(shù)據(jù)中心物理機的CPU利用率[14]。此外，ContainerCloudSim中提供了包括IbmX3250XeonX3470等7種不同廠商和型號的物理機模型，并提供了它們在不同利用率時的能耗情況，如表1所示。

表1中表頭欄中的數(shù)值代表的是不同的利用率區(qū)間，如“4”列表示各種物理機在利用率在[0.40，0.50）這個區(qū)間時單位時間的能耗值。

表1中的數(shù)據(jù)為不同物理機在不同的CPU利用率時的單位時間能耗值?？梢姴煌锢頇C在相同利用率時的能耗是不同的，而且每種物理機的能耗隨著利用率的提高而提高。

4.2 實驗場景

根據(jù)云計算環(huán)境的多樣性，設計實驗場景如下： 實驗場景1 中，任務長度固定，有20 ～200 個虛擬機需要在數(shù)據(jù)中心進行部署，每次增加20 臺虛擬機，物理機的數(shù)量設為虛擬機的一半，容器數(shù)量為虛擬機的3倍; 實驗場景2 中，任務長度固定，有100～200 個虛擬機需要在數(shù)據(jù)中心進行部署，每次增加20 臺虛擬機，物理機數(shù)量固定100 臺，容器數(shù)量為虛擬機的3倍;實驗場景3，采用動態(tài)任務長度，任務長度在50000～100000之間，物理機5～120臺，虛擬機15～500臺，容器50～2000個。實驗場景1與實驗場景2的物理機數(shù)量、虛擬機數(shù)量與文獻[15]一致。

4.3 實驗結(jié)果及分析

為了驗證各種算法在多種不同情況下的節(jié)能效果，每個實驗場境又分為多個實驗小組，每組實驗使用同樣的云任務、物理機、虛擬機和容器配置。為了描述方便，每組實驗使用HXXX/VXXX/CXXX的形式式標記物理機、虛擬機和容器的數(shù)量，如H10/V100/C500表示物理機10臺、虛擬機100臺、容器500個。此外，在實驗過程發(fā)現(xiàn)Random選擇算法得到的能耗值普遍比FF、LF、MF和PF高出很多，將PF與該方法相比沒有太大意義，因此本文不提供Random方法的實驗結(jié)果。

4.3.1 實驗結(jié)果

實驗場景1 任務長度固定為30000。實驗分為5組，各組的物理機、虛擬機和容器的配置情況分別為：G11：H10/V20/C60、G12：H30/V60/C180、G13：H50/V100/C300、G14：H70/V140/C420、G15：H90/V180/C540。每個組的物理機隨機從表1中隨機選擇，小組內(nèi)實驗時使用同樣的物理機集合。對5個組分別使用FF、LF、MF和PF進行實驗，實驗結(jié)果如圖1（a）所示。

實驗場景2 任務長度固定30000，從表1隨機選取100臺物理機作為本場景實驗用物理機。實驗分為6組，各組的物理機、虛擬機和容器的配置情況分別為：G21：H100/V100/C300、G22：H100/V120/C360、G23：H100/V140/C420、G24：H100/V160/C480、G25：H100/V180/C540、G26：H100/V200/C600。對6個小組分別使用FF、LF、MF和PF進行實驗，實驗結(jié)果如圖1（b）所示。

實驗場景3 其中任務長度50000～100000。實驗分為5組，各組的物理機、虛擬機和容器的配置情況分別為：G31：H5/V15/C50、G32：H10/V30/C100、G33：H20/V100/C500、G34：H60/V250/C1000、G35：H120/V500/C2000。每個組的物理機隨機從表1中隨機選擇，小組內(nèi)實驗時使用同樣的物理機集合。對5個小組分別使用FF、LF、MF和PF進行實驗，實驗結(jié)果如圖1（c）所示。

4.3.2 結(jié)果分析

場景1模擬的是實際應用中有規(guī)律的不同物理機群不同批量的數(shù)據(jù)計算服務，任務長度固定，物理機、虛擬機和容器的數(shù)量不斷增加。FF、LF和MF算法在這幾組的實驗中互有優(yōu)劣。但是不管是哪一組實驗，PF的在節(jié)能方面要比FF、LF和MF算法表現(xiàn)要好，能耗分別平均降低了45%、53%和49%。

場景2模擬的是有規(guī)律的相同物理機群不同批量的數(shù)據(jù)計算服務，任務長度固定，物理機固定，虛擬機和容器的數(shù)量依次遞增。在這種場境中，整體來看，F(xiàn)F與MF表現(xiàn)差不多，LF表現(xiàn)較好，但PF算法比MF算法表現(xiàn)還要好。與FF、LF和MF算法相比，采用PF算法數(shù)據(jù)中心能耗分別平均降低了56%、46%和58%。

場景3模擬的是無規(guī)律的不同物理機群不同批量的數(shù)據(jù)計算服務，任務長度不固定，物理機不固定，虛擬機和容器的數(shù)量隨著任務量的增大而增大。在這種場境中， MF表現(xiàn)不俗，但表現(xiàn)最好的還是PF算法。在5個組的實驗中，采用PF算法的數(shù)據(jù)中心能耗比采用FF、LF和MF算法分別平均降低了32%、24%和12%。

從圖1可見，不管在哪一種場景，采用PF算法時數(shù)據(jù)中心的能耗明顯比FF、LF和MF要低;而且，隨著任務長度、物理機、虛擬機、容器數(shù)量的增大，PF算法所表現(xiàn)出來的節(jié)能效果越好。雖然FF的時間復雜度要比LF、MF和PF低，但是節(jié)能效果較差。PF與LF、MF的時間復雜度差不多，但節(jié)能效果比LF和MF好。

文獻[15]采用的粒子群優(yōu)化（Particle Swarm Optimization， PSO）算法對數(shù)據(jù)中心資源配置進行了優(yōu)化，在資源利用與能耗之間作了較好的均衡，但優(yōu)化后數(shù)據(jù)中心的整體能耗水平相比MF（文獻[15]中稱為Best Fit， BF）算法并沒有降低。雖然本文中采用了容器技術，但是由于容器遷移可以使用虛擬機遷移相同的策略，本次實驗中只考慮虛擬機、容器如何初始化部署以及虛擬機遷移的問題，不考慮容器的遷移問題，因此，本文與文獻[15]在能耗方面的實驗結(jié)果是具有可比性的?？傮w來說，本文提出的PF算法在節(jié)能方面優(yōu)于文獻[15]中的算法。

5 結(jié)語

本文提出的PF物理機選擇算法綜合考慮了物理機利用率和物理機單位時間能耗這兩個影響數(shù)據(jù)中心整體能耗的主要因素，在保護物理機利用率的前提下選擇能耗較低的物理機作為部署和遷移虛擬機、容器的目標物理機，有效降低了以容器作為基本運行單元的數(shù)據(jù)中心的整體能耗。但是，PF算法每次選擇物理機前都要進行資源利用率的計算。當前，以深度強化學習為代表的人工智能技術正在成為研究和應用的熱點，能否使用深度強化學習方法，通過預先進行的訓練與學習，在資源調(diào)度時可以直接選擇物理機從而進一步提高算法的性能和降低數(shù)據(jù)中心能耗是接下來要研究的問題。

參考文獻 （References）

[1] 武志學.云計算虛擬化技術的發(fā)展與趨勢[J].計算機應用，2017，37（4）：915-923.（WU Z X. Advances on virtualization technoloty of cloud computing [J]. Journal of Computer Applications， 2017， 37（4）： 915-923.）

[2] 劉偉佳，李博權.容器技術在DRaaS中的應用研究[J].微電子學與計算機，2018，35（6）：52-55.（LIU W J， LI B Q. Application research on container technology in DRaaS[J]. Microelectronics and Computer， 2018， 35（6）： 52-55.）

[3] KANG D-K， CHOI G-B， KIM S-H， et al. Workload-aware resource management for energy efficient heterogeneous Docker containers [C]// Proceedings of the 2016 IEEE Region 10 Conference. Piscataway， NJ： IEEE， 2016： 2428-2431.

[4] KUMAR K， KURHEKAR M. Economically efficient virtualization over cloud using Docker containers [C] // CCEM 2016： Proceedings of the 2016 IEEE International Conference on Cloud Computing in Emerging Markets. Washington， DC： IEEE Computer Society， 2016： 95-100.

[5] 李青，李勇，涂碧波，等.QoS 保證的數(shù)據(jù)中心動態(tài)資源供應方法[J].計算機學報，2014，37（12）：2396-2407.（LI Q， LI Y， TU B B， et al. QoS-guaranteed dynamic resource provision in Internet data centers [J]. Chinese Journal of Computers， 2014， 37（12）： 2396-2407.）

[6] XU X， YU H， PEI X. A novel resource scheduling approach in container based clouds [C]// Proceedings of the 2014 IEEE 17th International Conference on Computational Science and Engineering. Washington， DC： IEEE Computer Society， 2014： 257-264.

[7] 崔廣章，朱志祥.容器云資源調(diào)度策略的改進[J].計算機與數(shù)字工程，2017，45（10）：1931-1936.（CUI G Z， ZHU Z X. Improved container cloud resource scheduling policy [J]. Computer and Digital Engineering， 2017， 45（10）： 1931-1936.）

[8] 施超，謝在鵬，柳晗，等.基于穩(wěn)定匹配的容器部署策略的優(yōu)化[J].計算機科學，2018，45（4）：131-136.（SHI C， XIE Z P， LIU H， et al. Optimization of container deployment strategy based on stable matching [J]. Computer Science， 2018， 45（4）：131-136.）

[9] DEMIRKOL OE， DEMIRKOL A. Energy efficiency with an application container [J]. Turkish Journal of Electrical Engineering and Computer Sciences， 2018， 26（2）： 1129-1139.

[10] KAUR K， DHAND T， KUMAR N， et al. Container-as-a-service at the edge： trade-off between energy efficiency and service availability at fog nano data centers [J]. IEEE Wireless Communications， 2018， 24（3）： 48-56.

[11] BANERJEE S， ROY A， CHOWDHURY A， et al. An approach toward amelioration of a new cloudlet allocation strategy using cloudsim [J]. Arabian Journal for Science and Engineering， 2018， 43（2）： 879-902.

[12] KUMAR A， KUMAR R， SHARMA A. Energy aware resource allocation for clouds using two level ant colony optimization [J]. Computing and Informatics， 2018， 37（1）： 76-108.

[13] PIRAGHAJ S F， DASTJERDI A V， CALHEIROS R N， et al. ContainerCloudSim： an environment for modeling and simulation of containers in cloud data centers [J]. Software： Practice and Experience， 2017， 47（4）： 505-521.

[14] RANJBARI M， TORKESTANI J A. A learning automata-based algorithm for energy and SLA efficient consolidation of virtual machines in cloud data centers [J]. Journal of Parallel and Distributed Computing， 2017，113： 55-62.

[15] 黃啟成，陳羽中，江偉，等.一種面向云環(huán)境虛擬機部署的粒子群優(yōu)化策略[J].小型微型計算機系統(tǒng)，2018，39（7）：1554-1559.（HUANG Q C， CHEN Y Z， JIANG W， et al. Particle swarm optimization strategy for VM placement in cloud[J]. Journal of Chinese Computer Systems， 2018， 39（7）： 1554-1559.）