李 攀 陳 平 劉秋菊

1(濟(jì)源職業(yè)技術(shù)學(xué)院 河南 濟(jì)源 459000)

2(鄭州工程技術(shù)學(xué)院 河南 鄭州 450044)

0 引 言

云計(jì)算將傳統(tǒng)的計(jì)算能力獲取模式轉(zhuǎn)變?yōu)楫?dāng)前的服務(wù)租用模式[1]，基于資源的實(shí)際使用情況，按需以即付即用的彈性服務(wù)利用方式向用戶提供資源。云數(shù)據(jù)中心是云服務(wù)的支撐基礎(chǔ)設(shè)施。為了適應(yīng)巨量規(guī)模云服務(wù)的需求增長，數(shù)據(jù)中心需要配置數(shù)以千計(jì)的服務(wù)器以滿足這種計(jì)算需求。然而，數(shù)據(jù)中心同時(shí)需要消耗巨大的能量提供云服務(wù)。根據(jù)美國能源部的報(bào)告[2]，美國的數(shù)據(jù)中心消耗了其國家總能量的2%(約700億kW·h)。數(shù)據(jù)中心不僅消耗能量，同時(shí)還會(huì)產(chǎn)生巨量的溫室氣體，導(dǎo)致很高的碳排放。具體地，每年有430億噸CO2排放，每季度在以13%的速度增長[3-4]。因此，改善數(shù)據(jù)中心能效對(duì)于云計(jì)算的可持續(xù)發(fā)展和營運(yùn)代價(jià)將是至關(guān)重要的。

云數(shù)據(jù)中心的主要能耗來源于計(jì)算系統(tǒng)和冷卻系統(tǒng)，基本上，冷卻系統(tǒng)的能耗等于計(jì)算系統(tǒng)的能耗[5]。因此，數(shù)據(jù)中心資源管理系統(tǒng)需要同步考慮計(jì)算和冷卻系統(tǒng)，從而實(shí)現(xiàn)全局的整體能效。

為了降低計(jì)算能耗，將負(fù)載合并至更少的主機(jī)上是一種有效方法，這樣可以保持未使用的主機(jī)處于低功能狀態(tài)[6-9]。然而，這種激進(jìn)的合并可能導(dǎo)致局部熱點(diǎn)的產(chǎn)生。熱點(diǎn)主機(jī)的產(chǎn)生對(duì)于整個(gè)數(shù)據(jù)中心系統(tǒng)的可靠性具有很大的不利影響[10]。此外，若超過主機(jī)的溫度閾值也會(huì)導(dǎo)致CPU硅組成的損壞，進(jìn)而導(dǎo)致主機(jī)的失效。而且，為了進(jìn)一步解決散熱問題，冷卻系統(tǒng)會(huì)傳輸很多的冷空氣進(jìn)而增加冷卻系統(tǒng)的代價(jià)。而通過最優(yōu)的負(fù)載分布的熱量管理方法可以有效避免熱點(diǎn)出現(xiàn)，并同步降低數(shù)據(jù)中心的能耗。

數(shù)據(jù)中心的溫度變化也與多個(gè)因素相關(guān)。首先，主機(jī)功耗所揮發(fā)的熱量會(huì)分布至數(shù)據(jù)中心環(huán)境中[11]，這種功耗與資源的利用率是成正比的。其次，機(jī)房空調(diào)系統(tǒng)CRAC所提供的冷空氣本身也會(huì)攜帶一定溫度，即所謂的供冷溫度。最后，研究表明主機(jī)的入口溫度具有時(shí)空現(xiàn)象[12]。從一臺(tái)主機(jī)所揮發(fā)的熱量會(huì)影響其他主機(jī)的溫度。由于熱空氣熱力學(xué)的特征，這種熱量會(huì)在數(shù)據(jù)中心內(nèi)循環(huán)存在，經(jīng)過主機(jī)的空氣并不會(huì)完全到達(dá)回流口，部分仍將留在主機(jī)所有空間，此時(shí)，解決這種時(shí)空特征也可以優(yōu)化能量使用。另一方面，估算數(shù)據(jù)中心溫度也有一定難度，目前主要有三種方法。第一種方法是計(jì)算流體動(dòng)態(tài)模型進(jìn)行精確預(yù)測(cè)[13]，然而這種方法固定的復(fù)雜性使其利用在實(shí)時(shí)在線調(diào)度問題上計(jì)算代價(jià)太高，不可行。第二種方法是利用機(jī)器學(xué)習(xí)的預(yù)測(cè)模型，這種方法極大地依賴于預(yù)測(cè)模型和數(shù)據(jù)的數(shù)量和質(zhì)量。第三種方法是分析模型，主要根據(jù)熱量的熱力學(xué)特征和數(shù)據(jù)中心物理屬性進(jìn)行預(yù)測(cè)。

動(dòng)態(tài)虛擬機(jī)合并是數(shù)據(jù)中心能耗節(jié)省的有效手段。而這些合并算法對(duì)于實(shí)體布局和物理主機(jī)的位置并不可知。由于數(shù)據(jù)中心內(nèi)部溫度的分布，將負(fù)載合并至較少的主機(jī)上并不一定會(huì)節(jié)省能耗，甚至可能導(dǎo)致冷卻系統(tǒng)的代價(jià)升高和創(chuàng)建一些熱點(diǎn)主機(jī)。但部分的合并能解決部分能耗問題。如文獻(xiàn)[14]在異構(gòu)數(shù)據(jù)中心中提出一種功耗和溫度感知的負(fù)載分配算法，文獻(xiàn)[15]提出基于DVFS的對(duì)偶時(shí)空感知的作業(yè)調(diào)度算法，但是這些方案均不直接應(yīng)用于虛擬云數(shù)據(jù)中心中。

本文綜合考慮了主機(jī)利用率、主機(jī)溫度、主機(jī)功耗、冷卻系統(tǒng)功耗，以及主機(jī)可靠性間的相互關(guān)系，建立了確保主機(jī)可靠性的冗余模型，在主動(dòng)避免產(chǎn)生機(jī)架熱點(diǎn)的情況下，可以實(shí)現(xiàn)動(dòng)態(tài)的虛擬機(jī)部署決策，在降低數(shù)據(jù)中心總體能耗的前提下，確保主機(jī)服務(wù)的可靠性。仿真實(shí)驗(yàn)驗(yàn)證了算法在能效提高和性能提升上的優(yōu)勢(shì)。

1 性能模型

云數(shù)據(jù)中心中的虛擬機(jī)部署問題有多個(gè)需要考慮的性能評(píng)估因素，為了建立考慮能效和可靠性的虛擬機(jī)部署的性能模型，本節(jié)將討論：主機(jī)利用率與功耗間的關(guān)系，主機(jī)利用率與主機(jī)熱量間的關(guān)系，主機(jī)利用率與冷卻系統(tǒng)功耗間的關(guān)系，主機(jī)熱量與主機(jī)可靠性間的關(guān)系，以及建立一個(gè)冗余模型在給定的主機(jī)溫度下獲得主機(jī)的目標(biāo)可靠性。

1.1 主機(jī)利用率與功耗間的關(guān)系

由于數(shù)據(jù)中心中主機(jī)的實(shí)際利用率一般較低，通過利用虛擬機(jī)技術(shù)將主機(jī)運(yùn)行整合至數(shù)量較少的主機(jī)上(替代以較低的利用率運(yùn)行所有可用主機(jī))的方式可以降低主機(jī)功耗。為了最小化主機(jī)能耗，需要以集中的方式將虛擬機(jī)部署至數(shù)據(jù)較少的主機(jī)上。將虛擬機(jī)部署至一臺(tái)主機(jī)上即可增加主機(jī)的利用率，如此，主機(jī)利用率與主機(jī)功耗擁有以下關(guān)系：

Ps(u)=Pidle+u×(Pmax-Pidle)

(1)

式中：u代表主機(jī)利用率；Pidle代表主機(jī)在空閑狀態(tài)時(shí)的功耗；Pmax代表主機(jī)在100%利用率時(shí)的功耗。即使主機(jī)在空閑狀態(tài)，仍將消耗能量。如果數(shù)據(jù)中心中的一臺(tái)主機(jī)僅提供一種服務(wù)，那么當(dāng)它無法滿足來自用戶的大量請(qǐng)求時(shí)，其資源利用率將較低。因此，通過虛擬機(jī)部署的主機(jī)合并方法可以節(jié)省數(shù)據(jù)中心的主機(jī)能耗。

1.2 主機(jī)利用率與主機(jī)熱量間的關(guān)系

多數(shù)的數(shù)據(jù)中心功耗消耗于遷移主機(jī)散發(fā)的熱量。基本上，數(shù)據(jù)中心冷卻系統(tǒng)的功耗等于計(jì)算系統(tǒng)的功耗，這表明冷卻系統(tǒng)需要持續(xù)運(yùn)行以確保遷移來自主機(jī)所散發(fā)的大量熱量。因此，降低主機(jī)本身的能耗與降低主機(jī)的熱量散發(fā)對(duì)于整個(gè)數(shù)據(jù)中心而言具有相同的重要性。主機(jī)產(chǎn)生的熱量(溫度)與主機(jī)功耗的關(guān)系為[16]：

Tout=Tin+K×Ps(u)

(2)

式中：Tin代表提供給主機(jī)降溫的冷氣溫度；Ps(u)代表主機(jī)功耗，為主機(jī)利用率的函數(shù)；K代表一個(gè)常量，K=1/ρfcp，ρ代表空氣密度，為1.19 kg/m3，f代表氣流速率，為0.245 4 m3/s，cp代表空氣比熱，為1 005 J/(kg·K)。

1.3 主機(jī)利用率與冷卻系統(tǒng)功耗間的關(guān)系

數(shù)據(jù)中心中的空調(diào)系統(tǒng)的目的是快速地遷移主機(jī)的熱量。由于主機(jī)所散發(fā)的空氣溫度會(huì)隨著主機(jī)利用率的增加而增加，此時(shí)需要更多的冷卻熱量。對(duì)于高度整合的服務(wù)器機(jī)架，如刀片服務(wù)器，需要專用的機(jī)架空調(diào)系統(tǒng)，由于主機(jī)可能釋放的熱量要高于冷卻系統(tǒng)的制冷能力。數(shù)據(jù)中心的空調(diào)系統(tǒng)可劃分為兩種類型：外部空氣冷卻法和水冷卻法。水冷卻系統(tǒng)的功耗可表示為：

(3)

式中：性能度量系數(shù)CoP表示冷卻系統(tǒng)用于揮發(fā)主機(jī)產(chǎn)生熱量的功耗，可表示為：

(4)

式中：Tsup代表空調(diào)系統(tǒng)揮發(fā)的空氣溫度(單位：℃)。如果Tsup設(shè)置為預(yù)定義的主機(jī)穩(wěn)定運(yùn)行的最大值，則冷卻系統(tǒng)的功耗與主機(jī)利用率存在線性關(guān)系。因此，虛擬機(jī)部署可以改變主機(jī)利用率，不僅可以影響主機(jī)功耗，而且還可以影響冷卻系統(tǒng)的功耗。

1.4 主機(jī)熱量與主機(jī)可靠性間的關(guān)系

由于主機(jī)是由大量的復(fù)雜半導(dǎo)體元器件所構(gòu)成，正常的運(yùn)行必須保持其合適的溫度和濕度。如果虛擬機(jī)被部署至數(shù)量較少的主機(jī)上，以此降低主機(jī)的使用數(shù)量，則可能產(chǎn)生熱量島，即熱點(diǎn)主機(jī)，這反過來會(huì)影響主機(jī)長周期運(yùn)行的可靠性，甚至不利于能耗的降低。根據(jù)文獻(xiàn)[17]的研究，主機(jī)的環(huán)境溫度與主機(jī)可靠性有直接關(guān)系。圖1為主機(jī)的相對(duì)失效率與主機(jī)溫度的關(guān)系。假設(shè)主機(jī)相對(duì)失效率為1時(shí)的溫度為20 ℃，則根據(jù)溫度主機(jī)將有不同的失效概率。在35 ℃時(shí)，主機(jī)失效率是主機(jī)運(yùn)行于20 ℃的1.6倍。相當(dāng)于，如果數(shù)據(jù)中心擁有10 000臺(tái)主機(jī)運(yùn)行于20 ℃，則將有100臺(tái)主機(jī)在給定周期內(nèi)會(huì)失效。若溫度增加至40 ℃，主機(jī)相對(duì)失效率將提高1.66倍，這表明將有166臺(tái)主機(jī)出現(xiàn)失效。因此，為了降低主機(jī)的失效率，冷卻系統(tǒng)需要運(yùn)行維持一個(gè)合適的室內(nèi)溫度，則備份主機(jī)也必須有充分的冗余準(zhǔn)備。

圖1 主機(jī)溫度與相對(duì)失效率間的關(guān)系

1.5 確保可靠性的主機(jī)冗余建模

本文利用可用性作為描述主機(jī)可靠性的性能指標(biāo)?？捎眯远x為系統(tǒng)在給定時(shí)間內(nèi)的系統(tǒng)可用的概率[18]：

(5)

式中：MTBF代表主機(jī)失效間的平均時(shí)間，即系統(tǒng)的平均生命周期；MTTR代表主機(jī)修復(fù)的平均時(shí)間，即主機(jī)出現(xiàn)失效后修復(fù)系統(tǒng)需要的平均時(shí)間。

為了改進(jìn)主機(jī)可靠性，需要冗余主機(jī)作為備份。一旦應(yīng)用主機(jī)冗余，則需要考慮主機(jī)并行連接計(jì)算主機(jī)可用性。假設(shè)擁有N個(gè)工作主機(jī)和一個(gè)備份主機(jī)，表示為N:1冗余，其中N代表冗余率。當(dāng)N個(gè)工作主機(jī)中的一臺(tái)失效時(shí)，備份系統(tǒng)可以代替失效主機(jī)工作。這種類型的主機(jī)聯(lián)接可建模為M/M/1/N+1/N+1的隊(duì)列模型[19]，如圖2所示。圖中每個(gè)狀態(tài)上的數(shù)字代表失效主機(jī)的數(shù)量，λ代表平均失效發(fā)生率，等于1/MTBF，μ代表平均失效完成率，等于1/MTTR?；谝陨系年?duì)列模型，應(yīng)用冗余的主機(jī)可用性可通過以下方式計(jì)算。k個(gè)主機(jī)失效的概率為：

(6)

式中：k=1,2,…,N+1。

(7)

圖2 基于系統(tǒng)可靠性的M/M/1/N+1/N+1隊(duì)列模型

由于當(dāng)所有主機(jī)均可用(P0)或僅有一個(gè)主機(jī)失效時(shí)(P1)，主機(jī)即可用。擁有一個(gè)備份主機(jī)A時(shí)N個(gè)個(gè)體主機(jī)的可用性可計(jì)算為：

(8)

現(xiàn)在計(jì)算溫度在20 ℃和40 ℃時(shí)主機(jī)的可用性以及兩種情況下的主機(jī)冗余率。根據(jù)圖1，溫度為40 ℃時(shí)，其失效率比20 ℃時(shí)高66%。為了利用式(8)，假設(shè)在給定周期內(nèi)溫度為20 ℃時(shí)主機(jī)失效發(fā)生率(λ=1/MTBF)為0.001，即10 000個(gè)主機(jī)擁有10個(gè)失效。因此，主機(jī)失效發(fā)生率為0.001 66，相當(dāng)于10 000個(gè)主機(jī)中有16.6個(gè)失效。如果MTTR設(shè)置為1小時(shí)，則失效完成率μ變?yōu)?。利用式(8)，假設(shè)數(shù)據(jù)中心中一個(gè)主機(jī)的目標(biāo)可用性是0.999 9，則其溫度需要維持在20 ℃，備份主機(jī)需要在每9個(gè)工作主機(jī)間提供一次。對(duì)于數(shù)據(jù)中心溫度在40 ℃的情況，備份主機(jī)則需要在每6個(gè)工作主機(jī)間提供一次。

對(duì)于備份主機(jī)，其能耗取決于它是否為熱備份或冷待機(jī)。若運(yùn)行在熱備份，則主機(jī)為空閑狀態(tài)，擁有空閑能耗，由于需要隨時(shí)準(zhǔn)備主機(jī)失效的發(fā)生。冷待機(jī)狀態(tài)則僅僅消耗最小的能量。

2 滿足能效可靠的虛擬機(jī)部署算法

2.1 優(yōu)化模型與算法設(shè)計(jì)

為了節(jié)省數(shù)據(jù)中心的能耗，需要將虛擬機(jī)盡可能部署至數(shù)量較少的主機(jī)上。利用虛擬化技術(shù)可以將大量的虛擬機(jī)合并至較少數(shù)量的主機(jī)上，從而降低整個(gè)主機(jī)的能耗，以及冷卻系統(tǒng)的功耗。然而，過度的合并勢(shì)必會(huì)導(dǎo)致熱點(diǎn)主機(jī)的出現(xiàn)，這反過來會(huì)影響設(shè)備的可靠性。為了確保運(yùn)行于高溫環(huán)境下的主機(jī)的可靠性，需要考慮主機(jī)的冗余機(jī)制。本節(jié)提出一種同步考慮能耗節(jié)省和主機(jī)可靠性的虛擬機(jī)部署算法。算法的目標(biāo)是最小化容納虛擬機(jī)部署請(qǐng)求的主機(jī)功耗，并同時(shí)考慮避免由于主機(jī)密集部署下的熱點(diǎn)主機(jī)，并滿足主機(jī)的目標(biāo)可靠性。假設(shè)J表示M臺(tái)主機(jī)的集合，I表示D臺(tái)虛擬機(jī)的集合，以上的最優(yōu)化問題可以形式化為：

目標(biāo)函數(shù)：

(9)

約束條件：

(10)

xij∈{0,1} ?i∈I,?j∈J

(11)

Tj≤Tth?j∈J

(12)

(13)

(14)

虛擬機(jī)部署算法的目標(biāo)是最小化所有主機(jī)的總體功耗。如式(1)所示，主機(jī)j的功耗P為主機(jī)利用率Sj的函數(shù)。式(10)表明擁有需求V的虛擬機(jī)將盡可能地部署于主機(jī)上，Vi表示虛擬機(jī)i的資源請(qǐng)求量，需要小于或等于一臺(tái)主機(jī)的全部能力。假設(shè)一臺(tái)主機(jī)的全部能力為1，一臺(tái)主機(jī)的利用率Sj∈R為0至1之間。式(11)定義主機(jī)j與虛擬機(jī)i間的部署關(guān)系，xij=1代表虛擬機(jī)i部署于主機(jī)h上，xij=0代表未部署。式(12)表明服務(wù)器機(jī)架的出口溫度Tj(主機(jī)j的位置處)需小于或等于最大可允許的溫度Tth，Tj和Tth均為實(shí)數(shù)值，Tj由式(2)和式(1)計(jì)算，表示主機(jī)利用率Sj的函數(shù)。即使有主機(jī)可以滿足虛擬機(jī)的部署請(qǐng)求，若出口溫度超過最大溫度，虛擬機(jī)也無法進(jìn)行部署，這樣可以避免產(chǎn)生熱點(diǎn)。式(13)確保成功部署在主機(jī)上的虛擬機(jī)數(shù)量小于或等于用戶請(qǐng)求的虛擬機(jī)數(shù)量。式(14)表明用戶請(qǐng)求的虛擬機(jī)的總資源需求量之和需要小于或等于所有主機(jī)的能力之和。

擁有約束條件的虛擬機(jī)部署目標(biāo)最優(yōu)化問題是NP問題，本文設(shè)計(jì)一種啟發(fā)式算法，如算法1所示。

算法1能效可靠的虛擬機(jī)部署算法

輸入：服務(wù)器集合S,目標(biāo)可靠性的冗余率，最大可允許溫度Tth，虛擬機(jī)需求集合V。

輸出：虛擬機(jī)映射解。

1. 對(duì)虛擬機(jī)請(qǐng)求進(jìn)行降序排列

2. fori=1 toD

//虛擬機(jī)請(qǐng)求集合

3.Savailable=1-S

//可用主機(jī)能力，S是主機(jī)利用率

4. forj=1 toM

//主機(jī)集合

5. ifV[i]≤Savailable[j]

//請(qǐng)求量小于等于主機(jī)可用量

6.S[j]=S[j]+V[i]

//添加虛擬機(jī)請(qǐng)求i至主機(jī)j

7. 計(jì)算主機(jī)功耗和主機(jī)所在機(jī)架的整體功耗

8. 計(jì)算主機(jī)所在機(jī)架的出口溫度

9. ifT≥Tth

//避免熱點(diǎn)機(jī)架，需要搜索其他可用主機(jī)

10. 到下一服務(wù)器

11.S[j]=S[j]-V[i]

//從主機(jī)j上刪除虛擬機(jī)請(qǐng)求i

12. end if

13. end if

//代表沒有可用主機(jī)

14. 到下一服務(wù)器

15. if the number of working servers>N

//確保主機(jī)目標(biāo)可靠性

16. 添加備份主機(jī)

17. 計(jì)算主機(jī)功耗

18. end if

19. end for

20. end for

初始條件下，有多個(gè)算法的輸入?yún)?shù)，包括：主機(jī)集合(S[j]，j=1,2,…,M，M是數(shù)據(jù)中心中主機(jī)的總量)、主機(jī)最大允許溫度Tth、主機(jī)運(yùn)行的目標(biāo)可靠性A、用戶請(qǐng)求的虛擬機(jī)量(V[i]，i=1,2,…,D，D是到達(dá)數(shù)據(jù)中心的虛擬機(jī)總量)。S[i]表示主機(jī)j的利用率。算法開始時(shí)，需要通過式(8)計(jì)算滿足主機(jī)目標(biāo)可靠性的冗余率N。步驟1對(duì)虛擬機(jī)請(qǐng)求量做降序排列?？扇菁{虛擬機(jī)部署要求的可用主機(jī)被按序搜索，即步驟3-步驟5。如果一臺(tái)主機(jī)擁有足夠的資源能力容納虛擬機(jī)部署請(qǐng)求，虛擬機(jī)即部署于該主機(jī)上，即步驟6。步驟7計(jì)算主機(jī)功耗P[j]和主機(jī)所處位置的機(jī)架。由于超載主機(jī)密集部署在一個(gè)主機(jī)機(jī)架時(shí)會(huì)產(chǎn)生熱點(diǎn)，步驟8需要計(jì)算每個(gè)主機(jī)機(jī)架的出口溫度Tout。即使有一個(gè)可用主機(jī)可以容納虛擬機(jī)，如果出口溫度超過最大允許的溫度，也需要搜索其他可用主機(jī)用于虛擬機(jī)部署，即步驟9-步驟11。

另一方面，為了實(shí)現(xiàn)主機(jī)的目標(biāo)可靠性，需要安排備份主機(jī)。根據(jù)前文所述，當(dāng)目標(biāo)溫度給定時(shí)，可以計(jì)算冗余率N來確保主機(jī)的可靠性。隨著虛擬機(jī)的部署，如果工作主機(jī)的數(shù)量增加，并超過冗余率N，則需要部署附加的備份主機(jī)。備份主機(jī)的功耗需要加至數(shù)據(jù)中心的總體功耗中，即步驟15-步驟17。

2.2 算法時(shí)間復(fù)雜度分析

算法首先對(duì)請(qǐng)求的虛擬機(jī)做降序排列(步驟1)，排序算法的時(shí)間復(fù)雜度為O(nlogn)，n為待部署的虛擬機(jī)數(shù)量。步驟2-步驟20將所有虛擬機(jī)部署至可用主機(jī)上，時(shí)間復(fù)雜度為O(n)。步驟4-步驟19從最低ID至最高ID的主機(jī)間尋找一臺(tái)可容納虛擬機(jī)的主機(jī)，時(shí)間復(fù)雜度為O(m)，m為所有主機(jī)的數(shù)量。在搜索主機(jī)期間，一部分需要計(jì)算決定是否產(chǎn)生一個(gè)熱點(diǎn)，即步驟9-步驟13，另一部分需要計(jì)算備份主機(jī)，即步驟15-步驟18，這部分并不會(huì)影響算法的時(shí)間復(fù)雜度。因此，算法的時(shí)間復(fù)雜度為O(nm)。為了改進(jìn)算法的運(yùn)行時(shí)間，搜索主機(jī)部分可以修改為二進(jìn)制搜索方法，則算法時(shí)間復(fù)雜度為O(nlogm)。仿真中，算法試圖從較低ID搜索主機(jī)，利用較低ID的可用主機(jī)部署虛擬機(jī)。隨著虛擬機(jī)數(shù)量n的增加，仿真算法的運(yùn)行時(shí)間呈線性增加。當(dāng)虛擬機(jī)數(shù)量較少時(shí)，主機(jī)數(shù)量m對(duì)算法運(yùn)行時(shí)間影響較小，然而，隨著虛擬機(jī)數(shù)量的增加，它將進(jìn)一步影響算法運(yùn)行時(shí)間。這是由于虛擬機(jī)數(shù)量較少時(shí)，可搜索的主機(jī)數(shù)量受限，而在大量的虛擬機(jī)數(shù)量下，待搜索的主機(jī)數(shù)量增加，就增加了算法的運(yùn)行時(shí)間。

3 仿真實(shí)驗(yàn)

3.1 實(shí)驗(yàn)配置

根據(jù)前文所述，主機(jī)設(shè)備的失效率會(huì)隨著主機(jī)運(yùn)行溫度的增加而增加，因此，有必要配置備份主機(jī)以備工作主機(jī)出現(xiàn)失效。表1給出了根據(jù)主機(jī)運(yùn)行溫度和主機(jī)目標(biāo)可靠性得到的請(qǐng)求冗余率，可由1.5節(jié)中的相關(guān)計(jì)算公式得到。冗余率代表共享一個(gè)備份主機(jī)的主機(jī)數(shù)量。主機(jī)溫度和目標(biāo)可靠性要求越高，則冗余率越低。例如：如果主機(jī)溫度為20 ℃，目標(biāo)可靠性為0.999 5，則需要一臺(tái)備份主機(jī)服務(wù)于21臺(tái)工作主機(jī)。然而，溫度為45 ℃，目標(biāo)可靠性為0.999 95時(shí)，必須為三臺(tái)工作主機(jī)預(yù)留一臺(tái)備份主機(jī)。即：失效率越高，或目標(biāo)可靠性越高，則所要求的備份主機(jī)也越多。根據(jù)文獻(xiàn)[17]設(shè)計(jì)的ASHRAE模型，本文假設(shè)最大允許溫度為70 ℃，主機(jī)的目標(biāo)可靠性為0.999 95進(jìn)行性能評(píng)估。根據(jù)這些假設(shè)條件，可知每5臺(tái)工作主機(jī)的失效需要配置一臺(tái)備份主機(jī)。

表1 確保目標(biāo)可靠性的冗余率

仿真環(huán)境如下：主機(jī)總共有1 000臺(tái)，每10臺(tái)配置一個(gè)主機(jī)機(jī)架。所有主機(jī)的硬件和軟件運(yùn)行環(huán)境是相同的。用戶請(qǐng)求的云服務(wù)以請(qǐng)求的虛擬機(jī)表示，該虛擬機(jī)對(duì)于主機(jī)的資源請(qǐng)求服從正態(tài)的均勻分布。假設(shè)主機(jī)處于待機(jī)狀態(tài)時(shí)的功耗為5 W，處于空閑狀態(tài)時(shí)的功耗為120 W，處于最大利用率時(shí)的功耗為450 W。冷卻系統(tǒng)提供至主機(jī)的空氣溫度為20 ℃，主機(jī)最大允許的溫度為70 ℃。假設(shè)來自于主機(jī)的熱量揮發(fā)不會(huì)再次流入該主機(jī)環(huán)境。算法在MATLAB環(huán)境下進(jìn)行仿真。

選取的基準(zhǔn)算法及主要思想如下：Random算法將所有虛擬機(jī)隨機(jī)部署在所選主機(jī)上，不考慮主機(jī)熱量或功耗狀態(tài)。RR算法即輪轉(zhuǎn)法，所有虛擬機(jī)以輪轉(zhuǎn)方式部署至主機(jī)上，試圖以均勻方式將負(fù)載分布至活躍主機(jī)上。PABFD算法[7]是一種基于功耗感知的修改最佳適應(yīng)算法，但僅考慮了合并過程中的CPU利用率，而沒有考慮熱量問題。GRANITE算法[20]是一種以最小化數(shù)據(jù)中心能耗為目標(biāo)的貪婪虛擬機(jī)調(diào)度算法，可以動(dòng)態(tài)地進(jìn)行虛擬機(jī)遷移，從而將負(fù)載均勻分配，使主機(jī)溫度在確定的溫度閾值以內(nèi)。TAS算法[21]是一種溫度感知調(diào)度算法，所選目標(biāo)主機(jī)是溫度最低的主機(jī)。

3.2 性能指標(biāo)

能耗：數(shù)據(jù)中心所有主機(jī)運(yùn)行帶來的能耗，單位kW。

SLA違例：該指標(biāo)描述由于動(dòng)態(tài)合并帶來的性能開銷，定義為式(15)。由于過量訂購原因，主機(jī)可能達(dá)到滿利用率100%，此時(shí)，這類主機(jī)上的虛擬機(jī)會(huì)表現(xiàn)出較差的性能，即出現(xiàn)單個(gè)活動(dòng)主機(jī)的SLA違例SLATAH，定義為式(16)。進(jìn)一步，由于虛擬機(jī)的遷移所帶動(dòng)的虛擬機(jī)合并還會(huì)帶到性能的開銷。這種虛擬機(jī)遷移所帶來的性能下降PDM可定義為式(17)。

SLAviolation=SLATAH×PDM

(15)

(16)

(17)

式中：N為主機(jī)總量；Tmax為主機(jī)經(jīng)歷100%占用的時(shí)間；Tactive為主機(jī)的總活躍時(shí)間；M為虛擬機(jī)總量；pdmj為由于虛擬機(jī)j遷移帶來的性能下降，實(shí)驗(yàn)中設(shè)置為10%；Cdemandj為虛擬機(jī)j在其生命周期內(nèi)請(qǐng)求的CPU資源總量?？傮wSLA違例SLAviolation為兩個(gè)指標(biāo)的乘積。

熱點(diǎn)主機(jī)：描述超過門限值溫度的主機(jī)數(shù)量。

活動(dòng)主機(jī)：描述整個(gè)實(shí)驗(yàn)過程中活躍主機(jī)的數(shù)量。

峰值溫度：描述在調(diào)度間隔中任意主機(jī)的最高溫度。

3.3 結(jié)果分析

圖3是算法的能耗情況，隨機(jī)算法最高能耗有363 kW·h，RR、PABFD、GRANITE和TAS算法分別達(dá)到342 kW·h、235 kW·h、265 kW·h、327 kW·h，本文算法約為250 kW·h，同時(shí)還具有95%的置信區(qū)域CI，即(247，252)。換言之，本文算法能耗較隨機(jī)算法、RR、GRANITE和TAS算法分別降低了31%、27%、6%、23%。較PABFD算法略高6%，這是由于PABFD算法進(jìn)行了更極端的虛擬機(jī)合并，所使用的主機(jī)數(shù)量更少。但這種極端合并忽略了潛在的熱量約束，可能導(dǎo)致熱點(diǎn)。

圖3 能耗情況

圖4是算法得到熱點(diǎn)主機(jī)數(shù)量情況，盡管PABFD比本文算法的能耗更少，但其創(chuàng)造了大量熱點(diǎn)主機(jī)。隨機(jī)算法的隨機(jī)順序?qū)τ谀芎暮蜔狳c(diǎn)的產(chǎn)生均有較大影響，熱點(diǎn)最多。RR算法的均勻分布策略比較隨機(jī)算法具有一定優(yōu)勢(shì)，熱點(diǎn)降低至約416臺(tái)，然而其能耗太高。PABFD約有123臺(tái)熱點(diǎn)主機(jī)，本文算法沒有產(chǎn)生一臺(tái)熱點(diǎn)主機(jī)。本文算法雖然能耗略高于PABFD，但沒有產(chǎn)生熱點(diǎn)，其優(yōu)勢(shì)在于：1) 溫度過高可能使得服務(wù)器失效；2) 熱點(diǎn)產(chǎn)生后，數(shù)據(jù)中心管理員需要進(jìn)一步降低冷卻溫度，這會(huì)進(jìn)一步增加冷卻系統(tǒng)的能耗。

圖4 熱點(diǎn)主機(jī)數(shù)量

圖5是算法的SLA違例情況。隨機(jī)算法、PABFD和TAS的SLA違例較多，其他三種算法較少。盡管RR算法在做出部署決策時(shí)沒有考慮SLA需求，但其固有的負(fù)載均勻分布的特征較隨機(jī)算法、PABFD和TAS算法還是可以降低一定的SLA違例的。本文算法在SLA違例方面已經(jīng)表現(xiàn)得足夠優(yōu)秀，同時(shí)還可以降低能耗和避免熱點(diǎn)主機(jī)的產(chǎn)生，綜合性能最優(yōu)。

圖5 SLA違例

圖6是算法的活躍主機(jī)數(shù)量情況。標(biāo)記時(shí)間是每隔一小時(shí)得到的均值結(jié)果。PABFD得到更少的活躍主機(jī)，而本文算法在PABFD的基礎(chǔ)上仍有增加，GRANITE則又高于本文算法，這種結(jié)果也可從圖3的能耗結(jié)果中推斷出來。隨機(jī)算法擁有最多的活躍主機(jī)數(shù)量，TAS的增加幅度最小，并小于RR算法。同時(shí)，活躍主機(jī)數(shù)量、熱點(diǎn)主機(jī)、能耗之間的關(guān)系也可被推斷出來，擁有更少活躍主機(jī)的算法也傾向于會(huì)產(chǎn)生較多的熱點(diǎn)主機(jī)。隨機(jī)算法顯得比較異常，因?yàn)樗请S機(jī)選擇主機(jī)的?？傮w來看，活躍主機(jī)數(shù)量在所有算法間并沒有表現(xiàn)出很大的不同，原因在于算法在超載主機(jī)和低載主機(jī)發(fā)現(xiàn)機(jī)制上采用了相同的策略。本文算法雖然沒有得到最少的活躍主機(jī)數(shù)量，但相比PABFD能夠避免負(fù)載過于集中，溫度過高并避免熱點(diǎn)主機(jī)的產(chǎn)生。

圖6 平均資源利用率

圖7是算法中主機(jī)的峰值溫度情況。本文由于利用能效可靠的虛擬機(jī)部署機(jī)制從未超過紅線溫度，并接近于紅線溫度，這樣極大地提高了資源利用率，降低了冷卻代價(jià)。TAS總是運(yùn)行在一個(gè)更低的溫度等級(jí)，而PABFD幾乎均運(yùn)行在紅線溫度周圍，甚至超過紅線溫度70度。GRANITE的主機(jī)峰值溫度一直是最低的，由于該算法僅僅考慮了溫度閾值，高溫度的主機(jī)上的虛擬機(jī)會(huì)被遷移出去，從而均衡負(fù)載。盡管RR是均勻分配負(fù)載，但由于主機(jī)性能的異差以及未進(jìn)行熱量感知，部分主機(jī)會(huì)超過紅線溫度。同時(shí)需要注意，圖中的溫度結(jié)果并非所有主機(jī)的溫度均值結(jié)果，而是所有主機(jī)中的最高溫度。

圖7 主機(jī)的峰值溫度

如果數(shù)據(jù)中心中的主機(jī)無法提供滿足用戶請(qǐng)求的虛擬機(jī)部署要求，虛擬機(jī)部署會(huì)出現(xiàn)失效。虛擬機(jī)部署的失效率結(jié)果如表2所示。當(dāng)虛擬機(jī)部署請(qǐng)求為1 000和1 500時(shí)，沒有出現(xiàn)部署失效。但是，在部署數(shù)量為2 000時(shí)，由于沒有可用的主機(jī)，虛擬機(jī)部署出現(xiàn)了失效。本文算法通過嚴(yán)格控制部署數(shù)量，使得不能超過主機(jī)目標(biāo)溫度，其失效率略微高于對(duì)比算法。但經(jīng)過100次重復(fù)實(shí)驗(yàn)后得到的標(biāo)準(zhǔn)差結(jié)果已經(jīng)較為接近?？紤]到服務(wù)的質(zhì)量，本文算法在本項(xiàng)指標(biāo)上似乎并沒有優(yōu)勢(shì)，但對(duì)于確保主機(jī)熱量控制上，本文算法是最優(yōu)的。實(shí)際運(yùn)行過程中，主機(jī)的出口溫度會(huì)隨著虛擬機(jī)部署請(qǐng)求的到達(dá)或離開出現(xiàn)變化，因此，本文模型的瞬間主機(jī)熱量應(yīng)該更低。因此，實(shí)際出現(xiàn)的未部署的失效虛擬機(jī)數(shù)量應(yīng)該小于仿真實(shí)驗(yàn)中得到的結(jié)果。

表2 失效虛擬機(jī)部署的數(shù)量

4 結(jié) 語

本文提出一種基于能效和可靠性的虛擬機(jī)部署算法。算法綜合考慮了主機(jī)利用率、主機(jī)溫度、主機(jī)功耗、冷卻系統(tǒng)功耗、主機(jī)可靠性間的相互關(guān)系，建立了確保主機(jī)可靠性的冗余模型，在主動(dòng)避免產(chǎn)生機(jī)架熱點(diǎn)的情況下，可以實(shí)現(xiàn)動(dòng)態(tài)的虛擬機(jī)部署決策，在降低數(shù)據(jù)中心總體能耗的前提下，保障主機(jī)服務(wù)的可靠性。分析了算法的時(shí)間復(fù)雜度，對(duì)算法進(jìn)行了仿真測(cè)試。仿真結(jié)果表明，所提算法不僅可以節(jié)省更多能耗，避免熱點(diǎn)機(jī)架，而且性能保障也更好。