陳曉博

國(guó)家廣播電視總局監(jiān)測(cè)數(shù)據(jù)處理中心

0 引言

虛擬化技術(shù)最初用于將不同的任務(wù)合并到同一節(jié)點(diǎn)中，以避免其部分物理服務(wù)器的利用率過低，虛擬化促進(jìn)計(jì)算和存儲(chǔ)資源的整合，能耗效率進(jìn)一步提高。同時(shí)，虛擬化計(jì)算也通過虛擬機(jī)遷移和快照計(jì)算，提供更加靈活的資源調(diào)度管理方式。虛擬機(jī)可以異構(gòu)負(fù)載，如集群任務(wù)和Web應(yīng)用等作為實(shí)例。從業(yè)務(wù)支撐的角度來看，數(shù)據(jù)中心可以通過虛擬化的數(shù)據(jù)中心為業(yè)務(wù)提供各類資源，也需要面對(duì)能源成本居高不下、虛擬化復(fù)雜度提高、高可用性和高性能的應(yīng)用增多等問題。因此，如何降低數(shù)據(jù)中心的運(yùn)行成本是亟待解決的問題?；诖?，本文提出了一種虛擬化數(shù)據(jù)中心管理的新方法，在降低運(yùn)行能耗成本的同時(shí)，根據(jù)功耗、冗余性、服務(wù)級(jí)別等多個(gè)方面對(duì)數(shù)據(jù)中心節(jié)點(diǎn)中的虛擬機(jī)進(jìn)行分配。

虛擬化技術(shù)對(duì)能耗效率的調(diào)度，不限于靜態(tài)整合和關(guān)閉一些未使用的節(jié)點(diǎn)，虛擬機(jī)遷移可以將工作負(fù)載從一個(gè)未充分使用的節(jié)點(diǎn)動(dòng)態(tài)地移動(dòng)到另一個(gè)大部分已滿的節(jié)點(diǎn)。同時(shí)，虛擬化的遷移也帶來了一些開銷，例如，虛擬機(jī)創(chuàng)建和實(shí)例化、遷移、快照等增加的額外開銷?；谔摂M化的特點(diǎn)，本文提出了一個(gè)完整的數(shù)據(jù)中心節(jié)點(diǎn)間虛擬機(jī)調(diào)度策略，并根據(jù)其性質(zhì)將其建模為能耗成本，該策略以運(yùn)行成本最低為目標(biāo)，尋求最優(yōu)的虛擬機(jī)分配。

1 微管理虛擬化數(shù)據(jù)中心提供整體調(diào)度方案

如何通過虛擬化技術(shù)實(shí)現(xiàn)數(shù)據(jù)中心的能耗成本控制是近期研究的熱點(diǎn)。首先，近年來，基于集群的系統(tǒng)電源管理已經(jīng)在計(jì)算資源管理領(lǐng)域得到了解決，重點(diǎn)是在多處理器環(huán)境中應(yīng)用能源優(yōu)化技術(shù)，動(dòng)態(tài)電壓/頻率縮放（DVFS）或關(guān)閉空閑服務(wù)器，也可以降低能耗，但可能會(huì)增加硬件故障和降低服務(wù)等級(jí)。其次，通過更智能的調(diào)度策略來動(dòng)態(tài)關(guān)閉空閑機(jī)器，以降低總體消耗，也可以通過物理服務(wù)器底層的本地節(jié)點(diǎn)DVFS功能，根據(jù)負(fù)載自動(dòng)改變頻率。最后，還可以通過管理共享服務(wù)器資源來降低總體能耗，分配不同服務(wù)器之間分配工作負(fù)載。對(duì)于典型的網(wǎng)絡(luò)潮汐式工作負(fù)載，可以將服務(wù)器的能耗減少20%。考慮到虛擬化開銷，采用虛擬機(jī)來執(zhí)行異構(gòu)的負(fù)載，通過支持虛擬機(jī)遷移和虛擬機(jī)布局優(yōu)化來降低虛擬化數(shù)據(jù)中心的功耗，同時(shí)，減少人為干預(yù)。本文為管理虛擬化數(shù)據(jù)中心提供了一個(gè)整體的調(diào)度方案，綜合考慮了虛擬化開銷、節(jié)點(diǎn)的可靠性以及與數(shù)據(jù)中心運(yùn)行相關(guān)的能耗優(yōu)化模型。

2 能耗優(yōu)化算法

本文提出的方法主要是通過虛擬化來降低整體的能耗，根據(jù)和業(yè)務(wù)流程相關(guān)的運(yùn)行成本為虛擬化數(shù)據(jù)中心建模，包括：作業(yè)執(zhí)行、打開或關(guān)閉虛擬機(jī)等典型流程以及虛擬機(jī)創(chuàng)建、遷移和快照等。

每個(gè)虛擬機(jī)分配都有一個(gè)能耗綜合評(píng)分，分值為在主機(jī)中虛擬機(jī)相關(guān)的所有單個(gè)業(yè)務(wù)和運(yùn)行成本的總和。需要考慮不同類型的成本（時(shí)間、功率和能耗），所有這些單元都需要合并到一個(gè)公共單元中。

2.1 前提條件

首先，調(diào)度必須檢查物理主機(jī)是否能夠分配虛擬機(jī)。這是通過評(píng)估虛擬機(jī)需求來實(shí)現(xiàn)的，虛擬機(jī)需求包括硬件操作系統(tǒng)類型、CPU、內(nèi)存數(shù)量及應(yīng)用軟件等。如果物理主機(jī)不可用，則設(shè)置為無窮大，在虛擬機(jī)調(diào)度中應(yīng)避免將虛擬機(jī)放置到該主機(jī)中。其次，除了靜態(tài)需求之外，在分配新虛擬機(jī)之后，要檢查主機(jī)占用情況，來檢查添加新虛擬機(jī)之后主機(jī)是否有足夠的資源來執(zhí)行所有業(yè)務(wù)，不可行的情況則丟棄。

2.2 虛擬機(jī)運(yùn)行

虛擬機(jī)的運(yùn)行需要考慮與執(zhí)行任務(wù)相關(guān)的能源消耗和業(yè)務(wù)負(fù)載。當(dāng)前，有根據(jù)執(zhí)行時(shí)間執(zhí)行給定虛擬機(jī)所運(yùn)行的業(yè)務(wù)負(fù)載，還有與運(yùn)行虛擬機(jī)相關(guān)的成本及維護(hù)基礎(chǔ)設(shè)施的成本。其中，虛擬機(jī)運(yùn)行成本Cvar(h,vm)為可變值，基礎(chǔ)設(shè)施的成本為固定值Cfix(h)。

（1）可變成本：在物理主機(jī)中執(zhí)行虛擬機(jī)的成本為能源消耗。給定主機(jī)的耗電量與其利用率成正比，計(jì)算給定主機(jī)中每個(gè)虛擬機(jī)的耗電量Cpwr(h,vm)。

（2）固定成本：與物理主機(jī)維護(hù)及機(jī)房維護(hù)相關(guān)的成本。

2.3 虛擬機(jī)調(diào)度

（1）創(chuàng)建開銷，即創(chuàng)建和啟動(dòng)虛擬機(jī)，在準(zhǔn)備運(yùn)行任務(wù)之前所需的時(shí)間。（2）遷移開銷，是在兩個(gè)不同節(jié)點(diǎn)之間移動(dòng)正在運(yùn)行的虛擬機(jī)時(shí)產(chǎn)生的開銷。當(dāng)需要在系統(tǒng)中啟動(dòng)一個(gè)新的虛擬機(jī)時(shí)，在每個(gè)主機(jī)中創(chuàng)建和啟動(dòng)時(shí)間被認(rèn)為是一項(xiàng)成本。同時(shí)，也要考慮遷移虛擬機(jī)所需的時(shí)間，防止同一個(gè)虛擬機(jī)過于頻繁地移動(dòng)。

此外，使用遷移懲罰函數(shù)Pm，根據(jù)用戶初始需求估計(jì)剩余執(zhí)行時(shí)間，目的是懲罰那些剩余執(zhí)行時(shí)間很短的虛擬機(jī)的遷移。定義：

其中，Tm為虛擬機(jī)遷移時(shí)間，Tr為虛擬機(jī)遷移剩余時(shí)間。

另一個(gè)因素是并發(fā)性，在同一時(shí)間執(zhí)行多個(gè)操作會(huì)產(chǎn)生對(duì)CPU、內(nèi)存和磁盤空間的競(jìng)爭(zhēng)，將增加額外的開銷。對(duì)此，為每個(gè)主機(jī)計(jì)算一個(gè)并發(fā)懲罰，以計(jì)算是否已經(jīng)在創(chuàng)建或遷移一個(gè)虛擬機(jī)。此成本應(yīng)用于那些可以創(chuàng)建或移動(dòng)到該節(jié)點(diǎn)的虛擬機(jī)。

虛擬化成本還要考慮虛擬機(jī)之間的依賴關(guān)系，如果某項(xiàng)業(yè)務(wù)想要部署應(yīng)用程序服務(wù)器和數(shù)據(jù)庫，需要避免在不同的業(yè)務(wù)集群進(jìn)行部署。使用虛擬機(jī)操作的這些成本是由額外時(shí)間Top帶來的，虛擬機(jī)在運(yùn)行時(shí)意味著不同的成本。具體包括：（1）物理主機(jī)維護(hù)的固定成本。（2）主機(jī)在不在虛擬機(jī)運(yùn)行業(yè)務(wù)負(fù)載的情況下使用的功率。（3）使用主機(jī)而不執(zhí)行虛擬機(jī)承載業(yè)務(wù)的代價(jià)。則整體的消耗為：

2.4 調(diào)度策略

如果知道在每個(gè)物理主機(jī)上執(zhí)行每個(gè)虛擬機(jī)的業(yè)務(wù)負(fù)載和運(yùn)行成本，則得到：

通過這個(gè)矩陣，可以找到對(duì)整個(gè)系統(tǒng)更低成本的組合。正數(shù)代表成本低，負(fù)數(shù)代表成本高。在對(duì)矩陣進(jìn)行預(yù)處理后，從每次迭代中選擇代表整個(gè)系統(tǒng)的矩陣的最大值開始進(jìn)行優(yōu)化。在將相應(yīng)的虛擬機(jī)移動(dòng)到新的主機(jī)之后，矩陣得到新的分?jǐn)?shù)，迭代直到成本矩陣沒有正值。然而，在虛擬機(jī)移動(dòng)中總是存在不收斂的可能性，因此，每個(gè)調(diào)度周期的移動(dòng)次數(shù)是有限的。當(dāng)矩陣達(dá)到所有值均為負(fù)或零的狀態(tài)或移動(dòng)次數(shù)達(dá)到給定限制時(shí)，假定已找到當(dāng)前系統(tǒng)配置的次優(yōu)解決方案。

3 算法執(zhí)行

一旦調(diào)度策略決定了每個(gè)虛擬機(jī)的物理主機(jī)分配關(guān)系，就需要使用虛擬化工具進(jìn)行虛擬機(jī)的創(chuàng)建和遷移。如果虛擬機(jī)從未在系統(tǒng)中運(yùn)行過，調(diào)度程序?qū)⒄{(diào)用所選節(jié)點(diǎn)來創(chuàng)建此虛擬機(jī)。如果給定的虛擬機(jī)已從一個(gè)節(jié)點(diǎn)移動(dòng)到另一個(gè)節(jié)點(diǎn)，調(diào)度程序?qū)⒁螽?dāng)前執(zhí)行節(jié)點(diǎn)將其遷移到新位置。此外，如果虛擬機(jī)在發(fā)生故障的節(jié)點(diǎn)中運(yùn)行，則新的執(zhí)行節(jié)點(diǎn)會(huì)嘗試從最近的快照進(jìn)行恢復(fù)，如果沒有可用的快照，則會(huì)重新創(chuàng)建虛擬機(jī)。

3.1 虛擬主機(jī)

為了實(shí)現(xiàn)包含要?jiǎng)?chuàng)建的新虛擬機(jī)或失敗的虛擬機(jī)的隊(duì)列，添加了一個(gè)特殊的主機(jī)，即虛擬主機(jī)，充當(dāng)一個(gè)隊(duì)列，其中，未分配的虛擬機(jī)是臨時(shí)調(diào)度的，通過為該主機(jī)中的虛擬機(jī)分配一個(gè)無限的開銷來實(shí)現(xiàn)的，保留這些虛擬機(jī)而不進(jìn)行實(shí)際分配的代價(jià)是最大的。

3.2 冗余機(jī)制

每個(gè)主機(jī)都有一個(gè)介于0～1的給定可用性系數(shù)，如果該可用性系數(shù)為90%或更小，則該可用性系數(shù)為0；如果節(jié)點(diǎn)始終處于運(yùn)行狀態(tài)，即沒有故障，則該可用性系數(shù)為1。此外，本文的方法支持從快照恢復(fù)執(zhí)行的功能。系統(tǒng)根據(jù)執(zhí)行檢查點(diǎn)的收益率周期性地決定執(zhí)行快照。首先，檢查VM是否是無狀態(tài)的，在這種情況下不執(zhí)行任何快照，否則將檢查最后一個(gè)檢查點(diǎn)之后經(jīng)過的執(zhí)行時(shí)間，如果需要考慮執(zhí)行快照所需的時(shí)間，將執(zhí)行快照恢復(fù)。其次，為了完成恢復(fù)機(jī)制，當(dāng)一個(gè)節(jié)點(diǎn)發(fā)生故障時(shí)，將在該主機(jī)上執(zhí)行的虛擬機(jī)以無限的代價(jià)移動(dòng)到虛擬主機(jī)。

3.3 開機(jī)/關(guān)機(jī)

當(dāng)一個(gè)節(jié)點(diǎn)可以關(guān)閉以節(jié)省功耗，或者再次打開以用于完成任務(wù)服務(wù)等級(jí)時(shí)，這個(gè)決定是由維護(hù)一個(gè)節(jié)點(diǎn)的成本和兩個(gè)閾值驅(qū)動(dòng)的：最小工作主機(jī)閾值和最大工作主機(jī)閾值。當(dāng)工作節(jié)點(diǎn)的比率超過閾值，調(diào)度程序必須開始打開停止的節(jié)點(diǎn)。根據(jù)可靠性、啟動(dòng)時(shí)間等參數(shù)選擇需要開啟的節(jié)點(diǎn)；當(dāng)工作節(jié)點(diǎn)的比率低于此值時(shí)，調(diào)度器可以開始關(guān)閉節(jié)點(diǎn)。

4 實(shí)驗(yàn)環(huán)境

本文提出的調(diào)度策略將在虛擬化數(shù)據(jù)中心上進(jìn)行測(cè)試，虛擬化數(shù)據(jù)中心執(zhí)行批處理作業(yè)，并承載各類工作負(fù)載?？紤]虛擬化開銷，包括創(chuàng)建、遷移、快照、打開和關(guān)閉節(jié)點(diǎn)的能力以及功耗。為了模擬將要執(zhí)行的應(yīng)用程序的性能，本團(tuán)隊(duì)使用了不同的CPU密集型任務(wù)來模擬工作負(fù)載，并使用測(cè)試工具Serverspec來模擬基于Web的應(yīng)用程序。為了模擬服務(wù)器的性能，將上述模式分為3個(gè)階段：當(dāng)工作負(fù)載導(dǎo)致CPU利用率低于60%時(shí)；當(dāng)CPU利用率在60%～80%；當(dāng)服務(wù)器過載時(shí)，即CPU利用率大于80%。

為了驗(yàn)證模擬器的功耗，將一個(gè)真實(shí)的工作負(fù)載提交給一個(gè)引起不同情況的節(jié)點(diǎn)，并測(cè)量了CPU使用率和功耗。工作負(fù)載主要是編目業(yè)務(wù)中的語音識(shí)別批處理作業(yè)和業(yè)務(wù)系統(tǒng)的Web訪問服務(wù)組成的異構(gòu)工作負(fù)載。批處理作業(yè)和Web應(yīng)用服務(wù)具有由不同度量值的服務(wù)級(jí)別，例如，可用性，通常表示為正常運(yùn)行時(shí)間百分比；性能通常由響應(yīng)時(shí)間判定，以秒為單位。一旦知道服務(wù)等級(jí)被違反的時(shí)間百分比，就使用這個(gè)違反率作為輸入來確定服務(wù)等級(jí)懲罰。

實(shí)驗(yàn)包括對(duì)一個(gè)具有30個(gè)節(jié)點(diǎn)的整個(gè)虛擬化數(shù)據(jù)中心的模擬。根據(jù)虛擬化開銷，數(shù)據(jù)中心配置為具有3種不同類型的節(jié)點(diǎn)，有10個(gè)快速節(jié)點(diǎn)，其虛擬機(jī)創(chuàng)建時(shí)間為20 s，遷移時(shí)間為30 s；10個(gè)中等節(jié)點(diǎn)，其創(chuàng)建時(shí)間為40 s，遷移時(shí)間為60 s；10個(gè)慢速節(jié)點(diǎn)，其創(chuàng)建時(shí)間為60 s，遷移時(shí)間為80 s。

5 算法評(píng)估

本節(jié)將評(píng)估建議的調(diào)度策略，并在執(zhí)行已引入的異構(gòu)工作負(fù)載時(shí)將其與常見的調(diào)度技術(shù)進(jìn)行比較。此評(píng)估考慮了不同的參數(shù)，如功耗、業(yè)務(wù)負(fù)載和運(yùn)行節(jié)點(diǎn)數(shù)、服務(wù)質(zhì)量。為了度量服務(wù)質(zhì)量，使用了編目作業(yè)的隊(duì)列時(shí)間和Web應(yīng)用程序使用響應(yīng)時(shí)間，用于定義服務(wù)等級(jí)懲罰的度量。

本節(jié)評(píng)估處理虛擬化開銷的效果，靜態(tài)調(diào)度的結(jié)果如表1所示，其只在提交虛擬機(jī)時(shí)分配一個(gè)節(jié)點(diǎn)，而不移動(dòng)。靜態(tài)策略是隨機(jī)分配任務(wù)，將任務(wù)分配給每個(gè)可用節(jié)點(diǎn)，因此，既意味一個(gè)任務(wù)的資源量最大化，也意味這些資源的利用率較低。此外，還評(píng)估了一個(gè)合并策略，試圖填充盡可能多的節(jié)點(diǎn)，物理主機(jī)的利用率較高，但其對(duì)服務(wù)的響應(yīng)較慢；動(dòng)態(tài)策略A只考慮硬件、軟件和資源需求、電源效率，不執(zhí)行遷移，B策略通過考慮虛擬化開銷來擴(kuò)展A，允許通過減少服務(wù)等級(jí)懲罰來獲得更好的收益，本團(tuán)隊(duì)提出的策略C考慮了所有成本并包括遷移功能。結(jié)果表明，因?yàn)闆]有考慮引入的虛擬化開銷，靜態(tài)策略的性能非常差，靜態(tài)合并策略試圖進(jìn)行保守的整合，共完成89次遷移；但是C能夠通過執(zhí)行891次遷移來降低運(yùn)行成本。

表1 不同虛擬機(jī)遷移策略的調(diào)度結(jié)果

6 結(jié)束語

本文提出了一種利用虛擬化的調(diào)度策略，通過調(diào)度虛擬機(jī)節(jié)點(diǎn)來整合多個(gè)異構(gòu)工作負(fù)載，并降低運(yùn)行成本。該策略能夠考慮不同的成本，如硬件功耗、虛擬化開銷、遷移或創(chuàng)建以及由于低性能而導(dǎo)致的服務(wù)等級(jí)降低的懲罰等。同時(shí)，也考慮到了虛擬化的冗余配置，系統(tǒng)能夠恢復(fù)以前的任務(wù)執(zhí)行進(jìn)度，并減少在故障環(huán)境中所需的計(jì)算時(shí)間，使其更高效和可靠。實(shí)踐結(jié)果表明，相對(duì)于典型的策略，其可以有效降低運(yùn)行成本，并在這些場(chǎng)景中提供能耗和業(yè)務(wù)效率的實(shí)質(zhì)性改進(jìn)。