王繼業(yè) 周碧玉 張 法 石 翔 曾 楠 劉志勇

1(國家電網(wǎng)公司 北京 100031)2(中國科學(xué)院信息工程研究所 北京 100089)3(中國科學(xué)院計算技術(shù)研究所 北京 100190)

近年來，云計算技術(shù)發(fā)展迅猛.作為云計算的物理平臺和重要基礎(chǔ)設(shè)施，數(shù)據(jù)中心的數(shù)量和規(guī)模都得到了前所未有的發(fā)展.據(jù)報道[1]，截止2017年，世界上正在運營的各種類型的數(shù)據(jù)中心總數(shù)已經(jīng)高達860萬.迅速增長的數(shù)據(jù)中心數(shù)目帶來了2方面問題：1)給運營商帶來日益龐大的能耗開銷.統(tǒng)計結(jié)果表明[2]，2014年美國的數(shù)據(jù)中心電能消耗總量占據(jù)全美全年總耗電量的1.8%;預(yù)計到2020年，全球的數(shù)據(jù)中心總的耗電量將占到當年全球總的耗電量的8%[3].2)給社會來了沉重環(huán)保的壓力.全球環(huán)保組織(Global e-Sustainability Initiative, GeSI)估計，到 2020年數(shù)據(jù)中心的溫室氣體的排放將占到信息技術(shù)領(lǐng)域的18%[4].

與巨大的能耗相對應(yīng)的是極低的資源利用率，統(tǒng)計報告稱[5-6]，典型數(shù)據(jù)中心的資源利用率通常在5%～25%之間.產(chǎn)生這一現(xiàn)象的主要原因是數(shù)據(jù)中心的運營者通常會為了追求高性能、保證服務(wù)質(zhì)量和可靠性，而采用冗余資源部署的策略.因此，不論當前負載如何，所有的服務(wù)器都將處于最高速率運行狀態(tài).這些多維度資源(CPU、存儲、內(nèi)存和網(wǎng)絡(luò)帶寬)的低利用率直接導(dǎo)致了巨大的資源浪費.而計算、存儲、通訊等資源的無效使用，也加重了其他如冷卻系統(tǒng)、配電裝置等配套設(shè)備的投入.

數(shù)據(jù)中心巨大的能源消耗，嚴重阻礙了數(shù)據(jù)中心本身的發(fā)展以及節(jié)能型社會的創(chuàng)建，已經(jīng)成為一個對技術(shù)、經(jīng)濟、環(huán)境發(fā)展具有重要影響的重大社會問題，急需解決.結(jié)合數(shù)據(jù)中心巨大的能耗和極低的資源利用率兩大問題，目前已經(jīng)有很多研究者利用提高數(shù)據(jù)中心資源利用率的方法來降低數(shù)據(jù)中心能耗.然而，不恰當?shù)奶岣哔Y源利用率也可能帶來應(yīng)用的性能和服務(wù)質(zhì)量的損失.因此，在進行數(shù)據(jù)中心能耗優(yōu)化研究的同時，針對數(shù)據(jù)中心的特點，提出在保障服務(wù)質(zhì)量和應(yīng)用性能的前提下可以優(yōu)化數(shù)據(jù)中心能耗的策略和算法，對于提高數(shù)據(jù)中心能效研究具有重大意義.

本文從資源和任務(wù)的分配調(diào)度的角度研究數(shù)據(jù)中心的節(jié)能問題，從能效分析、能耗模型、分類標準和策略算法4個方面對近年來數(shù)據(jù)中心能效優(yōu)化領(lǐng)域的研究進展和最新成果進行全面的綜述.

1 數(shù)據(jù)中心能效分析

數(shù)據(jù)中心是一整套用于承載計算機系統(tǒng)和相關(guān)組件的復(fù)雜設(shè)施.它不僅僅包括計算機系統(tǒng)(例如服務(wù)器、通信和存儲系統(tǒng)等)，還包含與之配套的數(shù)據(jù)通信連接、環(huán)境控制設(shè)備(例如空調(diào)系統(tǒng)和消防系統(tǒng))、監(jiān)控設(shè)備以及各種安全裝置[7-8].計算機系統(tǒng)和其他與之配套的設(shè)備是數(shù)據(jù)中心的重要組成部分，同時也是數(shù)據(jù)中心能量消耗的主要來源.

1.1 數(shù)據(jù)中心能耗分析

如圖1所示，數(shù)據(jù)中心的能量消耗來源可以大致分為2部分[5]：IT設(shè)施能耗和基礎(chǔ)設(shè)施能耗.IT設(shè)施指的服務(wù)器系統(tǒng)(包含服務(wù)器和存儲)、網(wǎng)絡(luò)系統(tǒng)等信息技術(shù)設(shè)施，而配套基礎(chǔ)設(shè)施主要包含冷卻系統(tǒng)和供電系統(tǒng)(包含供電系統(tǒng)和照明系統(tǒng)).

Fig. 1 Data center energy source decomposition圖1 數(shù)據(jù)中心能耗來源分解

IT設(shè)備和配套基礎(chǔ)設(shè)施的能耗比重由數(shù)據(jù)中心的具體設(shè)計和設(shè)備本身的能耗效率決定.通常，數(shù)據(jù)中心能耗最大系統(tǒng)是服務(wù)器系統(tǒng)，其能耗占據(jù)數(shù)據(jù)中心總能耗的40%以上，其次是制冷系統(tǒng)[6].IT設(shè)備的總能耗占據(jù)數(shù)據(jù)中心總能耗的50%左右，而在Pelley等人[9]的報告中，該比重甚至高達61%.

1.2 數(shù)據(jù)中心能效衡量標準

制定合理的數(shù)據(jù)中心能效衡量標準是提高數(shù)據(jù)中心能效需要解決的第1個問題.目前，工業(yè)界廣泛使用的數(shù)據(jù)中心能效衡量標準主要是電能使用效率(power usage efficiency, PUE)[10]，其定義為數(shù)據(jù)中心的總輸入能耗占輸入到IT設(shè)備子系統(tǒng)的總能耗的比值.PUE是基于數(shù)據(jù)中心有效能耗這個概念來設(shè)計的，其原理是數(shù)據(jù)中心輸入的總能耗中只有一部分用于數(shù)據(jù)中心計算功能實現(xiàn)上，剩下的能量消耗在支撐計算功能運行的環(huán)節(jié)，即供電系統(tǒng)和冷卻系統(tǒng)等.類似的衡量標準還有PUE的倒數(shù)，即數(shù)據(jù)中心基礎(chǔ)設(shè)施效率(datacenter infrastructure efficiency, DCiE)[10].然而，PUE可用性很差，因為數(shù)據(jù)中心的總輸入能耗在實際中不好測量，因此GreenGrid建議將數(shù)據(jù)中心的總輸入能耗分解為總制冷能耗、總電源供電系統(tǒng)能耗以及IT總能耗3個部分分別進行測量.此外，PUE衡量的只是輸入到IT設(shè)備的在總能耗與數(shù)據(jù)中心總輸入能耗之間的關(guān)系，用來描述數(shù)據(jù)中心能效并不十分恰當，更合理的能效評估標準應(yīng)該是比較系統(tǒng)的有效輸出與系統(tǒng)的總輸入之間的關(guān)系.然而，對系統(tǒng)的有效輸出的定義和測量尚未有令人信服的研究.

除上面2個常用衡量指標外，數(shù)據(jù)中心的能效指標還有衡量數(shù)據(jù)中心計算效率的數(shù)據(jù)中心有效能耗比(data center energy productive, DCeP)[4]、衡量數(shù)據(jù)中心綠色環(huán)保程度的碳使用效率(carbon usage effectiveness， CUE)[4]、衡量數(shù)據(jù)中心IT能耗的碳排放效率的冷卻系統(tǒng)效率(cooling system efficiency，CSE)[11]、衡量冷卻系統(tǒng)效率的氣流節(jié)省器效率(air economizer utilization， AEU)[11]、水流節(jié)省器效率(water economizer utilization， WEU)[4]等.上述指標均針對特定系統(tǒng)和目標而設(shè)，研發(fā)更加實用的數(shù)據(jù)中心性能指標仍舊是目前一大難題.

2 數(shù)據(jù)中心能耗模型和節(jié)能機制

研究和分析數(shù)據(jù)中心能耗模型對提高數(shù)據(jù)中心能效有著重要的意義.一方面，數(shù)據(jù)中心是一個非常復(fù)雜的設(shè)施，找出影響數(shù)據(jù)中心能效的瓶頸因素才能有針對性地提高數(shù)據(jù)中心總體能效；另一方面，通過對數(shù)據(jù)中心能耗的形式化描述，把數(shù)據(jù)中心能效優(yōu)化問題轉(zhuǎn)化為一些經(jīng)典的優(yōu)化問題，通過對優(yōu)化問題的求解可以為數(shù)據(jù)中心能效優(yōu)化提供方針和策略.

與IT設(shè)備相比，基礎(chǔ)設(shè)施的能耗行為不僅取決于設(shè)備本身的能耗效率、負載水平，還取決于輸入能源的種類、時間和地理等復(fù)雜因素.此外，數(shù)據(jù)中心IT設(shè)備能耗占據(jù)數(shù)據(jù)中心總能耗的一半多，該比例隨著數(shù)據(jù)中心高效制冷和智能供電技術(shù)的提高逐年增加，而降低IT設(shè)備的能耗也能降低冷卻系統(tǒng)和配電系統(tǒng)等配套設(shè)備的能耗.因此，本文主要研究數(shù)據(jù)中心IT設(shè)備的節(jié)能問題.本節(jié)將總結(jié)近年來使用廣泛的服務(wù)器系統(tǒng)和網(wǎng)絡(luò)系統(tǒng)的能耗模型，為后續(xù)高能效策略和算法的設(shè)計和構(gòu)建提供基礎(chǔ).

2.1 數(shù)據(jù)中心能耗模型

2.1.1 服務(wù)器設(shè)備的能耗模型

數(shù)據(jù)中心的服務(wù)器設(shè)備主要包括通用的計算型服務(wù)器和存儲型服務(wù)器.目前，數(shù)據(jù)中心應(yīng)用最廣的服務(wù)器設(shè)備的能耗模型主要有加性模型和基于系統(tǒng)利用率模型.

加性模型指的是將整個服務(wù)器的能耗形式化成服務(wù)器子結(jié)構(gòu)的能耗之和.核心思想是將擬合后的局部非參量函數(shù)組合在一起以建立目標模型，因此加性模型可以簡單地看作是一種線性回歸的改良版本.Roy等人[12]利用這種思想提出了一種簡單的服務(wù)器加性模型，該模型考慮了CPU和內(nèi)存的能耗，其模型為

E(A)=ECPU(A)+Ememory(A)，

其中，ECPU(A)和Ememory(A)分別表示運行算法A時CPU和內(nèi)存消耗的能量，具體計算細節(jié)詳見文獻[12].此后，很多研究者圍繞該模型進行了細化和完善，這些工作[13-15]主要著眼于將更多的服務(wù)器能耗部件考慮進模型，比如磁盤、IO設(shè)備、網(wǎng)卡等.此外，還有一些研究[16-18]將服務(wù)器主板的能耗考慮進去，或者干脆直接將這部分能耗看作一個常量加到模型中[19].然而，這些模型的通病在于現(xiàn)有的平臺只可以測量出服務(wù)器總能耗，而這些子系統(tǒng)的精確能耗值尚不能獨立地測量出來[20].

除了加性模型之外，另一類最常用的服務(wù)器能耗模型是基于系統(tǒng)利用率的模型.人們觀察到服務(wù)器系統(tǒng)能耗由靜態(tài)能耗與動態(tài)能耗2部分組成，而系統(tǒng)的動態(tài)能耗與各個子系統(tǒng)的資源利用率相關(guān)，因此將子系統(tǒng)資源利用率作為變量納入服務(wù)器能耗模型之內(nèi).考慮到CPU是服務(wù)器各個子系統(tǒng)中能耗最大的部件，通常將CPU的利用率作為服務(wù)器系統(tǒng)能耗模型的變量.這類模型最早是將CPU的運行時鐘頻率作為變量納入能耗模型中進行計算[21-22].這類研究基本上可以看作基本數(shù)字電路級功率模型[23-24]的一個擴展，將CPU的能耗形式化為

P=c0+ACV2f,

其中，c0為CPU的靜態(tài)功率，ACV2f是其動態(tài)功率.A為轉(zhuǎn)換系數(shù)，C為電容，V為電壓，f為時鐘頻率.對于特定的硬件，c0，A，C均為常數(shù).而V與f成正比，所以CPU的動態(tài)能耗可以認為是與其時鐘頻率成3次方關(guān)系.又因為f與系統(tǒng)運行速度s成正比例關(guān)系，因此，相關(guān)研究[25-26]建立了動態(tài)功率P與運行速率s(s>0)之間的關(guān)系為

P(s)=σ+μsα，

其中，σ為靜態(tài)功率，μ和α為常數(shù)，與具體的硬件設(shè)備有關(guān)，α>1.此類模型另一個常用的方式是通過預(yù)估系統(tǒng)各個部件的功率情況，采用線性回歸的手段得到服務(wù)器與各種資源利用率的函數(shù)關(guān)系[27-30].對系統(tǒng)各個部件的功率預(yù)估可以采用入侵式和非入侵式2種策略.然而，這種基于歸回分析的方法需要針對特定的服務(wù)器做大量的實驗，以得到相應(yīng)服務(wù)器的能耗參數(shù).除上面2種模型之外，還有一種使用廣泛的基于利用率的功率模型，由Fan等人[31-32]提出.該模型自提出后，一直被用來對數(shù)據(jù)中心能耗進行建模，在數(shù)據(jù)中心能耗研究領(lǐng)域影響甚是深遠.模型提出者證明，線性功耗模型可以更加精確地追蹤服務(wù)器系統(tǒng)的功率使用情況.在假設(shè)服務(wù)器處于關(guān)閉狀態(tài)下功率近似為0的條件下，可以將任何一臺服務(wù)器在任意CPU利用率u情況下的全系統(tǒng)功率形式化為表達式：

Pu=(Pmax-Pidle)u+Pidle，

其中，Pmax和Pidle分別代表服務(wù)器在全速率工作和空閑狀態(tài)的平均功率.

加性模型和基于系統(tǒng)利用率的模型是當前數(shù)據(jù)中心能耗研究中應(yīng)用最廣的服務(wù)器能耗模型.除此之外，學(xué)術(shù)界針對服務(wù)器的能耗還提出了一些其他模型[33]，在此不一一列舉.

2.1.2 網(wǎng)絡(luò)系統(tǒng)的能耗模型

本文中我們?nèi)婵紤]數(shù)據(jù)中心網(wǎng)絡(luò)的能耗行為，具體來說，包括連接數(shù)據(jù)中心內(nèi)部各個服務(wù)器設(shè)備以及連接不同地域分布的數(shù)據(jù)中心站點之間的網(wǎng)絡(luò)系統(tǒng)的能耗模型.

從全局角度對數(shù)據(jù)中心網(wǎng)絡(luò)能耗行為進行建模的研究主要采用的是加性模型，將網(wǎng)絡(luò)全局能耗拆分為3個部分能耗之和，即網(wǎng)絡(luò)鏈路、網(wǎng)絡(luò)設(shè)備和網(wǎng)絡(luò)接口3個部分.通常情況下，普通網(wǎng)絡(luò)接口能耗所占比例很小，因此一些研究在建模時直接將該部分能耗忽視，或者將網(wǎng)絡(luò)接口能耗整合進網(wǎng)絡(luò)鏈路或者是網(wǎng)絡(luò)設(shè)備能耗中，不再單獨考慮，該類模型的典型表達式[34-38]為

其中，a(u,v)是鏈路(u,v)的能耗，b(u)是網(wǎng)絡(luò)設(shè)備(交換機或者路由器等)u的能耗，Xu,v為二元變量，代表鏈路(u,v)的狀態(tài)是開啟或者關(guān)閉，Yu也是二元變量，代表網(wǎng)絡(luò)設(shè)備u的狀態(tài)是開啟或者關(guān)閉.對于給定的網(wǎng)絡(luò)場景，鏈路的能耗與網(wǎng)絡(luò)設(shè)備的能耗均是固定不變的常量.

另一些研究側(cè)重于研究數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)備，尤其是交換機和路由器的能耗模型.這一類研究主要借鑒于對服務(wù)器能耗的研究[33]，也主要分為2種：加性模型和基于利用率的模型.具體的模型刻畫過程在此不再贅述.

2.2 數(shù)據(jù)中心節(jié)能機制

為了保證對用戶提供穩(wěn)定和高質(zhì)量的計算服務(wù)，不管當前負載水平如何，傳統(tǒng)數(shù)據(jù)中心內(nèi)的IT設(shè)備都是以最大運行速率運行，造成了大量的能耗浪費.對上述數(shù)據(jù)中心服務(wù)器系統(tǒng)和網(wǎng)絡(luò)系統(tǒng)的能耗模型進行分析可以很容易得到節(jié)省數(shù)據(jù)中心能耗的基本思路.最直觀的方式是讓處于空閑狀態(tài)的IT設(shè)備進入休眠或者關(guān)閉狀態(tài)；其次是使得設(shè)備可以根據(jù)當前負載水平動態(tài)調(diào)整設(shè)備電壓和CPU運行的時鐘頻率.總結(jié)起來有2個方面的內(nèi)容：1)在構(gòu)建數(shù)據(jù)中心時，淘汰落后的設(shè)備和儀器，選用更先進和能效比更高的設(shè)備節(jié)點等.該方法注重于提高單個設(shè)備本身的能量利用效率；2)通過優(yōu)化數(shù)據(jù)中心IT設(shè)備的資源和任務(wù)調(diào)度和分配方式來提高整體資源的能耗利用效率.對具有節(jié)能功能的IT設(shè)備的研究工作主要集中于設(shè)備本身硬件的升級換代，這方面的研究超出了本文的討論范圍.優(yōu)化數(shù)據(jù)中心IT設(shè)備的資源和任務(wù)調(diào)度依賴于采用的調(diào)度策略和算法的優(yōu)劣，本文將在第4節(jié)重點對這部分內(nèi)容進行總結(jié).

目前對數(shù)據(jù)中心進行節(jié)能的研究方法主要是將上述2種方法進行結(jié)合，即在部署具有節(jié)能功能的IT設(shè)備的數(shù)據(jù)中心內(nèi)，通過優(yōu)化數(shù)據(jù)中心IT設(shè)備的資源和任務(wù)調(diào)度和分配方式來提高數(shù)據(jù)中心整體資源的能耗利用效率.該方法包含2個核心要素：首先數(shù)據(jù)中心設(shè)備具有節(jié)能功能，其次設(shè)計有效的資源調(diào)度和任務(wù)分配策略和算法指導(dǎo)資源的優(yōu)化配置，使得更多的設(shè)備可以最大程度地節(jié)省能耗.根據(jù)不同的應(yīng)用場景和需求差異，目前最主流的數(shù)據(jù)中心IT設(shè)備節(jié)能機制可以分為3種：

1) 休眠機制.在IT設(shè)備運行的過程中，系統(tǒng)不可避免會在不同時間段內(nèi)處于空閑狀態(tài)，該狀態(tài)下設(shè)備消耗額定功耗的能量卻未進行任何有效的計算，此時如果將設(shè)備狀態(tài)切換至休眠或者關(guān)閉狀態(tài)，可以減少空閑狀態(tài)下的能耗浪費.事實上，目前大部分設(shè)備在工作和休眠之間還存在多個對應(yīng)不同能耗水平的休眠狀態(tài).然而，在不同的休眠狀態(tài)下將設(shè)備喚醒至工作狀態(tài)需要花費不同的時間.一般來說，隨著休眠深度的增加，設(shè)備消耗的能量也相應(yīng)減少，而從休眠狀態(tài)下喚醒該設(shè)備需要的時間也相應(yīng)的延長.實現(xiàn)通過休眠的方式使全局設(shè)備節(jié)省能耗最多且對服務(wù)性能損失最小化這個目標需要通過設(shè)備間的配合和合理的資源調(diào)度策略來實現(xiàn).通常的做法是采用資源聚合的思路將任務(wù)合并到盡可能少的物理機器上運行，或者用盡可能少的數(shù)據(jù)鏈路傳輸給定的數(shù)據(jù)傳輸任務(wù).該做法的難點在于如何在保證各種服務(wù)質(zhì)量的情況下使得可節(jié)省的能耗最大化.

2) 速率縮放.在運行過程中，不管當前負載水平如何，傳統(tǒng)的設(shè)備都是以最大運行速度運行.而設(shè)備的能耗與其運行速度成正相關(guān)，因此在負載水平低時大量能耗被浪費.調(diào)整設(shè)備運行的電壓或者時鐘頻率、速率等，使之適應(yīng)不同的負載水平，以節(jié)省設(shè)備動態(tài)能耗的方法被稱作速率縮放節(jié)能機制.通常而言，設(shè)備的能耗是設(shè)備運行速率的超線性冪函數(shù)(例如y=a+bxn,n>1)，因此，降低設(shè)備能耗往往意味著調(diào)低設(shè)備的運行速率.然而，低速運行的設(shè)備需要花費更長的運行時間來完成給定的計算任務(wù)，由此將導(dǎo)致對服務(wù)質(zhì)量的影響.因此，利用速率縮放機制進行設(shè)備節(jié)能的關(guān)鍵問題在于如何權(quán)衡能耗與服務(wù)性能之間的關(guān)系.

Fig. 2 Data center energy saving strategy classification圖2 數(shù)據(jù)中心節(jié)能策略分類標準

3) 混合策略.除上述2種節(jié)能策略外，目前研究比較多的還有混合策略.顧名思義，該策略就是將休眠機制和速率縮放機制結(jié)合起來考慮，兩者的結(jié)合給設(shè)備的節(jié)能提供了更多的潛在節(jié)能空間.然而，采用速率縮放機制進行節(jié)能的策略會盡可能降低設(shè)備運行速率，與之相反，采用休眠機制的節(jié)能策略會盡可能提高設(shè)備的運行速率以產(chǎn)生更多的設(shè)備空閑時間片供設(shè)備休眠省能.如何去尋找2種機制的平衡點和最優(yōu)折中點是混合策略機制的最大挑戰(zhàn).

在數(shù)據(jù)中心內(nèi)，IT設(shè)備的節(jié)能機制主要配合虛擬化技術(shù)進行.近年來，數(shù)據(jù)中心虛擬化技術(shù)的發(fā)展給數(shù)據(jù)中心節(jié)能帶來了新的活力.虛擬化技術(shù)最初用于在1個宿主操作系統(tǒng)上運行多個客戶操作系統(tǒng)(稱為虛擬機)，通過1個管理程序來生成模擬真實計算環(huán)境的虛擬環(huán)境，然后在這些虛擬機上分發(fā)真實資源.這項技術(shù)使得服務(wù)軟件不再需要固定占用某些硬件資源，而是能夠以非常靈活的方式部署，使得各種軟件可以更加靈活利用硬件平臺；此外，數(shù)據(jù)中心的計算能力不再由物理機的數(shù)量決定，而是隨著資源的動態(tài)變化而增減，也就是所謂的彈性計算.彈性計算環(huán)境中，虛擬機可以在不同物理計算位置間遷移與合并，還可以隨時被快速啟動和關(guān)閉刪除，這樣的靈活性使得人們可以從優(yōu)化數(shù)據(jù)中心能效的角度來對數(shù)據(jù)中心資源進行合理分配與調(diào)度以提高資源使用效率.例如，通過將適量虛擬機合并到盡可能少的物理設(shè)備中，以最大化可關(guān)閉的物理設(shè)備，從而最大化能耗節(jié)??；再例如，可以通過合理分配虛擬機在不同物理位置上設(shè)備的分布，使得全局設(shè)備能耗最小.虛擬化技術(shù)的引入，使得數(shù)據(jù)中心資源和任務(wù)的分配可以更加的靈活，從而提高了數(shù)據(jù)中心節(jié)能的潛在空間.隨著云計算和大數(shù)據(jù)的蓬勃發(fā)展，虛擬化技術(shù)在全球范圍內(nèi)的數(shù)據(jù)中心內(nèi)均有廣泛的應(yīng)用，因此，針對虛擬化資源的調(diào)度與分配研究逐漸成為數(shù)據(jù)中心節(jié)能研究的熱點之一.

3 數(shù)據(jù)中心節(jié)能研究的分類比較

面對數(shù)據(jù)中心的高能耗與低利用率，近幾年很多研究者紛紛提出了降低能量消耗、提高能效的方案，這些方案基本上都是圍繞上節(jié)中總結(jié)的節(jié)能機制來展開的.本節(jié)首先總結(jié)現(xiàn)有的優(yōu)化數(shù)據(jù)中心能效策略的分類標準，然后依據(jù)上述總結(jié)的分類標準對現(xiàn)有節(jié)能策略進行對比分析.

針對數(shù)據(jù)中心IT設(shè)備能效優(yōu)化策略的分類方法有很多，已有的分類標準可以總結(jié)如圖2所示.最直觀的分類標準是按照優(yōu)化部件劃分的.依據(jù)數(shù)據(jù)中心IT設(shè)備的能耗情況可以將節(jié)能策略分為兩大類：針對服務(wù)器設(shè)備的節(jié)能策略與針對網(wǎng)絡(luò)設(shè)備的節(jié)能策略.其中，2種節(jié)能策略有時候需要彼此的相互配合，例如，為了達到最佳的網(wǎng)絡(luò)節(jié)能水平，需要聯(lián)合優(yōu)化服務(wù)器的部署產(chǎn)生有利于網(wǎng)絡(luò)節(jié)能的流量分布.

節(jié)能策略可以根據(jù)實施對象的節(jié)點數(shù)目進行分類，例如單處理器節(jié)點、多處理器節(jié)點、單個數(shù)據(jù)中心以及跨數(shù)據(jù)中心.不同場景下需要考慮的因素不同，因此針對不同節(jié)點數(shù)目設(shè)計的節(jié)能策略也不盡相同.針對單節(jié)點的節(jié)能策略主要通過單個節(jié)點的資源分配使得能耗與負載成正比例；對于多處理器的節(jié)點就要涉及到節(jié)點內(nèi)部不同處理器之間的任務(wù)分配，這時候已經(jīng)上升成全局視角的能耗優(yōu)化；對于數(shù)據(jù)中心內(nèi)部的節(jié)能機制也是全局視角的能耗優(yōu)化，不同的是數(shù)據(jù)中心內(nèi)部能耗優(yōu)化不僅涉及服務(wù)器，還涉及數(shù)據(jù)中心內(nèi)網(wǎng)能耗優(yōu)化；至于跨數(shù)據(jù)中心，需要在更高的層次考慮整個分布式系統(tǒng)的資源調(diào)度問題.

按照實現(xiàn)方法可以分為動態(tài)速率縮放、休眠機制、混合策略以及虛擬化4個類別.這個分類標準主要是基于節(jié)能機制的不同劃分的，各個實現(xiàn)方法可以相互配合.例如虛擬化技術(shù)通常都需要配合另外3種機制才可以發(fā)揮最大的效果，而混合策略本身就是動態(tài)速率縮放與休眠機制共同配合的產(chǎn)物.

不同的節(jié)能策略需要的信息輸入也不盡相同.例如一些策略需要提前知道系統(tǒng)的歷史數(shù)據(jù)，將歷史數(shù)據(jù)進行分析處理，從中總結(jié)出一些規(guī)律和特征，然后根據(jù)這些特征提出特定的節(jié)能策略；另一些策略不需要提前知道系統(tǒng)的歷史數(shù)據(jù)，策略本身可以根據(jù)實時數(shù)據(jù)進行自適應(yīng)迭代，或者策略本身就是固定不變的.2種方式各有利弊，前1種可能有比較好的節(jié)能效果，但是歷史數(shù)據(jù)的獲得本身是困難甚至是不可能完成的任務(wù)；后者不需要歷史數(shù)據(jù)輸入，但是如何做到實時對系統(tǒng)狀態(tài)的變化做出高效的反應(yīng)也是個非常具有挑戰(zhàn)性的問題.

數(shù)據(jù)中心的負載大體可以分為3類：預(yù)測數(shù)據(jù)、及時交互型以及批量處理型.針對不同的負載提出節(jié)能策略對時間敏感程度不同.針對即時交互型負載的事件敏感度最高，其次是批量處理型，對于預(yù)測數(shù)據(jù)的事件敏感程度最低.

針對上述各種的分類方法涌現(xiàn)了很多的研究成果，在此不再一一詳細描述.接下來主要介紹數(shù)據(jù)中心能耗系統(tǒng)模型的構(gòu)建和算法設(shè)計問題.

4 數(shù)據(jù)中心能耗研究進展

在本節(jié)中，我們將從節(jié)能部件的角度對近年來數(shù)據(jù)中心能耗系統(tǒng)的模型構(gòu)建方法與算法設(shè)計進行總結(jié)，分為對服務(wù)器端節(jié)能和對網(wǎng)絡(luò)端節(jié)能2類.

4.1 服務(wù)器系統(tǒng)節(jié)能

采用速率縮放機制進行服務(wù)器節(jié)能的研究主要的思想是降低服務(wù)器的運行速率.然而，降低運行速率會引起任務(wù)完工時間延長，因此，采用該種機制進行節(jié)能時，必須要考慮到對完工時間的影響.首先將采用速率縮放機制的服務(wù)器節(jié)能問題描述如下：

假設(shè)處理速度為s時的服務(wù)器能耗函數(shù)為p=sα,α>1.給定n個相互獨立的任務(wù)集J={J1,J2,…,Jn}和m個同構(gòu)或者異構(gòu)的服務(wù)器節(jié)點集合P={P1,P2,…,Pm}.每個任務(wù)Jj的需要執(zhí)行的周期數(shù)為wj.假設(shè)任務(wù)具有搶占性，即1個服務(wù)器節(jié)點1個時刻只能處理1個任務(wù).所有任務(wù)在調(diào)度之前已經(jīng)到達，并且有相同的截止時間C.在時刻t，服務(wù)器節(jié)點執(zhí)行任務(wù)Jj的處理速度為sjt，相應(yīng)的功耗為(sjt)α.記cj為完成任務(wù)Jj的時間，xij(i=1,2,…,m;j=1,2,…,n)為0或1的指示變量，表示Jj是否分配給服務(wù)器Pi處理.問題是如何為每1個任務(wù)分配1個服務(wù)器節(jié)點，并且為每個任務(wù)設(shè)置處理速度，使得在滿足任務(wù)截止時間限制條件下，所有服務(wù)器節(jié)點消耗的總能耗最小.該問題可以被形式化為約束的優(yōu)化問題：

s.t.cj≤C, ?Jj,

(1)

(2)

xij∈{0,1}, ?Jj,Pi∈M,

(3)

其中：式(1)限制所有任務(wù)均在截止時間之前完成；式(2)限制每個任務(wù)只能部署在1臺服務(wù)器上；式(2)為0-1二元變量約束.該問題的求解可以借鑒多處理器上最小完工時間的調(diào)度問題.Yao等人[25]最先使用了速率縮放機制來研究單服務(wù)器節(jié)點上的最優(yōu)能耗調(diào)度問題.此后，針對不同的限定性約束和不同的計算環(huán)境平臺設(shè)置，研究者們紛紛提出了不同的節(jié)能資源調(diào)度方法以及得到了相應(yīng)的結(jié)果，歸納如表1所示:

Table 1 The Classification of Energy Efficient ResourceScheduling Strategies表1 節(jié)能資源調(diào)度策略分類

然而這些研究都假設(shè)每個任務(wù)能在所有的服務(wù)器節(jié)點上運行，但是在當前的數(shù)據(jù)中心計算系統(tǒng)中任務(wù)與服務(wù)器節(jié)點間存在選擇關(guān)系，即任務(wù)只能在部分的服務(wù)器節(jié)點上運行.這個特性主要源于3個原因：

1) 由于計算系統(tǒng)中的服務(wù)節(jié)點會在不同的時間點采購，所以表現(xiàn)出不同的計算能力和差異配置[50].比如需要GPU輔助來執(zhí)行的任務(wù)必須在有GPU的服務(wù)器節(jié)點上執(zhí)行[54]；

2) 有些服務(wù)器節(jié)點與某類任務(wù)之間存在定制的關(guān)系，即這些服務(wù)器是專門針對這類任務(wù)設(shè)計的，所以這類任務(wù)應(yīng)該安排在最適合它們運行的那些服務(wù)器節(jié)點上[55]；

3) 當考慮輸入端的數(shù)據(jù)時，任務(wù)需要安排在包含有它的輸入數(shù)據(jù)的服務(wù)器節(jié)點上運行，比如Hadoop應(yīng)用需要考慮數(shù)據(jù)的局部性[56].

伴隨著人工智能的熱潮，GPU被大量用于數(shù)據(jù)中心應(yīng)用加速.在混合CPU-GPU集群中，每個服務(wù)器同時配備有多個CPU-GPU對.每個CPU-GPU對可以處于3種狀態(tài)，即關(guān)閉、工作和空閑，其中CPU與GPU處于相同的狀態(tài).然而，由于GPU具有與CPU不同的能耗特性，因此，現(xiàn)有的CPU節(jié)能方案不能直接用于CPU-GPU混合框架的節(jié)能.文獻[52]研究了在CPU-GPU混合數(shù)據(jù)中心內(nèi)的節(jié)能問題.由于在通常情況下，1個GPU處理器的能耗遠大于1個CPU處理器，因此，該研究假設(shè)CPU功率為定值，并將CPU的功率看作是GPU卡的靜止功率的一部分，CPU的運行時間也與GPU的運行時間保持一致.1個GPU卡包含1個多核GPU模塊和1個GPU存儲模塊.GPU核以及GPU存儲均可以獨立調(diào)整對應(yīng)的電壓和頻率，從而改變整個GPU卡的運行速率和對應(yīng)的能耗.因此，一個給定的任務(wù)在特定的CPU-GPU服務(wù)器中運行的功耗和運行時間可以建模為

其中，P(VGc,fGc,fGm)和T(VGc,fGc,fGm)分別表示CPU-GPU的功率以及運行時間，PG0表示GPU卡的靜態(tài)功耗(包含CPU功率)，fGm表示CPU存儲的頻率，VGc和fGc分別表示GPU核的電壓和頻率，t0表示除GPU卡外其他部件的運行時間(包含CPU運行時)，而γ，cG，δ，D均為參數(shù).在該模型下，處理單個任務(wù)的能耗可以計算為

EJ=P(VGc,fGc,fGm)×T(VGc,fGc,fGm).

優(yōu)化目標是最小化執(zhí)行所有任務(wù)所消耗的總能量，并且保證每個任務(wù)在其完工時間前完成處理任務(wù).該問題的求解仍舊是NP難的，而求解的關(guān)鍵點在于合理運用VGc和fGc之間的超線性關(guān)系.文獻[52]首先針對單個任務(wù)在放松完工時間的約束以及固定GPU存儲頻率的前提下求解最優(yōu)的GPU核電壓和頻率.在該基礎(chǔ)上利用求導(dǎo)的方式得到最佳的GPU存儲頻率設(shè)定.隨后對完工時間超額的任務(wù)進行縮放，得到最優(yōu)的設(shè)定值.基于單任務(wù)最優(yōu)方案可以由截止時間最短優(yōu)先的貪心思路得出多任務(wù)的啟發(fā)式方案.類似的CPU-GPU混合節(jié)能方案還有文獻[53,59].隨著深度學(xué)習(xí)類應(yīng)用在數(shù)據(jù)中心的占比不斷攀升，針對深度學(xué)習(xí)框架下的CPU-GPU混合架構(gòu)節(jié)能優(yōu)化研究逐漸引起人們的關(guān)注，然而，目前尚缺乏該領(lǐng)域的研究工作.

除速率縮放機制外，休眠機制也廣泛應(yīng)用于數(shù)據(jù)中心服務(wù)器系統(tǒng)的節(jié)能領(lǐng)域.休眠機制的基本思想是將處于空轉(zhuǎn)狀態(tài)的服務(wù)器節(jié)點調(diào)至低功耗狀態(tài)，從而節(jié)約能量消耗.因此，研究的問題一般可以概括為如何在保證完成任務(wù)的前提下，確定什么時候切換低功耗狀態(tài)以及保持低功耗狀態(tài)多長時間，使得總能耗最低.最基本的采用休眠機制的服務(wù)器節(jié)能模型可以構(gòu)造為

其中yi為0-1二元變量，代表服務(wù)器i的開關(guān)狀態(tài).休眠機制需要將任務(wù)集中合并到盡可能少的服務(wù)器上運行，使得處于空閑狀態(tài)的、可關(guān)閉的服務(wù)器盡可能多，從而使得能耗最小化.由于真實情況下物理服務(wù)器計算資源有限，因此不能夠無限度地將所有任務(wù)集中到幾臺服務(wù)器中運行.假設(shè)所有服務(wù)器i的資源容量為Ci，而每個任務(wù)需要的資源為cj.考慮與前面描述的速率縮放機制下同樣的數(shù)據(jù)中心服務(wù)器系統(tǒng)場景，基于休眠機制的服務(wù)器系統(tǒng)節(jié)能問題可以形式化為優(yōu)化問題：

(4)

(5)

xij≤yi, ?Jj;

(6)

xij,yi∈{0,1}, ?Jj,Pi;

(7)

其中，目標函數(shù)是處于開啟狀態(tài)的服務(wù)器總能耗.式(4)限制合并到服務(wù)器上運行的任務(wù)總資源需求量不能超過該服務(wù)器的資源容量；式(5)限制每個任務(wù)只能部署在1臺服務(wù)器上；式(6)限制只要有任務(wù)運行，服務(wù)器必須處于開啟狀態(tài)；式(7)為0-1二元變量約束.

傳統(tǒng)的計算集群中1個服務(wù)器節(jié)點通常只運行1個應(yīng)用，在應(yīng)用的資源利用率很低時會造成資源的浪費和多余的能量消耗.而現(xiàn)代數(shù)據(jù)中心內(nèi)的虛擬化技術(shù)通過資源復(fù)用，可以讓1個服務(wù)器節(jié)點運行多個部屬在虛擬機上的應(yīng)用，從而提高了服務(wù)器節(jié)點的資源利用率.虛擬化的這個特性為數(shù)據(jù)中心提高能效帶來了新的思路：當多個服務(wù)器節(jié)點的資源利用率都很低時，可以聚合部署在它們上面的虛擬機，從而減少開啟的服務(wù)器節(jié)點數(shù)量以節(jié)約能量消耗.目前已有一些研究通過讓資源利用率低的應(yīng)用部署到不同的虛擬機上，然后共用同1個物理服務(wù)器節(jié)點，從而提高服務(wù)器節(jié)點資源利用率和降低能耗[60-66].這些研究大都利用虛擬機的歷史使用資源情況確定聚合時給虛擬機分配的資源，然后轉(zhuǎn)化為各種背包問題，以解決虛擬機的部署和調(diào)度.

然而，上述虛擬化聚合技術(shù)存在2點問題：1)在動態(tài)虛擬機聚合的過程中，為滿足峰值計算而設(shè)計的靜態(tài)虛擬機資源分配方法將導(dǎo)致資源利用率低；2)虛擬機聚合過程中未考慮因為虛擬機的遷移而導(dǎo)致的服務(wù)質(zhì)量(service level agreement， SLA)損失問題.這些問題嚴重影響了上述虛擬化聚合技術(shù)在實際數(shù)據(jù)中心內(nèi)的應(yīng)用.

為了解決2個問題，文獻[67]研究了虛擬機聚合過程中服務(wù)質(zhì)量的優(yōu)化問題，其中包括了為虛擬機分配資源的隨機規(guī)劃以及運行時的虛擬機動態(tài)整合算法這2方面的內(nèi)容.主要解決3個問題：1)設(shè)計隨機規(guī)劃方法解決虛擬機在動態(tài)運行中的資源分配問題；2)根據(jù)虛擬機在時間片上的資源需求，設(shè)計虛擬機動態(tài)聚合算法；3)采用PlanetLab提供的真實負載，設(shè)計實驗來評估算法在節(jié)約能量消耗與保障服務(wù)質(zhì)量之間的權(quán)衡作用.

考慮1個包含m個同構(gòu)或者異構(gòu)的服務(wù)器節(jié)點M={1,2,…,m}.在時刻t有nt個虛擬機在運行，每個虛擬機裝載1個應(yīng)用實例.求不同時刻運行的服務(wù)器節(jié)點數(shù)Mt?M，使得將空轉(zhuǎn)服務(wù)器關(guān)閉后數(shù)據(jù)中心總能耗最低.首先建立物理服務(wù)器的功耗模型與服務(wù)器節(jié)點CPU利用率u之間的關(guān)系：

P(u)=Pidle+(Pbusy-Pidle)×u，

其中，Pidle和Pbusy分別表示服務(wù)器節(jié)點在CPU空轉(zhuǎn)和滿負荷運行狀態(tài)下的功耗.當分配給虛擬機的資源少于完成應(yīng)用請求所需要的資源時，平均響應(yīng)時間會超過請求定義的服務(wù)質(zhì)量要求，因而產(chǎn)生服務(wù)質(zhì)量損失.時刻t的CPU利用率ut對服務(wù)質(zhì)量損失代價建模為

其中，λt定義為時刻t的請求數(shù)目，要求的響應(yīng)時間為ta.T(ut,λt)為通過經(jīng)驗學(xué)習(xí)得到的該時刻的真實響應(yīng)時間.g(·)為罰函數(shù)，表示對返回的響應(yīng)時間大于要求的應(yīng)用時間ta部分的懲罰.定義時間表tk為虛擬機觸發(fā)遷移的時間，τ為遷移間的持續(xù)時間.在每個調(diào)度時間表tk=kτ,k=1,2,…,T，虛擬機的資源需求uk都將進行重分配.定義T(uk,λt)為請求返回的響應(yīng)時間.文獻[68]的研究表明CPU利用率ut與請求數(shù)目λt成正比，因此，通過經(jīng)驗學(xué)習(xí)的方法可以得到請求返回的響應(yīng)時間可以用計算為

T(uk,λt)=(auk+b)ut，

其中，(a,b)為2個調(diào)優(yōu)參數(shù).在各個時間間隔段上CPU資源利用率ut已知的情況下，最優(yōu)的CPU分配需求uk的值可以通過最小化問題得到：

上述模型完成了最小化能量消耗和最小化服務(wù)質(zhì)量損失雙目標的虛擬機聚合任務(wù)，其中，Pidleuk表示分配的CPU資源為uk時，該虛擬機消耗的CPU靜態(tài)功耗.算法求解過程中，為了降低求解的時間復(fù)雜度，文中首先使用裝箱問題中的FFD算法估算應(yīng)該處于開啟狀態(tài)的服務(wù)器節(jié)點數(shù)目；然后計算各個虛擬機之間的喜好程度；最后使用穩(wěn)定匹配算法，求得虛擬機在服務(wù)器節(jié)點上的部署和調(diào)度，實現(xiàn)優(yōu)化能耗與應(yīng)用性能的目標.在真實數(shù)據(jù)集上的評測結(jié)果表明，文中提出的算法可以大幅度地節(jié)省數(shù)據(jù)中心能耗，與此同時亦能降低服務(wù)質(zhì)量的性能損失，此外，文中的動態(tài)虛擬機聚合算法并不需要繁重的計算開銷，尤其適合于含有大量虛擬機的現(xiàn)代數(shù)據(jù)中心.類似的研究還有文獻[69-72].

在優(yōu)化數(shù)據(jù)中心能耗的同時，另一個需要考慮的是如何處理聚合在物理服務(wù)器節(jié)點上的虛擬機之間的性能干擾問題.這種性能干擾主要是由于服務(wù)器節(jié)點上的虛擬機對共用資源的競爭而產(chǎn)生的，常見的如最后一級共用寄存器、內(nèi)存總線、數(shù)據(jù)和網(wǎng)絡(luò)帶寬等的競爭.虛擬機間性能干擾將會嚴重影響部署在虛擬機中運行的應(yīng)用程序的性能.

一般來說，虛擬機間的性能干擾主要由于2個原因：1)虛擬機間資源需求重合；2)虛擬機間生命周期重合.如果把虛擬機間不同組合與虛擬機生命周期均考慮在虛擬機的節(jié)能部署內(nèi)，那么虛擬機的部署和調(diào)度問題將更加具有挑戰(zhàn)性.這是因為：一方面，聚合運行生命周期相同的虛擬機到同一物理服務(wù)器節(jié)點上能提高資源利用率，從而降低邊際成本；而另一方面，由于性能干擾的作用，降低虛擬機間生命周期的重合時間能降低應(yīng)用性能的下降比率.也就是說，能加快部署在虛擬機上的應(yīng)用的完工時間.

目前關(guān)于探索能量消耗與性能干擾之間量化權(quán)衡關(guān)系的研究還比較少，文獻[73]對能耗與性能干擾進行了統(tǒng)一的建模，并且在虛擬機部署和調(diào)度中同時考慮了虛擬機間的組合以及不同虛擬機生命周期的重合，以通過虛擬機部署和調(diào)度來降低數(shù)據(jù)中心能量消耗，同時降低虛擬機之間的性能干擾.

用戶為提交給云數(shù)據(jù)中心的每個虛擬機請求vmj都指定了1組參數(shù)Ij=[aj,pj,Rj]，其中aj表示資源請求到達的時間，pj為虛擬機獨占1個服務(wù)器節(jié)點時的執(zhí)行時間，該值可以從事例信息管理器中得到.資源向量Rj=[Rjk](k=1,2,…,s)表示虛擬機運行時所需要的計算資源情況.當每個虛擬機到達時，需要對其進行部署和調(diào)度.把時間劃分成離散的時間片，t=1,2,…,T，記xij為0或者1的指示變量，xij(t)=1表示在時間片t，虛擬機vmj部署在服務(wù)器serveri上面.定義ci(t)為服務(wù)器節(jié)點serveri在時間片t上消耗的能量，因此有ci(t)=P(u(t))τ.定義Q(t)為時間片t上運行的虛擬機集合，D(t)為在時間片t上剛好完成任務(wù)的虛擬機集合.因此，vmj(j∈D(t))實際執(zhí)行時間為：tj=t-aj.定義虛擬機性能下降的懲罰函數(shù)為凸函數(shù)f(·)，并且用f((tj-pj)pj)=α(tj-pj)pj-1 (tj≥pj)作為一個適用模型對超出獨占服務(wù)器節(jié)點運行時間pj的懲罰.由上述定義可以將降低能量消耗與減少性能損失這兩者之間均衡的虛擬機部署和調(diào)度問題形式化為優(yōu)化問題：

(8)

(9)

xij(t)≤xij(t+1)，?t,j?D(t);

(10)

xij(t)∈{0,1}， ?i,?j,?k;

(11)

其中，目標函數(shù)表示最小化數(shù)據(jù)中心能量消耗與性能損失代價之和，調(diào)節(jié)參數(shù)β>0表示能量消耗與性能損失代價之間的權(quán)重.式(8)約束了服務(wù)器節(jié)點上部署的虛擬機資源需求總量不超過服務(wù)器節(jié)點的資源容量；式(9)限制在同一時刻1個虛擬機只能在1個服務(wù)器上運行；式(10)限制1個虛擬機只能部署在1個服務(wù)器上.然后根據(jù)不同虛擬機間的組合(即哪些虛擬機分配到同一個物理服務(wù)器節(jié)點上運行)以及虛擬機間生命周期的重合提出和實現(xiàn)了離線與在線的部署和調(diào)度方法.實際運行結(jié)果表明：本文提出的方法能大幅度地改進能耗和性能下降兩者的總和，改進能量消耗和降低由于競爭產(chǎn)生的性能損失.關(guān)注數(shù)據(jù)中心虛擬機間干擾的節(jié)能研究還有文獻[74-77].

本節(jié)主要總結(jié)了近年來針對數(shù)據(jù)中心服務(wù)器系統(tǒng)的能效優(yōu)化研究，包含模型的構(gòu)建以及對應(yīng)的能效方案.總而言之，在現(xiàn)代數(shù)據(jù)中心內(nèi)進行服務(wù)器能效優(yōu)化是非常復(fù)雜的問題，需要考慮到應(yīng)用與服務(wù)器之間的選擇關(guān)系、虛擬機的動態(tài)資源分配、虛擬機遷移造成的性能損失、虛擬機之間的干擾等多方面因素.

4.2 網(wǎng)絡(luò)設(shè)備節(jié)能

網(wǎng)絡(luò)設(shè)備的節(jié)能機制主要借鑒與服務(wù)器系統(tǒng)的節(jié)能研究，網(wǎng)絡(luò)設(shè)備的能耗函數(shù)可以刻畫為

其中，函數(shù)f(·)描述了鏈路傳輸速度x與該鏈路能耗之間的對應(yīng)關(guān)系.σ，μ和α均為由鏈路性質(zhì)決定的常數(shù).通常情況下，有α>1.當σ=0時，該函數(shù)為速率縮放機制的能耗函數(shù)；當μ=0時，該函數(shù)為休眠機制的能耗函數(shù)；當σ>0且μ>0時，為混合機制的能耗函數(shù).

可以描述網(wǎng)絡(luò)中的流量守恒約束.

(12)

xe≤ce, ?e;

(13)

yi,e={0,1}, ?e;

(14)

yi,e: 流守恒;

(15)

其中：式(12)計算鏈路總流量；式(13)限制鏈路e的鏈路速度不可以超過容量限制ce；式(14)二元變量yi,e表示請求i是否通過邊e；式(15)為流量守恒約束.該模型是個整數(shù)規(guī)劃模型，對于大多數(shù)能耗函數(shù)而言，這是NP難問題，通過對該問題進行適當?shù)募s束，利用啟發(fā)式算法可以得到不同形式能耗函數(shù)的近似解.

現(xiàn)有的數(shù)據(jù)中心網(wǎng)絡(luò)節(jié)能方案僅僅考慮如何最大限度地降低網(wǎng)絡(luò)能耗，并沒有協(xié)同優(yōu)化網(wǎng)絡(luò)性能.然而，網(wǎng)絡(luò)能耗和性能是2個互相矛盾的優(yōu)化目標，降低網(wǎng)絡(luò)能耗通常需要以犧牲網(wǎng)絡(luò)性能為代價.無法保障網(wǎng)絡(luò)性能在很大程度上局限了這些節(jié)能優(yōu)化方案在實際系統(tǒng)中的部署和使用.通常網(wǎng)絡(luò)的性能可以用吞吐量或網(wǎng)絡(luò)延遲來描述.然而，數(shù)據(jù)中心內(nèi)各種網(wǎng)絡(luò)流對性能的要求各不相同，例如來自實時應(yīng)用的網(wǎng)絡(luò)流需要低延遲傳輸以提高服務(wù)效率，而后臺備份類應(yīng)用的網(wǎng)絡(luò)流一般對延遲沒有太高的要求，但需要較大的網(wǎng)絡(luò)吞吐量.文獻[78]對網(wǎng)絡(luò)能耗與性能間的權(quán)衡問題進行了研究.文中指出，不論來自何種應(yīng)用的網(wǎng)絡(luò)流，最重要的性能指標可以概括為：網(wǎng)絡(luò)流能否在規(guī)定的時間內(nèi)完成傳輸.因此提出以網(wǎng)絡(luò)流完成時間作為最重要的統(tǒng)一性能指標對網(wǎng)絡(luò)的性能進行保障.

數(shù)據(jù)中心內(nèi)的每個應(yīng)用程序建模成一系列具有完成時間限制的網(wǎng)路流的集合，其中每條網(wǎng)絡(luò)流包含了一定量的需要在一定時間內(nèi)在網(wǎng)絡(luò)上從某個給定源點路由到給定的目的地點的數(shù)據(jù).對于時間區(qū)間[T0,T1]，給定網(wǎng)絡(luò)流J={j1,j2,…,jn}，ji=wi,(ri,di),(pi,qi)，其中wi為數(shù)據(jù)包的數(shù)據(jù)量，(ri,di)為網(wǎng)絡(luò)流到達時間和完成時間，(pi,qi)為網(wǎng)絡(luò)流的源點和目的點.定義Si=[ri,di]為網(wǎng)絡(luò)ji的跨度，定義每條網(wǎng)絡(luò)流的密度為Di=wi(di-ri).因此調(diào)度被定義為集合：

S={(si(t),Pi)|?ji∈J,?t∈[ri,di]}，

其中,si(t)表示網(wǎng)路流ji在時刻t的傳輸速率，Pi是為網(wǎng)絡(luò)流ji選擇的路由路徑上所有鏈路的集合.定義Je∈J為鏈路e上路由的網(wǎng)絡(luò)流集合，則約束

限制了對于任意鏈路e，Je的任意子集內(nèi)的網(wǎng)絡(luò)流都可以在該子集中所有網(wǎng)絡(luò)的最遲完成期限前處理完畢.

文中對2個決策過程從網(wǎng)絡(luò)流的層面進行優(yōu)化，即網(wǎng)絡(luò)流的調(diào)度和路由.研究如何合理地調(diào)度網(wǎng)絡(luò)流并對網(wǎng)絡(luò)流分配適當?shù)穆酚陕窂?，以達到網(wǎng)絡(luò)能耗的最優(yōu)化，同時滿足所有網(wǎng)絡(luò)流的完成時間限制.類似的考慮網(wǎng)絡(luò)流截止時間的還包括文獻[79-81].

如果對速率縮放機制中設(shè)備速率數(shù)值的選擇做出限制,就可以得到速率自適應(yīng)機制，該機制在實際應(yīng)用中更加廣泛.速率自適應(yīng)機制的核心思想是通過實時調(diào)整網(wǎng)絡(luò)設(shè)備的接口速率來達到節(jié)能的目的.與速度縮放機制不同的是，速率自適應(yīng)機制要求網(wǎng)絡(luò)設(shè)備具備多個候選的運行速率，在實際運行中網(wǎng)絡(luò)設(shè)備根據(jù)自身負載從這些候選速率中選擇合適的速率運行.由于較低的速率通常具有更低的功耗，因此該技術(shù)可以在很大程度上消除網(wǎng)絡(luò)冗余，降低網(wǎng)絡(luò)能耗.由定義可以很容易得出在該機制下的鏈路容量約束可以建模為

xe≤ze,ze∈{R1,R2,…,Rk}, ?e,

其中，ze代表設(shè)備所選擇的有效運行速率,R1,R2,…,Rk代表k種可供選擇的運行速率.Gunaratn等人[82]最早研究這一類問題，他們提出了一種鏈路速率調(diào)整機制，該機制綜合考慮了當前的鏈路負載、緩存隊列的長度以及鏈路利用率等信息，以確定是否調(diào)整鏈路速率.當鏈路的負載較低并且緩存隊列長度和鏈路利用率均低于預(yù)設(shè)的閾值時，網(wǎng)絡(luò)鏈路將降低其傳輸速率；而當鏈路負載較大并且緩存隊列長度和鏈路利用率高于預(yù)設(shè)的閾值時，網(wǎng)絡(luò)鏈路將提高其傳輸速率.當網(wǎng)絡(luò)流量狀況發(fā)生改變導(dǎo)致鏈路的速率需要調(diào)整時，鏈路的一端會向?qū)Χ税l(fā)送請求，并在該請求中攜帶發(fā)送端所期望的鏈路速率信息.當另一端接收到該請求時，判斷并確定是否接受該請求以進行速率調(diào)整.以上機制能夠使鏈路速率根據(jù)負載動態(tài)變化，因此可以有效地降低網(wǎng)絡(luò)鏈路的能耗.然而，頻繁的速率調(diào)整會帶來一定的額外能耗開銷，并且會因為調(diào)整期間的延遲對網(wǎng)絡(luò)的穩(wěn)定性造成不利影響.目前ALR技術(shù)已經(jīng)被一些通用網(wǎng)絡(luò)設(shè)備所支持，例如 InfiniBand.

設(shè)備休眠也被廣泛應(yīng)用在網(wǎng)絡(luò)節(jié)能研究中.IEEE已經(jīng)專門成立了針對以太網(wǎng)網(wǎng)絡(luò)設(shè)備節(jié)能技術(shù)的討論組EEE(Energy Efficient Ethernet Task Force)，并且已經(jīng)將以太網(wǎng)鏈路休眠技術(shù)標準化為 IEEE 802.3az[83].基本的基于休眠機制節(jié)能模型的網(wǎng)絡(luò)能耗優(yōu)化問題可以按如下方式建模.假設(shè)給定網(wǎng)絡(luò)G=(V,E)，其中，V代表節(jié)點集合，E代表鏈路集合，假設(shè)每條鏈路e都有容量限制值Ce，鏈路均為雙向鏈路，而且彼此相互獨立.在時刻t，給定網(wǎng)絡(luò)流集合，定義網(wǎng)絡(luò)流為一個序列的數(shù)據(jù)包，這些數(shù)據(jù)包包含同樣的頭域信息(例如源目的IP地址，目的節(jié)點的端口).為了避免數(shù)據(jù)包亂序重排，假設(shè)每個數(shù)據(jù)流中的所有數(shù)據(jù)包都只走同一條路徑.假設(shè)每條鏈接e在開啟狀態(tài)消耗的功率為Pe，處于關(guān)閉狀態(tài)的鏈接不產(chǎn)生能耗.定義xe(t)∈{0,1}為鏈接e在時刻t的狀態(tài)，xe(t)=1代表鏈接e在時刻t處于開啟狀態(tài)，反之表示處于關(guān)閉狀態(tài).定義fe(t)為所有源節(jié)點對經(jīng)過鏈接e的總流量.給定時間限制[t0,t1]，在該時間段內(nèi)的網(wǎng)絡(luò)總能耗最小化的問題可以形式化為優(yōu)化問題：

s.t. 0≤fe(t)≤xe(t)Ce, ?e∈E；

(16)

xe(t)={0,1}, ?e∈E；

(17)

fe(t): 流守恒, ?e∈E；

(18)

其中：式(16)限制網(wǎng)絡(luò)中每條鏈接上的流量不能超過流量的容量限制；式(17)是二元變量限制；式(18)是流量守恒限制.對該問題的求解意味著為每個網(wǎng)絡(luò)流分配合適的路徑，然后為不同鏈接選擇合適的開啟或者閉合狀態(tài)，使得在給定時間區(qū)間[t0,t1]內(nèi)網(wǎng)絡(luò)中總能耗最小.顯而易見，上述問題是個整數(shù)規(guī)劃問題，因此，對上述問題的求解是NP難的，目前的研究普遍尋求近似算法或者啟發(fā)式算法進行求解[34,84-86].

傳統(tǒng)網(wǎng)絡(luò)模型中網(wǎng)絡(luò)設(shè)備的主要功能是負責數(shù)據(jù)包的轉(zhuǎn)發(fā).然而，為了豐富網(wǎng)絡(luò)的功能，越來越多的中間件被引入到網(wǎng)絡(luò)中.這些中間件負責諸如防火墻、深度包檢測或代理等各種附加網(wǎng)絡(luò)功能.由于這些中間件一般為特殊硬件設(shè)施，其部署和管理通常需要人工參與.隨著網(wǎng)絡(luò)功能的不斷復(fù)雜化和網(wǎng)絡(luò)規(guī)模的不斷擴大，在網(wǎng)絡(luò)中正確高效地進行中間件的布置及協(xié)調(diào)已經(jīng)成為網(wǎng)絡(luò)管理的一大挑戰(zhàn).為了解決這個問題，近年來研究人員提出了新的網(wǎng)絡(luò)模型——網(wǎng)絡(luò)即服務(wù)(network-as-a-service， NaaS).相比于傳統(tǒng)模型，該模型下的網(wǎng)絡(luò)節(jié)點由通用服務(wù)器構(gòu)建并基于虛擬化技術(shù)運行網(wǎng)絡(luò)功能，并且由1個基于軟件定義網(wǎng)絡(luò)的邏輯集中式的控制單元負責網(wǎng)絡(luò)功能的部署與協(xié)調(diào).在傳統(tǒng)數(shù)據(jù)包轉(zhuǎn)發(fā)網(wǎng)絡(luò)中，鏈路利用率是網(wǎng)絡(luò)流聚合的首要標準.然而這在 NaaS 模型下不僅要考慮數(shù)據(jù)傳輸?shù)膿砣?，還需要考慮其他資源例如處理單元或者內(nèi)存等的過載問題.文獻[87]研究如何在多重資源維度環(huán)境內(nèi)進行網(wǎng)絡(luò)的優(yōu)化，并以網(wǎng)絡(luò)能耗優(yōu)化問題為例進行詳細的闡述.

該約束限制了所有流經(jīng)相同節(jié)點的網(wǎng)絡(luò)流的總資源請求不超過該節(jié)點的總資源.當K=1時，上述優(yōu)化問題對應(yīng)于一般的容量限制的網(wǎng)絡(luò)設(shè)計問題，該問題已經(jīng)被廣泛研究.

上述多重資源節(jié)能路由問題被證明是不存在漸過性多項式時間近似方案，除非P=NP.文獻[87]中提供了一種基于迭代的路由方案，該方案通過不斷選擇網(wǎng)路流來最大化占用已經(jīng)開啟的網(wǎng)絡(luò)節(jié)點的剩余資源，并且基于網(wǎng)絡(luò)流的資源請求向量和網(wǎng)絡(luò)節(jié)點的剩余資源向量的分布情況來為網(wǎng)絡(luò)流選擇合適的路由路徑.通過對網(wǎng)絡(luò)拓撲的規(guī)律性加以利用，文中又提出了一種拓撲感知的啟發(fā)式多重資源節(jié)能路由算法.該算法可以在提供相當水平的節(jié)能效果的同時顯著地降低運行時間.

針對數(shù)據(jù)中心網(wǎng)絡(luò)的能耗或性能的優(yōu)化通?；诹髁抗こ谭椒ǎㄟ^聚合網(wǎng)絡(luò)流來調(diào)整網(wǎng)絡(luò)鏈路的負載.流量工程方法需要基于網(wǎng)絡(luò)流量矩陣來設(shè)計，而實時獲取數(shù)據(jù)中心網(wǎng)絡(luò)上的流量信息很難實現(xiàn).因此，該類方法通常需要分析網(wǎng)絡(luò)流量在不同時間的重復(fù)性特征，并根據(jù)歷史流量數(shù)據(jù)來對網(wǎng)絡(luò)流量進行預(yù)測.然而，文獻[88]指出數(shù)據(jù)中心網(wǎng)絡(luò)的流量具有高突發(fā)性，并且不具備細粒度特征信息，很難基于歷史流量信息進行精確預(yù)測.因此，基于流量預(yù)測的網(wǎng)絡(luò)流量工程優(yōu)化方法在實際運行中的效果也就很難預(yù)知.

不同于傳統(tǒng)網(wǎng)絡(luò)，數(shù)據(jù)中心網(wǎng)絡(luò)具有一些獨特的特征可以被利用以輔助優(yōu)化方案的設(shè)計.這些特征包括：1)拓撲的規(guī)律性.相比于傳統(tǒng)網(wǎng)絡(luò)，數(shù)據(jù)中心網(wǎng)絡(luò)拓撲例如fat-tree，BCube，DCell等通常具有非常高的對稱性與規(guī)律性；2)虛擬機布置.得益于虛擬化技術(shù)，在數(shù)據(jù)中心環(huán)境中，網(wǎng)絡(luò)流的端點可以通過虛擬機布置來進行確定；3)上層應(yīng)用特征.云計算數(shù)據(jù)中心內(nèi)運行的大部分應(yīng)用都是基于MapReduce框架構(gòu)建，這些應(yīng)用會產(chǎn)生非常規(guī)律的通信模式.對這些通信模式信息加以利用，將可以構(gòu)造出更加有效的網(wǎng)絡(luò)優(yōu)化方案.

文獻[88]考慮數(shù)據(jù)中心內(nèi)影響網(wǎng)絡(luò)流量特征的4個關(guān)鍵因素：上層應(yīng)用通信特征、虛擬機布置、網(wǎng)絡(luò)拓撲和流量工程.結(jié)合這些因素，文中提出一種針對數(shù)據(jù)中心網(wǎng)絡(luò)能耗或性能優(yōu)化的一般性框架.基于該框架，利用時域相關(guān)的模型來對網(wǎng)絡(luò)節(jié)能問題進行建模，并且對該問題的求解復(fù)雜度進行了理論分析.首先對文中的問題進行描述：

假設(shè)1組作業(yè)J需要在時間范圍[t1,tr]內(nèi)被執(zhí)行，每個作業(yè)j∈J由nj個任務(wù)組成，對于每個作業(yè)j，其任務(wù)之間的流量矩陣為Tj(t)，其中t為指定時間范圍內(nèi)的1個時間片.每個任務(wù)由1個虛擬機處理，所有虛擬機的集合為M.假設(shè)所有的虛擬機一旦被部署后將不會再次被遷移，此時網(wǎng)絡(luò)中總能耗可以表示為

其中,xv(t)表示交換機v在時間片t內(nèi)的流量負載.目標是將所有虛擬機分配到物理服務(wù)器上，并且為所有的數(shù)據(jù)流選擇合適的路徑使得上述目標函數(shù)值最小.

一旦D(t)確定下來，網(wǎng)絡(luò)總能耗最小化的問題就退化成最基本的網(wǎng)絡(luò)能耗優(yōu)化問題.在此之前，考慮到網(wǎng)絡(luò)應(yīng)用環(huán)境為數(shù)據(jù)中心網(wǎng)絡(luò)，假設(shè)該網(wǎng)絡(luò)按照目前數(shù)據(jù)中心應(yīng)用最廣泛的FatTree來構(gòu)建.因此，對于每個交換機v∈V，其承載的流量負載可以表示為

其中，xe為經(jīng)過交換機v的總流量，ye為鏈路承載的總流量.因此，該網(wǎng)絡(luò)能耗最小化問題可以形式化為整數(shù)規(guī)劃問題.

該問題的求解也分為2個階段.首先，基于文中提出的3個針對虛擬機布置的原則，設(shè)計了有針對性的虛擬機布置方案，在網(wǎng)絡(luò)上生成了有利于流量工程優(yōu)化的網(wǎng)絡(luò)流量分布.然后，分析了路由和節(jié)能之間的關(guān)系，并設(shè)計了可以獲得近似最優(yōu)節(jié)能效果的網(wǎng)絡(luò)路由優(yōu)化方案.最后利用模擬實驗對提出的方法的有效性進行了全面的驗證，并與其他常見的方法進行了比較.實驗結(jié)果表明：文中提出的優(yōu)化框架能夠有效地提升網(wǎng)絡(luò)的能效.

本節(jié)主要總結(jié)了近年來針對數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)的能效優(yōu)化研究，包含模型的構(gòu)建以及對應(yīng)的能效方案.現(xiàn)代數(shù)據(jù)中心已經(jīng)成為各種新型網(wǎng)絡(luò)技術(shù)的應(yīng)用主場，因此，進行數(shù)據(jù)中心網(wǎng)絡(luò)能效優(yōu)化需要充分考慮到新型網(wǎng)絡(luò)拓撲特性、新型網(wǎng)絡(luò)模式特性、新型網(wǎng)絡(luò)應(yīng)用特征等各方面的因素.

5 總結(jié)和展望

大數(shù)據(jù)和云計算的蓬勃發(fā)展促進了數(shù)據(jù)中心在全球范圍內(nèi)的廣泛部署，與之同時帶來的能耗問題引起了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注.本文主要研究了基于資源和任務(wù)調(diào)度的數(shù)據(jù)中心節(jié)能機制和算法，重點對數(shù)據(jù)中心服務(wù)器系統(tǒng)與網(wǎng)絡(luò)系統(tǒng)2個能耗重點系統(tǒng)的能耗問題展開研究，首先分析2個系統(tǒng)的能耗模型，針對其共性與差異性分別總結(jié)對應(yīng)的節(jié)能機制，在此基礎(chǔ)上結(jié)合目前相關(guān)領(lǐng)域最新的研究成果總結(jié)構(gòu)建出2種系統(tǒng)的能耗模型，最后對模型的求解進行分析總結(jié).

目前，數(shù)據(jù)中心能耗問題依舊是阻礙數(shù)據(jù)中心發(fā)展的巨大障礙，隨著世界范圍內(nèi)能源問題的進一步惡化，數(shù)據(jù)中心的巨大能耗問題將變得越來越突出.近幾年學(xué)術(shù)界與工業(yè)界都在該領(lǐng)域進行了研究并取得了一定的成果，然而，還是存在很多問題和難題需要進一步的研究，具體總結(jié)為5點：

1) 缺乏針對數(shù)據(jù)中心多維資源的利用率、服務(wù)質(zhì)量和能耗的綜合考慮.當前大部分研究集中通過資源調(diào)度來降低能耗或提高服務(wù)質(zhì)量等方面，例如從節(jié)能架構(gòu)的角度改造數(shù)據(jù)中心，通過關(guān)閉低負載設(shè)備、將負載合并到少數(shù)物理機器上來提高資源利用率等等.但是，在綜合考慮數(shù)據(jù)中心多維資源(計算、存儲、帶寬等)的利用率、保證服務(wù)質(zhì)量和降低能耗方面的理論和技術(shù)的研究較缺乏；如何綜合考慮多維或多種資源的利用率和服務(wù)質(zhì)量(包含用戶體驗)為系統(tǒng)建模是一個挑戰(zhàn)性的科學(xué)問題.

2) 缺乏針對多租戶數(shù)據(jù)中心資源協(xié)同、成本和能耗優(yōu)化的理論與算法研究.多租戶數(shù)據(jù)中心具有租戶可以集中于自身業(yè)務(wù)而不必考慮信息基礎(chǔ)設(shè)施的管理和運作的優(yōu)勢.但現(xiàn)在多租戶數(shù)據(jù)中心內(nèi)的服務(wù)器由租戶控制，供應(yīng)商難以干預(yù)，而整個數(shù)據(jù)中心難以協(xié)同運作，導(dǎo)致傳統(tǒng)數(shù)據(jù)中心的提高資源利用率和節(jié)能策略無法直接移植到多租戶數(shù)據(jù)中心.目前針對多租戶數(shù)據(jù)中心的研究較少，而針對多租戶數(shù)據(jù)中心資源利用率、能效成本優(yōu)化的理論與技術(shù)研究尤為缺乏.

3) 缺乏跨域數(shù)據(jù)中心節(jié)點間資源調(diào)度和能效優(yōu)化模型與算法的研究.處于不同地域的數(shù)據(jù)中心節(jié)點其運營成本不同、與客戶的物理距離不一樣，導(dǎo)致同一用戶的請求在不同的節(jié)點得到不同的服務(wù)質(zhì)量；同時，不同節(jié)點處理同一個請求將花費不同的運營成本.因此，跨域數(shù)據(jù)中心面臨的最基本的問題是如何在多個不同地域分布的節(jié)點之間合理進行資源/任務(wù)的調(diào)度.目前已知該方面的研究缺乏數(shù)據(jù)中心節(jié)點間資源/任務(wù)調(diào)度、能效優(yōu)化模型方面的研究，難以對提出的優(yōu)化策略進行理論方面的分析與驗證，而且此類方法難以從跨不同域的整體范圍上得出優(yōu)化的解決方法.

4) 缺乏跨域數(shù)據(jù)中心節(jié)點間新能源應(yīng)用于負載調(diào)度的聯(lián)合優(yōu)化研究.目前針對跨域數(shù)據(jù)中心節(jié)點間的多路能源的互補優(yōu)化、兼顧新能源應(yīng)用與負載調(diào)度、統(tǒng)一權(quán)衡節(jié)能與服務(wù)延遲等關(guān)鍵問題，缺乏模型和算法方面的基礎(chǔ)理論和技術(shù)；另外該方面的研究大多集中在解決依賴傳統(tǒng)能源的數(shù)據(jù)中心節(jié)能減排問題上，而缺乏對于多種新能源統(tǒng)一設(shè)計協(xié)調(diào)和調(diào)度的理論技術(shù)，例如尚未考慮到燃料電池這種有著截然不同的供電與成本特性的新興能源在數(shù)據(jù)中心環(huán)境下的應(yīng)用.

5) 缺乏高效能的數(shù)據(jù)中心內(nèi)/間全網(wǎng)互聯(lián)與傳輸機制.目前傳統(tǒng)TCP協(xié)議在當前數(shù)據(jù)中心應(yīng)用中會造成性能瓶頸；云計算服務(wù)對網(wǎng)絡(luò)傳輸?shù)氖褂锰卣魇沟脗鹘y(tǒng)TCP 協(xié)議在低延遲高吞吐的數(shù)據(jù)中心網(wǎng)絡(luò)中存在嚴重的性能問題，如TCP incast、網(wǎng)絡(luò)流完成時間的長尾效應(yīng)等.基于網(wǎng)絡(luò)即服務(wù)模型下，如何對數(shù)據(jù)中心網(wǎng)絡(luò)資源進行管理和優(yōu)化(包括傳輸協(xié)議、數(shù)據(jù)的調(diào)度及路由等)以達到提高資源利用率和降低能耗的目的，是一個亟待解決的重要問題.