劉 永 ，王新華 ，2，王 朕 ，王 碩

（1.山東師范大學 信息科學與工程學院，山東 濟南 250014；2.山東省分布式計算機軟件新技術重點實驗室，山東 濟南 250014）

傳統(tǒng)的數據中心總是集中于服務器等計算系統(tǒng)性能上的提高，忽略了電能的消耗和CO2的排放，這不僅造成數據中心運營成本的日益加重，還給周邊環(huán)境帶來了嚴重的溫室效應。目前，數據中心節(jié)能因素已受到研究人員和運營商的廣泛關注，亞馬遜網站估計亞馬遜數據中心服務器的購買和運營成本占到了數據中心總成本的53%，而用電成本則占到了42%?；萜蘸蛧H正常運行時間學會根據最近的 “數據中心用電預測報告”預測指出：服務器和網絡設備在現有用電基礎上還可以節(jié)約20%的電能，并且還會使相應的制冷設備減少30%的能耗。

無論是服務器、網絡設備，還是制冷、用電設備，其用電量都會對各個數據中心的電能消耗帶來影響。因此，要保證數據中心節(jié)能，就要想辦法減少這些設備的用電水平，以降低整個數據中心的電能消耗。

1 節(jié)能技術算法介紹

1.1 硬件層節(jié)能技術

在服務器硬件節(jié)能方面采用最廣泛的技術是CPU的動態(tài)電壓/主頻升降技術DVFS（Dynamic Voltage and Frequency Scaling）。該技術允許CPU的時鐘頻率自動調整，同時CPU的電壓值也會根據CPU的利用情況自動變化，從而達到節(jié)能的目的。

目前針對DVFS技術降低電能消耗的算法主要有：基于時間間隔算法、進程算法和進程間算法?；跁r間間隔算法主要是通過CPU在過去一段時間的利用率來預測CPU將來的利用率，并適當調整CPU的電壓和主頻。進程算法則利用了程序結構信息來調整處理任務的CPU主頻和電壓。而進程間算法對運行在系統(tǒng)中的任務區(qū)別對待，不同的任務其CPU處理速度不同。

雖然DVFS技術原理看似很簡單，但在實際應用時可能會產生很多問題：（1）由于現代CPU架構的復雜性，例如：預測滿足應用程序性能需求的CPU時鐘頻率是必需的，而許多CPU采用了通道技術或多級緩存技術，這對實現 DVFS技術增加了難度；（2）有研究表明，CPU的電能消耗和電壓值之間也不是簡單的平方關系，即 Ecpu≠V2cpu， 其中，Ecpu是 CPU消耗的電能，V2cpu是 CPU的電壓值。參考文獻[1]中指出：一個CPU芯片的不同部件可能需要多個不同的電壓，即使其中一個部件的電壓值降低，但CPU芯片總的電壓消耗還是由較大的供電電壓決定，并且應用程序的執(zhí)行時間通常與CPU的主頻成反比，而采用了DVFS技術后，就不再是簡單的反比關系；（3）目前許多數據中心都采用了虛擬化技術，尤其是云計算數據中心更是以虛擬化技術為基礎，而DVFS技術如果不加修改，是不能直接用于虛擬化環(huán)境的。因此，盡管采用DVFS技術可能會節(jié)省電能，但鑒于上述各種原因，要想通過DVFS技術達到節(jié)能的目的還有很長的路要走。

1.2 操作系統(tǒng)層節(jié)能管理

目前在操作系統(tǒng)層上的節(jié)能管理主要有：Pallipadi研究組的Ondemand Governor系統(tǒng)[2]、Zeng研究組的ECOsystem系統(tǒng)[3]、Rajkumar研究組的 Linux/RK內核[4]等。本文分別介紹這三種系統(tǒng)。

1.2.1 Ondemand Governor系統(tǒng)

Ondemand Governor系統(tǒng)是一個嵌入到Linux操作系統(tǒng)內核的電源管理器（稱為按需管理器）。該管理器實時地監(jiān)控 CPU的利用率，根據當前應用程序的CPU利用率自動調節(jié)CPU的主頻和供電電壓。按需管理器參數一般默認設置為與CPU利用率的80%相對應的主頻和供電電壓值。

目前按需管理器已經能夠被應用到對稱處理器系統(tǒng)和多核多線程的CPU架構中。但按需處理器存在一個缺點：即以集中的模式取樣系統(tǒng)中所有CPU的利用率，這種方式增加了系統(tǒng)在時間上的開銷?？朔@一缺點一個有效的方法是：并行地對CPU利用率取樣，減少在CPU利用率取樣時間上的開銷。

1.2.2 ECOsystem系統(tǒng)

ECOsystm系統(tǒng)是專門用于蓄電池設備的電能管理系統(tǒng)，它是通過修改Linux操作系統(tǒng)的內核得到的。Zeng等人在設計這一系統(tǒng)時不僅考慮了服務器硬件資源所消耗的電能，還考慮了應用程序運行時消耗電能的情況。為了計算硬件設備和應用程序消耗的電能，Zeng等人引進了一個叫做currentcy的電能消耗單位，它是一段時間內消耗的電能值。當用戶向ECOsystem系統(tǒng)提供了蓄電池的供電時間以及所要運行應用程序的優(yōu)先級時，ECOsystem系統(tǒng)就會計算它們消耗的currentcy值，從而把計算出的currentcy分配給要運行的應用程序和硬件設備。當應用程序消耗的電能超過了分配給它的currentcy時，該應用程序將停止運行。

1.2.3 Linux/RK內核

Rajkumar研究組[4]針對使用了 DVFS技術的服務器系統(tǒng)提出了一些節(jié)能算法，并修改了Linux操作系統(tǒng)的內核。他們把修改后的內核稱為Linux/Resource內核，即Linux/RK。Linux/RK在保證應用程序運行隔離性的同時，還減少了應用程序的電量消耗。

Linux/RK包括系統(tǒng)時鐘頻率分配Sys-Clock（SystemClock Frequency Assignment）、單調優(yōu)先級時鐘頻率 分 配 PM-Clock（Priority-MonotonicClock Frequency Assignment）、 優(yōu) 化 時 鐘 頻 率 分 配 Opt-Clock（Optimal Clock Frequency Assignment）、動態(tài)單調優(yōu)先級時鐘頻率分配 DPM-Clock（Dynamic PM-Clock）4種節(jié)能算法。Linux/RK會根據CPU電壓/主頻變化的開銷等自動選擇這4種算法。實驗表明，Sys-Clock、PM-Clock以及DPMClock算法能節(jié)約大約50%的電量。

1.3 應用程序層節(jié)能

除了在硬件層、操作系統(tǒng)層設計方法節(jié)能外，還可以通過設計出優(yōu)化的應用程序來節(jié)能。這是因為設計差的應用程序運行時不僅性能會很低，還會消耗大量的電能。但目前還沒有一個統(tǒng)一的標準評價一個應用程序是否節(jié)能，而Tiwari認為程序執(zhí)行越快，電能消耗就越少。因此，在開發(fā)應用程序時，應該遵循軟件工程設計的原則，盡量縮短程序的代碼行數，優(yōu)化代碼結構，從而提高應用程序執(zhí)行的速度，以達到節(jié)能的目的。

1.4 集群層節(jié)能算法

集群層節(jié)能算法有多種分類方式。以DVFS技術為參照，可以將集群劃分為DVFS技術集群和非DVFS技術的集群；以虛擬化技術為標準，將集群分為虛擬化集群和非虛擬化集群。本文主要根據集群是否采用了虛擬化技術進行分類，介紹目前出現的節(jié)能算法。

1.4.1 非虛擬化集群層節(jié)能算法

非虛擬化集群節(jié)能的主要思想是把服務整合到少量的服務器上，以提高單個服務器的資源利用率，并關閉多余的服務器，從而節(jié)約整個集群的電能。這里介紹幾個具有代表性的非虛擬化集群節(jié)能算法的案例。

Elnozahy等人[5]研究了同構集群上運行單個Web服務的電能消耗和服務性能間的平衡問題，使用了DVFS技術，并提出了獨立電壓縮放IVS（Independent Voltage Scaling）、 協(xié) 調 電 壓 縮 放 CVS （Coordinated Voltage Scaling）、 組 合 協(xié) 調 策 略 CCP （Coordinated Combined Policy）等3種算法用于CPU主頻和電壓的彈性擴展。其中，組合協(xié)調策略提供了一個決定CPU主頻閾值的數學模型，它根據Web服務預期的響應時間設置CPU的主頻，該策略能夠決定運行Web服務的服務器數量，關閉多余的服務器，從而達到節(jié)能的目的。

Garg等人[6]研究了高性能計算應用程序在地理上分布的云數據中心上的調度問題。數據中心因為地理位置、設計和資源管理系統(tǒng)不同，其電力成本、CO2排放率以及負載也不同。為此，提出了5種算法。其中貪婪最小化碳排放量算法GMCE （GreedyMinimum Carbon Emission）、 最小化碳排放算法 MCEMCE （Minimum-Carbon-Emission-Minimum-Carbon-Emission）保證選擇的數據中心是CO2排放最少的數據中心。貪婪最大利潤算法 GMP（Greedy Maximum Profit）、最大利潤算法 MPMP（Maximum-Profit-Maximum-Profit）保證選擇的數據中心是最省電的數據中心。最小化碳排放以及最大利潤化算法MCEMP （Minimizing Carbon Emission and Maximizing Profit）保證選擇的數據中心既能節(jié)能又能減少CO2的排放。

Pinheiro等人[7]提出了一種同構集群的管理技術，該技術在保證QoS的同時，能使同構集群的電能消耗最少；使用吞吐量和應用程序的執(zhí)行時間作為QoS的約束條件。算法中的master節(jié)點周期性地監(jiān)視集群的負載情況，在保證應用程序QoS的同時，決定哪些節(jié)點打開或關閉，從而使電能的消耗最小。該算法也存在一定的缺點，因為集群的管理由單個的master節(jié)點執(zhí)行，因此很容易造成單點失效，并且該算法一次只能添加或關閉一個節(jié)點，對激增的用戶服務請求會造成很大的延遲，不適合大規(guī)模的集群環(huán)境。

1.4.2 虛擬化集群層節(jié)能算法

虛擬化集群因為使用了虛擬化技術，因此其節(jié)能算法涉及到虛擬機的調度問題。虛擬化集群節(jié)能算法的主要思想是把虛擬化了的服務，即將虛擬機整合到少量的物理服務器上，關閉多余的物理服務器，以達到集群節(jié)能的目的。

Kusic等人[8]研究了虛擬化 Web集群系統(tǒng)中電能和性能之間的均衡問題，所提出的系統(tǒng)控制器SC（System Controller）使用了限制預控制LLC（Limited Lookahead Control）策略，根據當前的Web請求負載，部署用于處理Web請求的虛擬機，在保證違反服務等級協(xié)議SLA（Service Level Agree）最小數量的同時，使得電能消耗最少。為了節(jié)能，還提出了開關主機和虛擬機的時間和電能成本模型，并使用人工神經網絡來提高系統(tǒng)性能。實驗結果顯示使用LLC的服務器集群可以節(jié)省大約26%的電能，并且只有1.6%的服務等級協(xié)議違反率。但由于所提出的節(jié)能模型的復雜性，在15個主機構成的集群上控制器的執(zhí)行時間長達30 min，因此所提出的系統(tǒng)控制器不適合大規(guī)模的集群環(huán)境。

Vinh等人[9]也提出了一個類似的用于云計算數據中心的調度器。該調度器使用了4個算法：預測算法、開關算法、任務調度算法和評估算法。預測算法使用了基于歷史負載需求的神經預測器來預測負載的未來需求。開關算法根據預測結果動態(tài)地調度服務器的分配，關閉不需要的服務器以達到節(jié)能的目的，任務調度算法負責把請求分配到運行的服務器上。評估算法則在執(zhí)行過程中尋找一個合適的訓練周期，實驗使用了ClarkNet和NASA作為負載。結果顯示將動態(tài)訓練和增加20%的服務器相結合效果最好，在ClarkNet負載上當丟棄率為0.02%時，節(jié)能49.8%。在NASA負載上當丟棄率僅為0.16%時，節(jié)能 55.4%。

Buyya等人[10]提出了云數據中心虛擬機的動態(tài)節(jié)能分配，把虛擬機的分配分為兩步：第一步，接收新的部署虛擬機請求，并使用改進的最適合降序MBFD（Modification of the Best Fit Decreasing）算法把虛擬機放置到主機上；第二步，用單閾值 ST（Single Threshold）等算法選擇要遷移的虛擬機，并使用MBFD算法把遷移的虛擬機分配到其他主機上。實驗結果表明，虛擬機的動態(tài)分配不僅提供了可靠的QoS，還使得電能的消耗最小。

Song等人[11]研究了虛擬化數據中心環(huán)境下應用程序的資源分配問題，把資源調度劃為應用程序調度、本地調度、全局調度三個層次。應用程序調度器把應用程序分配到虛擬機上，本地調度器根據應用程序的優(yōu)先級把CPU等硬件資源分配給虛擬機，全局調度器控制CPU等硬件資源的分配。此外，還提出了一個線形編程模型和分配算法，該算法在虛擬機運行過程中，不需要虛擬機的動態(tài)遷移，應用程序有明確的優(yōu)先級，適合用于企業(yè)計算環(huán)境。

1.4.3 根據DVFS技術分類的節(jié)能算法

集群節(jié)能算法除上述的分類外，還可以按照是否采用了DVFS技術進行分類。表1給出了按照算法是否采用DVFS技術分類的參考文獻。

表1 按照DVFS技術分類的節(jié)能算法文獻

2 數據中心節(jié)能的其他研究問題

當前數據中心的節(jié)能除了服務器節(jié)能占了很大比例以外，制冷設備、網絡設備等也要注重節(jié)能。根據亞馬遜網站估計其數據中心電能消耗比例為IT設備 （服務器設備，網絡設備）占53%，制冷設備占 23%，電源設備占19%，其他設備占5%。

2.1 制冷設備節(jié)能

為了降低數據中心制冷設備的運營成本，首先要選擇合適的制冷設備。通常數據中心都會選擇機房專用精密空調作為制冷設備，因為這不僅考慮溫度的降低，還要考慮環(huán)境的濕度、潔凈度、控制管理等相關因素，并且機房專用精密空調具有連續(xù)運行能力強、使用壽命長的特點。

其次，還要進行合理的機柜布局。通常將高功率設備和高密度設備均分在每個機柜內，以避免造成數據中心的熱點和冷卻的難點，這可以大大降低制冷設備的運行費用和購買費用。

2.2 網絡設備節(jié)能

數據中心除了考慮制冷設備消耗的電能外，也要考慮網絡設備的電能消耗。根據統(tǒng)計，網絡設備消耗的電能占到數據中心總消耗電能的20%～30%，并且隨著服務器節(jié)能技術的發(fā)展，其耗能所占的比重還會繼續(xù)上升。目前在網絡設備節(jié)能方面也已經開展了很多工作。

Gupta[15]等人提出了節(jié)約連接到因特網上的網絡設備的電能消耗，并在局域網上驗證了節(jié)能的可行性，而且提出了有效的調度算法使得網絡設備的空閑部件進入睡眠以節(jié)約電能。Nedevschi[16]和 Christensen[17]研究了網絡設備的電源管理，通過網絡設備睡眠和速率適配使得網絡設備在網絡空閑或低負載時節(jié)省電能。威斯康辛-麥迪遜大學和思科公司在網絡和協(xié)議的設計及配置中把節(jié)能作為一個主要目標，并使用整體優(yōu)化技術來優(yōu)化網絡設備的電能消耗。Shang Yunfei[18]在高密度的數據中心網絡路由方面提出了節(jié)能的路由算法，首先建立了一個節(jié)能路由模型，并用0-1背包問題證明所提出的模型是一個NP問題，然后提出一個路由算法來解決節(jié)能問題。實驗結果表明，該算法對于網絡設備的節(jié)能很有效，尤其在網絡負載低的時候節(jié)能效果更明顯。

2.3 電源設備節(jié)能

目前，數據中心的電源配置PDU（Power Distribution Unit）方案有多種：機架安裝電源配置方案、集中式電源配置方案、使用靜態(tài)轉換開關STS（StaticTransform Switch）的冗余電源配置方案、使用機架式自動轉換開關ATS（Automatic Transform Switch）的負載冗余電源配置方案等。應該根據數據中心的規(guī)模、支持電源設備的類型以及選擇方案的預算等選擇合適的電源配置方案，以達到節(jié)約電能和節(jié)省費用的目的。表2給出了常用數據中心機房電源配置方案對比表。

表2 常用數據中心機房電源配置方案對比表

3 數據中心節(jié)能的研究熱點和挑戰(zhàn)

3.1 研究熱點

3.1.1 虛擬機整合

[10]提出了有效的虛擬化數據中心的資源管理策略。該策略在保證QoS的同時，利用虛擬機遷移技術不斷把虛擬機整合到少量服務器，關閉多余的服務器來減少電能消耗。參考文獻[19]根據當前CPU等硬件資源利用率、虛擬機網絡拓撲以及服務器的熱狀態(tài)，通過整合虛擬機減少電能消耗。參考文獻[20]建立了CPU電能消耗模型，并使用單閾值策略和雙閾值策略選擇遷移的虛擬機，把虛擬機整合到少量服務器上來節(jié)約電能。參考文獻[21]提出了基于自適應利用率閾值的虛擬機動態(tài)整合算法，它不僅保證了服務等級協(xié)議SLA（Service Level Agreement），還節(jié)省了大量電能。參考文獻[8]提出的系統(tǒng)控制器使用了限制預控制，根據當前的Web請求負載，部署用于處理Web請求的虛擬機，在保證SLA的同時，使得電能消耗最少。

3.1.2 網絡路由

參考文獻[18]在密集型數據中心中建立了一個節(jié)能路由模型，并提出一個路由算法來解決網絡節(jié)能問題。參考文獻[22]提出了一個路由算法，在保證網絡全連接以及鏈路最大利用率的同時，關閉不用的網絡節(jié)點，使網絡電能消耗最小。參考文獻[23]考慮了網絡通信設備的電能消耗，提出了電能剖面感知路由算法（Energy Profile Aware Routing），實驗結果表明能節(jié)省35%的電能。參考文獻[24]使用電能剖面概念（Energy Porfile）獲得網絡設備電能消耗特征，并提出了基于Dijkstra的節(jié)能 路 由 算 法 （Dijkstra-based PowerAware Routing Alogorithm，DPRA）。參考文獻[25]提出了“活動窗口管理的擁塞控制技術”并結合提出的節(jié)能服務調諧處理算法來控制因特網服務運營商 ISP（InternetService Providers）網絡上訪問節(jié)點的電能消耗，實驗表明在保證QoS和互聯網流量的同時，能節(jié)省70%的電能。參考文獻[26]基于認知包網絡 CPN（Cognitive Packet Network）的路由協(xié)議 [27]提出了節(jié)能路由協(xié)議EARP（Energy-Aware Routing Protocol），在保證QoS的同時使得包網絡中每條路由消耗的電能最少。參考文獻[28]使用了G-網絡（G-network）中的控制能力理論，在包網絡的電能消耗和QoS之間建立數學模型，使用網絡路由器和網絡鏈路驅動設備電能消耗特征，使得提出的算法能夠在QoS和網絡電能消耗之間取得平衡。

3.1.3 網絡信息復制和分發(fā)設計

數據中心中運行的應用程序很多用于信息分發(fā)，無論是移動設備用戶還是Web 2.0用戶，用戶數量越來越多，并且這些用戶分享大量的網絡信息。但網絡信息的快速、可靠分發(fā)需要對數據中心投入大量的硬件資源，并需要支付維持硬件設備運行的成本。目前，網絡傳輸數據基本上基于協(xié)議棧中遠程訪問和復制功能等協(xié)議，其利潤很難隨著硬件設備的升級而提升。當數據中心成為發(fā)布和訪問網絡信息的巨大平臺時（例如云計算數據中心），在網絡上傳輸的數據量將大幅度增加，此時需要設計新的網絡內容復制和分發(fā)策略，來保證網絡內容的計算、存儲、網絡傳輸和電能消耗、服務質量之間的均衡。

3.2 面臨的挑戰(zhàn)

除了上述研究熱點以外，當前數據中心還有許多問題有待研究，尤其是云計算的提出，給數據中心節(jié)能帶來了更多的機遇和挑戰(zhàn)。

本文對當前數據中心中常用的節(jié)能技術以及算法進行分析，并介紹了數據中心中網絡設備、制冷設備、電源設備等節(jié)能方法。隨著節(jié)能減排以及降低成本的迫切要求，越來越多的數據中心將采用虛擬化技術，虛擬化技術是云計算的重要技術之一。

當前虛擬化數據中心節(jié)能還存在很多問題，例如虛擬服務器本身的節(jié)能管理等。隨著研究的深入，現階段的研究者越來越關注通過利用虛擬機調度，關閉多余的服務器來節(jié)省整個集群消耗的電能或者提出節(jié)能的網絡路由算法，關閉多余的網絡設備來節(jié)省整個網絡消耗的電能。

參考文獻

[1]KATACHALAM V V，FRANZM.Power reduction techniques for microprocessor systems [J].ACM Computing Surveys（CSUR），2005，37（3）： 195-237.

[2]PALLIPADI V，STARIKOVSKIY A.The ondemand governor[C].Proceedings ofthe Linux Symposium.Canada： LS 2006：658-672.

[3]ZENG H， ELLIS C S， LEBECK A R.A Vahdat.ECOSystem： managing energyasafirstclassoperating system resource[J].ACM SIGPLAN Notices，2002，37（10）：123-132.

[4]RAJKUMAR R， JUVVA K， MOLANO A， et al.Resource kernels： A resource-centric approach to real-time and multimedia systems[C].Readings in multimedia computing and networking.San Jose/CA： ACADEMIC PRESS， 2001：476-490.

[5]ELNOZAHY E， KISTLER M， RAJAMONY R.Energy-Efficient server clusters [J]. Power-Aware Computer Systemspp.2003，2325：179-197.

[6]GARG SK， YEO C S， ANANDASIVAM A， etal.Environment-conscious scheduling of HPC applications on distributed cloud-oriented data centers[J].Journal of Parallel and Distributed Computing， 2010，71（6）：732-749.

[7]PINHEIRO E， BIANCHINI R， CARRERA E V， et al.Load balancing and unbalancing for power and performance in cluster-based systems[C].Proceedings of the Workshop on Compilers and Operating Systems for Low Power.Barcelona：COLP 01， 2001：182-195.

[8]KUSIC D， KEPHART J O， HANSON J E， et al.Power and performance management of virtualized computing environments vialookahead control， clustercomputing[J].Cluster Computing， 2009， 12（1）： 1-15.

[9]VINH T， SATO Y， INOGUCHI Y.A Prediction-Based Green Scheduler for Datacenters in Clouds[EB/OL].[2011-02-23].http：//ino-www.jaist.ac.jp/members/duytvt/IEICE2011.pdf.

[10]BELOGLAZOV A，BUYYA R.Energy efficient allocation of virtual machine in cloud data centers[C].2010 10th IEEE/ACM International Conference on Cluster，Cloud and Grid Computing.Washington DC：IEEE Computer Society，2010：577-578.

[11]SONG Y，WANG H，LI Y，et al.Multi-tiered on-demand resource scheduling for VM-Based data center[C].Proceedings of the 9th IEEE/ACM International Symposium on ClusterComputing and the Grid.Washington：IEEE Computer Society Press， 2009：148-155.

[12]SRIKANTAIAH S， KANSAL A， Zhao Feng.Energy-aware consolidation for cloud computing[C].Proceedings of the 2008 conference on Power aware computing and systems.California： USENIX Association Berkeley， 2008：10-10.

[13]CHASE J S， ANDERSON D C， THAKAR P N， et al.Managing energy and server resources in hosting centers[C].Proceedings of the 18th ACM Symposium on Operating Systems Principles.New York： ACM New York， 2001：103–116.

[14]GMACH D， ROLIA J， CHERKASOVAL， et al.Resource pool management： reactive versus proactiveor let’s be friends[J].Computer Networks， 2009， 53（7）：2905-2922.

[15]GUPTA M，SINGH S.Using low-power modes for energy conservation in ethernet LANs[C].Proceedingsof26th IEEE InternationalConferenceon Computer.Anchorage：IEEE， 2007： 2451-2455.

[16]NEDEVSCHIS， POPA L， IANNACCONE G， etal.Reducing network energy consumption via sleeping and rate-adaptation [C].Proceedings ofthe 5th USENIX Symposium on Networked Systems Design and Implementation.California：USENIX Association Berkeley， 2008：323-336.

[17]CHRISTENSENK， NORDMANB， BROWNR.Power management in networked devices[J].Computer，37（8）：91-93.

[18]Shang Yunfei， Li Dan， Xu Mingwei.Green routing in data center network：modeling and algorithm Design[EB/OL].[2011-03-25].http：//www.asiafi.net/meeting/2010/summerschool/p/asiafi2010s-final2.pdf.

[19]BELOGLZOV A，BUYYA R.Energyefficientresource management in virtualized cloud data centers[C].Proceedings of the 10th IEEE/ACM International Conference on Cluster，Cloud and Grid Computing.Melbourne： IEEE， 2010：826-831.

[20]BELOGLZOV A， ABAWAJY J， BUYYA R.Energy-aware resource allocation heuristics for efficient management of data centers for cloud computing[EB/OL]. [2011-03-20].http：//beloglazov.info/papers/2010-energy-aware-fgcs.pdf.

[21]BELOGLZOV A，BUYYA R.Adaptivethreshold-based approach for energy-efficient consolidation of virtual machines in cloud data centers[C].Proceedings of the 8th International Workshop on Middleware for Grids，Clouds and e-Science.New York：ACM， 2010.

[22]CHIARAVIGLIO L， MELLIA M， NERI F.Energy-aware networks： reducing powerconsumption by switching off network elements[EB/OL].[2011-04-20].http：//cloudbus.org/papers/AdaptiveVMCloud-MGC2010.pdf.

[23]RESTREPO J C，GRUBER C G，MACHUCA C M.Energy profile aware routing[C].IEEE International Conference on Communications Workshops（2009）.Dresden： IEEE， 2009：1-5.

[24]GARROPPO R G， GIORADANO S， NENCIONI G， et al.Energy aware routing based on energy characterization of devices： solutions and analysis[EB/OL].[2011-03-30].http：//networking.disi.unitn.it/cavalese2011/papers/51.pdf.

[25]PANARELLO C，LOMBARDO A， SCHEMBRA G.Energy saving and network performance：a trade-off approach[C].Proceedings of the 1st International Conference on Energy-EfficientComputingandNetworking.New York： ACM，2010：41-50.

[26]MAHMOODIT.Energy-awareroutinginthecognitive packet network[J].Performance Evaluation， 2011， 68（4）：338-346.

[27]GELENBE E.Cognitive Packet network[P].U.S：Patent 6804201，2004-04-11.

[28]GELENBE E，MORFOPOULOU C.RoutingandGNetworks to qptimise energy and quality of service in packet networks[J].Lecture Notes of the Institute for Computing Sciences， Social Informatics and Telecommunications Engineering， 2011， 54（4）： 163-173.