盧洪明,劉先鋒,周 舟,梁 賽

1(湖南師范大學 信息科學與工程學院,長沙 410081)

2(長沙學院 計算機工程與應用數(shù)學學院,長沙 410022)

1 背景介紹

近年來,大數(shù)據(jù)、人工智能、云計算等新興技術發(fā)展迅猛,數(shù)據(jù)中心作為支撐這些技術的基礎設施,數(shù)量和規(guī)模都得到了空前的發(fā)展.Synergy Research發(fā)布的數(shù)據(jù)顯示[1],到2020年底,全球大型數(shù)據(jù)中心總數(shù)已增至597個,達到了2015年的兩倍.數(shù)據(jù)中心數(shù)量迅速增長帶來了兩方面問題:1)數(shù)據(jù)中心的運營能耗日益龐大.統(tǒng)計結果表明[2],2020年,我國數(shù)據(jù)中心的總耗電量為2000億千瓦時,已超過社會總用電量的2%.預計到2025年,占比將增加一倍,達到4.05%;2)社會的環(huán)保壓力日益沉重;報告顯示,在2019年全球數(shù)據(jù)中心的碳排放量約占碳排放總量的2%,相當于全球航空業(yè)的碳排放量[3].數(shù)據(jù)中心在能耗消耗巨大的同時資源利用率卻極低,相關數(shù)據(jù)顯示[4],目前數(shù)據(jù)中心的資源利用率通常在5%-25%之間[5],造成了資源的浪費.數(shù)據(jù)中心能耗組成主要包括服務器、制冷系統(tǒng)、照明設備以及一些其他能耗設備,其中數(shù)據(jù)中心能耗的50%以上來自服務器能耗,并且其它組件的能耗也與服務器能耗相關,數(shù)據(jù)中心由成百上千臺服務器構成,因此針對單臺服務器能耗的研究就可以優(yōu)化整個數(shù)據(jù)中心的能耗.為了提高資源利用率和降低數(shù)據(jù)中心服務器的能耗,節(jié)能優(yōu)化算法被廣泛使用,能耗預測模型作為節(jié)能優(yōu)化算法的基礎,對優(yōu)化算法的好壞至關重要,精確的能耗預測模型也有利于優(yōu)化算法的建立.

本文旨在設計一個高精度的服務器能耗預測模型.為此,本文提出了一種基于支持向量機[6]與隨機森林特征選擇的服務器能耗模型[7].與現(xiàn)有方法相比,本文提出的能耗模型能夠有效地預測在服務器上執(zhí)行的不同類型負載任務的能耗,且精度更高.本文中貢獻主要如下:

1)設計了能耗建模流程,包括數(shù)據(jù)采樣、特征抽取、特征選擇、模型建立和訓練、模型評估與分析.

2)本文使用隨機森林算法進行特征選擇,分別選擇了27個(CPU密集型任務)、26個(I/O密集型任務)、26個(WEB事務型任務)與能耗相關的特征建立和訓練模型.

3)本文通過大量實驗驗證了該算法在CPU密集型任務、I/O密集型任務和Web事務型任務上的表現(xiàn),即分別在所提出的模型上進行訓練,并在測試數(shù)據(jù)集上對其進行全面評估.實驗結果顯示,本文所提出能耗模型的預測能力比其他基準模型更準確.

2 相關研究

建立一個準確的服務器能耗模型可以有效的降低數(shù)據(jù)中心能耗,精確的能耗預測模型不僅是優(yōu)化算法的基礎,而且還直接影響到能耗感知優(yōu)化的結果[8].目前國內外學者對能耗模型的研究可分為兩類:一類是基于系統(tǒng)資源利用率的能耗模型,另一類是基于性能計數(shù)器的能耗模型.

在基于系統(tǒng)資源利用率的能耗模型中[9-12],利用系統(tǒng)主要組件的利用率來進行能耗建模,如通過服務器的中央處理器(CPU)、內存和磁盤等建立資源利用率與系統(tǒng)能耗之間的函數(shù)關系來建立能耗模型,這種方法具有簡單直接、計算開銷小、可移植性高等特點.文獻[9]結合多元線性回歸、逐步回歸、非線性回歸等多種回歸方法,總結分析不同參數(shù)對能耗模型的影響,結果表明采用多項式的非線性模型預測精度更好.在文獻[10]中,作者基于回歸方法和系統(tǒng)資源的利用率,提出了多種服務器能耗模型,并充分考慮了不同負載任務類型,即CPU密集型任務、I/O密集型任務和Web事務型任務對能耗的影響.文獻[11]在線性能耗模型的基礎上提出了一種改進的能耗模型(Cubic Model),該模型認為服務器的能耗與處理器不應是簡單的線性關系,而是立方關系.在文獻[12]中,作者討論了在處理器、內存、磁盤和其他主要組件中提取參數(shù)的能耗模型,這種方法的優(yōu)點是簡單,只需收集幾個關鍵參數(shù)即可創(chuàng)建能耗模型.然而,該能耗模型對不同載荷波動變化的適應性較差,精度也較低,不適應實際負載的使用情況.

隨著虛擬化技術的發(fā)展和工作負載的變化,建立一個純基于系統(tǒng)資源利用的能耗模型并不十分準確.近年來,很多的學者也開始關注基于PMC的能耗建模方法[13-19].這種建模方法的主要內容是根據(jù)PMC與各設備能耗的關系,針對不同設備(包括處理器、內存、磁盤、I/O等外部設備)選擇最具代表性的“PMC集合”,然后,通過統(tǒng)計分析,建立PMC集合與設備功耗之間的函數(shù)關系,這種關系可以是線性的,也可以是非線性的,再根據(jù)確定的關系建立能耗模型,最后對建立的模型進行評估和驗證.具體來說,根據(jù)回歸技術的差異,文獻[13]將比較分析了線性模型和非線性模型,實驗比較結果顯示,非線性模型的預測精度更好,但計算開銷較大.文獻[14]提出了一個功耗模型,該模型將服務器的功耗表示為CPU、內存、磁盤和網(wǎng)卡的總和.文獻[15]通過分析服務器各組件的參數(shù)后選取了合適的參數(shù)建立CMP模型,實驗結果表明,CMP模型的預測精度要優(yōu)于傳統(tǒng)的FAN模型和Cubic模型.文獻[16]提出了一種基于細粒度性能計數(shù)器建立能耗模型的方法,該模型選取了多達200個能代表系統(tǒng)運行狀態(tài)的特征,再用多元線性回歸對該模型進行求解,該方法建立的功耗模型在3個不同平臺上實驗結果的最大誤差均小于4%,且針對每個平臺使用3組不同的采樣數(shù)據(jù)組合進行模型求解,得到的有效特征集合完全一致,證明了模型的穩(wěn)定性.除了這些傳統(tǒng)的數(shù)學模型外,近年來越來越多的研究者嘗試將機器學習技術[17]應用到數(shù)據(jù)中心的能耗研究中,文獻[18]提出了一種基于特征選擇和深度學習的能耗模型FSDL,該模型結合特征選擇與深度學習的方法,得到的能耗模型預測精度優(yōu)化傳統(tǒng)模型,但是該模型易產(chǎn)生過擬合的情況.在文獻[19]中,作者分別基于BP神經(jīng)網(wǎng)絡、LSTM神經(jīng)網(wǎng)絡和Elman神經(jīng)網(wǎng)絡建立了TW_BP_PM、MLSTM-PM、ENN-PM 3種功耗模型,并且比較了3種功耗模型在不同的任務負載下的預測精度,最后在綜合考慮預測精度與訓練開銷的情況下,ENN-PM優(yōu)于TW_BP_PM和MLSTM-PM.

3 基于SVM的RGS能耗模型

3.1 能耗建模的基本流程

圖1介紹了服務器能耗建模的基本流程.它包括5個步驟:數(shù)據(jù)采樣、特征提取、特征選擇、模型建立和訓練、模型評估和分析.數(shù)據(jù)采樣步驟是從服務器采集負載特征參數(shù)和能耗相關數(shù)據(jù).特征抽取步驟是篩選與能耗相關的特征,而特征選擇步驟用于選擇一個子集相關特征.模型構建和訓練是開發(fā)能耗型的必要步驟.本文對服務器構建能耗模型并進行訓練,訓練完成后進行模型性能評估以驗證模型的穩(wěn)健性和有效性,最后,將此能耗模型與其他能耗模型在不同類型的負載任務上比較,驗證模型的可行性.在以下小節(jié)中,本文將介紹這些步驟的詳細信息.

圖1 能耗建模流程圖Fig.1 Flow chart of energy consumption modeling

3.2 數(shù)據(jù)采樣

數(shù)據(jù)采樣是建立精確能耗模型的前提.圖2展示了本文的數(shù)據(jù)采樣過程.主要包括電源、智能電表、被測服務器和記錄設備.在圖2中,智能電表分別連接電源和被測試服務器.

圖2 數(shù)據(jù)采樣圖Fig.2 Data sampling diagram

智能電表的主要功能是獲取測試服務器的能耗數(shù)據(jù),并通過記錄設備保存數(shù)據(jù),同時記錄設備也收集服務器負載特征數(shù)據(jù).一般來說,數(shù)據(jù)采樣可以使用兩種方法.第一種方法基于系統(tǒng)資源利率,另一種方法基于PMC方法.為了及時獲取服務器的工作狀態(tài)并收集實驗數(shù)據(jù),對服務器的性能指標進行監(jiān)控和管理具有十分重要的意義,常用的監(jiān)控軟件有Ganglia、Zabbix、Nagios等.Ganglia是一個可擴展分布式監(jiān)控系統(tǒng),主要用于收集系統(tǒng)級信息,包括CPU使用情況、磁盤使用情況等;Zabbix是一款可對網(wǎng)絡、操作系統(tǒng)和應用程序進行監(jiān)控的開源工具,它可以監(jiān)控諸如CPU負載、網(wǎng)絡使用情況、磁盤空間等統(tǒng)計信息,但是它會導致過多的系統(tǒng)開銷;Nagios是一個開源監(jiān)控程序.考慮到服務器中一個單獨性能監(jiān)控工具的局限性和缺陷,如何設計一個綜合解決方案,在系統(tǒng)開銷和監(jiān)控指標的范圍之間取得平衡尤為重要,為此,本文提出了一個由Ganglia和Zabbix 組成的聯(lián)合監(jiān)控方法.這些組件的主要優(yōu)點如下:Ganglia可以實時監(jiān)視集群的基本性能指標,系統(tǒng)開銷低,對相關服務的性能沒有影響;Zabbix支持二次定制開發(fā),以監(jiān)視各種所需的性能參數(shù).這種綜合監(jiān)測方法有效地融合了各自的優(yōu)勢,不僅共同監(jiān)測更多樣化的能源相關指標,還確保了較低的總體系統(tǒng)開銷.

在數(shù)據(jù)采樣過程中,每隔5s采樣一次,并同步采樣服務器的負載相關數(shù)據(jù),采樣完成后對采樣數(shù)據(jù)進行統(tǒng)計和處理,使樣本數(shù)據(jù)滿足方差齊性、正態(tài)分布和獨立性的要求.同時為了更好的訓練模型,對收集到的原始數(shù)據(jù)進行Min-Max標準方法將其歸一化在[0,1]區(qū)間,具體公式如下所示:

(1)

式(1)中,變量x′表示標準化后的值,變量x表示原始數(shù)據(jù),變量xmin表示樣本中最小值,變量xmax表示樣本中最大值.

3.3 特征抽取

特征抽取負責篩選與能耗建模相關的特征.例如,“CPU idle time”功能表示中央處理器空閑時間的百分比,“Page faults/sec”功能表示進程中執(zhí)行線程導致的頁面錯誤率,“Disk Time”功能表示磁盤用于輸入/輸出操作上花費的時間百分比.通過在服務器部署Ganglia和Zabbix軟件獲取所有特征參數(shù).特征提取完成后,本文需要選擇一個合適的特征子集.

選擇合適的特征是建立精確能耗模型的必要步驟.在本文中,總共采集29個特征參數(shù)來建立能耗模型.表1描述了論文中使用的特征參數(shù).本文使用“Ganglia”和“Zabbix”軟件收集了所有這些參數(shù).根據(jù)負載的不同,任務分為CPU密集型、I/O密集型和WEB事務型.這些任務類型的示例見表4.例如,“SPEC CPU2006”基準是評估計算機在真實應用中計算性能的有效工具,通常被認為是CPU密集型任務的代表.同樣,“Iozone”是I/O密集型的代表.

表1 特征參數(shù)Table 1 Characteristic parameters

3.4 特征選擇

隨機森林(Random Forest,簡稱RF)算法[20]是利用決策樹對樣本進行分類、訓練并預測的一種算法,在對數(shù)據(jù)進行分類時,還能計算各特征的重要性,具有準確性高、訓練速度快等優(yōu)點.考慮到RF算法的優(yōu)點,本文將其用于“能耗參數(shù)”的篩選.RF算法的示意圖如圖3所示.隨機森林計算特征重要性的步驟如下:

圖3 RF算法Fig.3 RF algorithm

a)對于每一顆決策樹,選擇對應的袋外數(shù)據(jù)統(tǒng)計計算結果與實際值之間的誤差,記為error1.

b)對每一個特征,隨機的加入噪聲,再次計算相應的誤差,記為error2.

c)假設森林中有N棵樹,則特征X的重要性=

∑(error2-error1)/N

(2)

d)最后篩選出重要性高的特征作為新的數(shù)據(jù)集.

經(jīng)過RF算法后得到了各特征的重要性量比如表2所示,當重要性量比低于1%時,可認為這個特征對服務器能耗的貢獻可以忽略,所以本文以1%為選取的分界限,分別對CPU密集型數(shù)據(jù)取27個特征,I/O密集型數(shù)據(jù)取26個特征,WEB事務型數(shù)據(jù)取26個特征.

表2 特征重要性量比Table 2 Feature importance ratio

3.5 RGS能耗模型

服務器能耗因受到調度策略和資源利用率等諸多因素的影響,具有非線性和不確定性等特點,普通的線性模型很難反映其變化規(guī)律,在機器學習算法中,SVM(Support Vector Machines)算法能較好的解決非線性問題,因此,本文采用SVM算法來建立能耗模型.目前,大部分能耗模型的研究僅給出了能耗預測值,無法較好的描述服務器能耗的不確定性,本文引入了一種使用誤差置信區(qū)間來描述能耗不確定性的方法.所以本文采用隨機森林特征選擇與網(wǎng)格搜索優(yōu)化后的SVM模型建立能耗模型(記為RGS).

3.5.1 SVM算法

支持向量機(Support Vector Machines,簡稱SVM)是一類使用監(jiān)督學習對數(shù)據(jù)進行二分類的機器學習方法,同時,它也常用于處理回歸問題.在處理回歸問題時,SVM算法會根據(jù)訓練樣本的數(shù)據(jù)逼近回歸函數(shù),回歸函數(shù)如下:

f(x)=〈w,g(x)〉+b

(3)

式(3)中:w表示權值向量;x表示輸入向量;g(x)表示映射函數(shù);b為常數(shù).

求解下面的二次規(guī)劃問題可以確定w和b[21]:

(4)

(5)

使用隱式的核函數(shù)g(x),將非線性問題映射到高維空間,從而在高維空間進行運算,可以解決非線性問題.為解決數(shù)據(jù)中心能耗于特征參數(shù)間的非線性關聯(lián),本文選擇RBF(徑向基函數(shù))為核函數(shù),這是因為RBF處理非線性問題優(yōu)于其它核函數(shù),且所需參數(shù)較少,RBF公式如下:

(6)

C、ε及γ被稱為模型超參數(shù),不斷調節(jié)這些超參數(shù)可以優(yōu)化模型性能.

3.5.2 網(wǎng)格搜索法

網(wǎng)格搜索法(Grid Search,簡稱GS)是窮舉搜索法的一種,即將模型超參數(shù)通過交叉驗證進行優(yōu)化來獲得最優(yōu)參數(shù)組合的學習算法.目前常用的調參方法有傳統(tǒng)手工搜索法、隨機搜索法、貝葉斯搜索法、網(wǎng)格搜索法等.其中傳統(tǒng)手工搜索法耗時較長,隨機搜索法往往難以得到最優(yōu)的參數(shù),貝葉斯搜索法需要較多的樣本空間,而網(wǎng)格搜索法在搜索足夠的廣度的同時,計算開銷較小.因此,本文在綜合考慮其他算法優(yōu)缺點后采用“網(wǎng)格搜索法”來調節(jié)模型超參數(shù).GS方法的基本原理是將各個參數(shù)的取值進行排列組合,列出所有可能取值形成網(wǎng)格,然后將各種可能取值用于SVM模型訓練.

4 實驗與結果分析

為了在真實環(huán)境中實驗,本文使用了一臺服務器進行試驗,得到經(jīng)過預處理的數(shù)據(jù)后,再使用這些數(shù)據(jù)在另一臺電腦上進行訓練和評估模型,實驗環(huán)境詳細配置見表3.本文選擇了3種不同類型的負載任務,包括CPU密集型工作負載、I/O密集型工作負載、WEB事務型工作負載(見表4),共采集到CPU密集型、I/O密集型、WEB事務型數(shù)據(jù)各3000條.先將數(shù)據(jù)歸一化處理后再將數(shù)據(jù)集按照80%、20%劃分“訓練集”和“測試集”,對訓練集進行參數(shù)搜索和建模,對測試集進行結果預測以檢驗模型性能.本文使用機器學習庫中的sklearn包來建立SVM能耗模型,該算法有默認的參數(shù)值C=1、γ=0.036及ε=0.1[22].本文在默認的參數(shù)值附近建立網(wǎng)格,網(wǎng)格的參數(shù)值如下:C∈{0.01,0.05,0.1,0.5,1,5,10,50,100}、γ∈{0.001,0.005,0.01,0.05.0.1,0.5,1,5,10}及ε∈{0.001,0.005,0.01,0.05.0.1,0.5,1,5,10},這些節(jié)點組成9×9×9的網(wǎng)格,再使用五折交叉驗證法來評估模型性能,為了提升模型的整體擬合能力,選擇R2作為優(yōu)化指標.

表4 不同負載基準Table 4 Different load benchmarks

4.1 模型性能評價

本文的模型性能評價指標采用平均絕對百分比誤差(MAPE)、均方根誤差(RMSE)和決定系數(shù)(R2).其中,MAPE描述了誤誤差值的相對大小.RMSE反映了真實值與預測值的誤差大小.R2的值越大模型性能越好.MAPE、RMSE、R2的計算公式如下:

(7)

(8)

(9)

4.2 SVM與Grid Search性能評估(1)

分別對CPU密集型、I/O密集型、WEB事務型的任務進行能耗建模后,會得到一個能耗預測模型,再將“訓練集”和“測試集”帶入模型中驗證,用以檢驗模型的擬合能力和預測能力.為了評估模型性能,本文在相同實驗環(huán)境下對默認參數(shù)的SVM(標記為RS)與使用GS優(yōu)化參數(shù)后的SVM模型(標記為RGS)進行比較,結果如表5所示.在3種不同負載任務下,RGS的模型擬合性能及模型預測性能都比RS模型要好,說明使用GS方法后模型的性能得到了優(yōu)化.同一個模型不同負載任務之間均有差異,WEB事務型任務的模型擬合性能及模型預測性能均優(yōu)于CPU密集型任務和I/O密集型任務.從表5可以看出,RGS在不同類型的負載任務預測時,模型的超參數(shù)也不相同.在模型性能方面,RS的MAPE平均值為8.72%,R2的平均值為0.937.RGS的MAPE平均值為2.17%,R2的平均值為0.963,模型未解釋方差比(1-R2)降低了41.3%,說明加入GS方法可以提升模型的性能.

表5 模型性能比較Table 5 Model performance comparison

4.3 SVM與Grid Search性能評估(2)-基于模型擬合的誤差區(qū)間預測

圖4顯示了不同任務類型下的實時預測能耗和真實能耗.表6列出了RGS的預測誤差,評價標準包括MAPE和RMSE.從表6的數(shù)據(jù)可以看出,對于CPU密集型的工作負載,MAPE是3.10%,RMSE是3.05.對于I/O密集型的數(shù)據(jù),MAPE是1.79%,RMSE是1.18.對于WEB事務型數(shù)據(jù),MAPE是1.43%,RMSE是2.19.

表6 模型預測誤差Table 6 Model prediction error

圖4 不同負載下能耗預測Fig.4 Energy consumption prediction under different types of workloads

在得到能耗模型預測后,為了描述服務器能耗的不確定性,本文采用了誤差置信區(qū)間方法.將RGS模型擬合的誤差e看作隨機變量,使用置信度為(1-α)置信區(qū)間[eα/2,e1-α/2],eα/2、e1-α/2分別表示上、下分位點.將置信區(qū)間引入后,能耗預測值就可以用預測區(qū)間來表示.預測區(qū)間展示了在外界因素影響下服務器能耗值的波動界限.將得到的能耗預測誤差值按時間排序,取α=0.1,分別取誤差值位于序列95%和5%的值作為置信區(qū)間上下限,可以得到一個置信度為0.9的置信區(qū)間.能耗預測值加上對應時刻的誤差上、下限后,形成能耗預測區(qū)間,如圖5所示,若預測值位于預測區(qū)間內,可理解為誤差為0,即能準確預測能耗.若預測值在預測區(qū)間外,則需要重新計算誤差.本文同時也關注在整個預測過程中預測值在預測區(qū)間內的比例Pin.對于不同負載任務類型的能耗模型,分別統(tǒng)計MAPE和Pin,結果如表7所示,MAPE<1.4%,Pin>88%,可看出服務器能耗預測值基本都在預測區(qū)間內.使用區(qū)間預測方法能更好的反應服務器運行能耗預測,可以看出RGS模型在不同負載任務下的測試中預測性能均較優(yōu)且差異小,可為服務器運行能耗預測及優(yōu)化提供參考.

表7 模型預測區(qū)間誤差Table 7 Model prediction interval error

圖5 不同負載下能耗預測區(qū)間Fig.5 Energy consumption prediction interval under different types of workloads

4.4 與其它能耗模型對比

為了評估模型的準確性,本文在相同的實驗環(huán)境(見表3)和標準數(shù)據(jù)集Benchmarks(見表4)上展開,在訓練模型PC上分別用不同方法進行建模,得到預測能耗與實際能耗的誤差后,再比較不同能耗模型的預測精度,將本文提出的RGS能耗模型與Cubic能耗模型[11]、CMP能耗模型[15]、FS-DL能耗模型[18]、ENN-PM能耗模型[19]、ECMS能耗模型[23]進行比較分析,結果如圖6和圖7所示,其表明,RGS能耗模型在3種不同負載任務下都具有最高預測精度,且與其他5種模型相比,MAPE平均降低了2.9%,RMSE平均降低了2.7.這是因為RGS能耗模型選擇了更多的特征參數(shù),使用了RF算法篩選特征,結合了網(wǎng)格搜索法和支持向量機進行建模,說明了本文所提出的能耗模型有效.

圖6 各能耗模型的MAPEFig.6 MAPE of each energy consumption model

圖7 各能耗模型的RMSEFig.7 RMSE of each energy consumption model

5 總 結

本文提出了一種基于機器學習方法的服務器實時能耗預測方法,用于解決云數(shù)據(jù)中心服務器的能耗難以預測的問題,實驗結果表明其可有效預測云數(shù)據(jù)中心服務器能耗以及能耗變化趨勢.本文所提出的能耗模型精度提升的原因可歸結于:1)所提出的能耗模型考慮了任務的特征,針對不同負載類型的任務分別建模;2)使用了RF算法篩選能耗相關特征;3)使用GS方法優(yōu)化SVM算法的超參數(shù);4)使用能耗預測區(qū)間替換能耗預測值.

本文所提出的能耗模型可為云數(shù)據(jù)中心服務器能耗預測提供指導,同時該能耗模型也可以對節(jié)能優(yōu)化算法的評估提供參考.本文提出的能耗模型未考慮“混合負載”情況,將在后續(xù)的研究中進一步探索和實驗.