錢(qián)聲攀，于 洋，翟天一，張徐東，常彥博

（1.中國(guó)電力科學(xué)研究院有限公司信息通信研究所，北京 100192；2.中國(guó)科學(xué)院計(jì)算技術(shù)研究所，北京 100190；3.中國(guó)科學(xué)院大學(xué) 人工智能學(xué)院，北京 100049）

0 概述

信息技術(shù)水平的提高使得計(jì)算模式由最初集中交付式發(fā)展為云計(jì)算模式［1］，云計(jì)算［2］是新一輪IT革命的標(biāo)志性成果，已經(jīng)成為社會(huì)創(chuàng)新發(fā)展的戰(zhàn)略性關(guān)鍵技術(shù)和平臺(tái)。作為云計(jì)算物理承載基礎(chǔ)的數(shù)據(jù)中心，近年來(lái)其不論在規(guī)模還是數(shù)量上都得到了快速發(fā)展，并已被相關(guān)行業(yè)廣泛采用，但是，數(shù)據(jù)中心中的許多問(wèn)題尚未得到完全解決，行業(yè)應(yīng)用中仍面臨各種問(wèn)題和挑戰(zhàn)［3-4］，這些問(wèn)題集中體現(xiàn)在2 個(gè)方面，一是數(shù)據(jù)中心給運(yùn)營(yíng)商帶來(lái)了日益龐大的電力開(kāi)銷(xiāo)，相關(guān)統(tǒng)計(jì)結(jié)果表明［5］，2014 年美國(guó)數(shù)據(jù)中心電能消耗總量占據(jù)全美全年總耗電量的1.8%，預(yù)計(jì)到2020 年，全球數(shù)據(jù)中心耗電量將占到當(dāng)年全球總耗電量的8%［6］；二是大型數(shù)據(jù)中心給社會(huì)帶來(lái)了沉重的環(huán)保壓力，全球環(huán)保組織（GeSI）估計(jì)，到2020 年數(shù)據(jù)中心溫室氣體排放總量將占到IT 領(lǐng)域總排放量的18%［7］。因此，在提供高質(zhì)量服務(wù)的同時(shí)如何降低數(shù)據(jù)中心對(duì)資源的消耗以及對(duì)環(huán)境的負(fù)面影響，成為近年來(lái)學(xué)術(shù)界和工業(yè)界廣泛關(guān)注的焦點(diǎn)。

目前，常見(jiàn)的降低數(shù)據(jù)中心能耗的措施是根據(jù)數(shù)據(jù)中心當(dāng)前負(fù)載情況進(jìn)行硬件資源調(diào)度，使得數(shù)據(jù)中心在保證服務(wù)質(zhì)量的前提下盡可能高效使用硬件資源，將空轉(zhuǎn)服務(wù)器進(jìn)行休眠或者關(guān)機(jī)從而降低能耗。由于到達(dá)數(shù)據(jù)中心的任務(wù)量是一個(gè)隨機(jī)值，隨時(shí)都在發(fā)生變化，因此主機(jī)負(fù)載也在不斷變化，準(zhǔn)確預(yù)測(cè)負(fù)載就成為降低數(shù)據(jù)中心硬件資源消耗的關(guān)鍵所在。

與傳統(tǒng)的網(wǎng)格系統(tǒng)或HPC 相比［8］，承載云計(jì)算的數(shù)據(jù)中心任務(wù)提交頻率較高，且任務(wù)長(zhǎng)度大約只有網(wǎng)格計(jì)算任務(wù)長(zhǎng)度的。因此，云計(jì)算數(shù)據(jù)中心在任務(wù)調(diào)度和資源分配方面更加靈活，從而導(dǎo)致主機(jī)負(fù)載具有噪聲高和波動(dòng)大的特點(diǎn)。另外，由于不同數(shù)據(jù)中心所承載的任務(wù)不同，其主機(jī)負(fù)載波動(dòng)情況和影響主機(jī)負(fù)載的主要因素也都不同。研究結(jié)果表明［9-11］，在網(wǎng)格系統(tǒng)中表現(xiàn)良好的主機(jī)負(fù)載預(yù)測(cè)方法很難在云計(jì)算數(shù)據(jù)中心中獲得較好的精度。文獻(xiàn)［12-13］中的模型雖然能夠在具體數(shù)據(jù)中心中獲得一個(gè)較高的準(zhǔn)確度，但在不同數(shù)據(jù)中心中仍然需要對(duì)模型進(jìn)程重新訓(xùn)練。因此，設(shè)計(jì)一個(gè)能自適應(yīng)具體數(shù)據(jù)中心特點(diǎn)的在線(xiàn)學(xué)習(xí)模型具有重要意義。

本文建立一種基于深度循環(huán)神經(jīng)網(wǎng)絡(luò)編碼器-解碼器（GRU-ED）的多步在線(xiàn)預(yù)測(cè)模型。設(shè)計(jì)一個(gè)監(jiān)控模塊，對(duì)在線(xiàn)模型輸出進(jìn)行實(shí)時(shí)監(jiān)控，從而及時(shí)調(diào)整學(xué)習(xí)速率并回滾到歷史狀態(tài)。利用實(shí)際數(shù)據(jù)中心所監(jiān)控的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，以驗(yàn)證多步在線(xiàn)預(yù)測(cè)模型的可行性。

1 相關(guān)工作

準(zhǔn)確預(yù)測(cè)主機(jī)負(fù)載在諸如動(dòng)態(tài)資源分配、虛擬機(jī)調(diào)度和能耗管理等方面具有重要意義，因此，近年來(lái)很多學(xué)者對(duì)主機(jī)負(fù)載預(yù)測(cè)進(jìn)行了研究。主機(jī)負(fù)載預(yù)測(cè)主要分為單步預(yù)測(cè)和多步預(yù)測(cè)，多步預(yù)測(cè)指通過(guò)一段給定的歷史信息一次性預(yù)測(cè)未來(lái)的多個(gè)主機(jī)負(fù)載值，從而避免使用多次迭代所造成的誤差累計(jì)。

針對(duì)傳統(tǒng)網(wǎng)格系統(tǒng)或HPC 系統(tǒng)，有很多有效的主機(jī)預(yù)測(cè)方法。文獻(xiàn)［9］提出一種在網(wǎng)格系統(tǒng)中基于馬爾科夫模型的單步主機(jī)負(fù)載預(yù)測(cè)方法。文獻(xiàn)［11］建立一種基于卡爾曼濾波和自回歸的多步預(yù)測(cè)模型，其能夠預(yù)測(cè)未來(lái)多步主機(jī)負(fù)載。文獻(xiàn)［10］將人工神經(jīng)網(wǎng)絡(luò)（ANN）應(yīng)用于主機(jī)負(fù)載預(yù)測(cè)任務(wù)，與線(xiàn)性模型和基于趨勢(shì)的模型相比，ANN 將主機(jī)負(fù)載預(yù)測(cè)的誤差和標(biāo)準(zhǔn)差分別降低了60%和70%。

與網(wǎng)格系統(tǒng)相比，數(shù)據(jù)中心的任務(wù)請(qǐng)求更加頻繁且任務(wù)長(zhǎng)度更短，主機(jī)負(fù)載具有更大的波動(dòng)，導(dǎo)致基于傳統(tǒng)網(wǎng)格系統(tǒng)的主機(jī)負(fù)載預(yù)測(cè)方法很難在數(shù)據(jù)中心環(huán)境中取得較好的預(yù)測(cè)性能。如文獻(xiàn)［14］提出的線(xiàn)性回歸模型、文獻(xiàn)［15］提出的差分整合移動(dòng)平均自回歸模型（ARIMA）等，均無(wú)法從歷史負(fù)載數(shù)據(jù)中提取足夠的特征信息，導(dǎo)致預(yù)測(cè)精度較低。

近年來(lái)，數(shù)據(jù)中心中主機(jī)負(fù)載預(yù)測(cè)取得了很多成果。文獻(xiàn)［16］提出一種基于支持向量機(jī)（SVM）的預(yù)測(cè)模型，該模型利用混合遺傳算法和粒子群算法來(lái)選擇最優(yōu)參數(shù)，從而訓(xùn)練得到一個(gè)性能較好的預(yù)測(cè)模型。文獻(xiàn)［17］提出一種混合模型HARMA-E，其使用ARMA 模型實(shí)現(xiàn)預(yù)測(cè)，然后使用ENN 模型對(duì)ARMA 模型的誤差進(jìn)行預(yù)測(cè)，最終得到一個(gè)修正誤差之后的預(yù)測(cè)值，但是在實(shí)際使用中，ENN 可能會(huì)出現(xiàn)梯度消失或梯度爆炸問(wèn)題而導(dǎo)致算法性能不穩(wěn)定。文獻(xiàn)［18］提出一種基于樸素貝葉斯的預(yù)測(cè)模型，為了能夠充分刻畫(huà)主機(jī)負(fù)載波動(dòng)程度，該文設(shè)計(jì)9 個(gè)用來(lái)描繪主機(jī)負(fù)載波動(dòng)的特征。但是，該模型并未充分考慮歷史信息對(duì)當(dāng)前負(fù)載可能產(chǎn)生的影響，并且手動(dòng)設(shè)計(jì)的特征很難真正刻畫(huà)主機(jī)負(fù)載的實(shí)際波動(dòng)情況，因此，該模型實(shí)際中只使用了其中的2 個(gè)特征進(jìn)行訓(xùn)練。文獻(xiàn)［19］提出一種基于ESN（Echo State Network）的多步主機(jī)負(fù)載預(yù)測(cè)方法，ESN 的基本思想是使用隨機(jī)、大型且稀疏的動(dòng)態(tài)矩陣作為非線(xiàn)性高維擴(kuò)展并同時(shí)對(duì)輸入進(jìn)行長(zhǎng)期存儲(chǔ)。文獻(xiàn)［12］提出基于長(zhǎng)短期記憶（LSTM）網(wǎng)絡(luò)的負(fù)載預(yù)測(cè)模型，其大幅提升了模型在多步預(yù)測(cè)中的性能。

以上研究都重點(diǎn)關(guān)注離線(xiàn)模型訓(xùn)練，即已經(jīng)存在足夠多的訓(xùn)練數(shù)據(jù)，通過(guò)改變模型架構(gòu)或設(shè)計(jì)新的預(yù)測(cè)方法來(lái)提升預(yù)測(cè)精度。然而，不同數(shù)據(jù)中心所承擔(dān)的任務(wù)特征不同，例如計(jì)算密集型和IO 密集型數(shù)據(jù)中心所采用的硬件存在區(qū)別，同時(shí)，位于不同地點(diǎn)的數(shù)據(jù)中心也會(huì)受到物理環(huán)境的影響，如氣候、海拔等。因此，不存在一種在所有數(shù)據(jù)中心中都通用的預(yù)測(cè)模型，同一個(gè)模型在不同數(shù)據(jù)中心中進(jìn)行切換往往需要重新訓(xùn)練。此外，離線(xiàn)模型所有訓(xùn)練工作都在線(xiàn)下完成，需要事先采集到足夠多的歷史數(shù)據(jù)，但由于數(shù)據(jù)中心長(zhǎng)時(shí)間運(yùn)行，導(dǎo)致影響數(shù)據(jù)中心主機(jī)負(fù)載的因素有很多，如季節(jié)、年份、硬件損耗程度等，這些因素都需要模型具有一定的自適應(yīng)性，自動(dòng)調(diào)節(jié)模型參數(shù)以適應(yīng)變化的環(huán)境。

為解決上述問(wèn)題，本文設(shè)計(jì)一種基于深度循環(huán)神經(jīng)網(wǎng)絡(luò)編碼器-解碼器的多步在線(xiàn)預(yù)測(cè)模型。使用編碼器來(lái)學(xué)習(xí)序列歷史信息，利用在線(xiàn)學(xué)習(xí)特性使得模型可以在進(jìn)行簡(jiǎn)單預(yù)訓(xùn)練之后部署到數(shù)據(jù)中心，利用數(shù)據(jù)中心實(shí)時(shí)數(shù)據(jù)對(duì)模型進(jìn)行快速調(diào)整以適應(yīng)數(shù)據(jù)中心的特定環(huán)境。此外，模型使用解碼器對(duì)序列進(jìn)行預(yù)測(cè)，利用GRU 降低計(jì)算復(fù)雜度，并設(shè)計(jì)一個(gè)實(shí)時(shí)監(jiān)控模塊對(duì)模型預(yù)測(cè)結(jié)果進(jìn)行評(píng)估，靈活調(diào)整模型學(xué)習(xí)率并在必要時(shí)使得模型回滾到歷史狀態(tài)。

2 數(shù)據(jù)中心主機(jī)負(fù)載多步在線(xiàn)預(yù)測(cè)模型

2.1 模型框架

如圖1 所示，在線(xiàn)預(yù)測(cè)模型主要包含歷史負(fù)載信息、預(yù)訓(xùn)練模型、負(fù)載采集系統(tǒng)、在線(xiàn)模型和監(jiān)控系統(tǒng)5 個(gè)相關(guān)模塊。歷史負(fù)載信息是用于預(yù)訓(xùn)練的少量數(shù)據(jù)中心主機(jī)負(fù)載信息。預(yù)訓(xùn)練模型是通過(guò)少量負(fù)載信息進(jìn)行訓(xùn)練的通用預(yù)測(cè)模型，預(yù)訓(xùn)練在線(xiàn)部署后成為在線(xiàn)模型。負(fù)載采集系統(tǒng)是數(shù)據(jù)中心主機(jī)負(fù)載采集模塊，用來(lái)采集并存儲(chǔ)主機(jī)相關(guān)負(fù)載信息，并將處理后的信息實(shí)時(shí)傳遞給在線(xiàn)模型。監(jiān)控模塊對(duì)在線(xiàn)模型輸出進(jìn)行實(shí)時(shí)評(píng)估，并對(duì)在線(xiàn)模型做出相應(yīng)調(diào)整。

圖1 在線(xiàn)預(yù)測(cè)模型框架Fig.1 Framework of online prediction model

給定一段歷史負(fù)載信息，通過(guò)一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）輸出下一個(gè)時(shí)間點(diǎn)或多個(gè)時(shí)間點(diǎn)的負(fù)載信息。其中，歷史負(fù)載信息被固定為相同大小，預(yù)測(cè)值可以是未來(lái)一個(gè)或多個(gè)時(shí)間點(diǎn)的負(fù)載值或未來(lái)一段時(shí)間的平均值。為了更好地刻畫(huà)主機(jī)負(fù)載的歷史信息，本文設(shè)計(jì)一個(gè)循環(huán)門(mén)單元-編碼器解碼器（GRUED）模型，其結(jié)構(gòu)如圖2 所示。

圖2 GRU-ED 模型結(jié)構(gòu)Fig.2 GRU-ED model structure

2.2 循環(huán)神經(jīng)網(wǎng)絡(luò)

本文所使用的GRU 和文獻(xiàn)［12］所使用的LSTM同屬于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）。本質(zhì)上而言，與主機(jī)負(fù)載相關(guān)的信息是一個(gè)多維時(shí)間序列，序列中每個(gè)點(diǎn)的維度與所使用的特征個(gè)數(shù)相關(guān)，如果僅使用歷史負(fù)載信息，則每個(gè)點(diǎn)的維度為1；如果在使用歷史負(fù)載信息的同時(shí)也使用CPU 和內(nèi)存信息，則每個(gè)點(diǎn)的維度為3。假設(shè)一個(gè)長(zhǎng)度為t的歷史信息為(xn-t+1,xn-t+2,…,xn)，其中，xn表示當(dāng)前時(shí)間點(diǎn)的負(fù)載信息，則經(jīng)過(guò)GRU 神經(jīng)網(wǎng)絡(luò)之后的m個(gè)預(yù)測(cè)值為傳統(tǒng)的 多層感 知機(jī)模 型（MLP）的目標(biāo)是找到一個(gè)函數(shù)f，使得：

不同的歷史負(fù)載信息將影響負(fù)載預(yù)測(cè)結(jié)果，因此，使用MLP 對(duì)未來(lái)負(fù)載進(jìn)行預(yù)測(cè)很難達(dá)到理想效果。RNN 在不同歷史節(jié)點(diǎn)之間使用共享參數(shù)，并使用一個(gè)隱藏層記錄歷史信息，使得模型可以通過(guò)優(yōu)化算法針對(duì)不同歷史信息選擇不同權(quán)重。

圖3 所示 為RNN 結(jié)構(gòu)，其中，xt指第t個(gè) 時(shí)間的負(fù)載信息，其作為模型輸入，ht是隱藏信息，可以通過(guò)模型傳遞給后面的輸入，ot指t時(shí)刻的輸出，W、U、V均為模型參數(shù)。

圖3 RNN 結(jié)構(gòu)Fig.3 Structure of RNN

RNN 模型前向傳播的公式如下：

RNN在不同歷史節(jié)點(diǎn)之間使用共享參數(shù)(W,U,V)，使得模型可以處理長(zhǎng)度變化的輸入，此外，使用共享參數(shù)可以減少參數(shù)總數(shù)，使得模型具有更好的泛化能力。

在一般情況下，可以使用BPTT（Backpropagation Through Time）［20］算法對(duì)RNN 進(jìn)行訓(xùn)練。然而，傳統(tǒng)的RNN 在序列達(dá)到一定長(zhǎng)度時(shí)會(huì)出現(xiàn)梯度消失或梯度爆炸問(wèn)題，導(dǎo)致信息不能很好地向前傳遞。

2.3 循環(huán)門(mén)單元GRU

本文選擇GRU 代替?zhèn)鹘y(tǒng)RNN 作為訓(xùn)練模型。與傳統(tǒng)RNN 模型相比，GRU 使用不同的Cell 替代tanh 函數(shù)，在GRU Cell 中使用門(mén)限機(jī)制避免長(zhǎng)序依賴(lài)中的梯度消失問(wèn)題。在增加門(mén)限機(jī)制之后，歷史信息能夠以類(lèi)似線(xiàn)性組合的方式提供給當(dāng)前節(jié)點(diǎn)，模型通過(guò)學(xué)習(xí)不同歷史節(jié)點(diǎn)之間的線(xiàn)性組合可以自動(dòng)選擇要記住的歷史信息長(zhǎng)度。因此，相較于傳統(tǒng)RNN，GRU 可以記住更長(zhǎng)的信息，并且GRU Cell 與LSTM 相比少了一個(gè)門(mén)限結(jié)構(gòu)，可以減少訓(xùn)練所需的計(jì)算資源。圖4 所示為GRU Cell 結(jié)構(gòu)。

圖4 GRU Cell 結(jié)構(gòu)Fig.4 GRU Cell structure

與RNN 類(lèi)似，GRU 當(dāng)前節(jié)點(diǎn)的輸出是由輸入和蘊(yùn)含歷史信息的隱藏狀態(tài)生成的。但是，由于增加了門(mén)限，因此歷史信息ht-1能夠更好地向前傳遞。GRU 前向傳播公式如下：

其中：rt被稱(chēng)作復(fù)位門(mén)，用來(lái)控制歷史信息對(duì)當(dāng)前節(jié)點(diǎn)信息的影響程度。由式（6）容易得到，當(dāng)rt→0 時(shí)歷史信息ht-1對(duì)當(dāng)前節(jié)點(diǎn)信息nt的影響可以忽略，而當(dāng)rt→1 時(shí)歷史節(jié)點(diǎn)信息對(duì)當(dāng)前節(jié)點(diǎn)信息nt的影響最大。zt被稱(chēng)作更新門(mén)，用來(lái)控制歷史信息傳遞到未來(lái)節(jié)點(diǎn)的信息量，由式（7）容易得到，當(dāng)zt→0 時(shí)歷史信息不能被傳遞到未來(lái)，而當(dāng)zt→1 時(shí)會(huì)盡可能多地傳遞歷史信息。

圖5 所示為編碼器-解碼器模型結(jié)構(gòu)，其中，Encoder 是編碼器，用來(lái)學(xué)習(xí)完整的歷史表示，通過(guò)訓(xùn)練可以選擇要學(xué)習(xí)的歷史信息，編碼器的輸出ht代表了學(xué)到的完整的主機(jī)負(fù)載歷史信息；Decoder是解碼器，將過(guò)去一段完整的歷史信息ht作為輸入，通過(guò)解碼器來(lái)預(yù)測(cè)未來(lái)一段時(shí)間的主機(jī)負(fù)載信息。通過(guò)使用2 個(gè)RNN 層避免了文獻(xiàn)［12］中不能充分利用歷史信息的問(wèn)題，在實(shí)驗(yàn)中也驗(yàn)證了這一結(jié)論。

圖5 編碼器-解碼器模型結(jié)構(gòu)Fig.5 Encoder-Decoder model structure

2.4 在線(xiàn)模型監(jiān)控系統(tǒng)

本文設(shè)計(jì)一個(gè)在線(xiàn)模型監(jiān)控系統(tǒng)，用以實(shí)時(shí)監(jiān)控模型預(yù)測(cè)性能，根據(jù)預(yù)測(cè)模型的預(yù)測(cè)性能及時(shí)調(diào)整模型學(xué)習(xí)率，并對(duì)模型歷史快照進(jìn)行定時(shí)存儲(chǔ)，在必要時(shí)將模型回滾到某個(gè)歷史快照。

本文采用滑動(dòng)平均值作為判定模型當(dāng)前預(yù)測(cè)性能的指標(biāo)，滑動(dòng)平均值表達(dá)式如下：

其中：vt是t時(shí)刻的滑動(dòng)平均值；β?[0,1)是權(quán)重下降程度；θt是t時(shí)刻的實(shí)際值。式（8）所求是個(gè)時(shí)間點(diǎn)的均值，因此，β也可認(rèn)為是監(jiān)控的預(yù)測(cè)長(zhǎng)度。式（8）中的θt取t時(shí)刻模型的預(yù)測(cè)值和真實(shí)值yt差的平方，則式（8）可以表示為：

在系統(tǒng)中設(shè)置一個(gè)可接受的閾值h和表示監(jiān)控長(zhǎng)度的β，h和β會(huì)根據(jù)不同數(shù)據(jù)中心或不同應(yīng)用場(chǎng)景設(shè)置不同值，可通過(guò)統(tǒng)計(jì)歷史負(fù)載數(shù)據(jù)結(jié)果選擇一個(gè)適合特定系統(tǒng)的h和β，例如，h可設(shè)置為與觀測(cè)值相差5%的一個(gè)值，β可以通過(guò)設(shè)定不同值來(lái)觀察得到一個(gè)較優(yōu)值。在系統(tǒng)運(yùn)行時(shí)，模型輸出和真實(shí)主機(jī)負(fù)載yt不斷傳遞給監(jiān)控模塊，監(jiān)控模塊在收到預(yù)測(cè)模塊數(shù)據(jù)之后，根據(jù)式（9）計(jì)算vt，如果vt≤h，認(rèn)為模型性能良好，不做任何處理；如果vt>h，則對(duì)模型進(jìn)行反饋，設(shè)置一個(gè)更大的學(xué)習(xí)率，使得模型可以盡快適應(yīng)環(huán)境的變化；如果vt遠(yuǎn)遠(yuǎn)超過(guò)h，并且在經(jīng)過(guò)多次反饋預(yù)測(cè)結(jié)果后仍然不能達(dá)到理想的預(yù)測(cè)精度，則可以將模型回滾到某個(gè)歷史快照或?qū)δＰ蛥?shù)進(jìn)行重置以達(dá)到快速重置模型的目的。采用上述3 種不同的粒度反饋機(jī)制，可以對(duì)模型輸出進(jìn)行實(shí)時(shí)監(jiān)控，使模型具備一定的自適應(yīng)能力。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本次實(shí)驗(yàn)采用Google 于2011 年開(kāi)源的數(shù)據(jù)中心監(jiān)控?cái)?shù)據(jù)集［13］，該數(shù)據(jù)集記錄了超過(guò)12 000 臺(tái)服務(wù)器在一個(gè)月內(nèi)的詳細(xì)使用情況，其中包含超過(guò)2.5×107個(gè)任務(wù)的提交時(shí)間和完成時(shí)間以及主機(jī)在此期間的詳細(xì)使用情況。和其他預(yù)測(cè)方法類(lèi)似［12，18］，本文實(shí)驗(yàn)將第1 天～第20 天的數(shù)據(jù)作為訓(xùn)練集，第21天～第26 天的數(shù)據(jù)作為驗(yàn)證集，剩下的數(shù)據(jù)作為測(cè)試集。其中，訓(xùn)練集用來(lái)訓(xùn)練模型參數(shù)，驗(yàn)證集用來(lái)選擇模型超參數(shù)和防止過(guò)擬合發(fā)生，當(dāng)選擇好模型超參數(shù)之后，訓(xùn)練集和驗(yàn)證集一起訓(xùn)練最終的模型，測(cè)試集用來(lái)檢驗(yàn)?zāi)Ｐ托阅?。Google 所開(kāi)源的數(shù)據(jù)中心數(shù)據(jù)包含CPU 利用率、內(nèi)存利用率、磁盤(pán)利用率等在內(nèi)的18 項(xiàng)監(jiān)控?cái)?shù)據(jù)。為了與其他模型作比較，本文只采用主機(jī)CPU 利用率歷史監(jiān)控信息，并且只對(duì)主機(jī)負(fù)載進(jìn)行預(yù)測(cè)。圖6 所示分別為Google 數(shù)據(jù)中心29 d 和12 h 的主機(jī)負(fù)載信息，通過(guò)圖6 能夠看出，相較于傳統(tǒng)網(wǎng)格系統(tǒng)，數(shù)據(jù)中心主機(jī)負(fù)載具有較大的方差和噪音。

圖6 主機(jī)負(fù)載的變化情況Fig.6 Changes of host load

3.2 實(shí)驗(yàn)環(huán)境

本文使用Pytorch 構(gòu)建模型，CPU 為Intel?Xeon?Silver 4110，GPU 為二路 NVIDIA GeForce GTX 1080Ti（11 GB），內(nèi)存32 GB，在Ubuntu 16.04.10 環(huán)境下進(jìn)行實(shí)驗(yàn)，將本文所提模型與ESN 模型以及當(dāng)前最優(yōu)的LSTM 模型進(jìn)行對(duì)比。

3.3 結(jié)果分析

實(shí)驗(yàn)對(duì)Google 數(shù)據(jù)中心中的12 000 臺(tái)機(jī)器進(jìn)行隨機(jī)采樣，選取其中的1 024 臺(tái)機(jī)器進(jìn)行實(shí)驗(yàn)，對(duì)未來(lái)多步進(jìn)行負(fù)載數(shù)值預(yù)測(cè)。與其他模型相同，本文模型采用MSE（Mean Square Error）評(píng)估預(yù)測(cè)結(jié)果，MSE 具體計(jì)算公式如下：

其中：N是樣本個(gè)數(shù)；oi和yi分別是模型預(yù)測(cè)結(jié)果和主機(jī)真實(shí)負(fù)載。圖7 所示為本文模型在不同隱藏層層數(shù)下的MSE 變化，可以看出，當(dāng)隱藏層層數(shù)增加時(shí)模型性能下降，這是由于隨著模型隱藏層層數(shù)的增加，模型復(fù)雜度提升，導(dǎo)致出現(xiàn)過(guò)擬合現(xiàn)象。因此，本文后續(xù)實(shí)驗(yàn)中設(shè)置隱藏層層數(shù)為1。

圖7 隱藏層層數(shù)對(duì)MSN 值的影響Fig.7 Influence of the number of hidden layers on MSN values

圖8 所示為GRU-ED、LSTM、ESN 3 種模型在不同預(yù)測(cè)步長(zhǎng)下的MSE 情況。從圖8 可以看出，隨著預(yù)測(cè)步長(zhǎng)的增加，模型性能有所下降，但本文GRUED 模型性能較傳統(tǒng)LSTM 和ESN 模型有一定提升，原因是本文所使用的編碼器-解碼器模型能夠更好地刻畫(huà)歷史數(shù)據(jù)的波動(dòng)情況以及主機(jī)歷史負(fù)載情況。

圖8 3 種模型的預(yù)測(cè)性能對(duì)比Fig.8 Comparison of prediction performance of three models

4 結(jié)束語(yǔ)

本文構(gòu)建一種基于深度循環(huán)神經(jīng)網(wǎng)絡(luò)編碼器-解碼器的多步在線(xiàn)預(yù)測(cè)模型，該模型采用一定長(zhǎng)度的主機(jī)負(fù)載歷史信息實(shí)時(shí)預(yù)測(cè)未來(lái)多步主機(jī)負(fù)載值，并通過(guò)真實(shí)數(shù)據(jù)中心主機(jī)負(fù)載數(shù)據(jù)驗(yàn)證其可行性。實(shí)驗(yàn)結(jié)果表明，該模型具備一定的自適應(yīng)性，在對(duì)未來(lái)多個(gè)時(shí)間點(diǎn)的負(fù)載信息進(jìn)行預(yù)測(cè)時(shí)，其預(yù)測(cè)準(zhǔn)確性?xún)?yōu)于ESN 和LSTM 模型。但是，本文只考慮主機(jī)CPU 利用率這一個(gè)維度的歷史信息，影響主機(jī)負(fù)載的因素還包括內(nèi)存和網(wǎng)絡(luò)等，因此，下一步將結(jié)合主機(jī)所監(jiān)控的其他維度信息提升模型的預(yù)測(cè)性能。