王悅悅，謝曉蘭，郭 楊，覃承友，陳超泉

(桂林理工大學(xué)信息科學(xué)與工程學(xué)院，桂林 541006)

目前，以Docker和Kubernetes為主流的容器云平臺因其運維自動化、部署簡單方便和資源動態(tài)調(diào)度的特點而廣受好評。作為云平臺中重要的容器編排工具，Kubernetes需要將各種云資源合理均衡地分配給各個容器，以保證容器中的虛擬機可以及時地對云用戶申請的云服務(wù)請求作出響應(yīng)?？僧?dāng)云平臺在短時間內(nèi)需要響應(yīng)大量服務(wù)請求時，Kubernetes內(nèi)部的資源分配策略無法均衡準(zhǔn)確地調(diào)度云資源，容易產(chǎn)生過度供應(yīng)或者供應(yīng)不足的情況，從而導(dǎo)致資源利用率差、請求響應(yīng)不及時等問題[1]。

為了能更好地解決以上問題，需要讓Kubernetes在提前知道資源需求的情況下進行更精準(zhǔn)均衡的調(diào)度和分配云資源，從而可以讓容器中的虛擬機能夠及時、準(zhǔn)確地對任務(wù)請求做出響應(yīng)。所以，資源預(yù)測是讓Kubernetes合理均衡地調(diào)度和分配資源的關(guān)鍵方法。

近年來也有不少學(xué)者關(guān)于資源預(yù)測提出了有效的實現(xiàn)方法和預(yù)測模型。傳統(tǒng)的預(yù)測模型多采用神經(jīng)網(wǎng)絡(luò)和機器學(xué)習(xí)等方法[2]。Li等[3]將執(zhí)行時間分成動態(tài)的和靜態(tài)的，然后使用反向傳播(back propagation，BP)神經(jīng)網(wǎng)絡(luò)從歷史數(shù)據(jù)中預(yù)測未來時刻的動態(tài)執(zhí)行時間；Mason等[4]利用智能算法全局尋優(yōu)的特點去優(yōu)化遞歸神經(jīng)網(wǎng)絡(luò)，經(jīng)試驗證明，優(yōu)化模型可在短時間內(nèi)甚至極端變化情況下預(yù)測CPU使用率；徐翔燕等[5]提出通過賦權(quán)值構(gòu)建基于GM(1,1)和支持向量機(support vector machine，SVM)的組合預(yù)測模型，使用標(biāo)準(zhǔn)差法確定兩種單一模型的權(quán)值，實驗表明組合模型的預(yù)測效果優(yōu)于單一模型。

有學(xué)者表明，云資源的數(shù)據(jù)序列和時間有著一定的關(guān)系[6]，也有不少學(xué)者使用時間序列模型進行處理。Chen等[7]提出先對歷史數(shù)據(jù)進行了一種預(yù)處理，即通過經(jīng)驗?zāi)B(tài)分解法將不同頻率的數(shù)據(jù)分離開來，然后將分解后的趨勢項和殘差項分別使用差分自回歸移動平均模型(autoregressive integrated moving average mode，ARIMA)進行預(yù)測；Kumar等[8]考慮到中長期時間序列數(shù)據(jù)，使用了長短期記憶(long short-term memory，LSTM)網(wǎng)絡(luò)模型對云系統(tǒng)的負載資源進行預(yù)測，并取得了一定的效果；韓朋等[9]為長短期記憶網(wǎng)絡(luò)加入注意力機制，不僅能夠處理時間序列變量，還可以對長短期記憶網(wǎng)絡(luò)的權(quán)重進行優(yōu)化，提高模型的準(zhǔn)確度。

為了能夠及時準(zhǔn)確地對大任務(wù)量的請求作出響應(yīng)，同時避免因資源供應(yīng)不均衡而造成的資源浪費和服務(wù)水平協(xié)議(service-level agreement，SLA)違約情況，一個合理且效果良好的資源預(yù)測模型是非常有必要的[10]。針對以上情況，現(xiàn)提出一種基于改進卷積神經(jīng)網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)的云資源預(yù)測模型，使用融合卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)和長短期記憶網(wǎng)絡(luò)特點的聯(lián)合模型去預(yù)測容器云資源未來時刻的情況，同時自適應(yīng)調(diào)整模型學(xué)習(xí)率的變化情況，使其適應(yīng)模型需要，提高模型的預(yù)測精度。

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種可以同時學(xué)習(xí)眾多特征的深度神經(jīng)網(wǎng)絡(luò)，目前已被廣泛應(yīng)用到圖像處理、語音識別和資源預(yù)測等方面。一個卷積神經(jīng)網(wǎng)絡(luò)可由一個或多個卷積層、池化層、全連接層組成[11]。一般使用一維CNN處理時間序列數(shù)據(jù)和自然語言任務(wù)就能得到很好的效果，二維CNN多用于圖像處理方面，能很好地提取圖像特征。因此，選擇一維卷積神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)如圖1所示，其中，sample指輸入數(shù)據(jù)的樣本數(shù)，step指數(shù)據(jù)的維度。

CNN的一大特點就是其內(nèi)部的卷積層與池化層的共同配合作用，這種配合使得CNN能充分地學(xué)習(xí)總結(jié)歷史數(shù)據(jù)內(nèi)部的抽象特征信息。從圖1中可以看到，一組時間序列數(shù)據(jù)需要先轉(zhuǎn)化成卷積神經(jīng)網(wǎng)絡(luò)易處理的矩陣形式再傳入卷積層；卷積層中，使用事先指定類型的卷積核對輸入信息進行卷積計算，激活時序數(shù)據(jù)的特征，根據(jù)卷積核的數(shù)量可以提取時序數(shù)據(jù)的多層特征信息；緊接著，將提取的特征信息傳入池化層進行信息的再采樣，此時每層信息經(jīng)池化層的“總結(jié)”轉(zhuǎn)為序列更短更精細的信息數(shù)據(jù)；最后，數(shù)據(jù)進入全連接層，將多維的輸入一維化。根據(jù)不同的需求將此操作反復(fù)不同的次數(shù)，即可實現(xiàn)對數(shù)據(jù)的充分學(xué)習(xí)。對于特征信息的提取可由式(1)計算得到，即

圖1 一維CNN結(jié)構(gòu)Fig.1 One dimensional CNN structure

(1)

除了特殊的網(wǎng)絡(luò)結(jié)構(gòu)之外，CNN還具有權(quán)值共享的特點。不同的神經(jīng)元之間共享同一個卷積濾波器的參數(shù)，可選擇多種濾波器進行多種特征的并行卷積學(xué)習(xí)，可以極大地減少網(wǎng)絡(luò)中冗雜的參數(shù)，避免模型的過擬合現(xiàn)象。

2 長短期記憶網(wǎng)絡(luò)

長短期記憶網(wǎng)絡(luò)可以對云資源的歷史時間序列進行長短期相關(guān)性的學(xué)習(xí)[12]。相比傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)，其內(nèi)部增加的“門”結(jié)構(gòu)可避免對中長期時間序列學(xué)習(xí)所造成的梯度消失或者梯度爆炸現(xiàn)象。LSTM網(wǎng)絡(luò)的一個記憶單元包括遺忘門、輸入門、輸出門和單元狀態(tài)4個關(guān)鍵元素[13]，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 LSTM網(wǎng)絡(luò)的記憶單元結(jié)構(gòu)Fig.2 Memory unit structure of LSTM network

當(dāng)歷史序列x(t)與上一時刻的輸出h(t-1)組合進入LSTM網(wǎng)絡(luò)中時，網(wǎng)絡(luò)中記憶單元開始對數(shù)據(jù)進行學(xué)習(xí)，各“門”結(jié)構(gòu)開始展開工作。計算新進入的序列信息是否有用，只有符合規(guī)則的信息 才會被留下，不符合算法規(guī)則的信息就會被遺忘門遺忘。留下的有用信息和輸入門的信息進行規(guī)則組合，并且與這一時刻輸出門所計算得到的輸出O(t)共同作用得到了此時刻記憶網(wǎng)絡(luò)的輸出信息h(t)。眾多神經(jīng)元如此反復(fù)進行學(xué)習(xí)，LSTM網(wǎng)絡(luò)便可以“記住”時間序列上的有用信息，從單元狀態(tài)中丟棄部分無用信息[14]。其學(xué)習(xí)過程中各關(guān)鍵元素的計算公式如式(2)～式(7)所示。

ft=σ(Wf[ht-1,xt]+bf)

(2)

it=σ(Wi[ht-1,xt]+bi)

(3)

ot=σ(Wo[ht-1,xt]+bo)

(4)

(5)

ht=ot*g(Ct)

(6)

(7)

式中：Wf、Wi、Wo、Wc分別為遺忘門、輸入門、輸出門和單元狀態(tài)的權(quán)重矩陣；bf、bi、bo、bc分別為遺忘門、輸入門、輸出門和單元狀態(tài)的偏置值；σ、g為兩種激活函數(shù)，可根據(jù)需要選擇效果較好的函數(shù)；·為點乘運算；*為卷積運算。

3 基于自適應(yīng)神經(jīng)網(wǎng)絡(luò)的云資源預(yù)測模型

3.1 模型設(shè)計

傳統(tǒng)的組合預(yù)測模型多采用權(quán)重賦值的方法，對不同的單一模型根據(jù)其預(yù)測情況賦權(quán)值[15]，然后對兩個或多個單一模型進行組合預(yù)測，雖然取得一定的效果，但是每個模型在整個數(shù)據(jù)上的學(xué)習(xí)能力不斷變化，使用固定的權(quán)重會影響模型整體的效果，而且選擇一個合適的權(quán)重也是一個具有挑戰(zhàn)性的問題。雖然后來有眾多學(xué)者針對權(quán)重的選取做了一些研究，但是總體工作量較大，也無法保證固定的權(quán)重在整個模型訓(xùn)練中能表現(xiàn)出同樣的優(yōu)勢。

因此，選擇為LSTM網(wǎng)絡(luò)增加卷積層的方式來進行時序數(shù)據(jù)的學(xué)習(xí)，通過融合兩個不同的神經(jīng)網(wǎng)絡(luò)的特點，讓模型充分挖掘歷史時間數(shù)據(jù)中的特征信息，從而達到更好的效果。

傳統(tǒng)的LSTM網(wǎng)絡(luò)雖然可以學(xué)習(xí)中長期時間序列的數(shù)據(jù)特征，但是大規(guī)模的數(shù)據(jù)在長期的時序?qū)W習(xí)中會導(dǎo)致遺忘門“遺忘”部分有用的信息，造成網(wǎng)絡(luò)學(xué)習(xí)效果退化。而卷積神經(jīng)網(wǎng)絡(luò)中特殊的卷積層可以對歷史數(shù)據(jù)挖掘更多更深層次的特征信息。因此，在數(shù)據(jù)進入LSTM網(wǎng)絡(luò)之前，先利用卷積神經(jīng)網(wǎng)絡(luò)中的卷積層對數(shù)據(jù)信息進行充分的挖掘和學(xué)習(xí)，使時序數(shù)據(jù)中的特征充分顯現(xiàn)，然后再傳入LSTM層進行時間相關(guān)性的學(xué)習(xí)，使模型能夠更加準(zhǔn)確的預(yù)測未來某一時刻的數(shù)據(jù)。融合CNN和LSTM網(wǎng)絡(luò)特點的聯(lián)合模型(convolutional neural network and long short-term memory network，CNN-LSTM)的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 聯(lián)合模型網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Network structure of union model

從圖3可以看到，選擇兩個卷積層進行前期的特征學(xué)習(xí)，充分學(xué)習(xí)到數(shù)據(jù)的特征信息后進入池化層進行特征總結(jié)，flatten層用于將池化層的輸出降維至一維，以此來適應(yīng)LSTM層的輸入格式。最后將卷積神經(jīng)網(wǎng)絡(luò)處理后的輸出數(shù)據(jù)再作為LSTM網(wǎng)絡(luò)的輸入，進行時間相關(guān)性的學(xué)習(xí)。因為前期CNN已經(jīng)利用卷積層和池化層輸出了更多復(fù)雜特征的激活映射，所以LSTM網(wǎng)絡(luò)便能夠?qū)W習(xí)到時序數(shù)據(jù)上更為隱蔽的信息，從而提升模型效果，增加模型預(yù)測精度。

3.2 自適應(yīng)學(xué)習(xí)率

學(xué)習(xí)率(learning rate，lr)是神經(jīng)網(wǎng)絡(luò)中影響較大的一個超參數(shù)，極小的變化都能夠影響神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效果[16]。自適應(yīng)學(xué)習(xí)率可以讓神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中根據(jù)網(wǎng)絡(luò)的訓(xùn)練情況對學(xué)習(xí)率進行調(diào)整，使其能夠達到更好地訓(xùn)練目標(biāo)。以損失函數(shù)作為參照函數(shù)：當(dāng)損失函數(shù)的下降率趨于穩(wěn)定，可以減小學(xué)習(xí)率衰減的速度，讓網(wǎng)絡(luò)進行全局范圍內(nèi)尋優(yōu)；當(dāng)損失函數(shù)值下降逐步降低，甚至開始出現(xiàn)震蕩，可以不斷減小學(xué)習(xí)率，使用較小的學(xué)習(xí)率進行探索，提高網(wǎng)絡(luò)整體的收斂性。

針對學(xué)習(xí)率的以上特點，以損失函數(shù)值是否出現(xiàn)震蕩為指標(biāo)將神經(jīng)網(wǎng)絡(luò)的訓(xùn)練期分為兩段：訓(xùn)練前期，損失函數(shù)值沒有震蕩情況，此時指標(biāo)flag為0，這時根據(jù)損失函數(shù)值的變化量來適當(dāng)加快或減慢學(xué)習(xí)率的衰減速度，保證神經(jīng)網(wǎng)絡(luò)的收斂速度；當(dāng)損失函數(shù)值出現(xiàn)震蕩，此時flag為1，訓(xùn)練進入后期，模型趨于收斂，使用較小的學(xué)習(xí)率并逐步遞減，提高模型的預(yù)測精度。

考慮到訓(xùn)練前期損失函數(shù)值穩(wěn)定下降，其變化量對于學(xué)習(xí)率的衰減速度具備有效的影響，因此訓(xùn)練前期，以損失函數(shù)值的變化量為自變量給出學(xué)習(xí)率的衰減系數(shù)，利用損失函數(shù)值的變化量判斷模型的學(xué)習(xí)狀態(tài)，使學(xué)習(xí)率呈現(xiàn)先快速減小再緩慢減小的趨勢，從而讓模型可以在不同的狀態(tài)中具有不同的學(xué)習(xí)能力。但是訓(xùn)練后期的時候，損失函數(shù)出現(xiàn)震蕩情況，其變化量不具備有效影響，通過讓學(xué)習(xí)率根據(jù)世代(epoch)的變化動態(tài)調(diào)整為較小的值，可更大地滿足模型的需求。綜上，學(xué)習(xí)率計算公式為

(8)

式(8)中：ΔL為損失函數(shù)值的變化量；e為自然常數(shù)；?為一個常數(shù)，代表了模型訓(xùn)練后期學(xué)習(xí)率下降的初始值，根據(jù)模型實際訓(xùn)練情況調(diào)整數(shù)值，令其為0.001。

為了更直觀地體現(xiàn)出學(xué)習(xí)率在整個訓(xùn)練期的自適應(yīng)調(diào)整情況，以其中一次的學(xué)習(xí)率變化為例，如圖4所示。

圖4 訓(xùn)練期的學(xué)習(xí)率變化情況Fig.4 Changes of learning rate during training period

從圖4中可以看到，學(xué)習(xí)率在訓(xùn)練前期穩(wěn)定下降，衰減速度相對穩(wěn)定，神經(jīng)網(wǎng)絡(luò)持續(xù)全局尋優(yōu)來優(yōu)化模型；大概第17個世代時，模型出現(xiàn)震蕩，神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)為局部尋優(yōu)，此時學(xué)習(xí)率驟減，并使用較小的學(xué)習(xí)率緩慢減小以保證模型尋得更優(yōu)值，達到更高預(yù)測精度的要求。

4 實驗結(jié)果及分析

實驗使用Win10操作系統(tǒng)，Intel(R)Core(TM)i7-9750H CPU @2.60 GHz 2.59 GHz,8 GB內(nèi)存，深度學(xué)習(xí)調(diào)用以Tensorflow1.2.1為后端的Keras模塊。

為了檢驗所提模型的效果，選取傳統(tǒng)的單一模型CNN、考慮時間相關(guān)性的單一模型LSTM、以文獻[5]方法為基礎(chǔ)進行賦權(quán)值的組合模型和未進行學(xué)習(xí)率改進的聯(lián)合模型(CNN-LSTM)作為對比，將以上4種模型與所提模型(ICNN-LSTM)進行比較試驗。考慮到模型權(quán)值隨機，預(yù)測結(jié)果具有偶然性的可能，對比實驗對每個模型獨立測試10次，分別記錄模型預(yù)測數(shù)據(jù)，根據(jù)模型測試數(shù)據(jù)，計算10次所得到的平均值作為最終結(jié)果進行對比分析。

4.1 實驗數(shù)據(jù)和參數(shù)設(shè)置

實驗數(shù)據(jù)集選取Microsoft Azure跟蹤的公開發(fā)行版，內(nèi)容是2017年的某一服務(wù)中的虛擬機工作負載跟蹤，記錄時間為30 d，記錄間隔為5 min。因為需要分配的資源中CPU資源對資源調(diào)度和請求響應(yīng)效果的影響較大，故以CPU使用率的變化情況為例進行測試，選取數(shù)據(jù)集的前25 d進行訓(xùn)練，最后5 d進行測試。在使用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)之前，需要先對實驗數(shù)據(jù)進行缺失值處理和重復(fù)時間戳處理，以保證完整的時間序列數(shù)據(jù)。同時為了避免不同的量綱對測試實驗造成任何消極的影響，統(tǒng)一對數(shù)據(jù)進行了歸一化處理。

對神經(jīng)網(wǎng)絡(luò)的參數(shù)進行多次實驗調(diào)整選取較優(yōu)的一組參數(shù)，同時為保證對比實驗的有效性，實驗對所有對比模型的固定參數(shù)采用相同的值進行測試：卷積層的filters為32，kernel size為3，LSTM層的單元數(shù)為50，批處理數(shù)為32，激活函數(shù)使用RELU函數(shù)，并且統(tǒng)一使用Adam優(yōu)化器進行模型處理。

4.2 預(yù)測結(jié)果分析

首先將5種模型的預(yù)測值與實際值進行對比，觀察模型的總體預(yù)測情況，如圖5所示。選取數(shù)據(jù)集的間隔時間為橫坐標(biāo)，CPU使用率的值為縱坐標(biāo)，而且為了避免模型預(yù)測結(jié)果的偶然性造成的誤差，每個模型單獨測試10次之后的平均值作為最終的預(yù)測結(jié)果。

圖5 5種模型的預(yù)測值與實際值對比圖Fig.5 Comparison of predicted value and actual value of five models

如圖5所示，5種模型都大致預(yù)測出時間序列未來一段時間的變化情況。LSTM、CNN和文獻[5]的預(yù)測模型都能大致預(yù)測出數(shù)據(jù)的走向，但是在大部分峰值處的表現(xiàn)較差。以極端情況第197個時間采樣點為例，實際CPU使用率為83.81%，LSTM、CNN和文獻[5]的預(yù)測結(jié)果在78%左右，而CNN-LSTM和ICNN-LSTM模型的預(yù)測結(jié)果均為82%左右，由此可以看出融合了CNN和LSTM的特點的聯(lián)合模型在極端峰值處也有較好的擬合情況，具有較好的穩(wěn)定性。另外，在數(shù)據(jù)頻繁抖動的時間采樣點處，ICNN-LSTM模型比CNN-LSTM模型的預(yù)測結(jié)果更加接近于真實值，這也證實了加入自適應(yīng)學(xué)習(xí)率的ICNN-LSTM模型在一定程度上提高了模型的預(yù)測精度。

4.3 預(yù)測誤差分析

為了進一步驗證所提模型的性能，使用4種評價指標(biāo)對誤差進行分析，從而比較模型的預(yù)測精度：評價值越小，則模型誤差越小，模型準(zhǔn)確度越高。這4種指標(biāo)分別是均方根誤差(root mean square error，RMSE)、平均絕對值百分比誤差(mean absolute percentage error，MAPE)、平均均方誤差(mean square error，MSE)和平均絕對誤差(mean absolute error，MAE)，其值可通過式(9)～式(12)計算求得。

(9)

(10)

(11)

(12)

表1列出了5種模型的模型評價值，通過比較3種不同的模型的模型評價值來去更直接地對比3種模型的預(yù)測精度情況，其結(jié)果如表1所示。

對于數(shù)據(jù)量較大的預(yù)測情況，LSTM在考慮時間相關(guān)性較容易出現(xiàn)梯度爆炸情況。從表1可以看出，擁有較大特征學(xué)習(xí)能力的CNN和考慮時間相關(guān)性的LSTM的表現(xiàn)相差不大，而文獻[5]提出的組合模型方法對單一模型的預(yù)測精度的提高也是有限的。以均方根誤差為例，CNN、LSTM和文獻[5]方法的預(yù)測誤差最優(yōu)僅為0.934 9，下降了2.63%。CNN-LSTM模型表現(xiàn)較好，預(yù)測誤差為0.834 9，下降了13.04%。而ICNN-LSTM模型的預(yù)測誤差僅為0.784 8，下降了18.27%模型的預(yù)測精度有了顯著提高。

表1 5種模型的模型評價值結(jié)果Table 1 Evaluation results of five models

除此之外，對5種模型的訓(xùn)練時間進行對比，其結(jié)果如表2所示。

表2 5種模型的訓(xùn)練時間情況Table 2 Training time of five models

從表2可以看出，LSTM模型在考慮時間相關(guān)性的情況下花費了大量時間，訓(xùn)練時間較久。同是單一模型，相比LSTM，CNN因其卷積層的特征提取和網(wǎng)絡(luò)的并行性學(xué)習(xí)等特點在花費時間上占據(jù)較大優(yōu)勢。而聯(lián)合模型融合CNN和LSTM網(wǎng)絡(luò)的特點，雖然較CNN模型訓(xùn)練時間有所增長，但是增長量不大，尤其是本文提出的加入自適應(yīng)學(xué)習(xí)率的聯(lián)合模型ICNN-LSTM，在較大幅度提高模型精度的情況下，訓(xùn)練時間也僅多花費0.1 s，可以看出，提出的模型在模型性能方面得到了一定的優(yōu)化。

5 結(jié)論

提出一種基于自適應(yīng)神經(jīng)網(wǎng)絡(luò)的云資源預(yù)測模型，可以提前了解未來的資源需求情況，從而做到更及時準(zhǔn)確地對云資源進行調(diào)度和分配，避免了資源供求不均衡等問題。該模型將CNN和LSTM網(wǎng)絡(luò)進行聯(lián)合，讓CNN先對數(shù)據(jù)進行特征激活提取學(xué)習(xí)后再讓LSTM網(wǎng)絡(luò)進行時序?qū)W習(xí)，增強了模型的學(xué)習(xí)效果和預(yù)測性能；同時讓模型的學(xué)習(xí)率依據(jù)sigmoid函數(shù)變化在訓(xùn)練過程中遵循先大后小的特點，從而讓模型在不同的學(xué)習(xí)階段具有不同的學(xué)習(xí)能力，提高了模型最終的預(yù)測精度。在訓(xùn)練時間僅為25.178 1 s的情況下，所提模型的均方根誤差相較于單一模型CNN、LSTM、文獻[5]的組合模型和未加入自適應(yīng)學(xué)習(xí)率的CNN-LSTM模型分別下降了17.74%、18.27%、16.01%和6%，從而證明所提模型的預(yù)測性能有了明顯提高，具有實際應(yīng)用價值。