孟海寧，童新宇，石月開，朱磊，馮鍇，黑新宏

（1.西安理工大學計算機科學與工程學院，陜西 西安 710048；2.陜西省網(wǎng)絡計算與安全技術重點實驗室，陜西 西安 710048）

1 引言

軟件老化是影響軟件系統(tǒng)可靠性的潛在因素，當長期運行的軟件系統(tǒng)存在軟件老化現(xiàn)象時，系統(tǒng)將出現(xiàn)性能下降、異常和錯誤增加，甚至死機[1]。軟件老化是由操作系統(tǒng)可分配資源匱乏、碎片化嚴重以及內(nèi)部錯誤積累（如內(nèi)存泄漏和未釋放的文件資源）造成的，而這些錯誤在軟件測試階段難以檢測和消除[2]。云計算系統(tǒng)的體系結構復雜，系統(tǒng)內(nèi)計算資源的申請和釋放較為頻繁，且云系統(tǒng)長期運行為云用戶提供服務，因此云系統(tǒng)更容易出現(xiàn)軟件老化現(xiàn)象，影響系統(tǒng)可用性和可靠性。

為了避免軟件老化，Huang 等[3]提出了軟件再生。它是一種主動預防性的容錯技術，通過重置軟件系統(tǒng)內(nèi)部狀態(tài)，防止系統(tǒng)未來發(fā)生重大故障。該過程通過有計劃地重啟系統(tǒng)，清理系統(tǒng)運行環(huán)境，使系統(tǒng)恢復到初始健康狀態(tài)。然而軟件再生操作將帶來額外的系統(tǒng)開銷，因此需要選擇最佳時機進行軟件再生。

為了減少軟件再生給系統(tǒng)帶來的時間和資源消耗的成本，學者們對軟件老化趨勢進行預測，計算老化閾值，在系統(tǒng)重大故障發(fā)生之前對系統(tǒng)進行軟件再生。其中，Okamura 等[4]構造了基于馬爾可夫鏈的響應時間序列，評估分布式服務器系統(tǒng)的軟件老化趨勢。Matos 等[5]針對Eucalyptus 云系統(tǒng)老化現(xiàn)象，提出了基于多閾值的時間序列預測方法，該方法求解得到最優(yōu)再生時機，可減少系統(tǒng)停機時間并提高系統(tǒng)可靠性。Islam 等[6]針對亞馬遜EC2云系統(tǒng)，采用神經(jīng)網(wǎng)絡和線性回歸的方法，預測系統(tǒng)資源使用情況，為資源配置策略提供參考依據(jù)。Langner 等[7]發(fā)現(xiàn)運行于同一個基于內(nèi)核的虛擬機（KVM,kernel-based virtual machine）之上的3 個虛擬機（VM,virtula machine）的CPU 占用率逐步升高，物理內(nèi)存和交換區(qū)使用量逐漸消耗，繼而出現(xiàn)VM 上HTTP 請求響應緩慢，最終導致整個系統(tǒng)老化。Kousiouris 等[8]采用人工神經(jīng)網(wǎng)絡的方法，預測云系統(tǒng)中VM 的性能。鄭鵬飛等[9]提出運用多元時間序列模型分析軟件老化的方法。林已杰等[10]針對服務器軟件老化現(xiàn)象，提出了一種基于BP 神經(jīng)網(wǎng)絡和馬爾可夫模型結合的方法對服務器關鍵資源進行預測。

綜上所述，大多數(shù)學者關注時間序列分析或智能算法來預測軟件老化趨勢。時間序列分析法采用自回歸移動平均（ARMA,autoregressive moving average）、粒子濾波等模型進行趨勢預測[11-13]，模型簡單，但所需數(shù)據(jù)量大且對于波動較大的數(shù)據(jù)預測精度較低。智能算法包括神經(jīng)網(wǎng)絡、支持向量機等[14-15]，該類算法在預測時間序列數(shù)據(jù)時，預測精度不高且收斂較慢。因此，僅采用單一模型進行軟件老化預測，很難獲得比較精確的預測結果。

本文探究基于OpenStack[16-17]的云服務器系統(tǒng)的軟件老化問題，為實現(xiàn)軟件再生機制提供理論依據(jù)。本文將整合移動平均自回歸（ARIMA,autoregressive integrated moving average）模型與循環(huán)神經(jīng)網(wǎng)絡（RNN,recurrent neural network）模型結合，得到ARIMA-RNN 組合模型，對云服務器系統(tǒng)老化趨勢進行預測。該方法克服了ARIMA 模型對波動較大的數(shù)據(jù)預測精度較低的局限性，解決了RNN模型預測收斂速度慢的問題，最終實現(xiàn)對云服務器系統(tǒng)的老化預測。此外，本文設計了負載實驗方案，模擬云服務器系統(tǒng)實際工作狀況，選擇云服務器的性能服務參數(shù)響應時間和系統(tǒng)參數(shù)CPU 使用率作為衡量系統(tǒng)老化的重要指標，驗證軟件老化現(xiàn)象的存在，并預測系統(tǒng)老化趨勢。

2 ARIMA-RNN 組合模型預測方法

基于ARIMA-RNN 組合模型的云服務器老化預測方法的工作流程包括4 個基本步驟：數(shù)據(jù)預處理、ARIMA 模型構建及數(shù)據(jù)擬合、RNN 模型構建，以及ARIMA-RNN 組合模型構建及數(shù)據(jù)預測。

2.1 數(shù)據(jù)預處理

對云服務器進行老化預測前，需對數(shù)據(jù)進行歸一化預處理。這是因為云服務器系統(tǒng)性能參數(shù)的時間序列數(shù)據(jù)分布不均勻且數(shù)據(jù)變化幅度（標準差）較大，數(shù)據(jù)中含有奇異樣本數(shù)據(jù)，預測時會減慢網(wǎng)絡的學習和收斂速度。因此本文采用歸一化處理方法，將云服務器原始數(shù)據(jù)映射到[?1,1]，使預測模型收斂速度快，映射轉(zhuǎn)換過程如式(1)所示。

其中，xmax是數(shù)據(jù)的最大值，xmean是數(shù)據(jù)的平均值，X是原始時間序列數(shù)據(jù)，X˙是預處理后的時間序列數(shù)據(jù)。

2.2 ARIMA 模型構建及數(shù)據(jù)擬合

構建ARIMA 模型時，需確定ARIMA 模型中的參數(shù)p、d、q。首先，通過單位根檢驗方法，對序列數(shù)據(jù)進行平穩(wěn)性檢驗，若序列數(shù)據(jù)為非平穩(wěn)時間序列則需反復進行差分處理，直到差分后的時間序列平穩(wěn)為止。然后，計算自相關和偏自相關函數(shù)，確定自回歸項p和移動平均項q的取值范圍。最后，采用赤池信息量準則（AIC,Akaike information criterion）對p和q的取值進行最佳估計，計算對應ARIMA 模型的AIC 值，從而得到最佳ARIMA 模型。其中AIC 值反映了數(shù)據(jù)的擬合效果，AIC 值越小，則數(shù)據(jù)擬合效果越好。采用ARIMA 模型的數(shù)據(jù)預測過程如圖1 所示。

圖1 ARIMA 模型預測流程

2.3 RNN 模型構建

1) RNN 隱藏層數(shù)

首先，RNN 與前饋神經(jīng)網(wǎng)絡（FNN,feedforward neural network）結構相似，具備與FNN 相似的數(shù)據(jù)擬合能力。其次，Hornik 等[18]已證明FNN 只需具備單個隱藏層和有限個神經(jīng)元，即能較高精度地擬合任意復雜度的函數(shù)。因此本文將RNN 模型的隱藏層數(shù)設置為1。

2) RNN 輸入層節(jié)點數(shù)

RNN 模型利用歷史數(shù)據(jù)x(t?1),x(t?2),…,x(t?n)對x(t)進行預測（其中x(t)為時刻t的數(shù)據(jù)值，n為歷史數(shù)據(jù)的個數(shù)）。因此，RNN 模型中輸入層節(jié)點的數(shù)量由選取的歷史數(shù)據(jù)個數(shù)決定?；疑P聯(lián)分析法[19]是衡量序列數(shù)據(jù)相關程度的方法，灰色關聯(lián)系數(shù)越大，則序列數(shù)據(jù)的相關性越強。本文采用灰色關聯(lián)分析法，計算序列數(shù)據(jù)中每個數(shù)據(jù)與若干歷史數(shù)據(jù)的平均相關性，確定與x(t)相關性較強的歷史數(shù)據(jù)作為RNN 模型的輸入，從而確定RNN 網(wǎng)絡輸入層節(jié)點個數(shù)，具體過程如算法1 所示。

算法1時間序列數(shù)據(jù)灰色關聯(lián)分析法

輸入經(jīng)預處理的時間序列數(shù)據(jù)

輸出時間序列數(shù)據(jù)中t時刻的值與歷史值的平均相關系數(shù)

3) RNN 隱藏層節(jié)點數(shù)

本文采用經(jīng)驗法確定神經(jīng)網(wǎng)絡隱藏層節(jié)點數(shù)，經(jīng)驗法如式(2)所示。

其中，h為RNN 模型中隱藏層神經(jīng)元的個數(shù)，m為輸入層神經(jīng)元的個數(shù)，n為輸出層神經(jīng)元的個數(shù)，α∈{0≤x≤10,x∈Z} 。

2.4 ARIMA-RNN 組合模型構建及數(shù)據(jù)預測

ARIMA-RNN 組合模型的拓撲結構如圖2 所示，預測過程如算法2 所示。ARIMA-RNN 組合模型的輸入數(shù)據(jù)由兩部分構成：ARIMA 模型對x(t)的預測值和x(t)的歷史數(shù)據(jù)x(t?1),x(t?2),…,x(t?n)。RNN 模型訓練過程中，誤差函數(shù)采用均方誤差（MSE,mean square error）函數(shù)，如式(3)所示。

圖2 ARIMA-RNN 組合模型拓撲結構

其中，ytrue為實際輸出，ypredictive為期望輸出。

算法2ARIMA-RNN 組合模型預測算法

輸入預處理的時間序列數(shù)據(jù)與ARIMA 模型預測值

輸出預測結果

步驟1使用大小為m（m

步驟2將ARIMA 模型預測得到的數(shù)據(jù)通過式(1)映射到區(qū)間[?1,1]。

步驟3將步驟2 得到的序列數(shù)據(jù)截斷，從第m個時刻開始取值，即α={αm,αm+1,…,αN}，使截斷后的ARIMA 預測數(shù)據(jù)與步驟1 的標簽數(shù)據(jù)y={y m,ym+1,…,yN}相對應。

步驟4將步驟3 得到的數(shù)據(jù)加入步驟1 數(shù)據(jù)集的特征向量，得到Xt=[xt?1,xt?2,…,x t?m,αt]，t=m,m+1,…,n，則ARIMA-RNN 模型的數(shù)據(jù)集為{Xt,yt|t=m,m+1,m+2,…,N}。

步驟5初始化RNN 各個權重矩陣和偏移向量的值。

步驟6計算數(shù)據(jù)集特征向量Xt在ARIMARNN 組合模型中的輸出值。

步驟7依據(jù)式(3)，計算步驟6 中得到預測序列與期望序列之間的誤差，利用反向傳播算法調(diào)整各個權重矩陣和偏移向量的值，使誤差達到最小。

步驟8判斷訓練次數(shù)是否達到最大值或誤差達到閾值，若是則保存調(diào)整好的權重矩陣和偏移向量，轉(zhuǎn)步驟6 并輸出預測結果；否則轉(zhuǎn)至步驟7。

2.5 時間復雜度分析

基于ARIMA-RNN 組合模型的云服務器老化預測方法在預測時間序列數(shù)據(jù)時，將ARIMA 模型的預測值和t?1,t?2,…,t?d時刻的歷史數(shù)據(jù)作為RNN 模型的輸入特征向量。首先通過ARIMA 模型對序列數(shù)據(jù)進行預測，ARIMA 模型預測方法的時間復雜度為O(n) ；然后將特征矩陣X（維度為[n,d]）輸入RNN 模型，與RNN 的隱藏層權重矩陣（維度為[d,w1]）相乘，則時間復雜度為O(ndw1)；最后將相乘結果與輸出層權重矩陣（維度為[w1,1]）相乘，則時間復雜度為O(nw1)。所以總的時間復雜度為

因此本文提出的ARIMA-RNN 組合模型的時間復雜度為O(n)，即線性時間復雜度。

3 實驗結果與分析

為探究基于OpenStack 云服務器的軟件老化現(xiàn)象，實驗中設計負載發(fā)生方案模擬云服務器的實際負載，并收集云服務器的資源和性能數(shù)據(jù)，作為研究軟件老化的實驗數(shù)據(jù)。通過對云服務器的資源和性能數(shù)據(jù)進行老化預測，為軟件再生機制的部署提供理論依據(jù)。

本實驗基于OpenStack 框架和QEMU/KVM 管理程序，實驗系統(tǒng)由一臺云服務器、一臺MySQL數(shù)據(jù)庫服務器及一組模擬客戶端組成，如圖3 所示。云服務器配置環(huán)境為Intel（R）Core（TM）i5-4590 CPU 四核3.3GHz、8GB RAM，操作系統(tǒng)為18.04.1-Ubuntux86_64，云服務器虛擬機上運行的操作系統(tǒng)為Redhat 7.3_64。云服務器端部署了一個基于Webbench 基準測試的Web 網(wǎng)站系統(tǒng)。在客戶端編寫負載腳本，依照Webbench 規(guī)范向云服務器發(fā)送網(wǎng)站商品查詢的請求，同時監(jiān)控并收集云服務器的性能參數(shù)和服務參數(shù)。實驗以響應時間作為老化特征參數(shù)，實驗樣本數(shù)據(jù)為2 230 個，采樣時間間隔為3 s。

圖3 實驗平臺

首先，檢驗云服務器系統(tǒng)是否存在軟件老化。響應時間的數(shù)據(jù)變化反映了云服務器系統(tǒng)運行性能表現(xiàn)狀況，若響應時間隨著系統(tǒng)運行時間的增長而增加，則可認定系統(tǒng)處于老化狀態(tài)[20]。為了分析云服務器系統(tǒng)的老化狀態(tài)，本文采用線性回歸方法擬合響應時間數(shù)據(jù)的變化趨勢，得到參數(shù)w=0.017，b=?0.71。原始序列數(shù)據(jù)和線性回歸趨勢如圖4 所示，可以看出，云服務器在工作負載整體恒定的情況下，隨著時間的推移，服務器的響應時間逐步上升，驗證了云服務器出現(xiàn)軟件老化現(xiàn)象。

圖4 云服務器響應時間數(shù)據(jù)趨勢

其次，實驗中應用ARIMA-RNN 組合模型進行預測，將響應時間數(shù)據(jù)集劃分為訓練集和測試集(其中訓練集為前80%的數(shù)據(jù)集，測試集為后20%的數(shù)據(jù)集)。采用組合模型進行二步老化預測，第一步采用ARIMA 模型對響應時間t時刻的數(shù)據(jù)值做出預測，第二步將ARIMA 模型預測結果值和t時刻之前的響應時間數(shù)據(jù)一并輸入到RNN 模型，得到響應時間t時刻的最終預測值。

3.1 ARIMA 模型預測結果及分析

用ARIMA 模型對響應時間預測時，首先，采用單位根檢驗方法，對響應時間的序列數(shù)據(jù)進行平穩(wěn)性檢驗，確定ARIMA 模型中參數(shù)d的值。經(jīng)過一次差分處理后，單位根檢驗結果如表1 所示。表1中統(tǒng)計量值為?20.567 5，小于3 個置信度（1%，5%，10%）的臨界統(tǒng)計值，P=0，表示拒絕原假設，因此ARIMA 模型差分系數(shù)d=1。

表1 單位根檢驗結果

其次，通過偏自相關和自相關分析，確定自回歸項p和移動平均項q的取值范圍。如圖5 所示，偏自相關分析顯示滯后階數(shù)為1～12 階時，偏自相關系數(shù)超出了置信邊界，滯后階數(shù)大于12 階后偏自相關系數(shù)縮小至接近0。自相關分析顯示滯后階數(shù)大于5 階后，自相關系數(shù)處于置信區(qū)間。因此p的值可能為11 或12，q的值可能為5 或7。

圖5 偏自相關和自相關分析

最后，依據(jù)AIC 準則對待選參數(shù)p和q進行最佳估計。將響應時間數(shù)據(jù)作為輸入，用p和q的可能值構建ARIMA 模型，分別計算模型對應的AIC值，如表2 所示。可以看出，ARIMA(12,1,7)的AIC值最小，因此，選擇ARIMA(12,1,7)模型對響應時間進行預測，預測結果如圖6 所示。

表2 ARIMA 模型的AIC 值

此外，圖7 給出了響應時間實際值的變化率，即響應時間隨時間序列數(shù)據(jù)的斜率變化曲線，其值越大表示響應時間變化越明顯。時間序列數(shù)據(jù)為0～500 時，響應時間變化率較小，表明該段序列數(shù)據(jù)變化較為平緩；時間序列數(shù)據(jù)為1 000～1 500 時，響應時間變化率較大，表明該段序列數(shù)據(jù)變化劇烈。圖8 給出了ARIMA 模型對響應時間進行預測的絕對誤差?？梢钥闯?，波動平緩的數(shù)據(jù)（時間序列數(shù)據(jù)為0～500）預測絕對誤差較小，而波動劇烈的數(shù)據(jù)（時間序列數(shù)據(jù)1 000～1 500）預測絕對誤差較大。因此，可以判斷對于波動劇烈的時間序列數(shù)據(jù)，用ARIMA 模型預測效果較差。

圖6 ARIMA 模型預測結果

圖7 響應時間實際值的變化率

圖8 響應時間預測絕對誤差

綜上，由于云服務器系統(tǒng)性能數(shù)據(jù)和資源數(shù)據(jù)具有突發(fā)性、變化劇烈以及周期性的特點，對于變化劇烈的時間序列數(shù)據(jù)，用ARIMA 模型預測效果較差。因此僅采用單一的ARIMA 模型對云服務器進行老化預測，效果并不理想。

3.2 ARIMA-RNN 組合模型預測結果及分析

構建ARIMA-RNN 組合模型，需確定RNN 網(wǎng)絡結構。首先，采用算法1 計算響應時間序列數(shù)據(jù)的相關性，如圖9 所示，平均相關系數(shù)呈波動下降的趨勢，當歷史數(shù)據(jù)個數(shù)為10 時數(shù)據(jù)的相關性最強，因此ARIMA-RNN 組合模型的輸入層節(jié)點數(shù)為10。然后，根據(jù)式(2)得到隱藏層節(jié)點數(shù)的最佳取值區(qū)間，并經(jīng)過反復實驗測試，得到隱藏層節(jié)點數(shù)最優(yōu)值為20。此外，本實驗RNN 網(wǎng)絡中激活函數(shù)選取tanh 函數(shù)，該函數(shù)值域為[?1,1]，對于特征相差大的數(shù)據(jù)處理效果較好。

圖9 響應時間序列數(shù)據(jù)的相關性

然后，使用ARIMA-RNN 組合模型、ARIMA模型[21]以及RNN 模型[22]對響應時間進行預測，預測結果如圖 10(a)所示。訓練數(shù)據(jù)集區(qū)間為[0,1784]，測試數(shù)據(jù)集區(qū)間為[1 785,2 230]。由于數(shù)據(jù)量大且數(shù)據(jù)變化較為劇烈，為了顯示清晰每隔50 個數(shù)據(jù)點輸出結果?？梢钥闯觯珹RIMARNN 組合模型擬合效果最好。3 種模型的預測結果誤差對比情況，如圖10(b)所示?？梢夾RIMA模型和RNN 模型各有優(yōu)勢，在數(shù)據(jù)較平穩(wěn)的區(qū)間數(shù)據(jù)，如0～500 區(qū)間數(shù)據(jù)，ARIMA 模型的預測精度優(yōu)于RNN 模型預測精度；而在數(shù)據(jù)波動較為劇烈的區(qū)間數(shù)據(jù)，如1 500～2 000 區(qū)間數(shù)據(jù)，RNN 模型預測精度優(yōu)于 ARIMA 模型。ARIMA-RNN 組合模型結合了這兩者的優(yōu)勢，預測精度最高。

3.3 預測性能評價

本文從預測精度、預測收斂速度及可擴展性3 個方面，對本文所提預測方法進行性能評價。首先，在評判算法預測精度方面，采用均方根誤差RMSE、平均絕對誤差MAE 及平均絕對百分比誤差MAPE作為評價指標，計算式如下所示。

其中，n為數(shù)據(jù)樣本的個數(shù)，ypredictive為預測序列數(shù)據(jù)，ytrue為實際序列數(shù)據(jù)。

圖10 響應時間預測及誤差對比

使用ARIMA-RNN 組合模型、ARIMA 模型[21]和RNN 模型[22]，對響應時間數(shù)據(jù)進行預測精度對比，如表3 所示。ARIMA-RNN 組合模型的RMSE、MAE 和MAPE 值均最小，其次是RNN模型，ARIMA 模型預測誤差最大。而ARIMA-RNN 組合模型相較ARIMA 模型和RNN模型，RMSE 分別降低了83.90%和76.61%，MAE分別降低了86.10%和74.24%，MAPE 分別降低了81.23%和71.47%?？梢?，本文所提ARIMA-RNN組合模型，在預測云服務器性能數(shù)據(jù)時比ARIMA模型和RNN 模型的預測精度更高。原因是本文針對OpenStack 云服務器的系統(tǒng)性能參數(shù)在運行時的數(shù)據(jù)變化特點，設計ARIMA-RNN 組合模型進行系統(tǒng)老化預測，克服了ARIMA 模型對于波動較大數(shù)據(jù)預測精度較低的局限性，因而提高了預測精度。

表3 各模型誤差對比

其次，在評價預測收斂速度方面，將本文所提的ARIMA-RNN組合模型與RNN模型進行了對比，網(wǎng)絡訓練過程的收斂趨勢如圖11 所示。本文基于ARIMA-RNN 組合模型的預測方法，在模型訓練過程中，當訓練次數(shù)為10 時，均方誤差MSE 值已小于0.0015，之后收斂趨于穩(wěn)定，相較RNN 模型預測方法，本文基于ARIMA-RNN 組合模型的預測方法收斂速度更快且誤差更小。原因是本文預測方法在RNN 網(wǎng)絡訓練前，采用灰色關聯(lián)分析方法，將相關性分析后的時間序列數(shù)據(jù)作為模型輸入再進行預測，減少了相關性較差數(shù)據(jù)的輸入，從而提高了預測收斂速度。

圖11 模型訓練收斂趨勢對比

最后，在評價預測方法的可擴展性方面，使用ARIMA-RNN 組合模型、ARIMA 模型和RNN 模型，對云服務器的CPU 使用率時間序列進行預測并對比，如圖 12 所示。從圖 12 可以看出，本文ARIMA-RNN 組合模型，較單一的ARIMA 模型和RNN 模型，具有更好的預測效果。

圖12 CPU 使用率預測及誤差對比

綜上，云服務器處于動態(tài)變化的復雜環(huán)境中，系統(tǒng)性能參數(shù)的時間序列波動變化，本文針對數(shù)據(jù)波動平緩和劇烈2 種情況，結合ARIMA 模型和RNN 模型，預測云服務器系統(tǒng)的老化趨勢，預測精度更高，同時，采用灰色關聯(lián)度分析法，計算時間序列數(shù)據(jù)的相關性，預測收斂速度更快。

4 結束語

軟件老化問題一直受到學術界和工業(yè)界的關注。軟件老化預測及分析可以保障云服務器系統(tǒng)可靠運行，降低系統(tǒng)風險和損失。針對收集到的OpenStack云服務器性能數(shù)據(jù)，本文提出一種基于ARIMARNN 組合模型的預測方法，對云服務器的性能資源進行老化預測，并驗證了軟件老化現(xiàn)象的存在。實驗結果表明，ARIMA-RNN 組合模型提高了預測精度和收斂速度，為云服務器再生部署提供了參考依據(jù)。

下一步將研究預測模型對于數(shù)據(jù)變化情況下的敏感性問題，使數(shù)據(jù)出現(xiàn)急劇變化時，仍能獲得較為精確的預測結果。