黨偉超，李 濤，白尚旺，高改梅，劉春霞

（太原科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，太原 030024）

0 引言

隨著時(shí)代的發(fā)展、科技水平的顯著提高，各個(gè)領(lǐng)域?qū)τ?jì)算機(jī)以及Web軟件系統(tǒng)的依賴(lài)日益增強(qiáng)；尤其在金融、軍事等領(lǐng)域，人們對(duì)軟件系統(tǒng)的可靠性要求越來(lái)越高。然而長(zhǎng)時(shí)間不間斷運(yùn)行的系統(tǒng)存在著軟件老化現(xiàn)象，系統(tǒng)的可靠性受到嚴(yán)重威脅，易造成無(wú)法估量的損失。

軟件老化是指軟件在不間斷運(yùn)行過(guò)程中，由于內(nèi)存的大量占用或泄露，文件鎖得不到及時(shí)釋放，會(huì)出現(xiàn)性能逐漸衰退的現(xiàn)象［1］。Huang等［2］提出了軟件抗衰的方法以減少軟件因老化帶來(lái)的損失?？顾ゲ呗匝芯渴谴_定恰當(dāng)?shù)目顾r(shí)刻，對(duì)軟件系統(tǒng)執(zhí)行合理的抗衰操作［3］。為了確定軟件抗衰操作的時(shí)刻，主要方法是對(duì)系統(tǒng)資源消耗的情況進(jìn)行分析及預(yù)測(cè)［4-6］。由于各類(lèi)軟件系統(tǒng)執(zhí)行抗衰操作都需要一定時(shí)長(zhǎng)的準(zhǔn)備時(shí)間，用上述方法指導(dǎo)抗衰決策容易造成欠維修或過(guò)維修的問(wèn)題。如果通過(guò)預(yù)測(cè)軟件剩余使用壽命來(lái)推導(dǎo)軟件最優(yōu)抗衰時(shí)刻，將會(huì)減少抗衰決策判斷誤差。

軟件剩余使用壽命（Remaining Useful Life，RUL）指軟件以當(dāng)前的運(yùn)行條件，能夠?qū)崿F(xiàn)其正常功能的剩余時(shí)間。目前，在預(yù)測(cè)剩余壽命研究領(lǐng)域，針對(duì)退化過(guò)程比較復(fù)雜的系統(tǒng)，主流的研究方法是基于數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)方法。常用的數(shù)據(jù)驅(qū)動(dòng)方法有卡爾曼濾波、支持向量機(jī)和神經(jīng)網(wǎng)絡(luò)等。于震梁等［7］用支持向量機(jī)和非線性卡爾曼濾波對(duì)機(jī)械零件的剩余壽命進(jìn)行了預(yù)測(cè)。當(dāng)樣本數(shù)量很大時(shí)，支持向量機(jī)需要耗費(fèi)大量的內(nèi)存和時(shí)間，難以實(shí)施［8］?？柭鼮V波技術(shù)利用相應(yīng)的領(lǐng)域知識(shí)來(lái)調(diào)整參數(shù)并選擇對(duì)應(yīng)的殘差模型［9］，需要明確的領(lǐng)域知識(shí)，適用性不高。

近年來(lái)，由于深度學(xué)習(xí)其在非線性映射特征提取方面的優(yōu)異性能，在故障診斷和壽命預(yù)測(cè)領(lǐng)域受到了廣泛關(guān)注。深度學(xué)習(xí)中的反向傳播（Back Propagation，BP）神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）在剩余壽命預(yù)測(cè)領(lǐng)域得到廣泛的應(yīng)用［10-12］。長(zhǎng)短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)作為一種改進(jìn)后的RNN網(wǎng)絡(luò)，能有效學(xué)習(xí)時(shí)序性數(shù)據(jù)的長(zhǎng)期依賴(lài)關(guān)系，成為剩余壽命的熱點(diǎn)技術(shù)之一［13-14］；然而，單一LSTM容易忽略不同特征對(duì)輸出結(jié)果的不同影響［15］。一些學(xué)者在機(jī)器閱讀、情感分析、圖像描述等領(lǐng)域嘗試使用融合注意力機(jī)制和神經(jīng)網(wǎng)絡(luò)的方法［16-18］。Luong等［19］在編碼和解碼網(wǎng)絡(luò)中融入了注意力機(jī)制，可以對(duì)不同信息特征值進(jìn)行區(qū)分學(xué)習(xí)，提升了循環(huán)神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)性能。

基于上述分析，本文提出了一種基于自注意力長(zhǎng)短期記憶（Self-Attention-Long Short-Term Memory，Self-Attention-LSTM）網(wǎng)絡(luò)的Web軟件系統(tǒng)實(shí)時(shí)剩余壽命預(yù)測(cè)模型，該模型充分考慮了Web軟件系統(tǒng)資源消耗的時(shí)序特性，在LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上引入自注意力機(jī)制，為不同時(shí)刻LSTM隱含層的輸出結(jié)果分配不同的注意力系數(shù)，更加全面地對(duì)局部剩余壽命信息特征的重要程度進(jìn)行區(qū)分學(xué)習(xí)，提高了Web軟件系統(tǒng)剩余壽命預(yù)測(cè)的準(zhǔn)確度。

1 模型原理

1.1 長(zhǎng)短期記憶網(wǎng)絡(luò)

LSTM是一種改進(jìn)之后的循環(huán)神經(jīng)網(wǎng)絡(luò)，可以解決RNN感知能力下降的問(wèn)題，與RNN相比，LSTM在其基礎(chǔ)上增加了一個(gè)細(xì)胞狀態(tài)（cell state）。一個(gè)LSTM單元通過(guò)三個(gè)門(mén)控制細(xì)胞狀態(tài)，這三個(gè)門(mén)分別為遺忘門(mén)、輸入門(mén)和輸出門(mén)。如圖1所示。

圖1 LSTM單元結(jié)構(gòu)Fig.1 LSTM unit structure

門(mén)控循環(huán)單元（Gate Recurrent Unit，GRU）是LSTM網(wǎng)絡(luò)的一種變體，它組合遺忘門(mén)和輸入門(mén)到一個(gè)單獨(dú)的“更新門(mén)”中，合并細(xì)胞狀態(tài)和隱含層狀態(tài)，沒(méi)有輸出門(mén)，增加重置門(mén)，如圖2所示。

圖2 GRU單元結(jié)構(gòu)Fig.2 GRU unit structure

1.2 自注意力機(jī)制

自注意力機(jī)制是對(duì)注意力機(jī)制的一種改進(jìn)，其目的是捕捉數(shù)據(jù)或特征的內(nèi)部相關(guān)性，從而提高目標(biāo)輸出的預(yù)測(cè)準(zhǔn)確度。本文將其與LSTM網(wǎng)絡(luò)結(jié)合，建模特征向量的內(nèi)部相關(guān)性。自注意力機(jī)制的結(jié)構(gòu)如圖3所示。

圖3 自注意力機(jī)制結(jié)構(gòu)Fig.3 Structureof self-attention mechanism

具體來(lái)說(shuō)，將LSTM層在第t個(gè)時(shí)間步的輸出Ht=｛ht，1，ht，2，…，ht，i，…，ht，w｝T∈Rw×m作為特征向量輸入到自注意力機(jī)制中。其中，ht，i∈Rm（為簡(jiǎn)化表示，在圖3中表示為hi），w為時(shí)間步長(zhǎng)，m為隱含層單元數(shù)。在自注意力機(jī)制中，首先，特征值hi分別與目標(biāo)特征值hj進(jìn)行對(duì)比，利用f(hi，hj)函數(shù)得到特征間的相似度；然后，用softmax函數(shù)對(duì)該相似度進(jìn)行歸一化，該值越大表明該特征值對(duì)目標(biāo)特征值的影響越大，反之則影響越小；最后，將該相似度權(quán)重與原輸入進(jìn)行加權(quán)求和以得到最后的輸出特征h′i。具體計(jì)算公式如下：

1.3 構(gòu)建網(wǎng)絡(luò)模型

結(jié)合自注意力機(jī)制的LSTM剩余壽命預(yù)測(cè)模型由輸入層、隱含層、自注意力層、池化層、全連接層、輸出層構(gòu)成。如圖4所示。

圖4 Self-Attention-LSTM剩余使用壽命預(yù)測(cè)模型Fig.4 Self-Attention-LSTM RUL prediction model

1）收集樣本并進(jìn)行標(biāo)準(zhǔn)化處理。

每秒收集一次Web軟件系統(tǒng)運(yùn)行過(guò)程內(nèi)存使用量數(shù)據(jù)，假設(shè)第n秒發(fā)生了內(nèi)存溢出（Out Of Memory，OOM）故障，則一共收集了n秒的系統(tǒng)運(yùn)行數(shù)據(jù)。OOM是指當(dāng)系統(tǒng)因?yàn)闆](méi)有足夠的內(nèi)存為對(duì)象分配空間而產(chǎn)生內(nèi)存溢出故障。將系統(tǒng)在第i秒的內(nèi)存使用量表示為mi，則系統(tǒng)在i秒的剩余壽命可表示為r=n-i。假設(shè)系統(tǒng)運(yùn)行了k秒以后才進(jìn)入系統(tǒng)老化狀態(tài)，則每次運(yùn)行可得到如下采樣數(shù)據(jù)。

標(biāo) 準(zhǔn) 化 處 理 后 的 樣 本 表 示 為(M′，R′)={(m′i，r′i)，i=1，2，…，n}，其中m′i和ri′的定義如式（5）所示：

將序列M′以時(shí)間步長(zhǎng)w分割為n-w個(gè)長(zhǎng)度為w的時(shí)間序列，用X表示，對(duì)應(yīng)的實(shí)際壽命用Y表示，輸入網(wǎng)絡(luò)的數(shù)據(jù)如式（6）所示：

2）LSTM層。

將X={X1，X2，…，Xi，…，Xn-w}輸入LSTM層，經(jīng)過(guò)LSTM隱含層得到的網(wǎng)絡(luò)輸出表示為式（7）。其中Ci-1和Hi-1分別表示上一時(shí)刻LSTM網(wǎng)絡(luò)的狀態(tài)以及隱含層的輸出。

3）自注意力層。

將經(jīng)過(guò)LSTM層的得到的隱含層特征序列輸入自注意力層中，t時(shí)刻LSTM輸出的特征表示為Ht=｛ht，1，ht，2，…，ht，i，…，ht，w｝T∈Rw×m，ht，i∈Rw，w為時(shí)間步長(zhǎng)，m為L(zhǎng)STM隱含層單元數(shù) 。 經(jīng) 式（8）計(jì) 算 ，得 到 新 的 特 征H′t={h′t，1，h′t，2，…，h′t，i，…，h′t，w}T∈Rw×m。

4）池化層和全連接層。

5）誤差反向傳播。

6）評(píng)價(jià)指標(biāo)。

除了RMSE和MAE之外，本文引入另外兩個(gè)相對(duì)評(píng)價(jià)指標(biāo)：指數(shù)評(píng)價(jià)函數(shù)（Scoring Function，SF）和相對(duì)準(zhǔn)確率（Accuracy）。預(yù)測(cè)壽命相對(duì)剩余壽命偏小和偏大，分別設(shè)置不同的影響因子，分別記做a1和a2，且a1>a2，這是因?yàn)楸绕餡eb失效后采取抗衰操作，在失效之前執(zhí)行抗衰操作帶來(lái)較小的損失。本文中影響因子設(shè)為a1=150，a2=50。

2 實(shí)驗(yàn)與結(jié)果分析

研究表明，軟件系統(tǒng)內(nèi)存的泄露會(huì)引起內(nèi)存的耗盡，導(dǎo)致系統(tǒng)宕機(jī)，軟件內(nèi)存的使用情況直接反映了系統(tǒng)的健康狀況。因此，本文通過(guò)Web軟件系統(tǒng)的內(nèi)存使用情況來(lái)對(duì)Web軟件系統(tǒng)的剩余壽命進(jìn)行預(yù)測(cè)。通過(guò)檢測(cè)Web軟件系統(tǒng)的健康狀況，收集系統(tǒng)使用內(nèi)存的數(shù)據(jù)，建立一個(gè)基于Self-Attention-LSTM的Web軟件系統(tǒng)的實(shí)時(shí)壽命預(yù)測(cè)模型，以此來(lái)預(yù)測(cè)軟件系統(tǒng)的剩余使用壽命。

由于Web軟件系統(tǒng)開(kāi)始出現(xiàn)老化后并不會(huì)立刻失效，需要耗費(fèi)很長(zhǎng)時(shí)間才會(huì)發(fā)現(xiàn)故障。受Yin等［20］提出的系統(tǒng)化方法的啟發(fā)，本文將工業(yè)領(lǐng)域已成熟應(yīng)用的加速測(cè)試?yán)碚撘氲杰浖I(lǐng)域，在Web軟件系統(tǒng)中采用加速內(nèi)存泄露的方法收集可以反映軟件老化情況的指標(biāo)數(shù)據(jù)。

2.1 數(shù)據(jù)收集

為了收集反映Web軟件老化情況的使用內(nèi)存數(shù)據(jù)，搭建了一個(gè)符合多層TPC-W基準(zhǔn)測(cè)試規(guī)范的電子商務(wù)網(wǎng)站系統(tǒng)。該軟件系統(tǒng)由一個(gè)Web服務(wù)器、一個(gè)數(shù)據(jù)庫(kù)服務(wù)器和一組模擬的客戶(hù)端組成。該系統(tǒng)模擬了一個(gè)在線售書(shū)網(wǎng)站，包括主頁(yè)、暢銷(xiāo)頁(yè)面、新書(shū)頁(yè)面、搜索頁(yè)面、購(gòu)物車(chē)、和訂單狀態(tài)等不同類(lèi)型的頁(yè)面?？蛻?hù)端模擬瀏覽器并發(fā)訪問(wèn)Web服務(wù)器。Web服務(wù)器Tomcat關(guān)于JVM的內(nèi)存配置參數(shù)如表1所示。

表1 Tomcat關(guān)于JVM內(nèi)存配置信息Tab.1 JVM memory configuration information in Tomcat

收集了四組在不同服務(wù)端的內(nèi)存泄漏強(qiáng)度（Leakage）和客戶(hù)端并發(fā)數(shù)（Concurrency）參數(shù)情況下發(fā)生OOM故障的數(shù)據(jù)。表2列出了4組實(shí)驗(yàn)的具體參數(shù)。當(dāng)發(fā)生OOM故障時(shí)，記當(dāng)前時(shí)刻為T(mén)，該時(shí)刻系統(tǒng)剩余壽命r=0。實(shí)驗(yàn)過(guò)程中每1秒收集一次JVM的內(nèi)存使用量，采集到了4組樣本，樣本個(gè)數(shù)分別為10 929，8 202，14 399，9 635。圖5表示了4組實(shí)驗(yàn)JVM內(nèi)存使用情況變化趨勢(shì)。

表2 四次實(shí)驗(yàn)運(yùn)行參數(shù)Tab.2 Operation parameters of four experiments

圖5 JVM內(nèi)存使用情況變化趨勢(shì)Fig.5 Trend of JVM memory usage

2.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境為i5-3230 M（2.27 GHz）CPU、4 GB內(nèi)存和Microsoft Windows 7操作系統(tǒng)。在Jetbrains PyCharm集成開(kāi)發(fā)環(huán)境下，使用python2.6作為編程語(yǔ)言，anaconda作為解釋器，基于Keras框架搭建并訓(xùn)練壽命預(yù)測(cè)模型。

2.3 基于Self-Attention-LSTM的剩余壽命預(yù)測(cè)模型

1）尋找最佳的隱含層單元數(shù)量。

用Data1做訓(xùn)練集，Data2做測(cè)試集，RMSprop（Root Mean Square propagation）算法對(duì)模型進(jìn)行優(yōu)化，MAE作為評(píng)價(jià)指標(biāo)。表3為采用不同隱含層單元數(shù)訓(xùn)練網(wǎng)絡(luò)時(shí)在訓(xùn)練集和測(cè)試集上的MAE值。從表中可以看出，隱含層單元數(shù)為120時(shí)，MAE值最小，預(yù)測(cè)精度最高。

表3 不同隱含層單元數(shù)量時(shí)的MAE對(duì)比Tab.3 MAE comparison under different hidden layer units

2）尋找最佳優(yōu)化算法。

隱含層單元數(shù)為120，Data1做訓(xùn)練集，Data2做測(cè)試集，不同的優(yōu)化算法訓(xùn)練模型，MAE作為評(píng)價(jià)指標(biāo)。對(duì)比不同算法在訓(xùn)練集和測(cè)試集上MAE的大小。結(jié)果如表4所示，采用Adam算法的模型在訓(xùn)練集和測(cè)試集上的評(píng)價(jià)指標(biāo)值最小，預(yù)測(cè)精度最高。

表4 不同優(yōu)化算法評(píng)價(jià)指標(biāo)MAE對(duì)比Tab.4 MAE comparison of different optimization algorithms

3）尋找最佳隱含層激活函數(shù)。

圖6采用隱含層單元為120，Adam算法對(duì)模型進(jìn)行優(yōu)化，為確定該模型隱含層最佳激活函數(shù)，用四種常見(jiàn)激活函數(shù)（relu，tanh，sigmoid，softmax）進(jìn)行了對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如圖6所示，從表中看出采用relu和tanh激活函數(shù)的擬合效果相對(duì)較好。表5展示了不同激活函數(shù)在訓(xùn)練集和測(cè)試集上的MAE的大小，可以看出采用relu激活函數(shù)時(shí)MAE最小，說(shuō)明采用relu激活函數(shù)的預(yù)測(cè)精度最高。

表5 不同激活函數(shù)MAE對(duì)比Tab.5 MAE comparison of different activation functions

圖6 不同激活函數(shù)的剩余使用壽命預(yù)測(cè)結(jié)果Fig.6 RUL prediction results of different activation functions

4）預(yù)測(cè)Data2剩余使用壽命。

采用表6列出的實(shí)驗(yàn)參數(shù)訓(xùn)練網(wǎng)絡(luò)，由于模型中含有多個(gè)網(wǎng)絡(luò)層以及大量的參數(shù)，為防止產(chǎn)生過(guò)擬合的現(xiàn)象，采用Dropout在每輪權(quán)重更新時(shí)隨機(jī)選擇隱去一些節(jié)點(diǎn)，從而限制模型單元之間的協(xié)同更新［21］。

表6 Self-Attention-LSTM剩余使用壽命預(yù)測(cè)模型的訓(xùn)練參數(shù)Tab.6 Training parametersof Self-Attention-LSTM RUL prediction model

該模型使用的Dropout的參數(shù)值為0.5，即含有Dropout的網(wǎng)絡(luò)層在訓(xùn)練過(guò)程中，會(huì)有50%的節(jié)點(diǎn)被拋棄。用Data2做測(cè)試集，模型的預(yù)測(cè)結(jié)果如圖7所示，可以看出，隨著時(shí)間的推移擬合效果越來(lái)越好，而且預(yù)測(cè)值大部分小于真實(shí)值，為采取抗衰決策提供了時(shí)間保障。

圖7 Self-Attention-LSTM模型的剩余使用壽命預(yù)測(cè)結(jié)果（Data2）Fig.7 RUL prediction results of Self-Attention-LSTMmodel（Data2）

2.4 結(jié)果分析

為驗(yàn)證Self-Attention-LSTM壽命預(yù)測(cè)模型的有效性，本文采用表6的模型參數(shù)在測(cè)試集數(shù)據(jù)進(jìn)行了三組實(shí)驗(yàn)，并與傳統(tǒng)的BP網(wǎng)絡(luò)以及常規(guī)的循環(huán)神經(jīng)網(wǎng)絡(luò)（LSTM、GRU、RNN）做了對(duì)比，實(shí)驗(yàn)結(jié)果如圖8所示。從圖中可以看出，三組實(shí)驗(yàn)中，Self-Attention-LSTM預(yù)測(cè)模型與真實(shí)壽命曲線的擬合效果最好，說(shuō)明該模型的泛化能力最好。為了進(jìn)一步地比較準(zhǔn)確度，表7列出了各網(wǎng)絡(luò)模型不同評(píng)價(jià)指標(biāo)對(duì)比，表中PT（Prediciton Time）表示單位樣本預(yù)測(cè)所需要的時(shí)間，單位為ms，從表中可以看出，PT值較小，滿(mǎn)足實(shí)時(shí)預(yù)測(cè)要求。Self-Attention-LSTM壽命預(yù)測(cè)模型在三組實(shí)驗(yàn)里的MSE、RMSE、SF都是最低，Accuracy最高，說(shuō)明該壽命預(yù)測(cè)相較于BP網(wǎng)絡(luò)和常規(guī)循環(huán)神經(jīng)網(wǎng)絡(luò)而言，預(yù)測(cè)精度最高。

圖8 不同模型的剩余使用壽命預(yù)測(cè)結(jié)果對(duì)比Fig.8 Comparison of RUL prediction results of different models

表7 不同預(yù)測(cè)模型評(píng)價(jià)指標(biāo)對(duì)比Tab.7 Comparison of evaluation indexes of different prediction models

3 結(jié)語(yǔ)

為了能夠?qū)崟r(shí)準(zhǔn)確地對(duì)Web軟件系統(tǒng)的剩余壽命進(jìn)行預(yù)測(cè)，本文以LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，考慮了特征間的依賴(lài)關(guān)系，結(jié)合注意力機(jī)制，構(gòu)建了一種Self-Attention-LSTM網(wǎng)絡(luò)的Web軟件系統(tǒng)實(shí)時(shí)剩余壽命預(yù)測(cè)模型。實(shí)驗(yàn)結(jié)果表明，該預(yù)測(cè)模型能實(shí)時(shí)預(yù)測(cè)Web服務(wù)器剩余使用壽命，與傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)以及常規(guī)的循環(huán)神經(jīng)網(wǎng)絡(luò)相比，其預(yù)測(cè)精度高、泛化能力好、誤差較小。基于Self-Attention-LSTM網(wǎng)絡(luò)的剩余壽命預(yù)測(cè)方法是一種端對(duì)端的預(yù)測(cè)方法，該方法為優(yōu)化軟件系統(tǒng)抗衰決策提供了技術(shù)支撐。在未來(lái)工作中，將嘗試?yán)脙?nèi)存使用量、響應(yīng)時(shí)間、吞吐量等多維度信息來(lái)預(yù)測(cè)剩余壽命。