常 亮，張 恒，楊雪欣

(黑龍江科技大學 計算機與信息工程學院，哈爾濱 150022)

0 引 言

隨著應(yīng)用領(lǐng)域?qū)︻A測精度要求的不斷提高，支持向量機、人工神經(jīng)網(wǎng)絡(luò)等方法廣泛應(yīng)用瓦斯?jié)舛阮A測，瓦斯?jié)舛阮A測可以采用時間序列預測[1]。學者們利用SVM算法擬合非線性關(guān)系、泛化能力強的優(yōu)點[2]，提出基于支持向量機算法的瓦斯?jié)舛阮A測模型[3]，將多變量預測應(yīng)用到瓦斯?jié)舛阮A測中。隨后優(yōu)化算法和支持向量機相結(jié)合，多種瓦斯涌出量預測優(yōu)化模型[4-6]的提出，進一步提高了瓦斯?jié)舛阮A測的準確度。以BP神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，引入灰色預測模型[7]、熵空間原理、動態(tài)神經(jīng)網(wǎng)絡(luò)[8]等優(yōu)化算法，在機器學習模型的基礎(chǔ)上進一步提高了預測精度。

隨著SVM和ANN研究的深入，發(fā)現(xiàn)SVM和ANN在訓練過程中容易發(fā)生過擬合。此外，SVM和前饋神經(jīng)網(wǎng)絡(luò)在預測未來值的時候依賴于滑動窗口的大小[8]，當窗口過小容易受最近輸入數(shù)據(jù)的影響，而忽略歷史數(shù)據(jù)中的信息。近年來，循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent neural network，RNN)技術(shù)在時序預測方面不斷取得技術(shù)突破。RNN隱藏層的輸入由當前時刻的輸入和上一個時刻狀態(tài)組成[9]，使神經(jīng)網(wǎng)絡(luò)具有記憶功能。針對瓦斯?jié)舛葧r間序列數(shù)據(jù)噪聲影響及長期記憶的特性，筆者提出一種基于改進GRU的瓦斯?jié)舛阮A測模型(S-GRU)，引入堆棧式降噪自編碼器(Stacked denoising auto encoder，SDAE)改進GRU輸入層，為預測模型增加特征提取層，提高模型魯棒性和精確度。

1 SDAE與GRU

1.1 堆棧式降噪自編碼器

自編碼器(Auto-encoder，AE)是神經(jīng)網(wǎng)絡(luò)的一種，經(jīng)過訓練后能嘗試將輸入復制到輸出。自編碼器為三層網(wǎng)絡(luò)結(jié)構(gòu)，分別是輸入層、輸出層和中間層，其中，輸入層和輸出層的神經(jīng)元數(shù)量相等，中間層的神經(jīng)元的數(shù)量少于輸入層或輸出層的神經(jīng)元數(shù)量。自編碼器使用自監(jiān)督的算法，不需要對訓練樣本進行標記，標簽產(chǎn)生自輸入數(shù)據(jù)，其特殊的網(wǎng)絡(luò)結(jié)構(gòu)很容易對指定類的輸入訓練出一種特定的編碼器，而不需要完成其他新的工作。

樣本x經(jīng)過編碼器函數(shù)f得到編碼后的特征y，x和y滿足關(guān)系式

y=f(x)=s(wx+b)，

式中：s——激活函數(shù)；

w——權(quán)重；

b——偏置項。

將獲得的特征y轉(zhuǎn)化為輸入x的一種重構(gòu)表示為

由于AE僅能保留原始信息，不能從數(shù)據(jù)樣本中提取有效特征，SDAE將多個降噪自編碼器(DAE)堆疊在一起形成一個深度的架構(gòu)。DAE在輸入的訓練數(shù)據(jù)中加入噪聲，并使自編碼器學會去除這種噪聲[10]，迫使編碼器學習提取最重要的特征并學習輸入數(shù)據(jù)中更加魯棒的表征。SDAE作為一個特征提取器，不具有分類功能，為使SDAE具有分類功能，需在其頂層添加支持向量機、神經(jīng)網(wǎng)絡(luò)等分類器。

1.2 循環(huán)神經(jīng)網(wǎng)絡(luò)變體

長短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)，是RNN的變種網(wǎng)絡(luò)，不僅能完成人為延長時間任務(wù)問題，還彌補了RNN容易出現(xiàn)梯度消失的不足[11]。但LSTM需要輸入門、遺忘門、輸出門三個門結(jié)構(gòu)完成數(shù)據(jù)預測，待解參數(shù)的增加使時間和資源消耗也會較多。門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)(GRU)，是在LSTM基礎(chǔ)上發(fā)展出來的變種模型。GRU模型中有兩個門：分別是更新門和重置門，GRU結(jié)構(gòu)如圖1所示，其中，zr和rt分別表示更新門和重置門。更新門用于控制前一時刻的狀態(tài)信息ht-1被代入到當前狀態(tài)中的程度，更新門的值越大說明前一個時刻的狀態(tài)信息代入越多。重置門控制前一狀態(tài)有多少信息被寫入到當前的候選集ht上，重置門越小，前一狀態(tài)的信息被寫入的越少。

圖1 GRU結(jié)構(gòu)原理Fig. 1 Schematic of GRU structure

LSTM和GRU網(wǎng)絡(luò)為RNN模型增加了記憶功能，使歷史信息能夠保存并為下一步預測提供必要信息。時間序列中的關(guān)鍵信息通過網(wǎng)絡(luò)單元中的門結(jié)構(gòu)和記憶模塊進行數(shù)據(jù)更新和傳遞，LSTM和GRU對歷史信息的學習能力、數(shù)據(jù)更新能力更強，可以將較遠距離的上下文信息應(yīng)用在當前或者未來時刻的數(shù)據(jù)預測任務(wù)上。與LSTM相比，GRU簡單的門結(jié)構(gòu)意味著網(wǎng)絡(luò)中的參數(shù)更少，訓練和預測過程對硬件資源、時間資源的消耗更少，GRU簡單的結(jié)構(gòu)與較好的時序依賴捕捉能力，能更好地處理時序預測問題。

2 SDAE的改進模型

經(jīng)過對SDAE與循環(huán)神經(jīng)網(wǎng)絡(luò)的相關(guān)研究，搭建了一個基于改進門控神經(jīng)網(wǎng)絡(luò)的瓦斯?jié)舛阮A測S-GRU模型。該模型為自上而下的組合模型，將收集來的瓦斯?jié)舛葦?shù)據(jù)以向量的形式，輸入到堆棧降噪自編碼器，而后經(jīng)過自編碼器特征提取后輸入到GRU網(wǎng)絡(luò)結(jié)構(gòu)。由于堆棧降噪自編碼器具有較好的特征提取能力，并且降噪自編碼器本身具有較強的魯棒性，可以有效提升模型整體魯棒性。該模型未使用傳統(tǒng)的單一循環(huán)神經(jīng)網(wǎng)絡(luò)，為了避免由于數(shù)據(jù)樣本的數(shù)量影響實驗結(jié)果，采用雙層GRU網(wǎng)絡(luò)結(jié)構(gòu)預測瓦斯?jié)舛?。具體模型算法流程如圖2所示。

圖2 S-GRU模型流程Fig. 2 Flow of S-GRU model

由圖2可見，提取瓦斯?jié)舛仍紨?shù)據(jù)，將其轉(zhuǎn)化為向量

X=(x1,x2,…,xn),n∈N，

式中：xn——時間序列；

N——樣本個數(shù)。

數(shù)據(jù)預處理。將各個指標的監(jiān)測數(shù)據(jù)進行歸一化處理，使數(shù)據(jù)不受單位限制，加權(quán)比較不同單位或量級的指標，提取歸一化后的數(shù)據(jù)特征輸入到SDAE網(wǎng)絡(luò)中。文中的模型數(shù)據(jù)預處理使用的是最大最小歸一化，將原始數(shù)據(jù)線性化的方式轉(zhuǎn)換為閉區(qū)間[0,1]內(nèi)，最大最小歸一化公式為

式中：xmax——樣本數(shù)據(jù)的最大值；

xmin——樣本數(shù)據(jù)的最小值。

按照式(1)得到歸一化后的數(shù)據(jù)集

Xs={x1′,x2′,…,xn′},n∈N,x′∈[0,1]。

編碼器特征提取。由2個DAE堆疊組成SDAE，兩個組成部分分別作用為壓縮(D1)與還原(D2)。在訓練階段采用逐層訓練的方式，當?shù)趇層的訓練完畢后，該層的網(wǎng)絡(luò)權(quán)重被固定，并輸出此層的編碼ht作為下一層i+1層的輸入，繼續(xù)訓練為

hi=Di(X′),hi+1=Di+1(hi)，

式中：D——降噪自編碼器；

ht——每層輸出編碼。

通過DAE編解碼過程，獲得更有效的特征數(shù)據(jù)，SDAE本身無法進行濃度預測，將它提取的特征輸入到神經(jīng)網(wǎng)絡(luò)中，GRU神經(jīng)網(wǎng)絡(luò)的輸入為

F={h1,h2,…,hn},n∈N。

GRU神經(jīng)網(wǎng)絡(luò)預測。文中所用GRU神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)共有四層，除了輸入和輸出層外，隱含層為兩個GRU結(jié)構(gòu)堆疊而成，為了能更好獲得結(jié)構(gòu)特征的關(guān)聯(lián)性，輸入輸出層選擇為Dense層。循環(huán)神經(jīng)網(wǎng)絡(luò)設(shè)計為Dense層+Dropout層+GRU層+GRU層的結(jié)構(gòu)。Dense層+Dropout層的組合，分別在GRU層的前后。

由圖2可見，預測模型為

Y=G(G(F))，

Y={y1,y2,…,yn}，

F={h1,h2,…,hn},n∈N，

式中：Y——模型預測結(jié)果集合；

F——各層輸出編碼集合。

3 結(jié)果與分析

3.1 數(shù)據(jù)和環(huán)境

實驗數(shù)據(jù)來自遼寧省某煤礦井下環(huán)境監(jiān)測傳感器的實時監(jiān)測數(shù)據(jù)，監(jiān)測指標包括瓦斯?jié)舛?、一氧化碳濃度、風速、粉塵、溫度，實驗數(shù)據(jù)是回采工作面東二1502監(jiān)測點和在2018年8月份的監(jiān)測數(shù)據(jù)。實驗用數(shù)據(jù)集的取值范圍為，瓦斯體積分數(shù)為0～0.85%、一氧化碳體積分數(shù)為0～2.4×10-7、風速0～15 m/s、粉塵質(zhì)量濃度0.1～5.0 mg/m3、溫度0～50 ℃。

模型驗證的環(huán)境使用TensorFlow+Keras框架，Python 3.5開發(fā)語言，系統(tǒng)使用Ubuntu，搭配多個Python庫函數(shù)進行代碼實現(xiàn)和結(jié)果分析。

3.2 評價指標和對比算法

(1)評價指標：選取er和em作為算法的性能衡量標準。

(2)對比模型：為驗證模型的可行性，通過對比實驗來證明改進模型的預測精準度，對比分析GRU、LSTM等非組合模型與S-RNN等組合模型。

3.3 實驗結(jié)果對比

使用插值法和最大-最小化方法進行數(shù)據(jù)預處理后，利用新的數(shù)據(jù)集構(gòu)造時序預測數(shù)據(jù)集，建立瓦斯?jié)舛阮A測模型。其中，將時序預測數(shù)據(jù)集的80%作為模型訓練樣本集，數(shù)據(jù)集的20%作為驗證數(shù)據(jù)樣本集。單一對比模型與S-GRU模型的預測結(jié)果對比如圖3所示。

從圖3可以看出，S-GRU模型在RMSE評價指標瓦斯?jié)舛阮A測性能方面表現(xiàn)出來的性能優(yōu)于對比原生模型。S-GRU模型的RMSE平均值為0.05，對比模型中最優(yōu)值是GRU網(wǎng)絡(luò)的0.077。

圖3 單一模型預測結(jié)果Fig. 3 Single model prediction results

設(shè)置S-LSTM、S-RNN組合模型作為對比模型，RMSE對比結(jié)果如圖4所示。由圖4可見，對比S-GRU模型的預測結(jié)果比S-LSTM提高約6%。

通過實驗為對比每日的em值，對比模型與S-GRU模型在各日監(jiān)測數(shù)據(jù)上預測結(jié)果em指標值如表1所示。通過對比7組數(shù)據(jù)集上各模型的em值，S-GRU模型的em值均低于其它模型。

圖4 組合模型預測結(jié)果Fig. 4 Combined model prediction results

表1 模型在不同數(shù)據(jù)集上的em

通過對比模型的仿真結(jié)果，所提出的S-GRU模型在瓦斯?jié)舛阮A測性能和準確度方面較對比模型均有較明顯的提升。

4 結(jié)束語

使用堆棧式自編碼器SDAE作為預測模型的特征提取器，將SDAE連接到門控循環(huán)網(wǎng)絡(luò)GRU的隱藏層，以煤礦實際生產(chǎn)過程中的環(huán)境監(jiān)測數(shù)據(jù)建立了S-GRU預測模型。在適當?shù)膶嶒瀰?shù)配置后，與長短時序神經(jīng)網(wǎng)絡(luò)LSTM、門控循環(huán)神經(jīng)網(wǎng)絡(luò)GRU等預測模型相比，在er、em等評價指標上均有所提高。同時，由于GRU中的門單元結(jié)構(gòu)具有記憶功能，且循環(huán)單元比長短時序神經(jīng)網(wǎng)絡(luò)的單元減少了門結(jié)構(gòu)，在訓練和預測方面減少了參數(shù)的運算，能夠提高預測的準確性，降低預測結(jié)果的誤差。