荀曉玉 蘇璨 李威 龐明瑞

摘? 要：對(duì)瓦斯?jié)舛冗M(jìn)行預(yù)測(cè)是預(yù)防瓦斯事故的有效方式。卷積神經(jīng)網(wǎng)絡(luò)（CNN）可以提取時(shí)間序列中的時(shí)間平移不變特征，長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）具有長(zhǎng)期記憶能力，可以捕捉到具有長(zhǎng)期相關(guān)性的信息，將CNN與LSTM結(jié)合，從時(shí)間序列的角度對(duì)采煤工作面瓦斯?jié)舛冗M(jìn)行預(yù)測(cè)。結(jié)果表明，與單獨(dú)使用LSTM進(jìn)行預(yù)測(cè)及使用支持向量回歸（SVR）預(yù)測(cè)相比，CNN-LSTM模型具有更高的預(yù)測(cè)準(zhǔn)確率。

關(guān)鍵詞：瓦斯?jié)舛阮A(yù)測(cè);時(shí)間序列;卷積神經(jīng)網(wǎng)絡(luò);長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：TP181? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2020）20-0149-04

Coal Mine Gas Concentration Prediction Based on CNN-LSTM

XUN Xiaoyu，SU Can，LI Wei，PANG Mingrui

（China University of Mining and Technology-Beijing，Beijing? 100083，China）

Abstract：Predicting gas concentration is an effective way to prevent gas accidents. Convolutional neural network（CNN）can extract the invariant features of time translation in time series. Long short-term memory neural network（LSTM）has long-term memory capabilities and can capture long-term relevant information. Combine CNN with LSTM to predict the gas concentration of coal mining face from the perspective of time series. The results show that the CNN-LSTM model has a higher prediction accuracy rate than using LSTM alone for prediction and support vector regression（SVR）prediction.

Keywords：gas concentration prediction;time series;convolutional neural network;long short-term memory neural network

0? 引? 言

煤炭在我國(guó)能源結(jié)構(gòu)中占主體地位，煤礦井下環(huán)境復(fù)雜，開采過程中會(huì)遇到各種災(zāi)害，其中瓦斯事故的危害最為嚴(yán)重，采煤工作面發(fā)生瓦斯事故的概率高于其他作業(yè)區(qū)域，對(duì)采煤工作面瓦斯?jié)舛冗M(jìn)行預(yù)測(cè)，及時(shí)采取相應(yīng)措施，對(duì)煤礦安全生產(chǎn)具有重要意義[1]。國(guó)內(nèi)外學(xué)者對(duì)瓦斯?jié)舛阮A(yù)測(cè)做了大量的研究，目前比較常用的預(yù)測(cè)方法有：根據(jù)灰色理論建立灰色預(yù)測(cè)模型對(duì)瓦斯?jié)舛茸兓M(jìn)行動(dòng)態(tài)分析[2];通過支持向量機(jī)對(duì)瓦斯?jié)舛葧r(shí)間序列進(jìn)行預(yù)測(cè)[3];使用混沌理論方法對(duì)瓦斯?jié)舛葧r(shí)間序列進(jìn)行相空間重構(gòu)[4];使用神經(jīng)網(wǎng)絡(luò)對(duì)瓦斯?jié)舛冗M(jìn)行預(yù)測(cè)等[5]。瓦斯?jié)舛葧r(shí)間序列中包含大量災(zāi)害系統(tǒng)動(dòng)態(tài)演化的特征信息，通過非線性理論分析并研究瓦斯?jié)舛葧r(shí)間序列的規(guī)律是目前瓦斯?jié)舛阮A(yù)測(cè)的主流趨勢(shì)[6]。

為進(jìn)一步提高煤礦瓦斯?jié)舛阮A(yù)測(cè)精度，給煤礦安全生產(chǎn)提供可靠保障，作者對(duì)采煤工作面瓦斯?jié)舛阮A(yù)測(cè)模型進(jìn)行研究，并作為自己的畢業(yè)設(shè)計(jì)研究課題，提出了將CNN與LSTM相結(jié)合的瓦斯?jié)舛阮A(yù)測(cè)模型。

1? CNN-LSTM預(yù)測(cè)模型構(gòu)建

1.1? CNN

CNN是一種復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)，主要由卷積層、池化層、全連接層構(gòu)成。卷積層利用卷積核在輸入數(shù)據(jù)上滑動(dòng)做局部卷積操作，將卷積運(yùn)算得到的特征經(jīng)過激活函數(shù)處理從而得到最終特征。[7]卷積核是一個(gè)權(quán)重矩陣，也可稱為濾波器，矩陣中的各參數(shù)通過訓(xùn)練CNN得到。在卷積操作過程中，采用了局部連接的方式，即使用同一個(gè)卷積核對(duì)目標(biāo)進(jìn)行卷積操作，降低了模型過擬合的風(fēng)險(xiǎn)并且可以減少程序運(yùn)行所需的內(nèi)存。卷積操作過程為：

（1）

其中，yl為經(jīng)過l層卷積操作后的輸出，g為激活函數(shù)， 為是第l層第m部分卷積區(qū)域的輸入， 為第l層第m部分的權(quán)重，*為卷積運(yùn)算， 為第l層的偏置項(xiàng)。圖1為一維卷積操作過程，卷積核的維度為3，輸入數(shù)據(jù)維度為8，設(shè)置移動(dòng)步長(zhǎng)為1，則卷積處理后的輸出結(jié)果維度應(yīng)為6。

池化層通常夾在連續(xù)的卷積層之間，用于減少參數(shù)的同時(shí)保留主要特征，操作過程與卷積層相似，使用池化核在輸入數(shù)據(jù)上滑動(dòng)，通過最大池化或平均池化取出操作區(qū)域的值。池化層中沒有需要訓(xùn)練的參數(shù)，指定池化類型、池化操作的核尺寸及移動(dòng)步長(zhǎng)即可。池化操作過程為：

（2）

其中， 為第l層第m個(gè)數(shù)組的池化結(jié)果，? 為第l層第m個(gè)數(shù)組區(qū)域中第p個(gè)數(shù)值，g為池化函數(shù)。

全連接層可以將卷積層和池化層提取到的局部特征進(jìn)行綜合從而得到輸入數(shù)據(jù)的全部特征。全連接層中每個(gè)神經(jīng)元與前一層的神經(jīng)元逐個(gè)相連，全連接層的計(jì)算公式為：

（3）

其中，dl為第l層全連接層的輸出，g為激活函數(shù)，為第l層數(shù)據(jù)輸入， 為第l層的權(quán)重系數(shù)， 為偏置參數(shù)。

一個(gè)完整的CNN工作過程是通過卷積層與池化層的堆疊進(jìn)行層次級(jí)特征提取獲得具有代表性的特征，最后通過全連接層計(jì)算得到最終輸出。

1.2? LSTM

LSTM是為了解決原始的循環(huán)神經(jīng)網(wǎng)絡(luò)中存在的長(zhǎng)期依賴問題而設(shè)計(jì)出來(lái)的，是一種改進(jìn)的循環(huán)神經(jīng)網(wǎng)絡(luò)，適合處理和預(yù)測(cè)時(shí)間序列中間隔和延遲較長(zhǎng)的重要信息。原始的循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖2所示，其中A為一組神經(jīng)網(wǎng)絡(luò)，xt為輸入數(shù)據(jù)，ht為輸出數(shù)據(jù)。循環(huán)神經(jīng)網(wǎng)絡(luò)處理數(shù)據(jù)時(shí)，使用一組內(nèi)部狀態(tài)對(duì)當(dāng)前數(shù)據(jù)的特性進(jìn)行記錄，A可以保證每一步都可以保存以前的信息，在下一輪處理數(shù)據(jù)時(shí)會(huì)結(jié)合上一輪的內(nèi)部狀態(tài)計(jì)算當(dāng)前數(shù)據(jù)。

LSTM主要對(duì)原始循環(huán)神經(jīng)網(wǎng)絡(luò)隱含層做了修改，在隱含層中引入了輸入門、輸出門和遺忘門來(lái)控制自循環(huán)，從而使其具有捕獲長(zhǎng)期信息的能力。LSTM結(jié)構(gòu)如圖3所示。

在時(shí)間序列中，有些時(shí)刻的數(shù)據(jù)對(duì)當(dāng)前的輸出無(wú)關(guān)緊要，首先通過遺忘門ft對(duì)這些信息進(jìn)行有選擇地丟棄，使用0～1之間的數(shù)值來(lái)表示遺忘程度，0表示全部遺忘，1表示全部記住，計(jì)算公式為：

ft=σ（wfxxt+wfhht-1+bf）? ? ? ? ? ? ? ? ? ? ? ? ?（4）

然后通過輸入門it決定增加哪些新的信息到內(nèi)部狀態(tài)，并且通過一個(gè)tanh層處理上一時(shí)刻輸出信息和當(dāng)前時(shí)刻輸入信息得到候選內(nèi)部狀態(tài) ，更新舊的內(nèi)部狀態(tài)ct-1，產(chǎn)生新的內(nèi)部狀態(tài)ct，即：

it=σ（wixxt+wihht-1+bi）? ? ? ? ? ? ? ? ? ? ? ? ?（5）

=tanh（wcxxt+wchht-1+bc）? ? ? ? ? ? ? ? ? ? ?（6）

ct=ft*ct-1+it*? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（7）

最后輸出門ot控制輸出用于更新下一層網(wǎng)絡(luò)的信息，LSTM的最終輸出為ht：

ot=σ（woxxt+wohht-1+bo）? ? ? ? ? ? ? ? ? ? ? ?（8）

ht=ot*tanh（ct）? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （9）

式（4）～（9）中，σ為sigmoid激活函數(shù)，w為相應(yīng)的連接權(quán)重，b為相應(yīng)的偏置。

1.3? CNN-LSTM模型結(jié)構(gòu)設(shè)計(jì)

瓦斯?jié)舛葧r(shí)間序列數(shù)據(jù)中一般包含長(zhǎng)短期混雜模態(tài)，使用CNN提取時(shí)間序列中的特征，并將經(jīng)CNN提取到的特征輸入到LSTM，捕捉到其中具有長(zhǎng)期相關(guān)性的信息，綜合發(fā)揮CNN和LSTM的優(yōu)點(diǎn)，所設(shè)計(jì)的CNN-LSTM模型結(jié)構(gòu)如圖4所示。

采用兩層卷積層（Conv1D）及兩層最大池化層（Max-Pooling）提取特征，其中，每層卷積層中卷積核大小為1×2，卷積核個(gè)數(shù)為8，步長(zhǎng)為1。池化層中選用最大池化方式，核大小為1×2，步長(zhǎng)取1。將經(jīng)過兩層卷積層和池化層提取到的特征通過Concatenate層聯(lián)合送入LSTM，充分學(xué)習(xí)各特征的長(zhǎng)期相關(guān)信息。通過Dropout對(duì)參數(shù)進(jìn)行正則化，并且使用激活函數(shù)ReLU對(duì)數(shù)據(jù)進(jìn)行非線性處理，連接兩層全連接層（Dense）后使用全局最大池化（Global Max Pooling）進(jìn)一步提取每個(gè)通道的特征，最后再通過一層全連接層將數(shù)據(jù)轉(zhuǎn)換為輸出預(yù)測(cè)數(shù)據(jù)。

2? 實(shí)例分析

2.1? 數(shù)據(jù)預(yù)處理

選用35 136條每5分鐘內(nèi)采煤工作面瓦斯?jié)舛鹊钠骄底鳛閿?shù)據(jù)集，煤礦井下環(huán)境復(fù)雜，監(jiān)測(cè)數(shù)據(jù)易受環(huán)境和人為因素影響，數(shù)據(jù)存在異常及缺失，為提高數(shù)據(jù)質(zhì)量，使用均值替換法對(duì)缺失值及異常值進(jìn)行替換，并且使用小波閾值降噪對(duì)瓦斯?jié)舛葦?shù)據(jù)進(jìn)行降噪。

小波閾值降噪主要是將帶有噪聲的信號(hào)進(jìn)行小波分解，將有效信號(hào)和噪聲分離到不同幅值的小波系數(shù)之中，有效信號(hào)的小波系數(shù)大于噪聲的小波系數(shù)，選取合適的閾值，將小于閾值的小波系數(shù)作為噪聲抑制，大于閾值的作為有效信號(hào)保留，最后通過小波逆變換對(duì)信號(hào)進(jìn)行重構(gòu)從而達(dá)到降噪的效果。[8]

小波閾值降噪的效果取決于閾值的選擇，如果選取的閾值偏小，對(duì)噪聲的抑制不明顯，如果選取的閾值偏大，會(huì)引發(fā)信號(hào)的失真。目前使用較多的閾值是固定閾值：

（10）

其中，n為信號(hào)采樣長(zhǎng)度，δ為含噪信號(hào)中噪聲的標(biāo)準(zhǔn)差，取值為：

（11）

確定閾值后，選擇合適的閾值函數(shù)處理信號(hào)，常用的閾值函數(shù)由軟閾值函數(shù)、硬閾值函數(shù)和Garrote函數(shù)。

軟閾值函數(shù)定義為：

（12）

硬閾值函數(shù)定義為：

（13）

Garrote函數(shù)定義為：

（14）

式（12）～（14）中，Wj，k為小波系數(shù)， 為經(jīng)相應(yīng)閾值函數(shù)處理后的小波系數(shù)，使用軟閾值函數(shù)處理過后的小波系數(shù)連續(xù)性較好，但原始信號(hào)會(huì)被壓縮造成一定的失真，使用硬閾值函數(shù)處理的信號(hào)邊緣性較好，但小波系數(shù)連續(xù)性較差，Garrote函數(shù)結(jié)合了軟閾值函數(shù)和硬閾值函數(shù)的特點(diǎn)，在接近閾值時(shí)，趨向于0，隨著小波系數(shù)增大，整體逐漸趨向于硬閾值函數(shù)，選取Garrote函數(shù)對(duì)瓦斯?jié)舛葦?shù)據(jù)進(jìn)行處理。經(jīng)過均值替換法和小波降噪處理后的部分?jǐn)?shù)據(jù)如圖5所示。

將處理好的數(shù)據(jù)集按照6：2：2的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。

2.2? 超參數(shù)調(diào)整

在深層神經(jīng)網(wǎng)絡(luò)模型中，有兩部分影響神經(jīng)網(wǎng)絡(luò)的性能，一部分是權(quán)重和偏置等普通參數(shù)，另一部分是學(xué)習(xí)率等超參數(shù)，權(quán)重和偏置可通過模型在訓(xùn)練集上學(xué)習(xí)得到，超參數(shù)是在學(xué)習(xí)過程開始之前設(shè)置的參數(shù)，需要根據(jù)經(jīng)驗(yàn)設(shè)定，依次對(duì)LSTM隱含層層數(shù)及每層節(jié)點(diǎn)數(shù)、滑動(dòng)窗口數(shù)、學(xué)習(xí)率、Dropout和Batch Size進(jìn)行調(diào)整從而確定性能較好的模型。選取平均絕對(duì)誤差（MAE）和均方根誤差（RMSE）作為評(píng)價(jià)指標(biāo)。MAE為預(yù)測(cè)值和真實(shí)值之間的平均絕對(duì)偏離程度，RMSE為均方誤差的均方根值，當(dāng)預(yù)測(cè)值和真實(shí)值之間相差較大時(shí)，會(huì)對(duì)評(píng)價(jià)指標(biāo)的值造成較大影響，RMSE對(duì)誤差異常點(diǎn)反應(yīng)敏銳，可以更加精密地評(píng)價(jià)預(yù)測(cè)精度，避免特大誤差所造成的影響。f（t）為測(cè)試集的真實(shí)值，為輸入測(cè)試集后得到的預(yù)測(cè)值，N為測(cè)試集樣本點(diǎn)數(shù)。

（15）

（16）

深度學(xué)習(xí)模型中每個(gè)超參數(shù)有多個(gè)候選值，在調(diào)節(jié)參數(shù)方面目前還沒有足夠強(qiáng)的理論支撐，采取控制變量法在驗(yàn)證集上對(duì)超參數(shù)進(jìn)行調(diào)整，得到性能相對(duì)較好的模型。最終所選取的超參數(shù)如表1所示，此時(shí)在驗(yàn)證集上的MAE和RMSE分別為0.015 0和0.022 1。

2.3? 預(yù)測(cè)結(jié)果分析與對(duì)比

對(duì)比CNN-LSTM、LSTM和SVR預(yù)測(cè)未來(lái)1小時(shí)內(nèi)瓦斯?jié)舛葦?shù)據(jù)的預(yù)測(cè)效果，使用各模型預(yù)測(cè)的曲線如圖6所示，當(dāng)瓦斯?jié)舛茸兓^小時(shí)，CNN-LSTM和LSTM都能獲得較準(zhǔn)確的預(yù)測(cè)結(jié)果，當(dāng)瓦斯?jié)舛茸兓^大時(shí)，CNN-LSTM所表現(xiàn)出來(lái)的預(yù)測(cè)性能更優(yōu)，使用SVR進(jìn)行預(yù)測(cè)在三種預(yù)測(cè)方法中準(zhǔn)確性最低。

各模型的預(yù)測(cè)誤差分析如表2所示，經(jīng)分析，使用CNN- LSTM對(duì)瓦斯?jié)舛冗M(jìn)行預(yù)測(cè)具有較高的準(zhǔn)確率，它的平均絕對(duì)誤差和均方根誤差均比LSTM和SVR低，分別為0.023 7和0.033 9。

3? 結(jié)? 論

提出一種將卷積神經(jīng)網(wǎng)絡(luò)與長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)相結(jié)合的深層神經(jīng)網(wǎng)絡(luò)模型CNN-LSTM在時(shí)間序列的角度對(duì)煤礦瓦斯?jié)舛冗M(jìn)行預(yù)測(cè)。CNN-LSTM模型利用卷積層和池化層堆疊提出瓦斯?jié)舛葧r(shí)間序列數(shù)據(jù)中的時(shí)間平移不變性特征作為L(zhǎng)STM的輸入，最終得到瓦斯?jié)舛阮A(yù)測(cè)結(jié)果。通過對(duì)未來(lái)1小時(shí)內(nèi)瓦斯?jié)舛阮A(yù)測(cè)，得出結(jié)論：CNN-LSTM模型能夠有效挖掘瓦斯?jié)舛葧r(shí)間序列中的特征，提高了預(yù)測(cè)精度，為瓦斯事故的防治提供了有效參考。

參考文獻(xiàn)：

[1] 劉業(yè)嬌，袁亮，薛俊華，等.2007—2016年全國(guó)煤礦瓦斯災(zāi)害事故發(fā)生規(guī)律分析 [J].礦業(yè)安全與環(huán)保，2018，45（3）：124-128.

[2] 馮亮，張立強(qiáng).灰色理論預(yù)測(cè)煤層瓦斯涌出量的研究與應(yīng)用 [J].煤炭與化工，2016，39（1）：44-47.

[3] 付華，訾海，孟祥云，等.一種EKF-WLS-SVR與混沌時(shí)間序列分析的瓦斯動(dòng)態(tài)預(yù)測(cè)新方法 [J].傳感技術(shù)學(xué)報(bào)，2015，28（1）：126-131.

[4] 程健，白靜宜，錢建生，等.基于混沌時(shí)間序列的煤礦瓦斯?jié)舛榷唐陬A(yù)測(cè) [J].中國(guó)礦業(yè)大學(xué)學(xué)報(bào)，2008（2）：231-235.

[5] 張昭昭，喬俊飛，余文.基于動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)的瓦斯?jié)舛葘?shí)時(shí)預(yù)測(cè)方法 [J].控制工程，2016，23（4）：478-483.

[6] 耿越.基于混沌粒子群神經(jīng)網(wǎng)絡(luò)的瓦斯?jié)舛阮A(yù)測(cè) [J].中國(guó)煤炭，2017，43（3）：124-129.

[7] 張新建，劉鋒，李賢功.基于小波降噪和循環(huán)神經(jīng)網(wǎng)絡(luò)的煤礦瓦斯?jié)舛阮A(yù)測(cè) [J].煤炭技術(shù)，2020，39（9）：145-148.

[8] 趙建利，白格平，李英俊，等.基于CNN-LSTM的短期風(fēng)電功率預(yù)測(cè) [J].自動(dòng)化儀表，2020，41（5）：37-41.

作者簡(jiǎn)介：荀曉玉（1995—），女，漢族，遼寧凌源人，在讀碩士研究生，研究方向：深度學(xué)習(xí)應(yīng)用。