鄭海青， 趙越磊， 孫曉云， 靳 強(qiáng)

（1.石家莊鐵道大學(xué)電氣與電子工程學(xué)院，石家莊 050043； 2.河北金隅鼎鑫水泥有限公司，石家莊 050020）

滑坡作為一種自然地質(zhì)災(zāi)害，常常對(duì)人類(lèi)的生命財(cái)產(chǎn)帶來(lái)較大的危害，科學(xué)準(zhǔn)確構(gòu)建滑坡變形演化的預(yù)測(cè)預(yù)報(bào)模型是減少滑坡災(zāi)害的關(guān)鍵. 利用多期數(shù)據(jù)對(duì)同一點(diǎn)的變形時(shí)間序列進(jìn)行分析，可以得到滑坡區(qū)內(nèi)某些關(guān)鍵點(diǎn)的位移—時(shí)間曲線，并據(jù)此進(jìn)行滑坡穩(wěn)定性判別和中長(zhǎng)期預(yù)警. 監(jiān)測(cè)僅是手段，預(yù)警才是目的. 因此，除應(yīng)重視地質(zhì)災(zāi)害監(jiān)測(cè)儀器研發(fā)和隱患點(diǎn)的專(zhuān)業(yè)監(jiān)測(cè)外，更應(yīng)高度重視地質(zhì)災(zāi)害預(yù)警工作，尤其是各種監(jiān)測(cè)數(shù)據(jù)的收集整理和分析，研究和建立地質(zhì)災(zāi)害預(yù)警模型和判據(jù)［1］.

現(xiàn)在的邊坡位移預(yù)測(cè)模型主要有回歸分析［2］、灰色理論、神經(jīng)網(wǎng)絡(luò)等［3］. He等［4］將Scoops3D模型與TRIGRS模型（3D）相結(jié)合，以預(yù)測(cè)淺層滑坡的時(shí)空分布，獲得更準(zhǔn)確的結(jié)果. 但該法通常適用于滑坡少的地區(qū)，并缺乏降雨和滑坡穩(wěn)定性的定量研究. Xing等［5］用雙指數(shù)平滑法預(yù)測(cè)滑坡位移趨勢(shì)項(xiàng)，建立支持向量回歸和長(zhǎng)短期記憶網(wǎng)絡(luò)的混合模型來(lái)預(yù)測(cè)滑坡位移周期項(xiàng). 該方法保持較高的預(yù)測(cè)精度，降低低估率，從而可以自適應(yīng)地規(guī)避風(fēng)險(xiǎn).

目前，由于確定性模型需要較多關(guān)于地質(zhì)條件等綜合數(shù)據(jù)［6］，所以其預(yù)測(cè)精度相對(duì)較低. 由灰色預(yù)測(cè)模型為代表性的統(tǒng)計(jì)模型，外延性較差. 通常僅對(duì)單個(gè)邊坡變形適用，普適性較差［7］. 基于非線性動(dòng)力學(xué)理論的智能算法預(yù)測(cè)模型對(duì)邊坡復(fù)雜影響因子的進(jìn)一步刻畫(huà)，邊坡變形預(yù)報(bào)技術(shù)還在不斷完善［8-9］，而用時(shí)間序列常用模型長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）雖能提高預(yù)測(cè)精度，但對(duì)于深度神經(jīng)網(wǎng)絡(luò)這種大模型，參數(shù)量遠(yuǎn)遠(yuǎn)大于數(shù)據(jù)量. 過(guò)多的參數(shù)需要更多的儲(chǔ)存空間，也需要更多的計(jì)算量，Yu等［10］將最后的應(yīng)答層的特征誤差重新組合，用“重要分?jǐn)?shù)”將通道連通，有效改善了網(wǎng)絡(luò)訓(xùn)練速度. 故此，本文擬建立基于CNN-LSTM 混合模型的邊坡位移預(yù)測(cè)模型，以河北金隅鼎鑫水泥有限公司排土場(chǎng)監(jiān)測(cè)點(diǎn)G011監(jiān)測(cè)到的邊坡位移數(shù)據(jù)為例，驗(yàn)證所搭建模型的有效性. 但模型尺寸比較大，讓其使用產(chǎn)生局限性. 對(duì)原來(lái)的剪枝方法進(jìn)行修改，模型結(jié)構(gòu)中的冗余元素進(jìn)行刪減，實(shí)現(xiàn)模型壓縮的目的.

1 預(yù)測(cè)模型的建立

圖1 1D-CNN結(jié)構(gòu)模型Fig.1 1D-CNN structure model

1.1 一維卷積神經(jīng)網(wǎng)絡(luò)（1D-CNN）

當(dāng)一維尺度的時(shí)間序列信號(hào)作輸入的時(shí)候，一維卷積比二維卷積有更優(yōu)秀的特征提取能力. 一維卷積常用在序列模型和自然語(yǔ)言處理領(lǐng)域，文獻(xiàn)［11］將機(jī)械振動(dòng)信號(hào)作為一維卷積神經(jīng)網(wǎng)絡(luò)的輸入，實(shí)現(xiàn)機(jī)器的實(shí)時(shí)故障診斷. 一維卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示.

卷積操作可表示為：

其中：Hi為第i 層輸入特征量；?代表卷積運(yùn)算；Wi和bi分別表示第i 層卷積核的權(quán)重和偏置；非線性函數(shù)f 為激活函數(shù). 其中池化層用于對(duì)卷積后的特征量進(jìn)行降維，可表示為：

其中：Hi-1和Hi分別表示池化前后的特征量；down 表示池化函數(shù).

1.2 長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）

LSTM是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）［12］，主要用于解決長(zhǎng)序列訓(xùn)練過(guò)程中的梯度消失和梯度爆炸問(wèn)題.LSTM記憶單元結(jié)構(gòu)如圖2所示.

LSTM 的隱藏層由輸入門(mén)、遺忘門(mén)和輸出門(mén)進(jìn)行控制. t 時(shí)刻，細(xì)胞狀態(tài)的計(jì)算過(guò)程如下：

圖2 LSTM結(jié)構(gòu)模型Fig.2 LSTM structural model

其中：ft，it，σt分別為輸入門(mén)、遺忘門(mén)和輸出門(mén)的計(jì)算值，xt為t 時(shí)刻的輸入；ht為t 時(shí)刻的輸出；Ct為t 時(shí)刻細(xì)胞的狀態(tài)；Wf，Wi，Wo分別為各自門(mén)控的權(quán)重；bf，bi，bo為對(duì)應(yīng)的偏置；Wc為候選值權(quán)重；bc為相應(yīng)偏置；σ 和tanh表示兩種激活函數(shù).

1.3 通道剪枝（Channel pruning）

通道剪枝技術(shù)就是在輸入x 一定的情況下，需要選擇剪掉第幾個(gè)通道，同時(shí)還需要在通道被剪后，進(jìn)行權(quán)重的重新學(xué)習(xí)，保證剪枝前和剪枝后輸出的特征圖具有最小的L2范數(shù)［13］. 通道剪枝示意圖如3所示.

圖3 中，B、W 和C 分別為輸入特征圖、卷積核和輸出特征圖，m 和n 分別為輸入特征圖和輸出特征圖的通道數(shù). 當(dāng)我們裁剪了卷積核中的通道數(shù)后，相對(duì)應(yīng)的輸入特征圖中的通道數(shù)亦可裁去，目的就是在盡可能剪枝的情況下，保持剪枝后特征圖和原始特征圖的差距最小，可描述為：

圖3 通道剪枝示意圖Fig.3 Schematic diagram of channel pruning

1.4 基于剪枝優(yōu)化的CNN-LSTM混合模型

較長(zhǎng)的時(shí)間序列直接用LSTM處理時(shí)，計(jì)算要求很高，因此一般先用CNN在LSTM前進(jìn)行數(shù)據(jù)的部分處理，把長(zhǎng)序列換成短序列. CNN-LSTM預(yù)測(cè)模型在訓(xùn)練時(shí)要求計(jì)算強(qiáng)度較高，為加快運(yùn)算速率，針對(duì)CNN 卷積層，逐層應(yīng)用通道剪枝技術(shù). 所提出網(wǎng)絡(luò)模型如圖4 所示，其中1D-CNN 由3 個(gè)一維卷積層和3 個(gè)池化層組成，用于將數(shù)據(jù)的特征量進(jìn)行重構(gòu)和降維. 輸出的特征作為L(zhǎng)STM 的輸入，經(jīng)LSTM 二次提取時(shí)序信息后輸出預(yù)測(cè)結(jié)果.

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)采集

實(shí)驗(yàn)中采用的數(shù)據(jù)來(lái)自河北金隅鼎鑫水泥有限公司礦山邊坡位移監(jiān)測(cè)項(xiàng)目，該地區(qū)的坡體巖土顆粒較松散，條帶狀沖溝的現(xiàn)象極易發(fā)生，而且隨著時(shí)間的演變，外界水侵蝕了邊坡基地的土體強(qiáng)度，讓該地區(qū)的邊坡變得不穩(wěn)定. 該地區(qū)的邊坡面貌如圖5所示. 選取排土場(chǎng)監(jiān)測(cè)點(diǎn)G011監(jiān)測(cè)到的2019年6 月1日至2020年7月1日的邊坡位移數(shù)據(jù)對(duì)該地的邊坡穩(wěn)定性進(jìn)行分析，部分?jǐn)?shù)據(jù)如表1 所示，其中X、Y、Z 分別為三維空間直角坐標(biāo)系的三個(gè)方向的位移量. 為方便模型訓(xùn)練，將位移量作為本次實(shí)驗(yàn)數(shù)據(jù)的數(shù)據(jù)集進(jìn)行訓(xùn)練分析.

圖4 剪枝優(yōu)化CNN-LSTM混合模型Fig.4 CNN-LSTM hybrid model for pruning optimization

圖5 礦山邊坡面貌Fig.5 Mine slope appearance

表1 采集到的邊坡位移數(shù)據(jù)Tab.1 Collected data of slope displacements

2.2 實(shí)驗(yàn)結(jié)果

為消除奇異樣本數(shù)據(jù)引起的訓(xùn)練時(shí)間增大問(wèn)題，采用歸一化方法對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，可表示為：

表2 參數(shù)設(shè)置Tab.2 Parameter setting

其中：x 為原始數(shù)據(jù)；min(x)為原始數(shù)據(jù)中的最小數(shù)值；max(x)為原始數(shù)據(jù)的最大數(shù)值，x′為歸一化后數(shù)據(jù)［15］.

采用自適應(yīng)矩估計(jì)方法（Adaptive Moment Estimation，Adam）用來(lái)更新網(wǎng)絡(luò)權(quán)重［16］，其余參數(shù)如表2所示.

為驗(yàn)證加入剪枝技術(shù)后預(yù)測(cè)模型的有效性，引入了LSTM［17］、1DCNN［18］、剪枝后的CNN 模型和剪枝前的CNN-LSTM［19-20］進(jìn)行對(duì)比，其中1D-CNN 由三層卷積與三層最大池化交替排列；LSTM模型由兩個(gè)狀態(tài)單元疊加構(gòu)成. 采用RMSE（均方根誤差）、MAPE（平均絕對(duì)百分比誤差）作為網(wǎng)絡(luò)性能的評(píng)價(jià)指標(biāo)，表3為不同模型的預(yù)測(cè)結(jié)果，標(biāo)號(hào)1-7分別代表1DCNN模型，LSTM模型，1DCNN-LSTM組合模型，對(duì)Conv1進(jìn)行剪枝的1DCNN-LSTM 模型，對(duì)Conv2進(jìn)行剪枝的1DCNN-LSTM 模型，對(duì)Conv3進(jìn)行剪枝的1DCNN-LSTM 模型及同時(shí)對(duì)Conv1、Conv2、Conv3 進(jìn)行剪枝的1DCNN-LSTM 模型. 并隨機(jī)選取第71、72 和73 天的位移量的實(shí)測(cè)值與預(yù)測(cè)值進(jìn)行對(duì)比分析，并用相對(duì)誤差作為兩者間評(píng)價(jià).

表3 不同預(yù)測(cè)模型的實(shí)驗(yàn)結(jié)果Tab.3 Experimental results of different prediction models

由表3可知，經(jīng)過(guò)剪枝優(yōu)化的網(wǎng)絡(luò)結(jié)構(gòu)在各指標(biāo)上都略?xún)?yōu)于其他網(wǎng)絡(luò)結(jié)構(gòu)，其中LSTM的預(yù)測(cè)效果最差，原因在于單獨(dú)的LSTM模型不能對(duì)局部特征進(jìn)行有效提取，還會(huì)因?yàn)樯窠?jīng)元個(gè)數(shù)的增多導(dǎo)致計(jì)算量變大，過(guò)擬合風(fēng)險(xiǎn)增加. 單獨(dú)的CNN模型提取特征能力很強(qiáng)，但對(duì)時(shí)序數(shù)據(jù)的預(yù)測(cè)不如LSTM，因此CNN與LSTM的組合模型，集合二者的優(yōu)點(diǎn)，擬合能力、泛化性都較單一模型好. 剪枝優(yōu)化后的組合模型預(yù)測(cè)效果普遍優(yōu)于未剪枝優(yōu)化的. 對(duì)CNN的每個(gè)卷積層都進(jìn)行剪枝優(yōu)化的組合模型預(yù)測(cè)效果最好，且在可接受范圍內(nèi)達(dá)到短期預(yù)測(cè)的要求. 圖6～圖8分別為L(zhǎng)STM、CNN-LSTM和逐層剪枝優(yōu)化的CNN-LSTM模型位移預(yù)測(cè)結(jié)果.

圖6 LSTM模型預(yù)測(cè)結(jié)果Fig.6 Prediction results of LSTM model

圖7 CNN-LSTM組合模型預(yù)測(cè)結(jié)果Fig.7 Prediction results of CNN-LSTM combined model

圖8 逐層剪枝優(yōu)化的CNN-LSTM模型預(yù)測(cè)結(jié)果Fig.8 Prediction results of CNN-LSTM model optimized by pruning layer-by-layer

從圖6～圖8可以看出，與LSTM和CNN-LSTM預(yù)測(cè)模型相比，逐層剪枝優(yōu)化的CNN-LSTM組合模型位移預(yù)測(cè)結(jié)果和實(shí)際值雖然存在滯后現(xiàn)象，但是總趨勢(shì)與實(shí)際值趨勢(shì)較為吻合，擬合結(jié)果更好.

3 結(jié)論

為準(zhǔn)確預(yù)測(cè)邊坡的位移變化趨勢(shì)，從而為提前預(yù)報(bào)預(yù)警提供理論依據(jù)，提出了一種基于剪枝優(yōu)化的1DCNN-LSTM 組合預(yù)測(cè)模型. 該模型以時(shí)序特征向量作為輸入，為降低模型復(fù)雜度，采用剪枝技術(shù)進(jìn)行有針對(duì)性的通道剪枝，讓模型能在保證精確度不降低的條件下，能夠更快、更準(zhǔn)地進(jìn)行訓(xùn)練. 實(shí)驗(yàn)結(jié)果表明，與未剪枝的CNN-LSTM 模型相比，該模型可以減少訓(xùn)練時(shí)間，在保證模型訓(xùn)練的準(zhǔn)確性的基礎(chǔ)上降低內(nèi)存占用量.