楊國林，孫學(xué)先，鎖旭宏，劉 濤，曹 辰

（1.蘭州交通大學(xué)測繪與地理信息學(xué)院，蘭州 730070；2.蘭州交通大學(xué)地理國情監(jiān)測技術(shù)應(yīng)用國家地方聯(lián)合工程研究中心，蘭州 730070；3.中交一航局第二工程有限公司，山東青島 266071；4.蘭州交通大學(xué)甘肅省地理國情監(jiān)測工程實驗室，蘭州 730070）

各種不同類型的神經(jīng)網(wǎng)絡(luò)方法對人工智能和機 器學(xué)習有新的促進，它們都在各自應(yīng)用領(lǐng)域有著重要意義［1-3］.其中在標準的循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）中，神經(jīng)元之間存在反饋和前饋連接，動態(tài)處理和計算能力比傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)更加出色，在時序數(shù)據(jù)處理中表現(xiàn)出很強的適應(yīng)性［4-5］.在 RNN網(wǎng)絡(luò)基礎(chǔ)上發(fā)展來的長短期記憶（long short-term memory，LSTM）神經(jīng)網(wǎng)絡(luò)有了新的改進［6］，其主要優(yōu)點體現(xiàn)在：RNN在樣本訓(xùn)練過程中，由于訓(xùn)練的時間積累過多，從而導(dǎo)致網(wǎng)絡(luò)層數(shù)的改變越發(fā)頻繁，就可能產(chǎn)生梯度爆炸，形成梯度消失問題［7-8］，無法獲得長程信息.新的方法能在這些方面有針對性改進，LSTM當前已成功應(yīng)用的領(lǐng)域包括文本生成、機器翻譯、語音識別、生成圖像描述和視頻標記等［9-11］.當前針對橋梁形變預(yù)測方法主要包括灰色理論法，時間序列模型、回歸模型等預(yù)測模型法，主要能進行短期預(yù)測，LSTM方法可彌補這一不足，在構(gòu)筑物變形監(jiān)測數(shù)據(jù)處理方面，相較常規(guī)方法具有優(yōu)勢.

在建設(shè)工程中橋梁沉降及傾斜變形監(jiān)測十分重要，通過準確地預(yù)測橋梁工程建設(shè)中沉降和傾斜的變化過程，就能較早地找到橋梁形變的異常狀況從而進行必要的應(yīng)對調(diào)整，防止災(zāi)害出現(xiàn)造成工程損失［12-14］.

通過利用橋梁實測數(shù)據(jù)對建立的RNN和LSTM網(wǎng)絡(luò)模型分別進行訓(xùn)練及預(yù)測，在RNN網(wǎng)絡(luò)基礎(chǔ)上根據(jù)Martin等［15］改進的LSTM網(wǎng)絡(luò)能夠?qū)W習時間序列中的短期和長期相關(guān)信息，克服了RNN相關(guān)的問題，結(jié)果表明，LSTM網(wǎng)絡(luò)能夠?qū)τ^測數(shù)據(jù)進行高精度和穩(wěn)定的擬合和預(yù)測，能夠有效地描述橋梁的變形規(guī)律.

1 RNN和LSTM 原理介紹

1．1 RNN循環(huán)神經(jīng)網(wǎng)絡(luò)

RNN的模型結(jié)構(gòu)圖中涉及到輸入、輸出和中間的隱藏層，在當前時間隱藏層中有連接輸入到下一時間隱藏層．對于給定序列 x=（x1，x2，…，xn），可以通過迭代式（1）和式（2）計算出一個隱藏層序列h=（h1，h2，…，hn）和一個輸出序列 o=（o1，o2，…，o2）．結(jié)構(gòu)如圖1所示．

圖1 RNN模型細胞結(jié)構(gòu)Fig．1 Cell structure of RNN model

式中：W為給定序列的權(quán)重系數(shù)矩陣；U為隱藏序列的權(quán)重系數(shù)矩陣；V為輸出序列的權(quán)重系數(shù)矩陣；b為偏置向量；f為激活函數(shù)．

過程中普遍采用的（3）和（4）式的sigmoid激活函數(shù)和tan h激活函數(shù)．在特征信息相差比較大的情況通常使用激活函數(shù)tan h；在相差較小時使用函數(shù)sigmoid，同時對輸入數(shù)據(jù)進行規(guī)范化處理．

1．2 LSTM 長短期記憶網(wǎng)絡(luò)

LSTM網(wǎng)絡(luò)中有時間記憶單元，LSTM網(wǎng)絡(luò)是將RNN隱藏層的細胞替換為LSTM細胞，即具有了長期記憶的特性，LSTM模型細胞結(jié)構(gòu)如圖2所示.對于學(xué)習時間序列依賴于時期長短的問題與長序列建模問題，可以更好處理存在于RNN中的問題，改進效果明顯［16-17］.

圖2 LSTM 模型細胞結(jié)構(gòu)Fig．2 Cell structure of LSTM model

其中LSTM在t時刻輸入的序列值為xt，輸出值及控制單元狀態(tài)為ht-1和ct-1；LSTM的輸出為：輸出值ht及控制單元狀態(tài)ct.計算分別見式（5）～（7）［18］：

式中：Wf、Wi、Wo為權(quán)重矩陣；bf、bi、bo為偏置項［19］．

具體開展研究的方法流程如圖3所示.

圖3 數(shù)據(jù)處理流程Fig．3 Flowchart of Data processing

首先開展深度學(xué)習預(yù)測算法的歸納分析，然后進行多數(shù)據(jù)驅(qū)動型LSTM算法研究，特別針對橋梁形變進行LSTM預(yù)測模型設(shè)計，具體通過數(shù)據(jù)的預(yù)處理、模型參數(shù)的計算、進行樣本的模型訓(xùn)練和對模型進行評估，實現(xiàn)LSTM算法對橋梁形變的預(yù)測分析.

2 實例分析

2.1 實例研究過程

使用基于Sequential-Keras模型所構(gòu)建的基于單元素分析的三層神經(jīng)網(wǎng)絡(luò)框架，擬定輸入輸出單元，過程中單元誤差函數(shù)為標準差，激活函數(shù)為adam.現(xiàn)用一橋梁的長周期形變觀測數(shù)據(jù)對其進行訓(xùn)練和預(yù)測，數(shù)據(jù)如表1所列.通過差分使數(shù)據(jù)穩(wěn)定，并將數(shù)據(jù)轉(zhuǎn)換為有監(jiān)督數(shù)據(jù)，對轉(zhuǎn)換后的數(shù)據(jù)進行拆分，分為訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)并進行縮放.通過確定步長、迭代次數(shù)和神經(jīng)元數(shù)量參數(shù)進行訓(xùn)練和預(yù)測，并根據(jù)RMSE的值調(diào)整參數(shù)直至參數(shù)滿足精度要求.

表1 橋梁觀測數(shù)據(jù)Tab．1 Bridge measured data

2.2 數(shù)據(jù)結(jié)果分析

研究方案中以前35期沉降觀測數(shù)據(jù)作為訓(xùn)練樣本，后5期數(shù)據(jù)作為測試樣本，經(jīng)過相應(yīng)程序計算，該橋梁的沉降曲線如圖4所示，兩種方法分別開展沉降預(yù)測，成果分析如圖5所示，傾斜曲線如圖6所示.另外以前7期傾斜方面觀測的數(shù)據(jù)作為樣本，以后面3期傾斜觀測數(shù)據(jù)作為測試樣本，經(jīng)過相應(yīng)程序進行傾斜預(yù)測，其成果對比如圖7所示，結(jié)果對比及分析如表2～3所列.

表2 沉降觀測值與預(yù)測值比較Tab．2 Comparison of settlement measured and predicted values

圖5 沉降預(yù)測結(jié)果對比Fig．5 Comparison of settlement prediction results

圖7 曲線預(yù)測結(jié)果對比Fig．7 Comparison of tilt prediction results

分析圖4表明，橋梁的沉降在第1期至第6期時間段內(nèi)經(jīng)歷一個緩慢下沉過程，此時處于施工期，隨后在第6期至第17期時間段內(nèi)快速下沉，之后下沉速率放緩并趨于穩(wěn)定.分析圖6，受施工因素、地質(zhì)條件和自然天氣等對橋梁的下沉及傾斜造成的綜合影響，表明橋梁的傾斜具有一定階段性.

圖4 沉降曲線Fig．4 Settlement curve of bridge

圖6 傾斜曲線Fig．6 Tilt deformation curve of bridge

分析圖5和圖7表明，采用訓(xùn)練樣本對LSTM進行訓(xùn)練的效果要好于RNN，RNN訓(xùn)練誤差離散較大，LSTM在各個測試樣本誤差都較小.對于橋梁傾斜的預(yù)測，LSTM和RNN最終結(jié)果接近，在一定的時間序列處理中LSTM的提升不顯著.大量的重復(fù)訓(xùn)練試驗表明通過增加迭代次數(shù)、隱藏層層數(shù)和神經(jīng)元個數(shù)使RNN預(yù)測精度的提高效果不大，而在同種試驗條件下LSTM預(yù)測精度都較高，尤其是在長序列預(yù)測中.

統(tǒng)計所有過程數(shù)據(jù)并根據(jù)表2相關(guān)信息表明，RNN預(yù)測平均絕對誤差為0.47 mm，平均相對誤差為1.15%，標準差為0.507.LSTM方法得到的平均絕對誤差值是0.12 mm，平均相對誤差是0.31%，標準差為0.158.LSTM較RNN預(yù)測精度有整體提升，能較準確反映橋梁的沉降規(guī)律.從表3可以看到，RMSE值分別為0.120和0.113，二者在傾斜短時間序列預(yù)測中效果接近.RNN存在梯度消散問題，在特定實際情況下建模效果較差.在RNN基礎(chǔ)上改進的LSTM較好地解決了這個問題，考慮到當前信息對過往信息的影響，增加不同長短時期信息的學(xué)習，對時間序列遇到間隔與延遲的情況下更為可靠.

表3 傾斜觀測值與預(yù)測值比較Tab．3 Comparison of tilt measured and predicted values

3 結(jié)論

工程施工監(jiān)測更加自動智能的條件下，預(yù)測質(zhì)量的提高對形變監(jiān)測關(guān)系重大.利用橋梁的實測數(shù)據(jù)對RNN和LSTM網(wǎng)絡(luò)開展訓(xùn)練和預(yù)測，由研究結(jié)果可知，在對橋梁的沉降與傾斜的監(jiān)測中，兩者都能反映橋梁的沉降規(guī)律，在傾斜短時間序列預(yù)測中效果接近，同時LSTM能更好解決梯度消散問題，且LSTM網(wǎng)絡(luò)性能更穩(wěn)定、更準確，效果明顯優(yōu)于RNN網(wǎng)絡(luò)，對橋梁形變的預(yù)測和分析更具優(yōu)勢.因此應(yīng)用LSTM在橋梁變形預(yù)測中有較好的適用性，能為類似形變監(jiān)測提供參考依據(jù).