雷 未,王 建,吉同元,李鵬飛

(1.河海大學(xué)水利水電學(xué)院,江蘇 南京 210098; 2.華設(shè)設(shè)計(jì)集團(tuán)股份有限公司,江蘇 南京 210014)

通過大壩安全監(jiān)測手段獲得的大量監(jiān)測數(shù)據(jù)可為大壩運(yùn)行狀態(tài)提供評價(jià)依據(jù)。然而,由于儀器故障、系統(tǒng)停機(jī)、傳感器老化、人為干擾等因素,不可避免地會發(fā)生監(jiān)測數(shù)據(jù)丟失的情況,這給大壩安全的客觀診斷帶來了困難。測點(diǎn)的部分?jǐn)?shù)據(jù)缺失不利于數(shù)據(jù)綜合利用而影響整體安全評價(jià);同時(shí)也會影響監(jiān)測量可視化過程線的完整性。因此,需要針對大壩監(jiān)測缺失數(shù)據(jù)提出一個(gè)有效的插補(bǔ)模型,以提高大壩結(jié)構(gòu)監(jiān)測的數(shù)據(jù)可靠性。本質(zhì)上,傳感器缺失數(shù)據(jù)的重建,特別是針對大壩效應(yīng)量缺失數(shù)據(jù)的重建可以被認(rèn)為是一個(gè)回歸問題,可以通過因果模型建立外部荷載和大壩響應(yīng)之間的關(guān)系來預(yù)測缺失部分的數(shù)據(jù)[1]。然而,在實(shí)際工程中大壩的行為可能取決于不可獲知的變量因素,對于成熟的監(jiān)測模型也可能存在環(huán)境資料缺乏的情況,無法為因果模型提供完整的特征數(shù)據(jù)。此外,也可以通過附近測點(diǎn)來判斷目標(biāo)測點(diǎn)的缺失值。這種插補(bǔ)模型通過分析測點(diǎn)序列的相似性,將高相似度的測點(diǎn)引入輸入特征集來調(diào)控缺失部位的插補(bǔ)結(jié)果[2]。但當(dāng)實(shí)際工程中的測點(diǎn)分布較稀疏,找不到目標(biāo)測點(diǎn)的高相似度測點(diǎn),或該高相似度測點(diǎn)也存在相同時(shí)間段的數(shù)據(jù)缺失問題時(shí),這種插補(bǔ)方式將不再適用。本文從監(jiān)測量自身時(shí)間序列的角度,探究監(jiān)測量在時(shí)間軸上的變化規(guī)律,結(jié)合過去監(jiān)測值與未來監(jiān)測值的發(fā)展趨勢對中間缺失數(shù)據(jù)進(jìn)行插補(bǔ)。

目前,常用的缺失數(shù)據(jù)插補(bǔ)方法有拉格朗日插值法、均值法、最大頻率法等[3],這些方法理論簡單,操作方便,可以為少量零散的缺失部分提供較為準(zhǔn)確的插補(bǔ)值。當(dāng)面對長時(shí)間段的數(shù)據(jù)缺失情況時(shí),通過以上填補(bǔ)技術(shù)則往往難以獲得高精度的填補(bǔ)數(shù)據(jù)。近些年國內(nèi)外學(xué)者將許多新興的技術(shù)手段融入其中,并提出了很多優(yōu)化插補(bǔ)模型,如支持向量機(jī)[4]、XGBoost[5]、高斯過程回歸[6]等。以上研究均是以傳統(tǒng)機(jī)器學(xué)習(xí)算法為導(dǎo)向,為解決數(shù)據(jù)缺失問題提供了較好的技術(shù)支持,但淺層機(jī)器學(xué)習(xí)算法依賴于一些需要人工設(shè)定的超參數(shù),技術(shù)人員的操作經(jīng)驗(yàn)決定了模型的訓(xùn)練效果。隨著神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展,更加復(fù)雜層次的深度學(xué)習(xí)在相關(guān)領(lǐng)域中已取得重大突破[7-9]。深度學(xué)習(xí)存在兩個(gè)重要的分支——循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)[10]與卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)[11]。RNN在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上嵌入反饋、循環(huán)結(jié)構(gòu),具備記憶功能,但其結(jié)構(gòu)相對簡單,只能設(shè)置為神經(jīng)元之間權(quán)重共享的連接形式,因此RNN在梯度傳遞方面存在缺陷,無法解決長時(shí)依賴問題,從而無法得到預(yù)期的結(jié)果。長短期記憶神經(jīng)網(wǎng)絡(luò)(long short-term memory,LSTM)作為RNN的一種變體,彌補(bǔ)了RNN的梯度缺陷,被廣泛應(yīng)用于時(shí)間序列的預(yù)測分析[12-13]。CNN通過利用局部相關(guān)性和權(quán)值共享的思想,極大地減少了網(wǎng)絡(luò)參數(shù),提高了訓(xùn)練效率,更容易搭建超大規(guī)模的深層網(wǎng)絡(luò)。因此,CNN常被用于實(shí)現(xiàn)圖像識別[14]、圖像分類[15]以及目標(biāo)檢測[16]等。

本文提出一種基于深度學(xué)習(xí)框架的雙向CNN-BiLSTM-Attention大壩監(jiān)測缺失數(shù)據(jù)插補(bǔ)模型。該模型融合CNN與雙向LSTM(BiLSTM)的算法優(yōu)勢,以提取大壩監(jiān)測量時(shí)間軸的全局特征,同時(shí)引入注意力機(jī)制(Attention)來捕捉長時(shí)間序列中的依賴關(guān)系,進(jìn)一步優(yōu)化插補(bǔ)過程。此外,針對中間長序列缺失部位,按插補(bǔ)時(shí)間步遞減的權(quán)重融合時(shí)間序列正反向插補(bǔ)值,消除時(shí)間步累計(jì)誤差以提高插補(bǔ)精度。

1 雙向CNN-BiLSTM-Attention大壩監(jiān)測缺失數(shù)據(jù)插補(bǔ)模型

1.1 CNN

作為深度學(xué)習(xí)的代表算法之一,CNN是一種包含卷積計(jì)算的具有深度結(jié)構(gòu)前饋神經(jīng)網(wǎng)絡(luò)。與傳統(tǒng)模型相比,CNN可以實(shí)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)中的參數(shù)共享,減少了模型訓(xùn)練計(jì)算所需的內(nèi)存。一維卷積神經(jīng)網(wǎng)絡(luò)主要由輸入層、卷積層、池化層、全連接層和輸出層組成。輸入層接收完整的歷史觀測變形數(shù)據(jù)。一維卷積層將預(yù)設(shè)的卷積核應(yīng)用于歷史觀測數(shù)據(jù)時(shí)間軸的特征提取,卷積核在輸入數(shù)據(jù)上滑動產(chǎn)生的一維濾波處理大壩監(jiān)測數(shù)據(jù)y通常可以表示為

(1)

式中:xi-j+k為輸入時(shí)間序列;wj為卷積核的權(quán)重矩陣;b為偏差;k為卷積核個(gè)數(shù)。

得到濾波后的大壩變形特征數(shù)據(jù)后,需要通過池化層進(jìn)行維數(shù)壓縮,以減少后續(xù)模型構(gòu)建的計(jì)算量,同時(shí)賦予這些特征平移不變性,保證特征的可識別性。然后將這些降維特征與全連接層的神經(jīng)元連接起來進(jìn)行非線性回歸計(jì)算,最后通過輸出層輸出預(yù)測結(jié)果。

1.2 LSTM

圖1 RNN、LSTM 與BiLSTM結(jié)構(gòu)

在LSTM基礎(chǔ)上,進(jìn)一步引入雙向LSTM(BiLSTM),BiLSTM由分別獲得前部和后部特征的前向LSTM和后向LSTM組成。與LSTM相比,BiLSTM當(dāng)前循環(huán)單元的狀態(tài)受前后數(shù)據(jù)的影響,因此在處理時(shí)間序列數(shù)據(jù)時(shí)可以更好地掌握整個(gè)數(shù)據(jù)流的信息。BiLSTM的結(jié)構(gòu)如圖1(c)所示。圖中xi為輸入數(shù)據(jù),yi為輸出數(shù)據(jù),wi為權(quán)重。前向LSTM的隱藏層狀態(tài)Ai和后向LSTM的隱藏層狀態(tài)Bi以及BiLSTM的輸出數(shù)據(jù)按以下方程進(jìn)行處理:

Ai=f1(w1xi+w2Ai-1)

(2)

Bi=f2(w3xi+w5Bi+1)

(3)

yi=f3(w4Ai+w6Bi)

(4)

1.3 注意力機(jī)制

注意力機(jī)制源于人腦的視覺信號處理模式,通過快速掃描信息以獲取人們想要關(guān)注的焦點(diǎn)與目標(biāo)區(qū)域,無用的信息將被忽略。在深度學(xué)習(xí)中,注意力機(jī)制根據(jù)不同特征信息分配權(quán)重,對關(guān)鍵信息分配更大權(quán)重,不重要的內(nèi)容則分配較小權(quán)重,這種差異化的權(quán)重分配使得信息處理更加高效。

注意力機(jī)制的基本思想是從海量數(shù)據(jù)中提取對后續(xù)預(yù)測更有用的信息,而實(shí)現(xiàn)該目標(biāo)的本質(zhì)是計(jì)算LSTM隱藏層的輸出序列,即訓(xùn)練后的輸入特征向量,進(jìn)而得到特征權(quán)重向量,從中找到更重要的影響因素,使信息處理更高效和準(zhǔn)確。

1.4 模型構(gòu)建步驟

雙向CNN-BiLSTM-Attention大壩監(jiān)測缺失數(shù)據(jù)插補(bǔ)模型框架如圖2(a)所示。該模型構(gòu)建步驟如下:①構(gòu)建CNN-BiLSTM-Attention深度學(xué)習(xí)框架,采用Conv1D和池化層組成的卷積層提取監(jiān)測數(shù)據(jù)的內(nèi)部特征,其中Conv1D提取監(jiān)測數(shù)據(jù)時(shí)間軸的局部特征,池化層進(jìn)一步壓縮局部特征并生成特征的關(guān)鍵信息;②搭建BiLSTM隱藏層,從卷積層提取的局部特征信息中迭代學(xué)習(xí),生成動態(tài)變化的全局特征;③將全局特征輸入Attention層,利用注意力機(jī)制對全局特征通過加權(quán)方式進(jìn)行重要性篩分,挖掘監(jiān)測數(shù)據(jù)的時(shí)間相關(guān)性,過濾冗余信息以突出對插補(bǔ)結(jié)果影響更為關(guān)鍵的重要特征;④將Attention層與一個(gè)全連接層銜接,通過全連接層的激活函數(shù)輸出最終的插補(bǔ)結(jié)果。此外,為了防止過擬合現(xiàn)象,在卷積層后添加Dropout層隨機(jī)丟棄部分神經(jīng)元,以提高模型的泛化能力與訓(xùn)練速度。

圖2 雙向CNN-BiLSTM-Attention大壩監(jiān)測缺失數(shù)據(jù)插補(bǔ)模型

時(shí)間序列插補(bǔ)采用滑動窗口模式,即由窗口內(nèi)的數(shù)據(jù)插補(bǔ)下一時(shí)刻的監(jiān)測量,伴隨著窗口的滑動,插補(bǔ)值逐漸被更新到窗口內(nèi),但這種插補(bǔ)方式會造成插補(bǔ)誤差逐步累加。針對中間監(jiān)測數(shù)據(jù)缺失的情況,本文采用雙向插補(bǔ)模式來對缺失部分進(jìn)行插補(bǔ),即通過正向插補(bǔ)與反向插補(bǔ)方式,從時(shí)間序列兩端同時(shí)對缺失數(shù)據(jù)進(jìn)行插補(bǔ),再按插補(bǔ)時(shí)間步遞減的權(quán)重對兩組插補(bǔ)值加權(quán)平均,二者結(jié)果互補(bǔ)形成新的插補(bǔ)值以避免插補(bǔ)誤差在時(shí)間步中累積增加。如圖2(b)所示,假設(shè)缺失部分的數(shù)據(jù)總時(shí)間步為Δt,正向插補(bǔ)過程的第1個(gè)插補(bǔ)值的權(quán)重為1,第2個(gè)插補(bǔ)值的權(quán)重為1-1/Δt,依此類推,最后1個(gè)權(quán)重為0,則記正向插補(bǔ)結(jié)果y1的權(quán)重為w1=(1,1-1/Δt,…,0)。同理,反向插補(bǔ)結(jié)果y2的權(quán)重為w2=1-w1=(0,1/Δt,…,1),由此獲得插補(bǔ)模型最終的插補(bǔ)值為w1y1+w2y2。

2 工程實(shí)例

本文使用的模型測試數(shù)據(jù)來自某水電站工程的大壩變形監(jiān)測數(shù)據(jù)。該工程始建于1937年,1985年建立真空激光測壩變形系統(tǒng)并開始觀測。攔河壩為混凝土重力壩,共由60個(gè)壩段組成。選取11號壩段1985年1月11日至2010年3月22日的水平位移作為研究對象,人為刪除中間段部分?jǐn)?shù)據(jù),采用雙向CNN-BiLSTM-Attention大壩監(jiān)測缺失數(shù)據(jù)插補(bǔ)模型進(jìn)行數(shù)據(jù)填補(bǔ)以驗(yàn)證該模型的性能。

2.1 數(shù)據(jù)預(yù)處理

以水平位移監(jiān)測數(shù)據(jù)為例,取11號壩段1985年1月11日至2010年3月22日共612組的歷史測值作為訓(xùn)練集,分別刪除兩段長序列監(jiān)測數(shù)據(jù)作為測試集(圖3):①缺失部位Ⅰ對應(yīng)1995年9月15日至1997年4月17日的30組監(jiān)測數(shù)據(jù);②缺失部位Ⅱ?qū)?yīng)2000年4月11日至2001年11月15日的20組監(jiān)測數(shù)據(jù)。

圖3 11號壩段水平位移樣條插值

采用時(shí)間序列插補(bǔ)模式對缺失部位進(jìn)行插補(bǔ),所分析的研究數(shù)據(jù)需為等間隔時(shí)間測值以避免時(shí)間效應(yīng)誤差,但實(shí)際監(jiān)測數(shù)據(jù)資料為不等間隔時(shí)間觀測,因此需要采用插值技術(shù)將其變?yōu)榈葧r(shí)間間隔時(shí)間序列。這里采用三階樣條插值法對監(jiān)測數(shù)據(jù)進(jìn)行規(guī)整,如圖3所示,每天取1組插值數(shù)據(jù),則612組原始數(shù)據(jù)變?yōu)?200組插值數(shù)據(jù)。從圖中可以看出,樣條插值法對于少量零散的缺失數(shù)據(jù)插補(bǔ)效果較好,能基本覆蓋原始數(shù)據(jù)的變化曲線。然而,對于長時(shí)間的數(shù)據(jù)缺失,其插補(bǔ)效果尚不能滿足精度要求。

以滑動窗口模式對時(shí)間序列進(jìn)行分析訓(xùn)練,設(shè)定窗口尺寸為L,即以當(dāng)前時(shí)刻的前L個(gè)連續(xù)監(jiān)測值推算當(dāng)前監(jiān)測值。插補(bǔ)模型的輸入數(shù)據(jù)(特征)為{yt-L,…,yt-2,yt-1},模型的輸出數(shù)據(jù)(標(biāo)簽)為yt。依照此方式,將數(shù)據(jù)集重構(gòu)成特征集與標(biāo)簽集。為提高損失函數(shù)收斂速度、防止梯度爆炸,在訓(xùn)練模型前需將數(shù)據(jù)按公式(5)進(jìn)行標(biāo)準(zhǔn)化處理,使數(shù)據(jù)全部落在[0,1]區(qū)間內(nèi)。通過插補(bǔ)得到缺失部分的插補(bǔ)值后,再利用公式(6)對其進(jìn)行反標(biāo)準(zhǔn)化處理,將數(shù)據(jù)恢復(fù)到實(shí)際監(jiān)測范圍內(nèi)。

(5)

(6)

2.2 模型訓(xùn)練

基于Python軟件深度學(xué)習(xí)框架keras搭建CNN-BiLSTM-Attention缺失數(shù)據(jù)插補(bǔ)模型。根據(jù)Chen等[17]的建議,應(yīng)使用至少3個(gè)年度周期進(jìn)行建模方可得到較好的訓(xùn)練結(jié)果。以缺失部位Ⅰ為例,本次訓(xùn)練設(shè)置正向插補(bǔ)滑動窗口尺寸為1200,反向插補(bǔ)滑動窗口尺寸為1600。表1給出了反向插補(bǔ)模式下的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)(總參數(shù)201401個(gè),可訓(xùn)練參數(shù)201401個(gè),不可訓(xùn)練參數(shù)0個(gè)),訓(xùn)練時(shí)采用Adam優(yōu)化算法更新各層網(wǎng)絡(luò)的參數(shù)。圖4為模型在正向與反向訓(xùn)練時(shí)損失函數(shù)的變化情況,可以看出損失函數(shù)在訓(xùn)練過程中變化穩(wěn)定,且總體呈下降趨勢,反映了模型較好的訓(xùn)練性能。

表1 反向插補(bǔ)模式下的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

圖4 模型訓(xùn)練的損失函數(shù)曲線

基于CNN-BiLSTM-Attention大壩監(jiān)測缺失數(shù)據(jù)插補(bǔ)模型,缺失數(shù)據(jù)的正向插補(bǔ)與反向插補(bǔ)結(jié)果如圖5所示。從圖5可以看出,該模型兩個(gè)方向均可獲得較好的插補(bǔ)結(jié)果,但也反映了插補(bǔ)過程中時(shí)間步的累計(jì)誤差。時(shí)間序列插補(bǔ)方式是由滑動窗口內(nèi)的監(jiān)測值組合插補(bǔ)下一個(gè)時(shí)刻未知值,并將窗口滑動一步(去掉第1個(gè)實(shí)測值,在末尾添加獲得的插補(bǔ)值),形成新的窗口監(jiān)測值組合。依照這種方式不斷滑動窗口,直至所有的缺失數(shù)據(jù)均被插補(bǔ)。隨著插補(bǔ)過程的推進(jìn),這種方式會將插補(bǔ)誤差逐漸累加,使得插補(bǔ)值的走向逐漸偏離真實(shí)監(jiān)測值。

為了消除這種累積誤差,同時(shí)使兩個(gè)方向的插補(bǔ)結(jié)果更好地融合,按插補(bǔ)時(shí)間步遞減的權(quán)重對兩組插補(bǔ)值加權(quán)平均,從而使得誤差較小的插補(bǔ)值作為最終插補(bǔ)值的決定因素。如圖5所示,融合后的計(jì)算結(jié)果很好地將正反向插補(bǔ)優(yōu)勢階段組合在一起,其插補(bǔ)值與實(shí)測值的擬合程度優(yōu)于單向插補(bǔ)結(jié)果。

2.3 模型對比

選擇平均絕對誤差(MAE)、均方根誤差(RMSE)和決定系數(shù)(R)這3個(gè)評價(jià)指標(biāo),定量表示模型插補(bǔ)值f(xi)與實(shí)測值yi之間的誤差。

為進(jìn)一步體現(xiàn)本文所搭建的神經(jīng)網(wǎng)絡(luò)模型的優(yōu)勢,選取Spline、RNN、LSTM依照雙向插補(bǔ)模式分別對缺失數(shù)據(jù)進(jìn)行插補(bǔ),其插補(bǔ)結(jié)果的誤差對比如表2所示。由于Spline模型對于長時(shí)間段缺失數(shù)據(jù)的插補(bǔ)效果不佳,其誤差指標(biāo)和擬合程度均不如神經(jīng)網(wǎng)絡(luò)模型,故而未對Spline插值結(jié)果的誤差指標(biāo)進(jìn)行計(jì)算。圖6、圖7分別為4種模型缺失部位Ⅰ、缺失部位Ⅱ插補(bǔ)結(jié)果與實(shí)測值的差異。基于3種神經(jīng)網(wǎng)絡(luò)模型,通過時(shí)間步遞減的權(quán)重融合后的結(jié)果相較于單向插補(bǔ)值的精度都得到一定的提升。LSTM的插補(bǔ)精度總體高于RNN,但單向插補(bǔ)結(jié)果易出現(xiàn)較大的偏差,其插補(bǔ)性能無法得到穩(wěn)定的保障。

表2 各模型插補(bǔ)誤差對比

圖6 各模型缺失部位Ⅰ插補(bǔ)結(jié)果與實(shí)測值的差異

本文所搭建的CNN-BiLSTM-Attention雙向插補(bǔ)模型在正向與反向插補(bǔ)過程中均展現(xiàn)了較佳的插補(bǔ)性能,其雙向融合插補(bǔ)值更為貼近實(shí)際監(jiān)測值。這是因?yàn)镃NN從原始時(shí)間序列中學(xué)習(xí)并提取時(shí)間軸上的局部特征,BiLSTM再根據(jù)局部特征提取全局特征后,冗余或非關(guān)鍵的特征被引入會影響最后的插補(bǔ)精度。此時(shí),采用注意力機(jī)制來提取序列的關(guān)鍵特征,捕捉長時(shí)間序列中的依賴關(guān)系,克服了傳統(tǒng)LSTM模型的不足。因此,CNN-BiLSTM-Attention網(wǎng)絡(luò)能更有效地優(yōu)化插補(bǔ)過程,從而提升插補(bǔ)精度。

2.4 插補(bǔ)效果

基于CNN-BiLSTM-Attention雙向插補(bǔ)模型,對11號壩段水平位移缺失數(shù)據(jù)進(jìn)行插補(bǔ),結(jié)果表明插補(bǔ)值與實(shí)測值基本吻合。此外,為了驗(yàn)證該插補(bǔ)模型針對其他壩段監(jiān)測量的插補(bǔ)效果,選取14號壩段的揚(yáng)壓力、滲流量以及垂直位移的監(jiān)測序列,分別對中間缺失部位進(jìn)行插補(bǔ),表3為各效應(yīng)量最終的插補(bǔ)誤差,其中垂直位移插補(bǔ)值與實(shí)測值的吻合效果更好,揚(yáng)壓力與滲流量的插補(bǔ)值相較實(shí)測值稍有偏差,但總體趨勢一致。

3 結(jié) 論

a.搭建了CNN-BiLSTM-Attention神經(jīng)網(wǎng)絡(luò)框架,CNN從原始時(shí)間序列中學(xué)習(xí)并提取時(shí)間軸上的局部特征,BiLSTM再根據(jù)局部特征提取全局特征,注意力機(jī)制捕捉長時(shí)間序列中的依賴關(guān)系,進(jìn)一步優(yōu)化插補(bǔ)過程。在工程實(shí)例中,這種神經(jīng)網(wǎng)絡(luò)框架展現(xiàn)了比RNN以及LSTM神經(jīng)網(wǎng)絡(luò)模型更優(yōu)越的插補(bǔ)性能。

b.針對監(jiān)測量中間缺失部分,提出了雙向插補(bǔ)模式,并按插補(bǔ)時(shí)間步遞減的權(quán)重對兩向插補(bǔ)值加權(quán)平均,使誤差較小的插補(bǔ)值主導(dǎo)最終插補(bǔ)結(jié)果的走向。工程實(shí)例表明,雙向融合插補(bǔ)值與實(shí)測值的擬合程度優(yōu)于單向插補(bǔ)結(jié)果,其處理長序列監(jiān)測數(shù)據(jù)缺失問題時(shí)具有較高的插補(bǔ)精度。