王曉玲，梁羽翎，王佳俊，吳斌平，張宗亮，黃青富

耦合注意力機(jī)制大壩變形改進(jìn)LSTM序列到序列預(yù)測(cè)模型

王曉玲1，梁羽翎1，王佳俊1，吳斌平1，張宗亮2，黃青富2

(1. 天津大學(xué)水利工程仿真與安全國家重點(diǎn)實(shí)驗(yàn)室，天津 300072；2. 中國電建集團(tuán)昆明勘測(cè)設(shè)計(jì)研究院有限公司，昆明 650051)

目前，大壩變形預(yù)測(cè)主要采用的淺層網(wǎng)絡(luò)結(jié)構(gòu)存在難以挖掘數(shù)據(jù)序列隱含深層特征的問題．常用的LSTM和GRU等模型雖然具有分析變形序列的時(shí)間自相關(guān)性特征的特點(diǎn)，但忽略了環(huán)境因子序列和變形序列之間的映射關(guān)系，且難以克服深度神經(jīng)網(wǎng)絡(luò)梯度下降訓(xùn)練易陷入局部最優(yōu)的問題．針對(duì)上述問題，提出了耦合注意力機(jī)制大壩變形改進(jìn)LSTM序列到序列預(yù)測(cè)模型．利用編碼和解碼雙層LSTM構(gòu)建序列到序列結(jié)構(gòu)，同步提取輸入影響因子和輸出變形的序列特征，并耦合注意力機(jī)制，動(dòng)態(tài)度量各影響因子對(duì)變形的貢獻(xiàn)率，以提高預(yù)測(cè)精度．進(jìn)一步利用蟻群信息素及雙混沌優(yōu)化改進(jìn)鯨魚捕食機(jī)制，構(gòu)建基于改進(jìn)鯨魚優(yōu)化算法的耦合注意力機(jī)制的LSTM序列到序列網(wǎng)絡(luò)模型的無梯度環(huán)境，規(guī)避早熟收斂，彌補(bǔ)梯度下降本身的缺陷．工程應(yīng)用結(jié)果表明，本文所提模型能夠精確預(yù)測(cè)大壩變形，在各點(diǎn)位測(cè)試集上平均MAPE、MAE和RMSE分別為0.125%、0.604mm和0.865mm．此外，時(shí)效、水位和溫度分量對(duì)點(diǎn)位變形的貢獻(xiàn)率依次為51.93%、30.14%和17.93%．本研究為大壩安全監(jiān)控提供理論與技術(shù)支撐．

大壩變形預(yù)測(cè)；序列到序列結(jié)構(gòu)；注意力機(jī)制；改進(jìn)鯨魚優(yōu)化算法；無梯度訓(xùn)練

壩體變形是評(píng)價(jià)大壩結(jié)構(gòu)性態(tài)轉(zhuǎn)異和服役健康狀況的重要指標(biāo)[1-2]．根據(jù)變形原型觀測(cè)資料，利用統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)等方法，建立準(zhǔn)確的變形預(yù)測(cè)模型對(duì)大壩安全運(yùn)行和風(fēng)險(xiǎn)管控意義重大[3-4]．目前常用的大壩變形預(yù)測(cè)模型存在變形監(jiān)測(cè)數(shù)據(jù)深層特征分析不夠深入的問題，且采用的深度神經(jīng)網(wǎng)絡(luò)存在梯度下降易陷入局部最優(yōu)的問題．因此，全面挖掘數(shù)據(jù)深層特征并構(gòu)建高精度變形預(yù)測(cè)模型，對(duì)大壩變形安全監(jiān)測(cè)具備重要的理論和現(xiàn)實(shí)意義．

傳統(tǒng)的變形預(yù)測(cè)模型主要包括確定性模型、統(tǒng)計(jì)模型和混合模型3類[5]，這些方法難以適應(yīng)多個(gè)影響因子與變形量之間復(fù)雜的非線性關(guān)系，且易受不確定性因素干擾，模型的準(zhǔn)確性有待提升[6]．隨著人工智能技術(shù)的飛速發(fā)展，機(jī)器學(xué)習(xí)開始在大壩變形預(yù)測(cè)領(lǐng)域廣泛使用．Zou等[7]將反向傳播神經(jīng)網(wǎng)絡(luò)(back-propagation neural networks，BPNN)用于大壩變形預(yù)測(cè)研究，但BPNN通過梯度下降進(jìn)行網(wǎng)絡(luò)訓(xùn)練，容易陷入局部極小，且訓(xùn)練過程可能不穩(wěn)定[8]；胡德秀等[9]將極限學(xué)習(xí)機(jī)(extreme learning machine，ELM)算法應(yīng)用于大壩變形分析領(lǐng)域；Su等[10]提出了一種基于支持向量機(jī)(support vector machine，SVM)的大壩變形預(yù)測(cè)模型．此外，各種智能優(yōu)化算法被用于基于機(jī)器學(xué)習(xí)的變形預(yù)測(cè)模型的網(wǎng)絡(luò)訓(xùn)練或超參數(shù)確定，以提高預(yù)測(cè)性能．邢尹等[11]利用改進(jìn)遺傳算法進(jìn)行BP神經(jīng)網(wǎng)絡(luò)權(quán)值和偏置的訓(xùn)練；Chen等[12]利用蟻獅優(yōu)化算法確定最小二乘支持向量機(jī)模型中的懲罰因子及核函數(shù)超參數(shù)．

BPNN、ELM和SVM等傳統(tǒng)淺層網(wǎng)絡(luò)結(jié)構(gòu)預(yù)測(cè)算法難以全面挖掘大壩變形監(jiān)測(cè)數(shù)據(jù)序列隱含的深層特征(包括數(shù)據(jù)間映射關(guān)系、數(shù)據(jù)本身序列特征及輸入數(shù)據(jù)對(duì)輸出貢獻(xiàn)率等)，而深度神經(jīng)網(wǎng)絡(luò)具備較強(qiáng)的挖掘能力，近年被廣泛引入大壩變形預(yù)測(cè)領(lǐng)域．Li等[13]、冷天培等[14]利用LSTM對(duì)分解后的變形數(shù)據(jù)建立了時(shí)序預(yù)測(cè)模型．李其峰等[15]結(jié)合貝葉斯優(yōu)化算法對(duì)GRU的超參數(shù)進(jìn)行優(yōu)化并應(yīng)用于大壩變形預(yù)測(cè)．然而，目前大壩變形預(yù)測(cè)常用的深度學(xué)習(xí)序列模型如LSTM、GRU等[16]，雖然可利用其單序列訓(xùn)練規(guī)則進(jìn)行變形時(shí)間自相關(guān)分析，但未考慮環(huán)境因子序列和變形序列之間的映射關(guān)系，亦無法在構(gòu)建模型過程中同步提取輸入影響因子和輸出變形監(jiān)測(cè)數(shù)據(jù)的序列特征，缺乏對(duì)數(shù)據(jù)深層特征的全面挖掘，影響預(yù)測(cè)精度．此外，使用梯度下降進(jìn)行網(wǎng)絡(luò)訓(xùn)練，難以克服易陷入局部最優(yōu)、訓(xùn)練過程不穩(wěn)定的問題．

針對(duì)上述問題，提出耦合注意力機(jī)制的改進(jìn)LSTM序列到序列預(yù)測(cè)模型(improved LSTM sequence-to-sequence prediction model coupled with attention mechanism based on improved whale optimization algorithm，IWOA-ASEQ2SEQ)．為全面深入挖掘大壩變形監(jiān)測(cè)數(shù)據(jù)的深層特征以提高預(yù)測(cè)精度，利用編碼和解碼雙層LSTM構(gòu)建序列到序列(sequence-to-sequence，SEQ2SEQ)結(jié)構(gòu)[17]，并耦合注意力機(jī)制[18-20]，動(dòng)態(tài)度量各影響因子對(duì)變形的貢獻(xiàn)率；為彌補(bǔ)梯度下降易陷入局部最優(yōu)的缺陷，利用蟻群信息素及雙混沌優(yōu)化改良鯨魚捕食機(jī)制構(gòu)建基于改進(jìn)鯨魚優(yōu)化算法(improved whale optimization algorithm，IWOA)的深度網(wǎng)絡(luò)無梯度訓(xùn)練環(huán)境，實(shí)現(xiàn)極端的探索和大規(guī)模的并行化計(jì)算[21]．

此外，本文結(jié)合糯扎渡心墻堆石壩工程進(jìn)行工程應(yīng)用分析．近年來，堆石壩變形預(yù)測(cè)亦常采用機(jī)器學(xué)習(xí)方法：Marandi等[22]利用遺傳算法進(jìn)行堆石壩壩頂沉降預(yù)測(cè)；董霄峰等[23]利用遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)并建立了堆石壩壩體變形預(yù)測(cè)模型；王飛等[24]建立了基于改進(jìn)M5’-主成分模型樹的高心墻堆石壩沉降變形預(yù)測(cè)模型；侯偉亞等[25]采用LSTM分別對(duì)變形數(shù)據(jù)時(shí)序分解后的3項(xiàng)進(jìn)行預(yù)測(cè)并匯總各項(xiàng)預(yù)測(cè)結(jié)果，實(shí)現(xiàn)了堆石壩變形預(yù)測(cè)．本文以傳統(tǒng)統(tǒng)計(jì)模型思路為基礎(chǔ)，利用所提出的IWOA-ASEQ2SEQ模型構(gòu)建影響因子與實(shí)測(cè)變形的映射關(guān)系，進(jìn)行堆石壩運(yùn)行期大壩變形預(yù)測(cè)分析．工程應(yīng)用結(jié)果表明，本文模型能夠?qū)崿F(xiàn)準(zhǔn)確可靠的大壩變形預(yù)測(cè)．

1?總體框架

耦合注意力機(jī)制大壩變形改進(jìn)LSTM序列到序列預(yù)測(cè)模型總體框架如圖1所示，包括耦合注意力機(jī)制的改進(jìn)LSTM序列到序列模型和工程應(yīng)用兩部分.

在第1部分中，利用編碼和解碼雙層LSTM構(gòu)建序列到序列結(jié)構(gòu)，并基于注意力機(jī)制形成耦合注意力機(jī)制的LSTM序列到序列模型(LSTM sequence-to-sequence model coupled with attention mechanism，ASEQ2SEQ)．該模型不僅能夠全面深入挖掘大壩變形監(jiān)測(cè)資料隱含的序列自相關(guān)特征，而且實(shí)現(xiàn)了時(shí)間特征和影響因子的信息融合，動(dòng)態(tài)度量各影響因子對(duì)變形的貢獻(xiàn)率，以深入挖掘變形效應(yīng)量變化的原因；以蟻群信息素機(jī)制和雙混沌優(yōu)化機(jī)制改進(jìn)鯨魚優(yōu)化算法(whale optimization algorithm，WOA)，提高算法的搜索速度和搜索效率；在ASEQ2SEQ模型訓(xùn)練階段，利用IWOA替代梯度下降方法，構(gòu)建無梯度訓(xùn)練環(huán)境，形成IWOA-ASEQ2SEQ以提高模型預(yù)測(cè)精度，提升訓(xùn)練過程的穩(wěn)定性．

在第2部分中，結(jié)合糯扎渡工程實(shí)例進(jìn)行了應(yīng)用研究．基于工程變形觀測(cè)資料，利用IWOA-ASEQ2SEQ模型構(gòu)建了變形預(yù)測(cè)模型，實(shí)現(xiàn)了對(duì)變形觀測(cè)值的精確預(yù)測(cè)并度量了各影響因子對(duì)變形的貢獻(xiàn)率，為大壩安全監(jiān)控提供理論與技術(shù)支撐．

圖1?耦合注意力機(jī)制大壩變形改進(jìn)LSTM序列到序列預(yù)測(cè)模型總體框架

2?耦合注意力機(jī)制的改進(jìn)LSTM序列到序列模型

2.1?耦合注意力機(jī)制的LSTM序列到序列模型

提出的模型實(shí)現(xiàn)過程如下．

步驟1?假定原始數(shù)據(jù)集為{，}，其中影響因子矩陣由水位、時(shí)效、溫度環(huán)境量及多測(cè)點(diǎn)變形數(shù)據(jù)構(gòu)成，模型輸出矩陣為變形效應(yīng)量．為×矩陣，為×1矩陣；將原始數(shù)據(jù)集按模型輸入要求處理為時(shí)間特征數(shù)據(jù)集{T，T}和影響因子數(shù)據(jù)集{F，F(xiàn)}，具體形式見式(1)～(3)．將兩種數(shù)據(jù)集分離為時(shí)間特征預(yù)測(cè)層和影響因子預(yù)測(cè)層各LSTM單元的輸入，即

式中：為樣本數(shù)量；為輸入特征維度；時(shí)間特征預(yù)測(cè)層編碼及解碼層時(shí)間窗口長度均為T；影響因子預(yù)測(cè)層編碼及解碼層時(shí)間窗口長度分別為和1；X、Y分別為矩陣和的第行第列元素．

步驟2?在編碼網(wǎng)絡(luò)的首個(gè)單元使用＜0＞、＜0＞零矩陣初始化單元狀態(tài)和隱藏層狀態(tài)，獲取兩層各單元隱藏層狀態(tài)并傳入各Attention單元中，以獲取不同狀態(tài)值的注意力權(quán)重，并將其輸出作為解碼網(wǎng)絡(luò)各單元的輸入，即

2.2?基于改進(jìn)鯨魚優(yōu)化算法的無梯度訓(xùn)練

WOA[30]是一種新型群體智能優(yōu)化算法，主要包括包圍捕食階段、螺旋更新階段、搜尋獵物階段3個(gè)階段[31]，具體步驟可參考文獻(xiàn)[30]．基本的鯨魚優(yōu)化算法存在求解精度低、收斂速度慢和易陷入局部最優(yōu)的缺點(diǎn)，本文采用離散優(yōu)化算法和連續(xù)優(yōu)化算法相結(jié)合的手段[32]，利用蟻群算法信息素機(jī)制[33]提升WOA的全局尋優(yōu)能力，并在局部搜索中引入雙混沌優(yōu)化機(jī)制[34]以處理早熟收斂問題．

具體流程如下．

步驟2?在各子空間內(nèi)生成隨機(jī)數(shù)，按維度隨機(jī)選取，生成種群，由個(gè)體的適應(yīng)度值確定種群各個(gè)體的信息量初始值，并且得出最優(yōu)個(gè)體X及其對(duì)應(yīng)的信息素值為Ph．

步驟5?利用個(gè)體信息素的留存情況，計(jì)算各個(gè)體的概率權(quán)重值．再利用當(dāng)前最優(yōu)個(gè)體位置和概率權(quán)重值，進(jìn)行種群的位置更新．

式中：＝1，2，…，；式(13)～(15)分別為信息素改進(jìn)的包圍捕食、螺旋更新和搜尋獵物3種位置更新方式；和為系數(shù)分量；X()為代種群最優(yōu)個(gè)體；rand()為代種群隨機(jī)個(gè)體．

步驟6?使用自適應(yīng)權(quán)重非線性更新各個(gè)體的信息素，重復(fù)以上的步驟，直至到達(dá)預(yù)設(shè)迭代代數(shù)Max_iter，輸出最優(yōu)個(gè)體X(Max_iter)．

利用IWOA替代Adam梯度下降算法來進(jìn)行第2.1節(jié)中ASEQ2SEQ模型的網(wǎng)絡(luò)訓(xùn)練，構(gòu)建無梯度訓(xùn)練環(huán)境，IWOA輸出最優(yōu)個(gè)體X(Max_iter)即為建立的變形監(jiān)控模型的結(jié)構(gòu)參數(shù)，即權(quán)值和偏置．形成耦合注意力機(jī)制的改進(jìn)LSTM序列到序列模型對(duì)應(yīng)的偽代碼如下所示．

輸入：原始數(shù)據(jù)集{，}，種群個(gè)體數(shù)，特征維度，最大迭代代數(shù)Max_iter，時(shí)間窗口長度T，時(shí)間特征預(yù)測(cè)層輸出前向預(yù)測(cè)步T，影響因子預(yù)測(cè)層前向預(yù)測(cè)步1

處理原始數(shù)據(jù)集，獲取時(shí)間特征數(shù)據(jù)集{T，T}和影響因子數(shù)據(jù)集{F，F(xiàn)}

利用網(wǎng)絡(luò)參數(shù)上、下界u、l及子空間間隔dim初始化鯨魚種群Position

while(＜Max_iter)

for Position(＝1，2，…，)

利用圖１的結(jié)構(gòu)獲取初始各個(gè)體擬合值

利用式(10)計(jì)算各個(gè)體信息素Ph

if(Fitness＜Leader_Score)

更新當(dāng)前最優(yōu)目標(biāo)函數(shù)值Leader_Score＝Fitness和最優(yōu)個(gè)體Leader_pos＝Position

end if

end for

利用式(11)計(jì)算最優(yōu)個(gè)體對(duì)應(yīng)信息素Ph

利用式(13)～(15)更新種群Position

利用式(16)及(17)更新自適應(yīng)權(quán)重及標(biāo)定信息素

＋1

end while

return Leader_pos

輸出：訓(xùn)練完成的大壩變形預(yù)測(cè)模型

3?工程應(yīng)用

選用糯扎渡水電站大壩運(yùn)行期的2015-01-11—2018-11-10期間共1400d的監(jiān)測(cè)數(shù)據(jù)進(jìn)行研究．選取視準(zhǔn)線監(jiān)測(cè)點(diǎn)中的7個(gè)點(diǎn)位作為本文模型的驗(yàn)證點(diǎn)位，分別為DB-L4-TP-02、DB-L5-TP-02、DB-L6-TP-02、DB-L6-TP-06、DB-L6-TP-13、DB-L7-TP-03及DB-L7-TP-13．圖2為該時(shí)段典型點(diǎn)位觀測(cè)位移、水位和日平均氣溫過程線．圖3為心墻堆石壩下游及壩頂視準(zhǔn)線監(jiān)測(cè)點(diǎn)布置示意．

圖2?典型點(diǎn)位觀測(cè)位移、水位和日平均氣溫過程線

3.1?數(shù)據(jù)集準(zhǔn)備

大壩的變形一般由水位分量、溫度分量和時(shí)效分量3部分組成[35]，土石壩的變形統(tǒng)計(jì)模型表達(dá)式可寫為

圖3?下游及壩頂視準(zhǔn)線監(jiān)測(cè)點(diǎn)布置示意

同時(shí)，由于不同空間位置的約束條件、材料性質(zhì)及荷載作用區(qū)別較大[36]，不同測(cè)點(diǎn)的變形無疑會(huì)存在差異．因此本文不采用統(tǒng)一的系統(tǒng)輸入，而將多測(cè)點(diǎn)變形數(shù)據(jù)作為模型輸入變形因子以構(gòu)建空間維度特征，將多測(cè)點(diǎn)空間關(guān)聯(lián)性直接集成到模型中，以考慮不同部位變形空間差異性．對(duì)于選取的7個(gè)測(cè)位的變形數(shù)據(jù)，選擇其中1個(gè)作為模型輸出變形效應(yīng)量，而其他6個(gè)則作為模型輸入的影響因子數(shù)據(jù)．故本研究最終影響因子集為

對(duì)應(yīng)到式(1)～(3)的參數(shù)，輸入特征維度為13；遵循選取數(shù)據(jù)70%作為訓(xùn)練集及30%作為驗(yàn)證集的原則[29]，取2015-01-11—2017-10-06期間的1000d數(shù)據(jù)作為訓(xùn)練集，2017-10-07—2018-11-10期間的400d數(shù)據(jù)作為測(cè)試集，故訓(xùn)練集和測(cè)試集分別取1000和400；T＝20，該值由改進(jìn)鯨魚優(yōu)化算法迭代計(jì)算獲得．

3.2?預(yù)測(cè)結(jié)果分析

運(yùn)用本文模型對(duì)DB-L4-TP-02、DB-L5-TP-02、DB-L6-TP-02、DB-L6-TP-06、DB-L6-TP-13、DB-L7-TP-03和DB-L7-TP-13共7個(gè)點(diǎn)位進(jìn)行預(yù)測(cè)分析．在100次迭代條件下，獲得的預(yù)測(cè)結(jié)果如圖4所示．選用平均絕對(duì)百分比誤差(MAPE)、平均絕對(duì)誤差(MAE)和均方根誤差(RMSE)作為衡量模型性能的評(píng)價(jià)標(biāo)準(zhǔn)[35]，各點(diǎn)位預(yù)測(cè)性能指標(biāo)結(jié)果情況如圖5所示．

從圖4可以看出預(yù)測(cè)值和實(shí)際值擬合程度很高，各點(diǎn)位預(yù)測(cè)結(jié)果與實(shí)際變形趨勢(shì)基本一致．由圖5可知，各點(diǎn)測(cè)試集平均MAPE、MAE和RMSE分別為0.125%、0.604mm和0.865mm，預(yù)測(cè)精度較高．

3.3?模型性能對(duì)比分析

為了驗(yàn)證本文模型相對(duì)于淺層結(jié)構(gòu)算法及深度序列模型的預(yù)測(cè)性能，選擇傳統(tǒng)機(jī)器學(xué)習(xí)PSO-LSSVM算法以及深度學(xué)習(xí)的LSTM、SEQ2SEQ、ALSTM、ASEQ2SEQ模型進(jìn)行對(duì)比，以DB-L6-TP-13為例，100次迭代獲取的預(yù)測(cè)結(jié)果如圖6所示．圖7為6種模型的預(yù)測(cè)性能指標(biāo)對(duì)比情況．

由圖6可知：IWOA-ASEQ2SEQ模型預(yù)測(cè)值與實(shí)測(cè)值的偏離程度最低，相同迭代次數(shù)下，SEQ2SEQ和ALSTM較LSTM擬合效果更好，ASEQ2SEQ算法與SEQ2SEQ相比更貼近實(shí)測(cè)點(diǎn)．IWOA-ASEQ2SEQ模型擬合情況最優(yōu)，證明本文模型能有效預(yù)測(cè)變形的動(dòng)態(tài)變化過程．

從圖７可以看出：①相同迭代次數(shù)下，5種深度學(xué)習(xí)序列模型3種指標(biāo)均優(yōu)于PSO-LSSVM算法，說明挖掘數(shù)據(jù)深層特征可提升模型精度；②SEQ2SEQ較LSTM模型平均性能提升達(dá)3.06%，ALSTM較LSTM模型的平均性能提升達(dá)27.67%，ASEQ2SEQ較SEQ2SEQ模型性能上平均增幅38.08%，說明同步提取輸入影響因子和輸出變形的序列特征和耦合注意力機(jī)制在提升整體預(yù)測(cè)精度方面的作用；③IWOA-ASEQ2SEQ對(duì)應(yīng)的MAPE、MAE和RMSE均小于其他５種模型，預(yù)測(cè)精度最高，相較于ASEQ2SEQ模型平均性能提升達(dá)37.12%，說明利用改進(jìn)鯨魚優(yōu)化算法進(jìn)行網(wǎng)絡(luò)權(quán)重偏置的迭代計(jì)算對(duì)模型性能有顯著提升作用．

3.4?因子貢獻(xiàn)率分析

大壩變形領(lǐng)域引入深度學(xué)習(xí)方法，是借其對(duì)監(jiān)測(cè)數(shù)據(jù)深層特征的強(qiáng)挖掘能力，實(shí)現(xiàn)高精度的變形預(yù)測(cè)．但是目前常用的LSTM及GRU等深度神經(jīng)網(wǎng)絡(luò)，均為“黑盒模型”，其可解釋性的缺失降低了模型的可信度．本文的耦合注意力機(jī)制的改進(jìn)LSTM序列到序列預(yù)測(cè)模型不僅大幅提高預(yù)測(cè)準(zhǔn)確性，而且利用注意力機(jī)制原理動(dòng)態(tài)地度量各因子對(duì)輸出變形的貢獻(xiàn)率，增加模型的可信度．

圖5?各點(diǎn)預(yù)測(cè)性能指標(biāo)結(jié)果

圖8展示點(diǎn)位DB-L6-TP-13測(cè)試集上的7個(gè)環(huán)境因子和6個(gè)其他測(cè)點(diǎn)變形因子時(shí)序注意力權(quán)重．圖9為環(huán)境因子和變形因子的平均注意力權(quán)重．

圖6?6種模型的預(yù)測(cè)結(jié)果對(duì)比

圖7?6種模型的預(yù)測(cè)性能指標(biāo)對(duì)比

圖8?各因子時(shí)序注意力權(quán)重

圖9?各因子平均注意力權(quán)重

根據(jù)土石壩變形長期研究，在統(tǒng)計(jì)模型中，時(shí)效分量影響最大，水位分量影響較小，溫度分量的影響可忽略不計(jì)[32]．這與本文計(jì)算獲得的各分量的注意力權(quán)重結(jié)果一致．此外，由圖3可知，從與DB-L6-TP-13的點(diǎn)位布設(shè)距離來看，DB-L6-TP-06最近，同一視準(zhǔn)線上點(diǎn)位DB-L6-TP-02和同一樁號(hào)上點(diǎn)位DB-L7-TP-13距離較近，DB-L7-TP-03距離稍遠(yuǎn)，而DB-L5-TP-02和DB-L4-TP-02距離最遠(yuǎn)．而點(diǎn)位與點(diǎn)位之間距離越近，相互間變形影響越大，這與圖8及圖9的因子貢獻(xiàn)率分析結(jié)果基本吻合．

4?結(jié)?論

本文構(gòu)建了耦合注意力機(jī)制大壩變形改進(jìn)LSTM序列到序列預(yù)測(cè)模型，利用序列到序列結(jié)構(gòu)并耦合注意力機(jī)制全面挖掘大壩變形監(jiān)測(cè)數(shù)據(jù)的深層特征，并基于改進(jìn)鯨魚優(yōu)化算法構(gòu)建ASEQ2SEQ網(wǎng)絡(luò)模型的無梯度訓(xùn)練環(huán)境，解決梯度下降易陷入局部最優(yōu)等問題．工程應(yīng)用分析表明，本文模型預(yù)測(cè)精度極高，且能夠獲取各影響因子貢獻(xiàn)率，可為大壩安全診斷提供可靠分析結(jié)果，主要結(jié)論如下．

(1)提出了耦合注意力機(jī)制的LSTM序列到序列模型．利用編碼和解碼雙層LSTM構(gòu)建序列到序列結(jié)構(gòu)并耦合注意力機(jī)制，在建模過程中提取變形觀測(cè)數(shù)據(jù)的深層特征，提升了變形預(yù)測(cè)模型的擬合效果，極大提高了模型預(yù)測(cè)精度．

(2)在ASEQ2SEQ模型訓(xùn)練階段，基于改進(jìn)鯨魚優(yōu)化算法替代梯度下降進(jìn)行網(wǎng)絡(luò)訓(xùn)練，通過構(gòu)建無梯度訓(xùn)練環(huán)境彌補(bǔ)了深度學(xué)習(xí)框架誤差反向傳播時(shí)易陷入局部最優(yōu)的不足，規(guī)避了早熟收斂，提高了訓(xùn)練過程的穩(wěn)定性和模型的精度．

(3)選用糯扎渡工程壩體變形觀測(cè)資料進(jìn)行研究，本文模型在各點(diǎn)位測(cè)試集上平均MAPE、MAE和RMSE分別為0.125%、0.604mm和0.865mm，相比于PSO-LSSVM、LSTM、SEQ2SEQ、ALSTM、ASEQ2SEQ模型具有更高預(yù)測(cè)精度；預(yù)測(cè)結(jié)果顯示環(huán)境因子中，時(shí)效分量貢獻(xiàn)率最大，其次是水位分量，溫度分量最小，這與長期工程研究結(jié)果一致；變形因子的貢獻(xiàn)率結(jié)果亦符合點(diǎn)位之間距離越近、相互間變形影響越大的基本規(guī)律．

綜上，本文提出的IWOA-ASEQ2SEQ模型能夠準(zhǔn)確、可靠地預(yù)測(cè)大壩變形，為大壩安全監(jiān)控提供理論與技術(shù)支撐．

［1］ 谷艷昌，王士軍，龐?瓊，等. 基于風(fēng)險(xiǎn)管理的混凝土壩變形預(yù)警指標(biāo)擬定研究[J]. 水利學(xué)報(bào)，2017，48(4)：480-487.

Gu Yanchang，Wang Shijun，Pang Qiong，et al. Study on early warning index of concrete dam’s deformation based on the risk management[J]. Shuili Xuebao，2017，48(4)：480-487(in Chinese).

［2］ 李明軍，王均星，王亞洲. 基于改進(jìn)粒子群優(yōu)化算法和極限學(xué)習(xí)機(jī)的混凝土壩變形預(yù)測(cè)[J]. 天津大學(xué)學(xué)報(bào)(自然科學(xué)與工程技術(shù)版)，2019，52(11)：1136-1144.

Li Mingjun，Wang Junxing，Wang Yazhou. Deformation prediction of concrete dam based on improved particle swarm optimization algorithm and extreme learning machine[J]. Journal of Tianjin University(Science and Technology)，2019，52(11)：1136-1144(in Chinese).

［3］ 周仁練，蘇懷智，韓?彰，等. 混凝土壩變形的長期預(yù)測(cè)模型與應(yīng)用[J]. 水力發(fā)電學(xué)報(bào)，2021，40(9)：122-131.

Zhou Renlian，Su Huaizhi，Han Zhang，et al. Long-term deformation prediction model of concrete dams and its application[J]. Journal of Hydroelectric Engineering，2021，40(9)：122-131(in Chinese).

［4］ 劉大文，胡建忠. 工程安全監(jiān)測(cè)技術(shù)[M]. 北京：中國水利水電出版社，2007.

Liu Dawen，Hu Jianzhong. Engineering Safety Monitoring Technology[M]. Beijing：China Water and Power Press，2007(in Chinese).

［5］ Kang F，Liu J，Li J，et al. Concrete dam deformation prediction model for health monitoring based on extreme learning machine[J]. Structural Control Health Monitoring，2017，24(10)：e1997.

［6］ Shao C，Gu C，Yang M，et al. A novel model of dam displacement based on panel data[J]. Structural Control Health Monitoring，2018，25(1)：e2037.

［7］ Zou J，Bui K-T T，Xiao Y，et al. Dam deformation analysis based on BPNN merging models[J]. Geo-Spatial Information Science，2018，21(2)：149-157.

［8］ 廖坤銳，陳衛(wèi)兵，楊?雪. 基于 PCA 和粒子群優(yōu)化算法的焊點(diǎn)缺陷識(shí)別[J]. 計(jì)算機(jī)測(cè)量與控制，2020，28(5)：190-194.

Liao Kunrui，Chen Weibing，Yang Xue. Solder joint defect recognition based on PCA and particle swarm optimization algorithm[J]. Computer Measurement and Control，2020，28(5)：190-194(in Chinese).

［9］ 胡德秀，屈旭東，楊?杰，等. 基于 M-ELM 的大壩變形安全監(jiān)控模型[J]. 水利水電科技進(jìn)展，2019，39(3)：75-80.

Hu Dexiu，Qu Xudong，Yang Jie，et al. A safety monitoring model of dam deformation based on M-ELM[J]. Advances in Science and Technology of Water Resources，2019，39(3)：75-80(in Chinese).

［10］ Su H，Li X，Yang B，et al. Wavelet support vector machine-based prediction model of dam deformation[J]. Mechanical Systems and Signal Processing，2018，110：412-427.

［11］ 邢?尹，陳?闖，劉立龍，等. 改進(jìn)遺傳算法和 BP 神經(jīng)網(wǎng)絡(luò)的大壩變形預(yù)測(cè)[J]. 計(jì)算機(jī)工程與設(shè)計(jì)，2018，39(8)：2628-2631，2686.

Xing Yin，Chen Chuang，Liu Lilong，et al. Dam deformation prediction based on improved genetic algorithm and BP neural network[J]. Computer Engineering and Design，2018，39(8)：2628-2631，2686(in Chinese).

［12］ Chen Y，Gu C，Shao C，et al. An approach using adaptive weighted least squares support vector machines coupled with modified ant lion optimizer for dam deformation prediction[J]. Mathematical Problems in Engineering，2020，2020：9434065.

［13］ Li Y，Bao T，Gong J，et al. The prediction of dam displacement time series using STL，extra-trees，and stacked LSTM neural network[J]. IEEE Access，2020，8：94440-94452.

［14］ 冷天培，馬?剛，向正林，等. 基于時(shí)序分解與深度學(xué)習(xí)的堆石壩變形預(yù)測(cè)[J]. 水力發(fā)電學(xué)報(bào)，2021，40(10)：147-159.

Leng Tianpei，Ma Gang，Xiang Zhenglin，et al. Deformation prediction of rockfill dams based on time series decomposition and deep learning[J]. Journal of Hydroelectric Engineering，2021，40(10)：147-159(in Chinese).

［15］ 李其峰，楊?杰，程?琳，等. 基于BO-GRU的混凝土壩變形預(yù)測(cè)模型[J]. 水資源與水工程學(xué)報(bào)，2021，32(4)：180-184，193.

Li Qifeng，Yang Jie，Cheng Lin，et al. Deformation prediction model of concrete dams based on BO-GRU model[J]. Journal of Water Resources and Water Engineering，2021，32(4)：180-184，193(in Chinese).

［16］ 楊?麗，吳雨茜，王俊麗，等. 循環(huán)神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 計(jì)算機(jī)應(yīng)用，2018，38(增2)：1-6，26.

Yang Li，Wu Yuxi，Wang Junli，et al. Research on recurrent neural network[J]. Journal of Computer Applications，2018，38(Suppl 2)：1-6，26(in Chinese).

［17］ 趙陽洋，王振宇，王?佩，等. 任務(wù)型對(duì)話系統(tǒng)研究綜述[J]. 計(jì)算機(jī)學(xué)報(bào)，2020，43(10)：1862-1896.

Zhao Yangyang，Wang Zhenyu，Wang Pei，et al. A survey on task-oriented dialogue systems[J]. Chinese Journal of Computers，2020，43(10)：1862-1896(in Chinese).

［18］ 鄭育靖，何?強(qiáng)，張長倫，等. 基于 GRU-Attention 的無監(jiān)督多變量時(shí)間序列異常檢測(cè)[J]. 山西大學(xué)學(xué)報(bào)(自然科學(xué)版)，2020，43(4)：756-764.

Zheng Yujing，He Qiang，Zhang Changlun，et al. GRU-Attention based unsupervised multivariate time series anomaly detection[J]. Journal of Shanxi University(Natural Science Edition)，2020，43(4)：756-764(in Chinese).

［19］ Su Y，Weng K，Lin C，et al. Dam deformation interpretation and prediction based on a long short-term memory model coupled with an attention mechanism[J]. Applied Sciences，2021，11(14)：6625.

［20］ 王曉玲，李?克，張宗亮，等. 耦合 ALO-LSTM 和特征注意力機(jī)制的土石壩滲壓預(yù)測(cè)模型[J]. 水利學(xué)報(bào)，2022，53(4)：403-412.

Wang Xiaoling，Li Ke，Zhang Zongliang，et al. Coupled ALO-LSTM and feature attention mechanism prediction model for seepage pressure of earth-rock dam[J]. Shuili Xuebao，2022，53(4)：403-412(in Chinese).

［21］ Stanley K O，Clune J，Lehman J，et al. Designing neural networks through neuroevolution[J]. Nature Machine Intelligence，2019，1(1)：24-35.

［22］ Marandi S M，VaeziNejad S M，Khavari E. Prediction of concrete faced rock fill dams settlements using genetic programming algorithm[J]. International Journal of Geosciences，2012，3(3)：601-609.

［23］ 董霄峰，王海軍，楊?敏. 基于遺傳算法優(yōu)化 BP 神經(jīng)網(wǎng)絡(luò)的面板堆石壩變形預(yù)測(cè)[J]. 水利水電技術(shù)，2012，43(12)：22-25.

Dong Xiaofeng，Wang Haijun，Yang Min. Prediction on deformation of concrete face rockfill dam based on BP neural network optimized by genetic algorithm[J]. Water Resources and Hydropower Engineering，2012，43(12)：22-25(in Chinese).

［24］ 王?飛，張宗亮，王佳俊，等. 基于改進(jìn)M5’-主成分模型樹的高心墻堆石壩沉降變形預(yù)測(cè)[J]. 河海大學(xué)學(xué)報(bào)(自然科學(xué)版)，2018，46(4)：353-359.

Wang Fei，Zhang Zongliang，Wang Jiajun，et al. Forecasting of the settlement deformation for high core rock-fill dam based on the improved M5’-PCR model tree[J]. Journal of Hohai University(Natural Sciences)，2018，46(4)：353-359(in Chinese).

［25］ 侯偉亞，溫彥鋒，鄧?剛，等. 聯(lián)合時(shí)序分解和深度學(xué)習(xí)的高土石壩變形預(yù)測(cè)[J]. 水力發(fā)電學(xué)報(bào)，2022，41(3)：123-132.

Hou Weiya，Wen Yanfeng，Deng Gang，et al. Deformation prediction of high embankment dams by combining time series decomposition and deep learning[J]. Journal of Hydroelectric Engineering，2022，41(3)：123-132(in Chinese).

［26］ Yang B，Sun S，Li J，et al. Traffic flow prediction using LSTM with feature enhancement[J]. Neurocomputing，2019，332：320-327.

［27］ Chen Y，Peng G，Zhu Z，et al. A novel deep learning method based on attention mechanism for bearing remaining useful life prediction[J]. Applied Soft Computing，2020，86：105919.

［28］ Wang J，Yan J，Li C，et al. Deep heterogeneous GRU model for predictive analytics in smart manufacturing：Application to tool wear prediction[J]. Computers in Industry，2019，111：1-14.

［29］ Liu W，Pan J，Ren Y，et al. Coupling prediction model for long-term displacements of arch dams based on long short-term memory network[J]. Structural Control Health Monitoring，2020，27(7)：e2548.

［30］ Mirjalili S，Lewis A. The whale optimization algorithm[J]. Advances in Engineering Software，2016，95：51-67.

［31］ 武澤權(quán)，牟永敏. 一種改進(jìn)的鯨魚優(yōu)化算法[J]. 計(jì)算機(jī)應(yīng)用研究，2020，37(12)：3618-3621.

Wu Zequan，Mu Yongmin. Improved whale optimization algorithm[J]. Application Research of Computers，2020，37(12)：3618-3621(in Chinese).

［32］ 馬玉泉. 基于遺傳算法的離散多目標(biāo)優(yōu)化問題研究及其應(yīng)用[D]. 蘭州：蘭州理工大學(xué)電氣工程與信息工程學(xué)院，2019.

Ma Yuquan. Research and Application of Discrete Multi-objective Optimization Based on Genetic Algorithms[D]. Lanzhou：College of Electrical and Information Engineering，Lanzhou University of Technology，2019(in Chinese).

［33］ 李世威，王建強(qiáng)，曾俊偉. 遺傳算法調(diào)整蟻群算法參數(shù)模型研究[J]. 計(jì)算機(jī)工程與設(shè)計(jì)，2011，32(10)：3490-3493，3502.

Li Shiwei，Wang Jianqiang，Zeng Junwei. Model of ant colony algorithm parameters optimization based on genetic algorithm[J]. Computer Engineering and Design，2011，32(10)：3490-3493，3502(in Chinese).

［34］ 姜建國，劉夢(mèng)楠，劉永青，等. 一種采用雙混沌搜索的類電磁機(jī)制算法[J]. 西安電子科技大學(xué)學(xué)報(bào)(自然科學(xué)版)，2014，41(5)：79-83，147.

Jiang Jianguo，Liu Mengnan，Liu Yongqing，et al. Electromagnetism-like mechanism algorithm via dual chaotic search[J]. Journal of Xidian University，2014，41(5)：79-83，147(in Chinese).

［35］ 王曉玲，謝懷宇，王佳俊，等. 基于 Bootstrap 和 ICS-MKELM 算法的大壩變形預(yù)測(cè)[J]. 水力發(fā)電學(xué)報(bào)，2020，39(3)：106-120.

Wang Xiaoling，Xie Huaiyu，Wang Jiajun，et al. Prediction of dam deformation based on Bootstrap and ICS-MKELM algorithms[J]. Journal of Hydroelectric Engineering，2020，39(3)：106-120(in Chinese).

［36］ 吳中如，陳?波. 大壩變形監(jiān)控模型發(fā)展回眸[J]. 現(xiàn)代測(cè)繪，2016，39(5)：1-3，8.

Wu Zhongru，Chen Bo. A review on development of dam safety monitoring models[J]. Modern Surveying and Mapping，2016，39(5)：1-3，8(in Chinese).

Improved LSTM Sequence-to-Sequence Prediction Model for Dam Deformation Coupled with Attention Mechanism

Wang Xiaoling1，Liang Yuling1，Wang Jiajun1，Wu Binping1，Zhang Zongliang2，Huang Qingfu2

(1. State Key Laboratory of Hydraulic Engineering Simulation and Safety，Tianjin University，Tianjin 300072，China；2. PowerChina Kunming Engineering Corporation Limited，Kunming 650051，China)

At present, the shallow network structure which is mainly used for dam deformation prediction is difficult to mine the hidden deep characteristics of data series. Moreover, although the commonly used models such as LSTM and GRU can analyze the temporal autocorrelation characteristics of deformation series, they ignore the mapping relationship between the environmental factor series and deformation series, and it is difficult to overcome the problem that the gradient descent training of deep neural network is easy to fall into local optimums. To solve these problems, an improved LSTM sequence-to-sequence prediction model for dam deformation coupled with attention mechanism was proposed. The sequence-to-sequence structure was constructed by encoding and decoding a double-layer LSTM, and the sequence characteristics of influencing factors for input and output deformation were extracted synchronously. The contribution rate of each influencing factor with respect to deformation was measured dynamically by coupling the attention mechanism to improve prediction accuracy. Furthermore, ant colony pheromones and double-chaos optimization were used to improve the whale feeding mechanism, so as to construct a gradient-free environment from the LSTM sequence-to-sequence network model coupled with attention mechanism based on the improved whale optimization algorithm. In this way, the premature convergence is avoided and the defect of gradient descent itself is corrected. The results of engineering applications show that the proposed model can accurately predict dam deformation. The average MAPE on a test set of different points is 0.125%, and the corresponding average values of MAE and RMSE are 0.604 mm and 0.865 mm, respectively. In addition, the contribution rates of aging, water level and temperature with respect to point deformation are 51.93%, 30.14% and 17.93%, respectively. This study provides a theoretical and technical support for dam safety monitoring.

dam deformation prediction；sequence-to-sequence structure；attention mechanism；improved whale optimization algorithm(IWOA)；gradient-free training

10.11784/tdxbz202203057

TV698.11

A

0493-2137(2023)07-0702-11

2022-03-29；

2022-05-19.

王曉玲（1968—??），女，博士，教授，wangxl@tju.edu.cn.

王佳俊，jiajun_2014_bs@tju.edu.cn.

國家自然科學(xué)基金雅礱江聯(lián)合基金資助項(xiàng)目(U1965207，U1865204).

Supported by the Yalong River Joint Funds of the National Natural Science Foundation of China(No.U1965207，No. U1865204).

(責(zé)任編輯：武立有)