鄧思源，周蘭庭，王 飛，柳志坤

(1.河海大學(xué) 水利水電學(xué)院， 南京 210098； 2.江蘇省太湖水利規(guī)劃設(shè)計(jì)研究院有限公司 設(shè)計(jì)分院，江蘇 蘇州 215103；3.青島市發(fā)展和改革委員會(huì) 動(dòng)能轉(zhuǎn)換推進(jìn)處，山東 青島 266000； 4.青島市經(jīng)濟(jì)發(fā)展研究院，山東 青島 266000)

1 研究背景

我國目前已建有眾多大壩，部分大壩在產(chǎn)生社會(huì)經(jīng)濟(jì)效益時(shí)，帶來了一定安全問題，制約著工程效益的發(fā)揮，甚至威脅人民生命財(cái)產(chǎn)安全[1]。因此，對(duì)大壩進(jìn)行可靠、高效的安全監(jiān)控變得更重要，而對(duì)大壩變形發(fā)展的準(zhǔn)確預(yù)報(bào)是整個(gè)監(jiān)控過程的重要一環(huán)。

針對(duì)上述問題，相關(guān)學(xué)者提出了眾多分析方法。張永光等[2]將灰色系統(tǒng)理論用于分析小浪底水利樞紐大壩壩頂某測(cè)點(diǎn)處未來變形，驗(yàn)證了該理論在變形預(yù)測(cè)應(yīng)用中的可行性；周洪波[3]將人工神經(jīng)網(wǎng)絡(luò)用于大壩安全監(jiān)控領(lǐng)域的研究，利用加以優(yōu)化的反向傳播神經(jīng)網(wǎng)絡(luò)(Back Propagation，BP)，達(dá)到了較為理想的變形預(yù)測(cè)效果；任秋兵等[4]將長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(Long Short-Term Memory，LSTM)用于大壩變形預(yù)測(cè)，并通過優(yōu)化算法實(shí)現(xiàn)了LSTM在多種典型應(yīng)用場(chǎng)景下的更高精度的變形預(yù)測(cè)等。然而，上述研究?jī)H局限于對(duì)難以全面分析多因素影響的單一預(yù)測(cè)模型的構(gòu)建和優(yōu)化，未充分考慮多方面不確定因素對(duì)大壩變形的影響，預(yù)測(cè)精度有待進(jìn)一步提高。

為探求更高性能的預(yù)測(cè)方法，相關(guān)學(xué)者又試圖將多個(gè)單一模型進(jìn)行組合用以預(yù)測(cè)大壩未來變形。楊恒等[5]構(gòu)建了一種支持向量機(jī)(Support Vector Machine，SVM)和差分自回歸移動(dòng)平均模型(Auto-regressive Integrated Moving Average，ARIMA)相結(jié)合的大壩變形預(yù)測(cè)模型；馬佳佳等[6]將長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)與多元線性回歸(Multiple Linear Regression，MLR)通過引入集合經(jīng)驗(yàn)?zāi)B(tài)分解(Ensemble Empirical Mode Decomposition，EEMD)方法進(jìn)行結(jié)合；周蘭庭等[7]將LSTM和ARIMA通過引入小波分析(Wavelet Analysis，WA)方法進(jìn)行結(jié)合等，均取得了較單一模型更好的預(yù)測(cè)效果。然而，現(xiàn)有的類似于上述組合模型的研究都只是對(duì)各單一模型的預(yù)測(cè)結(jié)果的簡(jiǎn)單相加，或者將模型A的預(yù)測(cè)結(jié)果簡(jiǎn)單輸入到模型B中的二次預(yù)測(cè)等，一定程度上呈現(xiàn)出一種“機(jī)械組合”的特征，沒有充分實(shí)現(xiàn)組合模型間的靈活結(jié)合[8]。

基于上述問題，本文引入了一種在殘差賦權(quán)的基礎(chǔ)上加以改進(jìn)的自適應(yīng)賦權(quán)的變權(quán)組合方法[9]，它既非單一模型的“簡(jiǎn)單相加”，也非模型A到模型B的“二次預(yù)測(cè)”。鑒于極端梯度提升算法(eXtreme Gradient Boosting，XGBoost)[10]和長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)[11]對(duì)于非線性非平穩(wěn)且時(shí)序性強(qiáng)的數(shù)據(jù)均具有較高的預(yù)測(cè)精度，且二者方法原理相差較大而使得預(yù)測(cè)結(jié)果相關(guān)性較低，有利于對(duì)監(jiān)測(cè)樣本數(shù)據(jù)中有用信息的充分挖掘和利用，本文選用XGBoost模型和LSTM模型進(jìn)行變權(quán)組合，提出一種大壩變形的XGBoost-LSTM變權(quán)組合預(yù)測(cè)模型，以期實(shí)現(xiàn)更為準(zhǔn)確可靠的大壩變形預(yù)測(cè)。

2 研究方法

2.1 極端梯度提升算法(XGBoost)

XGBoost算法是在梯度提升樹(Gradient Boosting Decision Tree，GBDT)的基礎(chǔ)上加以改進(jìn)的一種集成學(xué)習(xí)算法，其核心理念在于將弱分類器集成為一個(gè)強(qiáng)分類器[12]，即將上一步弱學(xué)習(xí)器訓(xùn)練的殘差通過引入新的弱學(xué)習(xí)器加以擬合，當(dāng)訓(xùn)練結(jié)束后會(huì)產(chǎn)生每一樣本對(duì)應(yīng)的預(yù)測(cè)分?jǐn)?shù)，通過對(duì)全部弱學(xué)習(xí)器產(chǎn)生的預(yù)測(cè)分?jǐn)?shù)求和即可得到最終的樣本預(yù)測(cè)值。

XGBoost的結(jié)構(gòu)如圖1所示。

圖1 XGBoost結(jié)構(gòu)示意圖Fig.1 Schematic diagram of XGBoost structure

對(duì)于某變形測(cè)點(diǎn)，假設(shè)其具有n個(gè)樣本，且每個(gè)樣本具有m個(gè)特征值，將其監(jiān)測(cè)資料用M={(xi,yi)}(xi∈Rm,yi∈R,i=1,2,…,n)表示。XGBoost采用CART(Classification and Regression Tree,分類回歸樹)模型作為弱學(xué)習(xí)器[13]，對(duì)于第i個(gè)樣本的預(yù)測(cè)，其預(yù)測(cè)函數(shù)為

(1)

在模型的訓(xùn)練過程中，將目標(biāo)函數(shù)定義為

(2)

對(duì)式(2)中的損失函數(shù)泰勒二階展開，則可近似求得目標(biāo)函數(shù)為

(3)

在XGBoost算法中，對(duì)于單棵決策樹的復(fù)雜度，可由式(4)計(jì)算,即

(4)

式中：T和γ分別代表葉子節(jié)點(diǎn)的數(shù)量及其數(shù)量的懲罰項(xiàng)；wk代表第k個(gè)節(jié)點(diǎn)的分?jǐn)?shù)；λ代表L2正則懲罰項(xiàng),L2代表歐氏距離。

基于式(4)即可得到由t棵樹構(gòu)成的復(fù)雜度函數(shù)，即

(5)

式中const為一常量，代表前t-1棵樹的復(fù)雜度的總和。

鑒于優(yōu)化函數(shù)的過程中常數(shù)項(xiàng)不會(huì)造成影響，則目標(biāo)函數(shù)經(jīng)過t次迭代后可簡(jiǎn)化為

(6)

2.2 長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)

長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)[14]是對(duì)循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)的一種改進(jìn)。與傳統(tǒng)的RNN相比，LSTM在其網(wǎng)絡(luò)中的每個(gè)記憶神經(jīng)元上均新添了一個(gè)記憶單元狀態(tài)以降低信息丟失速度，同時(shí)其3個(gè)門結(jié)構(gòu)(即遺忘門、輸入門和輸出門)用以對(duì)梯度下降時(shí)誤差函數(shù)反饋的修正參數(shù)進(jìn)行選擇性記憶。LSTM通過引入可控自循環(huán)巧妙規(guī)避了RNN在長(zhǎng)時(shí)間序列學(xué)習(xí)過程中易產(chǎn)生的梯度消失或梯度爆炸問題，對(duì)于處理時(shí)序延遲和間隔冗長(zhǎng)的任務(wù)效果顯著。其單元內(nèi)部結(jié)構(gòu)如圖2所示。

圖2 LSTM單元內(nèi)部結(jié)構(gòu)Fig.2 Internal structure of LSTM unit

LSTM的主體運(yùn)行步驟如下：

(1)通過遺忘門控制前一單元輸入信息的被遺忘程度，篩選并保留歷史信息中有價(jià)值的部分。

具體計(jì)算式為

ut=σ(Whuht-1+WxuXt+bu) 。

(7)

式中：ut代表遺忘門限；ht-1和Whu分別代表隱含層前一時(shí)刻的輸出和權(quán)重矩陣；Xt和Wxu分別代表隱含層當(dāng)前時(shí)刻的輸入和權(quán)重矩陣；bu代表偏置值向量；σ代表標(biāo)準(zhǔn)sigmoid激活函數(shù)。

(2)通過輸入門控制流入到單元中的信息量，盡可能地將更高的權(quán)重分配給更有價(jià)值的信息，以此來更新單元狀態(tài)。

具體計(jì)算式為

it=σ(Whiht-1+WxiXt+bi) ;

(8)

(9)

(10)

(3)通過輸出門決定最終的輸出信息。

具體計(jì)算式為

ot=σ(Whoht-1+WxoXt+bo) ，

(11)

ht=ottanh(Ct) 。

(12)

式中：ot代表輸出門限；Who和Wxo分別代表前一時(shí)刻和當(dāng)前時(shí)刻的權(quán)重矩陣；bo代表偏置值向量。

(4)采用誤差反向傳播算法對(duì)模型多次訓(xùn)練，以達(dá)到期望的模型指標(biāo)。

2.3 隨機(jī)森林模型、ELMAN模型與逐步回歸分析模型

本文分別引入隨機(jī)森林模型與ELMAN模型作為后文實(shí)例應(yīng)用分析中模型之間的對(duì)比依據(jù)，以期驗(yàn)證XGBoost和LSTM兩種模型在各自領(lǐng)域的優(yōu)越性；同時(shí)，加入較為傳統(tǒng)的逐步回歸分析模型進(jìn)行對(duì)比研究，以進(jìn)一步說明本文模型的先進(jìn)性。

隨機(jī)森林模型是一種基于決策樹(分類回歸樹)建立的集成學(xué)習(xí)算法，適用于處理大壩變形數(shù)據(jù)分析這類存在復(fù)雜交互作用或非線性關(guān)系的問題。決策樹采用一種二分遞歸分割方法，遵照既定規(guī)則，對(duì)樣本集進(jìn)行分割以形成2個(gè)子樣本集。除了葉節(jié)點(diǎn)，決策樹各節(jié)點(diǎn)擁有2個(gè)分支，再依循上述過程，采用遞歸方式對(duì)每個(gè)分割后的子集進(jìn)行反復(fù)分割，以不可再分為葉節(jié)點(diǎn)為限。隨機(jī)森林運(yùn)用Bagging算法進(jìn)行決策樹的組合，實(shí)質(zhì)上是一個(gè)包含一系列決策樹的分類器。其具體介紹及算法流程參見文獻(xiàn)[15]，本文不再詳述。

ELMAN模型是一種動(dòng)態(tài)的反饋神經(jīng)網(wǎng)絡(luò)模型，由普通的輸入層、隱含層和輸出層以及一個(gè)特殊的隱含層(上下文層或狀態(tài)層)組成。輸入層和輸出層兩單元分別具備信號(hào)傳輸和線性加權(quán)的功能，可將激活函數(shù)作用于隱含層單元。狀態(tài)層單元?jiǎng)t負(fù)責(zé)對(duì)隱含層單元上一時(shí)刻的輸出值進(jìn)行記憶，接收并處理由隱含層得到的反饋信號(hào)。若ELMAN網(wǎng)絡(luò)通過正切S形隱層和純線性輸出層構(gòu)成，則可對(duì)任一連續(xù)函數(shù)進(jìn)行逼近。具備反饋連接的ELMAN網(wǎng)絡(luò)可生成2種模式，即時(shí)間模式和空間模式。ELMAN神經(jīng)網(wǎng)絡(luò)僅需運(yùn)用系統(tǒng)給出的輸入和輸出數(shù)據(jù)，即可實(shí)現(xiàn)對(duì)系統(tǒng)的模型構(gòu)建，此外還能使效應(yīng)量與影響因子間的非線性關(guān)系得以體現(xiàn)。其具體介紹及建模分析流程參見文獻(xiàn)[16]，本文不再詳述。

逐步回歸分析模型是一種可自主通過在眾多變量中尋得最有價(jià)值變量，進(jìn)而構(gòu)建回歸分析預(yù)測(cè)或解釋的模型。相較于普通的多元回歸方法，逐步回歸的優(yōu)越性在于其剩余標(biāo)準(zhǔn)差更小，方程更穩(wěn)定，從而確保方程中的全部回歸因子均具備顯著性[17]。其具體介紹及建模分析流程詳見文獻(xiàn)[18]，本文不再詳述。

2.4 組合預(yù)測(cè)方法

組合預(yù)測(cè)方法在預(yù)測(cè)科學(xué)中的應(yīng)用較為廣泛，其理論認(rèn)為：針對(duì)同一預(yù)測(cè)問題，將多種不同的預(yù)測(cè)模型進(jìn)行有機(jī)結(jié)合可在一定程度上提升模型的擬合能力，進(jìn)而實(shí)現(xiàn)更好的預(yù)測(cè)效果[19]。組合模型的預(yù)測(cè)效果與各單一模型權(quán)值的分配有密切關(guān)聯(lián)，這就涉及到對(duì)賦權(quán)方法的合理使用。常用的賦權(quán)方法有固定賦權(quán)和自適應(yīng)賦權(quán)，固定賦權(quán)又可細(xì)分為等值賦權(quán)和殘差賦權(quán)。

本文對(duì)于固定賦權(quán)方法不再贅述，而是主要闡述一種在殘差賦權(quán)的基礎(chǔ)上加以改進(jìn)的自適應(yīng)賦權(quán)的變權(quán)組合方法，其通過以下步驟進(jìn)行實(shí)現(xiàn)。

(1)將組合模型的預(yù)測(cè)殘差平方和作為目標(biāo)函數(shù)以得到組合預(yù)測(cè)優(yōu)化模型，即

式中：eit代表t時(shí)刻第i種模型的擬合殘差；vit代表t時(shí)刻第i種模型的權(quán)值；n代表單一模型的種數(shù)；m代表實(shí)測(cè)樣本點(diǎn)的數(shù)量。

通過解算該組合預(yù)測(cè)優(yōu)化模型，即可得到各模型在各樣本點(diǎn)處的最優(yōu)權(quán)值vit，進(jìn)而實(shí)現(xiàn)組合預(yù)測(cè)模型擬合精度的最優(yōu)化。

(2)為了達(dá)到預(yù)測(cè)的目的，根據(jù)上述求得的各樣本點(diǎn)處的最優(yōu)權(quán)值vit，推求各預(yù)測(cè)點(diǎn)處的最優(yōu)權(quán)值vi,m+j(i=1,2,…,n;j=1,2,…)(j代表預(yù)測(cè)點(diǎn)的數(shù)據(jù))，常用方法有以下2種。

第一種：適用于樣本量較少或者各模型在時(shí)點(diǎn)序列處的權(quán)值無明顯規(guī)律的情況，其推算過程為

第二種：適用于樣本量較多且各模型在時(shí)序點(diǎn)處的權(quán)值存在一定規(guī)律的情況，其核心思想在于采用回歸法擬合權(quán)值函數(shù)，再以此為依據(jù)計(jì)算各預(yù)測(cè)點(diǎn)的組合預(yù)測(cè)權(quán)值。然而，由于大壩變形監(jiān)測(cè)數(shù)據(jù)的特殊性，各模型在時(shí)點(diǎn)序列處的權(quán)值不存在明顯規(guī)律，此種方法難以適用于大壩變形分析預(yù)測(cè)，故本文對(duì)該方法不再贅述。

根據(jù)以上內(nèi)容不難得出，變權(quán)組合方法的基本思路在于，采用某種最優(yōu)化原則對(duì)各單一模型在樣本點(diǎn)處的組合權(quán)值進(jìn)行求解調(diào)配，再利用經(jīng)過上述過程處理得到的組合權(quán)值，盡可能地尋求各模型每一預(yù)測(cè)點(diǎn)處預(yù)測(cè)值的最優(yōu)權(quán)占比。換言之就是通過一種各模型權(quán)值不斷滾動(dòng)優(yōu)化的過程，或者通過一種權(quán)值與時(shí)間對(duì)應(yīng)的最優(yōu)函數(shù)關(guān)系，實(shí)現(xiàn)概率意義上的更高精度的預(yù)測(cè)[20]。

2.5 XGBoost-LSTM變權(quán)組合預(yù)測(cè)模型

鑒于XGBoost模型和LSTM模型對(duì)于處理大壩變形序列這種具有較強(qiáng)時(shí)序性和非線性特征的數(shù)據(jù)的優(yōu)越性和先進(jìn)性，同時(shí)分別作為樹模型和神經(jīng)網(wǎng)絡(luò)模型，其原理具有較大的差異性而使得模型運(yùn)行結(jié)果的相關(guān)性較弱，將二者融合有利于提升預(yù)測(cè)的準(zhǔn)確度[21]，本文引入XGBoost和LSTM作為組合模型的構(gòu)成部分；此外，考慮到大壩變形序列具有典型的非線性和非平穩(wěn)性，且監(jiān)測(cè)樣本序列和各模型預(yù)測(cè)效果可能隨時(shí)間而不斷改變，本文采用上述變權(quán)組合方法進(jìn)行XGBoost和LSTM的有機(jī)組合，同時(shí)由于各模型在時(shí)點(diǎn)序列處的權(quán)值不具有明顯規(guī)律性，選用2.4節(jié)實(shí)現(xiàn)過程中步驟(2)談及的第一種方法。綜上所述，本文基于融合建模的思想，引入變權(quán)組合方法，將XGBoost模型和LSTM模型進(jìn)行有機(jī)融合，提出一種大壩變形的XGBoost-LSTM變權(quán)組合預(yù)測(cè)模型，以期實(shí)現(xiàn)預(yù)報(bào)精度的進(jìn)一步提升。

其主體實(shí)現(xiàn)步驟概述如下：

(1)在數(shù)據(jù)預(yù)處理的基礎(chǔ)上，分別進(jìn)行XGBoost模型與LSTM模型的建模分析預(yù)測(cè)，獲得各單一模型的分析預(yù)測(cè)結(jié)果。

(2)根據(jù)步驟(1)得到的各模型預(yù)測(cè)結(jié)果，采用上述變權(quán)組合方法擬定各單一模型的權(quán)值，進(jìn)而推求組合模型的最終預(yù)測(cè)結(jié)果。

(3)引入評(píng)價(jià)指標(biāo)進(jìn)行模型評(píng)價(jià)，以期驗(yàn)證各單一模型以及組合模型的預(yù)測(cè)效果。

其建模分析主體流程如圖3所示。

圖3 XGBoost-LSTM變權(quán)組合預(yù)測(cè)模型建模分析主體流程Fig.3 Flow chart of modeling and analysis of XGBoost-LSTM combinatorial model with variable weight

3 實(shí)例應(yīng)用

3.1 實(shí)例概況

本文選用某混凝土

重力壩作為研究對(duì)象，截取該壩10#壩段的引張線測(cè)點(diǎn)EX8處2013年1月1日到2013年12月31日的365個(gè)變形觀測(cè)樣本數(shù)據(jù)進(jìn)行分析，以說明本文方法思路的可行性和優(yōu)越性。其變形過程線見圖4。

圖4 變形過程線Fig.4 Process line of deformation

3.2 建模分析與評(píng)價(jià)

根據(jù)前文論述的理論方法將上述365個(gè)樣本數(shù)據(jù)中的前350個(gè)數(shù)據(jù)劃作訓(xùn)練集，后15個(gè)數(shù)據(jù)劃作測(cè)試集，進(jìn)行XGBoost-LSTM變權(quán)組合預(yù)測(cè)模型的建模分析預(yù)測(cè)。為了驗(yàn)證本文單一模型及其組合模型的預(yù)測(cè)效果，選用XGBoost模型、LSTM模型、隨機(jī)森林模型、ELMAN模型、逐步回歸分析模型以及XGBoost-LSTM等值賦權(quán)組合預(yù)測(cè)模型在同一條件下進(jìn)行對(duì)比實(shí)驗(yàn)。

本文將均方根誤差(Root Mean Square Error，RMSE)作為各模型的評(píng)價(jià)指標(biāo)，其計(jì)算公式為

(14)

3.2.1 單一模型建模分析與評(píng)價(jià)

鑒于組合模型的預(yù)測(cè)性能很大程度上與構(gòu)成其本身的各單一模型的預(yù)測(cè)性能有關(guān)，本文首先對(duì)各單一模型進(jìn)行建模分析與評(píng)價(jià)，以驗(yàn)證其在各自模型類別的優(yōu)越性和大壩變形預(yù)測(cè)方面的適用性。

3.2.1.1 XGBoost模型、隨機(jī)森林模型與逐步回歸分析模型的建模預(yù)測(cè)及對(duì)比分析

XGBoost模型和隨機(jī)森林模型均是當(dāng)下較為成熟的樹模型，作為Boosting算法和Bagging算法的典型代表，在預(yù)測(cè)科學(xué)領(lǐng)域都取得了一定的成功；此外，逐步回歸分析模型作為時(shí)下較為傳統(tǒng)的回歸分析模型，在相關(guān)領(lǐng)域得到了較為成熟且廣泛的應(yīng)用，具有深刻的對(duì)比研究?jī)r(jià)值。因此，本文基于上述數(shù)據(jù)集和數(shù)據(jù)劃分，首先進(jìn)行XGBoost模型、隨機(jī)森林模型與逐步回歸分析模型的建模預(yù)測(cè)及對(duì)比分析。

本文主要參考文獻(xiàn)[22]，利用Python3.7中的XGBoost庫構(gòu)建XGBoost大壩變形預(yù)測(cè)模型，將大壩變形的影響因子(包括水壓因子、溫度因子以及時(shí)效因子)作為輸入變量，輸出變量則為該測(cè)點(diǎn)處變形，同時(shí)采用Scikit-learn中的網(wǎng)格搜索法進(jìn)行超參數(shù)尋優(yōu)。其主要參數(shù)設(shè)置結(jié)果見表1，其余參數(shù)采用默認(rèn)值。

表1 XGBoost模型參數(shù)設(shè)置結(jié)果Table 1 Parameter settings of XGBoost model

對(duì)于隨機(jī)森林模型的參數(shù)設(shè)置和建模應(yīng)用主要參考文獻(xiàn)[15]和文獻(xiàn)[23]，其主要參數(shù)設(shè)置結(jié)果見表2，其余參數(shù)采用默認(rèn)值。

表2 隨機(jī)森林模型參數(shù)設(shè)置結(jié)果Table 2 Parameter settings of random forest model

本文主要參考文獻(xiàn)[18]，通過尋求最優(yōu)因子組合，將水壓因子、溫度因子和時(shí)效因子作為因子集，進(jìn)行逐步回歸分析模型的構(gòu)建及應(yīng)用。

各模型預(yù)測(cè)結(jié)果對(duì)比見圖5，各模型評(píng)價(jià)指標(biāo)對(duì)比見表3。

圖5 XGBoost模型、隨機(jī)森林模型與逐步回歸分析模型預(yù)測(cè)結(jié)果對(duì)比Fig.5 Comparison of prediction results among XGBoost model，random forest model and stepwise regression analysis model

表3 XGBoost模型、隨機(jī)森林模型與逐步回歸分析模型評(píng)價(jià)指標(biāo)Table 3 Evaluation indicators of XGBoost model，random forest model and stepwise regression analysis model

由圖5可見，XGBoost模型和隨機(jī)森林模型二者的變化趨勢(shì)相較于傳統(tǒng)的逐步回歸分析模型更加趨向真實(shí)值；又由表3可得，逐步回歸分析模型的預(yù)測(cè)均方根誤差RMSE為0.423 9 mm，大于隨機(jī)森林模型的0.328 8 mm和XGBoost模型的0.233 9 mm；綜上所述，XGBoost和隨機(jī)森林兩種樹模型的預(yù)測(cè)性能均優(yōu)于傳統(tǒng)的逐步回歸分析模型，具有一定的先進(jìn)性；進(jìn)一步地，對(duì)兩種樹模型進(jìn)行對(duì)比分析，同樣由圖5可見，雖然隨機(jī)森林模型在本次實(shí)驗(yàn)中后半段的預(yù)測(cè)效果略微優(yōu)于XGBoost模型，但是前半段的預(yù)測(cè)精度卻明顯低于XGBoost模型，導(dǎo)致其整體預(yù)測(cè)精度不佳，換言之，從總體來看，XGBoost模型的預(yù)測(cè)過程線相較于隨機(jī)森林模型與實(shí)測(cè)過程線更為貼合，整體表現(xiàn)更加穩(wěn)定；再由表3可得，XGBoost模型的預(yù)測(cè)均方根誤差RMSE為0.233 9 mm，低于隨機(jī)森林模型的0.328 8 mm，進(jìn)一步證明了XGBoost模型的預(yù)測(cè)精度高于隨機(jī)森林模型，更適用于大壩變形預(yù)測(cè)。因此，本文將XGBoost模型用于組合模型的構(gòu)成模型之一。

3.2.1.2 LSTM模型、ELMAN模型與逐步回歸分析模型的建模預(yù)測(cè)及對(duì)比分析

LSTM模型作為時(shí)下較為先進(jìn)的神經(jīng)網(wǎng)絡(luò)模型已在大壩安全監(jiān)控領(lǐng)域取得了一定的成功，ELMAN模型作為一種傳統(tǒng)遞歸神經(jīng)網(wǎng)絡(luò)模型也較為成熟地被應(yīng)用于相關(guān)領(lǐng)域的研究。因此，基于上述數(shù)據(jù)集和數(shù)據(jù)劃分，本文再對(duì)LSTM模型和ELMAN模型進(jìn)行建模預(yù)測(cè)及對(duì)比分析；出于相同考慮，引入前文逐步回歸分析模型的分析預(yù)測(cè)成果進(jìn)行對(duì)比研究。

本文主要參考文獻(xiàn)[24]進(jìn)行LSTM模型的構(gòu)建和超參數(shù)設(shè)置，參數(shù)尋優(yōu)采用Adam算法[25]，其主要參數(shù)設(shè)置結(jié)果如表4所示，其余參數(shù)采用默認(rèn)值。

表4 LSTM模型參數(shù)設(shè)置結(jié)果Table 4 Parameter settings of LSTM model

對(duì)于ELMAN模型的參數(shù)設(shè)置和建模應(yīng)用主要參考文獻(xiàn)[16]，通過試算法將與模型預(yù)測(cè)精度密切相關(guān)的網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)擬定為3，其余參數(shù)采用參考值和默認(rèn)值。

各模型預(yù)測(cè)結(jié)果對(duì)比見圖6，各模型評(píng)價(jià)指標(biāo)對(duì)比見表5。

圖6 LSTM模型、ELMAN模型與逐步回歸分析模型預(yù)測(cè)結(jié)果對(duì)比Fig.6 Comparison of prediction results among LSTM model，ELMAN model and stepwise regression analysis model

表5 LSTM模型、ELMAN模型與逐步回歸分析模型評(píng)價(jià)指標(biāo)Table 5 Evaluation indicators of LSTM model，ELMAN model and stepwise regression analysis model

由圖6可見，LSTM模型和ELMAN模型二者的預(yù)測(cè)曲線走勢(shì)相較于傳統(tǒng)的逐步回歸分析模型更加貼合真實(shí)值，且由表5可得，LSTM模型和ELMAN模型的預(yù)測(cè)均方根誤差RMSE分別為0.107 6 mm和0.210 4 mm，均小于逐步回歸分析模型的0.423 9 mm；綜上所述，LSTM和ELMAN兩種神經(jīng)網(wǎng)絡(luò)模型均表現(xiàn)出比逐步回歸分析模型更高的預(yù)測(cè)性能，具有一定的優(yōu)越性；進(jìn)一步地，對(duì)兩種神經(jīng)網(wǎng)絡(luò)模型進(jìn)行比較分析，同樣由圖6可見，LSTM模型的變形預(yù)測(cè)值顯然比ELMAN模型更加貼合測(cè)點(diǎn)變形真實(shí)值，且各點(diǎn)走勢(shì)更加符合真實(shí)值變化規(guī)律，與工程實(shí)際情況更為吻合，肉眼可見其預(yù)測(cè)效果更優(yōu)；同時(shí)，由表5得到，LSTM模型的評(píng)價(jià)指標(biāo)RMSE為0.107 6 mm，小于ELMAN模型的0.210 4 mm，進(jìn)一步說明了LSTM模型相較于ELMAN模型具有更高的預(yù)測(cè)精度，在大壩變形監(jiān)測(cè)領(lǐng)域優(yōu)勢(shì)更加顯著。因此，本文選擇預(yù)測(cè)表現(xiàn)更優(yōu)的LSTM模型作為組合模型的構(gòu)成模型之一。

圖7 XGBoost模型、LSTM模型、等值賦權(quán)組合模型、變權(quán)組合模型預(yù)測(cè)結(jié)果對(duì)比Fig.7 Comparison of prediction results among XGBoost model，LSTM model，equal-weighted combination model,and variable-weighted combination model

3.2.2 組合模型建模分析與評(píng)價(jià)

綜上所述，基于XGBoost模型和LSTM模型，采用前文談及的自適應(yīng)賦權(quán)的變權(quán)組合方法進(jìn)行組合預(yù)測(cè)模型的構(gòu)建，最后，基于同樣的數(shù)據(jù)集和數(shù)據(jù)劃分，進(jìn)行變形分析預(yù)測(cè)。為了驗(yàn)證本文變權(quán)組合模型的預(yù)測(cè)性能，將XGBoost模型、LSTM模型、XGBoost-LSTM等值賦權(quán)組合預(yù)測(cè)模型與XGBoost-LSTM變權(quán)組合預(yù)測(cè)模型的預(yù)測(cè)結(jié)果進(jìn)行對(duì)比分析。各模型預(yù)測(cè)結(jié)果對(duì)比見圖7，各模型評(píng)價(jià)指標(biāo)對(duì)比見表6。

表6 XGBoost模型、LSTM模型、等值賦權(quán)組合模型、變權(quán)組合模型評(píng)價(jià)指標(biāo)Table 6 Evaluation indicators of XGBoost model,LSTM model，equal-weighted combination model,and variable-weighted combination model

由圖7可見，XGBoost-LSTM等值賦權(quán)組合預(yù)測(cè)模型的預(yù)測(cè)過程線的波動(dòng)范圍相較于XGBoost模型與LSTM模型更加貼合真實(shí)值，基本能更加準(zhǔn)確地反映真實(shí)值變化趨勢(shì)，預(yù)測(cè)效果得到一定程度的提升，但不足之處在于其權(quán)值固定導(dǎo)致賦權(quán)之后一些細(xì)節(jié)信息的丟失，不能更加真實(shí)地反映工程實(shí)際情況；而反觀XGBoost-LSTM變權(quán)組合預(yù)測(cè)模型，其預(yù)測(cè)結(jié)果過程線與真實(shí)值的吻合程度相較于XGBoost-LSTM等值賦權(quán)組合預(yù)測(cè)模型又有了一定程度的提升，每點(diǎn)處預(yù)測(cè)值都盡可能地逼近真實(shí)值，預(yù)測(cè)精度改善明顯。同時(shí)，XGBoost-LSTM變權(quán)組合預(yù)測(cè)模型更大程度地保留了細(xì)節(jié)信息，更能從定量而非定性的層面反映大壩變形趨勢(shì)和工程實(shí)際情況，預(yù)測(cè)效果更為理想。此外，表6中的各模型評(píng)價(jià)指標(biāo)也進(jìn)一步驗(yàn)證了上述內(nèi)容，將表6中的均方根誤差RMSE從小到大依次排列:變權(quán)組合預(yù)測(cè)模型的0.040 0 mm<等值賦權(quán)組合預(yù)測(cè)模型的0.083 3 mm

綜上所述，XGBoost-LSTM變權(quán)組合預(yù)測(cè)模型相較于其余3種預(yù)測(cè)模型具有更好的預(yù)測(cè)效果，預(yù)測(cè)結(jié)果更加符合工程實(shí)際情況，在大壩變形預(yù)測(cè)中具有一定的優(yōu)勢(shì)和可研究?jī)r(jià)值。

4 結(jié) 論

本文鑒于XGBoost作為樹模型在預(yù)測(cè)科學(xué)領(lǐng)域的先進(jìn)性以及LSTM作為神經(jīng)網(wǎng)絡(luò)模型在分析時(shí)間序列方面的優(yōu)越性，應(yīng)用變權(quán)組合預(yù)測(cè)方法將上述2種模型進(jìn)行有機(jī)融合，構(gòu)建了一種XGBoost-LSTM變權(quán)組合預(yù)測(cè)模型，并將其用于大壩變形預(yù)測(cè)。實(shí)例應(yīng)用表明，與傳統(tǒng)的逐步回歸分析模型比較，XGBoost和隨機(jī)森林2種樹模型以及LSTM和ELMAN這2兩種神經(jīng)網(wǎng)絡(luò)模型在大壩變形預(yù)測(cè)中均表現(xiàn)出更好的預(yù)測(cè)效果，具有一定的先進(jìn)性；而相較于同為樹模型的隨機(jī)森林模型，XGBoost模型預(yù)測(cè)性能更加穩(wěn)定和優(yōu)越；與同為神經(jīng)網(wǎng)絡(luò)模型的ELMAN模型相比，LSTM模型則具有更優(yōu)的預(yù)測(cè)表現(xiàn)；進(jìn)一步地，基于變權(quán)組合方法將XGBoost和LSTM進(jìn)行有機(jī)融合可以優(yōu)化各單一模型的預(yù)測(cè)性能，且相較于基于等值賦權(quán)方法的XGBoost和LSTM的簡(jiǎn)單組合，預(yù)測(cè)精度提升更加顯著，預(yù)測(cè)結(jié)果信息顯示更加豐富，更加符合工程實(shí)際情況。綜上所述，本文提出的大壩變形的XGBoost-LSTM變權(quán)組合預(yù)測(cè)模型在大壩安全監(jiān)控領(lǐng)域具有一定的適用性和優(yōu)越性，可進(jìn)行發(fā)展和推廣。