崔巍，顧冉浩，陳奔月，王文

(1.河海大學(xué)水文水資源與水利工程國(guó)家重點(diǎn)實(shí)驗(yàn)室，江蘇南京210098； 2.福建省水文水資源勘測(cè)局閩江河口水文實(shí)驗(yàn)站，福建福州350001)

水文預(yù)報(bào)模型可以粗略地分成過(guò)程驅(qū)動(dòng)模型和數(shù)據(jù)驅(qū)動(dòng)模型兩大類(lèi)[1]，過(guò)程驅(qū)動(dòng)模型以水文學(xué)概念為基礎(chǔ)，模擬產(chǎn)流和河道演進(jìn)過(guò)程，從而進(jìn)行流量過(guò)程預(yù)報(bào)；數(shù)據(jù)驅(qū)動(dòng)模型則基本不考慮水文過(guò)程的物理機(jī)制，通過(guò)建立輸入、輸出數(shù)據(jù)之間的最優(yōu)數(shù)學(xué)關(guān)系，實(shí)現(xiàn)流量過(guò)程的預(yù)報(bào)。隨著下墊面觀測(cè)數(shù)據(jù)、水文氣象觀測(cè)數(shù)據(jù)的不斷豐富，以及計(jì)算機(jī)計(jì)算能力的提升，數(shù)據(jù)驅(qū)動(dòng)模型在水文預(yù)報(bào)中得到越來(lái)越廣泛的關(guān)注和應(yīng)用。

數(shù)據(jù)驅(qū)動(dòng)模型中，人工神經(jīng)網(wǎng)絡(luò)因?yàn)榫哂辛己玫姆蔷€性映射能力，在水文領(lǐng)域得到了廣泛應(yīng)用。以Romelhart和Mcclelland[2]在1986年提出的誤差反向傳播算法(BP算法)為基礎(chǔ)構(gòu)建的BP神經(jīng)網(wǎng)絡(luò)是目前最常用的一種神經(jīng)網(wǎng)絡(luò)模型。由于其結(jié)構(gòu)簡(jiǎn)單，并且具有良好的非線性和泛化逼近能力，以及其自組織、自適應(yīng)和容錯(cuò)性，20世紀(jì)90年代以來(lái)就被很多研究者應(yīng)用于洪水預(yù)報(bào)[3-4]及中長(zhǎng)期徑流預(yù)報(bào)[5-6]。但BP神經(jīng)網(wǎng)絡(luò)存在著網(wǎng)絡(luò)結(jié)構(gòu)難以確定、訓(xùn)練速度慢和預(yù)測(cè)精度低等方面的問(wèn)題[7]。Elman等[8]提出的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)可以被看作在隱含層進(jìn)行了時(shí)間上的折疊，從而可以擁有無(wú)限多個(gè)隱含層，通過(guò)在隱含層的迭代計(jì)算，使新的信息被添加到每一層中，通過(guò)無(wú)限制次數(shù)的更新，循環(huán)神經(jīng)網(wǎng)絡(luò)可以將信息傳遞下去，使得神經(jīng)網(wǎng)絡(luò)獲得對(duì)時(shí)間序列數(shù)據(jù)狀態(tài)特征的記憶能力[9]。RNN在流域降雨徑流預(yù)報(bào)中得到一定程度的應(yīng)用，包括徑流漲退過(guò)程預(yù)測(cè)[10]、降雨徑流日尺度模擬[11]以及洪水預(yù)報(bào)[12]等。但Bengio等[13]發(fā)現(xiàn)RNN存在梯度消失問(wèn)題(即梯度下降過(guò)程中，梯度隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的加深快速衰減，迅速接近于0，導(dǎo)致權(quán)重?zé)o法更新)與梯度爆炸問(wèn)題(即由于初始化權(quán)重過(guò)大，誤差梯度在權(quán)重更新中累積，導(dǎo)致網(wǎng)絡(luò)權(quán)重大幅更新，權(quán)重出現(xiàn)快速增長(zhǎng)，使得網(wǎng)絡(luò)變得不穩(wěn)定)，使得循環(huán)神經(jīng)網(wǎng)絡(luò)很難學(xué)習(xí)到長(zhǎng)周期序列數(shù)據(jù)的狀態(tài)特征。為了解決這一問(wèn)題，Hochreiter和Schmidhuber[14]在一般RNN神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，提出了LSTM(長(zhǎng)短期記憶)神經(jīng)網(wǎng)絡(luò)，將記憶單元添加到RNN隱藏層的神經(jīng)單元中，從而使得時(shí)間序列上的記憶信息變得可以控制，能夠有效解決信息的長(zhǎng)期依賴(lài)，避免梯度消失或爆炸。近幾年來(lái)LSTM神經(jīng)網(wǎng)絡(luò)成為一個(gè)非常受重視的流域降雨徑流預(yù)報(bào)方法。Shi等[15]將LSTM模型運(yùn)用于降雨臨近預(yù)報(bào)，表明LSTM模型能夠很好地捕捉時(shí)空相關(guān)性；馮鈞等[16]則將LSTM模型和BP神經(jīng)網(wǎng)絡(luò)模型進(jìn)行出來(lái)對(duì)比應(yīng)用，并將二者結(jié)合起來(lái)形成組合預(yù)報(bào)模型，進(jìn)行12 h預(yù)見(jiàn)期的洪水預(yù)報(bào)；Tian等[17]比較了LSTM、ERNN(Elman循環(huán)神經(jīng)網(wǎng)絡(luò))、ESN(Echo State Network回聲狀態(tài)網(wǎng)絡(luò))、NARX(動(dòng)態(tài)時(shí)間序列神經(jīng)網(wǎng)絡(luò))和GR4J模型的日尺度徑流預(yù)報(bào)結(jié)果，發(fā)現(xiàn)LSTM神經(jīng)網(wǎng)絡(luò)在面積較小的流域中有更好的預(yù)報(bào)精度；Kratzert等[18]將LSTM模型應(yīng)用于受融雪影響的流域，說(shuō)明LSTM相比于SAC-SMA+Snow-17(即薩克拉門(mén)托模型和Snow-17的組合模型)可以更好地完成日尺度上的降雨徑流模擬，能夠通過(guò)實(shí)測(cè)氣象數(shù)據(jù)進(jìn)行流量預(yù)報(bào)；Le等[19]將LSTM模型用于湄公河受上游水電站和水庫(kù)泄洪影響流域的3 d預(yù)見(jiàn)期的洪水預(yù)報(bào)；Sahoo等[20]采用LSTM模型進(jìn)行印度馬哈納迪河月尺度上的枯季流量預(yù)報(bào)，達(dá)到較高的預(yù)報(bào)精度；殷兆凱等[21]利用LSTM針對(duì)0～3 d的預(yù)見(jiàn)期分別建立了降雨徑流模型，說(shuō)明在相同預(yù)見(jiàn)期下，LSTM模型擁有比新安江模型更好的預(yù)報(bào)能力。

本文以福建木蘭溪支流延壽溪渡里站以上流域?yàn)檠芯繀^(qū)，利用逐時(shí)實(shí)測(cè)降雨與流量數(shù)據(jù)建立BP神經(jīng)網(wǎng)絡(luò)、LSTM神經(jīng)網(wǎng)絡(luò)模型，進(jìn)行未來(lái)1～24 h的逐時(shí)洪水預(yù)報(bào)，比較2種模型的預(yù)報(bào)結(jié)果，采用模塊化建模方法，討論了隱含層不同神經(jīng)元數(shù)對(duì)模型訓(xùn)練速度和預(yù)報(bào)精度的影響以及造成精度差異的可能原因，同時(shí)探討了如何簡(jiǎn)單有效地避免模型訓(xùn)練時(shí)陷入局部最優(yōu)解，為將神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于有水文站控制的小流域短期洪水預(yù)報(bào)工作提供參考。

1 研究方法

1.1 BP神經(jīng)網(wǎng)絡(luò)模型

BP神經(jīng)網(wǎng)絡(luò)通常包含3層結(jié)構(gòu)，即輸入層、隱含層和輸出層，見(jiàn)圖1。BP神經(jīng)網(wǎng)絡(luò)的構(gòu)建過(guò)程主要分為2個(gè)階段：第一階段是信號(hào)的前向傳播，從輸入層經(jīng)過(guò)隱含層，最后到達(dá)輸出層，計(jì)算出預(yù)測(cè)結(jié)果，并利用預(yù)測(cè)結(jié)果和真實(shí)值構(gòu)成代價(jià)函數(shù)；第二階段是誤差的反向傳播，從輸出層到隱含層，最后到輸入層，利用梯度下降法，依次調(diào)節(jié)隱含層到輸出層的權(quán)重，輸入層到隱含層的權(quán)重。在反向傳播的過(guò)程中，根據(jù)誤差不斷調(diào)整優(yōu)化各參數(shù)的值；不斷重復(fù)該過(guò)程，直到收斂。

圖1 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意

1.2 LSTM神經(jīng)網(wǎng)絡(luò)模型

注：×與⊙為矩陣元素積；+為相加。圖2 LSTM記憶單元細(xì)節(jié)結(jié)構(gòu)

1.3 模擬結(jié)果的評(píng)價(jià)指標(biāo)

從整體流量過(guò)程與單次洪水預(yù)報(bào)2個(gè)角度進(jìn)行模型預(yù)報(bào)精度評(píng)價(jià)。以相對(duì)誤差RE、確定性系數(shù)DC作為誤差指標(biāo)。其中：

(1)

(2)

確定性系數(shù)DC也稱(chēng)Nash-Sutcliffe效率系數(shù)。其值在(-∞，1]之間，1表示預(yù)報(bào)結(jié)果完美擬合實(shí)測(cè)值。

根據(jù)GB/T 22482—2008《水文情報(bào)預(yù)報(bào)規(guī)范》對(duì)于單次洪水事件的預(yù)報(bào)結(jié)果，洪峰流量以實(shí)測(cè)洪峰流量的20%作為許可誤差；峰現(xiàn)時(shí)間以預(yù)報(bào)根據(jù)時(shí)間至實(shí)測(cè)洪峰出現(xiàn)時(shí)間之間距的30%作為許可誤差；徑流深以實(shí)測(cè)值的20%作為許可誤差，若該值大于20 mm，則取20 mm，若該值小于3 mm，則取3 mm。

當(dāng)誤差小于規(guī)范所規(guī)定的誤差即可視為合格預(yù)報(bào)。合格預(yù)報(bào)次數(shù)與預(yù)報(bào)總次數(shù)之比的百分?jǐn)?shù)為合格率，表示多次預(yù)報(bào)總體的精度水平。合格率按下式計(jì)算：

(3)

式中 QR——合格率；n——合格預(yù)報(bào)次數(shù)；m——預(yù)報(bào)總次數(shù)。

預(yù)報(bào)項(xiàng)目的精度按合格率或確定性系數(shù)的大小分為3個(gè)等級(jí)，見(jiàn)表1。

表1 洪水事件預(yù)報(bào)精度等級(jí)

2 研究流域與數(shù)據(jù)

2.1 研究區(qū)概況

實(shí)驗(yàn)流域?yàn)楦＝ㄆ翁锸心咎m溪支流延壽溪的渡里水文站以上集水區(qū)，流域內(nèi)地形站點(diǎn)信息見(jiàn)圖3，流域面積68.57 km2，屬典型的亞熱帶季風(fēng)氣候，年平均降雨在2 000 mm以上。流域地處山區(qū)，地形最大高差達(dá)842 m。流域內(nèi)植被覆蓋良好，森林覆蓋率達(dá)69.3%。流域內(nèi)無(wú)水庫(kù)調(diào)節(jié)，僅有少數(shù)塘壩，水體面積占0.02%。流域內(nèi)有河道水文站1個(gè)(渡里)，雨量站3個(gè)(渡里、下張隆和林兜)。渡里水文站以上集水區(qū)面積小，且不受水庫(kù)調(diào)節(jié)影響，能夠很好展現(xiàn)降雨徑流響應(yīng)關(guān)系，且在福建省水文水資源勘測(cè)局的幫助下能夠獲得充足的降雨和徑流逐時(shí)數(shù)據(jù)，是進(jìn)行小流域降雨徑流預(yù)報(bào)十分良好的研究區(qū)。

圖3 延壽溪渡里站以上集水區(qū)高程及站點(diǎn)分布

2.2 數(shù)據(jù)

本文選用來(lái)源于福建省水文水資源勘測(cè)局水雨情數(shù)據(jù)庫(kù)的渡里水文站逐時(shí)流量數(shù)據(jù)，渡里、下張隆和林兜的逐時(shí)降水?dāng)?shù)據(jù)，時(shí)間為2014年6月至2018年11月，采用泰森多邊形計(jì)算流域面平均雨量后作為降雨輸入。由于沒(méi)有2014年6月至2018年11月的降水預(yù)報(bào)數(shù)據(jù)，所以在進(jìn)行未來(lái)第2～24 h逐時(shí)預(yù)報(bào)時(shí)用同期上一時(shí)刻的實(shí)測(cè)降雨數(shù)據(jù)代替降水預(yù)報(bào)數(shù)據(jù)。

利用MODIS 16 d尺度的植被指數(shù)(NDVI)數(shù)據(jù)(MODIS13A2)，計(jì)算流域平均每16 d的多年平均植被指數(shù)，并采用三次樣條法插值成逐日數(shù)據(jù)，作為神經(jīng)網(wǎng)絡(luò)反映流域內(nèi)植被的季節(jié)變化的一項(xiàng)輸入。

3 模型構(gòu)建與結(jié)果分析

3.1 神經(jīng)網(wǎng)絡(luò)預(yù)報(bào)模型構(gòu)建

神經(jīng)網(wǎng)絡(luò)雖然已經(jīng)在水文預(yù)報(bào)中得到了較為廣泛的應(yīng)用，但是對(duì)建模環(huán)節(jié)中的一些問(wèn)題仍然沒(méi)有系統(tǒng)性的解決方案，這些問(wèn)題包括如何確定網(wǎng)絡(luò)結(jié)構(gòu)(包括確定輸入節(jié)點(diǎn)，如何確定隱含層層數(shù)以及神經(jīng)元數(shù))，如何確定訓(xùn)練的迭代次數(shù)以及避免訓(xùn)練過(guò)程中陷入局部最優(yōu)解，以及如何考慮降雨徑流過(guò)程不同階段的動(dòng)態(tài)特征差異等。

3.1.1模型結(jié)構(gòu)的確定

a) 輸入節(jié)點(diǎn)。為便于比較，BP與LSTM模型將在輸入節(jié)點(diǎn)上將保持一致，采用同樣的輸入及預(yù)處理方法。2個(gè)神經(jīng)網(wǎng)絡(luò)的降雨數(shù)據(jù)輸入節(jié)點(diǎn)通過(guò)計(jì)算當(dāng)前流量與前期累積降雨的相關(guān)關(guān)系來(lái)確定。計(jì)算了1～6 h的逐小時(shí)降雨，6～12、12～18、18～24、24～30、30～36 h的6 h累計(jì)降雨，36～48、48～60、60～72 h的12 h累積降雨，結(jié)果見(jiàn)圖4。由圖4可見(jiàn)，1～6 h逐小時(shí)降雨,6～12、12～18、18～24 h的6 h累積降雨量與當(dāng)前流量具有較高的相關(guān)性，相關(guān)系數(shù)都超過(guò)0.35，因此選取這9項(xiàng)累積降水?dāng)?shù)據(jù)作為降雨輸入。2個(gè)神經(jīng)網(wǎng)絡(luò)的流量數(shù)據(jù)輸入節(jié)點(diǎn)數(shù)通過(guò)對(duì)流量數(shù)據(jù)進(jìn)行了自相關(guān)(AR)和偏自相關(guān)(PAR)(圖5)分析確定。由圖5可見(jiàn)，流量具有很強(qiáng)的自相關(guān)特征(圖5a)，即使30 h前的流量值與當(dāng)前流量也具有較高的相關(guān)性，但是根據(jù)流量的偏自相關(guān)圖(圖5b)，5 h之后的流量值與當(dāng)前流量的相關(guān)系數(shù)小于0.2。因此，可以考慮將前1～5 h的流量值作為模型的輸入數(shù)據(jù)。但在進(jìn)一步通過(guò)多次模型訓(xùn)練嘗試后，確定流量數(shù)據(jù)滿(mǎn)足要求的最佳滯時(shí)為2，即將前1 h和前2 h流量值作為模型的輸入。除了上述的降水及流量數(shù)據(jù)輸入，考慮到植被截留過(guò)程會(huì)減少到達(dá)地面的有效降雨量，而流域內(nèi)植被具有季節(jié)性變化，植被的年內(nèi)生長(zhǎng)變化對(duì)徑流量有著較大影響。所以將NDVI數(shù)據(jù)也作為神經(jīng)網(wǎng)絡(luò)的一項(xiàng)輸入。

圖4 流量與前期不同時(shí)段累積降雨量的相關(guān)關(guān)系

a) 自相關(guān)

b) 偏自相關(guān)圖5 逐時(shí)流量數(shù)據(jù)的自相關(guān)和偏自相關(guān)分析

b) 輸入數(shù)據(jù)預(yù)處理。由于流量數(shù)據(jù)的數(shù)值尺度和單位與降雨量數(shù)據(jù)存在差異，以及激勵(lì)函數(shù)本身的特性，如sigmoid函數(shù)對(duì)于小于-5、大于5的輸入數(shù)據(jù)響應(yīng)值不敏感，趨于0和1。所以在構(gòu)建神經(jīng)網(wǎng)絡(luò)模型時(shí)，必須對(duì)流量和降雨數(shù)據(jù)進(jìn)行歸一化處理，使每個(gè)輸入、輸出節(jié)點(diǎn)的數(shù)據(jù)均值近似為0，方差為1。同時(shí)，為了縮小數(shù)據(jù)中極大值造成的影響，放大極小值的影響，在進(jìn)行歸一化處理前先對(duì)數(shù)據(jù)取對(duì)數(shù)。為了避免數(shù)據(jù)中的0值影響對(duì)數(shù)計(jì)算，取0.01代替數(shù)據(jù)中的0值。經(jīng)過(guò)歸一化處理后，數(shù)據(jù)的絕對(duì)值將變成一種相對(duì)關(guān)系，來(lái)消除量綱對(duì)模型運(yùn)算的干擾[21]，同時(shí)可加快梯度下降的收斂速度。

c) 隱含層層數(shù)及隱含節(jié)點(diǎn)數(shù)。神經(jīng)網(wǎng)絡(luò)的建立過(guò)程中，隱含層層數(shù)和神經(jīng)元數(shù)會(huì)對(duì)結(jié)構(gòu)和訓(xùn)練產(chǎn)生多方面的影響。增加神經(jīng)網(wǎng)絡(luò)隱含層層數(shù)可以提高學(xué)習(xí)精度，Hornik等[22]證明一個(gè)擁有足夠多的神經(jīng)元的單隱含層神經(jīng)網(wǎng)絡(luò)就能夠完成從輸入數(shù)據(jù)到輸出數(shù)據(jù)之間任何可測(cè)量的函數(shù)關(guān)系，并達(dá)到期望的精度。但是同時(shí)讓模型結(jié)構(gòu)變得更加復(fù)雜，也讓訓(xùn)練時(shí)間大大增長(zhǎng)。Villiers和Barnard[23]的研究表明，由2個(gè)隱含層組成的神經(jīng)網(wǎng)絡(luò)的魯棒性較差，收斂精度也較低。所以在設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)時(shí)應(yīng)優(yōu)先考慮有1個(gè)隱含層的3層網(wǎng)絡(luò)。因此本文中BP和LSTM模型的隱含層層數(shù)都設(shè)定為1個(gè)。

對(duì)于隱含層內(nèi)神經(jīng)元數(shù)量，本文采用“試錯(cuò)法”，通過(guò)比較不同神經(jīng)元數(shù)量對(duì)驗(yàn)證數(shù)據(jù)預(yù)報(bào)結(jié)果的影響，來(lái)確定合適的神經(jīng)元數(shù)量。圖6為在不同神經(jīng)元數(shù)下，以確定性系數(shù)DC(Nash效率系數(shù))作為評(píng)價(jià)指標(biāo)，BP模型與LSTM模型對(duì)未來(lái)1～24 h流量滾動(dòng)預(yù)報(bào)精度的變化。

從圖6a、6b可以看出，BP模型的精度在n=10(圖6a黑線)時(shí)達(dá)到最高，Nash效率系數(shù)為0.987～0.711，當(dāng)神經(jīng)元數(shù)量繼續(xù)增加時(shí)，Nash效率系數(shù)會(huì)隨著神經(jīng)元數(shù)量的增加而降低，同時(shí)訓(xùn)練時(shí)間大大增長(zhǎng)。所以BP模型最終神經(jīng)元數(shù)量確定為10個(gè)。LSTM模型的精度隨著神經(jīng)元數(shù)量的增加而提高，當(dāng)n=64(圖6b黑線)時(shí)，未來(lái)1～24 h的滾動(dòng)預(yù)報(bào)Nash效率系數(shù)最高，為0.969～0.747，當(dāng)n>64后，Nash效率系數(shù)則出現(xiàn)了下降，同時(shí)訓(xùn)練時(shí)間大大增長(zhǎng)。所以LSTM模型最終神經(jīng)元數(shù)量確定為64個(gè)。

從上述對(duì)比可見(jiàn)，BP神經(jīng)網(wǎng)絡(luò)的最優(yōu)隱含層節(jié)點(diǎn)數(shù)明顯小于LSTM的最優(yōu)節(jié)點(diǎn)數(shù)據(jù)，其原因在于：不論是BP網(wǎng)絡(luò)還是LSTM網(wǎng)絡(luò)，過(guò)于復(fù)雜的神經(jīng)網(wǎng)絡(luò)都可能帶來(lái)模型的過(guò)擬合問(wèn)題，但這個(gè)過(guò)擬合問(wèn)題對(duì)于BP網(wǎng)絡(luò)非常突出，而對(duì)于LSTM網(wǎng)絡(luò)，其本身的記憶與遺忘功能使得權(quán)重在更新時(shí)，不僅充分利用了當(dāng)前時(shí)刻的數(shù)據(jù)特征，還利用了門(mén)的結(jié)構(gòu)來(lái)記住還是遺忘前一時(shí)刻的數(shù)據(jù)特征，也就使得并非所有數(shù)據(jù)都對(duì)權(quán)重的更新產(chǎn)生影響，能夠一定程度上降低過(guò)擬合產(chǎn)生的可能，因而LSTM網(wǎng)絡(luò)的最優(yōu)隱含層神經(jīng)元數(shù)大大多于BP網(wǎng)絡(luò)。

a) BP模型

b) LSTM模型圖6 不同模型的神經(jīng)元數(shù)對(duì)驗(yàn)證數(shù)據(jù)預(yù)報(bào)精度的影響

3.1.2模型訓(xùn)練

使用2014年6月至2016年6月的逐時(shí)流量數(shù)據(jù)、逐時(shí)降雨數(shù)據(jù)和NDVI數(shù)據(jù)，共3類(lèi)分12個(gè)節(jié)點(diǎn)輸入模型，對(duì)模型進(jìn)行訓(xùn)練。

考慮到流域的降雨-徑流關(guān)系在不同的降雨量級(jí)以及不同的流量漲落階段可能具有一定的差異性，建立一個(gè)單一的全局模型無(wú)法讓模型很好地學(xué)習(xí)到不同階段流量漲落變化和降雨量的關(guān)系，因此本文在神經(jīng)網(wǎng)絡(luò)建模中使用模塊化方法[24]，首先按照閾值將降雨和流量數(shù)據(jù)劃分若干組，然后對(duì)每組數(shù)據(jù)分別訓(xùn)練不同的模型。本文將降雨流量數(shù)據(jù)分成4組進(jìn)行訓(xùn)練：第一組為降雨大于1 mm且流量大于5 m3/s；第二組為降雨小于1 mm，流量大于5 m3/s；第三組為降雨大于1 mm，流量小于5 m3/s；第四組為降雨小于1 mm且流量小于5 m3/s。

模型訓(xùn)練前，還需要確定包括模型的損失函數(shù)、學(xué)習(xí)率、批處理量參數(shù)(batch-size)、訓(xùn)練集中的交叉檢驗(yàn)數(shù)據(jù)比例(validation-split)和訓(xùn)練最大迭代次數(shù)等。

本文中2種模型的損失函數(shù)均選擇均方誤差(MSE)，計(jì)算公式如下：

(4)

學(xué)習(xí)率決定了模型權(quán)重更新的幅度，如果學(xué)習(xí)率很低，訓(xùn)練會(huì)變得可靠，但是需要花費(fèi)更多的優(yōu)化時(shí)間；如果學(xué)習(xí)率很高，輸出誤差對(duì)權(quán)重的影響就越大，權(quán)重更新就越快，但可能無(wú)法收斂。但是最佳學(xué)習(xí)率的確定仍舊缺少最優(yōu)的方法。本文中BP和LSTM模型的學(xué)習(xí)率依賴(lài)經(jīng)驗(yàn)分別定為0.20、0.01。

批處理量參數(shù)(batch-size)指模型訓(xùn)練中梯度下降時(shí)每個(gè)批次所含的樣本數(shù)。該參數(shù)的大小影響模型的優(yōu)化程度和速度。如果不設(shè)置該參數(shù)，意味著模型在計(jì)算時(shí)，是一次把所有的數(shù)據(jù)輸入模型中，然后進(jìn)行梯度下降算法，由于在計(jì)算梯度時(shí)使用了所有數(shù)據(jù)，計(jì)算速度慢，需要更多的迭代次數(shù)來(lái)達(dá)到最優(yōu)。而本文由于使用多年逐時(shí)數(shù)據(jù)進(jìn)行建模，數(shù)據(jù)量較大，一次性把所有數(shù)據(jù)輸入模型，內(nèi)存占用率高，會(huì)極大加重模型計(jì)算負(fù)擔(dān)，影響訓(xùn)練速度和模型精度。所以經(jīng)過(guò)試錯(cuò)，2個(gè)模型的批處理量參數(shù)(batch-size)均設(shè)置為240。

訓(xùn)練集中的交叉檢驗(yàn)數(shù)據(jù)比例(validation-split)是指從數(shù)據(jù)集中切分出一部分作為驗(yàn)證集，驗(yàn)證集不參與訓(xùn)練，并且在每次迭代時(shí)在驗(yàn)證集中評(píng)估模型的性能，如計(jì)算損失函數(shù)。本文中2個(gè)模型的該參數(shù)設(shè)置為0.2。

為了確定2種模型的單次訓(xùn)練的最大迭代次數(shù)，在上述參數(shù)設(shè)定的條件下，分別將BP和LSTM模型訓(xùn)練一次，繪制2種模型的損失函數(shù)變化，見(jiàn)圖7。BP模型在迭代500次后損失函數(shù)的數(shù)值仍然高于LSTM模型100次迭代后損失函數(shù)的數(shù)值。所以為了避免訓(xùn)練時(shí)間浪費(fèi)的同時(shí)達(dá)到最佳訓(xùn)練效果，確定BP模型最大迭代次數(shù)1 000次，LSTM模型迭代次數(shù)100次。

a) BP模型

b) LSTM模型圖7 不同模型損失函數(shù)隨迭代次數(shù)的變化

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程對(duì)初始權(quán)重較為敏感。由于初始權(quán)重的不同，每次訓(xùn)練都可能會(huì)得到一組不同的參數(shù)。為了獲得最優(yōu)參數(shù)，一種方法是采用多組獨(dú)立初始權(quán)重值分別進(jìn)行訓(xùn)練，然后從多組訓(xùn)練結(jié)果中選擇神經(jīng)網(wǎng)絡(luò)模型[25]，但這種最優(yōu)網(wǎng)絡(luò)僅是對(duì)訓(xùn)練數(shù)據(jù)最優(yōu)，對(duì)未來(lái)未知的真實(shí)驗(yàn)證數(shù)據(jù)未必最優(yōu)。也就是說(shuō)訓(xùn)練中最佳的神經(jīng)網(wǎng)絡(luò)模型對(duì)于未來(lái)的數(shù)據(jù)并不一定能達(dá)到最優(yōu)的預(yù)測(cè)結(jié)果。Wang等[26]提出了一種簡(jiǎn)單有效的解決局部最優(yōu)的方法，即將一個(gè)模型訓(xùn)練若干次(如20次)，得到20組模型參數(shù)，選擇其中較好的10組，形成一組模型集合，并將這個(gè)模型集合的結(jié)果取平均值作為最終的輸出。本文采用了這種方法。

3.2 模型驗(yàn)證

利用訓(xùn)練好的模型做下一個(gè)小時(shí)(T+1)的流量預(yù)報(bào)，再以預(yù)報(bào)的T+1 h流量作為當(dāng)前流量輸入，預(yù)報(bào)T+2 h流量，以此循環(huán)滾動(dòng)，從而完成未來(lái)T+24 h的循環(huán)滾動(dòng)預(yù)報(bào)。本文選擇2016年7月至2018年11月的預(yù)報(bào)結(jié)果，驗(yàn)證模型預(yù)報(bào)精度。

a) 對(duì)整體流量過(guò)程的預(yù)報(bào)精度評(píng)價(jià)。BP與LSTM模型驗(yàn)證期的24 h滾動(dòng)預(yù)報(bào)結(jié)果的Nash效率系數(shù)見(jiàn)圖8。2個(gè)模型不同預(yù)見(jiàn)期的驗(yàn)證期預(yù)報(bào)結(jié)果散點(diǎn)見(jiàn)圖9。由圖8可以看出，2種模型在第1 h的預(yù)報(bào)，Nash效率系數(shù)大于0.96(BP模型為0.975，LSTM模型0.968)；隨著預(yù)見(jiàn)期的延長(zhǎng)逐漸下降，但LSTM模型整體預(yù)報(bào)效果優(yōu)于BP模型，并且預(yù)報(bào)精度的衰減速度大大慢于BP模型。LSTM模型滾動(dòng)預(yù)報(bào)至第24 h的Nash效率系數(shù)仍達(dá)到0.74，達(dá)到乙級(jí)預(yù)報(bào)精度，而B(niǎo)P模型則降到0.51，符合丙級(jí)預(yù)報(bào)精度。由此可見(jiàn)，在整體流量過(guò)程預(yù)報(bào)值中，綜合而言，LSTM模型精度顯著優(yōu)于BP模型。

圖8 BP、LSTM模型滾動(dòng)預(yù)報(bào)結(jié)果Nash效率系數(shù)

a) LSTM模型1 h預(yù)見(jiàn)期

b) LSTM模型6 h預(yù)見(jiàn)期圖9 LSTM、BP模型不同預(yù)見(jiàn)期預(yù)報(bào)結(jié)果散點(diǎn)

c) LSTM模型24 h預(yù)見(jiàn)期

d) BP模型1 h預(yù)見(jiàn)期

e) BP模型6 h預(yù)見(jiàn)期

f) BP模型24 h預(yù)見(jiàn)期續(xù)圖9 LSTM、BP模型不同預(yù)見(jiàn)期預(yù)報(bào)結(jié)果散點(diǎn)

b) 對(duì)洪水事件的預(yù)報(bào)精度評(píng)價(jià)。挑選2016年7月后的15場(chǎng)洪水作為驗(yàn)證集，將洪水事件期間的24 h滾動(dòng)預(yù)報(bào)值分別與實(shí)測(cè)數(shù)據(jù)相比較，對(duì)2個(gè)模型對(duì)洪水事件中的預(yù)報(bào)精度進(jìn)行了進(jìn)一步驗(yàn)證。根據(jù)GB/T 22482—2008《水文情報(bào)預(yù)報(bào)規(guī)范》，將15場(chǎng)洪水24 h內(nèi)不同預(yù)見(jiàn)期內(nèi)洪峰流量、峰現(xiàn)時(shí)間和徑流深3個(gè)評(píng)價(jià)指標(biāo)的合格率繪制成折線，見(jiàn)圖10。其中，圖10a為洪峰流量誤差合格率，圖10b為峰現(xiàn)時(shí)間誤差合格率，圖10c為徑流深誤差合格率，圖10d為綜合3個(gè)誤差指標(biāo)后模型的最終合格率，即當(dāng)一場(chǎng)洪水3個(gè)指標(biāo)都合格時(shí)，該場(chǎng)次洪水的預(yù)報(bào)即為一場(chǎng)合格洪水。LSTM模型3個(gè)指標(biāo)的合格率以及綜合合格率都優(yōu)于BP模型。其中LSTM模型洪水預(yù)報(bào)在預(yù)見(jiàn)期為24 h的預(yù)報(bào)合格率為60%，達(dá)到丙級(jí)預(yù)報(bào)精度，而B(niǎo)P模型為20%，未達(dá)到丙級(jí)項(xiàng)目精度等級(jí)。

a) 洪峰流量誤差合格率

c) 徑流深誤差合格率

d) 模型最終合格率續(xù)圖10 評(píng)價(jià)指標(biāo)合格率折線

進(jìn)一步以20160927和20180828 2場(chǎng)洪水為例，比較了BP模型與LSTM模型對(duì)洪水過(guò)程預(yù)報(bào)的能力。20160927場(chǎng)次洪水過(guò)程線見(jiàn)圖11，圖11a、11b、11c、11d預(yù)見(jiàn)期分別為1、6、12、24 h。在24 h的預(yù)見(jiàn)期內(nèi)，LSTM和BP模型都可以較好反映洪水漲落過(guò)程。在預(yù)見(jiàn)期為1 h時(shí)，2個(gè)模型預(yù)報(bào)能力相當(dāng)。隨著預(yù)見(jiàn)期的延長(zhǎng)，BP模型出現(xiàn)了系統(tǒng)性地偏大，高估了整個(gè)洪水過(guò)程的洪量。20180828場(chǎng)次洪水過(guò)程線見(jiàn)圖12，圖12a、12b、12c、12d分別代表預(yù)見(jiàn)期為1、6、12、24 h。20180828場(chǎng)次洪水擁有2次漲水過(guò)程。在24 h的預(yù)見(jiàn)期內(nèi)，2種模型都能夠反映出2次漲水退水過(guò)程。但是BP模型卻在2個(gè)洪峰處出現(xiàn)了嚴(yán)重的低估現(xiàn)象。在預(yù)見(jiàn)期6～24 h的預(yù)報(bào)結(jié)果中BP模型在第一個(gè)洪峰處的預(yù)報(bào)值高于了第二個(gè)洪峰的預(yù)報(bào)值，與實(shí)測(cè)數(shù)據(jù)不符，洪峰預(yù)報(bào)能力退化明顯。通過(guò)對(duì)2場(chǎng)洪水事件預(yù)報(bào)能力的對(duì)比，LSTM模型在預(yù)測(cè)洪峰流量以及洪水過(guò)程上擁有更好的性能，能夠很好地預(yù)報(bào)出洪水的漲退水過(guò)程以及洪量。

a) 預(yù)見(jiàn)期1 h

b) 預(yù)見(jiàn)期6 h

c) 預(yù)見(jiàn)期12 h

d) 預(yù)見(jiàn)期24 h圖11 預(yù)見(jiàn)期不同時(shí)20160927場(chǎng)次洪水預(yù)報(bào)效果比較

a) 預(yù)見(jiàn)期1 h圖12 預(yù)見(jiàn)期不同時(shí)20180828場(chǎng)次洪水預(yù)報(bào)效果比較

b) 預(yù)見(jiàn)期6 h

c) 預(yù)見(jiàn)期12 h

d) 預(yù)見(jiàn)期24 h續(xù)圖12 預(yù)見(jiàn)期不同時(shí)20180828場(chǎng)次洪水預(yù)報(bào)效果比較

4 討論

BP神經(jīng)網(wǎng)絡(luò)與LSTM神經(jīng)網(wǎng)絡(luò)模型都屬于黑箱模型，從本文應(yīng)用結(jié)果來(lái)看，LSTM模型比BP神經(jīng)網(wǎng)絡(luò)具有更好的逐時(shí)流量預(yù)報(bào)精度，其主要原因在于流域降雨徑流過(guò)程中的土壤水蓄量、地下水蓄量等狀態(tài)變量對(duì)河流流量具有巨大的影響，也就是說(shuō)狀態(tài)信息對(duì)于預(yù)報(bào)精度的可靠性具有很大作用。LSTM神經(jīng)網(wǎng)絡(luò)利用由遺忘門(mén)、輸入門(mén)和輸出門(mén)組成的記憶單元，來(lái)控制丟棄或增加信息，使得信息可以有選擇地通過(guò)，從而實(shí)現(xiàn)對(duì)時(shí)間序列過(guò)程狀態(tài)特征的記憶功能，而B(niǎo)P神經(jīng)網(wǎng)絡(luò)缺乏這種對(duì)狀態(tài)信息的處理功能。

由于LSTM的記憶與遺忘功能使得累積誤差減少，這使得LSTM模型精度衰減速度遠(yuǎn)遠(yuǎn)小于BP模型，在循環(huán)滾動(dòng)預(yù)報(bào)中，隨預(yù)見(jiàn)期的延長(zhǎng),精度的優(yōu)勢(shì)不斷突顯。同時(shí)在本文應(yīng)用中LSTM模型的隱含層神經(jīng)元經(jīng)過(guò)試錯(cuò)確定為64個(gè)，BP模型設(shè)定為10個(gè)。在這種設(shè)置下，LSTM網(wǎng)絡(luò)在100次迭代次數(shù)下已經(jīng)能夠使得損失函數(shù)達(dá)到最優(yōu)，而B(niǎo)P需要近1 000次迭代才能帶到LSTM模型100次迭代的結(jié)果。如果將2個(gè)模型的隱含層神經(jīng)元數(shù)都設(shè)定為64個(gè)，LSTM網(wǎng)絡(luò)的訓(xùn)練速度將更明顯優(yōu)于BP模型。

盡管LSTM網(wǎng)絡(luò)中的“門(mén)”結(jié)構(gòu)使神經(jīng)元之間能相互作用，可以使損失函數(shù)更好地收斂，使得LSTM趨近全局最優(yōu)解的能力，LSTM模型仍然無(wú)法完全避免出現(xiàn)局部最優(yōu)解的可能性。為此本文使用了Wang等[26]提出的解決方案，即訓(xùn)練多次模型，計(jì)算結(jié)果后取平均的處理方式。該方法簡(jiǎn)單易行，也確實(shí)在一定程度上避免了局部最優(yōu)解對(duì)模型精度的影響。此外，還可以嘗試其他一些解決方案，比如使用變化的學(xué)習(xí)率或者蜂-蟻群算法等[27]方法，以期進(jìn)一步提高預(yù)報(bào)模型的穩(wěn)定性。

5 結(jié)論

本文使用BP和LSTM神經(jīng)網(wǎng)絡(luò)分別構(gòu)建了福建木蘭溪支流延壽溪小流域的降雨徑流預(yù)報(bào)模型，進(jìn)行了預(yù)見(jiàn)期為1～24 h的逐時(shí)流量滾動(dòng)預(yù)報(bào)，并對(duì)比了2個(gè)模型的預(yù)報(bào)精度，結(jié)果如下。

a) LSTM模型和BP模型在預(yù)見(jiàn)期為1 h時(shí)預(yù)報(bào)精度相當(dāng)(BP模型為0.975，LSTM模型0.968)，但隨著預(yù)見(jiàn)期的延長(zhǎng)，LSTM預(yù)報(bào)精度的衰減速度大大慢于BP模型，BP模型24 h預(yù)見(jiàn)期的預(yù)報(bào)效率系數(shù)降至0.51，而LSTM模型為0.74，LSTM模型整體預(yù)報(bào)效果顯著優(yōu)于BP模型。

b) 將降雨徑流過(guò)程按照一定閾值分開(kāi)訓(xùn)練的模塊化建模方法，使模型能更好地把握不同降雨階段以及洪枯階段的流量過(guò)程動(dòng)態(tài)特征，從而有利于提高對(duì)流量過(guò)程的總體預(yù)報(bào)精度。

c) 對(duì)模型訓(xùn)練多次然后從中取集合平均值的方法，可以在一定程度上消除模型訓(xùn)練中參數(shù)優(yōu)化過(guò)程陷入局部最優(yōu)解的現(xiàn)象，提高模型預(yù)報(bào)精度。