段生月，王長坤，張柳艷

(南昌航空大學 信息工程學院，南昌 330063)

我國是世界上洪水災害頻繁且嚴重的國家之一，洪水災害不僅范圍大、發(fā)生頻繁、突發(fā)性強，而且損失大.特別是近年來，受全球氣候變化和人類活動影響，極端天氣事件和人為突發(fā)水事件明顯增加.為了防治洪澇災害，我國投入了大量的人力、財力與物力，建設了一批又批防洪工程，大大加強了我國抗災御洪的能力.與此同時，我國還加強了非工程防洪措施.其中，洪水預報就是預防洪水災害的重要非工程措施之一，也一直是專家學者關心的課題.因此提高洪水預測的準確性，減輕洪水帶來的一系列災害，對整個流域的防洪安全有著非常重要的意義.一般來說洪水預測有3 種不同的方法，經(jīng)驗法、統(tǒng)計法以及模型方法，但水文系統(tǒng)中多變量之間的非線性關系[1]遠非傳統(tǒng)方法能解決.隨著科學技術的快速發(fā)展，如何把最新的科學技術引入到水文預報中，提高水文預報精度，成為大家的關注點.隨著人工神經(jīng)網(wǎng)絡[2]等非線性科學技術在各個行業(yè)的廣泛應用，為解決上述問題提供了機遇.

目前國內(nèi)已有很多學者嘗試將人工神經(jīng)網(wǎng)絡引入到洪水預測中.蘭州理工大學的李曉麗等[3]提出了不確定，確定支持向量機在洪水預測模型中的應用，該算法利用數(shù)據(jù)間的關系去掉冗余的信息，簡化算法運算，從而提高了洪水預測的精度；晉中市水文水資源勘測局的梁存峰等[4]提出了基于混沌自適應模型在洪水預測中的研究，該模型亦可在數(shù)據(jù)較少的情況下，取得精度較好的預測結果；福建省南平市水利局的金保明[5]在閩江十里庵流量預測中應用BP神經(jīng)網(wǎng)絡，將反向傳播BP神經(jīng)網(wǎng)絡模型應用于洪水預測，并且預測精度符合要求；何勇、李妍琰[6]提出改進粒子優(yōu)化 BP神經(jīng)網(wǎng)絡的洪水智能預測模型研究，以BP神經(jīng)網(wǎng)絡為基礎，提取水位站往年平均徑流量作為洪水屬性，采用POS 算法對BP神經(jīng)網(wǎng)絡的各個參數(shù)進行優(yōu)化，得出最優(yōu)的BP神經(jīng)網(wǎng)絡預測適應度值，提高了預測的效率.以上算法都是比較傳統(tǒng)的神經(jīng)網(wǎng)絡算法，雖然在一定程度上提高了洪水預測精確度，但是精度依舊不是特別理想.

本文提出一種基于正則化GRU神經(jīng)網(wǎng)絡的洪水預測模型來提高洪水預報精度，選用relu 函數(shù)作為整個神經(jīng)網(wǎng)絡的輸出層激活函數(shù)[7-9]，將彈性網(wǎng)正則化引入到GRU模型中，對網(wǎng)絡中輸入權重w實施正則化處理，以提升GRU模型的泛化性能.并將該模型應用于外洲水文站每月平均水位的擬合及預測，實驗對比表明，彈性網(wǎng)正則化改進后模型的擬合效果和預測效果明顯提高，該方法計算出的均方根誤差較小，預測擬合程度較高.

1 GRU模型簡介

傳統(tǒng)的人工神經(jīng)網(wǎng)絡又被稱為前饋神經(jīng)網(wǎng)絡FNN，是一種最簡單的神經(jīng)網(wǎng)絡，包含輸入層、隱藏層這種模型在處理序列數(shù)據(jù)時只能利用當前時刻的信息，無法利用歷史信息.Elman 在1990年提出了循環(huán)神經(jīng)網(wǎng)(Recurrent Neural Network，RNN)，其隱藏層之間的節(jié)點也是有連接的，因此隱藏層的輸入不僅包括當前時刻輸入層的輸入還包括上一時刻隱藏層的輸出.理論上，RNN 能夠?qū)θ魏伍L度的序列數(shù)據(jù)進行處理，但是在實踐中，當相關信息和當前預測位置之間的間隔不斷增大時，RNN 就會喪失學習遠距離信息的能力.這是因為RNN 通常使用的是BPTT 反向傳播算法對網(wǎng)絡進行優(yōu)化，但是BPTT 無法解決長時依賴問題，因此該算法會帶來神經(jīng)網(wǎng)絡梯度消失問題和梯度爆炸問題.

為了解決RNN網(wǎng)絡的梯度消失和梯度爆炸問題，研究人員在優(yōu)化學習算法和配置網(wǎng)絡的技巧方面提出了較多的改進方法.文獻[10，11]中介紹 Schimidhuber H 于1997年提出了長短期記憶單元(Long Short-Term Memory，LSTM)，用于改進傳統(tǒng)的RNN模型.LSTM神經(jīng)單元是由一個或多個存儲器外加三個自適應乘法門組成.它通過輸入門、輸出門和遺忘門來控制信息的流動和傳遞，通過對輸入的信息進行剔除或增強到神經(jīng)細胞單元中實現(xiàn)對細胞狀態(tài)的控制，使得LSTM 可以記憶、更新長距離的信息，從而實現(xiàn)對長距離信息的處理.受LSTM模型門機制啟發(fā)，Stanford在2014年提出了GRU模型，GRU網(wǎng)絡將LSTM 結構中的輸入門和遺忘門結合成一個單獨的更新門，合并了記憶細胞和隱含狀態(tài)，同時也做了一些調(diào)整.已有研究結果表明，GRU模型的性能與LSTM 相當，但計算效率更高，參數(shù)更少.整體的GRU神經(jīng)網(wǎng)絡結構如圖1所示.

圖1 GRU神經(jīng)網(wǎng)絡結構示意圖[5]

GRU中各個門的表達式如下:

GRU 更新門表達式:

GRU 重置門表達式:

GRU 輸出部分表達式:

式(1)中zt表示更新門，Wz是更新門的權重矩陣，ht-1表示上一個神經(jīng)元的輸出，xt表示本次神經(jīng)元的輸入，s是sigmoid 函數(shù)用來激活控制門.更新門的作用是幫助模型決定要將多少過去的信息傳送到未來，或者前一時間步和當前時間步的信息有多少是需要繼續(xù)傳遞的，模型通過復制過去信息以減少梯度消失的風險.式(2)中rt表示重置門，Wr表示重置門的權重矩陣，從本質(zhì)上說，重置門主要決定有多少過去的信息需要被遺忘.

2 改進GRU模型

2.1 正則化技術

在深度神經(jīng)網(wǎng)絡中，隨著層數(shù)以及各層神經(jīng)元個數(shù)的增加，模型中參數(shù)的個數(shù)會以極快的速度增長.當網(wǎng)絡參數(shù)個數(shù)過多或訓練數(shù)據(jù)集很小時，神經(jīng)網(wǎng)絡模型往往會出現(xiàn)過擬合問題.所謂過擬合，就是模型在訓練數(shù)據(jù)上擬合效果好，但是它在驗證集上效果很差，即模型泛化能力差.目前，防止過擬合的一般方法是增大訓練數(shù)據(jù)集，但當數(shù)據(jù)集有限時，防止過擬合的方法則是在訓練數(shù)據(jù)集中加入正則化技術.現(xiàn)在我們主要討論一些旨在改善過擬合的正則化方法.

正則化的方法就是在模型cost函數(shù)中加入某種正則項或幾種正則項的組合，表達式如下:

式中，l(·,·)為模型中損失函數(shù)，用來評價模型的泛化性能；λρ(w)為正則項，λ為正則化可調(diào)參數(shù)，用來控制正則項與損失函數(shù)之間的平衡關系，w為模型中待估參數(shù).在正則項中，ρ(w)具有多種不同的表達形式，常用的是L1范數(shù)和L2范數(shù).當選取不同的范數(shù)罰正則項，整個模型會有不同的泛化方向.L2正則化會對待估參數(shù)w進行一定程度壓縮使之正態(tài)分布，但并不能將其壓縮為零，因此不能產(chǎn)生稀疏解.而L1正則化將待估參數(shù)w的先驗分布約束為拉普拉斯分布，從而使模型具有稀疏性[12]，進而控制模型的過擬合問題，但是由于參數(shù)值大小和模型復雜度成正比；若L1范數(shù)較大，最終可能影響模型的預測性能.為了克服不同范數(shù)正則項的缺點，這里引入彈性網(wǎng)正則化，也就是將L1范數(shù)和L2范數(shù)線性組合作為一個正則項.

本文將彈性網(wǎng)引入到GRU模型中，對網(wǎng)絡中輸入權重w實施正則化處理，以提升GRU模型的泛化性能，模型如下:

其中，λ為正則化可調(diào)參數(shù)用于平衡原有損失函數(shù)與正則項之間的關系.通過式(7)可知，修改正則可調(diào)參數(shù)λ1和λ2可得到不同組合的正則項，當λ1=0和λ2=0時，為普通的GRU模型；當λ1≠0和λ2=0時，為L1正則化網(wǎng)絡；當λ1=0和λ2≠0時，為L2正則化網(wǎng)絡；當λ1≠0和λ2≠0時，為彈性網(wǎng)正則化網(wǎng)絡.

2.2 正則化GRU模型的洪水預測步驟

由于GRU 在訓練過程中，容易出現(xiàn)過擬合現(xiàn)象，而正則化方法通過限制網(wǎng)絡中權重的大小，可以對一些因子施加懲罰，以夠彌補網(wǎng)絡本身的不足.所以這里利用正則化方法來優(yōu)化GRU模型，從而實現(xiàn)對外洲站水位的預測.GRU 改進模型構建步驟如下:

步驟1:將時間序列的水文數(shù)據(jù)進行預處理，采用極差法使數(shù)據(jù)標準化，首先計算指標值的最小值和最大值，然后計算極差，通過極差法將指標值映射到[0-1]之間，公式為:

步驟2:將時間序列水文數(shù)據(jù)集F0={f1,f2,f2,f3,···,fn}，劃分為訓練集和測試集，分別表示為Ftr={f1,f2,···,fm}和Fte={fm+1,fm+2,···,fn}，滿足約束條件m＜n和m,n∈N.設置分割窗口長度(batch-size)取值為L，分割后的模型輸入為:

其中，1 ≤p≤L;p,L∈N.

隱藏神經(jīng)元的輸出值定義公式為:

X 經(jīng)過隱藏層后的輸出可表示為:

其中，1 ≤p≤L;p,L∈N.

選用均方誤差作為誤差計算公式，訓練中的損失函數(shù)定義公式為:

損失函數(shù)是用來評估神經(jīng)網(wǎng)絡目標輸出和實際輸出差距的函數(shù)，函數(shù)值越小說明實際輸出與目標輸出的差值越小，也就說明權值越合適.將損失函數(shù)與正則項之和設置為目標函數(shù)，給定網(wǎng)絡初始化的學習率以及訓練步數(shù)，如式(7)再應用Adam 優(yōu)化算法實現(xiàn)目標函數(shù)的最小化并不斷更新網(wǎng)絡權重，從而得到最終的隱藏層網(wǎng)絡.

步驟3:預測過程采用迭代的方法.理論輸出P的最后一行數(shù)據(jù):

將Pf輸入隱藏層后，輸出結果表示為:

則m+1時刻的預測值為ym+1，然后將Pf后的數(shù)據(jù)與ym+1合并成新的一行數(shù)據(jù):

將Pf+1輸入隱藏層，則m+2時刻的預測值為ym+2，以此類推，得到的預測序列為:

步驟4:對Y0作z-score反標準化，得到最終的與測試集Fte對應的預測序列為Yte，通過計算Yte和Fte的偏差定量的給出模型的擬合與預測精度.

3 實驗與分析

3.1 實驗設置

本實驗環(huán)境為:硬件配置CPU i7-7700K，GPU Gtx1060，運行內(nèi)16 GB；軟件配置CUDA9.0、cudnn7.1；操作系統(tǒng)Ubuntu16.04；語言python3.6；框架tensorflow.

本實驗的代碼參數(shù)設置如下:輸入層神經(jīng)元個數(shù)設為數(shù)設為3，輸出層神經(jīng)元個數(shù)設為1，其中的隱藏單元的數(shù)量選取為10，每批數(shù)據(jù)量的大小batch_size設為10，通過調(diào)節(jié)λ值得到三種正則化網(wǎng)絡模型:L1正則化網(wǎng)絡、L2正則化網(wǎng)絡和彈性網(wǎng)正則化網(wǎng)絡.對比每組的RMSE 來確定最佳參數(shù)配置，最終確定三種模型中正則化可調(diào)參數(shù) λ分別為λ1=0.02、λ2=0.004 和λ1=0.0043、λ2=0.38.本文針對江西省贛江外洲水文站1954年到2002年每月平均流量、平均水位、月份數(shù)據(jù)進行分析，將次月平均水位作為輸出變量，其他3個指標作為模型的輸入變量[13-16].以1954年到1997年各月平均水位作為訓練數(shù)據(jù)，對1998年到2002年共60個月的平均水位數(shù)據(jù)進行預測.

3.2 實驗性能評價指標

為了驗證本文所驗證的預測模型的可行性以及有效性，本文所采用的精度評定標準來自于中華人民共和國水利部《水文情報預報規(guī)范》(SL250-2000)[17]，一次預報的誤差小于許可誤差時，為合格預報.合格預報次數(shù)與預報總次數(shù)的百分比為合格率.本文結合《水文情報預報規(guī)范》的有關規(guī)定設置水位許可誤差為0.2 m.合格率QR的表達公式如下:

其中，m是預報的總次數(shù)、n是合格預報(預報誤差小于許可誤差)的次數(shù)；當QR ≥85.0%時，為甲級精度；7 0.0% ≤Q R ≤8 5.0%時，為乙級精度；6 0% ≤Q R≤70.0%時，為丙級精度.

采用均方根誤差RMSE(Root Mean Square Error)來定量的評價模型的預測性能，RMSE通過計算預測值對觀察值的平均偏差程度來反映模型的預測性能，值越小預測效果越好.公式定義如下:

3.3 實驗結果分析

通過對上文中每種模型結構及參數(shù)的確定，共得到四種不同的GRU模型.為了比較這四種網(wǎng)絡模型預測性能，將四種模型分別對外洲站水文數(shù)據(jù)做訓練及預測，每組的誤差統(tǒng)計見表1.

表1 幾種預測模型RMSE 值和合格率(QR)統(tǒng)計表

由表1 可以看出3 種正則化GRU模型的RMSE的值均比普通GRU模型的RMSE值小，L2正則化網(wǎng)絡的RMSE 比L1正則化網(wǎng)絡稍小一些，彈性網(wǎng)正則化GRU模型的RMSE是實驗中最低的，僅為0.631.三種正則化GRU模型的合格率均比普通GRU模型大，L2正則化網(wǎng)絡的合格率比L1正則化網(wǎng)絡的合格率大一些，實驗中彈性網(wǎng)正則化GRU模型的合格率QR 最高為91.644%，相比普通的GRU模型合格率提高了9.3%.以上的驗證表明改進的GRU神經(jīng)網(wǎng)絡對水文時間序列的驗證是有效的，彈性網(wǎng)正則化GRU模型預測結果更加準確，誤差更小，所以在洪水預測預測方面，彈性網(wǎng)正則化GRU模型預測值更接近洪水實測值，是一種有效可靠的預測方法.

這里選取各自最小RMSE的實驗預測結果圖，如圖2-圖5所示.

圖2 GRU模型預測結果圖(λ1=0，λ2=0)

圖3 L1正則化網(wǎng)絡預測結果圖(λ1=0.02，λ2=0)

圖4 L2正則化網(wǎng)絡預測結果圖(λ1=0，λ2=0.004)

圖5 彈性網(wǎng)正則化網(wǎng)絡預測結果圖(λ1=0.0043，λ2=0.38)

4 結論

本文使用正則化GRU模型對水文站往年每月平均水位進行預測，通過比較三種正則化方法對GRU模型的改進，發(fā)現(xiàn)用彈性網(wǎng)正則方法優(yōu)化GRU模型后合格率提高了9.3%，預測精度從乙等升到了甲等.由于洪水預測受到多方因素以及突發(fā)因素的影響，本文所使用的神經(jīng)網(wǎng)絡訓練數(shù)據(jù)資料有限導致模型預測精度不是非常高，有待結合更多相關影響因子來進行研究處理.