摘 要:文章針對(duì)傳統(tǒng)時(shí)間序列模型因考慮特征維度不足而導(dǎo)致模型精度差和魯棒性不佳的問(wèn)題,提出基于多維特征融合與循環(huán)神經(jīng)網(wǎng)絡(luò)的MF-GRU河流水位預(yù)測(cè)模型。該模型從航道水位數(shù)據(jù)的時(shí)域、頻域和經(jīng)驗(yàn)?zāi)J椒纸獾榷鄠€(gè)維度共提取了19個(gè)特征,并訓(xùn)練GRU循環(huán)神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)了水位的精準(zhǔn)預(yù)測(cè)。同時(shí),以大藤峽上下游航道水域水位數(shù)據(jù)為實(shí)驗(yàn)對(duì)象,驗(yàn)證了MF-GRU模型的預(yù)測(cè)精度和泛化性能,獲得了比經(jīng)典GRU模型更優(yōu)的水位預(yù)測(cè)精度。
關(guān)鍵詞:水位預(yù)測(cè);智慧航道;循環(huán)神經(jīng)網(wǎng)絡(luò);多維特征融合
中圖分類號(hào):U612.2A612123
0 引言
對(duì)航道水位的精準(zhǔn)預(yù)測(cè),對(duì)保障航道通航安全、航道航標(biāo)管理和洪水災(zāi)害風(fēng)險(xiǎn)預(yù)警具有重要意義[1],也是廣西智慧航道建設(shè)完善航道測(cè)量設(shè)施和監(jiān)測(cè)感知網(wǎng)絡(luò)的重要內(nèi)容。目前,水位預(yù)測(cè)主要有水文模型法[2]、統(tǒng)計(jì)分析法[3]和人工神經(jīng)網(wǎng)絡(luò)[4]三類。循環(huán)神經(jīng)網(wǎng)絡(luò)在處理類似水位信息這種時(shí)間序列數(shù)據(jù)時(shí)具有明顯區(qū)別于其他方法的優(yōu)勢(shì),能夠很好地揭示水位信息數(shù)據(jù)中的趨勢(shì)性、周期性和波動(dòng)性等規(guī)律,通過(guò)循環(huán)神經(jīng)網(wǎng)絡(luò)構(gòu)建水位預(yù)測(cè)模型已成為當(dāng)前研究熱點(diǎn)[5]。
因此,本文以大藤峽上下游航道水域的水位數(shù)據(jù)作為研究對(duì)象,提出了多維特征融合建模+GRU循環(huán)神經(jīng)網(wǎng)絡(luò)的水位預(yù)測(cè)模型,并通過(guò)計(jì)算機(jī)試驗(yàn)驗(yàn)證了該模型的有效性。
1 MF-GRU模型框架
本文提出的MF-GRU水位預(yù)測(cè)模型采用目前流行的編碼器和解碼器結(jié)構(gòu)(Encoder-Decoder)。編碼器由特征提取和PCA特征融合組成;解碼器由GRU網(wǎng)絡(luò)模型和水位預(yù)測(cè)組成,如圖1所示。特征提取模塊負(fù)責(zé)對(duì)原始水位數(shù)據(jù)進(jìn)行預(yù)處理并提取相應(yīng)的時(shí)域、頻域和EMD域信息;特征融合模塊利用PCA技術(shù)對(duì)多維特征進(jìn)行降維和融合;GRU網(wǎng)絡(luò)以融合后的特征向量空間作為輸入,訓(xùn)練獲得水位預(yù)測(cè)模型的權(quán)值參數(shù);預(yù)測(cè)模塊使用訓(xùn)練好的GRU模型進(jìn)行水位預(yù)測(cè)并評(píng)估模型精度和魯棒性。
2 多維特征提取與融合
2.1 特征提取
航道的水位數(shù)據(jù)屬于非平穩(wěn)隨機(jī)序列,可能同時(shí)含有趨勢(shì)性、周期性和波動(dòng)性等多種特性,采用單一特征難以表征數(shù)據(jù)的變化規(guī)律,最終導(dǎo)致模型精度不高、魯棒性差。目前,對(duì)時(shí)間序列的特征提取方法主要有時(shí)域分析、傅里葉變化(FFT)、小波變換、經(jīng)驗(yàn)?zāi)J椒纸猓‥MD)等。本文采用時(shí)域、頻域和EMD域三種技術(shù)對(duì)水位特征進(jìn)行提取,并利用主成分分析(PCA)進(jìn)一步提取對(duì)水位觀測(cè)值敏感度較高的多維特征,構(gòu)成用于表征水位變化規(guī)律的多維特征向量空間,實(shí)現(xiàn)多維特征的融合。
從每日監(jiān)測(cè)的水位數(shù)據(jù)中提取了共19維水位特征,詳細(xì)特征計(jì)算公式見(jiàn)表1。時(shí)域特征包括近五日觀測(cè)值、均值、均方根、方差和表征數(shù)據(jù)分布情況的偏度、峰度,以及表征數(shù)據(jù)波動(dòng)情況的脈沖因子、峰值因子和波形因子。頻域特征通過(guò)傅里葉變化獲得水位數(shù)據(jù)的幅頻譜,并計(jì)算幅頻譜的振幅和一階主振頻率。EMD域通過(guò)對(duì)水位數(shù)據(jù)進(jìn)行經(jīng)驗(yàn)?zāi)J椒纸?,獲取與水位數(shù)據(jù)特征最接近的一階模式分量,并計(jì)算該一階分量的均值、方差和極差作為EMD域的特征。
2.2 特征融合
不同維度的特征特別是同一域中可能呈現(xiàn)出很強(qiáng)的線性相關(guān)性,這一類特征反映的水位信息是重復(fù)的,存在特征冗余現(xiàn)象,而且將所有的特征直接輸入到模型中進(jìn)行訓(xùn)練必將導(dǎo)致模型參數(shù)的規(guī)模呈指數(shù)增長(zhǎng),增加計(jì)算量使模型不收斂。因此通過(guò)PCA計(jì)算特征與水位的協(xié)方差矩陣進(jìn)行特征主要分量的提取,實(shí)現(xiàn)特征降維與特征融合的目的。設(shè)有n個(gè)d維特征向量,其PCA具體步驟如下:
(1)用此n個(gè)d維特征向量構(gòu)造n行d列矩陣X。
(2)對(duì)特征向量進(jìn)行零均值化,即對(duì)每一行xi←xi-1d∑di=1xi,其中i∈1,2...d。
(3)計(jì)算樣本的協(xié)方差矩陣C=1nXXT。
(4)對(duì)協(xié)方差矩陣進(jìn)行特征值分解。
(5)取特征值最大的前k個(gè)特征分量對(duì)應(yīng)的單位向量m1、m2...mk,其中特征值個(gè)數(shù)k為超參數(shù),需要根據(jù)模型精度確定。
3 GRU水位預(yù)測(cè)模型
3.1 模型計(jì)算
GRU網(wǎng)絡(luò)模型是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種變體,如圖2所示,圖2(a)為常規(guī)循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖,與其他神經(jīng)網(wǎng)絡(luò)的區(qū)別是模型的輸入包含了歷史狀態(tài)信息,隱狀態(tài)Ht∈n×h用式(1)計(jì)算,模型的輸出Ot∈n×q用式(2)計(jì)算:
Ht=(XtWxh+Ht-1Whh+bh)(1)
Ot=HtWhq+bq(2)
式中: """""Ht——t時(shí)刻的隱狀態(tài);
φ——隱狀態(tài)的激活函數(shù);
Wxh∈d×h和Whh∈h×h——權(quán)值矩陣;
bh∈1×h、bq∈1×q——偏置矩陣。
相比其他神經(jīng)網(wǎng)絡(luò)的輸入,循環(huán)神經(jīng)網(wǎng)絡(luò)多了Ht-1Whh一項(xiàng)。
GRU網(wǎng)絡(luò)與其他循環(huán)神經(jīng)網(wǎng)絡(luò)的不同在于隱狀態(tài)的更新,如圖2(b)所示,其由重置門(mén)Rt∈n×h和更新門(mén)Zt∈n×h構(gòu)成,計(jì)算公式見(jiàn)式(3):
Rt=σ(XtWxr+Ht-1Whr+br)Zt=σ(XtWxz+Ht-1Whz+bz)(3)
式中:Wxr,Wxz∈d×h和Whr,Whz∈h×h——權(quán)值矩陣;
br,bz∈1×h——偏置矩陣。
隱狀態(tài)Ht通過(guò)式(4)確定,式(4)中⊙是Hadamard積運(yùn)算符。通過(guò)更新門(mén)Zt的輸出(0或1)決定Ht是采用t-1時(shí)刻的隱狀態(tài)Ht-1還是采用經(jīng)過(guò)重置門(mén)Rt重置后的候選隱狀態(tài)H~t∈n×h,候選隱狀態(tài)H~t通過(guò)式(5)計(jì)算:
Ht=Zt⊙Ht-1+(1-Zt)⊙H~t(4)
H~t=tanh(XtWxh+(Rt⊙Ht-1)Whh+bh)(5)
3.2 模型實(shí)現(xiàn)與訓(xùn)練
本文利用Python的第三方深度學(xué)習(xí)庫(kù)Pytorch實(shí)現(xiàn)了所提出的MF-GRU水位預(yù)測(cè)模型。訓(xùn)練樣本為大藤峽上游的運(yùn)江、象州、石龍大橋、武宣、勒馬以及下游的桂平共六個(gè)水位觀測(cè)點(diǎn)2020—2023年間水位觀測(cè)數(shù)據(jù)。訓(xùn)練集和測(cè)試集數(shù)據(jù)量的比例為4∶1,即80%的數(shù)據(jù)用于模型訓(xùn)練,20%的數(shù)據(jù)用于評(píng)估模型的好壞。訓(xùn)練共迭代1 000次,學(xué)習(xí)率設(shè)置為0.000 5,用均方誤差評(píng)估模型的精度,并記錄對(duì)測(cè)試集均方誤差最小的模型參數(shù)。
4 試驗(yàn)及結(jié)果分析
為驗(yàn)證MF-GRU水位預(yù)測(cè)模型的有效性,試驗(yàn)從模型預(yù)測(cè)精度驗(yàn)證,多特征融合方法效果驗(yàn)證,以及與其他時(shí)間序列預(yù)測(cè)模型對(duì)比三個(gè)方面評(píng)估MF-GRU模型的有效性。試驗(yàn)所采用的數(shù)據(jù)為大藤峽上下游運(yùn)江、象州、石龍大橋、武宣、勒馬、桂平共六個(gè)水位觀測(cè)點(diǎn)2023年1~9月的水位數(shù)據(jù)。
4.1 模型預(yù)測(cè)精度驗(yàn)證
利用訓(xùn)練好的MF-GRU模型對(duì)大藤峽上下游運(yùn)江、象州、石龍大橋、武宣、勒馬、桂平共六個(gè)水位觀測(cè)點(diǎn)進(jìn)行水位預(yù)測(cè),預(yù)測(cè)結(jié)果如圖3所示,水位觀測(cè)值和水位預(yù)測(cè)值僅在水位發(fā)生突變的地方存在較大誤差。此外,同一航道的不同地方,特別是水利樞紐工程上下游兩側(cè)附近,水位變化規(guī)律差異很大。但從圖3結(jié)果顯示,本文所提出的水位預(yù)測(cè)模型能夠?qū)Σ煌兓?guī)律的航道水位進(jìn)行準(zhǔn)確預(yù)測(cè),模型泛化能力強(qiáng)。
4.2 多特征融合驗(yàn)證及與經(jīng)典GRU對(duì)比
為驗(yàn)證本文提出的多特征融合建模技術(shù)對(duì)模型預(yù)測(cè)精度的作用,與經(jīng)典GRU神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對(duì)比,其中經(jīng)典GRU以水位的時(shí)間序列作為輸入,僅考慮數(shù)據(jù)的時(shí)域特征。以大藤峽上游水位極差最大的石龍大橋和下游桂平為例,結(jié)果如圖4所示。由圖4可知,雖然兩種模型都能很好地反映水位的實(shí)際曲線變化趨勢(shì),但是MF-GRU更接近實(shí)測(cè)值,說(shuō)明本文提出的MF-GRU模型比經(jīng)典GRU模型具有更高的預(yù)測(cè)精度,同時(shí)也證明了多維特征融合建模更能揭示非平穩(wěn)時(shí)間序列的深層規(guī)律。
圖4 MF-GRU與經(jīng)典GRU神經(jīng)網(wǎng)絡(luò)模型對(duì)比曲線圖
5 結(jié)語(yǔ)
本文以大藤峽上下游共六個(gè)水位觀測(cè)點(diǎn)為研究對(duì)象,針對(duì)水位數(shù)據(jù)這類非平穩(wěn)時(shí)間序列,提出了多維特征融合+GRU循環(huán)神經(jīng)網(wǎng)絡(luò)的水位預(yù)測(cè)模型。從時(shí)域、頻域和EMD域中共提取了19維特征,利用PCA方法進(jìn)行特征的降維和多維特征的融合,通過(guò)GRU循環(huán)神經(jīng)網(wǎng)絡(luò)訓(xùn)練獲得了具有較高精度的水位預(yù)測(cè)模型。該模型將助力航道水位監(jiān)測(cè)、流量監(jiān)測(cè)、水位預(yù)警、標(biāo)志拋設(shè)等航道航標(biāo)工作邁向智慧航道時(shí)代。
參考文獻(xiàn):
[1]倪漢杰,蔣仲廉,初秀民,等.基于DWT-LSTM的航道水位智能預(yù)測(cè)模型研究[J].中國(guó)航海,2021,44(2):97-102.
[2]李亞平,陳友媛,胡廣鑫,等.基于分布式水文模型的徒駭河河流生態(tài)需水量預(yù)測(cè)研究[J].環(huán)境科學(xué)學(xué)報(bào),2013,33(9):2 619-2 625.
[3]何金文,孫鈞鍵,程 軍,等.三峽壩前水位過(guò)程線特征參數(shù)的標(biāo)定與統(tǒng)計(jì)特性[J].長(zhǎng)江科學(xué)院院報(bào), 2022,39(5):54-62.
[4]紀(jì)國(guó)良,周 曼,劉 濤,等.基于循環(huán)神經(jīng)網(wǎng)絡(luò)的水庫(kù)水位預(yù)測(cè)方法[J].長(zhǎng)江科學(xué)院院報(bào),2022,39(3):80-85.
[5]劉亞新,樊啟祥,尚毅梓,等.基于LSTM神經(jīng)網(wǎng)絡(luò)的水電站短期水位預(yù)測(cè)方法[J].水利水電科技進(jìn)展,2019,39(2):56-60,78.20240426