摘 要：雷達回波外推方法廣泛應(yīng)用于降雨預(yù)報中。針對雷達回波中的預(yù)測精度不夠高的問題，提出了一種 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型DIPredRNN。該模型通過引入空間和通道的雙注意力機制，將長時間的時間信息和通道信息結(jié)合起來，提高了時間記憶的長期依賴；通過引入隱藏狀態(tài)和輸入的交互框架， 保留了更多的特征，提高了時間記憶的短期依賴。該模型在HKO－7數(shù)據(jù)集和四川數(shù)據(jù)集上同經(jīng)典模型以及諸多先進模型進行實驗對比，該模型從外推圖像、MSE、SSIM、CSI－30～50 dbz多個指標對比中都取得最佳效果。實驗證明了DIPredRNN提高了雷達回波預(yù)測效果，擁有先進的性能。

關(guān)鍵詞：雷達回波外推； 深度學(xué)習(xí)； 循環(huán)神經(jīng)網(wǎng)絡(luò)

中圖分類號：TN957.51；P457.6文獻標志碼： A文章編號：1001－3695（2024）04－026－1138－05

doi：10.19734/j.issn.1001－3695.2023.07.0377

Research on extrapolation of radar echo prediction sequence for rainfall prediction

Luo Jianwen Zou Maoyang Yang Hao Chen Min2， Yang Kangquan3

Abstract：The radar echo extrapolation method is widely used in rainfall forecasting. Addressing the issue of insufficient prediction accuracy in radar echoes， this paper proposed a deep learning model DIPredRNN based on recurrent neural networks. This model combined long－term temporal and channel information by introducing a dual attention mechanism of space and channel， improved the long－term dependence of time memory. By introducing an interactive framework of hidden states and inputs， it retained more features and improved the short－term dependence of temporal memory. This model was experimentally compared with classical models and many advanced models on the HKO－7 and Sichuan datasets. The model achieved the best results in comparing multiple indicators such as extrapolated images， MSE， SSIM， CSI－30～50 dbz. The experiment proves that the proposed DIPredRNN network improves the radar echo prediction performance and has advanced performance.

Key words：radar echo extrapolation; deep learning; recurrent neural network（RNN）

0 引言

降雨預(yù)報是指基于雷達回波、雨量計和其他的觀測資料對局部地區(qū)進行一定時間內(nèi)的降雨強度預(yù)報。降雨預(yù)報在許多實際應(yīng)用中都起著至關(guān)重要的作用，例如它可以提前發(fā)布降雨預(yù)警來避免因為山體滑坡而造成的人員傷亡。而降雨預(yù)報中以雷達回波外推為主，它根據(jù)過去的雷達回波圖像，以及降雨的數(shù)量、時間和位置等信息，對未來的雷達圖像進行詳細而合理的預(yù)測。傳統(tǒng)的雷達回波外推方法大多是基于線性和確定性的，但降雨本身在時間尺度上具有非線性的特征，傳統(tǒng)的雷達回波外推方法也就無法模擬出降雨系統(tǒng)的各種變化。近年來，人們將深度學(xué)習(xí)的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）［1］引入降雨預(yù)報，應(yīng)用于雷達回波外推的研究中，與已有的預(yù)報方法相比［2，3］取得了一定的成效，延長了雷達回波外推的時效性，提高了雷達回波外推的精度，部分研究還成功應(yīng)用到了實際中［4～6］。

在深度學(xué)習(xí)發(fā)展史中，2015年Shi等人［7］將降水預(yù)報視作一個時空序列預(yù)測問題，該問題可以表達為過去的雷達回波序列輸入，以固定數(shù)量的未來雷達回波圖像序列作為輸出，在此基礎(chǔ)上提出了ConvLSTM（convolutional LSTM）模型，將FC－LSTM（fully connected LSTM）中的輸入到狀態(tài)和狀態(tài)到狀態(tài)轉(zhuǎn)換都換成了卷積運算，并通過堆疊形成編碼器－預(yù)測的形態(tài)。它與當(dāng)時最先進的雷達回波外推法ROVER進行了比較，并且各方面指標都始終優(yōu)于光流法。ConvLSTM的提出標志著深度學(xué)習(xí)與降雨預(yù)報兩個領(lǐng)域有了交叉，自此以后，循環(huán)神經(jīng)網(wǎng)絡(luò)發(fā)展變革應(yīng)用在降雨測報方面的模型越來越多。循環(huán)神經(jīng)網(wǎng)絡(luò)本身是極其適用于預(yù)測的，但本身也存在梯度消失等缺點，會隨著網(wǎng)絡(luò)迭代不斷放大，后面在LSTM基礎(chǔ)上不斷迭代的新網(wǎng)絡(luò)也都會減少梯度消失的情況，但不能完全解決。2017年Shi等人［8］又提出了新的TrajGRU（trajectory GRU），認為雖然ConvLSTM中的卷積遞歸結(jié)構(gòu)比全連接結(jié)構(gòu)在捕獲時空相關(guān)性上更優(yōu)，但還有改進的空間。對于運動模式中如旋轉(zhuǎn)和縮放，不同的空間位置和時間戳?xí)?dǎo)致連續(xù)幀的局部相關(guān)結(jié)構(gòu)不同，而ConvLSTM使用位置不變的過濾器來表示這種位置變量的卷積就顯得低效了。TrajGRU改進使用了位置連接結(jié)構(gòu)，還在編碼－預(yù)測器結(jié)構(gòu)中分別加入了下采樣層和上采樣層，并反轉(zhuǎn)了部分預(yù)測器，這樣高階狀態(tài)可以捕獲全局的時空特征來指導(dǎo)低階狀態(tài)的更新。TrajGRU的提出相比于ConvLSTM對降水預(yù)報更加有效，他們還一同提出了一個降雨的基準數(shù)據(jù)集HKO－7，這是一個公開數(shù)據(jù)集，下文的數(shù)據(jù)集部分會對其進行詳細闡述。2017年，清華的Wang等人［9］認為ConvLSTM的堆疊是有問題的，下一個時刻的底層記憶單元沒有獲得上個時刻頂層記憶單元的信息，參考記憶網(wǎng)絡(luò)［10～12］提出了“之”字型結(jié)構(gòu)，并引入了新的時空存儲記憶單元M，這樣可以分別學(xué)習(xí)短期動態(tài)建模和長期動態(tài)建模。他們綜合兩者提出了PredRNN（predictive RNN）模型，與前面提出的模型相比，預(yù)測精度提升了一大截。次年他們又提出了PredRNN++（improved predictive RNN）模型［13］，雖然PredRNN引入了時空存儲記憶單元M，但沒有很好地解決新的記憶單元和原本的細胞單元的關(guān)系，于是他們改變了PredRNN中細胞狀態(tài)和時空狀態(tài)的位置，引入級聯(lián)結(jié)構(gòu)，將細胞狀態(tài)和時空狀態(tài)串聯(lián)起來，這樣增加了一個時間到下一個時間戳的遞歸深度。他們還為了緩解模型的梯度傳播的困難，在第一二層堆疊過程中增加了一條高速公路［14］，這樣模型可以自適應(yīng)地捕獲長期和短期視頻依賴。文獻［15］提出了E3D－LSTM（Eidetic 3D LSTM），認為PredRNN雖然提高了預(yù)測效果，但不能有效捕捉長期關(guān)系，遺忘門常常對短期特征反映強烈而容易陷入飽和區(qū)，所以提出了一種新的記憶召回機制并增加了記憶狀態(tài)的維度（自注意力模塊）［16，17］，即使在長時間的干擾后，也能夠有效跨過多個時間戳回憶起存儲的記憶。他們還將3D卷積集成到循環(huán)神經(jīng)網(wǎng)絡(luò)中，代替了ConvLSTM使用的2D卷積，封裝好的3D卷積可以讓循環(huán)神經(jīng)網(wǎng)絡(luò)的局部感知器獲得運動感知的能力，這樣記憶單元可以存儲更好的短期特征。同年他們又提出了MIM（memory in memory）［18］，認為降水預(yù)報應(yīng)該考慮雷達圖上復(fù)雜多樣的本地趨勢，之前多數(shù)的RNN都是處理的趨勢非平穩(wěn)性，非平穩(wěn)建模的缺少部分導(dǎo)致了預(yù)測效果的模糊性。例如PredRNN中的遺忘門在80%的時間戳上都是飽和的，這樣未來的框架是近似于線性外推來預(yù)測的，于是運用了數(shù)學(xué)中的差分思想，任何非平穩(wěn)的過程都可以分解成確定的多項式和一個零均值的隨機項，使用了兩個級聯(lián)的、可以自我更新的內(nèi)存模塊來代替遺忘門，分別模擬時空動力學(xué)中的非平穩(wěn)和平穩(wěn)特征。他們還提出了對角循環(huán)體系，將前一個時刻的某層隱藏狀態(tài)傳給下一個時刻的更高層內(nèi)存塊，來生成不同的特征供進一步使用。Wang等人［19］在PredRNN基礎(chǔ)上又進行了修改，并提出了V2版本，之前PredRNN引入了新的時空記憶狀態(tài)，在本身的訓(xùn)練過程中，時空記憶狀態(tài)和本身的細胞狀態(tài)不能很好地分開，便加入了內(nèi)存解耦模塊［20］，讓存儲狀態(tài)和細胞狀態(tài)可以完全分開，分別學(xué)習(xí)長期和短期狀態(tài)［21，22］。他們還在訓(xùn)練階段使用了反向計劃采樣，訓(xùn)練過程中，隨著訓(xùn)練輪次的增加，一定的概率以真實的圖像來替代生成的預(yù)測圖像，減小了序列到序列的RNN架構(gòu)的訓(xùn)練差異［23］，達到了更好的訓(xùn)練效果。

早期深度學(xué)習(xí)應(yīng)用于雷達回波外推任務(wù)時，存在一些根本問題。其一，欠缺對長期依賴關(guān)系的利用。LSTM本身自帶了遺忘機制，會不斷地選擇是否丟棄之前的時間記憶信息，并且這是一個不可逆過程［24］，因此，網(wǎng)絡(luò)將無法獲取之前被丟棄的時間記憶信息，并且隨著網(wǎng)絡(luò)中堆疊的LSTM模塊的增多，模型的時間記憶信息缺失越來越嚴重。現(xiàn)有的E3D－LSTM［15］網(wǎng)絡(luò)模型使用了空間注意力機制來回憶以前的時間記憶信息，沒有對通道相關(guān)性進行建模。其二，缺乏對短期依賴關(guān)系的構(gòu)建。在LSTM模型中，因為每個門對于輸入和隱藏狀態(tài)都進行獨立卷積，會導(dǎo)致短期依賴信息的丟失。現(xiàn)有的PredRNN［9］模型通過引入空間記憶狀態(tài)，確保信息從底層到頂層的流通，構(gòu)建短期依賴關(guān)系。由于該過程是獨立卷積，所以引入的空間記憶狀態(tài)并不能幫助隱藏狀態(tài)和輸入狀態(tài)選擇重要的特征。

為了克服現(xiàn)有網(wǎng)絡(luò)模型的局限性，本文提出了新的DIPredRNN模型，該模型通過增加空間和通道的雙注意力模塊來增強對長期依賴關(guān)系的構(gòu)建。此外，通過增加隱藏狀態(tài)和輸入狀態(tài)之間的交互框架來保留更多的時序特征。在雙注意力機制中，空間注意力可以對每個位置有選擇地進行重組，通道注意力可以增強通道之間的信息交互［25］，兩者將時間記憶細胞所提取的長距離信息和通道間的信息結(jié)合起來，幫助建立信息更加完整的長距離依賴關(guān)系。在交互框架模塊中，輸入和隱藏狀態(tài)通過耦合卷積不斷產(chǎn)生新的輸入和隱藏狀態(tài)。其中，耦合卷積可以提取出重要的信息，對短期依賴信息進行補充。最后，本文使用DIPredRNN模型在HKO－7［7］和四川數(shù)據(jù)集上同其他現(xiàn)有模型進行了實驗對比。

1 DIPredRNN模型

1.1 整體網(wǎng)絡(luò)模型

DIPredRNN模型由四層DI－LSTM模塊堆疊而成，引入了新的存儲狀態(tài)M，并在前一個時間的頂層和后一個時間的底層之間引入了“之”字形結(jié)構(gòu)。本文的創(chuàng)新點是在DI－LSTM模塊中分別加上了一個交互框架模塊和一個雙注意力模塊。圖1展示了DIPredRNN的結(jié)構(gòu)。

1.2 DI－LSTM模塊細節(jié)

DIPredRNN網(wǎng)絡(luò)的基礎(chǔ)DI－LSTM模塊輸入包含了當(dāng)前輸入狀態(tài) X t、空間存儲狀態(tài) H lt-1、歷史存儲狀態(tài) C t-τ：t-1和隱藏狀態(tài) H lt-1。首先，輸入狀態(tài) X t和隱藏狀態(tài) H lt-1經(jīng)過交互框架模塊產(chǎn)生新的輸入和隱藏狀態(tài)，并和歷史存儲狀態(tài) C t-τ：t-1一起作為雙注意力模塊的輸入來更新當(dāng)前記憶 C lt。 C lt通過對多個歷史存儲狀態(tài)的雙重注意，可以恢復(fù)一些被遺忘的信息。DI－LSTM模塊中新的“之”字型結(jié)構(gòu)引入了新的存儲狀態(tài)M，為了讓存儲狀態(tài)M和記憶狀態(tài)C分開，采用了內(nèi)存解耦方式。式（1） ～ （7）為DIPredRNN對應(yīng)的公式。

其中：表示二維卷積運算；⊙表示矩陣乘積運算；τ表示歷史存儲狀態(tài)的數(shù)量; Attn d表示雙注意力模塊。令遺忘門 f t作為查詢向量序列，歷史記憶狀態(tài) C t-τ：t-1作為鍵向量序列和值向量序列。圖2展示了DPredRNN基礎(chǔ)構(gòu)成的DI－LSTM細節(jié)，對應(yīng)的是圖1中的一個DI－LSTM單元。

1.3 雙注意力模塊

為了建立長期依賴，增強網(wǎng)絡(luò)對長期信息的關(guān)聯(lián)，本文提出了雙注意力模塊。圖3展示了雙注意力模塊，對應(yīng)的是圖2中DI－LSTM模塊的 Attn d模塊。

1.4 交互模塊

原始的ConvLSTM網(wǎng)絡(luò)并沒有加強輸入和隱藏狀態(tài)之間的相關(guān)性，只是單獨卷積，為此，本文提出了一種新的交互方案。圖4展示了交互框架，對應(yīng)的是圖2中的interaction block模塊。

從圖4中可以看到，新的輸入 x 1可以由舊的輸入 x 0和隱藏狀態(tài) h 0分別卷積再求和通過ReLU函數(shù)得到，而新的隱藏狀態(tài) h 1也可以由舊的隱藏狀態(tài) h 0和新的輸入 x 1分別卷積再求和通過ReLU函數(shù)得到，它們可以不斷迭代很多次產(chǎn)生新的輸入和隱藏狀態(tài)。在此過程中，輸入的更新包含了隱藏狀態(tài)，意味著它使用了隱藏狀態(tài)的信息合并了隱藏信息的表示，而隱藏狀態(tài)的更新也是同理，隱藏狀態(tài)的更新包含了輸入，意味著它對輸入進行了聚合，得到了更好的表示，這樣新的輸入和隱藏狀態(tài)可以充分利用上下文的信息。式（11）（12）為交互框架對應(yīng)的公式。

其中：表示二維卷積運算；ReLU表示激活函數(shù)；x表示輸入；h表示隱藏狀態(tài)。

2 實驗

本章基于HKO和四川數(shù)據(jù)集將DIPredRNN與多個網(wǎng)絡(luò)進行實驗對比，并依次對數(shù)據(jù)集、實驗指標、實驗對象進行介紹，闡明實驗設(shè)置，展示實驗結(jié)果，給出對應(yīng)結(jié)果的分析。

2.1 數(shù)據(jù)集介紹

HKO數(shù)據(jù)集（香港數(shù)據(jù)集）：該數(shù)據(jù)集是TrajGRU［5］中提出的標準數(shù)據(jù)集，包含了香港天文臺2009—2015年所收集的雷達回波數(shù)據(jù)，圖像分辨率為480×480像素，拍攝圖片的海拔高度為2 km，覆蓋了以香港為中心的512 km×512 km的區(qū)域面積。數(shù)據(jù)每6 min記錄一次，并通過處理將雷達反射率因子線性轉(zhuǎn)換為像素值，映射到0～255，并對數(shù)據(jù)集中的噪聲像素進行了過濾處理。

四川數(shù)據(jù)集：該數(shù)據(jù)集取自四川氣象局所收集的2018—2021年四年的雷達回波數(shù)據(jù)，數(shù)據(jù)格式為3維，含有21層數(shù)據(jù)，圖片記錄的海拔高度為0.5～19 km，圖像分辨率為1 000×2 000像素，跨越的經(jīng)度為95°E～115°E，緯度為25°N～35°N。根據(jù)氣象局的常年累計經(jīng)驗，選取的雷達回波第五層數(shù)據(jù)為實驗數(shù)據(jù)，也同HKO－7數(shù)據(jù)集一樣將雷達回波反射因子進行轉(zhuǎn)換和映射。

兩個數(shù)據(jù)集處理后的圖片均為128×128像素，各自包含10 000個時間序列，每個時間序列長度為20幀，每張圖片間隔為6 min，前10幀作為輸入進行預(yù)測，后10幀作為金標準和預(yù)測的結(jié)果形成對比，10 000個時間序列中本文使用8 000個序列進行訓(xùn)練，2 000個序列進行驗證。

2.2 實驗指標

對于雷達回波序列預(yù)測，本文輸入前10幀，網(wǎng)絡(luò)學(xué)習(xí)前10幀的特征并進行預(yù)測，在此基礎(chǔ)上生成預(yù)測后10幀的圖像，輸入的后10幀圖像作為金標準與生成的預(yù)測后10幀圖像進行對比，下面將介紹幾種常用的評價指標。

1）均方根差（mean square error，MSE） 這是常用的評估算法性能的整體性指標，能反映模型的整體性能。均方根差可以計算兩個樣本的誤差，值為0～∞，值越小說明兩個樣本的誤差越小。

其中：PRobs是輸入的原本的雷達回波圖像；PReest是預(yù)測輸出的雷達回波圖像。對于雷達回波預(yù)測，均方根差值越小，說明預(yù)測的效果越好。

2）結(jié)構(gòu)相似性（structural similarity index，SSIM） 它是衡量兩幅相同大小圖像相似性的指標。 結(jié)構(gòu)相似性從亮度、對比度、結(jié)構(gòu)上面量化了圖像的屬性，其中均值可以表示亮度，方差可以表示對比度，協(xié)方差可以表示結(jié)構(gòu)相似度。結(jié)構(gòu)相似性的值為［-1，1］，值越接近1說明兩幅圖越相似。

其中：x、y表示比較的兩幅圖像；μx是x的平均值；σ2x是x的方差；μy是y的平均值；μ2y是y的方差；σxy是x和y的協(xié)方差；c1=（K1L）2和c2=（K2L）2是用于維持穩(wěn)定的兩個常數(shù)，避免出現(xiàn)除數(shù)為0的情況。

3）臨界成功指數(shù)（critical success index，CSI） 深度學(xué)習(xí)基于準確度的指標，在雷達回波問題上，通過對預(yù)測dbz的正確與否，更能體現(xiàn)預(yù)測值和真實值之間的匹配程度，以及雷達回波在氣象領(lǐng)域的專業(yè)性。

在雷達回波中，分別以30、40、50 dbz作為閾值進行計算。其中hits代表真陽性，即預(yù)測和真實的像素都是大于閾值的;misses表示假陽性，表示預(yù)測的像素小于真實的閾值;1_alarms表示假陰性，預(yù)測的像素和真實的像素都小于閾值。

2.3 實驗對象

實驗數(shù)據(jù)集將在ConvLSTM［7］、TrajGRU［8］、PredRNN［9］、PredRNN + +［13］、MIM［18］、PredRNN－V2［19］、IPredRNN、DPredRNN、DIPredRNN中進行訓(xùn)練，其中IPredRNN是只添加了交互框架的PredRNN－V2網(wǎng)絡(luò)，DPredRNN是只添加了雙注意力模塊的PredRNN－V2網(wǎng)絡(luò)，DIPredRNN則是同時添加了交互框架和雙注意力模塊的PredRNN－V2網(wǎng)絡(luò)，三者可以互相形成對比，驗證提出的兩個模塊的有用性和可疊加性。

2.4 實驗設(shè)置

實驗中本文選用ADAM作為優(yōu)化器來訓(xùn)練模型，設(shè)置batch_size為4，每次訓(xùn)練迭代中使用的小批量為8個序列，訓(xùn)練中學(xué)習(xí)率設(shè)定為10-4，訓(xùn)練的總輪數(shù)設(shè)定為80 000次，每5 000次 運行一次測試集進行預(yù)測并保存和輸出結(jié)果，也順帶保存此時的模型參數(shù)，實驗中選用MSE指標作為loss函數(shù)，網(wǎng)絡(luò)堆疊了4層的細胞，每層隱藏狀態(tài)和記憶狀態(tài)之間有128個通道，每層細胞中卷積核的大小設(shè)置為5×5，訓(xùn)練一個數(shù)據(jù)集的時間大致為48 h，實驗中使用的顯卡為RTX 2070 SUPER，為8 GB顯存。

2.5 實驗結(jié)果和分析

a）表1和圖5為在HKO－7數(shù)據(jù)集上運行的實驗結(jié)果展示。定量指標如表1所示。定性指標如圖5所示。

b）表2和圖6為在四川數(shù)據(jù)集上運行的實驗結(jié)果展示。定量指標如表2所示。定性指標如圖6所示。

從表2中可以看出，本文模型在所有指標中都是較好或者最好的，相較于經(jīng)典模型ConvLSTM有很大提升，相較于最新模型PredRNN－V2也有所提升。其中，DIPredRNN在HKO－7數(shù)據(jù)集中，MSE和SSIM分別達到了25.93和0.771，相比PredRNN－V2有2.9%和2.6%的提升；而在四川數(shù)據(jù)集中MSE和SSIM分別達到了24.19和0.796，相比PredRNN－V2也有3.8%和2.8%的提升；而兩個數(shù)據(jù)集中，只添加了交互框架，并且只添加了雙注意力模塊的網(wǎng)絡(luò)，也均相比于PredRNN－V2有提升，證明了本文的兩個模塊都是有效且可以疊加的。另外，在CSI氣象指標中，DIPredRNN在HKO－7數(shù)據(jù)集的30 dbz、40 dbz、50 dbz三個區(qū)間中的值相比于PredRNN－V2也有1.6%、2.2%、2.3%的提升，而在四川數(shù)據(jù)集的30 dbz、40 dbz、50 dbz這三個區(qū)間中的值相比PredRNN－V2也有1.5%、2.5%、3.7%的提升。只比較本文的三個網(wǎng)絡(luò)，發(fā)現(xiàn)只加了交互框架的IPredRNN相比PredRNN－V2普遍提升較少，說明交互框架對于網(wǎng)絡(luò)的提升占比是較少的，但其中只加了雙注意力機制的DPredRNN在CSI－30區(qū)間上得分卻比DIPredRNN要好，而在高回波區(qū)域卻還是DIPredRNN的CSI得分更高。這說明本文提出的交互框架提高了網(wǎng)絡(luò)在高回波區(qū)域的預(yù)測能力，是有意義的。綜上，DIPredRNN模型的確提高了預(yù)測精度。從圖像上來看，在兩個數(shù)據(jù)集中，ConvLSTM作為經(jīng)典模型是具有雷達回波預(yù)測能力的，最新的PredRNN預(yù)測更加精準，本文模型預(yù)測的圖像無疑是最貼近金標準的，可以看出本文模型是有提升的。

3 結(jié)束語

本文提出了一種新的雷達回波外推模型DIPredRNN，該模型使用雙注意力模塊恢復(fù)遺忘的時間記憶信息，增強了長期依賴，通過交互框架充分利用上下文信息，增強了模型短期依賴。與經(jīng)典模型和最新模型在兩個數(shù)據(jù)集上的實驗對比，證明了DIPredRNN的先進性能。下一步，筆者將探索三維雷達回波的預(yù)報，來改善極端天氣的預(yù)報事件。

參考文獻：

［1］Sutskever I， Vinyals O， Le Q V. Sequence to sequence learning with neural networks［C］//Proc of the 27th International Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2014：3104－3112.

［2］袁凱， 李武階， 李明， 等. 四種機器深度學(xué)習(xí)算法對武漢地區(qū)雷達回波臨近預(yù)報的檢驗和評估［J］. 氣象， 2022， 48 （4）： 428－441. （Yuan Kai， Li Wujie， Li Ming，et al.Inspection and evaluation of four machine deep learning algorithms for radar echo nowcas－ting in Wuhan area［J］.Meteorology ， 2022， 48 （4）： 428－441.）

［3］龔勛， 胡嘉駿， 徐年平， 等. 基于深度學(xué)習(xí)的多普勒氣象雷達回波外推短臨預(yù)報對比研究［J］. 中國軍轉(zhuǎn)民， 2022（13）： 76－80. （Gong Xun， Hu Jiajun， Xu Nianping，et al.Comparative study of Doppler weather radar echo extrapolation short－term forecast based on deep learning［J］.China Military to Civilian ， 2022（13）： 76－80.）

［4］黃俊豪. 基于深度學(xué)習(xí)的短臨降水預(yù)測方法研究［D］.廈門：東南大學(xué)，2022. （Huang Junhao. Research on short－term precipitation prediction method based on deep learning［D］.Xiamen： Southeast University，2022.）

［5］周康輝. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的強對流天氣預(yù)報方法研究［D］. 北京：中國氣象科學(xué)研究院，2022. （Zhou Kanghui. Research on severe convective weather forecasting methods based on deep neural network［D］. Beijing： Chinese Academy of Meteorological Sciences，2022.）

［6］張京紅， 韋方強， 鄧波， 等. 區(qū)域泥石流短臨預(yù)報及其應(yīng)用－基于多普勒天氣雷達技術(shù)的預(yù)報系統(tǒng)［J］. 自然災(zāi)害學(xué)報， 2008，17 （2）： 71－77. （Zhang Jinghong， Wei Fangqiang， Deng Bo，et al.Regional short－term debris flow forecasting and its application－forecasting system based on Doppler weather radar technology［J］.Journal of Natural Disasters ， 2008， 17 （2）： 71－77.）

［7］Shi Xingjian， Chen Zhourong， Wang Hao，et al.Convolutional LSTM network： a machine learning approach for precipitation nowcasting［C］//Proc of the 28th International Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2015：802－810.

［8］Shi Xingjian，Gao Zhihan，Lausen L， et al.Deep learning for precipi－tation nowcasting： a benchmark and a new model［C］//Proc of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017：5622－5632.

［9］Wang Yunbo， Long Mingsheng， Wang Jianmin， et al.PredRNN： recurrent neural networks for predictive learning using spatiotemporal LSTMs［C］//Proc of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 879－888.

［10］Graves Wayne G， Danihelka I. Neural turing machines［EB/OL］. （2014－12－10）. https：//arxiv.org/abs/1410.5401.

［11］Sukhbaatar S， Weston J， Fergus R. End－to－end memory networks［C］//Proc of the 28th International Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2015：2440－2448.

［12］Graves Wayne G， Reynolds M，et al.Hybrid computing using a neural network with dynamic external memory［J］.Nature ， 2016， 538 （7626）： 471－476.

［13］Wang Yunbo， Gao Zhifeng， Long Mingsheng，et al.PredRNN+： towards a resolution of the deep－in－time dilemma in spatiotemporal predictive learning［C］//Proc of International Conference on Machine Learning.［S.l.］：PMLR， 2018： 5123－5132.

［14］Srivastava R K， Greff K， Schmidhuber J. Highway networks［EB/OL］. （2015－11－03）. https：//arxiv.org/abs/1505.00387.

［15］Wang Yunbo， Jiang Lu， Yang M H，et al.Eidetic 3D LSTM： a model for video prediction and beyond［C］//Proc of International Conference on Learning Representations. 2018.

［16］Vaswani Shazeer N， Parmar N，et al.Attention is all you need［C］//Proc of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017：6000－6010.

［17］Lin Zhouhan， Feng Minwei， Santos C N，et al.A structured self－attentive sentence embedding［EB/OL］. （2017－03－09）. https：//arxiv.org/abs/1703.03130.

［18］Wang Yunbo， Zhang Jianjin， Zhu Hongyu，et al.Memory in memory： a predictive neural network for learning higher－order non－stationarity from spatiotemporal dynamics［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2019： 9146－9154.

［19］Wang Yunbo， Wu Haixu， Zhang Jianjin，et al.PredRNN： a recurrent neural network for spatiotemporal predictive learning［J］.IEEE Trans on Pattern Analysis and Machine Intelligence ， 2022， 45 （2）： 2208－2225.

［20］Pascanu R， Montufar G， Bengio Y. On the number of response regions of deep feed forward networks with piece－wise linear activations［EB/OL］. （2014－02－14）. https：//arxiv.org/abs/1312.6098.

［21］Hinton G E， McClelland J L， Rumelhart D E. Distributed representations［M］//Parallel Distributed Processing： Explorations in the Microstructure of Cognition. Cambridge， MA： MIT Press， 1986： 77－109.

［22］Bengio S， Bengio Y. Taking on the curse of dimensionality in joint distributions using neural networks［J］.IEEE Trans on Neural Networks ， 2000， 11 （3）： 550－557.

［23］Sutskever I， Vinyals O， Le Q V. Sequence to sequence learning with neural networks［C］//Proc of the 27th International Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2014：3104－3112.

［24］Marrocu M， Massidda L. Performance comparison between deep learningand optical flow－based techniques for nowcast precipitation from radar images［J］.Forecasting ， 2020， 2 （2）： 194－210.

［25］Fu Jun， Liu Jing， Tian Haijie，et al.Dual attention network for scene segmentation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2019： 3141－3149.

收稿日期：2023－07－31；修回日期：2023－09－23基金項目：四川省自然科學(xué)基金資助項目（2023NSFSC0482）；四川省科技計劃資助項目（2022YFS0542）；成都信息工程大學(xué)科技創(chuàng)新能力提升計劃資助項目（KYTD202324）

作者簡介：羅健文（1998—），男，四川眉山人，碩士研究生，CCF會員，主要研究方向為深度學(xué)習(xí)、雷達回波外推；鄒茂揚（1974—），女（通信作者），四川瀘州人，副教授，博士，主要研究方向為基于人工智能的圖形圖像處理與計算成像（zoumy@cuit.edu.cn）；楊昊（1981—），男，四川成都人，副教授，博士，主要研究方向為數(shù)據(jù)挖掘和機器學(xué)習(xí)；陳敏（1989—），女，四川樂山人，助教，博士研究生，主要研究方向為大數(shù)據(jù)挖掘與智慧氣象；楊康權(quán)（1985—），男，廣東吳川人，碩士研究生，主要研究方向為中小尺度天氣研究及數(shù)值預(yù)報釋用．