雷為好，秦華旺*，陳浩然，侯笑揚(yáng)

(1.南京信息工程大學(xué) 電子與信息工程學(xué)院，江蘇 南京 210044；2.南京信息工程大學(xué) 自動(dòng)化學(xué)院，江蘇 南京 210044；3.浙江海洋大學(xué) 海洋科學(xué)與技術(shù)學(xué)院，浙江 舟山 316022)

0 引言

提供精細(xì)化的天氣預(yù)報(bào)對(duì)工農(nóng)業(yè)生產(chǎn)以及人們的日常出行非常重要,現(xiàn)有的全球氣候模式(Global Climate Model,GCM)[1]輸出的時(shí)間和空間分辨率均較低,無法反映區(qū)域氣候變化的特征;區(qū)域氣候模式(Regional Climate Model,RCM)[2]以全球氣候模式的輸出作為邊界條件獨(dú)立運(yùn)行,能解釋局部的物理過程,但消耗的計(jì)算資源較多。氣象柵格數(shù)據(jù)的降尺度和超分辨率技術(shù)有一定相似之處,氣象柵格數(shù)據(jù)可看作是數(shù)值矩陣;空間降尺度過程可看成將低分辨率(大尺度)的氣象數(shù)據(jù)轉(zhuǎn)換為同一區(qū)域下高分辨率(小尺度)的氣象數(shù)據(jù);在時(shí)間維度上,一幀一幀連續(xù)的氣象圖像可看成視頻,時(shí)間降尺度過程相當(dāng)于在氣象數(shù)據(jù)這個(gè)“視頻”中插入更多的幀[3]。傳統(tǒng)的時(shí)空降尺度方法通過插值算法實(shí)現(xiàn),如雙線性插值、最近鄰插值和三線性插值等;此外還存在各種統(tǒng)計(jì)和機(jī)器學(xué)習(xí)模型用于氣象的時(shí)空降尺度,如線性模型、人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,ANN)和支持向量機(jī)(Support Vector Machine,SVM)等[4];然而氣象數(shù)據(jù)是一種結(jié)構(gòu)信息,某一區(qū)域的降水?dāng)?shù)據(jù)還受到其他氣象要素的影響,上述方法均沒有很好地利用到該區(qū)域其他氣象要素的信息,且模型結(jié)構(gòu)也較為簡單,有限的參數(shù)空間使得無法從海量歷史氣象資料中提取到有用的信息。氣象要素的數(shù)值和圖像的像素值有一定的區(qū)別,氣象數(shù)據(jù)通常不是整數(shù)數(shù)據(jù),隨機(jī)性較強(qiáng),難以確定其上下限[5];氣象數(shù)據(jù)具有多源、多尺度、多維、非線性和滯后性等特性[6],利用深度學(xué)習(xí)方法預(yù)測,需要充分考慮數(shù)據(jù)間的因果關(guān)系與時(shí)空關(guān)系。因此氣象的時(shí)空降尺度問題較為復(fù)雜。

近年來,深度學(xué)習(xí)時(shí)空視頻超分辨率技術(shù)得到了快速發(fā)展,涌現(xiàn)出了許多性能優(yōu)越的模型,諸如EDVR[7]、STDAN[8]和RSTT[9]等。Ying等[10]提出的D3Dnet模型將可形變?nèi)S卷積與普通三維卷積相結(jié)合,解決了普通時(shí)空視頻超分辨率方法不能充分利用時(shí)空信息的問題,獲得了良好的時(shí)空建模能力與運(yùn)動(dòng)感知建模的靈活性。Zhang等[11]提出了一種多階段時(shí)空自適應(yīng)網(wǎng)絡(luò)(MS-STAN),利用時(shí)空自適應(yīng)ConvLSTM模塊(STAC)挖掘ConvLSTM模塊中輸入特征和隱藏狀態(tài)之間的相關(guān)性,能根據(jù)融合的時(shí)空特征對(duì)隱藏狀態(tài)進(jìn)行自適應(yīng)的調(diào)制。Hu等[12]提出一種單階段循環(huán)投影相互學(xué)習(xí)網(wǎng)絡(luò)(CycMu-Net), 通過空間視頻超分辨率(S-VSR)和時(shí)間視頻超分辨率(T-VSR)兩部分之間的相互學(xué)習(xí),充分利用了視頻幀的時(shí)空相關(guān)性?？蓪⑸疃葘W(xué)習(xí)時(shí)空視頻超分辨率方法應(yīng)用于氣象時(shí)空降尺度任務(wù)中。文獻(xiàn)[13]提出一種RNN-GAN的降尺度方法,由低分辨率雷達(dá)降水圖像序列組成的輸入來生成隨時(shí)間變化的高分辨率圖像序列。文獻(xiàn)[14]提出了基于三維卷積U-Net架構(gòu)的殘差預(yù)測網(wǎng)絡(luò)和反卷積網(wǎng)絡(luò)分別對(duì)氣溫和降水?dāng)?shù)據(jù)進(jìn)行時(shí)空降尺度。文獻(xiàn)[15]將視頻幀插值和單圖像超分辨技術(shù)應(yīng)用于對(duì)PM2.5產(chǎn)品的時(shí)空降尺度問題上。文獻(xiàn)[5]首次將時(shí)空視頻超分辨技術(shù)應(yīng)用于雷達(dá)降水?dāng)?shù)據(jù)的時(shí)空降尺度,通過更改Zooming Slow-Mo網(wǎng)絡(luò)的數(shù)據(jù)輸入方式,探究了動(dòng)態(tài)與靜態(tài)輔助數(shù)據(jù)對(duì)降水?dāng)?shù)據(jù)時(shí)空分辨率提高的影響機(jī)制。

本文提出的基于多特征融合的時(shí)空降尺度模型(Spatio-Temporal Downscaling Model Based on Multi-Feature Fusion,STMFF)網(wǎng)絡(luò),以Zooming Slow-Mo降尺度模型為基礎(chǔ),利用數(shù)據(jù)融合模塊(Data Fusion Module,DFM)改善動(dòng)態(tài)輔助數(shù)據(jù)的融合效果;對(duì)特征時(shí)間插值模塊使用靜態(tài)數(shù)據(jù)融合模塊(SFB)進(jìn)行改進(jìn),以實(shí)現(xiàn)有效的靜態(tài)輔助數(shù)據(jù)融合;網(wǎng)絡(luò)前端使用若干個(gè)基于密集殘差的殘差塊(RRDB)代替普通殘差塊(RB),其特征提取能力更強(qiáng);網(wǎng)絡(luò)末端設(shè)計(jì)的基于多尺度特征提取的殘差Swin Transformer模塊(Residual Swin Transformer Module Based on Multi-Scale Feature Extraction,MF-RSTB),可提取每幀圖像的多尺度特征,并關(guān)注其局部細(xì)節(jié)信息和遠(yuǎn)程依賴關(guān)系;網(wǎng)絡(luò)中間的局部時(shí)間特征比較(Local Time Feature Comparison,LFC)模塊優(yōu)化了特征時(shí)間插值后每幀的圖像質(zhì)量,尤其是中間幀的圖像質(zhì)量。

1 研究方法

1.1 整體結(jié)構(gòu)

圖1 STMFF-DS網(wǎng)絡(luò)模型整體結(jié)構(gòu)Fig.1 Overall structure of the STMFF-DS network model

1.2 DFM

該模塊使用的坐標(biāo)注意力機(jī)制,通過精確的位置信息對(duì)通道關(guān)系和長期依賴性進(jìn)行編碼,同時(shí)考慮通道間關(guān)系和特征空間的位置信息。利用該注意力機(jī)制和一個(gè)3×3卷積可以保留輸入特征圖有用的通道和位置信息,然后再對(duì)輸入特征圖進(jìn)行加權(quán),最后結(jié)合一個(gè)3×3卷積和殘差學(xué)習(xí)得到輸出特征圖,這樣可以最大限度地減小有用信息的丟失,并實(shí)現(xiàn)有效的數(shù)據(jù)融合。DFM整體結(jié)構(gòu)如圖2所示。

圖2 DFM整體結(jié)構(gòu)Fig.2 Overall structure of the DFM

1.3 改進(jìn)的特征時(shí)間插值模塊

圖3 特征時(shí)間插值模塊整體結(jié)構(gòu)Fig.3 Overall structure of the feature time interpolation module

為提高插值后得到的中間幀質(zhì)量,使其符合降水?dāng)?shù)據(jù)隨時(shí)間變化的趨勢,將陸海掩膜和地理高度2種靜態(tài)數(shù)據(jù)融入該模塊中,通過設(shè)計(jì)SFB模塊將2種輸入數(shù)據(jù)利用全連接網(wǎng)絡(luò)(FCN)轉(zhuǎn)換為調(diào)制矢量vt,將調(diào)制矢量和特征圖沿通道維度相乘,得到調(diào)制特征圖,這樣能保留更重要的通道信息,從而調(diào)整該層卷積核的偏移量,提升DCN對(duì)特征時(shí)間插值模塊的作用。

1.4 LFC模塊

圖4 LFC模塊Fig.4 LFC module

1.5 MF-RSTB特征提取模塊

MF-RSTB的整體結(jié)構(gòu)如圖5所示,以Swin Transformer模塊(STB)為基礎(chǔ)并結(jié)合殘差學(xué)習(xí)構(gòu)建殘差Swin Transformer模塊(RSTB),每個(gè)RSTB模塊使用了6個(gè)STB模塊和一個(gè)卷積,將RSTB模塊和殘差塊(RB)相結(jié)合,構(gòu)建MF-RSTB。MF-RSTB可以提取特征圖不同尺度的特征并聚合,有利于重建出每幀圖像的紋理細(xì)節(jié)信息。

圖5 MF-RSTB

Q=IinPQ,K=IinPK,V=IinPV,

(5)

(6)

式中:b是可學(xué)習(xí)的相對(duì)位置編碼, SoftMax(·)是一個(gè)激活函數(shù)。如圖5所示,MF-RSTB的整個(gè)流程如下:

式中:fin表示輸入該模塊特征圖,f0、f1、f2、f3表示中間特征圖,F5表示模塊的最終輸出,GRB(·)表示殘差塊,GRSTB(·)表示RSTB模塊,[f0,f1,f2,f3]表示將中間各特征圖按通道連接。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 雷達(dá)降水?dāng)?shù)據(jù)集

高質(zhì)量且可靠的數(shù)據(jù)集對(duì)模型的訓(xùn)練非常重要。本文使用由法國氣象局(METEO-FRANCE)提供的開放性雷達(dá)降水?dāng)?shù)據(jù)集。該雷達(dá)數(shù)據(jù)空間分辨率為0.01°,2次雷達(dá)掃描之間的時(shí)間步長為5 min;實(shí)驗(yàn)只使用了2018年2—12月的法國西北部新產(chǎn)品數(shù)據(jù),反射率最小檢測閾值降為-9 dBZ,反射率數(shù)據(jù)的有效值為[-9,70] dBZ;非檢測數(shù)據(jù)值為-100,缺失數(shù)據(jù)值為-200,該數(shù)據(jù)集還提供降水概率數(shù)據(jù)、雷達(dá)測量高度數(shù)據(jù)、陸海掩膜數(shù)據(jù)以及地理高度數(shù)據(jù)。

采用文獻(xiàn)[5]處理數(shù)據(jù)的方式,無降水的閾值約為18 dBZ,為充分利用原始數(shù)據(jù)并濾除無降水?dāng)?shù)據(jù),選擇保留不低于15 dBZ的數(shù)據(jù)。為與文獻(xiàn)[5]對(duì)比,采用相鄰2幀間隔10 min,每幀空間大小為400 km×400 km (每個(gè)格點(diǎn)大小為2 km×2 km)的2幀數(shù)據(jù)作為輸入;標(biāo)簽數(shù)據(jù)則為3幀圖像,相鄰2幀間隔5 min且每幀空間大小為400 km×400 km (每個(gè)格點(diǎn)大小為1 km×1 km)。降水?dāng)?shù)據(jù)在空間上分布不連續(xù),存在大范圍的零值[20],為保證訓(xùn)練的質(zhì)量,只保留降水覆蓋面不少于20%的降水?dāng)?shù)據(jù),即空間上降水(大于15 dBZ)格點(diǎn)數(shù)占總格點(diǎn)數(shù)的比例不少于20%。隨機(jī)選取7 000組數(shù)據(jù),其中6 000組作為訓(xùn)練集,剩余1 000組作為測試集。

2.2 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

實(shí)驗(yàn)所采用的處理器為Intel(R) Xeon(R) Silver 4216 CPU@2.10 GHz,顯卡為NVIDIA Tesla V100(32 GB);深度學(xué)習(xí)框架為PyTorch1.8.0,cuda版本為11.1,Python版本為3.9。整個(gè)實(shí)驗(yàn)采用Adam優(yōu)化器,初始學(xué)習(xí)率設(shè)置為0.000 1,每個(gè)模型訓(xùn)練40個(gè)epoch。所設(shè)計(jì)的網(wǎng)絡(luò)中RRDB模塊的個(gè)數(shù)為3,MF-RSTB的數(shù)目為1,STL中的窗口大小、嵌入維數(shù)和注意頭的數(shù)目分別設(shè)置為4、60、6。

2.3 評(píng)價(jià)指標(biāo)

使用的損失函數(shù)為均方誤差(Mean-Squared Error,MSE),設(shè)生成的高分辨率降水圖像為I,真實(shí)的高分辨率降水圖像為K,則計(jì)算公式如下:

(12)

式中:r、s分別表示高分辨率圖像緯度方向和經(jīng)度方向的格點(diǎn)數(shù)。為了客觀評(píng)價(jià)生成的圖像質(zhì)量,采用超分辨率領(lǐng)域常用的結(jié)構(gòu)相似性(Structural Similarity,SSIM)指標(biāo),用于衡量兩圖像的相似程度,其值為0～1,值越大表示兩圖像越相似。其公式如下:

除此,還使用了一些氣象上的降水評(píng)價(jià)指標(biāo),如風(fēng)險(xiǎn)評(píng)分(TS)、誤報(bào)率(FAR)、精確度(Precision,P)以及命中率(POD)。首先對(duì)預(yù)測結(jié)果和真實(shí)降水進(jìn)行二值化處理,選定閾值為18 dBZ,即格點(diǎn)數(shù)值不小于0.5 mm/h,視為存在降水[21],記為1,否則記為0;然后逐方格統(tǒng)計(jì)命中的格點(diǎn)數(shù)目TP(預(yù)測為1,真實(shí)為1)、漏報(bào)的格點(diǎn)數(shù)目FN(預(yù)測為0,真實(shí)為1)、誤報(bào)的格點(diǎn)數(shù)目FP(預(yù)測為1,真實(shí)為0)、無降水預(yù)報(bào)正確的格點(diǎn)數(shù)目TN(預(yù)測為0,真實(shí)為0)。上述指標(biāo)計(jì)算如下:

2.4 結(jié)果與分析

為驗(yàn)證算法STMFF的先進(jìn)性,同其他一些深度學(xué)習(xí)算法進(jìn)行了定量的客觀評(píng)價(jià)和主觀視覺效果的對(duì)比,這些模型包括:U-Net[22]、U-Net3D[23]、Zooming Slow-Mo[5]和TMNet[24]。上述模型均使用L2損失作為損失函數(shù),圖6給出了幾種深度學(xué)習(xí)方法的訓(xùn)練損失函數(shù)曲線。

(a)模型訓(xùn)練損失函數(shù)曲線

圖6(a)中的Zooming Slow-Mo-DS是文獻(xiàn)[5]中表現(xiàn)最優(yōu)越的模型,其融合了靜態(tài)和動(dòng)態(tài)輔助數(shù)據(jù),Zooming Slow-Mo是文獻(xiàn)[5]中不添加任何輔助數(shù)據(jù)的模型,只輸入了雷達(dá)降水反射率數(shù)據(jù);STMFF模型表示不添加動(dòng)態(tài)輔助數(shù)據(jù)(測量高度和降水概率數(shù)據(jù))和靜態(tài)輔助數(shù)據(jù),只輸入雷達(dá)降水反射率數(shù)據(jù),即只使用了3個(gè)LFC和一個(gè)MF-RSTB,不使用DFM并不對(duì)特征時(shí)間插值模塊使用SFB模塊進(jìn)行改進(jìn)。STMFF-D表示在STMFF的基礎(chǔ)上添加DFM,即使用動(dòng)態(tài)輔助數(shù)據(jù);STMFF-S表示在STMFF的基礎(chǔ)上對(duì)特征時(shí)間插值模塊進(jìn)行改進(jìn),添加SFB模塊以有效利用靜態(tài)輔助數(shù)據(jù);STMFF-DS使用了靜態(tài)與動(dòng)態(tài)輔助數(shù)據(jù),其完整網(wǎng)絡(luò)結(jié)構(gòu)見圖6。

由圖6(a)可知,U-Net收斂效果最差;STMFF與Zooming Slow-Mo-DS的收斂效果接近,但明顯優(yōu)于Zooming Slow-Mo的收斂效果,L2損失最終收斂在0.36 dBZ2附近,STMFF在不添加任何輔助數(shù)據(jù)的情況下,其模型的收斂能力和添加了2類輔助數(shù)據(jù)的Zooming Slow-Mo-DS基本無差別。由圖6(b)可知,不添加任何輔助數(shù)據(jù)的STMFF收斂效果最差,分別添加靜態(tài)與動(dòng)態(tài)輔助數(shù)據(jù)后,均提高了模型的性能,其中添加動(dòng)態(tài)輔助數(shù)據(jù)后的STMFF-D收斂效果提升最明顯,加入2類輔助數(shù)據(jù)的STMFF-DS收斂能力略差于STMFF-D。STMFF-D最終收斂在0.32 dBZ2以下。

本文采用多種評(píng)價(jià)指標(biāo)來衡量各模型在1 000組測試樣本上的表現(xiàn)情況,表1給出了各對(duì)比模型的指標(biāo)表現(xiàn)情況,表2給出了在STMFF基礎(chǔ)上,基于多特征融合的各模型表現(xiàn)情況。其中黑色字體表示最優(yōu)的結(jié)果,單橫杠線表示次優(yōu)結(jié)果,t2時(shí)刻的MSE表示插值得到的中間幀圖像與真實(shí)中間幀圖像之間的均方誤差。

表1 各對(duì)比模型在測試集上的表現(xiàn)情況Tab.1 Performance of each model on the test set

表2 STMFF各改進(jìn)模型在測試集上的表現(xiàn)情況Tab.2 Performance of each improved STMFF model on the test set

由表1可知,STMFF在不添加任何輔助數(shù)據(jù)時(shí),效果仍在大多數(shù)指標(biāo)上優(yōu)于其余對(duì)比模型;在本實(shí)驗(yàn)中Zooming Slow-Mo-DS僅在FAR和P兩個(gè)指標(biāo)上優(yōu)于STMFF,在其他指標(biāo)上均差于STMFF,尤其在MSE指標(biāo)上STMFF優(yōu)勢更明顯;此外,不添加輔助數(shù)據(jù)的STMFF和不添加輔助數(shù)據(jù)的Zooming Slow-Mo相比,在所有指標(biāo)上前者均優(yōu)于后者,這說明不添加任何輔助數(shù)據(jù)的STMFF性能更佳,展示出LFC模塊和MF-RSTB模塊對(duì)網(wǎng)絡(luò)性能的提升有積極作用。

由表2可知,STMFF-D在除POD這一指標(biāo)外,在大多數(shù)指標(biāo)上均優(yōu)于STMFF,說明設(shè)計(jì)的DFM可有效地利用動(dòng)態(tài)輔助數(shù)據(jù),實(shí)現(xiàn)多種動(dòng)態(tài)數(shù)據(jù)的特征融合。STMFF沒有任何一項(xiàng)指標(biāo)優(yōu)于STMFF-S,說明利用SFB模塊可對(duì)特征時(shí)間插值模塊進(jìn)行有效改進(jìn),充分利用靜態(tài)數(shù)據(jù)的特征來積極影響卷積核的偏移量,以提高插值得到的中間幀圖像質(zhì)量。STMFF-S在大多數(shù)指標(biāo)上均優(yōu)于STMFF-D,且在MSE指標(biāo)上前者的優(yōu)勢更明顯,說明靜態(tài)輔助數(shù)據(jù)的使用對(duì)降尺度結(jié)果的改進(jìn)效果更明顯。STMFF-DS在大多數(shù)指標(biāo)上均優(yōu)于其他模型,只在FAR和P兩個(gè)指標(biāo)上差于其他模型,說明網(wǎng)絡(luò)中同時(shí)加入靜態(tài)和動(dòng)態(tài)輔助數(shù)據(jù)可在一定程度上進(jìn)一步改善降尺度結(jié)果。

表3給出了各模型以雙3次插值結(jié)果為基準(zhǔn),在3幀圖像上的MSE表現(xiàn)情況。由表3可知,Zooming Slow-Mo的MSE降低了71.18%,Zooming Slow-Mo-DS的MSE降低了73.27%,STMFF的MSE降低了73.86%,STMFF在不添加輔助數(shù)據(jù)的情況下也優(yōu)于Zooming Slow-Mo-DS,并明顯優(yōu)于Zooming Slow-Mo,說明STMFF的性能更優(yōu)越。STMFF-DS的MSE降低了74.42%,降低率在所有模型中最高,說明借助靜態(tài)和動(dòng)態(tài)輔助數(shù)據(jù)的特征,可對(duì)降水降尺度的結(jié)果進(jìn)行改善。

表3 與Trilinear在3幀圖像MSE指標(biāo)上的比較

圖7給出了各模型經(jīng)時(shí)間和空間降尺度后的雷達(dá)降水圖像,輸入的是t1和t3時(shí)刻的低分辨率圖像,時(shí)間分辨率為10 min;最后得到包含t2時(shí)刻在內(nèi)的3幀高分辨率降水圖像,時(shí)間分辨率為5 min。由圖7可知,雙3次插值得到的圖像質(zhì)量最差,難以恢復(fù)出各時(shí)刻圖像的紋理細(xì)節(jié)信息。各模型得到的中間幀圖像(t2時(shí)刻圖像)均和實(shí)際圖像有著一定差異,但STMFF效果明顯優(yōu)于Zooming Slow-Mo、Zooming Slow-Mo-DS、U-Net、U-Net3D和TMNet等對(duì)比模型;各模型得到的前后2幀圖像(t1時(shí)刻圖像和t3時(shí)刻圖像)和實(shí)際圖像的差異較小,在大部分區(qū)域的降水分布重建情況表現(xiàn)較好,只在一些局部強(qiáng)降水區(qū)域與真實(shí)圖像有著一定的差距。

(a)Trilinear、U-Net、U-Net3D

在前后2幀的圖像重建方面,引入輔助數(shù)據(jù)后的STMFF-S、STMFF-D以及STMFF-DS并沒有較STMFF有多大效果提升,4種模型所重建的圖像質(zhì)量差異很小。在中間幀圖像的重建方面,引入輔助數(shù)據(jù)后能在一定程度上改善重建的圖像質(zhì)量。具體而言,STMFF-S在中間幀圖像的紋理細(xì)節(jié)上優(yōu)于不添加輔助數(shù)據(jù)的STMFF和只添加動(dòng)態(tài)輔助數(shù)據(jù)的STMFF-D;同時(shí)輸入靜態(tài)與動(dòng)態(tài)輔助數(shù)據(jù)的STMFF-DS在中間幀圖像上的重建效果較STMFF-S而言提升有限。降水分布圖難以明顯地揭示各模型重建圖像的差異,需要引入預(yù)測與真實(shí)圖像之間的差值圖來進(jìn)行進(jìn)一步分析。

圖8給出了各模型每幀的預(yù)測結(jié)果和真實(shí)各幀圖像之間的差異圖像。由圖8可知,雙3次插值的各幀圖像結(jié)果均最差。各模型對(duì)第一幀圖像(t1時(shí)刻圖像)和第三幀圖像(t3時(shí)刻圖像)的重建均有著較好的效果,恢復(fù)了圖像絕大部分的細(xì)節(jié)信息,但其中U-Net和U-Net3D的重建效果不及其他模型。同時(shí)結(jié)合表1和表2可知,STMFF在3幀圖像的整體重建質(zhì)量方面均優(yōu)于U-Net、U-Net3D、TMNet、Zooming Slow-Mo和Zooming Slow-Mo-DS,僅在中間幀圖像的極少部分強(qiáng)降水區(qū)域的重建情況略不及TMNet,其他區(qū)域則效果更好。

STMFF-DS在對(duì)動(dòng)態(tài)與靜態(tài)輔助數(shù)據(jù)的特征進(jìn)行融合后,較所有對(duì)比模型取得了最優(yōu)的效果。然而,各模型對(duì)中間幀圖像(t2時(shí)刻圖像)的重建質(zhì)量均和實(shí)際圖像有著較大的差異,因?yàn)橹虚g幀的圖像是利用前后2幀圖像的信息生成的;盡管如此,STMFF在中間幀圖像上的表現(xiàn)明顯優(yōu)于上述對(duì)比模型。在前后2幀圖像的重建質(zhì)量方面,引入輔助數(shù)據(jù)后的STMFF-S、STMFF-D以及STMFF-DS并沒有較STMFF有多大效果提升。

在中間幀圖像質(zhì)量方面,STMFF-D效果優(yōu)于STMFF,說明添加動(dòng)態(tài)輔助數(shù)據(jù)較不添加任何輔助數(shù)據(jù)而言能改善模型性能;STMFF-S效果優(yōu)于STMFF-D,說明添加靜態(tài)輔助數(shù)據(jù)較添加動(dòng)態(tài)輔助數(shù)據(jù)而言能取得更好的效果;STMFF-DS在輸入動(dòng)態(tài)和靜態(tài)輔助數(shù)據(jù)后,其中間幀圖像質(zhì)量改善有限,在極少部分局部強(qiáng)降水區(qū)域的表現(xiàn)不及STMFF-S與STMFF-D,但在其余大部分區(qū)域的降水重建效果更好。

3 結(jié)束語

本文提出的基于多氣象要素特征融合的時(shí)空降尺度模型,可通過使用若干個(gè)RRDB模塊、3個(gè)LFC模塊和一個(gè)MF-RSTB來提升網(wǎng)絡(luò)性能,其中MF-RSTB將卷積與Swin Transformer結(jié)合,能提取每幀圖像的多尺度特征并去除冗余信息;LFC模塊可對(duì)特征時(shí)間插值模塊后得到的3幀圖像分別進(jìn)行細(xì)化,進(jìn)一步改善每幀圖像質(zhì)量;所對(duì)應(yīng)的STMFF較對(duì)比模型恢復(fù)圖像細(xì)節(jié)信息的能力更強(qiáng),且特征時(shí)間插值模塊得到的中間幀圖像更符合實(shí)際的雷達(dá)降水隨時(shí)間演變的趨勢。

利用SFB模塊和DFM均能分別對(duì)靜態(tài)與動(dòng)態(tài)輔助數(shù)據(jù)的特征進(jìn)行有效地融合,所對(duì)應(yīng)的STMFF-S以及STMFF-D較不添加任何輔助數(shù)據(jù)的STMFF,其模型性能要更強(qiáng);STMFF-S性能優(yōu)于STMFF-D性能,說明靜態(tài)輔助數(shù)據(jù)對(duì)網(wǎng)絡(luò)性能的提升較動(dòng)態(tài)輔助數(shù)據(jù)更明顯;同時(shí)輸入靜態(tài)和動(dòng)態(tài)輔助數(shù)據(jù)的STMFF-DS性能提升有限,但在絕大多數(shù)指標(biāo)上優(yōu)于各對(duì)比模型,重建的每幀圖像質(zhì)量也優(yōu)于各對(duì)比模型,僅在中間幀圖像的極少部分強(qiáng)降水區(qū)域略差于STMFF-S和STMFF-D。

下一步將探究2類輔助數(shù)據(jù)對(duì)降尺度結(jié)果的影響機(jī)制,以便充分利用動(dòng)態(tài)輔助數(shù)據(jù)和靜態(tài)輔助數(shù)據(jù)。此外,還將利用去噪擴(kuò)散概率模型(DDPM)[25]的思想來優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu),提高網(wǎng)絡(luò)在同時(shí)輸入2類輔助數(shù)據(jù)后的性能,增強(qiáng)時(shí)空降尺度模型的可解釋性與泛化性。