王瑞祥

（1.河南省氣象探測(cè)數(shù)據(jù)中心，河南 鄭州 450003；2.中國氣象局·河南省農(nóng)業(yè)氣象保障與應(yīng)用技術(shù)重點(diǎn)實(shí)驗(yàn)室，河南 鄭州 450003）

0 引言

目前，我國已建立地面、高空和空間觀測(cè)相結(jié)合的綜合氣象觀測(cè)網(wǎng)，在支撐公共氣象、資源氣象及生態(tài)氣象服務(wù)中發(fā)揮了顯著作用，但在部分氣象災(zāi)害重點(diǎn)監(jiān)測(cè)區(qū)域、特殊地理位置和一些重點(diǎn)服務(wù)區(qū)域仍然存在觀測(cè)途徑難、站點(diǎn)稀少等問題，難以捕捉到局地災(zāi)害性天氣現(xiàn)象和觀測(cè)資料。據(jù)此，河南作為志愿氣象觀測(cè)的試點(diǎn)省份，已招募社會(huì)志愿氣象觀測(cè)設(shè)備并入觀測(cè)站網(wǎng)序列。但是由于志愿觀測(cè)設(shè)備存在多樣性，測(cè)量環(huán)境各異，儀器缺乏穩(wěn)定性，數(shù)據(jù)采集和傳輸受到通信條件和觀測(cè)環(huán)境多種因素的限制，一系列觀測(cè)圖像質(zhì)量較低，給研究帶來了困難，因此需要對(duì)氣象觀測(cè)圖像進(jìn)行超分辨率重構(gòu)。

超分辨率（Super-Resolution，SR）是圖像分析與識(shí)別中的一項(xiàng)基本技術(shù)，可以極大地促進(jìn)農(nóng)作物圖像的目標(biāo)識(shí)別任務(wù)，在傳統(tǒng)的圖像識(shí)別領(lǐng)域應(yīng)用廣泛［1-2］。在農(nóng)業(yè)氣象觀測(cè)以及一些志愿觀測(cè)圖像中，例如農(nóng)作物的生長圖像、重要天氣現(xiàn)象圖像、天氣過程的圖像等，不同觀測(cè)設(shè)備的圖像質(zhì)量存在較大的差異，傳統(tǒng)圖像空間中的像素級(jí)均方誤差損失函數(shù)通常運(yùn)用在極個(gè)別圖像的超分辨率重構(gòu)上［3］，其像素級(jí)的輸出更接近真實(shí)的HR 圖像，會(huì)使得輸出的圖像產(chǎn)生平滑和模糊的效果，對(duì)細(xì)節(jié)和紋理的要求不高。相對(duì)于普通圖像的超分辨率，氣象觀測(cè)圖像中不同的觀測(cè)要素存在特定的先驗(yàn)知識(shí)，例如霧霾、冰雹、降水、大風(fēng)以及農(nóng)作物不同的周期生長，具有不同的知識(shí)特點(diǎn)，這些先驗(yàn)知識(shí)是氣象圖像的超分辨率的關(guān)鍵，例如，不同天氣圖像所對(duì)應(yīng)的天氣現(xiàn)象字段以及不同的農(nóng)作物圖片對(duì)應(yīng)的生長周期等可以幫助重建更加精細(xì)的目標(biāo)形狀［4］，其字段的構(gòu)造成分可以重塑目標(biāo)細(xì)節(jié)。

通過對(duì)FSRNet 超分辨率網(wǎng)絡(luò)各個(gè)模塊進(jìn)行分析研究發(fā)現(xiàn)，傳統(tǒng)的超分辨率網(wǎng)絡(luò)模塊之間構(gòu)造相對(duì)粗略，損失函數(shù)的設(shè)計(jì)相對(duì)欠缺不夠完善，從而導(dǎo)致經(jīng)過網(wǎng)絡(luò)訓(xùn)練輸出的超分辨率圖像的紋理不夠精細(xì)、各項(xiàng)硬指標(biāo)和視覺質(zhì)量不高。針對(duì)以上問題，本研究提出了一種基于多維損失函數(shù)優(yōu)化FSRNet 的氣象觀測(cè)圖像超分辨率重構(gòu)算法，降低了計(jì)算復(fù)雜度，節(jié)省了大量的計(jì)算量，對(duì)網(wǎng)絡(luò)訓(xùn)練采用遞進(jìn)式的方法，對(duì)模型進(jìn)行分步訓(xùn)練，解決了網(wǎng)絡(luò)訓(xùn)練時(shí)較難的參數(shù)調(diào)整，避免了粗略超分辨率網(wǎng)絡(luò)造成先驗(yàn)估計(jì)準(zhǔn)確性較低等相關(guān)問題，使粗略超分辨率網(wǎng)絡(luò)輸出質(zhì)量較高的圖像。

1 傳統(tǒng)超分辨率網(wǎng)絡(luò)

傳統(tǒng)的超分辨率網(wǎng)絡(luò)結(jié)構(gòu)可大致分為粗糙SR網(wǎng)絡(luò)（coarse SR network）、精細(xì)SR 編碼器（fine SR encoder）、先驗(yàn)估計(jì)網(wǎng)絡(luò)（prior estimation network）和精細(xì)SR 解碼器（fine SR decoder）四個(gè)模塊。網(wǎng)絡(luò)的輸入經(jīng)過立方卷積插值模糊處理過的圖像，最后輸出的是高分辨率的SR 圖像。通過立方卷積插值（bicubic）對(duì)氣象觀測(cè)圖像進(jìn)行接近高分辨率的圖像放大效果處理，為了使先驗(yàn)估計(jì)網(wǎng)絡(luò)直接從分辨率相對(duì)較低的氣象觀測(cè)圖像中提取到關(guān)鍵的先驗(yàn)信息，首先不改變輸出圖像大小，使圖像由粗糙SR 網(wǎng)絡(luò)輸入，先快速生成一個(gè)粗略的SR圖像，使得先驗(yàn)估計(jì)網(wǎng)絡(luò)能夠提取到相對(duì)準(zhǔn)確的圖像中目標(biāo)關(guān)鍵點(diǎn)和解析圖。氣象觀測(cè)圖像途徑粗略的SR 網(wǎng)絡(luò)后可以產(chǎn)生粗略SR 圖像，將粗略SR 圖像輸入到先驗(yàn)估計(jì)網(wǎng)絡(luò)中，通過先驗(yàn)估計(jì)網(wǎng)絡(luò)來預(yù)測(cè)氣象觀測(cè)圖像中的目標(biāo)解析圖和關(guān)鍵點(diǎn)熱圖，對(duì)圖像進(jìn)行降采樣，使得輸出的先驗(yàn)信息包括多個(gè)預(yù)測(cè)的目標(biāo)解析圖。接著將粗略SR 圖像輸入到精細(xì)SR 編碼器中，精細(xì)SR 編碼器利用殘差塊進(jìn)行特征提取，將特征進(jìn)行下采樣，將先驗(yàn)特征融合圖像特征作為串聯(lián)結(jié)構(gòu)形式，并把其作為精細(xì)SR 解碼器的輸入，運(yùn)用精細(xì)SR 解碼器將特征進(jìn)行上采樣到一個(gè)較高的分辨率，恢復(fù)最終的HR 圖像，此時(shí)相對(duì)分辨率較模糊的氣象觀測(cè)圖像就完成了傳統(tǒng)的超分辨率重建，可以提高氣象圖像精細(xì)化程度，但圖像的紋理不夠精細(xì)、各項(xiàng)硬指標(biāo)和視覺質(zhì)量仍不高。

2 超分辨率網(wǎng)絡(luò)的改進(jìn)

2.1 粗糙SR網(wǎng)絡(luò)的優(yōu)化

原始的FSRNet 超分辨率網(wǎng)絡(luò)對(duì)于圖像的輸入尺寸相對(duì)較大，往往是插值過后的低分辨率圖像，然而輸入圖像的尺寸與經(jīng)過神經(jīng)網(wǎng)絡(luò)訓(xùn)練計(jì)算的時(shí)間復(fù)雜度成正比，尺寸越大則時(shí)間復(fù)雜度越高。因此，為了提高網(wǎng)絡(luò)的效率和重構(gòu)質(zhì)量，把原始圖像進(jìn)行降分辨度輸入，保證輸入尺寸為較低的16×16 低分辨率圖像，并以此輸入至粗糙SR 網(wǎng)絡(luò)中進(jìn)行圖像恢復(fù)，并在粗糙SR 網(wǎng)絡(luò)末端融入轉(zhuǎn)置反卷積函數(shù)再把圖像恢復(fù)至128×128×3。FSRNet 在粗糙SR網(wǎng)絡(luò)中使用了3個(gè)殘差塊來提取特征，在最后增加一個(gè)轉(zhuǎn)置卷積層來放大圖像。

2.2 多維損失函數(shù)構(gòu)建

通過使用FAN網(wǎng)絡(luò)，來提取目標(biāo)熱圖進(jìn)行監(jiān)督訓(xùn)練，引入的蒸餾FAN網(wǎng)絡(luò)表示為FANd。

通過引入圖像目標(biāo)注意力損失，恢復(fù)目標(biāo)圖像周圍區(qū)域的屬性特征，由于圖像的關(guān)鍵點(diǎn)熱圖可以更好地體現(xiàn)目標(biāo)所在的位置特征，所以運(yùn)用目標(biāo)關(guān)鍵點(diǎn)熱圖表現(xiàn)位置信息，記為Mτ，將放大后的圖像與目標(biāo)圖像構(gòu)成逐要素信息矩陣向量，并對(duì)其進(jìn)行向量積計(jì)算，以目標(biāo)周圍的圖像特征作為圖像目標(biāo)注意力的重點(diǎn)關(guān)注區(qū)域，由此目標(biāo)注意力損失可以表示為lat，其損失函數(shù)表示為式（1）。

式中：G代表圖像目標(biāo)SR 網(wǎng)絡(luò)的生成器，G在訓(xùn)練的第一階段表示為粗略SR 網(wǎng)絡(luò)，后一階段表示剩余網(wǎng)絡(luò)。HSR和LSR分別為輸入的目標(biāo)圖像和Plow。目標(biāo)熱圖在各通道上的最大值為關(guān)鍵點(diǎn)注意力熱圖Mτ。使熱圖標(biāo)準(zhǔn)化至［0，1］范圍內(nèi)，使得界標(biāo)之間的差異性特征更為鮮明，圖像的長和寬W、H均為128像素。

先驗(yàn)損失的引入，通過先驗(yàn)估計(jì)網(wǎng)絡(luò)PNet預(yù)測(cè)目標(biāo)先驗(yàn)信息，減少生成的圖像先驗(yàn)信息和目標(biāo)先驗(yàn)信息之間的差異性，先驗(yàn)損失函數(shù)記為lprior，其定義如式（2）。

式中：PNet降采樣后輸出，所以經(jīng)過粗略SR 網(wǎng)絡(luò)后輸出的氣象觀測(cè)圖像為64×64像素。

感知損失的引入［5］，使用VGG16網(wǎng)絡(luò)的高級(jí)特征記為φVGG，生成更真實(shí)的HR 圖像，有效防止生成的氣象圖像產(chǎn)生失真和模糊的問題，感知損失函數(shù)記為lperc，其表現(xiàn)形式如式（3）。

通過引入逐像素均方誤差損失訓(xùn)練，找出目標(biāo)圖像和超分辨圖像之間的差異性最小的界值，均方誤差損失函數(shù)記為lmse，其表現(xiàn)形式如式（4）。

與基于MSE的深度模型圖像重建相比，生成對(duì)抗網(wǎng)絡(luò)（GAN）對(duì)SR 的圖像重建帶來了顯著的效果，通過判別網(wǎng)絡(luò)區(qū)分SR 圖像和真實(shí)環(huán)境下的高分辨率圖像，有效地還原真實(shí)環(huán)境下的圖像。引入對(duì)抗損失函數(shù)來生成超分辨率氣象觀測(cè)圖像，通過構(gòu) 建 鑒 別 器Diden，MSE 損 失 可 以 用IHSR～PNetr與ISR～PNetg之間的關(guān)系來表示，其中IHSR～PNetr表示為圖像的目標(biāo)分布特征，ISR～PNetg表示為圖像生成的分布的特征，用Wasserstein 距離［6］的概念來度量IHSR～PNetr與ISR～PNetg之間的關(guān)系，為了對(duì)鑒別器中“Lipschitz-1 條件”進(jìn)行有效規(guī)范和限定，采用帶有梯度懲罰策略的WGAN（WGAN with gradient penalty）［7］，該策略相比于傳統(tǒng)的WGAN 訓(xùn)練更加穩(wěn)定，可以使收斂速度變得更快，并且使得生成的樣本圖像質(zhì)量更高。令I(lǐng)～表示為PNetr和PNetg的樣本中的隨機(jī)采樣圖像，對(duì)抗性損失函數(shù)記為lWGAN，其表現(xiàn)形式如式（5）。

熱力圖可以精確描述目標(biāo)中心點(diǎn)的特征，通過訓(xùn)練，可以準(zhǔn)確得知目標(biāo)中心存在損失，為了更好地發(fā)掘目標(biāo)中心點(diǎn)的特征，引入熱圖損失，使得目標(biāo)結(jié)構(gòu)的一致性得以提升。通過量化目標(biāo)圖像熱力圖與最小生成圖像相互之間存在的關(guān)系，用它們之間的差異性距離來計(jì)算熱度損失，把熱圖損失記為lheatmap，其損失函數(shù)的形式語言定義如式（6）。

式中：N表示關(guān)鍵點(diǎn)的數(shù)量。綜上所述，通過上述損失函數(shù)的融入，進(jìn)行多維訓(xùn)練，首先訓(xùn)練粗略SR 網(wǎng)絡(luò)，其次訓(xùn)練剩余網(wǎng)絡(luò)部分，具體訓(xùn)練損失函數(shù)表示為式（7）、式（8）。

本研究?jī)?yōu)化超分辨率網(wǎng)絡(luò)結(jié)構(gòu)，構(gòu)成了一種多維損失函數(shù)的超分辨率網(wǎng)絡(luò)（Multi-dimensional loss function super resolution network，MLFSRNet），通過融入對(duì)抗性損失訓(xùn)練，以超分辨率網(wǎng)絡(luò)生成器和鑒別器網(wǎng)絡(luò)組成網(wǎng)絡(luò)的整體結(jié)構(gòu)。生成器網(wǎng)絡(luò)的結(jié)構(gòu)在FSRNet 的基礎(chǔ)下優(yōu)化了粗糙SR 網(wǎng)絡(luò)，以卷積層（Conv）、平均池化層（AvePool）和LeakyReLU激活組成鑒別器網(wǎng)絡(luò)的結(jié)構(gòu)。

3 試驗(yàn)分析

3.1 數(shù)據(jù)集和相關(guān)參數(shù)

為了使模型能夠更好地?cái)M合真實(shí)環(huán)境，更容易與先進(jìn)的算法模型進(jìn)行比較，選擇使用公開的數(shù)據(jù)集MWD（Multi-class Weather Dataset）進(jìn)行試驗(yàn)分析，該數(shù)據(jù)集包含6 個(gè)常見類別的65 000 張圖像，這些類別包括晴天、多云、下雨、下雪、薄霧和雷雨天氣。該數(shù)據(jù)集還有利于天氣分類和屬性識(shí)別。

3.2 損失函數(shù)的影響分析

通過消融研究來驗(yàn)證本研究所提出的MLFSRNet網(wǎng)絡(luò)在引入面部注意力損失、熱圖損失和感知損失的有效性，使用最普遍使用的峰值信噪比PSNR來評(píng)估超分辨率網(wǎng)絡(luò)的性能，用結(jié)構(gòu)相似性SSIM指標(biāo)來評(píng)估各個(gè)損失函數(shù)對(duì)于網(wǎng)絡(luò)優(yōu)化的影響，以不同結(jié)構(gòu)的網(wǎng)絡(luò)進(jìn)行試驗(yàn)對(duì)比。由表1 可知，由不同損失函數(shù)構(gòu)成的網(wǎng)絡(luò)與構(gòu)造的多維損失函數(shù)相比，其中l(wèi)step1-δlheatmap-εlat是去掉了注意力損失和熱度損失，只有像素?fù)p失和感知損失并進(jìn)行對(duì)抗性訓(xùn)練的結(jié)果，lstep1-εlat加入了熱圖損失，lstep1包含注意力損失、熱度損失以及像素?fù)p失和感知損失。由試驗(yàn)可知，當(dāng)在模型中融入注意力損失和熱圖損失構(gòu)成多維損失融入后，PSNR 和SSIM 指標(biāo)在數(shù)據(jù)集上的試驗(yàn)效果都有明顯上升，由此可知MLFSRNet網(wǎng)絡(luò)的性能更好，可以生產(chǎn)出效果更佳的超分辨率圖像。

表1 超分辨率網(wǎng)絡(luò)的PSNR和SSIM指標(biāo)的消融比較

3.3 粗略SR網(wǎng)絡(luò)的優(yōu)化分析

為了驗(yàn)證MLFSRNet 優(yōu)化后粗略SR 網(wǎng)絡(luò)的性能，與傳統(tǒng)超分辨率網(wǎng)絡(luò)的粗略SR網(wǎng)絡(luò)進(jìn)行對(duì)比分析。MLFSRNet 輸入的是16×16 像素的低分辨率圖像，F(xiàn)SRNet輸入的是128×128像素，所以MLFSRNet的粗略SR 網(wǎng)絡(luò)算法復(fù)雜度有所降低。該模型隨著網(wǎng)絡(luò)訓(xùn)練PSNR 和SSIM 的變化情況如圖1 所示，MLFSRNet 和原始FSRNet 的粗略SR 網(wǎng)絡(luò)在PSNR和SSIM 上的對(duì)比見表2，由此可知構(gòu)造的模型對(duì)圖像的超分辨率優(yōu)化比傳統(tǒng)模型效果更好。

圖1 MLFSRNet網(wǎng)絡(luò)訓(xùn)練PSNR和SSIM變化圖

表2 MLFSRNet與傳統(tǒng)FSRNet對(duì)比

3.4 MLFSRNet與先進(jìn)算法模型對(duì)比分析

將構(gòu)造的多維損失函數(shù)的超分辨率網(wǎng)絡(luò)MLFSRNet方法與一些先進(jìn)的算法模型進(jìn)行對(duì)比分析，圖2 分別顯示了構(gòu)造的算法在不同量級(jí)的MWD 數(shù)據(jù)集中效果都優(yōu)于其他算法。由表3也可以看出構(gòu)造的網(wǎng)絡(luò)在PSNR和SSIM上都優(yōu)于傳統(tǒng)的FSRNet［8-9］。

圖2 MLFSRNet網(wǎng)絡(luò)與先進(jìn)算法對(duì)比

表3 MLFSRNet與優(yōu)秀的FSRNet比較PSNR和SSIM

4 結(jié)論

本研究提出了一種多維損失函數(shù)優(yōu)化FSRNet的超分辨率網(wǎng)絡(luò)MLFSRNet，首先引入熱圖損失、目標(biāo)注意力損失和對(duì)抗性損失等多維損失函數(shù)，對(duì)FSRNet 進(jìn)行模塊優(yōu)化，使用轉(zhuǎn)置卷積放大低分辨率的圖像，從而降低了算法復(fù)雜度，并提升了粗略SR 網(wǎng)絡(luò)的性能。其次對(duì)模型進(jìn)行分步訓(xùn)練，先對(duì)低分辨率圖像進(jìn)行粗略SR 網(wǎng)絡(luò)訓(xùn)練，再使剩余網(wǎng)絡(luò)融入訓(xùn)練，解決了網(wǎng)絡(luò)訓(xùn)練時(shí)調(diào)參困難等相關(guān)問題，引入熱圖損失、目標(biāo)注意力損失和對(duì)抗性損失訓(xùn)練，也提高了超分辨率氣象觀測(cè)圖像的質(zhì)量，通過試驗(yàn)證明MLFSRNet 對(duì)于氣象圖像的超分辨率重建效果比一些先進(jìn)的算法更好，為氣象領(lǐng)域圖像天氣現(xiàn)象識(shí)別提供了支撐。