胡偉東,張文龍,安大偉,王 璐,陳 實,岳 芬,LIGTHART Leo P.

(1. 北京理工大學，北京 100081；2. 國家衛(wèi)星氣象中心，北京 100142；3. 代爾夫特理工大學，荷蘭 代爾夫特 2628 CN)

0 引言

毫米波和亞毫米波成像儀(MMSI)是中國風云四號地球同步軌道氣象衛(wèi)星上的重要載荷。其極化方式分為水平和垂直兩種，54，118，183，380，425 GHz的5個頻段可用于獲取地球亮溫數(shù)據(jù)。在空間遙感和地球觀測方面，MMSI具有巨大潛力且被廣泛應用，還可連續(xù)觀測云層變化，彌補氣象衛(wèi)星無法觀測惡劣天氣，如風暴、颶風、臺風和冰雹等方面的不足。由于天線尺寸、系統(tǒng)噪聲和下采樣的限制，MMSI的低頻通道空間分辨率較低，影響數(shù)據(jù)的進一步使用，例如有些地球物理參數(shù)的求取需要組合應用不同波段的亮溫數(shù)據(jù)[1-5]，故有必要采取一些技術來解決該問題。

BG(Backus-Gilbert)反演算法最初由Backus和Gilbert[6-7]提出，其利用天線方向圖中地面重疊區(qū)域的冗余信息和天線方向圖的先驗知識從天線溫度反演出與地面真實場景更加接近的亮溫值，消除重疊模糊的影響。圖像去卷積算法由Sethman等[8-9]提出，通過傅里葉變換在頻域上構建Wiener濾波器進行濾波，得到?jīng)]有被平滑的亮溫分布的估計，在算法處理過程中降低了重疊模糊的影響。SIR(Scatterometer Image Reconstruction)算法最初用于散射計圖像的分辨率增強，是乘法代數(shù)重建技術 (Multiplicative Algebraic Reconstruction Technique，MART)的變形，該方法首先由Long等[10-11]發(fā)現(xiàn)并用于提高微波成像儀亮溫數(shù)據(jù)的分辨率。該算法基于迭代過程實現(xiàn)，首先將成像儀測量的像元分配到矩形網(wǎng)格上，使用迭代過程從初始亮溫估計出更加接近真實場景的亮溫圖像，并為每個像元提供亮溫的最大熵估計。其中BG反演算法和SIR算法模型構建較為復雜，需要考慮天線的增益等，且不能有效控制噪聲。圖像去卷積算法在分辨率提升較高時會產(chǎn)生振鈴效應，同時也伴隨著噪聲增大。

星載微波成像儀的非過采樣通道的地面像元沒有重疊，針對這種情況，文獻[12]中提出將超分辨(super-resolution)圖像重建算法應用于毫米波與亞毫米波探測儀非過采樣通道中。但在進行超分辨圖像重建的過程中，插值過程一般采用簡單的線性插值或雙三次插值，導致插值后的結果過于平滑。近些年，卷積神經(jīng)網(wǎng)絡(CNN)也被成功應用于圖像超分辨率[13]、去噪[14]和去模糊[15-16]等方面。本文只考慮亮溫數(shù)據(jù)的圖像超分辨率問題，目的是為訓練一個有效的卷積神經(jīng)網(wǎng)絡模型，以解決下采樣引起的圖像退化問題。與傳統(tǒng)的雙三次插值方法不同，基于學習思想的卷積神經(jīng)網(wǎng)絡模型將超分辨的過程定義為一個待學習的映射函數(shù)，通過數(shù)據(jù)驅動的思想和端對端的訓練方法來獲得該映射函數(shù)，無需預處理，訓練好的模型能得到更精細的重建結果。

1 設計思路與方法

超分辨卷積神經(jīng)網(wǎng)絡(SRCNN)被直接用于學習映射函數(shù)f′=F(g)，式中：g為觀測到的天線溫度圖像，可用于恢復圖像F(g) ，使其盡可能接近地面真實高分辨率亮溫圖像f。采用基于學習思想的卷積神經(jīng)網(wǎng)絡模型可實現(xiàn)該映射函數(shù)F。卷積神經(jīng)網(wǎng)絡能通過特征變換將觀測圖像數(shù)據(jù)重建為理想的高分辨數(shù)據(jù)，特征變換的過程即實現(xiàn)卷積核的卷積操作。卷積核的模型參數(shù)可通過在樣本集上訓練獲得；最優(yōu)的CNN模型權重參數(shù)可通過最小化卷積神經(jīng)網(wǎng)絡的輸出結果和高分辨率圖像之間的誤差學習獲得。為獲取低分辨率與高分辨率遙感圖像之間端對端的映射F，需確定SRCNN網(wǎng)絡架構中的相關參數(shù)ψ=(W1,W2,W3,B1,B2,B3)。定義損失函數(shù)：重構出的高分辨率亮溫圖像F(gi,ψ)與理想高分辨率亮溫圖像f間最小誤差函數(shù)，用于判斷訓練過程中這些參數(shù)是否最優(yōu)化，表達式為

(1)

式中：n為訓練集中樣本的個數(shù)；f為理想亮溫圖像；g為f下采樣退化后的結果；ψ為網(wǎng)絡模型參數(shù)；L為關于ψ的損失函數(shù)。在該過程中，卷積神經(jīng)網(wǎng)絡模型可直接學習高分辨率圖像f和低分辨率圖像g間的映射，不需預處理。

卷積神經(jīng)網(wǎng)絡模型包含3個卷積層，描述如下：

1)特征提取和表示。該操作從低分辨率的亮溫圖像中提取塊圖像，并把每個塊圖像表示為高維向量。塊圖像的選取是在原始圖像上采用大小為(33，33)、步長為1的滑動窗口提取，目的是更有效地提取圖像局部特征。

2)非線性映射。將每個高維向量非線性地映射到另一個高維向量上進行多次特征變換。

3)重建。將以上高維向量聚合在一起，生成最終的高分辨率亮溫圖像。期望該圖像與地面真實亮溫f盡可能接近。

第1層卷積層用于從低分辨率的亮度溫度圖像g中提取特征，在第1層中，用于特征提取的卷積核數(shù)為n1，故輸出為n1維向量。從低分辨率圖像中提取的n1維向量被下一層使用。第1層的映射函數(shù)可寫成

F1(g)=max(0,W1?g+B1)

(2)

式中：g為觀測到的亮溫數(shù)據(jù)；W1和B1分別為卷積核和偏差；?為卷積運算。

第1層從低分辨率圖像中提取了n1維特征，在第2次運算中，將這些n1維向量映射成n2維向量。第2層的映射函數(shù)為

F2(g)=max[0,W2?F1(g)+B2]

(3)

式中：W2為第2個卷積層的權重參數(shù)，包含n2卷積核；B2為n2維。第3層定義了一個卷積層，從n2維向量生成最終的高分辨率圖像，其映射函數(shù)為

F3(g)=W3?F2(g)+B3

(4)

式中：W3為第3層卷積層參數(shù)的權重，卷積層的第3層直接輸出高分辨率圖像，無任何后處理。實驗中使用的卷積神經(jīng)網(wǎng)絡由3層組成。使用標準的反向傳播作為訓練算法。

2 仿真實驗及結果分析

應用SRCNN模型重建低分辨率的亮溫圖像。

2.1 實驗設置

風云四號氣象衛(wèi)星于2016年12月11日發(fā)射，MMSI的真實亮溫數(shù)據(jù)尚未對外公開，故利用風云三號衛(wèi)星微波輻射成像儀(MWRI)的亮溫數(shù)據(jù)做模擬實驗。MWRI是中國的風云三號極軌衛(wèi)星上的一種毫米波、亞毫米波載荷。MWRI可測量水平和垂直極化中的10.65，18.70，23.80，36.50，89.00 GHz的亮溫。

選取2017年3月到6月的40幅圖像作為數(shù)據(jù)集的高分辨率圖像，其中包含了各種亮溫變化，可為模型提供豐富信息。高分辨率圖像通過下采樣來獲得低分辨率的圖像，高分辨率和低分辨率圖像被用作訓練SRCNN模型的數(shù)據(jù)集。在制作好的數(shù)據(jù)集中取出35張圖像用于訓練，剩下的5張圖像用于測試。

文獻[13]中提出了SRCNN的基準模型，并在文獻[17]中得以應用，卷積神經(jīng)網(wǎng)絡由 3層卷積層組成，卷積核數(shù)量分別為64、32、1，卷積核尺寸分別為9、1、5。因本文使用的數(shù)據(jù)集較小，卷積神經(jīng)網(wǎng)絡的模型使用了一組較小的超參數(shù)：卷積核的數(shù)量分別為20、10、1，卷積核尺寸分別為9、1、5。在訓練過程中，使用Caffe進行1.5×107次訓練，得到了最優(yōu)的結果。

在風云四號衛(wèi)星模擬數(shù)據(jù)和數(shù)據(jù)集中的測試圖像上測試訓練好的模型。用峰值信噪比(PSNR，RPSN)和結構相似度(SSIM，RSSIM)評估經(jīng)過訓練的模型。RPSN表示頂點信號到達噪聲比率，是峰值信號和干擾圖像質量的背景噪聲之間的工程性專業(yè)用語，也是權衡圖像失真或者信號失真的指標。其數(shù)學表達式為

RPSN=10lg[(2n-1)2/EMS]

(5)

(6)

式中：EMS為均方誤差，表示算法處理前和處理后的圖像的接近程度；I1(i,j)，I2(i,j)分別為參考圖像I1和待評價圖像I2在相同位置處的亮溫值；h和w為圖像的長和寬。RPSN和EMS是基于參考圖像I1和待評價圖像I2之間對應像素點的誤差，即根據(jù)誤差敏感度對遙感圖像亮溫值做相關計算和統(tǒng)計，進而評價其質量好壞。峰值信噪比值與失真情況對應相反關系，其值越大，表征待評價圖像I2越逼近參考圖像I1。

結構相似度基于圖像的結構性、像元間的關聯(lián)性以及人眼對其結構變化的敏感程度，從圖像結構、圖像對比度及其亮度三個方面的信息考慮參考圖像I1和待評價圖像I2間的相似程度，其數(shù)學表達式為

(7)

式中：C1,C2可確保式中分母不為零，從而增加計算的穩(wěn)定性，一般C1=[K1×(2n-1)]2，C2=[K2×(2n-1)]2，對應的K1=0.01，K2=0.03，n=8；μI1,μI2分別為參考圖像I1和待評價圖像I2的均值，表示二者的灰度信息分量；σI1,σI2分別為參考圖像I1和待評價圖像I2的方差，表示二者的對比度信息分量；σI1I2為參考圖像I1和待評價圖像I2的協(xié)方差，可以表示為

(8)

2.2 風云四號衛(wèi)星模擬數(shù)據(jù)的實驗結果

因風云四號衛(wèi)星中MMSI的真實亮溫數(shù)據(jù)尚未公開，故使用國家衛(wèi)星氣象中心提供的183 GHz正演模擬數(shù)據(jù)驗證模型，如圖1所示。

模擬亮溫數(shù)據(jù)為183 GHz通道的臺風場景信息，其分辨率為24 km×24 km。用雙三次插值模擬下采樣處理過程，得到退化圖像，實驗結果如圖2所示。

SRCNN重構圖像呈現(xiàn)的細節(jié)比雙三次重建圖像更詳細，臺風的輪廓更清晰，更接近最初的圖像(見圖1)。對于任何模型，根據(jù)最初的高分辨率圖像和重建圖像之間的峰值信噪比和結構相似度評估其性能。

在本實驗中，原始高分辨率圖像與雙三次重建圖像之間的RPSN和RSSIM分別為38.17 dB和0.95。原始高分辨率圖像與SRCNN重建圖像之間的RPSN和RSSIM分別為39.86 dB和0.97。經(jīng)過SRCNN的重建，RPSN和RSSIM分別增加了1.69 dB和0.02。該特征表明：與傳統(tǒng)的雙三次重建圖像相比，SRCNN重構圖像更接近初始圖像。在圖2中，選擇繪制了第60行的數(shù)據(jù)。SRCNN重建圖像的細節(jié)比雙三次重建圖像更接近初始圖像。

2.3 數(shù)據(jù)集實驗結果

地面分辨率為9 km×15 km的5幅89 GHz的測試圖像數(shù)據(jù)集被用來進一步評估模型。實驗使用雙三次插值模擬下采樣的處理過程，得到了退化圖像。模型的評估參數(shù)見表1，圖3為測試圖像的實驗結果。

表1 數(shù)據(jù)集測試圖像的評價指標

表1列出了數(shù)據(jù)集中5個測試圖像的評價指標。SRCNN模型通過學習低分辨率圖像和高分辨率圖像之間的映射關系來重構圖像，與雙三次重建方法相比，RPSN平均提高了1.13 dB。

圖4為圖3中的桑給巴爾島區(qū)域。圖4 (b)中桑給巴爾島的邊緣和細節(jié)受下采樣的影響較模糊。雙三次插值方法處理后，桑給巴爾島的輪廓更加明顯，但仍然缺乏一些細節(jié)。CNN模型具有強大的非線性映射能力，圖4(d)結果顯示，SRCNN模型能很好地重構原始圖像的細節(jié)信息。

圖5選擇和繪制了60行數(shù)據(jù)，SRCNN重構圖像的數(shù)據(jù)分布比雙三次重建圖像更接近原始圖像。盡管雙三次重建圖像的結果更平滑，但細節(jié)重構的結果不夠準確。通過數(shù)據(jù)分布，SRCNN重構的結果包含了更多原始圖像信息，得到了很好的結果。

3 結束語

本文介紹了卷積神經(jīng)網(wǎng)絡在風云衛(wèi)星亮溫圖像增強上的應用。雖然深度學習在計算機視覺和模式識別領域已經(jīng)取得了很大的成果，但在遙感數(shù)據(jù)中的應用，尤其是微波遙感數(shù)據(jù)，仍然有很多問題值得研究。

與傳統(tǒng)的插值方法不同，SRCNN方法提高了風云衛(wèi)星亮溫圖像的峰值信噪比，得到的結果較傳統(tǒng)方法更精細。本文提出的基于深度學習的方法不需要設計復雜精確的插值模型，因神經(jīng)網(wǎng)絡可在數(shù)據(jù)集中自動學習高分辨率圖像和低分辨率圖像之間的映射關系，直接輸出高分辨率圖像。實驗結果表明：使用SRCNN的增強圖像提供了更多的細節(jié)。評價指標展示了SRCNN對MMSI亮溫數(shù)據(jù)的有效性。由于亮溫圖像的圖像細節(jié)變化較為平緩，故在做模型設計時，如何使模型有效提取特征需要引起重視?；谏疃葘W習的超分辨模型適用于非過采樣亮溫數(shù)據(jù)的超分辨，也可在其他微波探測儀數(shù)據(jù)中改進使用，具有很強的普適性。由于深度學習模型具有很強的擬合能力，故在樣本集上進行訓練時容易產(chǎn)生過擬合的現(xiàn)象，必須采取正則化的方法防止過擬合。此外，深度學習模型需對大量樣本進行特征學習，但在氣象遙感領域，目前公開用于學術研究的數(shù)據(jù)集很少，故本文使用的數(shù)據(jù)集具有一定的局限性，僅驗證了算法的可行性。未來希望能夠有更權威的輻射計亮溫數(shù)據(jù)集推動該領域的發(fā)展。

利用SRCNN遙感圖像增強技術不僅有效提高了亮溫圖像的質量，而且提高了地面目標的識別能力。與傳統(tǒng)方法相比，增強的亮溫圖像更接近地面的真實信息，為物理參數(shù)的反演、天氣預報等工作的開展提供了新思路，具有一定的參考價值。未來希望能將輻射計亮溫數(shù)據(jù)的獲取、重構和參數(shù)反演有效整合。數(shù)據(jù)獲取過程中受哪些退化因素的影響，影響程度如何；可采用哪種方法進行補償或重構；重構后的數(shù)據(jù)對參數(shù)反演的定量指標有何影響；如果在工程實踐中運用重構后的數(shù)據(jù)進行反演會提升反演精度，代價是什么：這些都是工程實踐上需研究的問題，也是下一步需要扎實做的工作。

[1] WANG J R, TEDESCO M. Identification of atmospheric influences on the estimation of snow water equivalent from AMSR-E measurements[J]. Remote Sensing Environment, 2007, 111(2/3): 398-408.

[2] NORMAN C G. Classification of snow cover and precipitation using the special sensor microwave imager[J]. Journal of Geophysical Research: Atmospheres, 1991, 96(D4): 7423-7435.

[3] RALPH R F, ERIC A S, WESLEY B, et al. A screening methodology for passive microwave precipitation retrieval algorithms[J]. Journal of the Atmospheric Sciences, 1998, 55(9): 1583-1600.

[4] PAMPALONI P, PALOSCIA S. Microwave emission and plant water content. A comparison between field measurement and theory[J]. IEEE Transactions on Geoscience and Remote Sensing, 1986(6): 900-905.

[5] MIN Q, LIN B. Remote sensing of evapotranspiration and carbon uptake at Harvard forest[J]. Remote Sensing of Environment, 2006, 100(3): 379-387.

[6] BACKUS G, GILBERT F. Numerical applications of a formalism for geophysical inverse problem[J]. Geophysical Journal International, 1967, 13: 247-276.

[7] BACKUS G, GILBERT F. The resolving power of gross Earth data[J]. Geophysical Journal International, 1968, 16(2): 169-205.

[8] SETHMANN R, BURNS B A, HEYGSTER G C. Spatial resolution improvement of SSM/I data with image restoration techniques[J]. IEEE Transactions on Geoscience and Remote Sensing, 1994, 32(6): 1144-1151.

[9] SETHMANN R, HEYGSTER G, BURNS B. Image deconvolution techniques for reconstruction of SSM/I data[C]∥Proceedings of the 11th Annual International Geoscience and Remote Sensing Symposium, Espoo, Finland, 1991, 4: 2377-2380.

[10] LONG D G, HARDIN P J, WHITING P T. Resolution enhancement of spaceborne scatterometer data[J]. IEEE Transactions on Geoscience and Remote Sensing, 1993, 31(3): 700-715.

[11] LONG D G, DAUN D L. Spatial resolution enhancement of SSM/I data[J]. IEEE Transactions on Geoscience and Remote Sensing, 1998, 36(2): 407-417.

[12] DI Paola F, DIETRICH S. Resolution enhancement for microwave-based atmospheric sounding from geostationary orbits[J]. Radio Science, 2008, 43(6): 1-14.

[13] DONG C, CHEN C L, HE K, et al. Learning a deep convolutional network for image super-resolution[J]. 2014, 8692: 184-199.

[14] JAIN V, SEUNG S. Natural image denoising with convolutional networks[C]∥Advances in Neural Information Processing Systems, Vancouver, British Columbia, Canada, 2009: 769-776.

[15] SCHULER C J, HIRSCH M, HARMELING S, et al. Learning to deblur[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(7): 1439-1451.

[16] WEI Y, YUAN Q, SHEN H, et al. A universal remote sensing image quality improvement method with deep learning[C]∥2016 IEEE International Geoscience and Remote Sensing Symposium, Beijing, China, 2016: 6950-6953.

[17] DUCOURNAU A, FABLET R. Deep learning for ocean remote sensing: an application of convolutional neural networks for super-resolution on satellite-derived SST data[C]∥9th IAPR Workshop on Pattern Recognition in Remote Sensing (PRRS), Cancun, Mexico, 2016: 1-6.