吳 佼 華，楊 學(xué) 志，方 帥，董 張 玉，4

(1.合肥工業(yè)大學(xué)計算機與信息學(xué)院，安徽 合肥 230009；2.工業(yè)安全與應(yīng)急技術(shù)安徽省重點實驗室，安徽 合肥 230009；3.合肥工業(yè)大學(xué)軟件學(xué)院，安徽 合肥 230009；4.智能互聯(lián)系統(tǒng)安徽省實驗室，安徽 合肥 230009)

0 引言

合成孔徑雷達(Synthetic Aperture Radar，SAR)具有全天時、全天候、穿透力強等特點[1]，其獲取的高空間分辨率SAR圖像中地物目標的反射特性受微波頻率、反射角和極化方式影響，導(dǎo)致相同物體表現(xiàn)形式不同[2]，不利于圖像的解譯；而多光譜(Multi-Spectral，MS)圖像則可以反映地物目標的輪廓和光譜信息，但MS衛(wèi)星傳感器完全依賴于發(fā)光源，不能在夜間成像且易受惡劣天氣影響，導(dǎo)致MS圖像部分明顯目標信息丟失。因此，對SAR和MS圖像進行融合，能充分利用兩者的互補信息，在保持光譜信息的基礎(chǔ)上，增強MS圖像的空間細節(jié)信息和目標的特征信息，融合圖像可更好地用于災(zāi)害監(jiān)測、地物分類、目標識別等后續(xù)任務(wù)。

傳統(tǒng)的SAR和MS圖像融合算法可分為3類：1)成分替換(Component Substitution，CS)法，主要有主成分分析(PCA)、IHS變換和Brovey等；該類算法實現(xiàn)簡單，融合結(jié)果中SAR圖像細節(jié)信息明顯，但由于SAR圖像與MS圖像譜段范圍存在較大差異，簡單地將SAR圖像替換為MS圖像的主成分分量，融合結(jié)果會產(chǎn)生嚴重的光譜失真。2)多尺度分析(Multi-Resolution Analysis，MRA)法，包括小波(wavelet)法、金字塔變換、非下采樣輪廓波變換(NSCT)、非下采樣剪切波變換(NSST)等。例如：宋建社等[3]應(yīng)用小波變換法融合SAR和MS圖像，融合后圖像的光譜得到改善，但存在偽影和邊緣鋸齒；蘇志淵等[4]充分利用NSCT的平移不變性、多尺度性、多方向性和較強的輪廓信息表達能力，提出基于NSCT的SAR和MS圖像融合算法,明顯提高了融合效果。相比CS法，MRA法能有效抑制SAR圖像的噪聲，減少光譜畸變，但易受圖像配準的影響，產(chǎn)生混疊和邊緣偽影。3)混合法(hybrid method)，即利用CS法分離MS圖像的強度信息和光譜信息，應(yīng)用MRA法將SAR和MS圖像的強度分量融合以獲得新的分量，最后逆變換新的分量和光譜信息得到融合圖像，如Mercer等[5]采用基于混合IHS變換和小波變換的SAR和MS圖像融合算法，將經(jīng)過小波分解后的SAR圖像的近似分量替換MS圖像強度分量中的近似分量，以增強多光譜的空間細節(jié)信息；該算法能夠獲得更好的空間和光譜信息，但其中CS法僅限于能夠進行空間變換的融合方法(如PCA和IHS)[6]。相對于傳統(tǒng)算法，卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network，CNN)具有強大的特征提取和特征表達能力[7]，因此，基于CNN的超分辨圖像融合算法相繼被提出。例如：Masi等[8]首次應(yīng)用超分辨率卷積神經(jīng)網(wǎng)絡(luò)(SRCNN)[9]進行圖像全色銳化(pan-sharpening)，結(jié)果明顯優(yōu)于傳統(tǒng)算法；Yang等[10]提出了PanNet網(wǎng)絡(luò)，將圖像融合任務(wù)拆分成光譜保持和空間保持兩部分，實現(xiàn)融合圖像光譜和空間質(zhì)量的提升；Shao等[11]提出了RSIFNN網(wǎng)絡(luò)并基于該網(wǎng)絡(luò)實現(xiàn)圖像全色銳化，分別對多光譜和全色圖像進行特征提取，然后融合提取的深層特征并采用殘差學(xué)習(xí)方式得到融合結(jié)果。基于以上研究，本文引入“特征提取—融合—重建”的空間細節(jié)融合方案，提出一種基于雙分支CNN的SAR和MS圖像融合算法，以期有效改善MS影像的空間信息，并與其他算法進行對比分析，探索深度學(xué)習(xí)在SAR和MS圖像融合方面的優(yōu)勢。

1 研究方法

1.1 網(wǎng)絡(luò)框架

SAR圖像與MS圖像的成像機理和覆蓋波段有所差異，圖像信息相關(guān)性弱，甚至局部會出現(xiàn)負相關(guān)，通常的細節(jié)注入融合方法所得融合圖像往往會出現(xiàn)顏色畸變。本文參考PanNet[10]的網(wǎng)絡(luò)框架，提出一種基于雙分支CNN的SAR和MS圖像融合算法，將SAR和MS圖像融合的任務(wù)拆分成細節(jié)提升分支和光譜保持分支(圖1)。

圖1 本文算法的網(wǎng)絡(luò)框架

(1)細節(jié)提升分支。參考蔡婉婷[12]耦合多尺度網(wǎng)絡(luò)的結(jié)構(gòu)，將細節(jié)提升分支分為編碼器、特征融合層和解碼器3個模塊，網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)如表1所示。1)將原始SAR和MS圖像經(jīng)過高通濾波器得到圖像的高頻信息，并將MS圖像高頻信息上采樣到SAR圖像高頻信息的同等分辨率；在編碼器模塊中，設(shè)計兩個不同的特征提取網(wǎng)絡(luò)，分別提取SAR和MS圖像高頻信息的深層特征。考慮到“具有較小尺度的特征會對較小尺寸的卷積核作出反應(yīng)，而較粗糙結(jié)構(gòu)傾向于被更大的卷積核提取”[12]，本文采用不同尺寸的卷積核分別提取兩幅圖像高頻信息的淺層特征。SAR圖像的分辨率高，細節(jié)比MS圖像豐富，對于SAR圖像高頻信息，本文使用3×3的卷積核提取小尺度的淺層特征，對于MS圖像高頻信息，則采用9×9卷積核提取大尺度的淺層特征；然后將淺層特征經(jīng)過多尺度特征提取塊(采用卷積分解[13]方式，將n×n的卷積核分解為1×n和n×1兩個卷積核，以減少卷積計算量)，得到多尺度的深層特征。2)在特征融合層模塊中，對不同源圖像的深層特征進行融合。先將編碼器模塊輸出的不同尺度深層特征按同尺度特征進行像素相加，從而將SAR圖像細節(jié)信息疊加到MS圖像中，再將疊加融合后的所有特征圖進行通道級聯(lián)，作為解碼器的輸入，其過程如式(1)、式(2)所示。多尺度特征提取塊和特征融合模塊如圖2所示。3)在解碼器模塊中，采用SRCNN[9]網(wǎng)絡(luò)結(jié)構(gòu)，將融合后的特征圖映射回圖像的空間信息。第一層是9×9卷積核，第二層是1×1卷積核，最后一層是5×5卷積核，經(jīng)過三層卷積將特征通道維度降至3維。解碼過程如式(3)所示。

表1 細節(jié)提升分支網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

φFi(Shp,↑MShp)=φSi(Shp)⊕φMSi(↑MShp)

(1)

φF(Shp,↑MShp)=C(φFi(Shp,↑MShp))

(2)

式中：φSi(Shp)和φMSi(↑MShp)分別表示采用i×i(i=3、5、7)卷積核通過卷積操作提取的SAR和MS圖像的深層特征；⊕表示特征像素級疊加操作；φFi(Shp，↑MShp)表示采用像素疊加方式融合得到的特征圖；C(·)表示特征圖通道級聯(lián)操作；φF(Shp，↑MShp)表示最終融合后的特征圖。

Fhp=G(φF(Shp，↑MShp))

(3)

式中：Fhp表示細節(jié)提升分支輸出的空間細節(jié)信息；G(·)表示解碼器解碼操作。

(2)光譜保持分支。采用跳線連接方式，將細節(jié)提升分支輸出的細節(jié)信息疊加到上采樣的MS圖像，將MS圖像的光譜信息傳遞到融合圖像F中，得到最終的融合結(jié)果。其實現(xiàn)過程如下：

F=Fhp⊕↑MS

(4)

圖2 多尺度特征提取塊與特征融合模塊

1.2 損失函數(shù)

本文的損失函數(shù)ltotal包括光譜損失lspectral和細節(jié)損失lspatial(式(5))，lspectral為融合圖像F和參考圖像GT的L2 范數(shù)，lspatial為細節(jié)提升分支輸出的細節(jié)信息Fhp與SAR圖像的高頻信息Shp之間的L2范數(shù)。

(5)

2 實驗與結(jié)果分析

2.1 實驗區(qū)及數(shù)據(jù)

實驗區(qū)為天津市郊區(qū)，地物類型豐富(包括農(nóng)田、居民點、港口等)。研究數(shù)據(jù)包括從地理空間數(shù)據(jù)云[14]下載的Landsat8_OLI_TIRS衛(wèi)星多光譜數(shù)據(jù)和哥白尼數(shù)據(jù)開放中心[15]下載的哨兵-1B GRD級別的SAR數(shù)據(jù)(表2)。實驗前利用ENVI的自動配準工具進行SAR和MS圖像配準，配準誤差在1個像元內(nèi)；SAR圖像存在明顯的相干斑噪聲，采用BM3D[16]濾波方法對其進行降噪處理。

選取兩組地物信息豐富且各具特點的感興趣區(qū)域(圖3、圖4)進行算法有效性驗證。第一組為天津樂樂島附近，包含城市建筑、湖水、裸地、耕地等多類易混淆地物；第二組為渤海港口附近，包含大量農(nóng)作物和橋梁建筑等地物，且SAR圖像中含有MS圖像中無法覺察的顯著目標信息(如圖4中的橋梁)。另外，由于不存在SAR和MS圖像融合后的理想圖像，為使本文的實驗結(jié)果同時在光譜和細節(jié)方面有一個更好的參照，加入感興趣區(qū)域的哨兵-2A多光譜數(shù)據(jù)(分辨率為10 m)作為參考MS圖像。

表2 衛(wèi)星數(shù)據(jù)參數(shù)

圖3 第一組實驗數(shù)據(jù)

圖4 第二組實驗數(shù)據(jù)

2.2 實驗設(shè)置

本文實驗環(huán)境為Window 10，64位操作系統(tǒng)，NVIDIA Quadro M2000-4G顯卡，在tensorflow框架下搭建雙分支卷積神經(jīng)網(wǎng)絡(luò)。訓(xùn)練批大小為100，迭代次數(shù)為30 000次，優(yōu)化器選擇Adam，學(xué)習(xí)率為0.001，動量衰減系數(shù)為0.9。從預(yù)處理后的SAR和MS影像中裁剪出9 600組大小分別為90×90和30×30的影像對用于網(wǎng)絡(luò)訓(xùn)練，按照9∶1的比例選擇8 640對作為訓(xùn)練集，960對作為驗證集；裁剪2組大小分別為900×900和300×300的SAR和MS圖像對作為測試集。網(wǎng)絡(luò)訓(xùn)練開始時，訓(xùn)練數(shù)據(jù)經(jīng)過Wald[17]協(xié)議進行預(yù)處理：原始MS圖像作為參考圖像GT，同時將原始SAR和MS圖像對以雙三次插值方式進行3倍上采樣，得到S和MS圖像對，最后將GT(30×30×3)、S(30×30×1)、MS(10×10×3)3組數(shù)據(jù)一起輸入網(wǎng)絡(luò)進行訓(xùn)練，平均訓(xùn)練時長為3.5 h。

2.3 參數(shù)λ實驗

式(5)中的平衡參數(shù)λ對計算損失函數(shù)具有重要意義，故評價不同λ取值情況下，訓(xùn)練和驗證階段的損失函數(shù)隨迭代次數(shù)增加的收斂情況(圖5、圖6,彩圖見封3)?？梢钥闯?，隨著λ值減小，總損失值(圖5a、圖6a)和光譜損失值(圖5b、圖6b)均減小，但λ值較小導(dǎo)致細節(jié)損失值(圖5c、圖5c)較大，為兼顧光譜損失和細節(jié)損失，該文選擇λ值為1.0。

圖5 訓(xùn)練階段總損失、細節(jié)損失和光譜損失曲線

圖6 驗證階段總損失、細節(jié)損失和光譜損失曲線

進一步引入相關(guān)系數(shù)CC、均方根誤差RMSE(評價融合結(jié)果的光譜質(zhì)量)、空間相關(guān)系數(shù)sCC[19](評價融合圖像與SAR圖像空間細節(jié)的相似性)和互信息MI[18](評價融合圖像與源圖像的相似程度)，定量評價不同λ取值對于融合結(jié)果在空間信息改善和光譜保持方面的影響。由表3可以看出：隨著λ值減小，CC、RMSE和MIMF結(jié)果較好，表明融合圖像中包含更多的MS圖像信息且MS圖像的光譜信息保持較好，但sCC、MISF減小，表明融合圖像中包含更少的SAR圖像信息且SAR圖像的細節(jié)信息保持較差，與圖5和圖6分析結(jié)果一致。當λ取值1.0時，CC、RMSE次優(yōu)，光譜能基本保持，同時sCC增大，能注入更多的SAR圖像細節(jié)信息，這時融合圖像能兼顧光譜保持和細節(jié)提升。

表3 不同λ實驗結(jié)果對應(yīng)的指標

2.4 特征圖可視化

為驗證網(wǎng)絡(luò)框架的有效性，深入分析網(wǎng)絡(luò)的細節(jié)特征提取和特征融合效果，將SAR和MS圖像提取的紋理特征圖以及融合后的特征圖進行可視化，圖7為編碼器階段多尺度提取塊中3×3卷積核尺度下輸出的部分深層特征圖，通道數(shù)為20。從所有通道特征圖可以看出：SAR和MS圖像的深層特征得到融合；從第18通道的深層特征圖可以看出：SAR圖像深層特征圖中的局部特征清晰(左部分的耕地和右部分的島嶼輪廓)，使得融合后特征圖在這些局部區(qū)域的細節(jié)信息得到增強。

注：φMSi、φSi分別表示MS和SAR提取的紋理特征圖，φFi表示融合后的特征圖；數(shù)字表示特征圖的序號。

2.5 不同融合方法比較

為驗證本文算法在光譜保持和紋理提升方面的有效性，與傳統(tǒng)算法IHS[21]、wavelet、IHS_NSST_SR[22]、NSCT_AVG[6]及深度學(xué)習(xí)算法RSIFNN[11]進行比較，對比算法的參數(shù)全部按照原始論文中的參數(shù)設(shè)置。

2.5.1 定性評價 由融合結(jié)果(圖8)可以看出，相比原始上采樣的MS圖像，所有方法融合圖像的空間細節(jié)都有所提升，但融合結(jié)果有所不同。以第一組實驗數(shù)據(jù)為例：IHS算法(圖8a)和RSIFNN融合算法(圖8b)顯著增強了MS圖像的細節(jié)信息，但SAR圖像細節(jié)信息加入過多，導(dǎo)致整體顏色失真，特別是圖中島嶼和放大區(qū)域的建筑失真更為明顯。wavelet、NSCT_AVG、IHS_NSST_SR及本文算法(圖8c-圖8f)都具有較好的光譜保持能力，但從感興趣區(qū)域看，各方法的空間細節(jié)提升程度不同。wavelet方法融合圖像細節(jié)信息有一定改善，但整體鋸齒現(xiàn)象很明顯，不利于后期目標結(jié)構(gòu)與輪廓的提??；NSCT_AVG方法的高、低頻融合規(guī)則選取不具普適性，耕地邊界存在偽影，建筑區(qū)域細節(jié)模糊，融合不自然；IHS_NSST_SR方法在建筑區(qū)域紋理整體塊狀明顯，且耕地的邊界比本文算法模糊。本文基于多尺度CNN網(wǎng)絡(luò)有效提取了SAR和MS圖像的深層特征，并設(shè)計細節(jié)損失函數(shù)和光譜損失函數(shù)監(jiān)督網(wǎng)絡(luò)訓(xùn)練，通過學(xué)習(xí)的方式將SAR圖像的細節(jié)信息平滑注入MS的各個波段中，在光譜保持和空間細節(jié)提升方面，既沒有因注入SAR圖像細節(jié)信息過多而產(chǎn)生顏色失真，也不存在邊緣偽影和紋理呈現(xiàn)塊狀，融合圖像增強了細節(jié)信息和目標顯著信息(如放大區(qū)域兩屋頂?shù)倪吔?。第二組實驗數(shù)據(jù)的融合結(jié)果(圖9)與上述結(jié)果基本相同。

2.5.2 定量評價 進一步選取CC、RMSE、峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)[18](二者用于評價融合結(jié)果的空間細節(jié)質(zhì)量)、相對平均光譜誤差ERGAS[22](用于評價融合圖像的整體效果)及算法測試時間對不同算法的融合結(jié)果進行對比(表4、表5)。從光譜評價指標CC和RMSE可以看出，IHS方法表現(xiàn)最差，表明主成分替換方法對于多源傳感器圖像融合存在明顯的顏色失真；RSIFNN方法提取的SAR圖像細節(jié)信息過多，也導(dǎo)致顏色扭曲；wavelet和NSCT_AVG方法在光譜質(zhì)量方面有明顯改善，但仍有提升空間；IHS_NSST_SR方法在光譜質(zhì)量方面表現(xiàn)較好。從空間質(zhì)量評價指標PSNR和SSIM可以看出，IHS和RSIFNN方法的PSNR較差，表明這兩種方法融合結(jié)果中存在明顯的圖像失真；wavelet方法受小波變換方向約束，融合結(jié)果呈現(xiàn)鋸齒狀，在SSIM指標方面較差；NSCT_AVG和IHS_NSST_SR方法在細節(jié)信息保持方面有明顯改善。從圖像空間和光譜質(zhì)量整體評價指標ERGAS可知，IHS和RSIFNN方法結(jié)果較差，源于兩種方法中存在顏色畸變和圖像失真現(xiàn)象，這與主觀評價結(jié)果一致；wavelet和NSCT_AVG方法有顯著提升，IHS_NSST_SR方法充分結(jié)合多分辨率分析和成分替換方法的優(yōu)勢，進一步提升整體評價質(zhì)量。算法效率方面，IHS方法最簡單，所用時間最短；本文算法和RSIFNN方法是深度學(xué)習(xí)方法，數(shù)據(jù)集數(shù)量和輸入訓(xùn)練方式相同，訓(xùn)練時間(3.5 h左右)相當，但二者的測試時間明顯小于傳統(tǒng)的多尺度分析方法，適合海量衛(wèi)星遙感數(shù)據(jù)融合處理。綜上，本文算法在保持光譜信息的基礎(chǔ)上，有效增強了MS圖像的空間細節(jié)信息，提升了運算效率。

圖8 第一組實驗數(shù)據(jù)的融合結(jié)果

圖9 第二組實驗數(shù)據(jù)的融合結(jié)果

表4 第一組實驗數(shù)據(jù)不同算法的評價結(jié)果

表5 第二組實驗數(shù)據(jù)不同算法的評價結(jié)果

3 結(jié)論

為改善傳統(tǒng)融合算法中存在的空間細節(jié)模糊和顏色失真問題，本文提出一種雙分支CNN網(wǎng)絡(luò)的SAR和MS圖像融合算法，其特點為： 1)在網(wǎng)絡(luò)結(jié)構(gòu)方面，細節(jié)提升分支對圖像的高頻成分進行處理，增強了細節(jié)信息，光譜保持分支對MS圖像進行上采樣，保持和傳遞了光譜特性；2)在融合算法方面，利用CNN網(wǎng)絡(luò)對SAR和MS圖像的高頻信息進行多尺度空間細節(jié)特征提取、融合和重建，得到清晰的細節(jié)信息，將兩分支中的細節(jié)信息和光譜信息融合，得到高空間分辨率MS圖像；3)在損失函數(shù)方面，光譜損失和細節(jié)損失能夠有效監(jiān)督網(wǎng)絡(luò)訓(xùn)練，控制SAR圖像細節(jié)信息平滑注入，實現(xiàn)光譜保持和空間細節(jié)提升之間的平衡。但本文算法只對哨兵-1B和Landsat8兩種衛(wèi)星數(shù)據(jù)進行了實驗，未來可考慮其他SAR和MS實驗數(shù)據(jù)集，以提高算法的普適性。