王明麗, 王 剛, 郭曉新, 王獻昌

(吉林大學(xué) 計算機科學(xué)與技術(shù)學(xué)院, 長春 130012)

遙感圖像廣泛應(yīng)用于軍事偵察、 變化檢測和水質(zhì)監(jiān)測[1]等領(lǐng)域. 由于遙感衛(wèi)星傳感器自身的限制, 因此不能同時獲得具有高空間分辨率和高光譜分辨率的圖像[2]. 在實際應(yīng)用中, 如植被識別、 地圖更新和巖性分析等領(lǐng)域, 需要同時使用高空間分辨率信息描述圖像的紋理和高光譜分辨率信息判斷圖像的類別[3]. 遙感圖像融合通過將具有高空間分辨率、 低光譜分辨率的全色圖像(panchromatic image, PAN)中的空間信息與具有低空間分辨率、 高光譜分辨率的多光譜圖像(multispectral image, MS)中的高光譜信息融合, 獲得同時具有高空間分辨率和高光譜分辨率的融合圖像.

目前, 圖像融合方法分為3個處理級別： 像素級、 特征級和決策級[4], 其中像素級融合方法應(yīng)用廣泛. 像素級的融合方法逐像素對圖像進行處理, 處理精度高, 產(chǎn)生的融合圖像能獲得比特征級和決策級所處理的圖像更豐富的紋理. 傳統(tǒng)遙感圖像像素級融合方法主要分為兩類： 基于成分替代(component substitution, CS)的方法和基于多尺度分析(multiresolution analysis, MRA)的方法. 成分替代法有強度色度飽和度(intensity-hue-saturation, IHS)變換[5]、 比值變換(brovey transform, BT)[6]和主成成分分析(principle component analysis, PCA)[7], 通過將MS圖像轉(zhuǎn)換到某種空間域中, 并用PAN圖像替換在該空間域中與PAN圖像相關(guān)性最高的分量, 最后經(jīng)空間域逆變換得到融合圖像. 該方法能有效地將PAN圖像的空間信息注入MS圖像中, 但當(dāng)PAN圖像與被替換的分量局部差異較大時, 光譜扭曲問題嚴(yán)重[8]. 基于多尺度分析方法有小波變換(wavelet transform, WT)[9]、 高通濾波器(high pass filter, HPF)[10]和非向下采樣輪廓波變換(non-subsampled contourlet transform, NSCT)[11]等, 該類方法首先對多源圖像進行多尺度分解, 再在不同尺度上根據(jù)各分量的特點選擇不同的融合規(guī)則, 最后經(jīng)分解逆變換得到融合圖像. 圖像的分解方法、 分解層次和在不同級別中選擇的融合規(guī)則將對最終的融合結(jié)果產(chǎn)生較大影響. 傳統(tǒng)遙感圖像方法都是在對圖像處理過程理解的基礎(chǔ)上人工選擇融合規(guī)則進行融合, 不能妥善處理由于環(huán)境變化或不同類型數(shù)據(jù)帶來的影響, 普適性較低.

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)[12-16]由于其具有權(quán)值共享和局部連接等特性, 使其與傳統(tǒng)方法相比有更好的魯棒性和容錯能力, 并且能更好地保留圖像的紋理信息, 已廣泛應(yīng)用于圖像分割、 計算機視覺識別和圖像分類等領(lǐng)域. 全卷積網(wǎng)絡(luò)(fully convolutional networks, FCN)是一種用于圖像語義分割的網(wǎng)絡(luò), 其對圖像進行像素級的分類, 從而解決了語義級別的圖像分割(semantic segmentation)問題. U-Net是一種基于全卷積網(wǎng)絡(luò), 已成功應(yīng)用于醫(yī)學(xué)圖像分割的網(wǎng)絡(luò)結(jié)構(gòu)[17]. U-Net在全卷積網(wǎng)絡(luò)基礎(chǔ)上去掉全連接層, 由于醫(yī)學(xué)圖像分割需對每個像素點進行精準(zhǔn)分類, 所以U-Net將來自網(wǎng)絡(luò)收縮路徑的高分辨率特征與網(wǎng)絡(luò)上采樣輸出相結(jié)合進行處理, 通過跨層復(fù)制連接操作將信息組合后學(xué)習(xí), 可得到更精確的分類結(jié)果.

本文提出一種基于跨層復(fù)制連接卷積神經(jīng)網(wǎng)絡(luò)的端到端遙感圖像融合模型, 克服了傳統(tǒng)融合方法需人工制定融合規(guī)則, 且模型易實現(xiàn). 首先, 構(gòu)建輸入是MS圖像和PAN圖像, 輸出為融合圖像的高效網(wǎng)絡(luò)模型； 其次, 使用從公開數(shù)據(jù)庫下載的遙感圖像數(shù)據(jù)集構(gòu)建訓(xùn)練集, 并利用構(gòu)建好的訓(xùn)練集訓(xùn)練網(wǎng)絡(luò)模型； 最后, 將MS圖像上采樣到PAN圖像大小作為網(wǎng)絡(luò)輸入, 得到同時具有高光譜分辨率和高空間分辨率的融合圖像. 實驗結(jié)果表明, 與傳統(tǒng)遙感圖像融合方法相比, 本文方法有更好的魯棒性, 能有效抑制光譜扭曲并提升融合圖像的質(zhì)量.

1 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像融合

1.1 FCNNs模型

本文提出的基于跨層復(fù)制連接卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像融合模型----FCNNs, 融合方法包括以下3個步驟：

1) 構(gòu)建訓(xùn)練集；

2) 使用訓(xùn)練集訓(xùn)練FCNNs模型；

3) 選擇MS圖像的R,G,B波段作為待融合的MS圖像, 將MS圖像上采樣為PAN圖像分辨率, 并使用FCNNs模型融合上采樣的MS圖像和PAN圖像, 得到具有更好空間細(xì)節(jié)和光譜特征的融合圖像.

用具有3個分支的卷積神經(jīng)網(wǎng)絡(luò)建立回歸模型, 訓(xùn)練好的網(wǎng)絡(luò)等價于傳統(tǒng)遙感圖像融合中的融合規(guī)則. 卷積神經(jīng)網(wǎng)絡(luò)包含的卷積層越多, 所提取的特征圖對應(yīng)原始圖像中越大的區(qū)域, 可將其視為一種特殊的多尺度分解方法. 這種較大的特征圖可提供更好的圖像解譯能力. 卷積運算用于計算融合圖像, 其不僅考慮了待融合圖像中的像素點, 也考慮了其周圍像素點.

為了更好地保留PAN圖像的空間信息和MS圖像的光譜信息, 刪除了傳統(tǒng)卷積網(wǎng)絡(luò)中的下采樣層[18]. FCNNs模型結(jié)構(gòu)如圖1所示, 其等價于融合規(guī)則FCNNs(MS,PAN)=fusion. FCNNs包含3個分支: 上下分支M和P分別表示對MS圖像和PAN圖像的特征提取; 中間主分支MP進行融合操作.

圖1 FCNNs模型

M分支的操作可表示為

M1=F(WM1*MS+BM1),

(1)

其中: MS為輸入的三通道多光譜圖像; *表示卷積運算;WM1表示尺寸為3×N×N×nM1的卷積核;BM1表示M1層的偏置向量;nM1為卷積核的個數(shù). 同理可得:

M2=F(WM2*M1+BM2),

(2)

M3=F(WM3*M2+BM3).

(3)

P分支的操作可表示為

P1=F(WP1*PAN+BP1),

(4)

其中: PAN為輸入的單通道全色圖像;WP1表示尺寸為1×N×N×nP1的卷積核,nP1為卷積核的個數(shù)；BP1為偏置向量. 同理可得：

P2=F(WP2*P1+BP2),

(5)

P3=F(WP3*P2+BP3).

(6)

MP分支的前三層卷積層將MS圖像和PAN圖像同時作為輸入進行卷積, 可表示為

MP1=F(WMP1*MP+BMP1),

(7)

其中:MP為將MS圖像和PAN圖像連接作為輸入的四通道圖像;WMP1表示尺寸為4×N×N×nMP1的卷積核,nMP1為卷積核的個數(shù)；BMP1為偏置向量. 利用前三層的計算結(jié)果繼續(xù)進行卷積運算可得：

MP2=F(WMP2*MP1+BMP2),

(8)

MP3=F(WMP2*MP2+BMP3).

(9)

與傳統(tǒng)CNN網(wǎng)絡(luò)相比, FCNNs模型增加了跨卷積層的復(fù)制連接操作, 將高層分辨率信息通過跨層復(fù)制連接操作傳播到混合層進行融合, 能更好利用多源圖像的局部信息, 并彌補在卷積過程中的信息損失. 多源圖像經(jīng)不同層卷積網(wǎng)絡(luò)得到的多尺度特征圖, 在混合卷積層進一步融合, 能得到更高質(zhì)量的融合圖像.MP分支中的混合卷積層可表示為

與傳統(tǒng)遙感圖像融合人為設(shè)計濾波器不同, FCNNs模型的卷積核是基于大量的遙感圖像數(shù)據(jù)訓(xùn)練獲得的. 由于純卷積運算是線性的, 因此FCNNs模型在每個卷積層后還增加了非線性激活運算, 以增強模型的融合能力. FCNNs模型的融合過程表示為

F=ReLU(W,X),

(13)

ReLU(x)=max{0,x},

(14)

其中:W為卷積核；X為輸入； ReLU為非線性激活函數(shù)；x表示ReLU的輸入.

在混合卷積層后利用多個濾波器數(shù)量逐漸遞減的1×1卷積核將得到的Mix_Conv1特征圖轉(zhuǎn)化為三通道, 得到融合結(jié)果為

Fusion=F(Wfusion*Mix_Conv1+Bfusion).

(15)

1.2 構(gòu)建訓(xùn)練集

本文使用大量遙感圖像數(shù)據(jù)構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型, 建立多源遙感圖像像素點與融合圖像像素點之間的回歸關(guān)系. 訓(xùn)練后的回歸模型可生成具有更好空間細(xì)節(jié)和光譜特征的高分辨率多光譜融合圖像. 為了成功地訓(xùn)練回歸模型, 首先需構(gòu)建合適的訓(xùn)練數(shù)據(jù)集.

在實際應(yīng)用中不存在理想的融合圖像, 即沒有用于訓(xùn)練FCNNs模型的目標(biāo)融合圖像. 所以為了訓(xùn)練回歸模型, 需將MS圖像和PAN圖像下采樣到低分辨率水平. 根據(jù)Wald協(xié)議[19], 可將下采樣的遙感圖像視為在對應(yīng)較低分辨率水平傳感器獲得的遙感圖像. 因此, 將PAN圖像下采樣到MS圖像大小, 得到的低分辨率PAN圖像記為PAN_L, 將MS圖像先下采樣到1/2尺寸, 再將其上采樣到原始圖像大小, 得到的低分辨率MS圖像記為MS_L. MS_L和PAN_L作為樣本輸入到回歸模型中, 同時將原始MS圖像作為模型的訓(xùn)練目標(biāo), 訓(xùn)練集可表示為

Dataset={[MS_L,PAN_L],MS}.

(16)

本文使用的遙感圖像來自Landsat 8衛(wèi)星. Landsat 8衛(wèi)星圖像中的4,3,2波段對應(yīng)于MS圖像的R,G,B波段, 分辨率為30 m, 8波段對應(yīng)于PAN圖像, 分辨率為15 m. 訓(xùn)練好的FCNNs模型可直接處理大尺寸的遙感圖像, 但基于計算效率考慮, 參與訓(xùn)練圖像的大小通常比原始圖像小得多. 本文使用的訓(xùn)練數(shù)據(jù)集包含10萬個訓(xùn)練樣本, 大小為64×64. 圖2為訓(xùn)練樣本示例, 其中： (A)為融合目標(biāo), 即原始MS圖像； (B)為MS_L圖像； (C)為PAN_L圖像.

圖2 訓(xùn)練集示例

1.3 訓(xùn)練集的訓(xùn)練及參數(shù)設(shè)置

本文的核心是利用構(gòu)建好的訓(xùn)練集Dataset訓(xùn)練回歸模型FCNNs. 記FCNNs模型的參數(shù)為θ, 則模型的訓(xùn)練過程可表示為

(17)

其中：F表示融合模型FCNNs;L表示基于回歸模型輸出和目標(biāo)輸出之間誤差定義的損失函數(shù). 采用均方誤差損失函數(shù)作為優(yōu)化目標(biāo), 定義為

(18)

其中n為訓(xùn)練集中樣本的數(shù)量.

基于平衡融合質(zhì)量和計算資源的考慮, 本文將使用的卷積核N設(shè)為3, 因為3×3的卷積核是能最小捕獲上下、 左右和中心域信息的尺寸, 步幅設(shè)為1. 在混合卷積層和最后的融合層, 使用多個1×1卷積核. FCNNs每層卷積核的數(shù)量列于表1.

表1 FCNNs模型各層卷積數(shù)量

在Nvidia GTX 2080Ti GPU上訓(xùn)練FCNNs模型, 并使用隨機梯度下降法最小化損失函數(shù). Adam算法是一種基于隨機梯度下降的自適應(yīng)學(xué)習(xí)優(yōu)化方法, 計算效率較高. 因此, 本文選擇Adam算法作為優(yōu)化算法更新模型參數(shù). 學(xué)習(xí)率初始設(shè)定為0.001, 訓(xùn)練迭代次數(shù)為10, 學(xué)習(xí)率在第四次和第八次分別進行學(xué)習(xí)率衰減. 訓(xùn)練數(shù)據(jù)集被分為小批量, 而每批包含64個樣本. 全部訓(xùn)練時間為35 min, 訓(xùn)練完成的平均訓(xùn)練誤差為0.001 4.

2 實驗結(jié)果與分析

為驗證本文算法的有效性, 將本文算法的實驗結(jié)果與傳統(tǒng)融合方法色彩超球面銳化變換(hypersphere color sharpening, HCS)、 小波變換(WT)、 比值變換(BT)、 高通濾波器融合(HPF)和主成分分析(PCA)進行比較. 所選取的圖像來自Deimos衛(wèi)星和QuickBird衛(wèi)星數(shù)據(jù)集, 對比算法的參數(shù)設(shè)置與本文融合方法中所設(shè)置的參數(shù)相同. 通過主觀感知和客觀指標(biāo)相結(jié)合的評價方法對本文遙感圖像融合方法進行評價.

2.1 評價指標(biāo)

為定量評估融合后遙感圖像的質(zhì)量, 選擇均方根誤差(root mean square error, RMSE)[20]、 相對全局綜合誤差(erreur relative globale adimensionnelle de synthese, ERGAS)[21]、 相關(guān)系數(shù)(correlation coefficient, CC)[22]、 相對平均光譜誤差(relative average spectral error, RASE)[23]、 峰值信噪比(peak signal to noise ratio, PSNR)和結(jié)構(gòu)相似性(structural similarity, SSIM)[24]6個評價指標(biāo)對融合圖像進行評價. 由于不能獲得理想的融合圖像, 因此為了定量評價光譜信息, 本文使用原始MS圖像作為參考圖像, 將下采樣得到相同大小的MS圖像和PAN圖像進行融合.

1) 均方根誤差(RMSE)為

(19)

其中：R為參考圖像；F為融合圖像；M和N分別為圖像的寬和高；D為圖像的波段數(shù). 式(19)用于計算融合圖像與參考圖像之間誤差的標(biāo)準(zhǔn)值, 該值越接近0, 表示融合圖像與參考圖像越相似, 融合質(zhì)量越高.

2) 相對全局綜合誤差(ERGAS)為

(20)

其中：h/l表示PAN圖像與MS圖像的分辨率比值; Mean(d)表示每個子帶的平均值. 計算結(jié)果表示融合圖像與參考圖像各波段之間的誤差, 其值越小, 融合效果越好.

3) 相關(guān)系數(shù)(CC)為

(21)

其中：R(i,j)和F(i,j)分別表示參考圖像和融合圖像在(i,j)處的像素值. 式(21)表示融合圖像與參考圖像之間光譜相似度, 該值越接近于1表示融合圖像與參考圖像越相似, 融合效果越好.

4) 相對平均光譜誤差(RASE)為

(22)

其中: Mean(R)表示參考圖像的均值, 式(22)表示圖像光譜細(xì)節(jié)信息損失, 該值越小, 融合圖像質(zhì)量越高.

5) 峰值信噪比(PSNR)為

(23)

其中L表示融合圖像的最大灰度值. 式(23)用于衡量有效信息和噪聲的比率, 該值越大表明融合圖像與原始圖像之間失真越小, 融合圖像質(zhì)量越好.

6) 結(jié)構(gòu)相似性(SSIM)為

(24)

其中：μR,σR,μF,σF分別表示參考圖像和融合圖像的灰度均值和標(biāo)準(zhǔn)差;σRF表示參考圖像和融合圖像之間的灰度協(xié)方差. SSIM取值范圍為[-1,1], 該值越接近1, 表示融合圖像與參考圖像之間的結(jié)構(gòu)、 亮度、 對比度越相似, 融合質(zhì)量越好.

2.2 結(jié)果分析

本文使用4組實驗驗證算法的有效性, 前兩組實驗圖像來自Deimos衛(wèi)星, 后兩組實驗圖像來自QuickBird衛(wèi)星. 使用MS圖像的R,G,B波段和PAN圖像進行融合. 4組實驗MS圖像大小為200×200, PAN圖像大小為800×800. 為了客觀評價融合圖像的質(zhì)量, 本文將原始MS圖像作為參考圖像, 將重采樣的MS和下采樣的PAN圖像作為輸入進行融合. 4組實驗圖像融合結(jié)果分別如圖3～圖6及表2～表5所示.

由圖3可見： HCS,BT和PCA算法雖然可有效地將PAN圖像的空間信息保留, 但有嚴(yán)重的光譜扭曲； WT算法很好地保留了MS圖像的光譜信息, 但在空間紋理細(xì)節(jié)上存在光譜失真； HPF算法將PAN圖像不具有的空間信息加入, 導(dǎo)致融合圖像人工痕跡明顯. 由圖4可見： PCA算法得到的融合圖像偏暗； HCS和BT算法雖然很好地保留了光譜信息, 但融合后的結(jié)果相比于本文算法在空間細(xì)節(jié)上較差； WT算法局部空間細(xì)節(jié)出現(xiàn)光譜失真； HPF算法雖然空間紋理信息保持較好, 但融合圖像顏色飽和度不夠, 有一定的光譜扭曲. 由圖5和圖6可見： HCS,BT和PCA算法都存在不同程度的光譜扭曲； WT算法空間失真較嚴(yán)重； HPF算法將圖像的空間紋理信息加強, 但光譜信息保存不足.

圖3 第一組Deimos衛(wèi)星測試圖像及融合結(jié)果

由表2～表5可見, 本文模型FCNNs得到的融合圖像的各項指標(biāo)均優(yōu)于對比傳統(tǒng)融合算法, 表明本文算法在光譜信息保存完整的情況下, 融合圖像的空間細(xì)節(jié)信息得到有效提升. 本文算法在不同的衛(wèi)星上通過主觀感知和客觀評價都優(yōu)于對比算法, 成功驗證了本文遙感圖像融合模型FCNNs有更好的適應(yīng)性, 且在保留MS光譜信息的同時能有效提升融合圖像的空間分辨率.

圖4 第二組Deimos衛(wèi)星測試圖像及融合結(jié)果

綜上所述, 本文提出了一種基于跨層復(fù)制連接卷積神經(jīng)網(wǎng)絡(luò)模型FCNNs的遙感圖像融合算法. 該算法克服了傳統(tǒng)遙感圖像算法基于人工制定遙感圖像融合規(guī)則, 不能妥善處理由于環(huán)境變化或不同類型衛(wèi)星數(shù)據(jù)帶來的影響. 本文模型中的各層卷積核通過大量遙感圖像數(shù)據(jù)訓(xùn)練得到, 對不同類型遙感圖像適應(yīng)性較好. 為更好地保留多源遙感圖像中的信息, 取消了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的下采樣層, 并通過跨層復(fù)制連接操作構(gòu)建了一個更適合于遙感圖像融合的卷積神經(jīng)網(wǎng)絡(luò)模型. 通過跨層復(fù)制連接網(wǎng)絡(luò)結(jié)構(gòu), 更好地利用了多源圖像的局部信息, 并將不同尺度的特征圖在混合卷積層進行處理, 提供了對多源遙感圖像的多尺度融合. 通過主觀感知和客觀評價將本文算法與其他傳統(tǒng)融合算法進行對比, 驗證了本文算法能更好地保留MS圖像的光譜信息, 并有效提升融合圖像的空間細(xì)節(jié)信息, 抑制光譜扭曲.

圖5 第三組QuickBird衛(wèi)星測試圖像及融合結(jié)果

圖6 第四組QuickBird衛(wèi)星測試圖像及融合結(jié)果

表2 第一組Deimos衛(wèi)星融合圖像客觀評價結(jié)果

表3 第二組Deimos衛(wèi)星融合圖像客觀評價結(jié)果

表4 第三組QuickBird衛(wèi)星融合圖像客觀評價結(jié)果

表5 第四組QuickBird衛(wèi)星融合圖像客觀評價結(jié)果