陳婷,王松濤,高濤,劉夢尼,陳友靜

(長安大學(xué)信息工程學(xué)院,710000,西安)

為充分利用不同傳感器圖像之間的互補特征,一些圖像融合技術(shù)被相繼提出[1-3]。作為遙感圖像融合的一種方式,全色銳化可將低空間分辨率的多光譜(LRMS)圖像和高空間分辨率的全色(PAN)圖像進行融合,從而獲得高分辨率多光譜(HRMS)圖像,目前已被廣泛用于目標(biāo)檢測、土地覆蓋分類[4-5]等領(lǐng)域。然而,遙感衛(wèi)星對地面同一區(qū)域拍攝時,僅能獲得一對LRMS圖像和PAN圖像,導(dǎo)致遙感圖像信息無法被充分利用。因此,如何通過圖像融合來獲得HRMS圖像已經(jīng)成為遙感圖像處理領(lǐng)域的研究熱點之一。

目前,全色銳化算法可大致分為4類[6-7]。第1類是基于成分替代的全色銳化算法,最具有代表性的算法是基于強度色調(diào)飽和度(IHS)的全色銳化算法[8]。該算法通過將原始多光譜圖像從RGB空間轉(zhuǎn)換到IHS空間,并使用PAN圖像代替IHS空間的強度(intensity)分量,由此得到全色銳化圖像。由于該變換只適用于三通道圖像,Rahmani等提出了AIHS算法,使該變換更適用于多通道圖像[9]。然而,基于成分替代的全色銳化算法普遍存在融合圖像光譜失真的現(xiàn)象。第2類是基于多分辨率分析的全色銳化算法:King等將小波變換用于全色銳化獲得融合圖像[10];Liu J.等提出了一種基于平滑濾波器的強度調(diào)制(SFIM)來調(diào)節(jié)注入的空間細(xì)節(jié)[11]。但是,該類算法過于依賴圖像配準(zhǔn)的準(zhǔn)確性。與第1類算法相比,基于多分辨率分析的算法能夠有效保持光譜信息,但容易造成融合圖像空間失真。第3類是基于變分模型的全色銳化算法,該類算法根據(jù)先驗知識進行假設(shè),并通過最優(yōu)解得到融合結(jié)果。Tian等提出了基于梯度稀疏表示的變分全色銳化算法,取得了良好的效果[12]。然而,該類算法需要合理的假設(shè),否則容易導(dǎo)致融合圖像產(chǎn)生失真。第4類是基于深度學(xué)習(xí)的全色銳化算法。Masi等提出了基于卷積神經(jīng)網(wǎng)絡(luò)的全色銳化算法(PNN)[13],將3層簡單超分辨率網(wǎng)絡(luò)用于全色銳化,但該算法只是將全色銳化問題當(dāng)作深度學(xué)習(xí)的一個黑盒子,缺乏合理的物理解釋。為此,He等將基于成分替代/基于多分辨率分析模型在一個統(tǒng)一的細(xì)節(jié)注入框架中表示,使提出的網(wǎng)絡(luò)結(jié)構(gòu)具有明確的物理解釋[14]。然而,這種將原圖像以堆疊方式輸入網(wǎng)絡(luò)的算法忽略了LRMS圖像與PAN圖像間的顯著性差異,不利于特征提取。Liu X.等利用兩個3層子網(wǎng)絡(luò)分別提取原圖像的層次特征來獲取PAN圖像和LRMS圖像之間的互補信息,并在特征維度對圖像進行融合重建,使融合后的圖像取得了良好的效果[15]。Shao Z. F.等利用兩個不同深度的卷積層分別從PAN圖像和LRMS圖像中提取空間特征和光譜特征[16]。另外,在深度學(xué)習(xí)算法中,由于對抗網(wǎng)絡(luò)(GAN)能夠生成現(xiàn)實中不存在的圖像而被用于全色銳化[17]。Liu Q.等提出了PSGAN,首次將GAN用于全色銳化[18]。在此基礎(chǔ)上,Shao Z. M.等提出了殘差編解碼器條件生成對抗網(wǎng)絡(luò)(RED-cGAN),將自編碼器與GAN相結(jié)合以保持光譜信息和空間信息[19]。

雖然基于深度學(xué)習(xí)的全色銳化算法在全色銳化問題中取得了進展,但依然存在對原圖像特征提取不充分而導(dǎo)致細(xì)節(jié)信息丟失,以及忽略了特征間的差異而導(dǎo)致特征冗余并產(chǎn)生融合失真的問題。針對這些問題,本文基于相對平均生成對抗網(wǎng)絡(luò)(RaGAN)[20]提出了一種用于全色銳化的相對平均生成對抗網(wǎng)絡(luò)(Pan-RaGAN),融合后的圖像具有更多的空間細(xì)節(jié)信息和光譜信息。

1 相關(guān)內(nèi)容

1.1 相對平均生成對抗網(wǎng)絡(luò)

GAN的基本思想是通過生成器與鑒別器之間的對抗博弈使生成器生成足以以假亂真的假樣本,網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 生成對抗網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Architecture of GAN

為解決GAN生成圖像質(zhì)量不高以及訓(xùn)練過程不穩(wěn)定的問題,一些GAN的變體被相繼提出[20-23]。相對平均鑒別器的使用有助于生成器恢復(fù)更真實的圖像紋理細(xì)節(jié),相對平均鑒別器的函數(shù)表達(dá)式為

DRa(xr,xf)=σ(S(xr)-Exf[S(xf)])→1

(1)

DRa(xf,xr)=σ(S(xf)-Exr[S(xr)])→0

(2)

Exf[ln(1-DRa(xf,xr))]

(3)

Exf[ln(DRa(xf,xr))]

(4)

1.2 特征提取

基于深度學(xué)習(xí)的全色銳化網(wǎng)絡(luò)輸入方式通常有堆疊的輸入結(jié)構(gòu)和兩流輸入結(jié)構(gòu)這2種。PNN使用堆疊的方式將PAN圖像與LRMS圖像進行堆疊,形成多通道圖像作為網(wǎng)絡(luò)輸入。PSGAN使用兩流的3層結(jié)構(gòu)作為網(wǎng)絡(luò)輸入,分別提取PAN圖像與LRMS圖像的特征。與堆疊的輸入結(jié)構(gòu)相比,兩流輸入結(jié)構(gòu)雖然能夠提升網(wǎng)絡(luò)的性能,但由于網(wǎng)絡(luò)結(jié)構(gòu)簡單,導(dǎo)致特征提取不足,如果通過增加網(wǎng)絡(luò)的深度來提取特征會造成網(wǎng)絡(luò)訓(xùn)練困難等問題。Huang等提出了一種密集塊體系結(jié)構(gòu),在可以提取更多特征信息的同時改善了網(wǎng)絡(luò)中的信息流和梯度,使網(wǎng)絡(luò)易于訓(xùn)練[24]。因此,本文提出使用密集塊作為網(wǎng)絡(luò)結(jié)構(gòu)的特征提取模塊。

1.3 注意力機制

注意力機制通過網(wǎng)絡(luò)學(xué)習(xí)得到一組用于保留感興趣特征的權(quán)重參數(shù),同時能夠抑制不必要的特征。陳一鳴等將注意力機制應(yīng)用于低級視覺處理任務(wù),并取得了成功[25]。在全色銳化問題中,本文利用空間注意力機制對特征進行重新分配權(quán)重,從而獲得了更多有用的細(xì)節(jié)信息作為融合圖像的高頻信息,有效地增強了細(xì)節(jié)信息的融合。Hu等提出由兩個卷積層構(gòu)造的空間注意力單元(SA),其結(jié)構(gòu)如圖2所示[26]。定義C表示圖像的通道數(shù),W和H表示圖像的寬和高,SA中的卷積核尺度為1×1,輸出特征通道數(shù)分別為C×n和1,n為增加通道數(shù)的比例,本文設(shè)置為2。若X是空間注意力模塊的輸入,尺寸為H×W×C,則空間注意力掩模α表示為

α=σ(W2*δ(W1*X+b1)+b2)

(5)

(6)

圖2 空間注意力單元結(jié)構(gòu)Fig.2 Architecture of spatial attention unit

2 用于全色銳化的相對平均生成對抗 網(wǎng)絡(luò)

Pan-RaGAN網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示,生成器網(wǎng)絡(luò)包括特征提取、特征融合、特征細(xì)化和特征重建共4個部分,主要用于生成HRMS圖像。鑒別器結(jié)構(gòu)使用全卷積網(wǎng)絡(luò)進行構(gòu)建,主要用于判斷圖像是否為生成器生成的圖像。

(a)生成器

(b)鑒別器圖3 Pan-RaGAN網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Architecture of Pan-RaGAN

2.1 特征提取模塊

由于PAN圖像只含有一個較長波段范圍的波段而LRMS圖像由多個不同波長范圍的波段組成(本文選用的GF-2衛(wèi)星和QB衛(wèi)星的LRMS圖像具有4個通道),因此通常認(rèn)為PAN圖像具有豐富的空間信息,LRMS圖像具有更多的光譜信息。為充分利用原圖像空間和光譜信息,Liu X.等在兩流輸入結(jié)構(gòu)中使用3層卷積網(wǎng)絡(luò)來提取PAN圖像與LRMS圖像的互補信息[15],這會導(dǎo)致對原圖像特征提取不充分并最終影響融合效果。由于批歸一化(BN)層在GAN網(wǎng)絡(luò)訓(xùn)練下會產(chǎn)生偽影,缺少穩(wěn)定性[18],因此本文對密集塊[24]進行改進,剔除原密集塊中的BN層,得到密集連接結(jié)構(gòu)如圖4所示。

在模塊開始端輸入原圖像,將每個卷積層的輸出都作為后面卷積層的輸入,卷積層的輸出特征表示為

(7)

圖4 密集連接結(jié)構(gòu)Fig.4 Architecture of dense connection

式中:Hi(·)表示Conv-ReLu運算;[·]表示張量連接運算(concat);i={1,2,…,K}表示第i個卷積層,K表示卷積層總數(shù),本文設(shè)置K=4;xi表示第i個卷積層的輸出特征;x0表示輸入的圖像。最終,得到改進的密集塊輸出為

Ffe=fDC[x1,…,xK]

(8)

式中fDC表示張量連接運算函數(shù)。

本文利用DC模塊形成用于提取原圖像特征的兩流輸入結(jié)構(gòu),如圖3a中的DC1和DC2所示,通過這種輸入結(jié)構(gòu)盡可能多地利用原圖像的中間層特征。兩個密集塊具有相同的結(jié)構(gòu)不同的權(quán)值,由于PAN圖像與LRMS圖像具有不同的通道數(shù)量,因此密集塊輸入層的特征通道數(shù)分別為1和4。

2.2 特征融合模塊

為了將提取的特征進行融合,大多數(shù)算法使用張量連接將提取的特征進行拼接,然后送入下一卷積層進行處理,本文使用像素相加的融合策略將兩個獨立分支提取的PAN圖像空間信息和LRMS圖像光譜信息進行融合,該融合規(guī)則相比張量連接可以減少模型的參數(shù)。像素相加的融合策略可表示為

(9)

2.3 特征細(xì)化模塊

生成器網(wǎng)絡(luò)的核心在于學(xué)習(xí)目標(biāo)圖像與LRMS圖像之間的殘差信息,這些殘差信息主要包含圖像的高頻細(xì)節(jié)信息和少量的光譜信息,而特征提取融合后的信息對殘差信息的構(gòu)建具有不同的作用。為了從融合的特征中選擇出PAN與LRMS圖像的互補信息同時剔除冗余信息,本文通過特征細(xì)化模塊對融合的特征重新分配權(quán)重,對殘差信息構(gòu)建貢獻(xiàn)度較大的特征分配較大的權(quán)值,對殘差信息構(gòu)建貢獻(xiàn)度較小的特征分配較小的權(quán)值,從而有效地選擇出高頻信息。

(10)

圖5 特征細(xì)化模塊Fig.5 Module of feature refinement

2.4 圖像重建模塊

圖像重建模塊包含一個上采樣層和一個卷積層,通過上采樣層將細(xì)化的特征上采樣到與目標(biāo)圖像相同的尺寸,卷積層輸出理想圖像與LRMS圖像之間的殘差,最后根據(jù)細(xì)節(jié)注入模型[14],使用跳躍連接將上采樣的LRMS圖像與卷積層的輸出相連接得到融合圖像。

2.5 鑒別器結(jié)構(gòu)

本文鑒別器由5層全卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成,如圖3b所示。卷積濾波器的尺寸均為3×3。網(wǎng)絡(luò)前3層卷積步長設(shè)置為2,等同于池化運算用于提取特征,最后兩個卷積層步長設(shè)置為1。除最后一層使用Sigmoid函數(shù)用于預(yù)測圖像的真實性外,其余4層均使用LeakyReLu激活函數(shù)。

2.6 損失函數(shù)

本文網(wǎng)絡(luò)的損失函數(shù)包括生成器損失和鑒別器損失兩個部分。生成器損失函數(shù)表示為

LG=αLadv+βLcont

(11)

式中:Lcont為內(nèi)容損失;α和β為平衡參數(shù),用于平衡對抗損失和內(nèi)容損失,實驗中分別設(shè)置為1和100[18-19];Ladv表示生成器與鑒別器間的對抗損失,公式為

Ladv=

(12)

其中N表示訓(xùn)練樣本數(shù)。

相比于L2損失容易造成融合圖像產(chǎn)生模糊現(xiàn)象[13],L1損失則能較好地保持邊緣細(xì)節(jié)信息[18-19]。因此,本文使用L1損失作為內(nèi)容損失

(13)

式中‖·‖1表示L1范數(shù)。

鑒別器損失函數(shù)表示為

LD=

(14)

3 實驗及結(jié)果分析

3.1 網(wǎng)絡(luò)訓(xùn)練環(huán)境配置與參數(shù)設(shè)置

本文使用Tensorflow深度學(xué)習(xí)框架,在NVIDIA Quadro RTX 5000顯卡上進行訓(xùn)練和測試。訓(xùn)練過程中使用Adam優(yōu)化器,初始學(xué)習(xí)率為0.000 2,動量為0.5,批量尺寸設(shè)置為32。

3.2 實驗數(shù)據(jù)集與評價指標(biāo)

本文使用GF-2衛(wèi)星和QB衛(wèi)星獲取的圖像作為網(wǎng)絡(luò)的訓(xùn)練集與測試集。GF-2衛(wèi)星拍攝的PAN圖像與LRMS圖像的空間分辨率分別為0.8和3.2 m,QB衛(wèi)星拍攝的PAN圖像與LRMS圖像的空間分辨率分別為0.6和2.4 m。對原PAN圖像與LRMS圖像進行裁剪,得到40 000對PAN圖像和LRMS圖像作為訓(xùn)練集。

定量評估采用5種常用的低分辨率評價指標(biāo)和3種全分辨率評價指標(biāo):低分辨率評價指標(biāo)包括光譜角映射(Γ)[28]、相關(guān)系數(shù)(T)、空間相關(guān)系數(shù)(Z)[29]、相對全局誤差(Λ)[30]、平均通用圖像質(zhì)量指標(biāo)(Θ)[31];全分辨率評價指標(biāo)包括無參考質(zhì)量指標(biāo)(Δ)[32]以及QNR中評價光譜細(xì)節(jié)損失的指標(biāo)(Dλ)和評價空間細(xì)節(jié)損失的指標(biāo)(Ds)。

3.3 殘差空間注意力模塊數(shù)量的選擇

考慮到不同數(shù)量的RSA模塊會對網(wǎng)絡(luò)的參數(shù)數(shù)量以及融合效果產(chǎn)生影響,本文在GF-2衛(wèi)星數(shù)據(jù)集上對包含不同數(shù)量的RSA模塊構(gòu)成的網(wǎng)絡(luò)進行實驗,結(jié)果如圖6所示,圖中L表示RSA模塊的數(shù)量?？梢钥闯?不同的L對于指標(biāo)T、Z和Θ影響較小,而對于指標(biāo)Γ以及Λ則影響較大。當(dāng)L=6時,所有的指標(biāo)均接近于最優(yōu)值。考慮到計算效率和模型參數(shù)之間的平衡,實驗中設(shè)置RSA模塊的數(shù)量L=6。

圖6 不同數(shù)量RSA模塊構(gòu)成的網(wǎng)絡(luò)在GF-2衛(wèi)星數(shù)據(jù)集上的指標(biāo)均值對比Fig.6 Comparison of index mean values of networks with different number of RSA modules on GF-2 satellite datasets

3.4 視覺評估

本文對GF-2號衛(wèi)星圖像和QB衛(wèi)星圖像分別進行低分辨率測試和全分辨率測試。由于真實的HRMS圖像并不存在,所以在對圖像進行低分辨率實驗時遵循Wald協(xié)議[30],即將原始的PAN圖像與LRMS圖像均進行4倍的下采樣,然后將原始的LRMS圖像作為真實的HRMS圖像。由于使用的衛(wèi)星圖像為不易直接顯示的4通道(藍(lán)、綠、紅和近紅外)圖像,所以文中顯示的圖像都為3通道(紅、綠、藍(lán))的真彩色圖像。

(a)LRMS圖像 (b)PAN圖像 (c)SFIM[11]

(d)Wavelet[10] (e)IHS[8] (f)RED-cGAN[19]

(g)PSGAN[18] (h)本文算法 (i)理想圖像圖7 不同算法對GF-2圖像的低分辨率全色銳化結(jié)果Fig.7 Results of low resolution pan-sharpening of GF-2 images by different algorithms

(a)LRMS圖像 (b)PAN圖像 (c)SFIM[11]

(d)Wavelet[10] (e)IHS[8] (f)RED-cGAN[19]

(g)PSGAN[18] (h)本文算法 (i)理想圖像圖8 不同算法對QB圖像的低分辨率全色銳化結(jié)果Fig.8 Results of low resolution pan-sharpening of QB images by different algorithms

圖7和圖8是不同算法對GF-2衛(wèi)星和QB衛(wèi)星的低分辨率圖像全色銳化結(jié)果?？梢钥闯?在圖7中SFIM[11]、Wavelet[10]和IHS[8]算法融合的圖像偏白色,與真實的圖像相比存在著光譜失真現(xiàn)象。另外,圖7c和圖7d出現(xiàn)嚴(yán)重偽影,造成不良的視覺效果。RED-cGAN[19]、PSGAN[18]以及本文算法融合的圖像則能夠保持與真實圖像相似的光譜信息。但是,在放大區(qū)域中,與圖7f和圖7g相比,圖7h中包含更多的建筑物縫隙細(xì)節(jié),因此本文算法的融合結(jié)果可以保持更多的細(xì)節(jié)信息,同時減少了光譜失真。從圖8可以看出:SFIM[11]、Wavelet[10]和IHS[8]算法保持的紋理細(xì)節(jié)信息接近于PAN圖像,然而由于基于成分替代以及多分辨率的算法未能合理地向上采樣的LRMS圖像中注入空間細(xì)節(jié)信息,導(dǎo)致融合圖像產(chǎn)生失真現(xiàn)象;RED-cGAN[19]、PSGAN[18]以及本文的算法則可以更好地保持光譜信息;另外,從圖8f、8g和8h中的紅色方框區(qū)域可以看出,本文算法可以保持更多的細(xì)節(jié)信息。

圖9和圖10是不同算法對GF-2衛(wèi)星和QB衛(wèi)星的全分辨率圖像全色銳化結(jié)果?？梢钥闯?圖9c～9e表現(xiàn)出不同程度的光譜失真,其顏色偏暗,與上采樣的LRMS圖像光譜信息差距較大,圖9f、9g、9h與上采樣的LRMS圖像具有相似的光譜信息,圖9h的空間結(jié)構(gòu)保持效果優(yōu)于圖9f和9g。在圖10中的放大區(qū)域中,圖10d和10e存在失真現(xiàn)象,這與在低分辨率下的融合結(jié)果一致。另外,圖10c、10d、10g出現(xiàn)的偽影造成了不良的視覺效果,相比圖10f,本文算法的融合結(jié)果具有良好的空間結(jié)構(gòu)。綜合可知,本文算法在GF-2衛(wèi)星圖像和QB衛(wèi)星圖像的全分辨率融合效果以及低分辨率融合效果都優(yōu)于其他算法。

(a)LRMS圖像 (b)PAN圖像 (c)SFIM[11] (d)Wavelet[10]

(e)IHS[8] (f)RED-cGAN[19] (g)PSGAN[18] (h)本文算法圖9 不同算法對GF-2圖像的全分辨率全色銳化結(jié)果Fig.9 Results of full resolution pan-sharpening of GF-2 images by different algorithms

(a)LRMS圖像 (b)PAN圖像 (c)SFIM[11] (d)Wavelet[10]

(e)IHS[8] (f)RED-cGAN[19] (g)PSGAN[18] (h)本文算法圖10 不同算法對QB圖像的全分辨率全色銳化結(jié)果Fig.10 Results of full resolution pan-sharpening of QB images by different algorithms

3.5 定量評估

由于視覺評估受主觀因素影響較大,因此本文對GF-2衛(wèi)星數(shù)據(jù)和QB衛(wèi)星數(shù)據(jù)實驗結(jié)果進行了定量實驗,結(jié)果如表1和表2所示。可以看出,對于低分辨率評價指標(biāo),基于深度學(xué)習(xí)的算法優(yōu)于傳統(tǒng)算法。由于Pan-RaGAN根據(jù)細(xì)節(jié)注入模型將學(xué)習(xí)到的細(xì)節(jié)注入到上采樣的LRMS圖像,因此本文算法的Γ獲得了很大的提升;本文算法T較好,表明本文算法可以獲得與理想圖像更接近的效果。這與定性實驗中的結(jié)果相符合,進一步說明了本文算法在低分辨率下測試結(jié)果的有效性。對于全分辨率參考評價指標(biāo),表1中本文算法在客觀評價指標(biāo)Ds上雖然沒有取得最好的結(jié)果,但是從主觀評價圖9中可以看出,本文算法依然取得了良好的效果。在表2中,由于全分辨率評價指標(biāo)將PAN圖像和LRMS圖像作為參考,而IHS[8]算法使用PAN圖像替換LRMS圖像的空間成分,使得融合后的圖像具有與PAN圖像相似的細(xì)節(jié)信息,因此IHS[8]算法獲得了比本文算法更好的Dλ。

表1 不同算法在GF-2數(shù)據(jù)集上的定量比較

表2 不同算法在QB數(shù)據(jù)集上的定量比較

3.6 相對平均鑒別器與條件鑒別器

由于PSGAN使用條件鑒別器損失函數(shù)獲得了良好的效果,因此本文在網(wǎng)絡(luò)中分別使用條件鑒別器損失函數(shù)和相對平均鑒別器損失函數(shù)構(gòu)成Pan-cGAN網(wǎng)絡(luò)以及Pan-RaGAN網(wǎng)絡(luò),并在GF-2衛(wèi)星數(shù)據(jù)集進行訓(xùn)練和測試,以驗證相對平均鑒別器損失函數(shù)的有效性,實驗結(jié)果如圖11所示。可以看出,與Pan-cGAN的融合結(jié)果相比,本文算法的融合結(jié)果包含更多的細(xì)節(jié)信息。圖11中黃色方框內(nèi),本文算法的結(jié)果更接近理想HRMS圖像,而Pan-cGAN融合結(jié)果則出現(xiàn)空間細(xì)節(jié)模糊。

(a)Pan-cGAN (b)本文算法 (c)理想圖像圖11 使用相對平均鑒別器與條件鑒別器的全色銳化對比Fig.11 Contrast of pan-sharpening results between relative average discriminator and conditional discriminator

表3是使用相對平均鑒別器與條件鑒別器的全色銳化定量結(jié)果?？梢钥闯?本文算法在低分辨率下的定量評價指標(biāo)均優(yōu)于Pan-cGAN的,進一步說明了相對平均鑒別器損失函數(shù)的有效性。事實上,當(dāng)使用相對平均鑒別器時,生成器損失函數(shù)受到理想HRMS圖像和生成HRMS圖像的共同作用,但是在條件對抗網(wǎng)絡(luò)中,生成器損失函數(shù)只受生成HRMS圖像的影響。因此,通過相對平均鑒別器可以提高融合圖像與理想的HRMS圖像之間的相似性。

表3 使用相對平均鑒別器與條件鑒別器的全色銳化定量結(jié)果

4 結(jié) 論

本文提出一種用于全色銳化的相對平均生成對抗網(wǎng)絡(luò),與現(xiàn)有算法相比,本文算法在主客觀評價上均取得了良好的結(jié)果,可獲得包含更豐富細(xì)節(jié)信息和光譜信息的融合圖像。本文結(jié)論如下。

(1)改進的密集塊結(jié)構(gòu)和空間注意力機制能夠提高融合圖像的空間分辨率,同時保持光譜信息。在QB數(shù)據(jù)集上,本文算法的Γ比PSGAN算法的小0.157 4,Δ比PSGAN算法的大0.020 6。

(2)在網(wǎng)絡(luò)結(jié)構(gòu)與參數(shù)相同的情況下,相對平均鑒別器損失函數(shù)與條件鑒別器損失函數(shù)相比,能更好地保持圖像的細(xì)節(jié)信息。在GF-2數(shù)據(jù)集上,使用相對平均鑒別器損失函數(shù)的Γ和Λ比使用條件鑒別器損失函數(shù)的Γ和Λ分別小0.061和0.057 7。

(3)雖然本文算法在全色銳化中取得了良好效果,但仍然存在泛化性不強的問題。下一步將探討深度學(xué)習(xí)算法與傳統(tǒng)算法的結(jié)合,進一步提高算法的泛化能力。