成飛飛,付志濤,黃 亮,2,陳朋弟,黃 琨

1. 昆明理工大學國土資源工程學院，云南 昆明 650093； 2. 云南省高校高原山區(qū)空間信息測繪技術(shù)應(yīng)用工程研究中心，云南 昆明 650093

圖像融合是圖像處理領(lǐng)域的一個重要研究課題，具有很大的研究潛力和廣闊的發(fā)展前景。圖像融合技術(shù)是從多個傳感器或多種方式獲取的圖像中提取重要信息，然后通過特定的處理方法和融合策略進行組合得到融合圖像，可以獲得單一傳感器無法提供的信息，已被廣泛應(yīng)用于紅外和可見光融合，醫(yī)學影像融合和遙感影像融合等多源影像融合領(lǐng)域中[1-2]。在遙感影像融合中，高分辨的影像可以為現(xiàn)代遙感技術(shù)提供保障[3]，其中全色(PAN)與多光譜(MS)影像融合是熱點和難點問題，它們具有不同的成像模式和特點。多光譜圖像具有豐富的光譜信息，但其空間分辨率較低，而全色影像具有較高的空間分辨率，但缺乏足夠的光譜信息。利用MS和PAN影像各自優(yōu)勢將兩種不同的影像融合在一起，不僅能夠提高全色影像的光譜信息，而且能提高多光譜影像的空間細節(jié)信息，融合后的影像具有更強的解譯能力，從而提高信息提取的準確性和穩(wěn)健性。

綜合來看，影像融合劃分方法主要分為基于空間域的融合方法和基于變換域的融合方法[4-5]。其中，基于空間域的影像融合主要有主成分分析、比值變換及IHS等方法，這些方法計算簡單，速度快，雖然可以改善影像的空間細節(jié)信息，但會造成嚴重的光譜失真和紋理損失，現(xiàn)在空間域的方法與其他方法結(jié)合使用[6-7]。隨著小波變換被廣泛應(yīng)用于影像融合[8-9]領(lǐng)域，但其方向有限和缺乏平移不變性，融合會造成空間細節(jié)信息的損失和光譜失真，隨后人們提出多種方法來解決小波變換融合中方向有限和缺乏平移不變性的問題。文獻[10]提出基于曲波變換的遙感影像融合方法，該方法在保留原始影像重要信息和抑制噪聲方面比小波變換方法更好。文獻[11]提出基于粒子群優(yōu)化算法優(yōu)化輪廓波變換，在保證MS光譜信息同時提高了影像的清晰度。雖然輪廓波變換繼承了曲波變換的各向異性，但仍然沒有改變其缺乏平移不變性，之后又通過不斷研究在輪廓波和剪切波基礎(chǔ)上提出NSCT和NSST。NSCT變換是對輪廓波變換的改進，在影像分解和重建過程中沒有進行下采樣操作，解決了輪廓波和剪切波中的平移不變性問題。文獻[12]利用NSCT方法充分提取了原影像中的方向信息，有效地消除了偽吉布斯現(xiàn)象。NSST通過剪切波變換改進得到，具有良好的影像稀疏表達和低成本計算的能力，適合于MS與PAN影像的融合[13]。

NSST的出現(xiàn)為影像融合提供了解決思路。近年來，基于NSST變換的影像融合方法受到了廣泛關(guān)注，脈沖耦合神經(jīng)網(wǎng)絡(luò)作為重要的融合策略得到廣泛應(yīng)用。文獻[14]將PCNN應(yīng)用于低頻系數(shù)，并利用PCNN的點火發(fā)射次數(shù)，通過加權(quán)射擊能量融合規(guī)則對低頻系數(shù)進行融合，該方法在不增加計算時間的情況下，能夠同時保持空間細節(jié)和光譜特征。文獻[15—16]采用Sigmoid函數(shù)對PCNN模型輸出的各子帶系數(shù)迭代過程中的點火輸出幅度進行計算，使得融合結(jié)果能夠較好的保持光譜分辨率的同時，有效利用了影像中地物邊緣和細節(jié)信息，但是以上方法中PCNN模型的自由參數(shù)不能自適應(yīng)計算。

針對以上問題，本文提出一種結(jié)合參數(shù)自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)(PA-PCNN)模型和保持能量(EA)細節(jié)的NSST遙感影像融合方法：①本文采用的NSST分解方法既能很好地保留原始影像的特征，又能有效地減少影像信息的冗余，降低影像處理的復雜度和計算量。②針對高頻子帶融合策略中采用了自適應(yīng)的PA-PCNN參數(shù)模型，可以對所需要的參數(shù)進行自適應(yīng)調(diào)整，使模型的適應(yīng)能力大幅度增強，更好地適應(yīng)于復雜遙感影像的融合。低頻采用能量的融合策略，進一步減少了紋理和背景信息的丟失，使得融合結(jié)果更接近原始影像。最后，將所提方法與SE[17]、DGIF[18]和COF[19]、PA-PCNN[20]4種融合方法進行比較來驗證本文方法的有效性和優(yōu)越性。

1 基本理論

1.1 非下采樣剪切波變換

NSST將非下采樣金字塔變換與剪切濾波器結(jié)合，提供一個最優(yōu)的稀疏表示，可以更加有效地描述圖像信息。利用NSST進行影像融合處理，既能很好地保留原始影像的特征，又能有效地減少影像信息的冗余，降低影像處理的復雜度和計算量。NSST實現(xiàn)主要有多尺度分解和方向局部化兩部分組成，非下采樣剪切波多個尺度多個方向的子帶分解如圖1所示。其中NSLP指非下采樣金字塔濾波器多尺度分解，q指多尺度分解層數(shù)，SF指剪切濾波器方向局部化。NSST不僅具有多尺度特性，而且具有較強的平移不變性和方向敏感性，因此，本文將采用NSST對全色與多光譜影像進行分解。

圖1 非下采樣剪切波多個尺度多個方向的分解子帶Fig.1 Decomposed sub-bands with multiple scales and directions of non-subsampled shearlet transform

1.2 脈沖耦合神經(jīng)網(wǎng)絡(luò)

PCNN最早由文獻[21]提出，有傳統(tǒng)影像處理算法無法比擬的先天優(yōu)勢，無須學習和訓練即可從復雜的背景中提取有效信息。目前基于PCNN的大部分自由參數(shù)(如鏈接強度、振幅和衰減系數(shù)等)還不能完全自適應(yīng)，需要手動調(diào)整[22]。為了克服傳統(tǒng)PCNN模型難以設(shè)置自由參數(shù)、降低標準PCNN模型的復雜度以及提高計算速度問題，文獻[23]提出一種自適應(yīng)的策略，文獻[20]將其應(yīng)用到圖像融合領(lǐng)域，得到了良好的試驗效果，這種融合策略目前已經(jīng)成功應(yīng)用到紅外和可見光[24]圖像融合領(lǐng)域。

2 本文方法

2.1 YUV變換

色彩融合技術(shù)是一種典型的技術(shù)，YUV[25]具有亮度信息和色彩信息分離特性的一種方法。其中“Y”表示亮度分量，“U”和“V”表示顏色分量，用來描述影像色彩及飽和度，并指定像素的顏色。RGB-YUV變換的具體步驟如下。

(1) 采用YUV變換從原始多光譜影像的顏色分量中分離出Y、U、V。

(2) 融合MS的Y分量與PAN影像，得到融合Y′分量。

(3) 將分量Y′與分離的色度U分量V分量進行YUV-RGB變換，實現(xiàn)影像融合。

本文方法如圖2所示，具體步驟如下。

(1) 對MS影像進行RGB-YUV變換，分離出影像的亮度分量Y。

(2) 利用NSST對PAN和MS影像的Y分量分別進行分解，得到相應(yīng)的高頻子帶(HA,HB)、低頻子帶(LA,LB)。

(3) 采用PA-PCNN和EA的融合策略分別對高頻和低頻子帶系數(shù)進行處理。

圖2 本文融合方法流程Fig.2 Flow chart of fusion method

(4) 分別對處理后的系數(shù)進行NSST逆變換，得到融合后Y′亮度分量，然后將Y′、U和V進行YUV-RGB變換，得到最終的融合影像。

2.2 高頻子帶融合

高頻子帶系數(shù)不僅提供了影像多尺度信息，而且還包含了豐富的原影像空間細節(jié)信息。本文方法在文獻[20]的基礎(chǔ)上提出了一種適合遙感影像的融合方法。該方法借助PA-PCNN模型在醫(yī)學影像融合方面的優(yōu)越性，將自適應(yīng)PA-PCNN方法引入遙感影像融合領(lǐng)域，將高頻子帶系數(shù)與自適應(yīng)計算PCNN參數(shù)的方法結(jié)合，其中PA-PCNN中模型中有4個自由參數(shù)，所有參數(shù)可以自適應(yīng)的計算，公式為

af=log(1/σ(S))

(1)

(2)

VE=e-af+1+6λ

(3)

(4)

式中，σ(S)表示范圍[0，1]的輸入影像S的標準差；S′表示歸一化Otsu閾值；Smax輸入圖影像的最大強度；VE動態(tài)閾值E的振幅；ae、af表示E、F的指數(shù)衰減系數(shù)；λ表示加權(quán)鏈接強度。有關(guān)參數(shù)更多細節(jié)信息可參考文獻[20,25]。

Tij[N]=Tij[N-1]+Yij[N]

(5)

(6)

2.3 低頻子帶融合

低頻子帶包含影像的紋理、結(jié)構(gòu)等信息，其融合策略對最終融合質(zhì)量影響重大，通常采用較為簡單的平均融合規(guī)則來處理低頻子帶系數(shù)，但這樣不僅降低了融合影像的對比度，而且損失原影像的一些有用信息。因此，低頻系數(shù)選擇的融合規(guī)則是否準確決定了融合影像的質(zhì)量。為了充分保留NSST分解后低頻子帶包含的有用信息，在低頻子帶融合中采用一種能量屬性(EA)融合策略[26]，該融合策略分為3個步驟。

(1) 計算低頻子帶的固有屬性值，計算公式為

IPA=μA+MeA

(7)

IPB=μB+MeB

(8)

(2) EA函數(shù)中EA和EB由式(9)和式(10)計算

(9)

(10)

(3) 低頻子帶的融合通過加權(quán)平均值獲得

(11)

式中，LF表示低頻子帶加權(quán)平均值。

3 試驗數(shù)據(jù)與結(jié)果分析

3.1 評價指標

為了更好地驗證方法的優(yōu)越性和泛化能力，本文分別選用了資源三號(ZY-3)、高分二號(GF-2)和Worldview(WV)3種不同空間分辨率多幅遙感影像進行試驗，試驗數(shù)據(jù)的分辨率見表1。裁剪為30對影像集，并對影像進行了輻射校正、重采樣和影像配準的預處理工作。本文選取了空間頻率(SF)、相對無量綱全局誤差(ERGAS)、相關(guān)系數(shù)(CC)、視覺信息保真度(VIFF)、基于梯度的融合性能(QAB/F)和結(jié)構(gòu)相似度測量(SSIM)等6種客觀評價指標來評價影像融合的質(zhì)量。

3.2 參數(shù)分析

為了更好地適應(yīng)復雜的遙感影像，本文各選取ZY-3、GF-2和WV的2組影像主要針對NSST的分解層數(shù)q進行參數(shù)分析試驗。NSST分解層數(shù)參數(shù)分析結(jié)果如圖3所示，此次試驗中，設(shè)置NSST分解層數(shù)q為1—5層，迭代次數(shù)N固定為110，α固定為4，根據(jù)經(jīng)驗設(shè)置了16、8、4方向數(shù)。由圖3可以看出，隨著q的增加，SF、ERGAS、VIFF、QAB/F和SSIM基本趨于上升的趨勢，CC趨于略有下降的趨勢，當q=4之后變化比較平穩(wěn)，當q>4時，VIFF和SSIM部分結(jié)果略有下降的趨勢。因此考慮到當q增加時，時間成本也會隨之增加，通過試驗分析，本文將NSST分解層數(shù)q設(shè)置為4，PA-PCNN迭代次數(shù)和調(diào)節(jié)參數(shù)根據(jù)文獻設(shè)定[20,26]，N設(shè)置為110，調(diào)節(jié)參數(shù)α設(shè)置為4。

表1 試驗數(shù)據(jù)的分辨率

圖3 NSST分解層數(shù)結(jié)果Fig.3 Results of NSST decomposition layers

3.3 資源三號數(shù)據(jù)

3.3.1 試驗數(shù)據(jù)

第1組數(shù)據(jù)來源于ZY-3衛(wèi)星，其中空間分辨率多光譜影像(MS)為5.8 m，PAN影像為2.1 m，分別裁剪了像素大小為512×512像素的10組影像進行試驗，部分試驗影像如圖4所示。

圖4 資源三號試驗影像Fig.4 ZY-3 experimental image

3.3.2 試驗結(jié)果分析

下面給出ZY-3衛(wèi)星10組影像對MS和PAN影像在不同算法下融合的試驗結(jié)果，選取了其中2組影像的試驗結(jié)果進行展示，圖5顯示了SE[17]、DGIF[18]和COF[19]、PA-PCNN[22]和本文算法的融合結(jié)果，表2給出了5種融合方法的客觀評價結(jié)果。

圖5 第1組影像融合結(jié)果Fig.5 Results of the first group of imaging experiments

將較低分辨率ZY-3影像數(shù)據(jù)作為第1組試驗。圖5(a)—(e)為影像融合結(jié)果，其清晰程度相比原來的多光譜影像都有提高，其中SE、COF和DGIF方法融合后的整體細節(jié)信息不清晰，而且SE融合視覺效果一般，COF方法出現(xiàn)嚴重偽影。在紅色矩形框區(qū)域可以清楚看出PA-PCNN和本文方法融合后紋理信息更加清晰，色彩信息更加豐富，更加符合人眼視覺系統(tǒng)。ZY-3影像融合的客觀評價結(jié)果見表2，由表2可以看出，本文方法在SF、ERGAS、CC、VIFF、QAB/F和SSIM評價指標優(yōu)于其他4種方法，說明本文采用的融合策略是可行的，在主觀和客觀評價中總體獲得最優(yōu)的效果，融合后影像空間和光譜信息更加豐富。

表2 試驗1不同方法的客觀評價

3.4 高分二號數(shù)據(jù)

3.4.1 試驗數(shù)據(jù)

第2組數(shù)據(jù)來源于GF-2衛(wèi)星，其中空間分辨率多光譜影像(MS)為4 m，PAN影像為1 m，分別裁剪了像素大小為512×512像素的10組影像進行試驗，部分試驗影像如圖6所示。

3.4.2 試驗結(jié)果分析

下面給出GF-2衛(wèi)星10組MS和PAN遙感影像在不同算法下融合的試驗結(jié)果，選取了其中2組影像的試驗結(jié)果進行展示，圖7顯示了5種不同算法的融合結(jié)果，表3給出了5種融合方法對影像融合的客觀評價結(jié)果。

將高分辨率高分二號影像數(shù)據(jù)作為第2組試驗。圖7(a)—(e)為影像融合結(jié)果，其清晰程度相比原來的多光譜影像都有一定的提高，其中SE融合提升效果較小，COF出現(xiàn)局部偽影、DGIF融合后的紋理結(jié)構(gòu)不清晰，存在一定的顏色失真，PA-PCNN和本文方法融合后紋理結(jié)構(gòu)清晰，色彩信息豐富，紅色矩形框區(qū)域本文方法比PA-PCNN方法影像細節(jié)也更加清晰，GF-2影像融合的客觀評價結(jié)果見表3，通過表3可以看出，本文方法在SF、ERGAS、CC、VIFF、QAB/F指標優(yōu)于其他4種方法，表明融合影像的信息量豐富，說明本文采用的適合高分辨率的影像融合，可以更準確地保留原始影像光譜信息及空間細節(jié)信息。相比ZY-3試驗，SSIM達到一個次優(yōu)的效果，說明本文方法對較高分辨的SSIM相比PA-PCNN弱一些，但總體上還是達到一個最好的效果。

圖6 GF-2試驗影像Fig.6 GF-2 experimental image

圖7 第2組影像融合結(jié)果Fig.7 Results of the second group of experimental images

表3 試驗2不同方法的客觀評價

3.5 Worldview數(shù)據(jù)

3.5.1 試驗數(shù)據(jù)

第3組數(shù)據(jù)來源于WV衛(wèi)星，其中空間分辨率多光譜影像(MS)為1.2 m，全色影像為0.3 m，分別裁剪了像素大小為512×512像素的10組影像進行試驗，部分試驗影像如圖8所示。

3.5.2 試驗結(jié)果分析

下面給出WV衛(wèi)星10組MS和PAN影像在不同算法下融合的試驗結(jié)果，選取了其中2組影像的試驗結(jié)果進行展示，圖9顯示了5種不同算法的融合結(jié)果，表4給出了5種融合方法對影像融合的客觀評價結(jié)果。

將高分辨率WV影像數(shù)據(jù)作為第3組試驗，圖9(a)—(e)為影像融合結(jié)果，其清晰程度相比原來的多光譜影像都有很大提高，在紅色矩形框區(qū)域可以清楚PA-PCNN和本文方法更加清晰。WV影像融合的客觀評價結(jié)果見表4，通過表4可以看出，本文方法在SF、ERGAS、CC、QAB/F和SSIM指標優(yōu)于其他4種方法，表明融合影像的信息量豐富，顯著信息多，與原影像相關(guān)性強，信息損失量較小，說明本文采用的融合策略，可以更準確地保留原始影像紋理信息和細節(jié)信息。相比ZY-3和GF-2試驗,本文方法VIFF取得了相對較差的結(jié)果，說明對于低分辨率影像灰度值變化小，輪廓清晰度較低，視覺的保真度一般，但本文方法總體上優(yōu)于其他方法的融合效果。

圖8 WV試驗影像Fig.8 WV experimental image

圖9 第3組影像融合結(jié)果Fig.9 Fusion results of the third group of images

表4 試驗3不同方法的客觀評價

綜上所述，本文通過對不同分辨的遙感影像進行試驗驗證本文方法的泛化能力，通過試驗說明針對不同分辨率的遙感影像適應(yīng)性不同，客觀評價也很難達到所有指標均最優(yōu)。融合的過程就是綜合平衡視覺效果和各種客觀指標以達到最優(yōu)的融合效果。通過以上分析，本文方法面對不同分辨率影像仍然能達到綜合最優(yōu)的效果，說明本文融合算法具有較強的泛化能力，不僅適用于較低分辨率影像融合，同樣適用于較高分辨率影像融合。

4 結(jié) 論

提出基于PA-PCNN模型和保持能量屬性融合策略的NSST遙感影像融合算法。該方法將PA-PCNN模型引入遙感影像高頻子帶系數(shù)的融合中，PCNN模型中的自由參數(shù)均可根據(jù)PA-PCNN模型自適應(yīng)計算，克服了手動設(shè)置自由參數(shù)的困難，更好地實現(xiàn)空間和光譜信息融合。通過與4種具有代表性的融合方法對比，大量試驗結(jié)果表明，本文提出的方法在視覺感知和客觀評價方面整體優(yōu)于SE、COF、DGIF、PA-PCNN方法，說明本文融合算法不僅適用于低分辨率全色和多光譜影像融合，而且同樣適用于高分辨率全色和多光譜影像融合。本文方法不僅克服了PCNN的不足，而且可以適應(yīng)復雜的遙感影像，使得在融合領(lǐng)域的適應(yīng)性大大增強，后續(xù)筆者將致力于設(shè)計更有效的融合策略來提高算法的時間效率，提升融合低分辨率影像的能力。此外，隨著深度學習已經(jīng)廣泛應(yīng)用影像領(lǐng)域，在未來的研究中，筆者將重點研究遙感影像融合的深度學習方法。