王 瀛 余嵐旭 王春喜 左 方 王澤浩

（1.河南大學(xué)智能網(wǎng)絡(luò)系統(tǒng)研究所 開封 475001）（2.河南大學(xué)河南省現(xiàn)代網(wǎng)絡(luò)技術(shù)實(shí)驗(yàn)教學(xué)示范中心 開封 475001）（3.河南大學(xué)河南省高等學(xué)校學(xué)科創(chuàng)新引智基地-河南大學(xué)軟件工程智能信息處理創(chuàng)新引智基地 開封 475001）（4.河南大學(xué)研究生院 開封 475001）（5.河南大學(xué)河南省智能網(wǎng)絡(luò)理論與關(guān)鍵技術(shù)國際聯(lián)合實(shí)驗(yàn)室 開封 475001）

1 引言

現(xiàn)在越來越多不同功能的傳感器不斷涌現(xiàn)，使得人們獲取不同地區(qū)遙感數(shù)據(jù)信息變得更豐富［1］。人們獲取大量的地面觀測數(shù)據(jù)，比如高光譜圖像，多光譜圖像，全色圖像等，從這些多樣化的遙感數(shù)據(jù)獲得更豐富的信息［2］。在如此大的數(shù)據(jù)中，遙感圖像融合成為快速高效地從海量數(shù)據(jù)中得到符合實(shí)際需求的有效手段。圖像融合就是根據(jù)一定的空間轉(zhuǎn)換、圖像分解或者模型優(yōu)化等方法，將兩幅或者多幅圖像的優(yōu)點(diǎn)結(jié)合到一起，組合形成一幅新圖像。

常用的遙感圖像融合的算法有基于IHS（Intensity Hue Saturation）變換的融合方法［3］、基于主成分分析（Principal Component Analysis）變換的融合方法［4］、Brovey變化融合方法［5］以及Gram-Schmidt光譜銳化方法［6］、基于小波變換的融合算法［7］等。其中基于深度學(xué)習(xí)的融合方法近年來發(fā)展迅速，該類融合方法與傳統(tǒng)的融合方法不同，其采用某種學(xué)習(xí)機(jī)制學(xué)習(xí)得到融合影像與原有圖像的關(guān)系。PCA和IHS融合算法均是對圖像矩陣進(jìn)行操作，將其轉(zhuǎn)換成不同的分量，通過對其中的一些分量進(jìn)行轉(zhuǎn)換，實(shí)現(xiàn)圖像信息的融合。PCA變換的融合方法在多光譜圖像波段數(shù)較多時(shí)有著較大的處理優(yōu)勢，在其處理過程中得到的第一主成分分量是包含了多光譜圖像各個(gè)波段中大量的有效信息，與PAN圖像中的細(xì)節(jié)信息存有差異。但I(xiàn)HS融合方法可處理的多光譜圖像具有波段限制，其波段數(shù)不能超過3個(gè)［8］。小波變換具有多分辨率的特性，可以對圖像進(jìn)行分解處理，得到高頻細(xì)節(jié)分量、低頻細(xì)節(jié)分量，由于它們各自代表的信息不同，使用不同的融合規(guī)則分別進(jìn)行信息處理，可以更大效率地使用圖像間的互補(bǔ)、冗余信息，對圖像中的細(xì)小目標(biāo)進(jìn)行強(qiáng)化。所以，為了在光譜波段較多時(shí)提高融合圖像的效果，本文充分結(jié)合三種融合算法的優(yōu)點(diǎn)，提出一種基于IHS、PCA和小波變換結(jié)合的融合算法。下面對以上改進(jìn)內(nèi)容進(jìn)行詳細(xì)敘述。

2 遙感圖像融合方法

2.1 IHS融合方法

IHS變換的融合方法主要是將獲取的原屬于RGB空間的多光譜圖像，變換到IHS顏色空間表示，擁有I、H、S三個(gè)相對獨(dú)立分量［9］。然后把全色圖像與強(qiáng)度分量I進(jìn)行成分替換，進(jìn)行IHS-RGB轉(zhuǎn)換得到融合圖像。下面是RGB-IHS變換公式：

其中，V1和V2是中間變量。從IHS空間變換到RGB空間的逆變換如下所示：

由于全色圖像與變換得到的強(qiáng)度分量圖之間的灰度值存在差異，兩者的相關(guān)性較低，這樣會使得到的融合圖像與原始圖像的光譜差異信息差距較大，違背了融合目的。為了解決光譜失真問題，伍娟、盧凌等［10］提出將全色圖像與強(qiáng)度分量圖進(jìn)行直方圖匹配，使得兩者具有更高的相關(guān)性，取得更好的融合效果。但是傳統(tǒng)的IHS變換融合方法只能處理三個(gè)波段的多光譜圖像，現(xiàn)在遙感數(shù)據(jù)所含波段已包括四個(gè)波段（R、G、B、NIR）甚至更多，為了解決此問題，Tu［11］等提出了快速的IHS（Fast Intensity Hue Saturation）融合方法，該方法在擁有快速有效計(jì)算能力的同時(shí)，還將IHS融合算法能處理的波段數(shù)從三個(gè)提升到了任意波段。

2.2 PCA融合方法

主成分分析就是把多維數(shù)據(jù)進(jìn)行簡化處理，將其用幾個(gè)綜合信息較豐富的成分來表示，它們中攜帶了原數(shù)據(jù)中大量的信息，并且各自相對獨(dú)立，操作起來對別的成分影響較小，避免出現(xiàn)冗余信息［12］，其中第一主成分（PC1）擁有數(shù)據(jù)或者圖像的主要信息，主成分分析有著簡化數(shù)據(jù)結(jié)構(gòu)的作用。PCA變換的融合方法主要思想是對多光譜圖像進(jìn)行成分變換，得到幾個(gè)主成分，其中第一主成分與全色圖像進(jìn)行成分替換，利用逆變換得到融合圖像。其變換過程的數(shù)學(xué)描述如下所示。

1）計(jì)算協(xié)方差矩陣C。多光譜圖像的波段數(shù)為，按照向量的表示形式如下所示：

不同波段間的方差如下所示：

則協(xié)方差矩陣為C：

2）求解C的特征值和特征向量，其對應(yīng)的特征向量根據(jù)式（10）求解得到：

3）主成分矩陣分解：

得到主成分矩陣Y：

其中，PC為主成分分量，PC1為第一主成分。PCA融合方法相較于傳統(tǒng)的IHS融合方法，它可以融合多個(gè)波段的多光譜圖像［13］。

2.3 小波變換融合方法

基于小波變換的圖像融合方法是多分辨率分析融合的重要方法之一［14］。1987年，Mallat將小波理論與多分辨率分析結(jié)合，提出了小波多分辨分析的概念，隨著眾多學(xué)者的應(yīng)用研究已成功地將其應(yīng)用到了圖像融合領(lǐng)域［15］。該方法的主要思路是，首先從空間分辨率較高的全色圖像中獲取細(xì)節(jié)信息，然后將其加入到多光譜圖像，得到信息豐富的融合圖像，減少光譜失真。小波變換作為新的數(shù)學(xué)工具，從根本上克服了傅里葉變換在時(shí)域內(nèi)不具有局部性的缺陷，小波變換在空間域和頻率域上都具有良好的局部性特質(zhì)，它能夠?qū)⑿盘柗纸獬煽臻g與時(shí)間相互獨(dú)立的同時(shí)，更好地保存原信號所包含的信息，實(shí)現(xiàn)信號無冗余分解，聚焦分析對象的任意細(xì)節(jié)。

3 本文算法

3.1 算法過程

本文提出的遙感圖像融合改進(jìn)算法過程如圖1所示。

圖1 圖像融合過程

本文對融合時(shí)所需的圖像都已經(jīng)過嚴(yán)格的圖像配準(zhǔn)與采樣，多光譜圖像與全色圖像大小保持一致，小波分解層數(shù)為3。

Step1：對低分辨率的多光譜圖像進(jìn)行PCA變換得到主成分PC1、PC2、PC3，將得到的降維后的多光譜圖像進(jìn)行IHS變換得到I、H、S分量。

Step2：為了提高替換分量的相關(guān)性，將全色圖像與Step1中得到的強(qiáng)度分量I進(jìn)行均衡化處理；計(jì)算全色圖像的灰度級為rk的概率估計(jì)值p(rk)：

同理對全色圖像進(jìn)行均衡化處理得到sz(rk)。

Step3：為了獲得I和全色圖像最佳的灰度變換關(guān)系，需要盡可能地使選取的sz(zk)和sr(rk)與原多光譜強(qiáng)度分量的灰度級zk、全色圖像的灰度級rk保持相等。根據(jù)zk與rk之間的對應(yīng)關(guān)系，調(diào)整圖像的灰度級，從而獲得匹配度較高的強(qiáng)度分量Inew。

Step4：將得到的強(qiáng)度分量Inew與全色圖像進(jìn)行直方圖匹配，得到匹配后的newPAN。

Step5：對高頻、低頻細(xì)節(jié)分量使用不同的融合規(guī)則，根據(jù)圖像間的匹配度不同，低頻分量使用最大值融合策略或平均融合策略，高頻分量采用絕對值策略進(jìn)行融合；然后進(jìn)行逆小波變換，得到融合后的亮度分量。

Step6：對生成的強(qiáng)度分量和Step1中得到的H、S分量進(jìn)行IHS逆變換得到融合圖像。

3.2 融合規(guī)則

在融合時(shí)融合規(guī)則的選擇對融合圖像的質(zhì)量有著一定的主導(dǎo)作用，下面對本文小波融合中所用的不同融合規(guī)則進(jìn)行說明。

1）低頻融合規(guī)則

假設(shè)C(X)為圖像X進(jìn)行小波分解的低頻系數(shù)矩陣，p=(m，n)代表系數(shù)矩陣的空間位置，區(qū)域Q表示p的鄰域空間，C(X，p)表示低頻系數(shù)矩陣中下標(biāo)為(m，n)的元素值，μ(X，p)表示p的鄰域空間Q中元素的均值。假定G(X，p)是X中p位置的區(qū)域方差，那么G(X，p)可根據(jù)下面的等式進(jìn)行計(jì)算：

其中，w(q)表示權(quán)重，q與p的距離越近，其w(q)的值越大。

假設(shè)G(A，p)和G(B，p)表示A和B的低頻系數(shù)矩陣相對與p的區(qū)域方差，所以A和B相對于p的方差匹配度Mp如下表示：

其中，Mp的值的變化范圍在0～1之間，它的值越小說明兩幅圖像低頻系數(shù)矩陣之間的相關(guān)性越低。

假設(shè)T為匹配度閾值，T的取值范圍一般在0.5≤T≤1，在本文的實(shí)驗(yàn)中選取T=0.6。

當(dāng)Mp＜T時(shí)，說明圖像間的匹配度較低，使用最大值融合策略：

當(dāng)Mp≥T時(shí)，使用平均融合策略：

其中，Wmin=0.5Wmax=1-Wmin。

2）高頻融合規(guī)則

由于高頻細(xì)節(jié)分量主要涵蓋的是圖像的細(xì)節(jié)紋理，一般來說全色圖像的高頻細(xì)節(jié)分量信息量更豐富，為了更好地保持圖像的細(xì)節(jié)紋理，針對高頻分量的融合采用絕對值策略進(jìn)行融合，即：

4 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證所提算法的性能，本采用三組實(shí)驗(yàn)數(shù)據(jù)進(jìn)行驗(yàn)證，融合數(shù)據(jù)都已經(jīng)過嚴(yán)格的圖像配準(zhǔn)與采樣，并將其與IHS、PCA、Brovey、HPF圖像融合算法進(jìn)行對比。圖2、圖3、圖4分別是兩組實(shí)驗(yàn)數(shù)據(jù)的融合結(jié)果。

圖2 不同算法在測試圖一中的融合結(jié)果

圖2、圖3、圖4的（c）、（d）、（e）、（d）、（f）分別為IHS、PCA、Brovey、HPF和與本文算法的融合結(jié)果圖。在對兩組圖的直觀觀察中，對于圖像中的一些目標(biāo)特征信息，如河流、居民區(qū)、建筑、樹木等的細(xì)節(jié)特征和光譜信息都有了更清晰的表達(dá)，相較于原始的多光譜圖像有了很明顯的改善，可以看出這幾個(gè)融合算法對圖像的分辨率都有了一定的提高。從上面的融合結(jié)果圖中可以很直觀地看到IHS融合算法存在較嚴(yán)重的光譜扭曲問題，其中圖2、3中的PCA融合結(jié)果圖也存在著一定程度的光譜信息丟失。從圖2（e）可以看出Brovey融合結(jié)果的光譜信息的保持較好，對于圖像里的一些細(xì)節(jié)特征也比較突出，但是圖像的視覺觀感也就是清晰度稍有欠缺。三組HPF算法結(jié)果圖中可以看出圖像中細(xì)節(jié)相較于其他算法已經(jīng)有了明顯的提高，其中也存在著一定的不足，在圖2、3、4中可以看出融合結(jié)果的圖像存在一定的光譜信息扭曲。圖（g）是本文算法融合結(jié)果，可以很直觀地感受到，它的細(xì)節(jié)信息表現(xiàn)得更加突出，起到了一定得增強(qiáng)效果，而且在這兩組融合結(jié)果中，光譜信保持得最為完整。人的主觀觀感也較佳，融合質(zhì)量更高。

圖4 不同算法在測試圖三中的融合結(jié)果

本實(shí)驗(yàn)測試圖一的客觀評價(jià)［16］如表1所示，測試圖二的客觀評價(jià)如表2所示，圖4的客觀評價(jià)如表3所示。從表中可以看出本文得到的融合圖像的各項(xiàng)評價(jià)指標(biāo)表現(xiàn)較好。IHS算法和PCA算法的相關(guān)性系數(shù)、光譜相對熵比較小，反映到圖像中的樹木等光譜失真嚴(yán)重。本文算法在這些指標(biāo)中性能較優(yōu)于其他IHS、PCA、Brovey算法，在光譜信息的保持和空間細(xì)節(jié)信息方面都體現(xiàn)出來不錯(cuò)的效果，這些性能指標(biāo)上明顯優(yōu)于其他算法，在保持了源圖像空間細(xì)節(jié)的同時(shí)對光譜信息最大化保留，在多方面都是最優(yōu)的。

表1 不同算法在測試圖一中的融合結(jié)果

表2 不同算法在測試圖二中的融合結(jié)果

表3 不同算法在測試圖三中的融合結(jié)果

5 結(jié)語

文章介紹了關(guān)于IHS融合算法的相關(guān)改進(jìn)算法：首先對IHS算法中出現(xiàn)光譜扭曲現(xiàn)象，提出了基于直方圖優(yōu)化的改進(jìn)思想，得到最優(yōu)強(qiáng)度分量，有效地提高了強(qiáng)度分量與全色圖像的相關(guān)性，減少光譜扭曲。最后在此基礎(chǔ)上，利用PCA變換可以對多波段圖像處理的優(yōu)勢與小波變換根據(jù)不同融合規(guī)則對圖像信息進(jìn)行融合的特點(diǎn)，結(jié)合PCA算法對圖像進(jìn)行融合處理。在對比實(shí)驗(yàn)中，結(jié)果表明文章所提算法可以更好地保持圖像中光譜信息。