劉清才

河南省地質(zhì)礦產(chǎn)勘查開(kāi)發(fā)局 第四地質(zhì)勘查院，河南 鄭州 450001

0 引 言

航測(cè)內(nèi)業(yè)遙感圖像使用中，差異類(lèi)型傳感器采集的遙感圖像數(shù)據(jù)存在顯著冗余性，互補(bǔ)性較低，大量遙感數(shù)據(jù)未能實(shí)現(xiàn)物盡其用[1-3]。如何合理使用此類(lèi)數(shù)據(jù)，將遙感圖像數(shù)據(jù)融合，是目前航測(cè)內(nèi)業(yè)遙感應(yīng)用領(lǐng)域的核心問(wèn)題。

目前，對(duì)遙感圖像融合方面的研究不在少數(shù)，王威等[4]提出一種引導(dǎo)濾波和稀疏表示相結(jié)合的遙感圖像融合算法，在圖像融合之前先對(duì)多光譜圖像進(jìn)行IHS變換操作，將全色圖像當(dāng)作導(dǎo)向圖，采用引導(dǎo)濾波算法在全色圖像中注入細(xì)節(jié)。在此基礎(chǔ)上，采用ksvd方法進(jìn)行自適應(yīng)字典訓(xùn)練，得到圖像的稀疏表示系數(shù)，運(yùn)用融合規(guī)則對(duì)稀疏表示系數(shù)進(jìn)行替換。該算法是通過(guò)引導(dǎo)濾波與系數(shù)表示相融的形式實(shí)現(xiàn)遙感圖像融合。該算法可以加強(qiáng)圖像的局部細(xì)節(jié)，在光譜保留度上具有一定的優(yōu)勢(shì)，但是融合后的遙感圖像信息量不夠充分，圖像光譜存在形變情況。劉卷舒等[5]提出一種改進(jìn)的基于非下采樣的Contourlet變換的圖像融合算法，首先對(duì)融合的圖像進(jìn)行NSCT分解，采用融合規(guī)則融合Contourlet域系數(shù)，從而獲取融合后圖像的NSCT系數(shù)，采用逆變換方法重構(gòu)融合圖像，以不同曝光度圖像和多聚焦圖像作為實(shí)驗(yàn)對(duì)象，進(jìn)行融合效果分析。該算法能夠?qū)崿F(xiàn)對(duì)遙感圖像的快速融合，但是遙感圖像紋理清晰度不夠顯著。劉帆等[6]提出一種基于優(yōu)化字典學(xué)習(xí)的遙感圖像融合方法，在經(jīng)典圖像庫(kù)中選取圖像分塊作為訓(xùn)練樣本，實(shí)現(xiàn)K均值聚類(lèi)，以聚類(lèi)結(jié)果為基礎(chǔ)，降低相似度較高的圖像塊數(shù)量。對(duì)處理后的訓(xùn)練樣本進(jìn)行訓(xùn)練，并對(duì)全色圖像塊規(guī)范化以此來(lái)替換相似字典原子和較少使用的字典原子，從而得到自適應(yīng)字典。采用自適應(yīng)字典對(duì)圖像進(jìn)行稀疏表示，同時(shí)，選擇不同的融合規(guī)則進(jìn)行圖像融合，通過(guò)操作可以保留更多的光譜信息和空間細(xì)節(jié)信息，實(shí)現(xiàn)圖像的充分融合。該方法得到的融合圖像具有較好的主觀視覺(jué)效果，但是融合后圖像的紋理特征不夠顯著。文獻(xiàn)[7]提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的紅外圖像融合算法，采用尺度感知邊緣保護(hù)濾波器對(duì)目標(biāo)圖像進(jìn)行多尺度分解，利用加權(quán)平均融合規(guī)則對(duì)圖像進(jìn)行融合，并提取圖像中的空間細(xì)節(jié)進(jìn)行融合。該算法可以較好地保留尺度信息，融合后圖像中的噪聲有所減少，但是視覺(jué)效果不佳，不能適應(yīng)人類(lèi)的視覺(jué)感知特點(diǎn)。

針對(duì)現(xiàn)有圖像融合方法存在的問(wèn)題，為改善遙感圖像融合效果，本文提出一種基于自適應(yīng)分割的航測(cè)內(nèi)業(yè)遙感圖像深度融合算法。MeanShift算法屬于一類(lèi)非參數(shù)、迭代模式的檢索算法，也稱(chēng)均值漂移算法，對(duì)航測(cè)內(nèi)業(yè)遙感圖像的特征聚類(lèi)效果較好。在圖像融合過(guò)程中，先通過(guò)基于多維特征自適應(yīng)MeanShift算法的航測(cè)內(nèi)業(yè)遙感圖像分割算法，實(shí)現(xiàn)航測(cè)內(nèi)業(yè)遙感圖像低頻分量、高頻分量特征的自動(dòng)聚類(lèi)與分割，并獲取基帶數(shù)據(jù)，基帶數(shù)據(jù)融合可以充分保護(hù)遙感圖像的光譜信息完整性，保留圖像細(xì)節(jié)；再使用HIS轉(zhuǎn)換和自適應(yīng)小波系數(shù)特征融合算法，將低頻分量在RGB空間中自適應(yīng)地變換至HIS空間中，使低頻分量與RGB空間能夠自動(dòng)適應(yīng)，從低頻與高頻兩種角度使融合后的航測(cè)內(nèi)業(yè)遙感圖像紋理清晰度更顯著，實(shí)現(xiàn)航測(cè)內(nèi)業(yè)遙感圖像的深度融合。

1 航測(cè)內(nèi)業(yè)遙感圖像分割

1.1 多特性選取與預(yù)處理

航測(cè)內(nèi)業(yè)遙感圖像特征向量由位置、光譜、紋理、形態(tài)、輪廓等相關(guān)信息構(gòu)成，采用基于多維特征自適應(yīng)MeanShift算法的航測(cè)內(nèi)業(yè)遙感圖像分割算法，提取航測(cè)內(nèi)業(yè)遙感圖像低頻部分與高頻部分中的目標(biāo)位置、多光譜與紋理特征，進(jìn)而分割成低頻分量與高頻分量[8]。

設(shè)航測(cè)內(nèi)業(yè)遙感圖像像素點(diǎn)A的坐標(biāo)為(a，b)，遙感圖像多光譜由多個(gè)光譜波段和一個(gè)全色波段構(gòu)成，波段信息不僅具有關(guān)聯(lián)性，而且信息量具有冗余性[9]。由于主成分分析法的線性轉(zhuǎn)換性能較好，可去除波段間關(guān)聯(lián)性，因此，將遙感圖像低頻、高頻部分的多光譜信息含量依次設(shè)成兩個(gè)主成分Q1、Q2。航測(cè)內(nèi)業(yè)遙感圖像中的差異地物會(huì)存在較為類(lèi)似的光譜表象，只通過(guò)光譜特征實(shí)施MeanShift聚類(lèi)，便能將光譜存在類(lèi)似性的差異樣本收斂至特征空間一致的模態(tài)點(diǎn)中，此時(shí)地物光譜不可分，因此，進(jìn)行航測(cè)內(nèi)業(yè)遙感圖像分割時(shí)，需要導(dǎo)入紋理特征，以此來(lái)優(yōu)化圖像分割的穩(wěn)定度[10]。通過(guò)對(duì)比度、熵和均勻性3種常見(jiàn)的特性指標(biāo)計(jì)算每個(gè)波段的紋理特征，公式如下：

式中，H為波段參數(shù)。

由于低頻、高頻部分中位置向量、多波段光譜向量、紋理向量的數(shù)量級(jí)存在差異，在迭代操作時(shí)，遙感圖像數(shù)據(jù)溢出性較高，因此必須將全部特征向量依次實(shí)施歸一化操作至值域[0,1]。

設(shè)置航測(cè)內(nèi)業(yè)遙感圖像大小為n×m，像素點(diǎn)A(a，b)的位置特征為：

根據(jù)上述公式，可將Q1、Q2與g1、g2、g3歸一化至值域[0,1]中。

1.2 多維特征自適應(yīng)MeanShift算法實(shí)現(xiàn)

多維特征自適應(yīng)MeanShift算法的關(guān)鍵在于可以采用不同的量化矩陣對(duì)圖像中的細(xì)節(jié)區(qū)域與平滑區(qū)域進(jìn)行自動(dòng)調(diào)節(jié)，在自動(dòng)調(diào)節(jié)中能夠準(zhǔn)確獲取低頻、高頻分量特征，保證圖像中的重要頻率成分，并對(duì)非重要頻率成分進(jìn)行適當(dāng)抑制，在最大程度上確保融合后圖像的空間特征，以此來(lái)提升圖像的自適應(yīng)融合程度。

為了提升MeanShift算法的收斂性，需要使用適當(dāng)?shù)暮撕瘮?shù)。目前常用的是Gauss核函數(shù)與Epanechnikov核函數(shù)[11-12]，由于航測(cè)內(nèi)業(yè)遙感圖像中存在Gauss分布屬性，因此使用Gauss核函數(shù)TN(α)，計(jì)算公式為：

則多維特征自適應(yīng)MeanShift向量為：

式中，像素點(diǎn)A的位置、光譜及紋理特征向量分別為As、Ar、At；A的近鄰像素點(diǎn)的位置、光譜及紋理特征向量分別為Ajs、AjrAjt；位置、光譜與紋理帶寬分別為ts、tr、tt；Aj為第j個(gè)像素點(diǎn)。

將位置向量與顏色向量自動(dòng)歸納成空間-顏色域，采取MeanShift濾波操作，獲取模態(tài)點(diǎn)，以此聚類(lèi)相同模態(tài)點(diǎn)的全部像素點(diǎn)，獲取低頻、高頻部分的特征聚集區(qū)。按照聚類(lèi)結(jié)果計(jì)算每個(gè)聚類(lèi)區(qū)的目標(biāo)特征坐標(biāo)距離、光譜距離以及紋理距離運(yùn)算后續(xù)聚類(lèi)的帶寬ts'(A)、tr'(A)、tt'(A)，通過(guò)式（7）在空間-主成分-紋理域?qū)嵤㎝eanShift聚類(lèi)，獲取低頻、高頻分量的特征聚類(lèi)區(qū)，然后根據(jù)下述準(zhǔn)則實(shí)施區(qū)域合并。

1）兩個(gè)近鄰聚類(lèi)區(qū)的空間距離低于ts，兩個(gè)聚類(lèi)區(qū)合并；

2）兩個(gè)近鄰聚類(lèi)區(qū)的光譜距離低于tr，兩個(gè)聚類(lèi)區(qū)合并；

3）根據(jù)以往經(jīng)驗(yàn)值，將聚類(lèi)區(qū)中最低像素設(shè)置為N，單區(qū)域像素?cái)?shù)低于N，此區(qū)域被合并至近鄰的剩余區(qū)域內(nèi)，從而實(shí)現(xiàn)航測(cè)內(nèi)業(yè)遙感圖像低頻、高頻分量的特征分割，由于ts、tr以及N與遙感圖像的空間距離、光譜距離以及像素相關(guān)，影響圖像聚類(lèi)區(qū)合并效果，進(jìn)而影響圖像分割精度，因此，在圖像分割中應(yīng)注意這幾個(gè)閾值的變化情況。

2 基于HIS轉(zhuǎn)換和自適應(yīng)小波系數(shù)特征的圖像融合算法

實(shí)現(xiàn)航測(cè)內(nèi)業(yè)遙感圖像分割后，圍繞分割獲取的航測(cè)內(nèi)業(yè)遙感圖像低頻、高頻分量，使用基于HIS轉(zhuǎn)換和自適應(yīng)小波系數(shù)特征的融合算法，實(shí)現(xiàn)航測(cè)內(nèi)業(yè)遙感圖像深度融合。

2.1 融合流程

目前，常用的遙感圖像融合方法中，HIS轉(zhuǎn)換融合方法能夠增強(qiáng)遙感圖像的細(xì)節(jié)信息，但是光譜特征信息失真度較高[13]；PCA方法對(duì)光譜特征信息的保護(hù)性較差；小波變換方法可以較好地保護(hù)遙感圖像中的光譜信息與空間信息、紋理信息，但是高空間分辨率圖像中的低頻分量會(huì)存在振鈴情況。因此，將小波變換方法與HIS轉(zhuǎn)換方法相融，將航測(cè)內(nèi)業(yè)遙感圖像的低頻分量、高頻分量進(jìn)行小波分解，獲取基帶數(shù)據(jù)與每個(gè)層次的子帶數(shù)據(jù)。基帶數(shù)據(jù)融合可以充分保護(hù)遙感圖像的光譜信息完整性，子帶數(shù)據(jù)融合可以?xún)?yōu)化遙感圖像分辨率[14]。因此，針對(duì)基帶數(shù)據(jù)與子帶數(shù)據(jù)，使用自適應(yīng)融合算法實(shí)現(xiàn)對(duì)航測(cè)內(nèi)業(yè)遙感圖像的深度融合，具體融合流程為：

1）將高頻分量與低頻分量重采樣成一致的空間分辨率后，實(shí)施標(biāo)準(zhǔn)的空間配準(zhǔn)；

2）將低頻分量在RGB空間中自適應(yīng)地變換至HIS空間，使低頻分量能夠與RGB空間自動(dòng)適應(yīng)，從而獲取強(qiáng)度（S）、色調(diào)（D）以及飽和度（B）；

3）讓高頻分量與低頻分量的S分量實(shí)施直方圖匹配，讓其與S分量存在一致的均值和方差；

4）將匹配后的高頻分量與S分量依次實(shí)施小波分解，低頻分量和高頻分量按照局部小波系數(shù)特征融合準(zhǔn)則實(shí)施轉(zhuǎn)換；

5）將轉(zhuǎn)換后的低頻分量與每層高頻分量實(shí)施逆轉(zhuǎn)換獲取S'；

6）將色調(diào)（D）以及飽和度（B）分別實(shí)施HIS逆轉(zhuǎn)換獲取最后的融合結(jié)果。

2.2 融合準(zhǔn)則

將遙感圖像低頻分量設(shè)成k(Ar)，需要融合的高頻分量設(shè)成KPAN，將k(Ar)和KPAN實(shí)施融合操作。融合準(zhǔn)則如下：

1）低頻分量融合準(zhǔn)則。低頻分量融合是為了充分保存遙感圖像的光譜特征，并將遙感圖像的某些特征導(dǎo)入低分辨率多光譜遙感圖像中，融合準(zhǔn)則公式為：

式中，o為小波塊標(biāo)準(zhǔn)差。

2）高頻分量融合準(zhǔn)則。高頻分量部分融合可增強(qiáng)遙感圖像的細(xì)節(jié)信息，經(jīng)小波分解后獲取遙感圖像的高頻分量為和模板位置局部小塊中的方差，將運(yùn)算獲取的方差值設(shè)成目前模板中心像元，經(jīng)過(guò)小波分解獲取新的高頻分量和方差φ、φ。對(duì)比φ、φ中相應(yīng)像素點(diǎn)A的值，值較大的像素點(diǎn)歸入像素集Ω里，計(jì)算公式為：

循環(huán)上述步驟，每個(gè)分解層水平、垂直、斜向3種方位的高頻分量均實(shí)現(xiàn)融合再停止。將所獲取的新的低頻、高頻分量實(shí)施小波逆轉(zhuǎn)換，重構(gòu)獲取新的航測(cè)內(nèi)業(yè)遙感圖像。將新的航測(cè)內(nèi)業(yè)遙感圖像與原始遙感圖像H、S分量實(shí)施HIS逆轉(zhuǎn)換，得到最后經(jīng)深度融合后的航測(cè)內(nèi)業(yè)遙感圖像。

3 實(shí)驗(yàn)結(jié)果和分析

為了測(cè)試自適應(yīng)分割算法對(duì)航測(cè)內(nèi)業(yè)遙感圖像的融合效果，對(duì)多光譜圖像（圖1a）實(shí)施深度融合。為了凸顯自適應(yīng)分割算法的融合效果，使用引導(dǎo)濾波和稀疏表示相結(jié)合的遙感圖像融合算法、改進(jìn)的基于非下采樣的Contourlet變換的圖像融合算法作為自適應(yīng)分割算法的對(duì)比方法，不同算法的融合效果如圖1b、圖1c、圖1d所示。

圖1 不同算法的圖像融合效果圖Fig.1 Fusion effect of different algorithms

將圖1b、圖1c、圖1d進(jìn)行對(duì)比后可見(jiàn)，引導(dǎo)濾波和稀疏表示相結(jié)合的遙感圖像融合算法融合后，遙感圖像亮度過(guò)高，視覺(jué)效果不佳，改進(jìn)的基于非下采樣的Contourlet變換的圖像融合算法融合后，遙感圖像中的色彩丟失，而自適應(yīng)分割算法融合后的航測(cè)內(nèi)業(yè)遙感圖像紋理清晰度更顯著，光譜信息與細(xì)節(jié)信息均得以?xún)?yōu)化，且融合后圖像亮度更加合適，在客觀的角度上，自適應(yīng)分割算法融合效果更勝一籌。這是由于該算法運(yùn)用多維特征自適應(yīng)MeanShift算法實(shí)現(xiàn)對(duì)航測(cè)內(nèi)業(yè)遙感圖像中低頻部分與高頻部分的分割，得到了低頻分量與高頻分量，進(jìn)而在后續(xù)圖像融合時(shí)便于對(duì)圖像中所包含的光譜信息、信息量以及圖像細(xì)節(jié)等部分進(jìn)行深度融合。

為了充分驗(yàn)證自適應(yīng)分割算法的圖像融合效果，以引導(dǎo)濾波和稀疏表示相結(jié)合的遙感圖像融合算法和基于卷積神經(jīng)網(wǎng)絡(luò)的紅外圖像融合算法為對(duì)比方法，進(jìn)一步分析不同方法的圖像融合效果（圖2）。

圖2 不同方法圖像融合效果Fig.2 Image fusion effects of different methods

分析圖2可知，采用自適應(yīng)分割算法得出的圖像融合效果更加清晰，能夠清晰地對(duì)圖中的標(biāo)識(shí)線邊緣進(jìn)行融合，視覺(jué)效果明顯優(yōu)于現(xiàn)有方法。這是由于自適應(yīng)分割算法通過(guò)HIS轉(zhuǎn)換融合方法增強(qiáng)了遙感圖像的細(xì)節(jié)信息，同時(shí)，采用小波變換方法較好地保護(hù)了遙感圖像中的光譜信息與空間信息、紋理信息。將小波變換方法與HIS轉(zhuǎn)換方法結(jié)合，可以充分保護(hù)遙感圖像的光譜信息完整性，從而提升了圖像融合的視覺(jué)效果。

通過(guò)標(biāo)準(zhǔn)差、熵、梯度均值評(píng)估所融合的航測(cè)內(nèi)業(yè)遙感圖像空間信息，通過(guò)相關(guān)系數(shù)、光譜扭曲度系數(shù)評(píng)估融合后遙感圖的光譜信息。

遙感圖像標(biāo)準(zhǔn)差描述灰度均值的離散狀態(tài)，標(biāo)準(zhǔn)差越大，目視效果越佳；熵值可描述遙感圖像信息量情況，遙感圖像熵越大，遙感圖像信息量越充分，融合質(zhì)量越佳；梯度均值可描述遙感圖像的細(xì)節(jié)反差，如圖像清晰度，梯度均值越大，圖像清晰度越高；相關(guān)系數(shù)可描述所融合遙感圖像和原始圖像特征的近似水平；光譜扭曲度系數(shù)可描述光譜信息的變形水平。3種方法的融合性能評(píng)價(jià)結(jié)果如圖3所示。

圖3 數(shù)值計(jì)算對(duì)比結(jié)果Fig.3 Comparison of numerical calculations

如圖3所示，基于自適應(yīng)分割的航測(cè)內(nèi)業(yè)遙感圖像深度融合方法融合后航測(cè)內(nèi)業(yè)遙感圖像標(biāo)準(zhǔn)差、熵值和梯度均值均高于引導(dǎo)濾波和稀疏表示相結(jié)合的遙感圖像融合算法和改進(jìn)的基于非下采樣的Contourlet變換的圖像融合算法，說(shuō)明自適應(yīng)分割算法對(duì)航測(cè)內(nèi)業(yè)遙感圖像融合后，遙感圖像信息量充分，紋理更顯著，從低頻與高頻兩種角度使得融合后的航測(cè)內(nèi)業(yè)遙感圖像紋理清晰度更顯著，這是由于自適應(yīng)分割算法通過(guò)將HIS轉(zhuǎn)換算法與小波轉(zhuǎn)換算法進(jìn)行自適應(yīng)融合后，低頻分量與RGB空間能夠自動(dòng)適應(yīng)，從而保證了圖像紋理的清晰度，這一點(diǎn)與傳統(tǒng)方法相比具有顯著優(yōu)勢(shì)；自適應(yīng)分割算法融合后航測(cè)內(nèi)業(yè)遙感圖像相關(guān)系數(shù)大于對(duì)比方法，光譜扭曲度系數(shù)低于對(duì)比方法，由此可見(jiàn)，自適應(yīng)分割算法所融合遙感圖像和原始圖像特征的近似水平較高，光譜還原性較好，光譜信息變形水平較低。

4 結(jié) 論

文章提出一種基于自適應(yīng)分割的航測(cè)內(nèi)業(yè)遙感圖像深度融合算法，并通過(guò)實(shí)驗(yàn)驗(yàn)證其有效性。通過(guò)標(biāo)準(zhǔn)差、熵、梯度均值評(píng)估所融合的航測(cè)內(nèi)業(yè)遙感圖像空間信息，通過(guò)相關(guān)系數(shù)、光譜扭曲度系數(shù)評(píng)估融合后遙感圖的光譜信息。根據(jù)實(shí)驗(yàn)結(jié)果可知自適應(yīng)分割算法對(duì)航測(cè)內(nèi)業(yè)遙感圖像融合后，遙感圖像信息量充分，紋理更顯著；自適應(yīng)分割算法融合遙感圖像和原始圖像特征的近似水平較高，光譜還原性較好，光譜信息變形不顯著。