莫才健, 田健榕, 武鋒強(qiáng), 陳 莉, 鄒 強(qiáng)

(1. 西南科技大學(xué) 環(huán)境與資源學(xué)院, 四川 綿陽 621010； 2. 吉林大學(xué) 新聞與傳播學(xué)院, 長春 130012)

遙感圖像融合是通過圖像處理和分析等方法將不同角度、 不同分辨率及不同傳感器產(chǎn)生的遙感圖像進(jìn)行融合, 以獲得角度寬、 廣且分辨率高的融合圖像[1]. 在遙感圖像的融合方法中, 低頻空間分辨率的多光譜圖像與高頻空間分辨率的全色影像的相互融合已成為近年來的研究熱點(diǎn), 通過對兩種不同類型的遙感圖像進(jìn)行融合, 可獲得多光譜高分辨率的全色影像融合圖像, 其融合結(jié)果可彌補(bǔ)二者的缺陷, 并發(fā)揮二者的優(yōu)勢[2]. 傳統(tǒng)遙感圖像的融合方法主要包括三方面: 1) 顏色空間轉(zhuǎn)化形成的圖像融合, 包括HSI空間轉(zhuǎn)換等[3]； 2) 通過主成分分析(PCA)獲得圖像主要分量的圖像融合, 包括PCA等[4]； 3) 通過頻域變換的方式完成圖像融合, 包括Fourier變換和小波分析等[5].

在遙感圖像融合方法中, 融合效果與魯棒性最佳的是頻域變換方法. 其中, 小波分析由于具有較優(yōu)的時(shí)域和頻域局部特性在圖像融合中應(yīng)用廣泛. 二維離散小波變換分析方法的提出, 使小波分析在圖像中的應(yīng)用越來越廣泛, 在小波分析的遙感圖像融合算法[6-8]中, 由于單純的小波分析直接丟棄低頻部分, 而使用高頻部分進(jìn)行圖像融合, 易產(chǎn)生分塊模糊現(xiàn)象, 且單純的主成分分析方法也會帶來失真等問題. 為了解決傳統(tǒng)算法在遙感圖像融合上的不足, 本文提出一種采用主成分分析與小波分析方法加權(quán)的圖像融合方法, 利用加權(quán)系數(shù)獲得主成分分析和小波分析的優(yōu)勢, 克服了圖像融合過程中的分塊模糊、 邊界不清晰和圖像失真等問題.

1 算法設(shè)計(jì)

1.1 HSI顏色空間轉(zhuǎn)換

HSI顏色空間[9]源于人類的視覺系統(tǒng), 其采用色調(diào)(H)、 飽和度(S)和光照強(qiáng)度(I)3個(gè)維度對遙感圖像進(jìn)行描述. 該方法從人類視覺系統(tǒng)的本源出發(fā), 對遙感圖像進(jìn)行描述, 更符合人類的視覺系統(tǒng), 從而可更好地采用人類視覺的方式處理遙感圖像. 實(shí)際上, 由于遙感圖像空間大、 分辨率不一致等特點(diǎn), 目前采用計(jì)算機(jī)視覺與圖像處理方法對遙感圖像進(jìn)行處理時(shí), 廣泛用HSI顏色空間完成預(yù)處理, 在處理過程中對圖像的操控效果更好, 處理精度更高. 在將RGB顏色空間轉(zhuǎn)化至HSI空間中, 主要采用如下轉(zhuǎn)化公式：

其中,R,G,B分別表示RGB空間中紅、 綠、 藍(lán)3種顏色的空間數(shù)值. 由轉(zhuǎn)化公式可見, 計(jì)算結(jié)果i可充分表達(dá)出色彩空間中的光照強(qiáng)度分量, 并可提取光照強(qiáng)度分量對遙感圖像進(jìn)行進(jìn)一步分析. 由于人類視覺對于光照強(qiáng)度的敏感度一般比色調(diào)與飽和度的敏感度高很多, 所以在對圖像進(jìn)行分析時(shí), 將顏色空間轉(zhuǎn)化為相對獨(dú)立的光照強(qiáng)度和色彩信息, 即能使用光照強(qiáng)度信息對遙感圖像進(jìn)行一系列處理. 本文在HSI色彩空間下提取出遙感圖像的光照強(qiáng)度分量進(jìn)行主成分分析, 并對小波分析進(jìn)行加權(quán)融合, 最終完成對遙感圖像的融合.

1.2 主成分分析

遙感圖像來源于高精尖設(shè)備的采集, 這些設(shè)備采集到的圖像維度較高, 屬于大場景圖像, 直接在大場景高維圖像上完成圖像融合的難度較大, 需提供多個(gè)變換匹配點(diǎn), 且融合的時(shí)間復(fù)雜度也較高, 無法進(jìn)行高效、 快速地融合. 因此, 在進(jìn)行遙感圖像融合前, 需先通過降維的方法對原始圖像進(jìn)行降維, 再提取合適數(shù)量的變換匹配點(diǎn), 然后構(gòu)建映射過程, 最終采用映射過程對原始大場景遙感圖像進(jìn)行融合. 本文采用主成分分析(PCA)方法[10]對多光譜遙感圖像進(jìn)行融合. PCA方法在多元隨機(jī)變量的壓縮和降維中應(yīng)用廣泛, 主要通過對原始數(shù)據(jù)矩陣的分解獲得特征值與特征向量, 再使用更小維度的特征值和特征向量表示出原始數(shù)據(jù)的大部分內(nèi)容, 以期獲得更有意義的結(jié)果.

PCA算法的數(shù)學(xué)原理為K-L變換, 假設(shè)經(jīng)過K-L變換前后的圖像向量分別為f和F, 則PCA算法的過程可表示為

根據(jù)離散條件下K-L變換的原理可計(jì)算出其正變換和逆變換：

其中:E(f)表示向量f的期望;A表示原始圖像向量f的協(xié)方差矩陣Cf的特征向量構(gòu)成的矩陣, 且特征向量按特征值由大到小排序. 假設(shè)協(xié)方差矩陣Cf的特征值和特征向量分別為λi和Ai, 則可得如下變換公式：

由于在計(jì)算特征值與特征向量過程中進(jìn)行了由大到小的排序, 所以可得

λ1>λ2>…>λp.

(12)

在PCA方法中, 假設(shè)光照強(qiáng)度(I)的變量X集合為{Xi,i=1,2,…,N}∈n,E(X)表示變量的期望,U表示X的協(xié)方差矩陣的特征向量構(gòu)成的矩陣, 且特征向量根據(jù)特征值的大小進(jìn)行排序. 根據(jù)PCA算法的流程可得到下列變換：

Yi=UXi,

(13)

其中Y的集合為{Yi,i=1,2,…,N}∈n表示經(jīng)過PCA算法變換后的特征向量結(jié)果.

對于多波段圖像融合問題,f(i,j)應(yīng)該表示光照強(qiáng)度(I)對應(yīng)像素點(diǎn)(i,j)處的p個(gè)多光譜的組合數(shù)據(jù)：

f(i,j)=(f1(i,j),f2(i,j),…,fp(i,j))T.

(14)

假設(shè)圖像向量的協(xié)方差矩陣Cf表示為

(15)

則根據(jù)上述對多光譜圖像定義及方差定義可得如下關(guān)系：

其中E(fk)表示向量fk的期望, 計(jì)算公式為

(18)

M,N分別表示原始遙感圖像的數(shù)據(jù)長度和寬度.

PCA變換后獲得的多個(gè)主成分分量與原始遙感圖像的各模式之間相互獨(dú)立, 經(jīng)過對光照強(qiáng)度(I)分解后獲得的分量能更好地表示出圖像的主要信息, 通過主要信息完成后續(xù)的小波分析和圖像融合, 構(gòu)建出有效的映射關(guān)系, 能更高效地服務(wù)于遙感圖像融合. 通過減少冗余信息, 在遙感圖像融合過程中還能進(jìn)一步減小遙感圖像的噪聲, 通過PCA算法降維后的遙感圖像邊緣更清晰, 主要細(xì)節(jié)更明顯, 能有效避免相干光斑對遙感圖像融合時(shí)的影響, 同時(shí)提升融合后遙感圖像便捷的清晰度.

1.3 小波分析

小波分析是從頻域上統(tǒng)計(jì)出原始圖像信號的特征[11], 可實(shí)現(xiàn)信號的多尺度分析, 根據(jù)小波尺度的不同, 可定義出空間、 時(shí)間和頻率上的局部變換, 繼而在圖像融合中提取出圖像中的有用特征. 小波分析建立在Fourier變換分析上, 通過將時(shí)域的圖像信號轉(zhuǎn)化至頻域的圖像信號, 再在頻域上使用高通濾波器和低通濾波器從原始圖像中分離出高頻分量和低頻分量. 小波分析的高頻部分包含變化劇烈的信息, 包括原始遙感圖像的邊緣信息. 小波分析可產(chǎn)生多尺度的頻域分解, 前一尺度下的低頻分量可繼續(xù)在后一尺度下進(jìn)行分解, 經(jīng)過多重分解即可將原始遙感圖像中的空間結(jié)構(gòu)信息表達(dá)出來. 經(jīng)過小波分析的逐級分解, 即可獲得原始遙感圖像的頻域分量. 小波分析的示意圖如圖1所示. 由圖1可見, 小波分析結(jié)果的高頻分量中包括水平特征、 垂直特征和對角特征3個(gè)方向的特征. 而在小波分析中, 主要通過高通濾波器獲得圖像的高頻區(qū)域來完成遙感圖像的融合工作.

圖1 離散小波分析的層級示意圖Fig.1 Hierarchical schematic diagram of discrete wavelet analysis

傳統(tǒng)算法下基于離散小波分析的遙感圖像融合主要包括3個(gè)方面[12]： 1) 通過小波分析獲取高光譜和空間分辨率圖像的高頻部分； 2) 將高光譜分辨率的高頻部分替代空間分辨率的高頻部分, 從而獲得融合后的遙感圖像頻域數(shù)據(jù)； 3) 將頻域數(shù)據(jù)通過小波分析反變換獲得融合后的遙感圖像. 其融合算法流程如圖2所示.

圖2 傳統(tǒng)基于離散小波分析的遙感圖像融合算法流程Fig.2 Flow chart of traditional remote sensing image fusion algorithm based on discrete wavelet analysis

由于在小波分析結(jié)果中丟棄低頻分量易使遙感圖像產(chǎn)生分塊模糊現(xiàn)象, 因此實(shí)際應(yīng)用中, 應(yīng)視不同的遙感圖像丟棄不同程度的低頻分量, 不能使低頻分量的丟棄影響到遙感圖像的融合過程.

1.4 加權(quán)小波分析算法的圖像融合流程

圖3 加權(quán)小波分析算法的圖像融合流程Fig.3 Flow chart of image fusion with weighted wavelet analysis algorithm

傳統(tǒng)小波分析遙感圖像融合算法建立在高光譜分辨率和空間分辨率相應(yīng)高頻區(qū)域替換基礎(chǔ)上, 實(shí)際上, 通過小波分析獲得的高頻分量中含有大量噪聲, 直接將高頻分量替換, 而舍棄高光譜, 會導(dǎo)致小波分析反變換產(chǎn)生分塊模糊現(xiàn)象, 遙感圖像融合結(jié)果中產(chǎn)生大量冗余的模糊線段, 且高光譜轉(zhuǎn)換算法產(chǎn)生的光譜信息容易產(chǎn)生邊緣丟失問題. 而本文提出的小波變換加權(quán)的遙感圖像融合算法, 可有效解決這些問題. 該算法在HSI顏色空間上進(jìn)行主成分分析, 獲取修正的高光譜圖像數(shù)據(jù)(光照強(qiáng)度I), 再將修正后的加權(quán)光照強(qiáng)度與高分辨率圖像信息進(jìn)行小波分析, 完成對遙感圖像的融合.圖3為加權(quán)小波分析算法的圖像融合流程.

1) 對原始多光譜低分辨率遙感圖像進(jìn)行HSI顏色空間變換, 并提取出光照強(qiáng)度分量I.

2) 對光照強(qiáng)度分量I進(jìn)行直方圖匹配, 與原始低分辨率圖像的光照分量完成匹配, 由于該分量依然包含有部分顏色信息, 因此采用PCA算法從中提取出純度較高的加權(quán)光照強(qiáng)度分量I′.

3) 將加權(quán)光照強(qiáng)度分量I′與原始低分辨率圖像進(jìn)行加權(quán)的小波分析, 通過高頻分量的互換獲得圖像融合結(jié)果, 加權(quán)過程計(jì)算公式為

Iout=(1-α)I′+αIdwt,

(19)

其中:Iout表示加權(quán)小波分析圖像融合的輸出結(jié)果;I′表示加權(quán)光照強(qiáng)度分量;Idwt表示小波分析分量. 通過加權(quán)系數(shù)α完成加權(quán)計(jì)算.

4) 將加權(quán)圖像融合結(jié)果經(jīng)過小波分析反變換轉(zhuǎn)化至原始HSI空間, 并使用HSI顏色空間反變換轉(zhuǎn)化至RGB空間, 獲得最終的遙感圖像融合結(jié)果.

2 仿真實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)設(shè)置

為了驗(yàn)證本文提出的加權(quán)小波分析的遙感圖像融合算法的可行性和有效性, 選取北京地區(qū)SPOT5多光譜和全色影像數(shù)據(jù)集進(jìn)行仿真實(shí)驗(yàn)[13], 將其與傳統(tǒng)小波分析、 HSI小波分析和PCA小波分析方法進(jìn)行對比.圖像融合結(jié)果的評判主要分為兩方面, 分別是主觀評價(jià)和客觀評價(jià). 主觀評價(jià)通過人們對于融合結(jié)果的主觀感受給出評判結(jié)果； 客觀評價(jià)通過客觀計(jì)算結(jié)果進(jìn)行評判[14-15].

1) 信息熵. 信息熵是反應(yīng)信息量變化的指標(biāo), 該指標(biāo)越大, 說明遙感圖像融合的效果越好； 反之, 則說明圖像融合的效果較差. 信息熵計(jì)算公式為

(20)

其中:N表示圖像的灰度級;pi表示融合后該灰度級的頻率.

2) 平均梯度.圖像的紋理和細(xì)節(jié)通常能通過圖像的平均梯度表現(xiàn), 平均梯度更大的圖像清晰度更好, 融合的效果也更佳. 平均梯度計(jì)算公式為

(21)

Δxf(i,j)和Δyf(i,j)分別表示融合結(jié)果中x和y方向上的梯度值.

3) 標(biāo)準(zhǔn)差. 標(biāo)準(zhǔn)差表示融合結(jié)果中灰度級別的分散程度, 灰度級別分散程度越大, 說明圖像的標(biāo)準(zhǔn)差越大, 且圖像的紋理越清晰. 標(biāo)準(zhǔn)差計(jì)算公式為

(22)

4) 均值. 均值表示融合結(jié)果中的平均亮度, 一般亮度集中在適中區(qū)域的圖像效果更真實(shí), 其計(jì)算公式為

(23)

5) 互信息. 互信息表示兩個(gè)融合圖像X,Y之間是否存在一定的關(guān)系, 并用計(jì)算結(jié)果衡量關(guān)系的強(qiáng)弱. 互信息得分越高的兩個(gè)圖像的融合效果越好, 相關(guān)性越大, 計(jì)算公式為

(24)

其中:P(X,Y)表示X,Y之間的相關(guān)分布;P(X),P(Y)分別表示各自的邊緣分布.

6) 邊緣信息保留量. 邊緣信息保留量是另一種衡量融合后圖像與融合源圖像之間的關(guān)系, 假設(shè)融合后的圖像為F, 融合源圖像為X, 則邊緣信息保留量的計(jì)算公式為

(25)

2.2 實(shí)驗(yàn)結(jié)果分析

仿真實(shí)驗(yàn)在Windows10 64 bit系統(tǒng), Genuine Intel (R) i7-6300 CPU, 8 GB內(nèi)存的環(huán)境下, 使用OpenCV-2.4.5官方開源HIS顏色空間轉(zhuǎn)化、 PCA降維和小波變換源碼, 通過編程實(shí)現(xiàn)不同方法的比較. 分別對SPOT5數(shù)據(jù)集中城市場景和農(nóng)村場景下的遙感圖像進(jìn)行對比實(shí)驗(yàn), 實(shí)驗(yàn)過程中設(shè)置的小波分析分解為3層, 方向分解數(shù)分別為2,4,8, 尺度濾波器采用db16, 方向分解濾波器為8-6pkva, 主成分分析的維度設(shè)為k=100, HSI顏色空間設(shè)置按照正常狀態(tài). 在仿真實(shí)驗(yàn)中分別從主觀上和客觀上對SPOT5數(shù)據(jù)集中如圖4所示的城市場景和如圖5所示的農(nóng)村場景下不同算法的融合結(jié)果進(jìn)行對比.

圖4 SPOT5數(shù)據(jù)集中城市場景下不同算法的融合結(jié)果對比Fig.4 Comparison of fusion results of different algorithms in city scene in SPOT5 data set

由圖4和圖5可見, 對于城市場景和農(nóng)村場景下, 本文提出算法的融合結(jié)果邊緣更清晰, 傳統(tǒng)HSI空間轉(zhuǎn)換、 小波分析和PCA算法都會產(chǎn)生一些分塊的陰影部分, 這些陰影部分主要由傳統(tǒng)PCA中的主成分或小波分析中的某些紋理成分組成, 在實(shí)際融合過程中會導(dǎo)致對多光譜圖像的覆蓋. 本文算法對PCA結(jié)果和小波分析結(jié)果進(jìn)行合理加權(quán), 有效降低了塊狀陰影的覆蓋, 使用清晰的邊緣區(qū)域代替原有的模糊塊狀陰影, 在農(nóng)村場景和城市場景中的融合效果均較好.

圖5 SPOT5數(shù)據(jù)集中農(nóng)村場景下不同算法的融合結(jié)果對比Fig.5 Comparison of fusion results of different algorithms in rural scene in SPOT5 data set

根據(jù)選擇的6種常用評判參數(shù), 從客觀上對SPOT5數(shù)據(jù)集中城市場景和農(nóng)村場景下各種算法的融合圖像進(jìn)行評價(jià), 結(jié)果分別列于表1和表2. 由表1和表2可見, 與傳統(tǒng)的HSI顏色空間、 PCA和小波分析等方法相比, 本文提出的算法在均值、 標(biāo)準(zhǔn)差、 信息熵和平均梯度上均獲得了較好的提升, 所以在城市場景和農(nóng)村場景的遙感圖像融合中能獲得穩(wěn)定的結(jié)果, 其融合結(jié)果的清晰度、 紋理細(xì)節(jié)和真實(shí)性都得到了一定的提升.

為了驗(yàn)證加權(quán)小波分析的有效性, 實(shí)驗(yàn)中針對加權(quán)權(quán)重α的不同值, 在同一幅圖像的加權(quán)小波分析融合中, 分別給定不同的加權(quán)權(quán)重進(jìn)行圖像融合, 并分析融合結(jié)果的各項(xiàng)指標(biāo), 結(jié)果列于表3.

表1 SPOT數(shù)據(jù)集中城市場景下的融合圖像客觀評價(jià)指標(biāo)

表2 SPOT數(shù)據(jù)集中農(nóng)村場景下的融合圖像客觀評價(jià)指標(biāo)

表3 權(quán)重值與客觀評價(jià)指標(biāo)的對比結(jié)果

由表3可見, 不同的加權(quán)條件下會導(dǎo)致不同的指標(biāo)獲得最優(yōu)的結(jié)果值, 在實(shí)際使用過程中, 應(yīng)該指定所需指標(biāo), 按照所需量獲得合適的客觀評價(jià)指標(biāo)和相應(yīng)的加權(quán)系數(shù), 加權(quán)系數(shù)可根據(jù)融合圖像所面臨的問題進(jìn)行自適應(yīng)選擇.

綜上所述, 為了提升多光譜遙感圖像融合算法的效果和效率, 本文提出了一種加權(quán)小波分析的遙感圖像融合算法, 該算法首先將原始多光譜遙感圖像轉(zhuǎn)化至HSI顏色空間中, 再在該空間上提取出光照強(qiáng)度分量, 并通過主成分分析提純后獲得修正的光照強(qiáng)度分量, 然后結(jié)合小波分析結(jié)果, 將二者進(jìn)行加權(quán)融合獲得遙感圖像的融合結(jié)果, 再使用小波分析反變換將融合結(jié)果變換至頻域上, 最后使用顏色空間反變換將其轉(zhuǎn)化至RGB顏色空間上. 實(shí)驗(yàn)結(jié)果表明, 本文提出的加權(quán)小波分析方法能在一定程度上解決圖像融合后邊緣模糊、 融合結(jié)果中出現(xiàn)模糊塊狀陰影等常見問題, 并在清晰度、 紋理細(xì)節(jié)和真實(shí)性上獲得了較大提升, 能針對不同的需求調(diào)整合適的加權(quán)系數(shù), 使遙感圖像的融合達(dá)到最佳效果.