孫銘吾，毛一夢

（1.南京審計大學實驗中心，江蘇南京 211800；2.廈門大學電子科學與技術學院，福建廈門 361005）

圖像融合技術在軍事、醫(yī)學、遙感、自然資源的勘探以及管理等領域得到了廣泛的應用，同時也引起了世界范圍內的研究熱潮[1]。馬翰飛等人融合了飛機導航的可見光圖像與紅外圖像，提高了飛機導航的精度與清晰度[2]。穆偉斌等人利用圖像融合改進算法，提高了醫(yī)學圖像的融合質量，降低醫(yī)生對疾病診斷的誤診率[3]?，F(xiàn)有的被廣泛使用的圖像融合方法主要有IHS 變換法、主成分變換法、加權平均法和小波變換法等。白鑫等人通過IHS 變換與自適應區(qū)域特征構建高頻子帶的融合模型提高遙感圖像的空間特性[4]。辛亞楠等人利用小波變換法提取光譜圖像強度分量，建立融合光譜圖像并宏觀化細節(jié)信息[5]。主要對IHS變換法、主成分變換法以及加權融合法進行研究，利用MATLAB 平臺編寫程序，并對通過這3種方法融合后的圖像作綜合對比并得出結果。

1 三種方法性能比較

1.1 三種方法概述

（1）加權平均融合法

假設有兩個圖像A和B，大小都為M*N，參與融合后得到一個新的圖像P,則對A和B兩個圖像通過加權平均法得到圖像P的過程可表示為：

式中i表示原圖像素的行，i=1,2,…,M；

j表示原圖像素的列，j=1,2,…,N；

ω1、ω2表示加權系數(shù)，且ω1+ω2=1。

（2）IHS圖像融合法

IHS 圖像融合方法的原理是將IHS 空間中的低分辨率元素I0轉換為高分辨率灰度圖像中的元素I。IHS變換流程圖如圖1所示。

圖1 IHS圖像融合方法流程圖

（3）主成分分析法

主成分分析又叫主分量分析、K-L變換等，是一種把多分量簡化為少數(shù)綜合分量的融合方法。要對圖像數(shù)據(jù)中的主成分進行變換，主成分變換的流程圖如圖2所示。

圖2 主成分融合流程圖

1.2 三種方法的優(yōu)缺點

（1）加權融合法的優(yōu)缺點

加權融合法的優(yōu)點是簡單易懂，適用于圖像的實時處理。對于一些應用需求較低的圖像能夠提取出其中的有效信息，但融合效果不佳，還有可能出現(xiàn)明顯的圖像拼接痕跡，影響視覺效果。

（2）IHS變換算法的優(yōu)缺點

IHS 融合法簡單易行，主要是通過變換其中的分量I，提高了融合后圖片的清晰度。使得融合后的圖像既保留了原圖中的光譜數(shù)據(jù)，又擁有比原圖更高的分辨率。從另一方面來說，通過IHS融合法只能優(yōu)化原圖3 個波段的光譜，當某一圖像的光譜多于3 個時，則需要將原圖分割為多個擁有3個波段光譜的圖像，分別用IHS 融合法對分割后的圖像進行融合，這樣不僅過程繁瑣，而且在對原圖進行劃分以及最后合成時，都有可能造成融合后圖像的失真。

（3）主成分變換法的優(yōu)缺點

主成分變換法的優(yōu)點是能夠用于多個波段之間的變換，克服了IHS 只能對3 種波段進行變換的弊端。經(jīng)主成分變換之后，圖像的光譜性能能夠保持較好，且分辨率較高便于讀取其中的有效信息。缺點是由于每次變換都要計算其主成分矩陣的特征值及其相應的特征向量，計算量十分龐大，實施起來比較麻煩。

2 圖像融合實驗及其對比分析

2.1 高分辨率圖像與低分辨率圖像之間的融合

通過MATLAB 平臺對高低分辨率圖像，所采集到的高分辨率圖像和低分辨率圖像分別如圖3a和圖3b所示，兩張圖片的原始尺寸均為973×605，水平分辨率及垂直分辨率都為96 dpi。分別采用IHS 變換法、主成分變換法和加權融合法對圖像進行融合處理后，所得到的圖片如下，其中圖3c為通過加權融合后得到的圖像，圖3d為經(jīng)主成分變換后得到的圖像，圖3e為IHS變換法作用下得到的圖像。

圖3a 高分辨率圖像

圖3b 低分辨率圖像

圖3c 加權RGB融合圖像

圖3d PCA-RGB融合圖像

圖3e IHS-RGB融合圖像

由于衡量圖像融合效果的指標有多個，計算融合后圖像中R，G，B的清晰度，結果如表1所示。

表1 融合圖像各分量的清晰度

從目測結果可以看出，經(jīng)加權融合法變換后的圖像雖然清晰度比原來低分辨率圖像略高，但其在光譜上有明顯的失真；而主成分變換法在提高原圖分辨率的基礎上，對低分辨率圖像中的光譜有小部分的保留；其中融合效果最好的為IHS 交換法，較前兩種方法而言，經(jīng)IHS 變換法融合后，不僅圖片中的字樣比較清晰，而且對原圖的色彩保留得較好，整體融合效果較佳。從客觀評價角度來講，通過比較表1中各個融合圖像與原圖之間的R，G，B 清晰度，可以看出原來低分辨率圖像的清晰度經(jīng)3 種方法融合之后都得到了有效的提高，其中加權融合的效果較差。主成分變換法主要是通過替換高分辨率圖像中B 分量來進行融合的，但同時也降低了R 和G 的清晰度，導致融合后圖像的光譜信息存在失真現(xiàn)象。由表中數(shù)據(jù)可得，圖像經(jīng)IHS融合方法融合后，3個變量的清晰度均高于原來高分辨率圖像。

綜合主觀和客觀評價，加權融合法對高低分辨率圖像之間的融合效果不是非常明顯，而IHS變換和主成分變換法都達到了令人比較滿意的效果，提高了原圖像的分辨率，使圖像中的信息更容易被人眼識別與利用。IHS 變換對光譜的保留程度優(yōu)于主成分變換，融合效果最佳，因此主觀評價與客觀評價效果相符。

2.2 采用不同加權系數(shù)的圖像融合結果

簡單的加權融合算法是將原圖像的灰度值進行加權平均，分別取加權系數(shù)為0.5，但是這種方法會削弱圖像之間的對比度，尤其對于只出現(xiàn)在其中一張圖像上的有效信息。因此為了不同的應用需求，對加權融合算法的加權系數(shù)做出了調整并使用高低分辨率圖像進行實驗，將融合后生成的新圖像與圖3c加權RGB 融合圖像進行對比分析。表2 為采用不同加權系數(shù)進行融合后生成的新圖像中各分量的清晰度。

表2 調整后融合圖像各分量的清晰度

從融合后圖像的效果來看，對高分辨率圖像的提取比例越高，融合后圖像的清晰度越高；而對低分辨率圖像的提取比例越高，融合后的新圖像對原圖的光譜保留得較為完整。

2.3 兩重融合圖像實驗

將經(jīng)加權系數(shù)1∶9 融合后的圖像與原高分辨率圖像采用IHS 方法進行融合，將經(jīng)加權系數(shù)9∶1 融合后的圖像與原低分辨率圖像采用同樣的方法進行融合，得到的結果如表3和圖4a以及圖4b所示，并將結果與圖3eIHS-RGB融合圖像進行對比。

表3 兩重融合圖像各分量的清晰度

圖4a 加權系數(shù)1：9圖像融合后的圖像

圖4b 加權系數(shù)9：1圖像融合后的圖像

綜合3張圖像的視覺效果及數(shù)據(jù)，直接使用原高分辨率圖像與低分辨率圖像融合后的圖像對光譜保留得比較好，而經(jīng)加權系數(shù)1∶9融合后的圖像與原高分辨率圖像經(jīng)過IHS融合后清晰度較高，因此可以根據(jù)不同的應用需求對加權系數(shù)作出調整，再利用IHS等方法進行融合，得到符合要求的圖像。

3 結語

圖像融合是一種將不同來源的圖像中的有效信息經(jīng)過數(shù)據(jù)處理等技術，綜合到另一張圖像中的高新技術，廣泛應用于醫(yī)學、軍事、遙感及自然資源勘探方面。在MATLAB 平臺上使用3 種方法對其進行實驗，并結合主觀評價和客觀評價法對融合后的圖像進行對比分析，融合時IHS 變換效果最好，不僅保持了原圖的分辨率，而且對原有光譜保留較好，而加權融合法融合后的圖片效果不是很理想；在對多聚焦圖像進行融合時，3 種方法都沒有達到令人滿意的效果。最后對加權融合法的權重系數(shù)做了調整并使用高低分辨率圖像進行實驗，通過兩重融合實驗得出應根據(jù)不同的需求改變加權系數(shù)來得到滿足條件的圖像。