張建勛,牛文賓,張凱文
(重慶理工大學,重慶 400054)
當前,伴隨著多媒體技術的快速發(fā)展以及各種圖像傳感器的廣泛使用,圖像的應用范圍也日趨廣泛,傳統(tǒng)的圖像處理技術已經(jīng)不能滿足人們對圖像精度越來越高的要求[1-4]。新興的圖像融合技術能夠有效提高圖像的質量,并且可以提取更多的信息。20世紀90年代以來,圖像融合技術的研究越來越受到重視,應用的領域遍及遙感圖像處理、醫(yī)學圖像處理、機器人、智能制造、軍事應用等。
圖像融合[5]是將2個或2個以上的傳感器在同一時間(或不同時間)獲取的關于某個具體場景的圖像或者圖像序列信息加以綜合,以生成一個新的有關此場景的解釋[6-7],而這個解釋是從單一傳感器獲取的信息中無法獲得的。圖像融合的目的是減少不確定性。
圖像融合的方法主要分為3類:像素級的圖像融合、特征級的圖像融合和決策級的圖像融合。像素級的圖像融合方法應用最為廣泛,主要方法有加權平均法、邏輯濾波法、統(tǒng)計優(yōu)化法、小波變換法、神經(jīng)網(wǎng)絡融合法等[8],其中小波變換法是目前應用最為廣泛的方法之一。傳統(tǒng)的小波融合算法只重視高頻分量的融合規(guī)則,忽視了低頻分量對圖像融合的整體效果。本文提出了一種改進的小波變換融合算法,針對待融合圖像的低頻分量,不只是簡單地采用取大、取小和加權平均的融合策略,而是將相關系數(shù)作為閾值,以標準差加權平均進行領域融合,針對高頻分量按局部方差最大的融合策略進行融合。
將待融合圖像進行二維小波分解,分別得到圖像的低頻分量、水平高頻分量、垂直高頻分量、對角高頻分量。圖1為二維小波3層分解示意圖,其中圖像的低頻分量LLi(i=1,2,3)是原圖像的近似圖像,包含了圖像的大部分能量信息,而高頻分量 LHi、HLi、HHi(i=1,2,3)則是原圖像的細節(jié)表示,包括圖像的紋理、邊緣等。
圖1 圖像的3層小波分解示意圖
本文以2幅圖像為例開展研究,對于多幅圖像的融合方法可由此類推。設A和B為2幅已經(jīng)配準好的待融合圖像,C為融合后的圖像,其算法處理的具體步驟為:
1)對已經(jīng)配準好的源圖像A和B分別進行小波變換,對A和B的低頻和高頻分量進行分離。
2)針對不同分解層上的低頻和高頻分量分別采用不同的融合算子進行融合。
3)將融合后的低頻分量和高頻分量進行小波逆變換,重構圖像即為融合后的圖像C。
由小波變換融合算法的原理可知,融合規(guī)則的選取對于融合圖像的質量至關重要,也是算法中很關鍵的一步。由于經(jīng)過小波分解后的低頻和高頻分量所代表的意義不同,因此融合規(guī)則也不相同。
低頻分量代表的是圖像的近似特性,常用的融合方法有加權平均法、取大法等。取大法就是直接在待融合的2幅圖像中選取灰度值大的像素值為融合后圖像該點的像素值。加權平均法則是對2幅圖像對應的像素點加權求和。設AL(x,y)和BL(x,y)為原圖像A和B經(jīng)過小波分解后的低頻分量,F(xiàn)L(x,y)為融合后的圖像,則
其中W1+W2=1,W1和W2為權重因子。當W1=0.5,W2=0.5時,稱之為平均法。
傳統(tǒng)的小波算法低頻融合策略一般采用簡單的加權平均,這樣做的優(yōu)點是算法簡單、易于實現(xiàn)、適合實時處理,在灰度差異不大的情況下也能取得一定的效果,但是當融合圖像的灰度差異很大時,會出現(xiàn)明顯的拼接痕跡,而且所得到的融合后圖像的對比度也會有所下降。
本文提出一種以相關系數(shù)作為閾值的方法。根據(jù)標準差加權平均的低頻融合策略,相關系數(shù)是變量之間相關程度的指標,在圖像處理中相關系數(shù)直接體現(xiàn)了2幅圖像的相關程度。2幅圖像的相關系數(shù)越接近于1,表示接近度越好。
在數(shù)學上,通常情況下,當相關系數(shù)大于0.8時,認為2個變量有很強的線性相關性,所以本文以相關系數(shù)作為閾值參數(shù),以標準差加權平均領域融合策略來融合低頻分量。具體的低頻融合策略詳細步驟:
設A和B為已配準好的2幅源圖像經(jīng)小波分解后的低頻分量圖像,LA(i,j)和LB(i,j)分別為2幅低頻圖像在像素點(x,y)的像素值,LC(i,j)為融合后圖像在對應點(x,y)的像素值,則:
1)用式(3)計算A和B對應的像素點中以(x,y)為中心的5×5(或者為3×3,7×7)鄰域內(nèi)圖像的相關系數(shù)值。
2)若C(A,B)≥σ,則融合后對應點(x,y)的像素值 LC(x,y)=(LA(x,y)+LB(x,y))/2。
若 C(A,B)<σ,則融合后對應點(x,y)的像素值 LC(x,y)=K1×LA(x,y)+K2× LB(x,y),其中和 σLB分別為 LA、LB領域內(nèi)的標準差,σ為閾值,取0.8。標準差可由式(4)得出。
對于高頻分量,由于其包含了邊緣等細節(jié)信息,變化比較劇烈,因此采用一種基于區(qū)域方差的的融合策略。設TA、TB為2幅圖像經(jīng)小波變換后所提取的高頻分量,TF為融合后的高頻分量,則該方法的具體步驟:
1)分別計算 TA(x,y)和 TB(x,y)以點(x,y)為中心的5×5(或者為3×3,7×7)鄰域的區(qū)域方差,記為var1和var2,
2)若 cor var≥T,通常 0.5<T<1 ,則
其中 W1+W2=1,W1>0,W2>0。
若 cor var<T,則:
改進后的融合流程如圖2所示。
圖2 改進后小波融合流程
對融合結果圖像進行評價是圖像融合的一個重要步驟。在很多圖像融合的應用中,最終的用戶都是人,因此人眼的視覺特性是非常重要的考慮因素之一。然而在人為評價圖像融合質量的過程中,會有很多主觀因素影響評價結果。針對主觀評價的一些缺點,必須引入客觀的評價標準。本文采用信息熵、平均梯度來評價融合圖像的效果。
1)信息熵
信息熵直接反映了一副圖像所包含信息的豐富程度,信息熵越大,圖像包含的信息越多,反之則越少。信息熵計算公式為
其中:H為圖像的熵;L為圖像的灰度級數(shù);Pi為灰度值為i的像素點與圖像總像素之比。熵值越大表明圖像包含的平均信息量越豐富。
2)平均梯度
平均梯度即圖像的清晰度,反映圖像對細節(jié)對比的表達能力,計算公式為
其中:AveV、AveH分別對應圖像垂直和水平方向的平均梯度值;AG代表圖像的平均梯度值,值越大表示一副圖像的清晰度越好。
仿真實驗數(shù)據(jù)采用分辨率為256×256多聚焦鬧鐘圖像。圖3和4分別為左焦距拍攝和右焦距拍攝的原始圖像。參加融合的圖像必須經(jīng)過配準,是否配準將直接影響融合效果。本文用到的數(shù)據(jù)為已配準的圖像,采用DBSS小波變換法。為了更好地驗證本文算法的有效性,將采用像素值取大法(圖5)、像素值取小法(圖6)、傳統(tǒng)小波變換法(圖7)得到的結果與本文算法(圖8)進行對比,實驗平臺是Matlab 7.1,實驗結果見表1。
表1 圖像融合前、后的熵值、平均梯度值對比
從表1可以看出,用本文融合算法融合后的圖像信息熵比像素值取大法、像素值取小法、傳統(tǒng)小波變換法的熵值都要高,所包含的信息量更加豐富,融合后的平均梯度也比上述集中算法均有所提高,有效地提升了融合圖像的質量。
圖像融合算法是近年來研究的熱點之一,廣泛應用于軍事、醫(yī)學等領域。本文提出了一種改進的小波變換融合算法,對小波分解后的低頻分量采用基于相關系數(shù)進行加權平均的融合策略,高頻分量則采用基于區(qū)域方差的融合策略。實驗證明,本文算法有效提高了融合圖像的質量和清晰度。
[1]韓青松,賈振紅,楊杰.基于改進的Otsu算法的遙感圖像閾值分割[J].激光雜志,2010,31(6):33 -34.
[2]邱望標.基于OpenCV的煙葉圖像處理技術[J].安徽農(nóng)業(yè)科學,2010(26):14758-14760.
[3]黃寧寧,賈振紅,何迪.改進的模糊熵與圖像局部信息相結合的遙感圖像分割新算法[J].激光雜志,2010,31(6):20 -22.
[4]程鵬飛.基于圖像的植物病變?nèi)~面特征值提取研究[J].安徽農(nóng)業(yè)科學,2010(27):15000 -15001,15004.
[5]胡剛,劉哲,徐小平,等.像素級圖像融合技術的研究及進展[J].計算機應用研究,2008,25(3):45 -47.
[6]Luorc Yihcc.Multisensor fusion and integration:Approaches,applications,and future research directions[J].IEEE Sensor Journal,2002,2(2):107 -109.
[7]Wei Huang,Zhong Liangjing.Evaluation of focus measures in multifocus image fusion[J].Pattern Recognition Letters,2007,28(4):493 -500.
[8]李海云,王箏.基于小波變換模極大值特征的多模醫(yī)學圖像融合算法研究[J].計算機工程與應用,2004(16):221-222.
[9]范永輝,王剛,曲文娟.基于小波域分類隱馬爾可夫樹模型的圖像融合算法研究[J].激光雜志,2009,30(5):32-34.
[10]孟凡偉,趙業(yè)權,張學鋒.基于小波變換的體全息相關識別系統(tǒng)[J].壓電與聲光,2009,31(1):123-125.
[11]郭飛,王玉蘭.小波變換與匹配濾波耦合的激光雷達弱信號處理[J].激光雜志,2006,27(4):51 -52.
[12]向昌成.基于區(qū)域檢測的多聚焦彩色圖像融合[J].重慶師范大學學報:自然科學版,2010(4):80-83.
[13]邢永康,葛小青.一種基于區(qū)域分割的紅外可見光圖像融合方法[J].重慶理工大學學報:自然科學版,2011(1):59-63.