易小波,李 浪,鄒 存
(衡陽(yáng)師范學(xué)院 計(jì)算機(jī)科學(xué)系,湖南 衡陽(yáng) 421008)
圖像融合作為圖像預(yù)處理過(guò)程是近年來(lái)圖像工程領(lǐng)域研究的熱點(diǎn)。對(duì)于多聚焦圖像來(lái)說(shuō),融合的目的就是通過(guò)對(duì)多幅源圖像進(jìn)行信息提取與綜合,從而獲得對(duì)同一場(chǎng)景或目標(biāo)的更準(zhǔn)確、全面和可靠的描述?,F(xiàn)有的像素級(jí)融合方法中,基于小波變換的處理算法占有主流地位,但是傳統(tǒng)的小波變換僅分解了三個(gè)方向高頻子帶,無(wú)法更有效地描述圖像細(xì)節(jié)。Contourlet變換[1]是對(duì)傳統(tǒng)小波變換的一種新擴(kuò)展,與Bandelet、Curvelet、Wedgelet等合稱為幾何小波。它在多尺度分解的基礎(chǔ)上引入了方向?yàn)V波的處理,滿足了各向異性尺度關(guān)系,可以提供圖像的輪廓邊緣任意方向的信息[2]。因此,Contourlet變換能為圖像融合提供更多的融合依據(jù),提高融合后圖像質(zhì)量。
Contourlet變換也稱為塔形方向?yàn)V波器組[3-4](PDFB),主要思想是使用一個(gè)類似小波的多尺度分解捕捉高頻奇異點(diǎn),再根據(jù)方向信息將位置相近的奇異點(diǎn)匯集成輪廓段。其分解過(guò)程是:首先采用拉普拉斯塔式分解(Laplacian Pyramid,LP)對(duì)輸入圖像進(jìn)行迭代分解,生成一系列不同尺度上的低頻和高頻子帶。隨后,對(duì)LP分解所得到的高頻子帶先通過(guò)扇型濾波器組(QFB)進(jìn)行扇型方向上的頻率切分,隨后與旋轉(zhuǎn)重采樣操作適當(dāng)組合以實(shí)現(xiàn)圖像高頻信息的方向?yàn)V波。這樣通過(guò)少量的系數(shù)即可以有效地描述圖像的邊緣輪廓。其分解原理圖如下圖1:
圖1 Contourlet變換分解原理圖
下圖2是對(duì)LENA圖片分別進(jìn)行三層Contourlet變換(方向數(shù)目為8、4、0)和小波分解的結(jié)果,可見(jiàn)Contourlet不僅繼承了小波的多分辨和時(shí)頻局部化特性,而且具良好的方向性和各向異性。將Contourlet引入圖像融合,可以更好地提取圖像輪廓的幾何特征,,為融合圖像提供更多的依據(jù)。
圖2 Contourlet變換(a)與小波變換(b)的對(duì)比
小波變換是對(duì)高頻奇異點(diǎn)的提取與描述,融合規(guī)則的設(shè)計(jì)應(yīng)當(dāng)側(cè)重于奇異點(diǎn)系數(shù)值以及系數(shù)的局部統(tǒng)計(jì)特征。比如簡(jiǎn)單的絕對(duì)值最大的融合規(guī)則在小波域圖像融合中也能取得不錯(cuò)的融合效果[5-6]。而Contourlet利用方向?yàn)V波器將同一方向的奇異點(diǎn)合成一個(gè)輪廓段系數(shù),圖像的輪廓除拐點(diǎn)外應(yīng)該具有很強(qiáng)的方向性,普通輪廓段除相鄰幾個(gè)方向子圖中取值較大外,其他不同方向子圖中應(yīng)該很小,否則不同方向高頻系數(shù)將相互干擾導(dǎo)致輪廓模糊和斑塊現(xiàn)象。因此,在Contourlet域融合規(guī)則設(shè)計(jì)更應(yīng)該注重同一輪廓段各方向高頻系數(shù)來(lái)源的一致性,下圖3利用絕對(duì)值最大規(guī)則融合結(jié)果也說(shuō)明了一致性的重要性:
圖3 絕對(duì)值最大規(guī)則融合圖像結(jié)果和局部放大
本文提出一種基于一致性處理的融合規(guī)則:
1.對(duì)于低頻系數(shù)采用使用區(qū)域方差法:將低頻子帶進(jìn)行子塊劃分,計(jì)算當(dāng)前子塊的區(qū)域方差,選取區(qū)域方差較大作為融合圖像的低頻系數(shù)。令L(X,p)表示圖像X中p點(diǎn)位置低頻系數(shù),u(X,p)表示以p點(diǎn)為中心的Q鄰域的平均值,則p點(diǎn)區(qū)域方差D(X,p)的計(jì)算公式如下:
2.對(duì)于高頻系數(shù),采用鄰域和一致性處理的方法:Contourlet高頻系數(shù)代表圖像的細(xì)節(jié)分量,而系數(shù)鄰域能量越大表明該區(qū)域越清晰,因此,可以統(tǒng)計(jì)高頻系數(shù)的區(qū)域能量作為判決依據(jù)。令H(X,i,k,p)表示分解圖像X中第i層高頻子帶中第k個(gè)子圖中p點(diǎn)位置高頻系數(shù),Q為以p點(diǎn)為中心的鄰域,則p點(diǎn)Q鄰域能量和計(jì)算公式如下:
區(qū)域能量可以較好的利用輪廓段的相似特點(diǎn),為了保證系數(shù)的一致性要求,本文提出把p點(diǎn)各方向的鄰域能量累加合并獲得i層中的p點(diǎn)的總鄰域能量,并依據(jù)該值對(duì)相層p點(diǎn)各方向系數(shù)進(jìn)行相同判決處理,確保同一分解層中高頻輪廓各方向系數(shù)都來(lái)源于同一張圖片。令第i層有N個(gè)方向子圖,p點(diǎn)的總鄰域能量計(jì)算如下:
一致性處理可能丟失一些高頻大系數(shù),原因是另外一張圖片的相同位置中存在一個(gè)不同方向的更大系數(shù),這是為了減少它們的相互干擾突出邊緣走向的明確性,而采取的處理。很顯然,用熵、平均梯度等強(qiáng)調(diào)信息量或者變化度類型的客觀參數(shù)是無(wú)法準(zhǔn)確評(píng)價(jià)融合結(jié)果的,應(yīng)該從局部斑塊現(xiàn)象或者與標(biāo)準(zhǔn)圖像的偏差指數(shù)去評(píng)價(jià)會(huì)更加合理。
仿真實(shí)驗(yàn)在低頻系數(shù)采用相同的區(qū)域方差法,高頻系數(shù)分別采用絕對(duì)值最大法(方法1)、鄰域能量法 (方法2)、以及總鄰域能量一致性處理法(方法3)分別進(jìn)行仿真實(shí)驗(yàn),結(jié)果如下圖4:
圖4 仿真實(shí)驗(yàn)結(jié)果
本文分別對(duì)LIB圖片、CAMERA圖片和PEPPERS.圖片進(jìn)行融合實(shí)驗(yàn),以熵、平均梯度以及與標(biāo)準(zhǔn)圖片的偏差指數(shù)三項(xiàng)指標(biāo)進(jìn)行評(píng)價(jià)(下圖5):
統(tǒng)計(jì)結(jié)果如下表1所示:
表1 三種方法指標(biāo)
續(xù)表
圖5 實(shí)驗(yàn)平臺(tái)質(zhì)量評(píng)價(jià)
綜合客觀量化指標(biāo)和主觀視覺(jué)評(píng)價(jià)可以得出:方法1雖然能很好地保留圖像的高頻細(xì)節(jié),但圖像局部斑塊現(xiàn)象嚴(yán)重,主觀視覺(jué)效果差;方法2的鄰域能量處理方法可以較好地彌補(bǔ)方法1的缺點(diǎn);方法3的局部斑塊現(xiàn)象最少,與標(biāo)準(zhǔn)圖片的偏差指數(shù)最低,應(yīng)該是一種更好的處理方法。
本文提出了一種基于Contourlet域的圖像融合改進(jìn)算法,分析了Contourlet變換的高頻系數(shù)的特點(diǎn),融合規(guī)則進(jìn)行了同一高頻系數(shù)不同方向的一致性處理。仿真實(shí)驗(yàn)表明該方法取得了較好的融合效果。本文提出的算法局限于同一高頻系數(shù)的不同方向的系數(shù)的一致性選取的研究,更深入的工作應(yīng)研究基于貝葉斯最大后驗(yàn)概率理論(MAP)的系數(shù)選取規(guī)則的實(shí)現(xiàn),設(shè)計(jì)出更適合人眼視覺(jué)的融合算法。
[1]Do M N,VeLLerli M.T.The contourlet transform:an efficent directional multiresolution image representation[J],IEEE Trans Image Processing,2005,14(12):2091-2106.
[2]李暉暉,劉坤.基于Contourlet域隱馬爾可夫樹(shù)模型的圖像融合[J].光學(xué)學(xué)報(bào),2011,26(5):657-662
[3]楊镠,郭寶龍,倪偉.基于區(qū)域特性的Contourlet域多聚焦圖像融合算法[J].西安交通大學(xué)學(xué)報(bào),2007,41(4):448-452
[4]劉坤,郭雷,陳敬松.基于Contourlet域隱馬爾可夫樹(shù)模型 的 圖 像 融 合 算 法 [J].光 子 學(xué) 報(bào),2010(8):1393-1387
[5]吳建宏,李偉彤,廖捷.一種基于小波-Contourlet的改進(jìn)圖像融合算法[J].廣東工業(yè)大學(xué)學(xué)報(bào),2011(1):12:16
[6]李凱,劉斌.非下采樣三通道不可分小波的多聚焦圖像融合[J].計(jì)算機(jī)工程與應(yīng)用,2012,48(17):174-177