洪 銘 柳培忠 汪鴻翔

?

基于動(dòng)態(tài)引導(dǎo)濾波的多尺度圖像融合算法

洪 銘 柳培忠 汪鴻翔

華僑大學(xué)工學(xué)院

該文基于動(dòng)態(tài)引導(dǎo)濾波器（RGF）提出了一種新的圖像多尺度表示方法，并將其應(yīng)用到圖像融合技術(shù)中。首先，使用RGF將輸入圖像用多種尺度的子圖表示；然后，基于顯著性檢測獲得輸入圖像的權(quán)重映射；最后使用基于遞歸濾波的加權(quán)融合方法得到最后的融合圖像。多組圖像融合實(shí)驗(yàn)的比較結(jié)果表明，相比于其它基于多尺度分解的融合算法，本文提出的融合算法更好地保持了輸入圖像的細(xì)節(jié)信息，融合圖像的視覺效果更好。

RGF 顯著性檢測 遞歸濾波

1 概述

圖像融合是指將相同場景下的不同圖像合成一幅圖，圖像融合技術(shù)在計(jì)算機(jī)視覺、醫(yī)學(xué)圖像處理、遙感圖像、特征提取等領(lǐng)域都有廣泛應(yīng)用[1]。融合后的圖像通常能提供更充分的場景信息，并且更有利于人眼和機(jī)器識(shí)別[2]。

多尺度變換理論被廣泛應(yīng)用到各種圖像融合技術(shù)中?；诙喑叨茸儞Q的圖像融合技術(shù)主要步驟包括：一是將輸入圖像分解成多種尺度的子圖，二是根據(jù)給定的融合策略對分解子圖進(jìn)行加權(quán)融合，三是使用逆變換重構(gòu)融合圖像。其中圖像分解過程通常使用各種金字塔技術(shù)，包括拉普拉斯金字塔（LP）[3]、低通濾波金字塔（RP）[4]和梯度金字塔（GP）[5]。除此之外，小波變換[6]和曲波變換[7]也經(jīng)常用于圖像融合領(lǐng)域。但是，由于這些多尺度變換方法通常會(huì)使用到上采樣或下采樣處理，從而使得融合后的圖像丟失掉部分細(xì)節(jié)信息[8,9]，并且在變換時(shí)也會(huì)引入噪聲，使得融合圖像的邊緣處產(chǎn)生圓暈效應(yīng)。

本文基于動(dòng)態(tài)引導(dǎo)濾波（RGF）提出了一種新的圖像多尺度分析方法。其中，RGF是最近提出的一種邊緣保持類平滑濾波器，也是一種尺度濾波器。通過改變RGF的參數(shù)可以得到各種尺度的平滑圖像和細(xì)節(jié)圖像，而且這種邊緣保持類分解過程不會(huì)損失圖像的細(xì)節(jié)信息。同時(shí)本文基于顯著性檢測獲得輸入圖像的權(quán)重映射，然后使用基于遞歸濾波的加權(quán)融合方法得到融合圖像。

2 動(dòng)態(tài)引導(dǎo)濾波器

Zhang等[10]提出了一種新的基于尺度測量的邊緣保持類濾波器——RGF（rolling guidance filter）。相比于其它邊緣保持濾波器，RGF是基于迭代實(shí)現(xiàn)并且有著更快收斂的屬性，簡單、快速并且容易理解。RGF主要包含小結(jié)構(gòu)移除和邊緣恢復(fù)兩個(gè)過程，能自動(dòng)保存圖像中的大尺度結(jié)構(gòu)。

首先，使用高斯濾波器移除小結(jié)構(gòu)。用表示輸入圖像，表示輸出圖像，為高斯濾波器的標(biāo)準(zhǔn)差，和是像素下標(biāo)。高斯濾波器如式（1）所示：

最后，將上述兩個(gè)步驟結(jié)合起來，即從輸入圖像I開始進(jìn)行動(dòng)態(tài)引導(dǎo)濾波。如果為常量C，那么有=C，則式（2）變?yōu)椋湫问脚c式（1）一樣。

由圖1可知，可以使用RGF移除圖像中紋理、細(xì)節(jié)和噪聲等小尺度結(jié)構(gòu)，并且在移除這些結(jié)構(gòu)時(shí)保存其它內(nèi)容。同時(shí)由圖1可知，當(dāng)改變參數(shù)時(shí)，可以移除圖像中各種尺度結(jié)構(gòu)。圖1是取不同值時(shí)RGF的濾波結(jié)果，最左邊為輸入圖像，其它圖從左到右的值依次為4、8、32；值都為0.05，迭代4次。

3 圖像融合

將基于RGF的多尺度分解應(yīng)用到圖像融合過程中，主要包括多尺度子圖獲取、融合權(quán)重估計(jì)和加權(quán)融合3個(gè)過程。其中多尺度子圖獲取主要通過改變來移除不同的尺度結(jié)構(gòu)；權(quán)重估計(jì)和加權(quán)融合使用的是一種基于遞歸濾波的加權(quán)融合方法，該過程先通過顯著性計(jì)算分別獲取各子圖的權(quán)重，然后細(xì)化權(quán)重矩陣，最后加權(quán)融合各子圖獲得最終的融合圖像。本文提出的圖像融合流程如圖2所示。

圖2 圖像融合流程圖

3.1 獲取多尺度子圖

（4）

3.2 權(quán)重估計(jì)

由于人眼對于邊、角和不平滑區(qū)域更加敏感，本文將文獻(xiàn)[12]和[13]的3D采樣方法應(yīng)用到2D圖像，得到顯著性映射如下所示：

（6）

（8）

3.3 權(quán)重細(xì)化和加權(quán)融合

由圖2可知，本文3.2小節(jié)中的權(quán)重估計(jì)充滿了噪聲和0、1權(quán)值。因此，本文采用一種基于遞歸濾波[14]的加權(quán)融合方法細(xì)化權(quán)重矩陣。遞歸濾波器是一種實(shí)時(shí)的邊緣保持平滑濾波器。這里將輸入圖像作為參考圖像，對權(quán)重映射進(jìn)行遞歸濾波，得到基礎(chǔ)層權(quán)重映射和細(xì)節(jié)層權(quán)重映射：

（10）

4 結(jié)果與分析

4.1 評估機(jī)制

為了客觀評價(jià)圖像的融合質(zhì)量，本文采用歸一化互信息QAB/F[11]和（MI）[13]兩種評估機(jī)制來衡量算法的有效性。

MI表示融合圖像從原圖像獲得的信息量的大小，具有對圖像間重疊塊大小不敏感的特征。設(shè)原圖像為I1和I2，融合圖像為F，則歸一化互信息MI可由文獻(xiàn)[13]中定義表示為：

其中，()、()和()分別表示A、B和F的邊緣熵，而()表示A和F的互信息，且(,)=()+()-()，其中()表示A和F的聯(lián)合熵。()的定義與MI(A,F)相似。

QAB/F表示融合圖像對于原圖像A、B的整體邊緣信息保存量，其值可表示為：

4.2 參數(shù)分析

在本文的所有實(shí)驗(yàn)中，設(shè)置多尺度分解的層數(shù)L=5。同時(shí)，RGF濾波器的初始=3，=0.05，然后逐級增大，步長step=2。引導(dǎo)濾波器的兩個(gè)參數(shù)和對于本文算法有著一定的影響，當(dāng)對基礎(chǔ)層進(jìn)行融合時(shí)，需要大尺度的和模糊度；當(dāng)對細(xì)節(jié)層進(jìn)行融合時(shí)，和不易太大和太小。因此本文采用默認(rèn)設(shè)置，即：=25,=15,=0.01。

4.3 與其它基于多尺度變換算法的比較

為了驗(yàn)證本文算法的優(yōu)越性和有效性，將其與其它基于多尺度變換的算法，如拉普拉斯金字塔（LP）、低通濾波金字塔（RP）、梯度金字塔（GP）、小波變換和曲波變換進(jìn)行比較。比較算法的參數(shù)與文獻(xiàn)[8]、[9]的設(shè)置一致。具體融合結(jié)果如圖3～圖5所示，表1為這幾種算法的MI和QAB/F值。

表1 本文算法（RGF_based）與其它基于多尺度變換的圖像融合算法性能比較

圖3是對Medical圖像融合效果的比較，其中兩輸入圖像具有互補(bǔ)的特征?？梢钥闯?，本文算法不僅能將兩幅圖中的重要信息保留下來，而且能保持比較好的對比度和清晰度。從表1也可以看出，本文算法取得了較高的MI值，表明本文算法能從原圖像獲得較多的信息量；同時(shí)本文算法的QAB/F值也比其他算法高，表明本文算法在融合過程中能有效保持輸入圖像的邊界。

依次為輸入圖像1，輸入圖像2，LP，RP，DWT，DTCWT，CVT和本文算法的融合結(jié)果。

圖4為Multifocus圖像融合效果的比較，即兩幅圖像的聚焦不同。可以看出，兩輸入圖像的特征和清晰度在融合圖像中得到了保持，同時(shí)本文算法的對比度要稍好于其它算法。從表1的MI和QAB/F值可以看出差別，即本文算法較好地將源圖像中的清晰部分保留下來了。

依次為輸入圖像1，輸入圖像2，LP，RP，DWT，DTCWT，CVT和本文算法的融合結(jié)果。

圖5為可見光圖像與紅外圖像的融合?？梢姽鈭D像能夠更好反映物體的細(xì)節(jié)，而紅外圖像能夠有效捕捉發(fā)熱目標(biāo)，因而在融合圖像中既有細(xì)節(jié)又有發(fā)熱目標(biāo)?？梢钥闯觯疚乃惴ǖ玫降娜诤蠄D像對比度高，背景信息豐富，同時(shí)融合圖像中的草叢相比于其它算法要更加清晰。從表1也可看出，本文算法的MI和QAB/F值都較高。

依次為輸入圖像1，輸入圖像2，LP，RP，DWT，DTCWT，CVT和本文算法的融合結(jié)果。

5 結(jié)論

本文基于RGF提出了一種新的圖像多尺度表示方法，并將其應(yīng)用到圖像融合技術(shù)中。首先，使用RGF將輸入圖像用多種尺度的子圖表示，再基于顯著性檢測獲得輸入圖像的權(quán)重映射，最后使用基于遞歸濾波的加權(quán)融合方法得到最后的融合圖像。多組圖像融合實(shí)驗(yàn)的比較分析結(jié)果表明，相比于其它基于多尺度分解的融合算法，本文提出的融合算法更好地保持了輸入圖像的細(xì)節(jié)信息，融合圖像的視覺效果更好。

參考文獻(xiàn)：

[1] Goshtasby AA, Nikolov S.. Image fusion: Advances in the state of the art[J]. Information Fusion, 2007, 8(2): 114–118.

[2] Hall D L, Llinas J. An introduction to multisensor data fusion[J]. Proceedings of the IEEE, 1997, 85(1): 6?23.

[3] Burt P., Adelson E.. The laplacian pyramid as a compact image code[J]. IEEE Transcations on Communications, 1983, 31(4): 532–540.

[4] Petrovic V., Xydeas C.. Gradient-based multiresolution image fusion[J]. IEEE Transactions on Image Processing,2004, 13(2): 228–237.

[5] LI H., Manjunath B., Mitra S.. Multisensor image fusion using the wavelet transform[J]. Graphical Models and Image Processing, 1995, 57(3): 235–245.

[6] Lewis J., O’ Callaghan R., Nikolov S., et al.. Pixel- and region-based image fusion with complex wavelets[J]. Information Fusion, 2007, 8(2): 119–130.

[7] Nencini F., Garzelli A., Baronti S., et al.. Remote sensing image fusion using the curvelet transform[J]. Information Fusion, 2007, 8(2): 143–156.

[8] Piella G.. A general framework for multiresolution image fusion: from pixels to regions[J]. Information Fusion, 2003, 4(4): 259–280.

[9] LI S., YANG B., HU J.. Performance comparison of different multi-resolution transforms for image fusion[J]. Information Fusion, 2011, 12(2): 74–84.

[10] ZHANG Q., SHEN X., XU L., et al.. Rolling guidance fiter[C]//Computer Vision—ECCV 2014, 2014: 815–830.

[11] ZHAO Y., LIU Y., SONG R., et al.. A saliency detection based method for 3d surface simpli fication[C]//IEEE Conf. Acoustics, Speech and Signal Process., 2012, 889–892.

[12] LIU Y, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation[J].Information Fusion, 2015, 24:147-164.

[13] LIU S., HE D., LIANG X.. An improved hybrid model for automatic salient region detection[J]. IEEE Signal Process, Lett., 2012, 19(4): 207–210.

[14] Eduardo S. L. Gastal, Manuel M. Oliveira. Domain Transform for Edge-Aware Image and Video Processing[J]. ACM Transactions on Graphics, 2011, 30(4): 193–202.