吳 劍 ，吳曉紅 ，何小海 ，李林怡 ，卿粼波

(1.四川大學(xué) 電子信息學(xué)院 圖像信息研究所，四川 成都610065；2.中國(guó)民航局第二研究所，四川 成都610041)

0 引言

圖像技術(shù)的不斷發(fā)展以及現(xiàn)代光學(xué)成像設(shè)備的聚焦范圍局限性，很難保證成像圖像都位于聚焦區(qū)域。多聚焦圖像融合技術(shù)將同一場(chǎng)景通過(guò)相同傳感器得到的不同聚焦信息有效地整合在一起，形成一幅內(nèi)容豐富、信息飽和的聚焦圖像，可應(yīng)用在遙感技術(shù)、醫(yī)學(xué)圖像和攝影等方面。

基于變換域的融合方法將源圖像通過(guò)各種變換以得到多尺度、多方向的多幅子帶圖像；然后，通過(guò)各種融合規(guī)則對(duì)子帶圖像進(jìn)行融合；再通過(guò)反變換得到最終融合圖像。非下采樣輪廓波變換(Non-Subsampled Contourlet Transform，NSCT)[1]的提出主要解決了融合圖像的邊緣及輪廓表現(xiàn)得不是很明顯的問題。但是此變換忽視了空間一致性。通過(guò)NSCT[2-3]和脈沖耦合神經(jīng)網(wǎng)絡(luò)(Pulse Coupled Neural Network，PCNN)的有效結(jié)合，不僅解決了空間一致性問題，同時(shí)也實(shí)現(xiàn)了更好的視覺效果。由于非下采樣剪切波變換(Non-Subsampled Shearlet Transform，NSST)[4]具有多方向、多尺度變換，平移不變等良好特性，也被用于圖像融合。稀疏表示(Sparse Representations，SR)[5]、低秩表示(Low-Rank Representation，LRR)[6]最近幾年也相繼出現(xiàn)在圖像融合領(lǐng)域，LRR 在帶有噪聲的圖像融合中表現(xiàn)較為突出?；诰矸e神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)的圖像融合技術(shù)[7]等也被提出，并且達(dá)到了很好的視覺效果。

BUDADES A 等提出的非局部均值濾波(Non-Local Mean Filter，NLMF)算法[8]不僅能達(dá)到去除噪聲的目的，還能在很大程度上保留圖像的結(jié)構(gòu)信息。

本文利用NSST 以及NLMF 的各自優(yōu)勢(shì)，提出了一種基于NSST 與NLMF 的多聚焦圖像融合算法，有效提高了融合圖像的視覺效果。

1 相關(guān)理論

1.1 非下采樣Shearlet 變換

NSST 是對(duì)Shearlet 變換的改進(jìn)，針對(duì)Shearlet 變換在下采樣過(guò)程中不具備平移不變性的缺點(diǎn)而提出的。NSST 變換通過(guò)非下采樣金字塔濾波器組(Non-Subsampled Pyramid Filter，NSPF)對(duì)源圖像進(jìn)行多尺度剖分，再利用基于改進(jìn)的剪切波濾波器組(Shearlet Filter Box，SFB)進(jìn)行多尺度局部化分解。分解原理如圖1 所示，利用NSPF 對(duì)源圖像進(jìn)行K級(jí)分解后得到高頻和低頻子帶系數(shù)，再利用SFB 對(duì)每一級(jí)的高頻子帶系數(shù)進(jìn)行多方向局部化分解，最終可以得到K個(gè)高頻子帶圖像和一個(gè)低頻子帶圖像，且子帶圖像大小與源圖像尺寸一致。

1.2 非局部均值濾波

NLMF 是對(duì)傳統(tǒng)濾波的一種改進(jìn)。該算法考慮到圖像的自相似性，充分利用圖像的冗余信息，較大程度地保留了圖像的細(xì)節(jié)特征，與傳統(tǒng)均值濾波不同之處在于：獲得權(quán)值w的策略不同。其計(jì)算公式如下：

圖1 NSST 分解原理圖

式中，ui表示輸入RGB 圖像，i=1，2，3；B(p，r)表示中心像素點(diǎn)為p，大小為(2r+1)×(2r+1)的像素塊。w為權(quán)重，計(jì)算公式如下：

這里采用指數(shù)函數(shù)對(duì)兩個(gè)像素塊之間的平方距離d2進(jìn)行權(quán)值計(jì)算(本文采用遞增指數(shù)函數(shù)，盡可能平滑邊緣)，B(p，f)、B(q，f)分別表示中心像素為p、q，大小為(2f+1)×(2f+1)的像素塊。

2 基于NSST 和NLMF 的融合算法

2.1 融合算法

輸入源圖像，經(jīng)過(guò)NSST 變換得到低頻子帶圖像以及一系列高頻子帶圖像。針對(duì)低頻子帶圖像，采用基于局部區(qū)域的改進(jìn)拉普拉斯能量和以及NLMF 修正規(guī)則；針對(duì)高頻子帶圖像,采用相位一致性(Phase Congruency，PC)以及空間頻率和能量相關(guān)系數(shù)的融合規(guī)則。最后通過(guò)NSST 反變換得到最終融合圖像。

2.2 低頻子帶系數(shù)融合規(guī)則

2.2.1 初始融合規(guī)則

2.2.2 NLMF 修正融合規(guī)則

2.3 高頻子帶系數(shù)融合規(guī)則

2.3.1 初始融合規(guī)則

高頻子帶圖像中，紋理、邊緣細(xì)節(jié)信息居多。本文針對(duì)高頻子帶系數(shù)，設(shè)計(jì)了一種基于相關(guān)系數(shù)的空間頻率和能量相結(jié)合的加權(quán)融合規(guī)則(SF_Eng_Corr)：

2.3.2 相位一致性修正融合規(guī)則

由相關(guān)系數(shù)得到的初始高頻融合權(quán)重忽視了高頻子帶系數(shù)本身的相關(guān)性，為此，本文采用相位一致性加以修正，其過(guò)程如下：

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)說(shuō)明

為對(duì)本文提出算法的可行性進(jìn)行有效驗(yàn)證，進(jìn)行了一系列對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)中選取3 組不同聚焦圖像進(jìn)行融合實(shí)驗(yàn)，并與現(xiàn)有的5 種常見算法進(jìn)行比較，分別為文獻(xiàn)[10](GFF 方法)、文獻(xiàn)[2](NSCT 方法)、文獻(xiàn)[5](ASR 方法)、文獻(xiàn)[7](CNN 方法)以及文獻(xiàn)[11](GFDF 方法)。所用對(duì)比圖片均已配準(zhǔn)；對(duì)融合結(jié)果分別在主觀視覺和客觀評(píng)價(jià)指標(biāo)上進(jìn)行了分析。

3.2 主觀評(píng)價(jià)

圖2～圖4 展示了不同融合算法對(duì)Clock、Disk、Pepsi 三對(duì)不同聚焦圖片的融合結(jié)果。在Clock 的實(shí)驗(yàn)結(jié)果中，相對(duì)于源圖像2，NSCT、ASR、CNN 方法在聚焦邊緣(如圖中框中所示)存在邊緣模糊、缺失現(xiàn)象；同時(shí)，ASR 方法得出的融合圖像在圖像清晰度方面有所不足，細(xì)節(jié)部分有所丟失。而GFF、GFDF以及本文方法在圖像清晰度、邊緣部分都有很好的表現(xiàn),融合效果較好。

在Disk 的實(shí)驗(yàn)結(jié)果中，ASR 以及CNN 方法在聚焦邊緣(中間小方框中)存在細(xì)節(jié)缺失、不平滑現(xiàn)象；同時(shí)，在書架上白色書籍邊緣(左邊方框中)，NSCT、ASR方法存在白色光暈現(xiàn)象。GFF、GFDF 以及本文算法并未出現(xiàn)上述現(xiàn)象，同時(shí)圖像細(xì)節(jié)保留很好，清晰度較高。

在Pepsi 的實(shí)驗(yàn)結(jié)果中，NSCT 和ASR 方法在圖中英文單詞處(右上方框中)有輕微的模糊現(xiàn)象，清晰度不高；同時(shí)，相對(duì)于源圖像2，GFF、NSCT 以及ASR 方法在圖中桌面倒影處(偏右下長(zhǎng)方形小框)也存在些許模糊。從主觀上看，本文算法不管是在聚焦邊緣、細(xì)節(jié)保留還是在圖像清晰上，都有一定的提高,融合效果相對(duì)較好。

圖2 Clock 實(shí)驗(yàn)結(jié)果

圖3 Disk 實(shí)驗(yàn)結(jié)果

3.3 客觀評(píng)價(jià)

為對(duì)本文算法的有效性做進(jìn)一步的驗(yàn)證，選取了5 個(gè)評(píng)價(jià)指標(biāo)對(duì)融合圖像進(jìn)行定量評(píng)估，分別為互信息(MI)[12]、標(biāo)準(zhǔn)差(STD)、視覺信息保真度(VIFF)[13]、結(jié)構(gòu)相似性(SSIM)[14]、結(jié)構(gòu)互信息(QFMI)[15]。其中，融合圖像包含的信息量越多，MI、QFMI越大。STD 反映圖像對(duì)比度，越大則對(duì)比度越高。VIFF 反映人眼視覺效果，其越大，視覺效果越好。SSIM 反映的是融合圖像與參考圖像之間的相似度，其值越接近1，融合效果越好。

圖4 Pepsi 實(shí)驗(yàn)結(jié)果

表1 列出了評(píng)價(jià)指標(biāo)對(duì)比結(jié)果，從表中可以看出，對(duì)于融合圖像Clock 和Disk 的對(duì)比實(shí)驗(yàn)結(jié)果，本文算法的MI、SSIM、QFMI均高于其他幾種算法，特別是SSIM 接近于1?？梢?本文算法得出的融合圖像中所包含源圖像的聚焦信息與其余算法相比，有較大的提升。對(duì)于融合圖像Clock 和Pepsi 的實(shí)驗(yàn)結(jié)果，MI、VIFF 均高于其余算法，說(shuō)明在保留較多源圖像的聚焦信息的同時(shí)，融合圖像的視覺效果也較優(yōu)于其余算法。在圖像Clock 的融合結(jié)果中，MI、STD、VIFF、SSIM、QFMI都優(yōu)于其余算法，說(shuō)明本文算法在信息豐富度、對(duì)比度、人眼視覺效果上都有較好的表現(xiàn)。三組實(shí)驗(yàn)中，本文算法的MI、STD、VIFF、SSIM、QFMI均高于NSCT、ASR 方法；并且，相對(duì)于當(dāng)前對(duì)比的深度學(xué)習(xí)算法，本文算法在MI、VIFF、SSIM、QFMI指標(biāo)上均有一定的優(yōu)勢(shì)。

結(jié)合主觀評(píng)價(jià)和客觀評(píng)價(jià)，本文算法的融合效果較其他幾種算法都有較好的優(yōu)勢(shì)，特別在融合圖像的信息豐富度、對(duì)比度上，有較大的提高。同時(shí)，本文算法也提高了融合圖像的人眼視覺效果。

表1 客觀評(píng)價(jià)結(jié)果

4 結(jié)論

多聚焦圖像融合彌補(bǔ)了傳統(tǒng)數(shù)字成像設(shè)備不能聚焦全部場(chǎng)景信息的不足。本文運(yùn)用非局部均值濾波、改進(jìn)拉普拉斯能量和以及相位一致性等理論，提出了一種基于NSST 和NLMF 的多聚焦圖像融合算法。根據(jù)仿真結(jié)果，得到以下結(jié)論：

(1)本文算法不僅有效地保留了源圖像的輪廓、紋理等細(xì)節(jié)信息，同時(shí)，在圖像的聚焦邊緣區(qū)域，也有良好的視覺效果。

(2)相比于其他五種算法，本文算法得出的融合圖像的對(duì)比清晰度有一定的提升，在互信息量以及結(jié)構(gòu)相似度上提升明顯，融合效果較理想。

未來(lái)工作考慮將更多的圖像色彩信息與紋理細(xì)節(jié)有效地結(jié)合起來(lái)，提高融合效果的同時(shí)，使得融合圖像的色彩飽滿度得到提升；同時(shí)，對(duì)于帶噪圖像的融合方法也是今后考慮的方向。