張耀軍，栗 磊，吳桂玲

(信陽農(nóng)林學院計算機系，河南信陽464000)

多聚焦圖像融合是指將原本針對同一場景的多幅聚焦于不同目標區(qū)域中的源圖像中的清晰聚焦區(qū)域加以提取，并注入到一幅圖像中的過程。該工作有助于提升圖像的信息量，為后續(xù)的圖像處理工作奠定良好基礎。

目前，主流的多聚焦圖像融合方法主要基于變換域理論而展開。離散小波變換(Discrete Wavelet Transform，DWT)較之前的金字塔變換在圖像信息捕捉能力上已經(jīng)有了較大的提升，但該理論僅限于捕捉奇異“點”信息，對二維的奇異“線”信息表達能力不足。為此，國內(nèi)外專家學者針對DWT理論進行了探索和研究，先后提出了復小波變換(Complex Wavelet Transform，CWT)［1］、提升小波變換(Lifting Wavelet Transform，LWT)［2-3］、脊波變換(Ridgelet Transform，RT)［4］、Bandelet變換［5］、曲波變換［6］、輪廓波變換(Contourlet Transform，CT)［7-8］等理論，雖然這些理論在一定程度上改善了圖像融合效果，但平移不變性的缺失導致了最終融合結(jié)果圖像中出現(xiàn)了“振鈴”效應，嚴重影響了視覺效果。為此，Cunha等人對CT理論進行進一步改進，摒棄了其中的下采樣機制，構(gòu)造了非下采樣輪廓波變換(Non-Subsampled Contourlet Transform，NSCT)理論［9］。同CT理論相比，NSCT擁有更敏銳的圖像細節(jié)和邊緣信息捕捉能力，因此近年來，NSCT已被廣泛用于圖像融合領(lǐng)域［10-11］。相比以往經(jīng)典的多尺度幾何分析理論，NSCT的圖像融合能力得以大幅提升，然而過高的計算復雜度大大制約了該理論的應用前景，尤其是諸如軍事、醫(yī)學等對實時性要求較高的實用領(lǐng)域。

2008年，Easley等人［12］構(gòu)造并提出了非下采樣剪切波變換(Non-Subsampled Shearlet Transform，NSST)理論，不同于NSCT理論的非下采樣方向濾波器分解機制，NSST直接采取將剪切濾波器從偽極化網(wǎng)絡系統(tǒng)映射到笛卡爾坐標系統(tǒng)，因此，NSST理論能夠在保證具有良好圖像處理性能的同時，大幅降低計算復雜度，在很大程度上克服了NSCT理論自身的缺陷，使其能被廣泛應用于實時性領(lǐng)域成為可能。目前，該理論仍主要處于探索和發(fā)展階段，涉及到圖像融合領(lǐng)域的文獻較為有限。文獻［13-15］將NSST理論分別與其他領(lǐng)域內(nèi)的模型相結(jié)合，取得了優(yōu)良的圖像融合效果。

在此背景下，本文擬僅依托NSST理論和待融合源圖像自身的特征信息，提出一種基于NSST圖像特征的多聚焦圖像融合方法。由于低頻子帶圖像包含了原始圖像的主體信息，因此盡可能地將低頻子帶圖像中的清晰區(qū)域加以提取，必將有助于提升后期最終融合圖像的視覺效果，本文將選取能夠描述圖像清晰度水平的空間頻率和局部能量作為依據(jù)，確定融合后的低頻子帶系數(shù);另一方面，高頻子帶圖像中主要保存了原始圖像中的細節(jié)和邊緣信息，因此可以直接利用邊緣檢測算子直接加以提取。仿真實驗部分將本文方法與目前幾種經(jīng)典的方法進行了比較，結(jié)果表明本文方法可以在保證結(jié)果圖像清晰度水平的前提下具備更低的計算復雜度。

1 NSST基本模型

當維數(shù)n=2時，具有合成膨脹的仿射系統(tǒng)表達式為

式中:ψ∈L2(R2)，A和 B均為 2×2的可逆矩陣，且。如果MAB(ψ)滿足緊框架條件，則MAB(ψ)的元素稱為合成小波。A稱為各向異性膨脹矩陣，Ai與尺度變換相關(guān)聯(lián);B為剪切矩陣，Bj與保持面積不變的幾何變換相關(guān)聯(lián)。A和B的表達式分別為A=［a 0 0 a1/2］，B=［1 s0 1］。通常取 a=4，s=1，即 A=［4 0 0 2］，B=［1 1 0 1］。此時，該合成小波即為剪切波［12］。

NSST作為一種冗余變換，其分解過程分為多尺度分解和多方向分解兩部分。其中，多尺度分解仍沿用非下采樣金字塔分解方式加以實現(xiàn)，源圖像每經(jīng)過一級分解便可產(chǎn)生1幅低頻子帶圖像和1幅對應的高頻子帶圖像，此后每一級分解都將只針對低頻子帶圖像進行。因此，在經(jīng)過k級多尺度分解后，每一幅源圖像共可衍生出1幅低頻微觀子圖像和k幅高頻微觀子圖像，這些子圖像均與源圖像具有相同尺寸。顯然，NSST與NSCT在多尺度分解環(huán)節(jié)上是完全一致的。不同于NSCT，NSST的多方向分解是將標準剪切濾波器從偽極化網(wǎng)絡系統(tǒng)映射到笛卡爾坐標系統(tǒng)，完全摒棄了下采樣環(huán)節(jié)，從而實現(xiàn)了自身的平移不變性，有效地避免了類似于離散小波變換、輪廓波變換結(jié)果中的振鈴效應。當NSST對某尺度子帶圖像進行l(wèi)級非下采樣剪切波方向分解時，可得到2l個與源圖像具有相同尺寸大小的方向子帶圖像，從而實現(xiàn)頻域中更為精確的方向分解。圖1給出了圖像Zoneplate的NSST分解示意圖，其中，尺度分解數(shù)為2，每一級尺度對應的方向分解數(shù)均為4。

圖1 Zoneplate圖像的非下采樣剪切波變換分解示意

顯然，圖1b反映了原始圖像中的主體信息(中心部位的同心圓)，而圖1c、圖1d分別反映了不同分解尺度、不同方向下原始圖像中的細節(jié)信息。

2 基于NSST圖像特征的多聚焦圖像融合框架

相比以往以NSCT為代表多尺度幾何分析工具，NSST在具有平移不變性特征的同時具有更優(yōu)越的圖像信息捕捉能力。待融合源圖像在經(jīng)過NSST處理后，可以分別得到一幅低頻子帶圖像和一系列高頻子帶圖像。低頻子帶圖像側(cè)重反映原始圖像中的主體和輪廓信息，含有絕大部分的特征，而高頻子帶圖像主要包含了原始圖像中的細節(jié)以及多個目標之間的邊緣信息。因此，在圖像融合過程中，針對低頻子帶圖像應著眼于清晰輪廓框架信息的捕捉與提取，即盡可能地將其中的清晰區(qū)域提取出來，而針對高頻子帶圖像則需要著重捕捉其中的邊緣和細節(jié)信息，對低頻提取信息加以有效補充。為此，本文選取了能夠表達圖像清晰度水平的空間頻率和局部能量指標作為依據(jù)，針對源圖像的若干幅低頻子帶圖像系數(shù)加以選取。此外，選擇Canny算子作為高頻子帶圖像中邊緣細節(jié)信息的提取工具。圖2給出了本文的圖像融合框架。

圖2 基于NSST圖像特征的多聚焦圖像融合框架

其中，A，B，F(xiàn)分別表示兩幅已配準源圖像以及最終融合圖像;X_low，X_high分別表示源圖像經(jīng)NSST分解后得到的低頻、高頻子帶圖像;low，high為融合后的低頻、高頻子帶圖像。

2．1 低頻微觀子帶圖像融合

空間頻率［16］指數(shù)通過考查圖像中各像素點(i，j)與相鄰行像素點(i-1，j)以及相鄰列像素點(i，j-1)之間灰度值的差異，從而刻畫整幅圖像的梯度特征，目前空間頻率已被作為評價指標用于客觀評價圖像融合效果。然而，經(jīng)典的空間頻率指標只衡量了橫、縱兩個方向上的梯度差異，對對角線方向上的梯度差異并未加以刻畫和描述。為此，文獻［17］提出了一種新的空間頻率指標，即

其中，RF，CF，MDF和 SDF分別代表水平、垂直、45°和135°對角線方向上的梯度水平。SF通過計算上述4個方向上的平方和水平的平方根，從而綜合描述單個像素點的綜合空間頻率水平。

以尺寸為M×N的圖像I(i，j)為例給出4個方向上的梯度水平表達式

其中，ωd表示距離權(quán)值，本文ωd取0.707。

顯然，SF數(shù)值越大表示對應像素點的梯度水平越高，與周圍像素點的差異越明顯、越活潑突出，通常情況下也蘊含著更為豐富的信息。

此外，局部能量也從另一角度對像素點的特征進行了描述，局部能量的數(shù)學表達式為

式中:(i，j)為圖像像素點;c表示子帶圖像系數(shù);N×N為局部鄰域尺寸。N的尺寸取決于圖像的紋理水平，若紋理較為粗糙則適當減小N值，反之，若紋理較為平坦則適當增大N值。

低頻子帶圖像系數(shù)的選擇方法具體如下

2．2 高頻微觀子帶圖像融合

邊緣檢測算子可以用于對高頻子帶圖像中的邊緣細節(jié)信息進行捕捉。Canny算子基于最優(yōu)化思想展開，該算子采用高斯函數(shù)對圖像作平滑處理，具有較強的抑制噪聲能力，此外，Canny算子采用雙閾值算法檢測和接連邊緣，采用的多尺度檢測和方向性搜索能力比其余算子具有明顯優(yōu)勢。因此，本文采用Canny算子對高頻子帶圖像中的細節(jié)邊緣信息進行提取。

Canny算子求解邊緣點的算法為:

1)高斯濾波器平滑圖像處理

使用高斯函數(shù)

則

其中，p(x，y)為原始高頻子帶圖像;q(x，y)為平滑處理后的子帶圖像。

2)使用一階差分對平滑后的子帶圖像進行處理，求出偏導陣列

其中，M［x，y］和 θ［x，y］分別表示圖像的邊緣強度和邊緣方向。M［x，y］取得最優(yōu)值時對應的方向角 θ［x，y］即為邊緣的走勢方向。

3)用雙閾值算法檢測和連接邊緣

對非極大值抑制圖像施加雙閾值 λ1和 λ2，且 λ1＜ λ2。將梯度值小于λ1的像素灰度值置為0，獲取圖像Ⅰ。同樣地，將梯度值小于λ2的像素灰度值置為0，獲取圖像Ⅱ。緊接著，以圖像Ⅱ為基礎，使用圖像Ⅰ對其進行邊緣和細節(jié)部分的補充。

圖3給出了一對多聚焦源圖像的Canny算子處理結(jié)果圖。

圖3 高頻子帶圖像Canny算子處理結(jié)果

顯然，原始圖像中的邊緣細節(jié)信息在Canny算子的作用下得到了很好地保存。譬如右聚焦圖像中右側(cè)鬧鐘的數(shù)字信息較為清晰，圖3c中對圖3a對應的高頻子帶圖像進行了Canny算子處理，實驗結(jié)果表明源圖像中的細節(jié)信息保留較為完好;左聚焦圖像中左側(cè)鬧鐘的商標信息較清晰，圖3d中的結(jié)果來源于圖3b對應的高頻子帶圖像的Canny算子處理結(jié)果，如圖3中的矩形框標識區(qū)域所示。

3 仿真實驗

為了驗證方法的實際性能，本節(jié)將采用MATLAB軟件，仿真、比較與分析包括本文方法在內(nèi)的幾種經(jīng)典融合方法的融合效果。

3．1 實驗條件

實驗仿真平臺為一臺 PC，配置情況為 Win 7系統(tǒng)，CPU2.1 GHz，2 Gbyte內(nèi)存，500 Gbyte硬盤，軟件環(huán)境為MATLAB2012。為了充分驗證相關(guān)方法的融合性能，本節(jié)選取了三組多聚焦待融合源圖像——Clock、Puma、Eyeball用于融合仿真實驗，3組源圖像為256級灰度、尺寸大小為512×512，圖像均可以從www.imagefusion.org網(wǎng)址加以獲取。

此外，還選取了5種方法與文中方法進行比較，分別為:基于剪切波變換的圖像融合方法(方法1)［18］、基于NSCT與脈沖耦合神經(jīng)網(wǎng)絡的圖像融合方法(方法2)［19］、基于非負矩陣分解和新輪廓波變換融合方法(方法3)［20］、基于NSCT與非負矩陣分解的圖像融合方法(方法4)［21］以及基于NSCT的圖像融合方法(方法5)［22］。為了保證融合效果的公正客觀性，方法1～方法5中的參數(shù)仍沿用相關(guān)文獻中的設置模式。在本文方法中，鄰域大小為5×5，多尺度分解級數(shù)為3級，方向分解數(shù)從粗至細依次為8，16，16。

最終融合結(jié)果將采取主觀視覺評價以及客觀指標值評價兩種方式。其中，將選取信息熵(IE)［17］、互信息量(MI)［17］以及空間頻率(SF)［19］作為評價指標。IE數(shù)值表征圖像中包含信息量的大小，數(shù)值越大，融合圖像信息越豐富。MI數(shù)值反映了最終融合圖像與源圖像間的交互信息，MI數(shù)值越大，表征融合圖像中涉及到源圖像的原始信息越豐富。SF可以在一定程度上反映融合圖像中各像素點的活躍程度，SF數(shù)值越大，代表融合圖像包含的顯著信息越豐富。IE，MI，SF的詳細內(nèi)容請參見文獻［17，19］。

3．2 實驗結(jié)果分析

3組仿真源圖像如圖4所示，其中，Clock圖像中的聚焦區(qū)域分別集中于左、右兩部分。圖4a中，右側(cè)鬧鐘處于聚焦區(qū)域，左側(cè)鬧鐘處于離焦區(qū)域，相反的情況發(fā)生在圖4b中;Puma圖像中的聚焦區(qū)域集中于上、下兩部分。圖4c中，圖像的下半?yún)^(qū)域尤其是兩條腿部的區(qū)域較為清晰，但豹頭以及豹身部分較模糊;相反情況出現(xiàn)在圖4d中;Eyeball源圖像的情況與Clock圖像類似，圖4e中左上角區(qū)域的一根血管非常清晰，但右側(cè)區(qū)域較模糊，而圖4f中的右側(cè)血管區(qū)域較為清晰，但左上方的血管視覺效果不佳。

圖4 仿真源圖像

因此，盡可能地將源圖像中的聚焦區(qū)域進行提取并注入到一幅圖像中無疑將會大幅提升源圖像的視覺效果。圖5～圖7給出了包括本文方法在內(nèi)的6種方法的仿真結(jié)果圖。

圖5 Clock圖像融合效果圖

圖6 Puma圖像融合效果圖

圖7 Eyeball圖像融合效果圖

從視覺角度來看，相比其他5種方法，基于方法1的融合效果圖像整體亮度水平較低，視覺效果水平不佳，例如圖5a右側(cè)鬧鐘的上方甚至出現(xiàn)了一定的“毛刺”虛假信息(如箭頭所示);方法3～方法5的融合圖像雖然亮度水平適中，但針對圖像的細節(jié)信息捕捉能力較弱，譬如圖5c中右側(cè)鬧鐘的刻度較為模糊(如箭頭所示)，圖6c，6d，6e的豹頭花斑也不清晰(如箭頭所示)，圖7c～7e中左上方血管信息幾乎完全丟失(如箭頭所示)。相比之下，方法2和本文方法對原始圖像的主體和細節(jié)邊緣信息進行了較好地提取和表達，圖像整體亮度和對比度水平也更為適宜，二者的圖像融合性能較為接近。然而，通過仔細比較不難發(fā)現(xiàn)，本文方法在圖像清晰度水平上優(yōu)勢更為明顯，譬如在圖7中，基于本文方法的融合圖像中左上方血管信息較方法2更為完整和清晰(如箭頭所示)。

表1針對3組仿真實驗列出了6種方法的比較結(jié)果。

從表1中不難發(fā)現(xiàn)，本文提出的方法較其他5種融合方法擁有更理想的客觀指標結(jié)果。在第一組實驗中，本文方法效果圖對應的MI、SF指標值均為最優(yōu)，IE數(shù)值也位于前列。第二組實驗結(jié)果表明該組實驗中基于本文方法的實驗仿真圖無論在信息量、互信息量和空間頻率指標上均占有優(yōu)勢。第三組實驗中，本文方法MI、SF指標值為最優(yōu)，IE數(shù)值略低于方法1，這是因為基于方法1的融合圖像中含有大量的噪聲虛假信息，這些信息的存在客觀上造成了相鄰像素點間灰度值差異的增大，因此造成了IE數(shù)值也隨之消極增長。很明顯，表1中的客觀數(shù)據(jù)與直觀視覺效果在很大程度上是吻合的。

表1 6種融合方法的客觀指標值比較

3．3 實驗討論

以上3組仿真實驗分別從主觀視覺效果和客觀評價指標2個方面驗證了本文方法的合理有效性。本節(jié)將對實驗結(jié)果做進一步分析。一方面，由于方法2無論在直觀視覺效果還是客觀指標上均優(yōu)于另外4種用于比較的方法，因此，本節(jié)選取方法2與本文方法做進一步深入比較與分析。為了更直觀地觀察方法2和本文方法在直觀視覺效果層次的差異，以圖7b和圖7d為例對原結(jié)果圖像中左上方血管部位作局部放大，得到圖8的結(jié)果。

圖8 Eyeball仿真結(jié)果局部放大圖

顯然，從圖8所示的放大圖像中可以發(fā)現(xiàn)，基于方法2的結(jié)果圖像中血管清晰程度要弱于基于本文方法得出的結(jié)果圖像，進一步驗證了本文方法在圖像信息捕捉能力方面的優(yōu)勢。

另一方面，計算代價也是衡量算法性能的重要指標之一。由于方法2與本文方法融合效果較為接近，且NSCT與NSST也同屬近期極具代表性的非下采樣理論多尺度幾何分析體系，因此本節(jié)僅對這兩種方法的算法復雜度加以研究。為了盡可能保證比較的客觀公正性，本節(jié)選取第二組仿真實驗為例，對每種方法均運行3次給出算法運行時間，如表2所示。

表2 算法運行時間比較s

由表2數(shù)據(jù)可知，本文方法在算法運行代價方面較方法2同樣具有更為明顯的優(yōu)勢，以期能夠適用于一些實時性要求較高的應用領(lǐng)域。

不難看出，本文方法不僅具有更理想的圖像融合效果，而且在算法運行效率上同樣占有較為明顯的優(yōu)勢。

4 結(jié)論

本文提出一種基于NSST圖像特征的多聚焦圖像融合方法。相比以往出現(xiàn)的相關(guān)方法，本文充分利用了NSST理論在圖像信息捕捉以及計算復雜度方面的優(yōu)勢，提出依據(jù)圖像自身特征解決NSST分解后的低頻、高頻子帶圖像的融合問題。仿真實驗分別從主觀視覺效果、客觀評價指標值、仿真結(jié)果圖像局部放大比較以及運行時間4個角度將本文方法與目前幾種經(jīng)典的方法進行了比較，結(jié)果表明本文方法可以在保證結(jié)果圖像融合效果的前提下具備較低的計算復雜度，在一定程度上可以滿足一些實時性要求較高的應用領(lǐng)域的實際需求。方法的進一步優(yōu)化和性能提升是筆者未來努力的方向和研究重點。

［1］ SINGH R，KHARE A.Fusion of multimodal medical images using Daubechies complex wavelet transform-a multiresolution approach［J］.Information Fusion，2014，19(1):49-60.

［2］高穎，王阿敏，支朋飛，等.基于區(qū)域分割與提升小波變換的圖像融合算法［J］.西北工業(yè)大學學報，2014，32(4):569-575.

［3］楊艷春，黨建武，王陽萍.基于提升小波變換與自適應PCNN的醫(yī)學圖像融合方法［J］.計算機輔助設計與圖形學學報，2012，24(4):494-499.

［4］趙子沂，鄭永果.基于脊波的多光譜和全色圖像融合方法研究［J］. 計算機工程與應用，2012，48(15):164-167.

［5］ 朱衛(wèi)東，李全海，徐克科，等.基于二代Bandelet和主成分變換的高光譜遙感圖像融合［J］.同濟大學學報:自然科學版，2011，39(7):1068-1073.

［6］楊揚，戴明，周籮魚.基于均勻離散曲波變換的多聚焦圖像融合［J］. 紅外與激光工程，2013，44(9):2547-2552.

［7］ DARWISH SM.Multi-level fuzzy contourlet-based image fusion for medical applications［J］.IET Image Processing，2013，7(7):694-700.

［8］ SAEEDI J，F(xiàn)AEZ K.A new pan-sharpening method using multiobjective particle swarm optimization and the shiftable contourlet trans-form［J］.Journal of Photogrammetry and Remote Sensing，2011，66(3):365-381.

［9］ CUNHA A L，ZHOU J P，DO M N.The nonsubsampled contourlet transform:theory，design，and application［J］.IEEE Trans.Image Processing，2006，15(10):3089-3101.

［10］ BHATNAGAR G，WU Q M J，ZHENG L.Directive contrast based multimodal medical image fusion in NSCT domain［J］.IEEE Trans.Multimedia，2013，15(5):1014-1024.

［11］ KONG W W，LEI Y J，LEI Y，et al.Image fusion technique based on non-subsampled contourlet transform and adaptive unitfast-linking pulse-coupled neural network［J］.IET Image Processing，2011，5(2):113-121.

［12］ GAOGR，XU L P，F(xiàn)ENGD Z.Multi-focus image fusion based on non-subsampled shearlet transform［J］.IET Image Processing，2013，7(6):633-639.

［13］ KONG W W，LEI Y，ZHAO H X.Adaptive fusion method of visible light and infrared images based on non-subsampled shearlet transform and fast non-negative matrix factorization［J］.Infrared Physics＆ Technology，2014(67):161-172.

［14］ KONG W W，ZHANG L J，LEIY.Novel fusion method for visible light and infrared images based on NSST-SF-PCNN［J］.Infrared Physics＆ Technology，2014，65:103-112.

［15］ ESKICIOGLU A M，F(xiàn)ISHER PS.Image quality measures and their performance［J］.IEEE Trans.Communications，1995，43(12):1959-2965.

［16］ ZHENG Y，ESSOCK E A，HANSEN B C，et al.A new metric based on extended spatial frequency and its application to DWT based fusion algorithms［J］.Information Fusion，2007，8(2):177-192.

［17］ MIAO Q G，SHI C，XU P F，et al.A novel algorithm of image fusion using shearlets［J］.Optics Communication，2011，284(6):1540-1547.

［18］ QU X B，YAN J W，XIAO H Z，et al.Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in nonsubsampled contourlet transform domain［J］.Acta Automatica Sinica，2008，34(12):1508-1514.

［19］王斐，梁曉庚，崔彥凱，等.非負矩陣分解和新輪廓波變換的圖像融合方法［J］.計算機工程與應用，2013，49(5):150-153.

［20］ KONG W W，LEI Y J，LEI Y，et al.Technique for image fusion based on non-subsampled contourlet transform domain improved NMF［J］.Science in China Series F-Information Sciences，2010，53(12):2429-2440.

［21］ Adu J H，GAN J H，WANG Y，et al.Image fusion based on nonsubsampled contourlet transform for infrared and visible light image［J］.Infrared Physics and Technology，2013，61(1):94-100.

［22］ LIU Z，BLASCH E，XUE Z Y，et al.Fusion algorithms for context enhancement in night vision:a comparative study［J］.IEEE Trans.Pattern Analysis and Machine Intelligence，2012，34(1):94-109.