【摘要】 采用具有近似平移不變性和方向選擇性的雙樹復(fù)小波變換對(duì)多聚焦圖像進(jìn)行多分辨率分析與重構(gòu)，是一種高效的融合方法。然而，分解層數(shù)的選擇是影響該算法性能的重要因素之一。本文提出了一種基于信息熵、互信息量、邊緣融合質(zhì)量和加權(quán)融合質(zhì)量等融合質(zhì)量評(píng)價(jià)指標(biāo)確定最優(yōu)分解層數(shù)的方法。實(shí)驗(yàn)結(jié)果表明，不同的原始圖像用同種融合算法分解重構(gòu)，最優(yōu)分解層數(shù)不一定相同；相同的原始圖像用不同的融合算法分解重構(gòu)，最優(yōu)分解層數(shù)也不一定相同。因此，只有綜合考慮多種代表性的評(píng)價(jià)指標(biāo)，才能確定最優(yōu)分解層數(shù)。

【關(guān)鍵詞】 雙樹復(fù)小波 多聚焦圖像 融合 最優(yōu)分解層數(shù)

一、引言

現(xiàn)實(shí)生活中，一些光學(xué)鏡頭往往不能使同一場(chǎng)景中的多個(gè)目標(biāo)都在同一聚焦區(qū)域，這種情況下致使圖像不是全面清晰的。這就需要分多次分別聚焦其中某一區(qū)域，再對(duì)這些圖片進(jìn)行融合處理，得到各個(gè)目標(biāo)都清晰的一幅圖片，這張圖片對(duì)場(chǎng)景描述得比任何單一源圖像都更精確、更全面，便于人眼的觀察或計(jì)算機(jī)的后續(xù)處理，這一過程就是多聚焦圖像的融合。

圖像融合的方法與具體的處理對(duì)象類型、處理等級(jí)有關(guān)。這主要是各類圖像的解析度不同、表現(xiàn)的內(nèi)容不同，相應(yīng)的處理方法也要根據(jù)具體情況而定。雙樹復(fù)小波變換（Dual-Tree Complex Wavelet Transform，DT-CWT），不僅保持了傳統(tǒng)小波優(yōu)良的時(shí)頻局部化分析能力，還具有優(yōu)良的方向分析能力，能夠反映圖像在不同分辨率上沿多個(gè)方向變化的情形，更好地描述圖像的方向性。但是雙樹復(fù)小波分解層數(shù)的選擇是影響圖像融合質(zhì)量的一大關(guān)鍵性因素，層數(shù)選擇過少，會(huì)降低融合圖像的空間質(zhì)量；選擇過大，又會(huì)增加融合圖像變形的可能性。本文基于雙樹復(fù)小波變換對(duì)圖像進(jìn)行融合，并討論如何對(duì)最優(yōu)分解層數(shù)進(jìn)行選擇。

二、基于雙樹復(fù)小波變換的圖像融合

2.1 雙樹復(fù)小波變換理論的提出

1822年傅立葉（Fourier）發(fā)表了“熱傳導(dǎo)解析理論”，然而它在時(shí)域里無定位性及無分辨率。1946年Gabor提出了Gabor變換，又發(fā)展成為短時(shí)傅立葉變換（STFT），給信號(hào)加一小窗，反映出信號(hào)的局部特征。但無法同時(shí)適應(yīng)高頻及低頻信號(hào)的要求，且不能構(gòu)成一組正交基，給計(jì)算帶來不便。小波變換繼承和發(fā)展了STFT的局部化思想，又彌補(bǔ)了Gabor變換的不足之處，但仍存在不具備平移不變性和有限的方向選擇性的兩大缺陷。Simoncelli在拉普拉斯金字塔結(jié)構(gòu)和可操控濾波器基礎(chǔ)上設(shè)計(jì)提出了復(fù)小波變換理論，既能保持平移不變性又具有方向選擇性，但它的問題是在超過一層分解時(shí)由于輸入形式是復(fù)數(shù)形式，要構(gòu)造它完整的重構(gòu)濾波器非常困難。N.G.Kingsbury提出了雙樹復(fù)小波（dual-tree complex wavelet transform，DT-CWT），既滿足完全重構(gòu)條件，又保留了復(fù)小波其它的優(yōu)點(diǎn)，也就是說既保持了傳統(tǒng)的小波變換時(shí)頻局部化的分析能力，還具有近似的平移不變性和良好的方向選擇性。[1-3]

2.2 雙樹復(fù)小波變換理論

雙樹復(fù)小波變換（DT-CWT）使用解析的（analytical）復(fù)小波函數(shù)基。設(shè)計(jì)一對(duì)小波函數(shù)和，使其滿足Hilbert變換對(duì)要求。則由這兩個(gè)函數(shù)分別作為實(shí)部和虛部的復(fù)小波函數(shù)是解析的，其頻譜只包含正的高頻部分。

圖1為二維雙樹復(fù)小波正變換框圖。四個(gè)方框表示行列可分離的Mallat算法中的濾波器組結(jié)構(gòu)。其中和為對(duì)應(yīng)的低通和高通濾波器，和為對(duì)應(yīng)的低通和高通濾波器。四組系數(shù)經(jīng)線性變換后得到雙樹小波系數(shù)的實(shí)部和虛部。每層分解產(chǎn)生12個(gè)高頻子帶（實(shí)部和虛部分別計(jì)為不同的子帶），冗余度固定為4，不隨分解層數(shù)增大而變化。

圖像的雙樹復(fù)小波分解如圖2所示，從圖中的系數(shù)形狀也可以看出每個(gè)分解層包含了±15°，±45°，±75°6個(gè)方向。

綜上所述，二維DT-CWT具有近似不變性，良好方向選擇性，有限數(shù)據(jù)冗余性及高效計(jì)算效率的特點(diǎn)。

2.3 圖像融合

圖像融合步驟如下：

（1）將兩幅源圖像作雙樹復(fù)小波分解，以qshift為濾波器，得到多個(gè)分解層，每個(gè)分解層六個(gè)方向的細(xì)節(jié)子帶圖像和最高層的近似子帶圖像。

（2）根據(jù)高低頻分量的不同特性，采用不同的融合策略對(duì)各個(gè)方向的子帶進(jìn)行融合。

（3）利用雙樹復(fù)小波逆變換將融合后高低頻域重構(gòu)出融合圖像。

三、分解層數(shù)確定方法

基于雙樹復(fù)小波變換的原理可以看出，每一次分解都是對(duì)低頻近似分量進(jìn)行的，即進(jìn)一步刻畫圖像在低頻部分的細(xì)節(jié)特征。分解層數(shù)越多，產(chǎn)生的子帶越多，頻帶劃分得越細(xì)，層數(shù)增加意味著級(jí)間的濾波器越多，造成信號(hào)移位也越大；另一方面，雙樹復(fù)小波分解合成都要進(jìn)行邊界延拓，層數(shù)越多引起邊界失真越大。[4]

因此，選擇分解層數(shù)并不是越大越好。選擇合適的分解層數(shù)是得到最優(yōu)融合圖像的關(guān)鍵性因素。本文提出了基于多融合質(zhì)量評(píng)價(jià)確定最優(yōu)分解層數(shù)的方法。算法流程如圖3所示。

圖3中設(shè)J為分解層數(shù)，當(dāng)J=0時(shí)，圖像融合在空間域中進(jìn)行。J值過大，將會(huì)引起子圖像像素的失真，而得不到多尺度的優(yōu)勢(shì)。因此雙樹復(fù)小波分解的最大分解層數(shù)應(yīng)該由輸入圖像的尺寸決定，如果輸入圖像的尺寸為N×N，的最大值為：

（1）

四、 融合質(zhì)量評(píng)價(jià)

4.1 信息熵

設(shè)被評(píng)定的融合圖像為，圖像函數(shù)為 ，圖像的大小為，為圖像總的灰度級(jí)。

信息熵（Entropy）簡(jiǎn)稱熵是衡量圖像信息豐富程度的一個(gè)重要指標(biāo)，圖像的熵定義為：

（2）

式中：EN ----表示圖像的熵；

-----表示灰度值為的像素?cái)?shù)與圖像總像素之比。即：

（3）

反應(yīng)了圖像中具有不同灰度值像素的概率分布。間的關(guān)系圖即為圖像的灰度直方圖。

如果融合圖像的熵越大，表示融合圖像所包含的信息越豐富，融合質(zhì)量越好。

4.2 互信息量

互信息量 MI（Mutual Information） 反映兩個(gè)變量之間相關(guān)性的量度，或一個(gè)變量包含另一個(gè)變量的信息量的量度，它的值越大表示融合圖像從原圖像中獲取的信息越豐富，融合效果越好。

設(shè)源圖像分別為A、B，其灰度值范圍分別為[0，a]和[0，b]；融合圖像為F，其灰度值范圍為。F與A、B的交互信息量分別表示為IFA和IFB。

（4）

（5）

式中，，和分別是A、B和F的先驗(yàn)概率，PAF和PBF分別代表兩組圖像的聯(lián)合概率。綜合考慮這兩個(gè)數(shù)值取式（6）來表示融合圖像F包含源圖像A、B的交互信息量。

（6）

4.3 WFQI和EFQI

Gemma Piella和Henk Heijamans[5]提出了無需標(biāo)準(zhǔn)參考圖像的圖像融合質(zhì)量客觀評(píng)價(jià)方法：邊緣融合質(zhì)量指標(biāo)EFQI（Edge-Dependent Fusion Quality Index）和加權(quán)融合質(zhì)量指標(biāo)WFQI（Weighted Fusion Quality Index）。該指標(biāo)充分考慮了人類的視覺特性，能夠度量?jī)煞鶊D像結(jié)構(gòu)上的失真和評(píng)價(jià)融合圖像中保留了多少顯著信息，優(yōu)于傳統(tǒng)的評(píng)價(jià)指標(biāo)，且具有通用性。

設(shè)兩個(gè)數(shù)組和，用表示的均值， 表示的方差， 表示和的協(xié)方差，以此類推。

（10）

（11）

描述和間結(jié)構(gòu)化相似度的評(píng)價(jià)指標(biāo)定義為：

（12）

其取值在-1～1之間，值越大表明相似度越大，當(dāng)兩個(gè)數(shù)組完全相等時(shí)值為1。

上述和可以看作是圖像的灰度值，由于圖像的非平穩(wěn)性，在處理兩個(gè)大小相同的圖像、時(shí)，通常先分塊計(jì)算局部區(qū)域中的指標(biāo)值，再由局部指標(biāo)取均值得到總體指標(biāo)，所以重新定義：

（13）

上式中的是圖像中所有窗口組成的集合，即總的窗口個(gè)數(shù)。本文計(jì)算中取窗口大小為7×7。

在總體結(jié)構(gòu)化相似指標(biāo)的基礎(chǔ)上，為了評(píng)價(jià)源圖像、及融合圖像這三者之間的關(guān)系，構(gòu)造下面的函數(shù)來評(píng)價(jià)融合圖像的質(zhì)量：

（14）

其中：

（15）

是源圖像中窗口的某些顯著特征，如對(duì)比度、清晰度或熵， 本文計(jì)算中采用窗口中系數(shù)的方差值。

在計(jì)算時(shí)，可以對(duì)每個(gè)窗口賦予不同的權(quán)值，從而定義加權(quán)融合質(zhì)量評(píng)價(jià)指標(biāo)為：

（16）

其中

（17）

（18）

考慮到人眼的視覺特性，即圖像邊緣信息的重要性，用梯度范數(shù)和分別代替源圖像的灰度值和，計(jì)算得到，定義邊緣融合質(zhì)量評(píng)價(jià)指標(biāo)為

（19）

上式中的用于調(diào)整邊緣圖像對(duì)原始圖像的貢獻(xiàn)，值在[0，1]之間，本文取。

以上評(píng)價(jià)指標(biāo)、的值都在[-1，1]之間，值越接近于1，表示融合圖像的質(zhì)量越高。

五、實(shí)驗(yàn)分析

5.1實(shí)驗(yàn)一：不同源圖像同種融合算法的最優(yōu)分解層數(shù)選擇

圖4、圖5均為已配準(zhǔn)的多聚焦圖像，大小為512×512。根據(jù)式（1），最大分解層數(shù)為8層。

兩圖均采用雙樹復(fù)小波分解重構(gòu)，低頻子帶基于加權(quán)平均，高頻子帶基于局部能量取大，分解層數(shù)從1到8，采用互信息MI、熵EN、加權(quán)融合質(zhì)量指標(biāo)WFQI、邊緣融合質(zhì)量指標(biāo)EFQI、空間頻率SF作為客觀評(píng)價(jià)標(biāo)準(zhǔn)，結(jié)果如表1所示。

（a）左聚焦 （b）右聚焦

圖4 源圖像mulfocus

Fig.4 original image：mulfocus

表1 兩種圖像融合質(zhì)量與分解層數(shù)的關(guān)系

Tab.1 the relationship between two kinds of image fusion quality and decomposition level

圖像 12345678

mulfocusMI6.80366.84746.79196.89637.08677.19446.76206.5323

EN7.09967.09877.09527.09987.10207.10837.14996.7891

EFQI0.68460.86680.90350.90720.90750.90750.90720.5071

WFQI0.86950.93080.94190.94340.94350.94350.94320.6428

clockMI6.85516.77846.83586.88207.00507.18347.33096.4014

EN6.99147.02937.05267.06407.06907.07777.06526.6630

EFQI0.63030.71890.79650.81190.81380.81410.81420.5277

WFQI0.86360.88510.90840.91540.91800.91910.91960.6911

表2 mulfocus不同算法融合質(zhì)量與分解層數(shù)的關(guān)系

Tab.2 mulfocus：the relationship between image fusion quality using different algorithms and decomposition level

算法 12345678

第一種

算法MI6.80366.84746.79196.89637.08677.19446.76206.5323

EN7.09967.09877.09527.09987.10207.10837.14996.7891

EFQI0.68460.86680.90350.90720.90750.90750.90720.5071

WFQI0.86950.93080.94190.94340.94350.94350.94320.6428

第二種

算法MI6.88196.77046.74496.78106.79856.83396.86916.3916

EN6.97957.02167.04027.05767.06257.06637.09776.6675

EFQI0.63050.71870.79460.80910.81060.81090.81090.5332

WFQI0.86390.88590.91020.91670.91870.91940.91970.6964

本文中所用融合性能評(píng)價(jià)指標(biāo)的準(zhǔn)則是：對(duì)于同一組融合實(shí)驗(yàn)，得到的融合圖像的互信息量、信息熵、相對(duì)較大，邊緣融合質(zhì)量指標(biāo)、加權(quán)融合質(zhì)量指標(biāo)更接近于1，則說明該融合方法的性能相對(duì)較好。

如表1所示，兩組源圖像采用的融合算法是相同的，對(duì)于mulfocus圖像，綜合對(duì)比各層評(píng)價(jià)指標(biāo)，第6層相對(duì)較好。對(duì)于clock圖像，綜合對(duì)比各層評(píng)價(jià)指標(biāo)，第7層相對(duì)較好。

由此可見，不同的源圖像用同一種算法進(jìn)行融合，不能盲目確定哪個(gè)分解層最好，要結(jié)合融合質(zhì)量評(píng)價(jià)指標(biāo)來進(jìn)行判斷。

5.2同種源圖像不同融合算法的最優(yōu)分解層數(shù)選擇

以圖4mulfocus源圖像為例，采用兩種不同雙樹復(fù)小波分解算法，第一種采用低頻基于加權(quán)平均，高頻基于局部能量取大的融合算法；第二種采用低頻基于加權(quán)平均，高頻基于相似性度量的局部能量取大和加權(quán)平均相結(jié)合的融合算法。[6]分解層數(shù)依然從1到8，結(jié)果如表2所示。

如表2所示，根據(jù)本文各評(píng)價(jià)指標(biāo)的準(zhǔn)則，綜合分析后，得出第一種算法中最優(yōu)分解層數(shù)為第6層，第二種算法中最優(yōu)分解層數(shù)為第7層?？梢?，同一組源圖像，采用不同的融合算法進(jìn)行融合，也不能盲目確定分解層數(shù)，也要根據(jù)評(píng)價(jià)指標(biāo)來進(jìn)行選擇。

六、結(jié)束語

采用雙樹復(fù)小波變換進(jìn)行多聚焦圖像融合時(shí)，分解層數(shù)的選擇對(duì)融合質(zhì)量的好壞有著決定性的因素。但分解層數(shù)不能盲目選擇，也不是越多越好。本文提出了基于多融合質(zhì)量評(píng)價(jià)確定最優(yōu)分解層數(shù)的方法。實(shí)驗(yàn)證明，不同的原始圖像用同種融合算法分解重構(gòu)，最優(yōu)分解層數(shù)不一定相同；相同的原始圖像用不同的融合算法分解重構(gòu)，最優(yōu)分解層數(shù)也不一定相同。因此，只有綜合考慮多種代表性的評(píng)價(jià)指標(biāo)，才能確定最優(yōu)分解層數(shù)。