shearlet變換和區(qū)域特性相結(jié)合的圖像融合

鄭偉1,2，孫雪青1,2，李哲1,2

(1.河北大學(xué) 電子信息工程學(xué)院，保定 071002； 2.河北大學(xué) 河北省數(shù)字醫(yī)療工程重點(diǎn)實(shí)驗(yàn)室，保定 071002)

摘要：為了提高多模醫(yī)學(xué)圖像或多聚焦圖像的融合性能，結(jié)合shearlet變換能夠捕捉圖像細(xì)節(jié)信息的性質(zhì)，提出了一種基于shearlet變換的圖像融合算法。首先，用shearlet變換將已精確配準(zhǔn)的兩幅原始圖像分解，得到低頻子帶系數(shù)和不同尺度不同方向的高頻子帶系數(shù)。低頻子帶系數(shù)使用改進(jìn)的加權(quán)融合算法，用平均梯度來計(jì)算加權(quán)參量，以此來改善融合圖像輪廓模糊度高的問題，高頻子帶系數(shù)采用區(qū)域方差和區(qū)域能量相結(jié)合的融合規(guī)則，以得到豐富的細(xì)節(jié)信息。最后，進(jìn)行shearlet逆變換得到融合圖像。結(jié)果表明，此算法在主觀視覺效果和客觀評價(jià)指標(biāo)上優(yōu)于其它融合算法。

關(guān)鍵詞：圖像處理；圖像融合；shearlet變換；加權(quán)融合；區(qū)域方差；區(qū)域能量

E-mail:weizheng799@yahoo.com

引言

圖像融合是將兩幅或兩幅以上的圖像合成一幅新圖像的過程，但這并不意味著僅僅是把多幅圖像相加，而是要使用特定的規(guī)則把每幅圖像的有用信息綜合起來，以獲取一幅更加準(zhǔn)確、更加全面的新圖像。近年來，圖像融合技術(shù)得到迅猛發(fā)展，在遙感探測、醫(yī)學(xué)圖像分析、環(huán)境保護(hù)、交通監(jiān)測、軍事安全等領(lǐng)域[1-2]都有著重大的應(yīng)用價(jià)值。

圖像融合算法在早期是基于空域的，直接對源圖像的像素灰度空間操作，實(shí)現(xiàn)簡單但效果欠佳。1983年BURT等人首先提出了金字塔變換，開啟了多尺度分解的先河，隨著技術(shù)的日益發(fā)展，小波變換、contourlet變換、非下采樣contourlet變換(non-subsampled contourlet transform，NSCT)等相繼被提出[3-5]。shearlet變換是LABATE等人[6-7]在2005年時(shí)提出來的，克服了小波變換在方向數(shù)上的限制，繼承了curvelet變換的優(yōu)良特性，能夠?qū)D像進(jìn)行稀疏表示，此外還有高度的方向敏感性。目前，具有這些優(yōu)點(diǎn)的shearlet變換在稀疏表示[7]、人臉識別[8]、邊緣檢測[9]、去噪[10]等領(lǐng)域都有研究，在圖像融合領(lǐng)域，CAO等人[11]和MIAO等人[12-13]都證明其融合結(jié)果比其它多尺度分解方法包含更多的圖像細(xì)節(jié)信息和邊緣輪廓特征。

一個(gè)好的融合算法不僅需要好的變換方法，其融合規(guī)則的選擇也是一個(gè)重要問題。低頻系數(shù)決定著圖像的整體特征，以往文獻(xiàn)中針對低頻系數(shù)的融合規(guī)則，大多采用加權(quán)平均法[11-13]，雖然實(shí)現(xiàn)簡單，但是圖像的部分輪廓信息有可能會(huì)丟失；至于在高頻系數(shù)的選取上，考慮到人類視覺系統(tǒng)對高頻系數(shù)代表的細(xì)節(jié)信息比較敏感，而且圖像模糊或清晰的特征，不能由某個(gè)像素的灰度值來體現(xiàn)，需要局部區(qū)域內(nèi)多個(gè)像素點(diǎn)的共同體現(xiàn)，多數(shù)文獻(xiàn)中采用基于區(qū)域的融合規(guī)則[12-14]。根據(jù)以上分析，本文中提出了一種shearlet變換和區(qū)域特性相結(jié)合的圖像融合方法，低頻部分采用改進(jìn)的加權(quán)融合的規(guī)則，用平均梯度來計(jì)算加權(quán)參量，改善融合圖像邊緣清晰度低的問題，高頻部分采用區(qū)域方差與區(qū)域能量相結(jié)合的融合規(guī)則。通過對多聚焦圖像和醫(yī)學(xué)圖像進(jìn)行仿真實(shí)驗(yàn)，結(jié)果表明，該融合算法能夠較好地保留圖像的邊緣細(xì)節(jié)，在主觀視覺和客觀評價(jià)上都優(yōu)于其它融合算法。

1shearlet變換

LABATE等人將合成小波理論與傳統(tǒng)的仿射系統(tǒng)理論相結(jié)合，提出了一種新的多尺度幾何分析方法，即shearlet變換。通過對一個(gè)函數(shù)進(jìn)行伸縮、平移、旋轉(zhuǎn)生成一組基函數(shù)，使其和多分辨分析關(guān)聯(lián)起來，能夠在不同尺度、不同方向?qū)D像的細(xì)節(jié)信息進(jìn)行有效描述。

Fig.1　Zoneplate image and the sub-band images

a—zoneplate imageb—low frequency sub-band imagec~f—four sub-band images of the first level decompositiong~l—six sub-band images of the second level decomposition

2融合規(guī)則的選取

shearlet變換的融合步驟：首先用shearlet變換將已經(jīng)配準(zhǔn)好的源圖像A、B分解，得到分解后的高低頻子帶系數(shù)；然后對高低頻子帶系數(shù)分別采用不同的融合規(guī)則，得到融合后的高低頻系數(shù)；最后進(jìn)行shearlet逆變換得到融合圖像F。

2.1　低頻系數(shù)的融合規(guī)則

由shearlet變換分解得到的低頻子帶系數(shù)，包含了圖像的主要信息，決定著圖像的整體特征，以往的融合算法一般選用簡單的加權(quán)平均方法，降低了融合圖像的對比度，忽視了低頻系數(shù)對圖像的整體作用。本文中采用改進(jìn)的加權(quán)融合算法，加權(quán)規(guī)則如下所示：

式中,GX,j0為低頻系數(shù)的平均梯度,X=A,B。

2.2　高頻系數(shù)的融合規(guī)則

高頻子帶系數(shù)包含豐富的細(xì)節(jié)信息，由于像素之間存在較大的相關(guān)性，單個(gè)像素?zé)o法表達(dá)圖像的區(qū)域特征，不能判斷圖像清晰與否，需要局部區(qū)域內(nèi)多個(gè)像素點(diǎn)的共同體現(xiàn)，因此本文中提出區(qū)域特性的融合規(guī)則。針對高頻系數(shù)的特性，區(qū)域方差取大法側(cè)重于保留邊緣細(xì)節(jié)豐富的區(qū)域，但忽視了兩幅圖像的相關(guān)性；區(qū)域能量取大法既體現(xiàn)了圖像的相關(guān)性又保留了圖像的細(xì)節(jié)信息，但容易忽略亮度較低的細(xì)節(jié)信息，為此本文中采用區(qū)域方差與區(qū)域能量相結(jié)合的融合規(guī)則：

3實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)環(huán)境為MATLAB 7.9，中央處理器為2.10GHz，內(nèi)存2GB，實(shí)驗(yàn)中所用的多聚焦圖像為常用的鐘表圖像和實(shí)驗(yàn)室圖像，這些圖像選自參考文獻(xiàn)[11]，醫(yī)學(xué)圖像為顱腦的計(jì)算機(jī)斷層掃描(computed tomography，CT)、核磁共振(magnetic resonance imaging，MRI)圖像和甲狀腺腫瘤的B超、單光子發(fā)射計(jì)算機(jī)斷層掃描(single-photon emission computed tomography，SPECT)圖像，顱腦圖像來源于參考文獻(xiàn)[13]，甲狀腺腫瘤圖像由河北大學(xué)附屬醫(yī)院提供。本文中所用的客觀評價(jià)指標(biāo)為：結(jié)構(gòu)相似度(structural similarity，SSIM)；標(biāo)準(zhǔn)差(standard deviation，SD)；互信息(mutual information，MI)；信息熵(information entropy，IE)；平均梯度(average grads，AG)[15]。

3.1　變換方法的選取

在圖像融合過程中，多尺度分解方法有很多，不同的分解方法對融合結(jié)果都會(huì)產(chǎn)生一定的影響，所以需要對此進(jìn)行仿真實(shí)驗(yàn)。為了找到合適的變換方法，在融合規(guī)則固定的情況下，將本文中提出的shearlet變換與傳統(tǒng)的小波變換、contourlet變換以及NSCT作對比。在實(shí)驗(yàn)中，將這4種多尺度分解方法的分解層數(shù)調(diào)成一致，并通過主觀視覺和客觀評價(jià)進(jìn)行驗(yàn)證。在此分為2組實(shí)驗(yàn)，第1組實(shí)驗(yàn)是多聚焦圖像的仿真實(shí)驗(yàn)，如圖2所示。

圖2a～圖2f是多聚焦鐘表圖像及其融合結(jié)果；圖2g~圖2l是多聚焦實(shí)驗(yàn)室圖像及其融合結(jié)果。圖2a和圖2g是左聚焦圖像，特點(diǎn)為左半邊清晰，右半邊模糊；圖2b和圖2h是右聚焦圖像，特點(diǎn)為左半邊模糊，右半邊清晰；圖2c和圖2i是基于小波變換的融合算法得到的融合圖像，從白色矩形區(qū)域可以看出，圖2c中大鐘和小鐘的邊緣處信息均損失嚴(yán)重，而且小鐘圖像的時(shí)間指示不清晰，圖2i中時(shí)鐘部分有波紋出現(xiàn)，人物頭像有明顯的虛影存在；圖2d和圖2j是基于contourlet變換的融合算法得到的融合圖像，圖2d中小鐘刻度模糊，大鐘的邊緣有重影現(xiàn)象，圖2j中人物頭像處有重影；圖2e和圖2k是基于NSCT的融合算法得到的融合圖像，兩幅圖像中的鐘表的時(shí)間刻度均不清晰；圖2f和圖2l是基于本文中提出的shearlet變換的融合算法得到的融合結(jié)果，能夠清晰看到鐘表的時(shí)間刻度，人物頭像不存在重影現(xiàn)象，融合效果自然，更加符合人眼的視覺感受。

Fig.2　Multi-focus source images and the fused images

表1中列出了圖2中多聚焦圖像融合結(jié)果的客觀評價(jià)指標(biāo)，可以看出，在源圖像為鐘表的實(shí)驗(yàn)結(jié)果中，基于shearlet變換的融合算法只有信息熵，平均梯度的數(shù)值小于其它算法，其余指標(biāo)均高于其它方法；在源圖像為實(shí)驗(yàn)室的融合結(jié)果中，只有平均梯度小于其它算法，其余指標(biāo)均是最優(yōu)。這些數(shù)據(jù)表明，在多聚焦圖像融合上，基于shearlet變換的融合算法得到的融合圖像能夠最大程度繼承源圖像中的信息，細(xì)節(jié)信息最為豐富，具有更好的融合性能。

第2組是醫(yī)學(xué)圖像的仿真實(shí)驗(yàn)，如圖3所示。

Table 1　Objective evaluation index of the multi-focus fused images

從圖中可以得知，醫(yī)學(xué)圖像與多聚焦圖像有所不同，即便有的區(qū)域模糊，有的區(qū)域清晰，但是大部分信息還是相同的，而醫(yī)學(xué)圖像由于成像機(jī)理不同，所以得到的圖像側(cè)重點(diǎn)也不同，除了基本輪廓相似外，幾乎沒有相同的地方，因此，這類圖像融合要更側(cè)重于方法的選取。

圖3a～圖3f是顱腦的源圖像及其融合結(jié)果；圖3g～圖3l是甲狀腺腫瘤的源圖像及其融合結(jié)果。圖3a是顱腦的CT圖像，體現(xiàn)的是腦部的骨骼信息；圖3b是是顱腦的MRI圖像，體現(xiàn)的是腦部的軟組織信息；圖3g是甲狀腺腫瘤的B超圖像，為解剖成像，可提供臟器組織結(jié)構(gòu)的信息；圖3h是甲狀腺腫瘤的SPECT圖像，為功能成像，可提供腫瘤的良性和惡性信息。所用的變換方法與第1組實(shí)驗(yàn)相同，從視覺效果上來看，基于小波變換得到的融合圖像亮度偏低，從標(biāo)記區(qū)域處可以看到，顱腦圖像邊緣出現(xiàn)模糊現(xiàn)象，甲狀腺圖像中腫瘤模糊不清，不容易區(qū)分；基于contourlet變換和基于NSCT得到的融合圖像，融合效果均有一定的改善，但邊緣處還是有波紋出現(xiàn)，細(xì)節(jié)信息有損失；本文中提出的基于shearlet變換得到的融合圖像從視覺上看，邊緣處的細(xì)節(jié)信息保存較好，清晰度高。

Fig.3　Medical images and the fused images

表2為圖3融合結(jié)果的客觀評價(jià)指標(biāo)，對表2中數(shù)據(jù)進(jìn)行分析發(fā)現(xiàn)，基于shearlet變換的融合算法在標(biāo)準(zhǔn)差、信息熵、平均梯度上都優(yōu)于小波變換、contourlet變換和NSCT的融合算法，特別是平均梯度，有明顯的提高。這些數(shù)據(jù)表明，在醫(yī)學(xué)圖像融合上，基于shearlet變換的融合算法得到的融合圖像有足夠豐富的細(xì)節(jié)信息，清晰度也優(yōu)于其它變換方法。

Table 2　Objective evaluation index of the medical fused images

3.2　融合算法的對比

將本文中的算法(簡稱方法6)與近幾年提出5種的融合算法作對比，方法1是參考文獻(xiàn)[16]中提出的基于離散余弦變換的圖像融合算法，直流系數(shù)取平均，交流系數(shù)采用對比度取大法，參量按照文獻(xiàn)中給定的數(shù)據(jù)來設(shè)置；方法2～方法4分別由參考

文獻(xiàn)[11]～參考文獻(xiàn)[13]中提出，都是基于shearlet變換的圖像融合算法，這3種方法的低頻系數(shù)均采用傳統(tǒng)的加權(quán)平均，高頻系數(shù)分別使用絕對值取大法，區(qū)域絕對值取大法，區(qū)域方差取大法；方法5為參考文獻(xiàn)[14]中提出的基于shaerlet變換的融合算法，低頻系數(shù)用自適應(yīng)的融合規(guī)則，高頻系數(shù)使用區(qū)域方差取大法。把shearlet變換的分解層數(shù)與分解方向數(shù)調(diào)成一致，區(qū)域大小均調(diào)整為3×3，實(shí)驗(yàn)中選用的圖像分別是多聚焦鐘表圖像和甲狀腺腫瘤的B超、SPECT圖像，其融合結(jié)果如圖4所示。

Fig.4　Fused images of different fusion methods

圖4a~圖4f是多聚焦鐘表圖像使用不同融合方法得到的融合結(jié)果，從視覺效果來看，這6幅圖像均保留了源圖像的主要信息，亮度適中，符合人眼視覺;圖4g~圖4l是甲狀腺腫瘤圖像得到的融合結(jié)果，從視覺上來看，圖4g比較模糊，有明顯的塊效應(yīng);圖4h和圖4i亮度偏暗，對比度低，可視性較差，說明方法1至方法3并不適合在醫(yī)學(xué)圖像融合中使用；圖4j邊緣輪廓清晰度偏低，且腫瘤信息有擴(kuò)散現(xiàn)象，不適合臨床診斷使用；圖4k的融合效果較好；圖4l是本文中算法得到的融合圖像，從視覺上看能把甲狀腺腫瘤的B超和SPECT圖像很好地融合在一起，細(xì)節(jié)信息保存完好，邊緣特征明顯，而且亮度適中。

表3為圖4中融合結(jié)果的客觀評價(jià)指標(biāo)，對表中數(shù)據(jù)進(jìn)行分析可以發(fā)現(xiàn)，在源圖像為多聚焦鐘表的實(shí)驗(yàn)結(jié)果中，本文中的算法除了在互信息上不是最優(yōu)，其余指標(biāo)值均是最優(yōu)；在源圖像為甲狀腺腫瘤的實(shí)驗(yàn)結(jié)果中，本文中的算法得到的融合圖像在結(jié)構(gòu)相似度和互信息上的指標(biāo)值不是最好的，但其余指標(biāo)值均是最優(yōu)，而且都有明顯的提高。這是由基于區(qū)域特性的融合規(guī)則所造成的，因?yàn)閮蓚€(gè)局部區(qū)域值相差不大時(shí)，會(huì)直接選擇區(qū)域值較大的系數(shù)，因此會(huì)造成部分有用信息的丟失，產(chǎn)生失真現(xiàn)象。多聚焦圖像即使聚焦區(qū)域不同，但其背景信息相同，因此損失的信息較小，而醫(yī)學(xué)圖像相差較大，一旦有信息損失，就會(huì)使源圖像的細(xì)節(jié)特征得不到充分保留，導(dǎo)致融合圖像邊界模糊，產(chǎn)生失真現(xiàn)象。

Table 3　Objective evaluation index of different fusion methods

4結(jié)論

提出了一種shearlet變換和區(qū)域特性相結(jié)合的圖像融合方法，分別對多聚焦圖像和醫(yī)學(xué)圖像進(jìn)行仿真實(shí)驗(yàn)。在變換方法的對比中發(fā)現(xiàn)，基于shearlet變換的融合算法在主觀視覺和客觀評價(jià)上都要優(yōu)于小波變換、contourlet變換以及NSCT的融合算法。在融合規(guī)則的對比中發(fā)現(xiàn)，本文中的融合算法與文獻(xiàn)中提出的算法在多聚焦圖像融合中均獲得了較好的效果；在醫(yī)學(xué)圖像融合中，本文中的算法得到的融合圖像在視覺效果上要遠(yuǎn)好于文獻(xiàn)中提出的算法，在客觀評價(jià)上，除了結(jié)構(gòu)相似度和互信息的指標(biāo)值不是最好的，其余指標(biāo)值均是最優(yōu)?？偠灾徽撛谥饔^視覺上還是在客觀評價(jià)上本文中的算法都顯示了其強(qiáng)大的優(yōu)越性。

參考文獻(xiàn)

[1]GAO Y, WANG A M, WANG F H,etal. Application of improved wavelet transform algorithm in image fusion[J]. Laser Technology, 2013, 37(5): 690-695(in Chinese).

[2]YU W J, GU G H, YANG W. Fusion algorithm of infrared polarization images based on wavelet transform[J]. Laser Technology, 2013, 37(3): 289-292(in Chinese).

[3]MINH N D, VETTERLI M. The contourlet transform: an efficient directional multiresolution image representation [J]. IEEE Transactions on Image Processing, 2005, 14(12):2091-2106.

[4]ZHANG Q, GUO B L. Multifocus image fusion using the nonsubsampled contourlet transform[J]. Signal Processing, 2009, 89(7): 1334-1346.

[5]JIAO L C, TAN S. Development and prospect of image multiscale geometric analysis [J]. Acta Electronica Sinica, 2003, 31(12A):1975-1981(in Chinese).

[6]EASLEY G R, LABATE D, LIM W Q. Optimally sparse image representations using shearlets[C]// Fortieth Asilomar Conference on Signals, Systems and Computers. New York, USA:IEEE, 2006: 974-978.

[7]EASLEY G R, LABATE D, LIM W Q. Sparse directional image representations using the discrete shearlet transform[J]. Applied and Computational Harmonic Analysis, 2008, 25(1):25-46.

[8]BORGI M A, LABATE D, EL’ARBI M,etal. Shearlet network-based sparse coding augmented by facial texture features for face recognition[C]//The 17th International Conference on Image Analysis and Processing. Berlin,Germany:Springer, 2013:611-620.

[9]YI S, LABATE D, EASLEY G R.etal. A shearlet approach to edge analysis and detection[J]. IEEE Transactions on Image Processing, 2009, 18(5): 929-941.

[10]HU H Z, SUN H, DENG C Z. Shearlet shrinkage de-noising based total variation regularization [J]. Journal of Image and Graphics, 2011, 16(2):168- 173(in Chinese).

[11]CAO Y, LI S T, HU J W. Multi-focus image fusion by nonsubsampled shearlet transform[C]// 2011 Sixth International Conference on Image and Graphics (ICIG).New York, USA：IEEE, 2011:17-21.

[12]MIAO Q, SHI C, XU P,etal. Multi-focus image fusion algorithm based on shearlets[J]. Chinese Optics Letters, 2011, 9(4): 041001.

[13]MIAO Q, SHI C, XU P,etal. A novel algorithm of image fusion using shearlets[J]. Optics Communications, 2011, 284(6): 1540-1547.

[14]SHI Z, ZHANG Z, YUE Y G. Adaptive image fusion algorithm based on shearlet transform [J]. Acta Photonica Sinica, 2013, 42(1):115-120(in Chinese).

[15]HONG R C. Research on multi-source image fusion and its applications [D].Hefei:University of Science and Technology of China, 2007: 82-88(in Chinese).

[16]HU L M, ZHANG J, XIE Z,etal. Contrast measure based image fusion algorithm in the DCT domain [J]. Chinese Journal of Scientific Instrument, 2007, 28(s3):105-109(in Chinese).

Image fusion based on shearlet transform and region characteristics

ZHENGWei1,2,SUNXueqing1,2,LIZhe1,2

(1. College of Electronic and Information Engineering, Hebei University, Baoding 071002, China; 2.Key Laboratory of Hebei on Digital Medical Engineering, Hebei University, Baoding 071002, China)

Abstract：In order to improve the performance of multi-modality medical image fusion and multi-focus image fusion, since the shearlet transform can capture the detail information of images, an image fusion algorithm based on shearlet transform was proposed. Firstly, the shearlet transform was used to decompose the two registered original images, thus the low frequency sub-band coefficients and high frequency sub-band coefficients of different scales and directions were obtained. The fusion principle of low frequency sub-band coefficients was based on the method of weighted fusion, using the average gradient to calculate the weighted parameters in order to improve the edge fuzzy of the fused image. As for the high frequency sub-band coefficients, a fusion rule adopting the region variance combining with the region energy to get the detail information was presented. Finally, the fused image was reconstructed by inverse shearlet transform. The results show that the algorithm is superior to other fusion algorithms on subjective visual effect and objective evaluation.

Key words:image processing；image fusion；shearlet transform；weighted fusion；region variance；region energy

收稿日期：2014-01-14；收到修改稿日期：2014-02-28

作者簡介：鄭偉(1972-)，女，博士，現(xiàn)主要從事圖像處理、圖像安全通信的研究。

基金項(xiàng)目：河北省教育廳高等學(xué)校科學(xué)研究計(jì)劃資助項(xiàng)目(2010218)；河北大學(xué)醫(yī)工交叉研究中心開放基金資助項(xiàng)目(BM201103)

中圖分類號：TP391

文獻(xiàn)標(biāo)志碼：A

doi:10.7510/jgjs.issn.1001-3806.2015.01.010

文章編號：1001-3806(2015)01-00050-07