李加恒，戴文戰(zhàn)，李俊峰

(1.浙江理工大學自動化研究所，杭州 310012； 2.浙江工商大學信息與電子工程學院，杭州 310012)

?

基于互信息的多模態(tài)醫(yī)學圖像融合

李加恒1，戴文戰(zhàn)2，李俊峰1

(1.浙江理工大學自動化研究所，杭州 310012； 2.浙江工商大學信息與電子工程學院，杭州 310012)

摘要:目前已知的醫(yī)學圖像融合算法未充分考慮源圖像間差異性的大小，針對該不足提出了一種基于互信息特征的多模態(tài)融合算法。算法引入提升小波變換，將目標圖像分解為高、低頻子帶，根據(jù)高頻子帶的互信息量不同，對低互信息子帶采用區(qū)域梯度能量與區(qū)域標準差相結(jié)合的融合規(guī)則，對高互信息子帶采用邊緣強度取大的融合規(guī)則。通過多組目標圖像融合對比的實驗進行驗證，算法融合得到的圖像信息豐富，邊緣清晰，具有良好的視覺特性和優(yōu)秀的評價指標。

關(guān)鍵詞：醫(yī)學圖像融合；提升小波變換；互信息；區(qū)域梯度能量；區(qū)域標準差

0引言

醫(yī)學圖像融合是一種將多源信道采集的圖像進行科學融合，從而得到高質(zhì)量圖像的方法，對臨床醫(yī)學診斷具有重要意義。CT、MRI、PETCT等先進的醫(yī)學成像設(shè)備廣泛應(yīng)用于臨床診斷中[1-2]。由于成像原理的差異，不同設(shè)備呈現(xiàn)的醫(yī)學圖像具有各自的特點。例如，CT圖像主要用來反映密度較大的組織，如骨骼；MRI圖像主要用來反映密度較小的組織，如血管、軟組織等；SPECT圖像主要用來定位病變組織的位置和程度[3]。為了彌補由于單一模式圖像成像機理不同造成的圖像信息缺失，需要進行多模態(tài)醫(yī)學圖像的融合，以實現(xiàn)優(yōu)勢互補，幫助醫(yī)生對疾病準確、快速地診斷和治療。

近年來，小波多尺度分解在醫(yī)學圖像融合領(lǐng)域得到了大量應(yīng)用。Kavitha等[4]提出的基于傳統(tǒng)小波變換的醫(yī)學圖像融合，但是小波運算較為復(fù)雜、處理速度較慢，需要大量的存儲空間。Liu等[5]采用圖像銳度和互信息相結(jié)合后加權(quán)的融合算法，但是圖像的銳度反映的是圖像的“清晰度”，對于兩張較模糊的醫(yī)學源圖像進行融合，融合效果不令人滿意。Tian等[6]采用基于邊緣信息的小波醫(yī)學圖像融合算法，采用選取邊緣強度閾值的算法，但是對于源圖像差異較大的圖像組，圖像間互信息較小時，融合效果并不理想。王昕等[7]采用低頻分量取大、高頻分量梯度能量比加權(quán)的算法，雖然高頻保留了圖像的大部分細節(jié)信息，但是忽視了低頻子帶中的大部分信息，對于高互信息的源圖像，在一定程度上削弱了梯度能量比加權(quán)的作用效果[8]。林卉等[9]采用方向?qū)Ρ榷确椒?，雖該方案更加符合人的生理視覺，但是犧牲了某些真實有用信息，無法提高準確性。

本文在基于提升小波變換的基礎(chǔ)上[10]，引入互信息原理，提出了基于互信息特征的醫(yī)學圖像融合新算法。通過互信息量將高頻子帶進行區(qū)分：互信息量低的高頻子帶，說明同位置的區(qū)域紋理相差較大，采用區(qū)域標準差與能量梯度相結(jié)合的方法，能更好地表現(xiàn)出邊緣化程度和更微小的細節(jié)變化；互信息量高的高頻子帶[11]，說明同位置的區(qū)域紋理相似度較高，采用邊緣強度取大的融合規(guī)則，以取得更好的融合效果。

1提升小波變換

傳統(tǒng)的多尺度小波變換是指空間和頻率的局部變換，它能夠快速有效的從圖像信號中獲取信息。提升小波變換是在傳統(tǒng)的小波變換基礎(chǔ)上改進而來的，傳統(tǒng)小波變換通常在頻域中構(gòu)造，而提升小波是在空域中構(gòu)造，其優(yōu)點是獲取高頻信息不需要通過復(fù)雜的卷積計算[12-13]。提升小波主要由4個步驟組成，分別為：分解、對偶提升、更新和重構(gòu)[14]，其流程如圖1所示。圖1中：ai-1矩陣為初始信號；ai和bi為初始信號剖分的兩個子集；P為預(yù)測值；U為構(gòu)造的算子。

圖1　提升小波示意

2基于互信息特征的醫(yī)學圖像融合算法

圖2　醫(yī)學圖像融合算法流程

2.1低頻區(qū)域平均能量加權(quán)融合

由于醫(yī)學圖像經(jīng)過提升小波變換分解后，源圖像的大量基礎(chǔ)信息都在低頻子帶中。同時，相鄰的低頻子帶系數(shù)間具有相關(guān)性的特性。因此，本文通過在低頻子帶中采用區(qū)域平均能量加權(quán)的融合規(guī)則，可以更好地保留低頻子帶中的信息。

低頻子帶系數(shù)矩陣中以(i,j)為中心及其相鄰區(qū)域的均值能量表示為[18]:

(1)

式(1)中：S、H為圖像區(qū)域行和列的數(shù)值，cL為低頻子帶的系數(shù)。

定義K(i,j)為A圖像與B圖像的區(qū)域均值能量差別系數(shù)，即：

(2)

(3)

(4)

2.2基于互信息的高頻子帶融合規(guī)則

圖像的細節(jié)信息主要包含在圖像的高頻子帶中，紋理邊緣代表了圖像的細節(jié)特性。通常人們對圖像高頻子帶融合采用單一的融合算法，但是對于待融合的源圖像，圖像差異的大小對圖像融合效果影響較大?；バ畔⒘渴莾蓮垐D像相似性的一種測度，可以用信息熵來計算互信息。已完成配準待融合的圖像來源于不同的成像設(shè)備，兩幅圖像相互表達的信息量很多。根據(jù)高頻子帶互信息量的不同，將高頻子帶分為高互信息量子帶和低互信息量子帶[15]。

對于區(qū)域互信息量低的高頻子帶，說明同位置的區(qū)域紋理相差較大；互信息量值高的高頻子帶，說明同位置的區(qū)域紋理相似度較高?；バ畔⒘窟h大于0時，說明圖像A與圖像B關(guān)聯(lián)強度強，互信息量趨近于0時，說明圖像A與圖像B關(guān)聯(lián)強度弱。本文提出通過選定互信息閾值為25，將待融合的高頻子帶分為兩類，分別采取不同的融合規(guī)則保證保存圖像有效信息最大化。

2.2.1低互信息量高頻子帶融合規(guī)則

對于低互信息量高頻子帶，說明同位置區(qū)域都包含重要信息并區(qū)別很大。比如A圖像只有少量的骨骼的紋理特征，B圖像有大量的血管、肌肉等紋理特征。A與B圖像間相似度較小，互信息相對較低。由于圖像的局部特征通常并不是某一個像素或幾個像素就能所表現(xiàn)出來的，它是由某一區(qū)域內(nèi)多個像素共同表現(xiàn)出來的。圖像信號變化強弱可以通過梯度能量值表示出來。區(qū)域的灰度離散情況可以通過區(qū)域的標準差體現(xiàn)出來[16]。本文采用基于區(qū)域梯度能量和區(qū)域標準差相結(jié)合的融合規(guī)則，不僅能保證圖像的整體細節(jié)，還能保持圖像的清晰度，提高融合圖像的質(zhì)量[17]。

定義PX為圖像的區(qū)域標準差：

(5)

令?A、?B分別表示圖像A和圖像B區(qū)域標準差所占的權(quán)重，公式如下所示：

(6)

(7)

定義QX為圖像的區(qū)域梯度能量：

(8)

(9)

(10)

低互信息量高頻子帶融合規(guī)則為

(11)

2.2.2高互信息量高頻子帶融合規(guī)則

區(qū)域互信息量大的高頻子帶，說明同位置的區(qū)域紋理相似度較高。對于含有相似的紋理特征的兩高頻子帶，若仍采用加權(quán)的融合規(guī)則，卻削弱了各圖像特有的紋理信息。要使融合的圖像更好的保留源圖像的紋理信息，本文對于高互信息量的高頻子帶采用邊緣強度取大的融合規(guī)則。

邊緣強度的如式(12)所示：

(12)

式(12)中，f(x+m,y+n)為領(lǐng)域像素的灰度，窗口的大小為M×N，大小取3×3；mean(x-m:x+m,y-n:y+n)為區(qū)域均值。

分別計算出圖像高互信息高頻子帶的邊緣強度值，通過采用邊緣強度取大，計算得到融合后高互信息量高頻子帶的系數(shù)：

(13)

3實驗結(jié)果與分析

為了驗證本文算法，在Matlab環(huán)境下實現(xiàn)本文算法。選取CT、MRI、SPECT 3種類型圖像進行融合對比。根據(jù)特征的不同可分為CT/MRI圖像融合、MR-T1/MR-T2圖像融合和MRI/SPECT圖像融合3種類型。

為了檢測本算法的有效性，選用5組經(jīng)配準后的人腦組織作為源圖像。圖3-圖5的(c)圖為文獻[1]采用脈沖耦合神經(jīng)網(wǎng)絡(luò)模型的融合算法的融合圖像；圖3-圖5的(d)圖為文獻[3]提出的高頻部分采用結(jié)構(gòu)相似度與圖像邊緣算子相結(jié)合的融合圖像；圖3-圖5的(e)圖為文獻[5]提出的基于壓縮感知的算法的融合圖像；圖3-圖5的(f)圖為文獻[10]提出的平均梯度和圖像熵系數(shù)加權(quán)融合圖像；圖3-圖5的(g)圖為文獻[16]提出的根據(jù)高頻子帶中噪聲含量的不同，對噪聲含量較低的低層高頻子帶采用基于計盒分維法獲取分維數(shù),而對噪聲含量較高的高層高頻子帶提出了基于區(qū)域梯度能量加權(quán)融合規(guī)則的融合圖像；圖3-圖5的(h)圖為本文提出的融合新算法。

3.1灰度圖像融合

正常腦部CT/MRI融合圖像如圖3所示。急性腦卒中CT/MRI融合圖像如圖4所示。多發(fā)性腦梗塞MR-T1/MR-T2融合圖像如圖5所示。

圖3　正常腦部CT/MRI醫(yī)學圖像融合結(jié)果

圖4　急性腦卒中CT/MRI醫(yī)學圖像融合結(jié)果

圖5　多發(fā)性腦梗塞MR-T1/MR-T2醫(yī)學圖像融合結(jié)果

表1列出圖3中正常腦部CT/MRI圖像應(yīng)用不同融合算法產(chǎn)生的醫(yī)學融合的質(zhì)量評價指標。表2列出圖4中急性腦卒中CT/MRI圖像應(yīng)用不同融合算法產(chǎn)生的醫(yī)學融合的質(zhì)量評價指標。表3列出圖5中多發(fā)性腦梗塞MR-T1/MR-T2圖像應(yīng)用不同融合算法產(chǎn)生的醫(yī)學融合的質(zhì)量評價指標。

表1　圖3中應(yīng)用不同融合算法產(chǎn)生的醫(yī)學融合的質(zhì)量評價

表2　圖4中應(yīng)用不同融合算法產(chǎn)生的醫(yī)學融合的質(zhì)量評價

表3　圖5中應(yīng)用不同融合算法產(chǎn)生的醫(yī)學融合的質(zhì)量評價

在圖3中，相對于其它算法，本文算法融合后的圖像文理清晰，不僅保留源圖像較為清晰的腦部組織信息，而且骨骼的組織邊緣依然明顯，不同組織間差異明顯；在圖4(b)中，腦部右側(cè)有較為明顯的組織病變陰影，通過本文算法融合后，正常組織與病變組織在圖像上有著明顯差異；圖5(a)和圖5(b)的圖像為不同時間的成像的加權(quán)像。圖5(d)圖像采用的融合算法雖然融合后圖像的信息豐富，但是圖像輪廓模糊，融合效果并不好。而采用本文算法融合的圖像，亮度高，圖像細節(jié)紋理明顯，融合效果較好。從評價指標上看，信息熵值最好，圖像邊緣評價因子也較好。信息熵值越高，說明圖像提取的信息越豐富，邊緣評價因子越高，說明融合后的圖像與源圖像差異越小。從主觀上還是客觀數(shù)據(jù)上都可以看出圖像融合質(zhì)量上都較好。

通過圖6(從圖3截取出部分區(qū)域放大圖)可以看出，本文算法得出的圖像紋理信息保留得更好，邊緣更加清晰，圖像信息更為豐富。

圖6　圖3中融合圖像局部區(qū)域比較

3.2彩色圖像融合

彩色圖像信息豐富，人眼對彩色圖像分辨率遠高于灰度圖像，彩色圖像與灰度圖像進行融合同樣非常重要，彩色圖像與灰度圖像融合過程如圖7所示。實驗結(jié)果如圖8、圖9所示。圖8為正常腦部SPECT/MRI融合圖像。圖9為轉(zhuǎn)移性腦癌腦部SPECT/MRI融合圖像。

圖7　MRI/SPECT圖像融合流程

圖8　正常腦部SPECT/MRI醫(yī)學圖像融合結(jié)果

圖9　轉(zhuǎn)移性肺癌SPECT/MRI醫(yī)學圖像融合結(jié)果

對于彩色圖像的評價的最終的性能指標如表4和表5所示。

表4　圖8中應(yīng)用不同融合算法產(chǎn)生的醫(yī)學圖像融合的質(zhì)量評價

表5　圖9中應(yīng)用不同融合算法產(chǎn)生的醫(yī)學圖像融合的質(zhì)量評價

在圖8中，相對于其它算法，本文算法融合的圖像在保留了SPECT彩色圖像主要信息的同時，腦部組織紋理理和頭部輪廓依然表現(xiàn)清晰，病變組織與正常組織間差異明顯；在圖9中，本文算法的融合圖像在視覺感官上相對于其它算法相差不多，但是從評價指標上看，本文算法在各個指標方面表現(xiàn)較好。綜合以上實驗結(jié)果，通過對比，采用本文融合算法得到的圖像在空間頻率和邊緣強度上有所提升，表明融合圖像有效保留了源圖像的重要信息。基于互信息特征的選取能夠使高頻融合規(guī)則更加有效；在質(zhì)量評價中，信息熵的提高說明融合圖像所含的信息更為豐富，灰度級更為分散，對比度更好，在視覺上相比其他算法也較好。

4結(jié)語

醫(yī)學圖像融合在醫(yī)學圖像分析和診斷上具有重要的應(yīng)用價值。本文重點研究了基于提升小波變換的圖像融合技術(shù)。在低頻子帶選取上，采用基于區(qū)域平均能量加權(quán)融合規(guī)則。在高頻子帶系數(shù)選取上，根據(jù)高頻子帶區(qū)域互信息量的不同，將高頻子帶分為高互信息量高頻子帶和低互信息量高頻子帶，高頻子帶間互信息高，說明子帶間差異性較小，圖像紋理較為接近，通過邊緣的邊緣強度值取大，能夠?qū)⒃磮D像間細節(jié)邊緣信息最大化得保留。高頻子帶間互信息小，說明子帶間差異性較大，為了更好的融合圖像，區(qū)域梯度能量的值體現(xiàn)的是圖像整體亮度，區(qū)域標準差的值體現(xiàn)的是圖像的紋理強度，采用兩種方法相結(jié)合得出方法保證了圖像的亮度和紋理強度間的平衡。實驗結(jié)果表明：本文算法引入互信息有效提高了圖像融合的質(zhì)量，圖像細節(jié)和評價指標較好。后續(xù)工作將對互信息類型特征進行進一步劃分，更好的提升圖像的融合效果。

參考文獻：

[1] SINGH S, GUPTA D, ANAND R S, et al. Nonsubsampled shearlet based CT and MR medical image fusion using biologically inspired spiking neural network[J]. Biomedical Signal Processing & Control,2015,18(1):91-101.

[2] ISLAM M S, CHONG U P. Improvement in moving target detection based on hough transform and wavelet[J]. Iete Technical Review, 2015, 32(1):46-51.

[3] 江澤濤,楊陽,郭川.基于提升小波變換的圖像融合改進算法的研究[J].圖像與信號處理,2015,4(2):12-19.

[4] KAVITHA C T, CHELLAMUTHU C. Fusion of SPECT and MRI images using integer wavelet transform in combination with curvelet transform[J].The Imaging Science Journal,2015,63(1):17-23.

[5] LIU Z, YIN H, CHAI Y, et al. A novel approach for multimodal medical image fusion[J]. Expert Systems with Applications,2014,41(16):7425-7435.

[6] TIAN J, CHEN L. Adaptive multi-focus image fusion using a wavelet-based statistical sharpness measure[J]. Signal Processing,2012,92(9):2137-2146.

[7] 王昕,李瑋琳,劉富.小波域CT/MRI醫(yī)學圖像融合新方法[J].吉林大學學報(工學版)，2013,43(1):25-28.

[8] DAS S, KUNDU M K. NSCT-based multimodal medical image fusion using pulse-coupled neural network and modified spatial frequency[J]. Medical & Biological Engineering & Computing,2012,50(10):1105-1114.

[9] 林卉,RuiliangPu,梁亮,等.方向?qū)Ρ榷群蛥^(qū)域標準差相結(jié)合的圖像融合[J].計算機工程與應(yīng)用,2014,6(1):31-34.

[10] CHO H J, Park T H. Wavelet transform based image template matching for automatic component inspection[J]. International Journal of Advanced Manufacturing Technology,2010,50(9-12):1033-1039.

[11] ZHANG B, ZHANG C, WU J, et al. A medical image fusion method based on energy classification of BEMD components[J]. Optik - International Journal for Light and Electron Optics,2014,125(1):146-153.

[12] NICHOL J, MAN S W. Modeling urban environmental quality in a tropical city[J]. Landscape & Urban Planning,2005,73(1):49-58.

[13] XU Z H, LIAO F X, HE Z Q, et al. PET and CT cross-modality medical image fusion based on out-location frame[J]. Journal of Southern Medical University,2010,30(6):1304-1306.

[14] HIREMATH P S, AKKASALIGAR P T, BADIGER S. Visual enhancement of digital ultrasound images using multiscale wavelet domain[J]. Pattern Recognition & Image Analysis,2010,20(3):303-315.

[15] CHENG B S, CHEN H, BEATTY R E, et al. Multimodality image fusion and planning and dose delivery for radiation therapy[J]. Medical Dosimetry,2008,33(2):149-155.

[16] 李俊峰,姜曉麗,戴文戰(zhàn).基于提升小波變換的醫(yī)學圖像融合[J].中國圖象圖形學報,2014,19(11):1639-1648.

[17] 劉貴喜,陳文錦,劉純虎.基于方向?qū)Ρ榷群蛥^(qū)域標準差的圖像融合方法[J].儀器儀表學報,2005,26(6):628-631.

[18] ZHANG B, ZHANG C, LIU Y, et al. Multi-focus image fusion algorithm based on compound PCNN in Surfacel et domain[J]. Optik- International Journal for Light and Electron Optics,2014,125(1):296-300.

(責任編輯： 陳和榜)

Multi-modality Medical Image Fusion Based on Mutual Information

LIJiaheng1,DAIWenzhan2,LIJunfeng1

(1. Institute of Automation, Zhejiang Sci-Tech University, Hangzhou 310012, China; 2. School of Information and Electronic, Zhejiang Gongshang University, Hangzhou 310012, China)

Abstract：The known algorithms of medical image fusion do not consider the difference among different source images. In view of this problem, a multi-modality fusion algorithm based on mutual information was proposed. The algorithm introduces lifting wavelet transform and decomposes the target image into high frequency sub-bands and low frequency sub-bands. According to different mutual information amount of high frequency sub-bands, the fusion rule of combining local gradient energy and local standard deviation was adopted for low mutual information sub-bands, while fusion rule of bigger edge strength is applied for frequency mutual information sub-bands. Experimental results of multi-group target image fusion show the method proposed in this paper is much better because of its rich image information, clear edge, good visual features and excellent evaluation indexes.

Key words：medical image fusion; lifting wavelet transform; mutual information; local gradient energy; local standard deviation

DOI:10.3969/j.issn.1673-3851.2016.07.022

收稿日期：2015-09-19

基金項目：國家自然科學基金項目(61374022)

作者簡介：李加恒(1990-)，男，江蘇連云港人，碩士研究生，主要從事圖像處理方面的研究。

通信作者：戴文戰(zhàn)，E-ail:dwz@zjsu.edu.cn

中圖分類號：TP391

文獻標志碼：A

文章編號：1673- 3851 (2016) 04- 0607- 08 引用頁碼： 070602