徐　磊，崔　璨，張華偉，孟慶樂，楊　瑞，田書暢，蔣紅兵△

(南京醫(yī)科大學(xué)附屬南京醫(yī)院/南京市第一醫(yī)院：1.醫(yī)療設(shè)備處；2.核醫(yī)學(xué)科，江蘇南京 210006)

?

基于離散小波變換的多模態(tài)醫(yī)學(xué)圖像融合改進(jìn)算法的研究*

徐磊1，崔璨2，張華偉1，孟慶樂2，楊瑞2，田書暢1，蔣紅兵1△

(南京醫(yī)科大學(xué)附屬南京醫(yī)院/南京市第一醫(yī)院：1.醫(yī)療設(shè)備處；2.核醫(yī)學(xué)科，江蘇南京 210006)

目的提出一種改進(jìn)的離散小波變換算法，并將其用于多模態(tài)醫(yī)學(xué)圖像融合。方法將源圖像經(jīng)過離散小波變換分解為高頻和低頻子圖像；高頻部分采用方向絕對(duì)值取大，能有效地保存圖像的細(xì)節(jié)信息，低頻部分使用區(qū)域能量比融合規(guī)則，保存了圖像的絕大部分信息；用離散小波逆變換將融合子圖像重構(gòu)成融合圖像。結(jié)果由3組醫(yī)學(xué)圖像融合效果比較可知，該算法在主觀視覺效果和客觀評(píng)價(jià)指標(biāo)方面均優(yōu)于現(xiàn)存的其他算法。結(jié)論該醫(yī)學(xué)圖像融合算法快速準(zhǔn)確，在噪聲環(huán)境和臨床實(shí)例中均表現(xiàn)優(yōu)越，可以獲得較高質(zhì)量的融合圖像，具有較高的臨床應(yīng)用價(jià)值。

離散小波變換；多模態(tài)；圖像融合；融合規(guī)則

隨著醫(yī)學(xué)影像技術(shù)、計(jì)算機(jī)技術(shù)及生物醫(yī)學(xué)工程技術(shù)的發(fā)展，醫(yī)學(xué)影像設(shè)備為臨床診斷、治療提供了多種模態(tài)的醫(yī)學(xué)圖像，如CT、磁共振成像(MRI)、單光子發(fā)射計(jì)算體層攝影術(shù)(SPECT)、正電子發(fā)射計(jì)算機(jī)體層攝影(PET)、超聲圖像等。由于各種模態(tài)的成像原理不同，不同模態(tài)圖像之間存在互補(bǔ)與冗余[1]。例如，CT成像可以定位腫瘤病灶，MRI成像可以獲得非常清晰的軟組織圖像，然而任意一種成像模態(tài)不可能在一幅圖像中同時(shí)包含全面互補(bǔ)的信息。醫(yī)學(xué)圖像融合可以將不同模態(tài)圖像的相關(guān)互補(bǔ)信息融合在一起，被廣泛應(yīng)用于非侵入性診斷、圖像引導(dǎo)照射、放療計(jì)劃等方面。

按照?qǐng)D像融合處理的不同階段，圖像融合處理通常分為3個(gè)層次：像素級(jí)融合、特征級(jí)融合、決策級(jí)融合[2]。目前大多數(shù)的圖像融合算法都是基于像素級(jí)的，因?yàn)橄袼丶?jí)融合直接作用于圖像像素，能提供比特征級(jí)融合和決策級(jí)融合更豐富可靠的信息，有利于圖像的進(jìn)一步分析、處理與理解。根據(jù)多年來國(guó)內(nèi)外在圖像融合領(lǐng)域的研究成果[3-5]，像素級(jí)圖像融合方法大致可分為兩類：基于空間域的融合算法和基于變換域的融合算法。空間域融合方法直接在圖像的像素灰度空間上進(jìn)行融合，主要包括加權(quán)平均法、主分量分析法、統(tǒng)計(jì)模型、人工神經(jīng)網(wǎng)絡(luò)方法等，空間域融合的最大缺點(diǎn)是空間失真和不能提供圖像頻率信息，由于醫(yī)學(xué)圖像灰度分布不均，且對(duì)比度較差，圖像易失真和受到噪聲的影響，然而基于頻率域的融合算法可以克服空間域融合算法的局限性。

基于頻率域的融合算法有金字塔變換、離散小波變換、輪廓波變換、曲波變換等。金字塔變換存在塊狀模糊效應(yīng)、沒有方向性信息和較低的信噪比等缺點(diǎn)。一些高級(jí)的小波變換如輪廓波變換、曲波變換聲稱融合效果較離散小波變換好，但計(jì)算較復(fù)雜，且需要較大的計(jì)算內(nèi)存。離散小波變換由于具有多分辨率、變尺度、快速運(yùn)算及與人視覺的空間頻率多通道相吻合等特性，被廣泛應(yīng)用于圖像處理領(lǐng)域，并且成為圖像融合領(lǐng)域的重要算法[6-8]。本文主要研究像素級(jí)離散小波變換的醫(yī)學(xué)圖像融合算法，提出低頻區(qū)域能量比取大、高頻方向系數(shù)絕對(duì)值取大相結(jié)合的融合規(guī)則，并對(duì)融合圖像進(jìn)行一致性檢驗(yàn)，現(xiàn)報(bào)道如下。

1　材料與方法

1.1材料為了驗(yàn)證本文提出算法的普適性、抗干擾性和實(shí)用性，選取3組不同的醫(yī)學(xué)圖像進(jìn)行測(cè)試，每組包括兩幅源圖像：(1)腦部CT圖像和MRI圖像；(2) 帶有5%高斯噪聲的腦部CT圖像與MRI圖像；(3) MR-T1加權(quán)的腦部圖像和MR-T2加權(quán)的腦部圖像。3組圖像尺寸均為256×256，具有256個(gè)灰階。

1.2方法

1.2.1離散小波變換基本理論對(duì)于一個(gè)給定信號(hào)F(x)的離散小波變換可看成是用尺度函數(shù)?(x)和小波函數(shù)ψ(x)對(duì)其進(jìn)行分解與重構(gòu)。其中，信號(hào)分解由尺度系數(shù)l(k)和小波系數(shù)h(k)進(jìn)行，信號(hào)F(x)在任意尺度J上進(jìn)行小波分解可表示為[9]：

(1)

C(j,k)和D(j,k)是在尺度J上的尺度系數(shù)和小波系數(shù)，可由公式(4)和(5)計(jì)算[10]。

(2)

(3)

信號(hào)重構(gòu)由尺度系數(shù)l(k)和小波系數(shù)h(k)共同完成，由公式(4)給出[11]。

(4)

信號(hào)的向前與向后分解提供在不同尺度上進(jìn)行多尺度信號(hào)分解的依據(jù)，小波分解提供水平、垂直、對(duì)角3個(gè)空間方向的信息，分解后的信號(hào)由以下尺度函數(shù)和小波函數(shù)來表示[12]。

(5)

基于離散小波變換的二維圖像分解過程如圖1所示，可以看出二維離散小波變換可提供不同層次上的多分辨率分解。圖1A代表3層離散小波分解，圖1B給出 Lena圖像的2層小波分解。

1.2.2離散小波變換的圖像融合過程離散小波變換是一種快速多尺度的圖像融合方法，有著特征區(qū)域、多分辨率分解、邊緣檢測(cè)、解相關(guān)、能量壓縮等優(yōu)勢(shì)。離散小波變換的圖像融合過程，見圖2。具體圖像融合的一般過程：(1)選擇已配準(zhǔn)的圖像作為源圖像；(2)選取合適的小波基函數(shù)和分解層數(shù)對(duì)圖像進(jìn)行離散小波變換；(3)采用高低頻融合規(guī)則對(duì)高低頻子圖像進(jìn)行融合處理；(4)：將融合后的子圖像進(jìn)行小波逆變換即得融合圖像，并對(duì)融合圖像質(zhì)量進(jìn)行評(píng)價(jià)。

A：3層離散小波變換分解；B：Lena圖像的2層分解。

圖1二維圖像的離散小波變換分解

圖2　　基于離散小波變換的圖像融合過程

1.2.3低頻系數(shù)融合規(guī)則由于醫(yī)學(xué)圖像的能量主要集中在低頻部分，且圖像的有用特征是基于區(qū)域而不是由一個(gè)像素點(diǎn)來體現(xiàn)，因此低頻系數(shù)融合規(guī)則采用區(qū)域能量比，該方法可以有效地提高圖像對(duì)比度和亮度，突出圖像感興趣區(qū)域。區(qū)域能量定義為[13]：

(6)

圖像的區(qū)域能量比P,也稱相似性測(cè)度，反映圖像之間的相似性，表示為：

(7)

用相似性測(cè)度P對(duì)圖像的頻域特性進(jìn)行度量，當(dāng)P接近1時(shí)，認(rèn)為兩區(qū)域具有某種相似性，否則認(rèn)為兩區(qū)域差異較大。設(shè)定相似度閾值,根據(jù)P與T的大小關(guān)系決定融合規(guī)則。表示融合后圖像的低頻系數(shù)。

(8)

1.2.4高頻系數(shù)融合規(guī)則對(duì)于高頻系數(shù)，融合規(guī)則采用基于頻帶方向絕對(duì)值取大。由于小波分解后的3個(gè)高頻具有一定的方向性，分別代表水平、垂直和對(duì)角線方向的細(xì)節(jié)部分，在同一尺度上，3個(gè)高頻子圖像中對(duì)應(yīng)位置的小波系數(shù)大小不等，圖像的細(xì)節(jié)部分主要集中在小波系數(shù)較大的方向上，圖像融合時(shí)就選用該方向上的小波系數(shù)。公式如下：

(9)

1.2.5小波基函數(shù)的選擇與一致性檢驗(yàn)小波基函數(shù)是源圖像分解的工具，目前常用的小波基函數(shù)有：Haar小波基、Daubechies(DbN)小波基、Coiflet小波基、Symlets小波基等，相關(guān)文獻(xiàn)報(bào)道表明Db3小波基函數(shù)的分解效果最優(yōu)[14-16]，故選取該函數(shù)作為小波基。一致性檢驗(yàn)是基于圖像區(qū)域“多數(shù)”原則進(jìn)行的。具體做法為：在融合子圖像中，若某一分解系數(shù)來自子圖像A，而它的領(lǐng)域中大多數(shù)系數(shù)卻來自子圖像B，則將該點(diǎn)的系數(shù)用子圖像 相應(yīng)位置的系數(shù)替換。

1.3圖像融合評(píng)價(jià)體系目前評(píng)價(jià)融合圖像質(zhì)量的方法主要分為兩類：主觀視覺評(píng)價(jià)和客觀指標(biāo)評(píng)價(jià)[17-18]。主觀評(píng)價(jià)主要是基于人眼目測(cè)的方法，圖像質(zhì)量評(píng)價(jià)參考標(biāo)準(zhǔn)為圖像對(duì)比度、清晰度、亮度等指標(biāo)?？陀^評(píng)價(jià)指標(biāo)數(shù)目繁多，不同文獻(xiàn)選用的評(píng)價(jià)指標(biāo)差異很大，存在評(píng)價(jià)指標(biāo)冗余或不足的現(xiàn)象。本文將客觀評(píng)價(jià)指標(biāo)分為5類：基于信息量的評(píng)價(jià)、基于統(tǒng)計(jì)量的評(píng)價(jià)、基于相關(guān)性的評(píng)價(jià)、基于梯度值的評(píng)價(jià)和基于信噪比的評(píng)價(jià)，從每個(gè)類別中選取具有代表性的評(píng)價(jià)指標(biāo)作為客觀評(píng)價(jià)標(biāo)準(zhǔn)，分別為交叉熵、標(biāo)準(zhǔn)差、相關(guān)系數(shù)、平均梯度和峰值信噪比。其中交叉熵值越小，說明圖像融合效果越好；標(biāo)準(zhǔn)差、相關(guān)系數(shù)、平均梯度和峰值信噪比在一定范圍內(nèi)，數(shù)值越大，說明融合圖像質(zhì)量越好。

2　結(jié)　　果

2.1醫(yī)學(xué)圖像融合結(jié)果將本文提出的融合算法與現(xiàn)有的典型算法進(jìn)行比較，3組醫(yī)學(xué)圖像融合結(jié)果，見圖3～5。定量評(píng)價(jià)結(jié)果見表1、2和圖6。

a：腦部CT圖像；b：腦部MRI圖像；c～g：本文提出算法分解層數(shù)2～6層的結(jié)果；h：主分量分析法；i：高斯變換法；j：拉普拉斯變換法；k：輪廓波變換法；l：非下采樣輪廓變換法。

圖3 第1組醫(yī)學(xué)圖像的融合結(jié)果

a：含5%高斯噪聲的腦部CT圖像；b：含5%高斯噪聲的腦部MRI圖像；c：本文提出的算法；d：主分量分析法；e：高斯變換法；f：拉普拉斯變換法；g：輪廓波變換法；h：非下采樣輪廓波變換法。

圖4含噪聲的多模態(tài)醫(yī)學(xué)圖像融合結(jié)果

a：MR-T1加權(quán)圖像；b：MR-T1加權(quán)圖像；c～h：圖像融合方法：c為本文提出的算法，d為主分量分析法，e為高斯變換法，f為拉普拉斯變換法，g為輪廓波變換法，h為非下采樣輪廓波變換法。

圖5腫瘤患者的腦部圖像

2.2主觀視覺評(píng)價(jià)3組圖像的融合結(jié)果分別見圖3～5，圖3c～l、4c～h、5c～h分別對(duì)應(yīng)本文提出的算法與主分量分析法、高斯金字塔變換法、拉普拉斯金字塔變換法、輪廓波變換法及非下采樣輪廓波變換法的融合結(jié)果，從視覺效果看，基于本文提出算法的融合圖像具有較高的視覺分辨率、對(duì)比度和清晰度，圖像質(zhì)量較佳，表明本文融合算法的可行性與優(yōu)越性。

2.3客觀定量評(píng)價(jià)

2.3.1常規(guī)的醫(yī)學(xué)圖像融合結(jié)果定量分析第1組醫(yī)學(xué)圖像融合結(jié)果的客觀指標(biāo)，見表1，使用本文提出的融合方法時(shí)，可以得出3點(diǎn)結(jié)論：(1)分解層數(shù)較低時(shí)，融合圖像評(píng)價(jià)指標(biāo)接近于其他方法；(2)當(dāng)分解層數(shù)為6時(shí)，標(biāo)準(zhǔn)差、相關(guān)系數(shù)和平均梯度均最大，交叉熵值接近非下采樣輪廓波變換得到的值。(3)當(dāng)分解層數(shù)大于3時(shí)，融合圖像評(píng)價(jià)指標(biāo)變化微弱。

表1　　第1組醫(yī)學(xué)圖像融合結(jié)果定量評(píng)價(jià)比較

2.3.2噪聲環(huán)境下的醫(yī)學(xué)圖像融合第2組醫(yī)學(xué)圖像各用5%的高斯噪聲腐蝕，離散小波分解層數(shù)選為3。交叉熵、標(biāo)準(zhǔn)差、相關(guān)系數(shù)和平均梯度不能充分評(píng)價(jià)噪聲環(huán)境下圖像融合效果，本文引入峰值信噪比以便更科學(xué)地評(píng)價(jià)融合圖像質(zhì)量。本文所用方法的融合圖像峰值信噪比值最高，說明在噪聲環(huán)境下本文提出的融合算法依然有效，見圖6。

圖6　　在噪聲環(huán)境下的不同融合方法所得的峰值信噪比

2.3.3臨床應(yīng)用實(shí)例第3組是一個(gè)腦部腫瘤診斷的臨床實(shí)例圖像，見圖5a、b。本文提出的圖像融合方法提供比其他方法更高的腫瘤對(duì)比度和清晰度，如圖5中紅色箭頭所示?；诒疚奶岢鏊惴ㄋ玫娜诤蠄D像評(píng)價(jià)指標(biāo)中標(biāo)準(zhǔn)差、相關(guān)系數(shù)、平均梯度值均最大，交叉熵值接近于表中最小值，見表2。

表2　　臨床醫(yī)學(xué)圖像融合結(jié)果的定量評(píng)價(jià)比較

3　結(jié)　　論

多模態(tài)醫(yī)學(xué)圖像融合在臨床應(yīng)用中至關(guān)重要，但是獲得高質(zhì)量的融合圖像依然具有挑戰(zhàn)。本文提出了一種基于離散小波變換的圖像融合改進(jìn)算法，主要?jiǎng)?chuàng)新點(diǎn)如下：(1)提出一種新穎的高低頻融合規(guī)則，克服了傳統(tǒng)融合規(guī)則的局限性，其中區(qū)域能量比方法能更好地保存低頻能量，高頻方向系數(shù)絕對(duì)值取大可突出細(xì)節(jié)信息；(2)使用離散小波變換法進(jìn)行圖像融合時(shí)，如果選取合理的融合規(guī)則，即使分解層數(shù)較低時(shí)，依然可以得到較好的融合效果；(3)不管在噪聲環(huán)境下，還是在臨床實(shí)例應(yīng)用中，本文提出的算法均表現(xiàn)出良好的融合效果。

主觀視覺評(píng)價(jià)和客觀定量比較同時(shí)證明了本文提出算法的有效性，不僅可以減少圖像信息丟失，還很好地突出了細(xì)節(jié)紋理部分，減少了圖像偽影，提供高對(duì)比度的視覺效果。在以后的工作中，將會(huì)聯(lián)合使用Matlab和C++設(shè)計(jì)并開發(fā)出一個(gè)醫(yī)學(xué)圖像融合平臺(tái)，減少響應(yīng)時(shí)間，并推廣到3D醫(yī)學(xué)圖像融合。

綜上所述，理論分析和實(shí)驗(yàn)結(jié)果證實(shí)，本文提出的算法快速有效，抗干擾性強(qiáng)，具有較高的臨床應(yīng)用價(jià)值。

[1]高峰，李梅，仇振釗，等．一種多模態(tài)醫(yī)學(xué)圖像數(shù)據(jù)融合方法與應(yīng)用[J]．中國(guó)醫(yī)療設(shè)備，2013，28(5)：164-167．

[2]張彬，鄭永果，馬芳，等．基于小波變換的多模態(tài)醫(yī)學(xué)圖像融合算法[J]．重慶醫(yī)學(xué)，2011，40(7)：652-654．

[3]張?chǎng)?陳偉斌.Contourlet變換系數(shù)加權(quán)的醫(yī)學(xué)圖像融合[J].中國(guó)圖象圖形學(xué)報(bào),2014,19(1):133-140.

[4]Bedi SS，Khandelwal R．Comprehensive and comparative study of image fusion techniques[J]．Int J Soft Computing and Engineering，2013，37(1)：4242-4248．

[5]Pradhan PS，King RL，Younan NH，et al．Estimation of the number of decomposition levels for a wavelet-based multiresolution multisensor image fusion[J].IEEE Trans Geosci Remote Sens，2006，44(12)：3674-3686．

[6]Singh R，Srivastava R，Prakash O，et al．Multimodal medical image fusion in dual tree complex wavelet transform domain using maximum and average fusion rules[J]．J Med Imag Health In，2012，2(2)：168-173．

[7]Yang Y，Park DS，Huang S，et al．Fusion of CT and MR images using an improved wavelet based method[J]．J X-Ray Sci Technol，2010，18(2)：157-170．

[8]Singh R，Khare A．Multiscale medical image fusion in wavelet domain[J]．Scientific World J，2013(2013)：521034．

[9]郭雷，程塨，趙天云，等.基于小波變換和鄰域特征的多聚焦圖像融合算法[J].西北工業(yè)大學(xué)學(xué)報(bào)，2011，29(3)：454-459.

[10]胡俊峰，唐鶴云，錢建生，等.基于小波變換醫(yī)學(xué)圖像融合算法的對(duì)比分析[J].中國(guó)生物醫(yī)學(xué)工程學(xué)報(bào)，2011，30(2)：196-205.

[11]朱健，石躍祥.基于小波變換的一種改進(jìn)融合規(guī)則的圖像融合[J].計(jì)算機(jī)工程與應(yīng)用，2011，47(11)：185-186.

[12]Zhang X，Li X，F(xiàn)eng Y．A new image fusion performance measure using Riesz transforms[J]．Optik-Int J Light Electron Optics，2014：125(3)：1427-1433．

[13]James AP，Dasarathy BV．Medical image fusion: a survey of the state of the art [J]．Inform Fusion，2014，19(3)：4-19．

[14]唐艷秋，張星祥，李新娥，等.基于人眼視覺灰度識(shí)別特性的圖像動(dòng)態(tài)范圍小波變換處理方法[J].液晶與顯示，2012，27(3)：385-390.

[15]余汪洋，陳祥光，董守龍，等.基于小波變換的圖像融合算法研究[J].北京理工大學(xué)學(xué)報(bào)，2014，12(34)：1262-1266.

[16]李俊峰，姜曉麗，戴文戰(zhàn).基于提升小波變換的醫(yī)學(xué)圖像融合[J].中國(guó)圖象圖形學(xué)報(bào)，2014，11(19)：1639-1648.

[17]張建勛，牛文賓，張凱文，等.一種改進(jìn)的基于小波變換的圖像融合算法[J].重慶理工大學(xué)學(xué)報(bào)(自然科學(xué))，2012，26(1)：61-65.

[18]高清河，剛晶，王和禹，等.基于小波變換的多模態(tài)醫(yī)學(xué)圖像的融合及性能評(píng)價(jià)[J].生物醫(yī)學(xué)工程研究，2014，4(33)：259-263.

Study on improved algorithm for multimodal medical image fusion based on discrete wavelet transform*

XuLei1，CuiCan2，ZhangHuawei1，MengQingle2，YangRui2，TianShuchang1，JiangHongbing1△

(1.DepartmentofMedicalEquipments; 2.DepartmentofNuclearMedicine,AffiliatedNanjingHospital,NanjingMedicalUniversity/NanjingMunicipalFirstHospital,Nanjing,Jiangsu210006,China)

ObjectiveTo propose an improved discrete wavelet transform (DWT) and to apply it in multimodal medical image fusion.MethodsFirstly,the source medical images were initially transformed into the high frequency and low frequency images by DWT; then the high frequency part adopted the big direction absolute values,which effectively preserved the detailed information of image,while the low frequency part used the fusion rule of local energy ratio for preserving the most of image information; finally,the discrete wavelet reverse transform was used for reconstructing the fusion sub-images into fusion image.ResultsBy comparing the fusion images by 3 groups of medical images,this proposed algorithm was superior to other existing algorithms in the aspects of subjective visual effect and objective evaluation indicators.ConclusionThe proposed algorithm of medical image fusion is rapid and accurate,has excellent performance in the noise environment and clinical examples,can obtain the high quality fusion image and has higher clinical application value.

discrete wavelet transform；multimodal；image fusion；fusion rule

南京市醫(yī)學(xué)科技發(fā)展資金“青年工程”人才培養(yǎng)專項(xiàng)經(jīng)費(fèi)資助項(xiàng)目(QRX11033)。作者簡(jiǎn)介：徐磊(1990-)，在讀碩士，主要從事生物醫(yī)學(xué)工程研究?！?/p>

，E-mail:cmdjhb@126.com。

TP391.41

A

1671-8348(2016)21-2885-05

2016-01-09

2016-03-27)

·論著·doi:10.3969/j.issn.1671-8348.2016.21.002