孟令玉 聶仁燦 何 敏 周冬明 李華光

(云南大學(xué)信息學(xué)院 云南 昆明 650500)

0 引 言

隨著成像技術(shù)的發(fā)展，醫(yī)學(xué)圖像在臨床診斷等方面發(fā)揮著越來越重要的作用，已經(jīng)成為醫(yī)生疾病診斷、疾病治療的得力助手，極大降低了誤診風(fēng)險，提高了對癥治療的效率、速率。與普通的光學(xué)成像方式不同，醫(yī)學(xué)圖像成像機(jī)理比較復(fù)雜，涉及到物理、化學(xué)和生物等多個學(xué)科，因此，單模態(tài)醫(yī)學(xué)圖像的功能比較單一，很難全面顯示人體器官組織的信息。例如，核磁共振成像(Magnetic Resonance Imaging,MRI)可以充分顯示軟組織的信息，但其骨骼等信息的探測存在很大缺陷。與MRI不同的是，計算機(jī)斷層掃描成像(Computer Tomography,CT)可以很好地捕獲骨骼信息，但其對軟組織等結(jié)構(gòu)信息缺乏探測能力[1]。此外，其他模態(tài)的醫(yī)學(xué)圖像還有具有很強(qiáng)病灶探測能力的正電子發(fā)射計算機(jī)斷層成像(Positron Emission Tomography，PET)以及具有顯示血液流動信息能力的單光子發(fā)射計算機(jī)斷層成像(Single Photon Emission Tomography，SPECT)等。全面了解器官組織的各項信息可以更有針對性地進(jìn)行臨床診斷、疾病治療，因此，有必要運用一定的圖像融合算法將不同模態(tài)的醫(yī)學(xué)圖像根據(jù)需求進(jìn)行融合得到一幅顯示信息更為全面的醫(yī)學(xué)圖像。

醫(yī)學(xué)圖像融合作為圖像融合的重要應(yīng)用領(lǐng)域之一，是當(dāng)今國內(nèi)外研究的熱點問題，在醫(yī)學(xué)領(lǐng)域有著廣泛的應(yīng)用前景和實用價值[2]。近年來，針對醫(yī)學(xué)圖像的融合方法已經(jīng)得到很大發(fā)展，這些算法大致可以分為兩類：基于頻率域的算法和基于空間域的算法[3]。空間域類算法主要是在原始圖像像素上直接進(jìn)行相關(guān)處理，對圖像主要特征信息捕捉并融合。此類方法實現(xiàn)起來比較簡單，但是對圖像的特性分析不夠充分，人為痕跡較明顯，噪聲等干擾信息較多。相較而言，頻率域類方法一般通過多尺度分析工具對圖像在不同方向進(jìn)行分解，可以充分挖掘圖像的邊緣、細(xì)節(jié)、輪廓等信息。目前，國內(nèi)外研究學(xué)者已經(jīng)提出很多可行的算法。王健等[4]提出一種非下采樣輪廓波變換(NonSubsampled Contourlet Transform，NSCT)域內(nèi)基于增補(bǔ)小波變換和脈沖耦合神經(jīng)網(wǎng)絡(luò)(Pulse Coupled Neural Network，PCNN)的圖像融合方法，在一定程度上彌補(bǔ)了傳統(tǒng)NSCT的缺陷，充分利用了其對圖像的多分辨率、多方向性等分析特性，融合效果細(xì)節(jié)信息豐富，輪廓清晰，符合人眼視覺習(xí)慣。劉雯敏等[5]提出一種基于PCNN和非線性濾波萬有引力的醫(yī)學(xué)圖像融合方法，很好地改善了融合圖像的視覺效果，有效地保留了源始圖像的各項信息，邊緣和紋理信息突出。吳銀芳等[6]提出一種基于模糊變換耦合最大熵的醫(yī)學(xué)圖像融合方法，可以有效克服融合過程中的邊緣模糊和偽輪廓，對提高融合圖像的邊緣信息強(qiáng)度、峰值信噪比等效果顯著。Ramla等[7]提出一種非下采樣剪切波變換(NonSubsampled Shearlet Transform，NSST)域內(nèi)基于PCNN和形態(tài)學(xué)梯度的醫(yī)學(xué)圖像融合方法，其將圖像的形態(tài)學(xué)梯度作為PCNN的激發(fā)項，以此作為高頻信息部分的融合規(guī)則，很好地保留了源始醫(yī)學(xué)圖像的特征信息。同樣是在NSST域內(nèi)，Hermessi等[8]提出一種將NSST結(jié)合全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Neural Network，F(xiàn)CNN)學(xué)習(xí)框架的圖像融合算法。通過訓(xùn)練好的CNN對NSST分解后的高頻信息進(jìn)行特征提取，很好地保留了源始醫(yī)學(xué)圖像各部分的信息，細(xì)節(jié)清晰，對比度、亮度等恰當(dāng)，極大提高了醫(yī)學(xué)融合圖像的視覺效果，但是該算法執(zhí)行起來耗時較長，對設(shè)備性能要求較高。

為使不同模態(tài)醫(yī)學(xué)圖像的特征信息充分融合到一幅圖像當(dāng)中，提高圖像融合質(zhì)量，增強(qiáng)融合結(jié)果的抗噪能力，豐富梯度、細(xì)節(jié)等信息，本文提出一種基于低秩表示(Latent Low Rank Representation，LatentLRR)[9]和NSST的MRI和CT醫(yī)學(xué)圖像融合方法。低秩表示方法LatentLRR可以將原始圖像分解成基礎(chǔ)圖、特征圖像和噪聲圖三部分，具有很強(qiáng)的去噪和特征提取能力。對特征圖使用方向引導(dǎo)濾波[10]進(jìn)行融合；對基礎(chǔ)圖進(jìn)行NSST分解后的高頻部分采用本文的局部梯度能量方法進(jìn)行融合，低頻部分使用本文的加權(quán)改進(jìn)拉普拉斯能量和SML(Sum of Modified Laplacian)進(jìn)行融合。

1 基本理論

1.1 低秩表示LatentLRR

低秩表示LRR[11]是在已經(jīng)確定學(xué)習(xí)字典之后，一種從稀疏噪聲中恢復(fù)低秩矩陣結(jié)構(gòu)的有效模型。用最低秩數(shù)矩陣的線性組合表示所有的數(shù)據(jù)向量，近幾年一直是圖像領(lǐng)域的研究熱點。相比于稀疏表示，低秩表示可以更好地表示數(shù)據(jù)的整體結(jié)構(gòu)。LRR的一般模型可以表示表示為：

(1)

s.t.XO=AZ

LatentLRR是在LRR基礎(chǔ)上發(fā)展而來，其不僅將已知的觀測矩陣作為學(xué)習(xí)字典，并考慮了隱藏的數(shù)據(jù)信息對學(xué)習(xí)字典的影響，具有很強(qiáng)的特征信息提取能力和去噪能力。為實現(xiàn)秩數(shù)最小化表示，可將LatentLRR看作帶有核范數(shù)的凸優(yōu)化問題：

(2)

s.t.XO=XOZ+LXO+E

(a) 原圖 (b) 基礎(chǔ) (c) 特征圖 (d) 噪聲圖圖1 LatentLRR分解結(jié)果

1.2 非下采樣剪切波變換NSST

小波變換只能對圖像在三個高通子帶進(jìn)行高頻部分信息分析，方向性信息有限，而通過經(jīng)典仿射系統(tǒng)理論將幾何分析與多分辨率分析結(jié)合發(fā)展而來的剪切波變換可以將圖像分解到各種方向上，可對圖像的細(xì)節(jié)、邊緣、輪廓等特征信息進(jìn)行更加詳細(xì)的分析處理。NSST[13-14]不僅具有平移不變性等優(yōu)良特性，并且由于分解過程沒有使用采樣運算，NSST不會產(chǎn)生吉布斯現(xiàn)象。在二維圖像空間中，帶有合成膨脹的仿射系統(tǒng)可以表示為：

MXY(ψ)={ψl,j,k(x)=|detXj/2|ψ(YlXjx-k)}

(3)

(4)

(5)

為實現(xiàn)函數(shù)ψi,j,k(x)需要以下頻率范圍作為支撐集:

(6)

(7)

為實現(xiàn)NSST，先對源圖像進(jìn)行非下采樣金字塔(Nosubsampled Pyramid,NSP)得到高頻信息部分和低頻信息部分。接著用以上方法對高頻信息部分進(jìn)行局部方向性分析。然后再對低頻信息部分繼續(xù)使用NSP分解，依次迭代操作完成對源始圖像的分解過程。相應(yīng)的對各子帶信息處理后，通過逆NSST運算便可以得到重構(gòu)圖像。

2 融合規(guī)則及融合方法

圖像融合一般包括三個研究方向：圖像分解方法、圖像融合規(guī)則和融合結(jié)果評價方法。當(dāng)圖像經(jīng)過恰當(dāng)?shù)亩喑叨确纸夥椒ǚ纸鉃楦哳l部分和低頻部分之后，需要一定的融合規(guī)則將對應(yīng)的信息進(jìn)行整合。融合規(guī)則作為圖像融合過程中的重要組成部分，對源始圖像信息的正確選取和最終融合結(jié)果的優(yōu)良具有決定性的作用。

2.1 特征圖融合規(guī)則

為充分將源始圖像經(jīng)過LatLRR分解得到的特征信息進(jìn)行有效融合處理，更加高效地保留相關(guān)重要特征信息，本文將引導(dǎo)濾波[15]與一組方向矩陣結(jié)合作為特征圖的融合規(guī)則。引導(dǎo)濾波是在局部線性模型的基礎(chǔ)上發(fā)展而來，在濾波過程中，算法實施起來簡單，使用一幅引導(dǎo)圖指導(dǎo)整個濾波過程，效率高，對圖像的邊緣等信息有著很好的平滑特性，是一種邊緣保持效果最好的邊緣保持濾波器[16-17]。本文中用GFF表示引導(dǎo)濾波器算法。

設(shè)輸入圖像為Pn，則通過以下方式使用平均濾波器AVA將源始圖像進(jìn)行分解：

Bn=Pn*AVA

Dn=Pn-B

(8)

式中：*為卷積運算符；Bn、Dn為分解后得到的圖像。為得到Bn、Dn的顯著性成分圖，并為提取更加豐富的細(xì)節(jié)信息，在計算權(quán)重圖時使用一組方向性矩陣。設(shè)拉普拉斯濾波器為LAPF，wi(i=1,2,…,8)為方向性矩陣，則有:

(9)

式中：Sn為顯著性成分圖。8個方向性矩陣分別為：

(10)

(11)

通過引導(dǎo)濾波分別得到Bn、Dn的權(quán)重圖：

(12)

式中：r1、ε1和r2、ε2為引導(dǎo)濾波相關(guān)參數(shù)。最后，可以通過以下方法得到特征圖的融合結(jié)果Ff：

(13)

2.2 NSST低頻部分融合規(guī)則

為提高融合圖像的對比度、進(jìn)一步提升對原始圖像細(xì)節(jié)等信息的豐富程度，本文采用窗口大小為3×3的加權(quán)改進(jìn)拉普拉斯能量和作為低頻融合規(guī)則。設(shè)經(jīng)過NSST分后的低頻圖為DBn(n=1,2,…,N)，則本文中在(x,y)位置處的加權(quán)拉普拉斯能量和MLn(x,y)由以下方式計算得到：

MLn(x,y)=

|1.6DBn(x,y)-0.8DBn(x-1,y)-0.8DBn(x+1,y)|+

|1.6DBn(x,y)-0.8DBn(x,y-1)-0.8DBn(x,y+1)|+

|2DBn(x,y)-DBn(x-1,y-1)-DBn(x+1,y+1)|+

|2DBn(x,y)-DBn(x+1,y-1)-DBn(x-1,y+1)|

(14)

然后，通過比較各個圖像在(x,y)處的能量和得到融合圖像Ffdb：

Ffdb(x,y)=DBn(x,y)

ifMLn(x,y)=max(ML1,ML2,…,MLN)

(15)

2.3 NSST高頻部分融合規(guī)則

經(jīng)過多層次、多方向性分解后，得益于NSST的優(yōu)良特性，圖像的特征信息已經(jīng)被充分表示出來。因此，本文中對NSST分解后的高頻信息部分采用局部梯度能量的方法進(jìn)行融合。

首先，分別計算高頻信息部分DGn在橫向和縱向的梯度DGngx、DGngy：

DGngx=gradientx(DGn)

DGngy=gradienty(DGn)

(16)

式中：gradientx、gradienty分別為橫向和縱向的梯度算子。

然后，取得綜合性梯度信息DGng：

(17)

通過以下方式計算DGng在(x,y)處的能量：

(18)

式中：w=3為低頻圖像;We為大小為3×3的局部窗，

(19)

設(shè)能量最大值為Fn(x,y):

Fn(x,y)=max{En(x+i,y+j)|1≤i,j≤3}

(20)

通過比較不同高頻信息的局部梯度能量得到權(quán)重:

(21)

從而，高頻部分融合后的圖像系數(shù)可以表示為：

(22)

通過對Ffdb和DGf使用逆NSST得到基礎(chǔ)圖融合結(jié)果。

2.4 融合方法

首先使用LatLRR將源始圖像分解為特征圖和基礎(chǔ)圖，對相應(yīng)的特征圖使用引導(dǎo)濾波進(jìn)行融合得到特征融合圖。然后將基礎(chǔ)圖進(jìn)行NSST分解得到高頻圖、低頻圖，對低頻圖使用加權(quán)改進(jìn)拉普拉斯能量和進(jìn)行融合，對高頻圖運用局部梯度能量進(jìn)行融合，對低頻融合結(jié)果和高頻融合結(jié)果使用逆NSST進(jìn)行圖像重構(gòu)得到基礎(chǔ)圖的融合結(jié)果。由于特征圖和基礎(chǔ)圖為互補(bǔ)的關(guān)系，因此最后通過加法運算將基礎(chǔ)融合圖和特征融合圖結(jié)合得到最終融合結(jié)果。融合框架如圖2所示。

圖2 本文算法融合框架

3 實驗結(jié)果及分析

為驗證本文算法的有效性，選取三組已經(jīng)配準(zhǔn)好的MRI-CT圖作為實驗對象，并與幾種經(jīng)典算法DWT(Discrete Wavelet Transform)[18]、FPDE(Fourth Order Partial Differential Equations)[19]、MSVD(Multi-resolution Singular Value Decomposition)[20]、NSCT-SF-PCNN[21]、CUR(Curvelet Transform)[22]作比較。其中，DWT、CUR的高頻部分、低頻部分分別采用取最大值、取平均值的融合方法。實驗結(jié)果如圖3-圖5所示。

(a) 源MRI1 (b) 源CT2 (c) 文獻(xiàn)[18] (d) 文獻(xiàn)[19]

(a) 源MRI2 (b) 源CT2 (c) 文獻(xiàn)[18] (d) 文獻(xiàn)[19]

(e) 文獻(xiàn)[20] (f) 文獻(xiàn)[21] (g) 文獻(xiàn)[22] (h) 本文算法圖4 第二組融合結(jié)果

(a) 源MRI3 (b) 源CT3 (c) 文獻(xiàn)[18] (d) 文獻(xiàn)[19]

(e) 文獻(xiàn)[20] (f) 文獻(xiàn)[21] (g) 文獻(xiàn)[22] (h) 本文算法圖5 第三組融合結(jié)果

為方便客觀評價各算法的融合結(jié)果，選取PSNR、VIF、STD、Qabf作為評價指標(biāo)。PSNR可以反映算法在融合過程中對噪聲的抑制能力；VIF是判斷融合圖像結(jié)果對人眼視覺習(xí)慣符合程度的重要指標(biāo)；STD可以對圖像對比度信息進(jìn)行評測；Qabf是反映融合結(jié)果中對源始圖像邊緣信息保留情況的有效指標(biāo)。以上各項評測方法均為值越大，融合效果越好。圖3-圖5的各項評測指標(biāo)分別如表1-表3所示。

表1 圖3各算法的評測指標(biāo)

表2 圖4各算法的評測指標(biāo)

表3 圖5各算法的評測指標(biāo)

從圖3-圖5各算法的融合結(jié)果可以看出，文獻(xiàn)[19-20]邊緣、細(xì)節(jié)信息不夠清晰，有很強(qiáng)的涂抹感。文獻(xiàn)[18，21-22]對CT圖的信息保留較少，并帶有噪點。文獻(xiàn)[18]CT圖信息明顯融合不均，文獻(xiàn)[22]細(xì)節(jié)信息豐富，但亮度、對比度不及本文算法。表1-表3更加客觀地反映了各算法融合結(jié)果的差異性，這與圖3-圖5的視覺感受相符。顯然，本文算法在各項指標(biāo)中占有優(yōu)勢，具有很強(qiáng)的抗噪聲能力，原始圖像的細(xì)節(jié)信息保留最好，對比度、梯度信息豐富，更加符合人眼視覺習(xí)慣，更能滿足臨床診斷的需求。

4 結(jié) 語

醫(yī)學(xué)圖像融合是提高臨床診斷效率的重要方法。本文運用方向引導(dǎo)濾波、加權(quán)改進(jìn)拉普拉斯能量和等作為融合規(guī)則，提出一種基于低秩表示和NSST的MRI/CT醫(yī)學(xué)圖像融合方法，其實現(xiàn)簡單，在一定程度上提高了融合圖像的抗噪能力、細(xì)節(jié)梯度信息，并擁有不錯的視覺效果。今后將努力完善本文算法，挖掘本文算法在多通道醫(yī)學(xué)圖像中的應(yīng)用價值。