徐磊，曹艷

南京醫(yī)科大學(xué)附屬南京醫(yī)院（南京市第一醫(yī)院） 核醫(yī)學(xué)科，江蘇 南京 210006

基于NSCT的多模態(tài)醫(yī)學(xué)圖像融合算法的研究

徐磊，曹艷

南京醫(yī)科大學(xué)附屬南京醫(yī)院（南京市第一醫(yī)院） 核醫(yī)學(xué)科，江蘇 南京 210006

目的提出一種新穎的非下采樣輪廓波變換算法，并將其用于多模態(tài)醫(yī)學(xué)圖像融合領(lǐng)域。方法第一步，采用非下采樣輪廓波變換將源圖像分解為高頻和低頻子圖像；第二步，低頻部分采用區(qū)域均值取大融合規(guī)則，能保留圖像的絕大部分信息，獲得更高的對比度和清晰度，高頻圖像采用取大區(qū)域方差取大融合原則，能有效地突出圖像細節(jié)信息；第三步，采用非下采樣輪廓波逆變換將融合子圖像進行重構(gòu)運算，獲得最終的融合圖像。結(jié)果6組醫(yī)學(xué)圖像融合實驗表明，基于本文提出算法獲得的融合圖像質(zhì)量最佳，且定量評價指標(biāo)熵、平均值、標(biāo)準(zhǔn)差、邊緣強度分別較其他算法提升0～40%、3%～42%、1%～42%和0.4%～48%。結(jié)論基于本文提出的算法融合效果優(yōu)越，具有較高普適性和實用性，是一種可行的、有效的醫(yī)學(xué)圖像融合算法。

非下采樣輪廓波變換；多模態(tài)圖像融合；融合規(guī)則；醫(yī)學(xué)影像

引言

隨著醫(yī)學(xué)影像設(shè)備學(xué)、計算機技術(shù)和生物醫(yī)學(xué)工程的迅速發(fā)展，醫(yī)學(xué)影像設(shè)備提供了多種模態(tài)的醫(yī)學(xué)圖像[1]。由于各模態(tài)影像設(shè)備成像原理不同，單一模態(tài)醫(yī)學(xué)圖像包含的信息有限，且不同模態(tài)圖像之間存在互補和冗余，其中MRI、CT、USG和MRA能提供高分辨率的解剖圖像，而PET、SPECT和fMRI提供低分辨率的功能圖像。怎樣將解剖與功能成像結(jié)合在一起以便獲得對同一目標(biāo)更有用、更精確的信息，多模態(tài)醫(yī)學(xué)圖像融合技術(shù)是目前唯一一種能將多種圖像的相關(guān)互補信息結(jié)合在一幅圖像上的方法，被廣泛應(yīng)用于臨床診斷、外科手術(shù)、放療等方面[2]。

多年來國內(nèi)外在圖像融合領(lǐng)域的研究成果表明[3-4]，圖像融合技術(shù)可分為3類：像素級融合、特征級融合和決策級融合。由于像素級融合直接作用于圖像像素空間，容易實施，運算效率高，且能提供更豐富可靠的信息，是目前最常用的融合算法。最簡單的像素級融合算法是像素灰度平均法[5]，此法直接在圖像像素空間上進行融合，融合圖像對比度較差；主成分分析法（PCA）、獨立成分分析法（ICA）、IHS變換法等方法的融合性能有所提升，但均存在光譜退化的不足[6]；高斯金字塔、拉普拉斯金字塔、形態(tài)學(xué)金字塔等方法的融合效果受塊效應(yīng)影響較大[7]；離散小波變換近階段開始興起，但融合過程容易產(chǎn)生奇異點，且捕捉各方向信息的能力有限[8]；輪廓波變換能給出圖像輪廓的漸近最優(yōu)表示，但上下采用輪廓波變換具有移變性，且容易產(chǎn)生偽吉布斯現(xiàn)象[9]；非下采樣輪廓波變換（Non-Sampled Contourlet Transform，NSCT）繼承了輪廓波變換的優(yōu)勢[10]，具有移不變性和冗余性，能有效地抑制偽吉布斯現(xiàn)象，使得NSCT方法成為一種高效可行的圖像融合算法。

本文主要研究像素級水平上的圖像融合，方法是基于非下采樣輪廓波變換的改進算法，構(gòu)建了低頻區(qū)域均值取大、高頻區(qū)域方差取大相結(jié)合的融合規(guī)則，并對融合圖像進行一致性檢驗。

1 方法

1.1 非下采樣輪廓波變換理論

NSCT早由Cunha提出，是一種基于輪廓波變換的理論，在幾何變換和圖像處理方面均取得很好的效果[11]。由于在拉普拉斯金字塔和方向濾波器組中使用上采樣和下采樣，輪廓波變換不可避免帶有移變性，然而非下采樣輪廓波變換具有移不變、多尺度和多方向等性質(zhì)，主要由非下采樣金字塔濾波器組（Non-Subsampled Pyramid Filter Bank，NSPFB）和非下采樣方向濾波器組（Non-Subsampled Directional Filter Bank，NSDFB）組成（圖1）。圖1很好地解釋了非下采樣輪廓波變換的分解，其中NSCT的多尺度特性由兩個非下采樣金字塔濾波器組保證，一次NSCT分解可獲得一個低頻子圖像和一個高頻子圖像，然后在NSPFB分解水平上，低頻部分可以進一步分解捕捉圖像的奇異點，分解層數(shù)為L時，可獲得一幅低頻子圖像和L幅高頻子圖像，高低頻子帶圖像尺寸均與源圖像大小相同[12-13]。

圖1 基于NSCT的圖像分解

非下采樣方向濾波器組保證了NSCT的多方向性，可以提供圖像更多的方向信息，且可以避免使用濾波器中上采樣和下采樣的操作。NSDFB可對高頻子圖像進行k層分解，得到與源圖像尺寸相同的2k個方向子圖像。

1.2 非下采樣輪廓波變換的圖像融合過程

NSCT是一種快速多尺度的圖像融合方法，有著特征區(qū)域、多分辨率分解、邊緣檢測、能量壓縮等優(yōu)勢[14]?；贜SCT的圖像融合過程，見圖2。

圖2 基于NSCT的圖像融合過程

具體圖像融合的一般過程如下：① 選擇高度配準(zhǔn)的圖像作為源圖像；② 采用NSCT進行源圖像分解，獲得各尺度和方向的高低頻子帶系數(shù)；③ 采用高低頻融合規(guī)則對高低頻子圖像進行融合處理；④ 將融合后的子圖像進行NSCT逆變換即得融合圖像。

2 本文提出的融合算法

本文提出的NSCT融合流程，見圖3。以CT與MRI融合為例，多模態(tài)醫(yī)學(xué)圖像在融合之前需要進行預(yù)處理，主要包括圖像配準(zhǔn)、圖像尺寸調(diào)整和濾波。

不同模態(tài)醫(yī)學(xué)圖像描述的目標(biāo)對象在空間上并不一一對應(yīng)，圖像配準(zhǔn)可校準(zhǔn)同一目標(biāo)的空間位置[15]；不同設(shè)備采集的圖像尺寸大小并不相同，需要采用插值法歸一化圖像尺寸大小[16]；由于中值濾波器能降低多種噪聲，且保存圖像邊緣，因此采用中值濾波器對源圖像進行濾波處理。

圖3 以CT和MRI融合為例展示本文提出的融合算法流程

2.1 低頻系數(shù)融合規(guī)則

低頻子帶系數(shù)代表圖像的主體信息，本文采用鄰域平均值取大獲得融合低頻系數(shù)，可以有效地提高融合圖像對比度和亮度。首先計算各低頻子圖像3×3鄰域內(nèi)灰度平均值，然后取較大值作為低頻融合系數(shù)。如公式(1)和(2)所示，μ(p)表示子圖像中以（m，n）為中心的鄰域低頻系數(shù)平均值，，，分別表示源圖像A、B和融合圖像F在K層NSCT分解的系數(shù)。

2.2 高頻系數(shù)融合規(guī)則

融合圖像中應(yīng)包含源圖像中所有的有用信息，這些有用信息表現(xiàn)為圖像的邊緣、線條和邊界，由高頻子帶系數(shù)表示。由于NSCT分解后的3個高頻具有一定的方向性，分為代表水平、垂直和對角線方向的細節(jié)部分，在同一分解尺度上，3個高頻子帶中對應(yīng)位置的系數(shù)大小不等，圖像的細節(jié)部分主要集中在方向大的高頻系數(shù)上。因此，本文采用區(qū)域方差取大的融合規(guī)則，既能考慮鄰域內(nèi)像素之間的關(guān)聯(lián)性，也最大限度的保留源圖像的細節(jié)部分，保證圖像的清晰度。公式如下：

2.3 圖像的一致性檢驗

圖像一致性檢驗是基于圖像區(qū)域“多數(shù)”原則進行的[17]。當(dāng)融合子圖像某一區(qū)域內(nèi)某個數(shù)像素來自子圖像A ，而其領(lǐng)域內(nèi)大多數(shù)像素卻來自子圖像B，則將該像素點的系數(shù)應(yīng)用子圖像B來替換相應(yīng)位置的系數(shù)。

2.4 圖像融合評價體系

本文綜合使用定性分析和定量分析評價融合圖像的質(zhì)量[18]。其中定性分析主要基于圖像的視覺效果，參考標(biāo)準(zhǔn)為圖像清晰度、對比度、亮度等。定量分析主要基于圖像評價指標(biāo)，不同文獻采用的評價指標(biāo)存在不足或冗余。本文將評價指標(biāo)分為4類：基于信息量的評價、基于圖像對比度的評價、基于圖像平均灰度的評價、基于圖像邊緣強度的評價，選取每個類別中最具代表性的指標(biāo)作為定量評價標(biāo)準(zhǔn)，分別為圖像平均灰度、標(biāo)準(zhǔn)差、熵、邊緣相似性測度，評價指標(biāo)值越大，說明圖像融合效果越好。

3 實驗結(jié)果與分析

為了驗證本文提出算法的可行性、普適性和實用性，選用CT、MRI、PET等醫(yī)學(xué)圖像，分成6組進行測試，每組包括兩幅圖像：① 腦部MRI-T1加權(quán)圖像和MRA圖像；② 腦部MRA-GAD圖像與腦部CT圖像；③ 腦部MRI圖像和腦部PET圖像；④ MRI圖像和CT圖像；⑤ CT圖像和PET圖像；⑥ 脊柱CT圖像和MRI圖像。5組圖像經(jīng)配準(zhǔn)和尺寸調(diào)整后，大小均為256×256，具有256個灰階，所用融合算法均在Matlab 2010a開發(fā)環(huán)境下仿真實現(xiàn)。將本文提出的融合算法與像素平均法[19]、基于取大規(guī)則的傳統(tǒng)離散小波變換法[20]、NSCT-1[21]和NSCT-2[22]進行比較，融合結(jié)果，見圖4。

3.1 定性分析

6組圖像的融合結(jié)果，見圖 4。圖 a3～a7，b3～b7、c3～c7、d3～d7、e3～e7、f3～f7 分別對應(yīng)像素平均法、離散小波變換法、NSCT-1、NSCT-2和本文提出算法的融合結(jié)果。從視覺效果看，基于本文提出算法的融合圖像a7對比度最優(yōu)；b7圖像分辨率最高，且很好的突出腦部CT的細節(jié)部分；c7保留了大部分的PET圖像信息，突出MRI圖像目標(biāo)區(qū)域；d7圖像中邊界清晰，突出了CT和MRI的細節(jié)部分；e7完整結(jié)合了PET和CT圖像信息，其中PET提示有無功能病變，CT提供衰減校正和定位，圖像中小細節(jié)部分更加清晰；f7種骨骼圖像亮度最高，完美結(jié)合CT和MRI的脊柱信息。表明本文融合算法的可行性、穩(wěn)健性與優(yōu)越性。

3.2 客觀定量評價

不同算法所得融合圖像的熵，平均值，標(biāo)準(zhǔn)差和邊緣相似性測度，見圖5～8所示。可以看出，基于像素平均法獲得的熵在6組融合圖像中均最??；基于離散小波變換獲得的熵值有所提升，但熵值仍然較??；基于NSCT-1和NSCT-2方法的熵值高于前兩種方法；基于本文融合算法所得的熵，在6組融合圖像中均獲得最大值，較其他4種方法提升了0～40%，表明基于本文算法的融合圖像信息量最大，融合效果最優(yōu)。

同理，基于像素平均法獲得的平均值、標(biāo)準(zhǔn)差和邊緣相似性測度在6組融合圖像中均最小；基于離散小波變換獲得的3個指標(biāo)均優(yōu)于像素平均法，但低于NSCT和本文提出的算法；基于NSCT-1和NSCT-2方法的優(yōu)于前兩種融合算法，但兩者之間不具備可比性，這是由于在某些組融合圖像中NSCT-1優(yōu)于NSCT-2；基于本文融合算法所得的平均值、標(biāo)準(zhǔn)差和邊緣相似性測度，在6組融合圖像中均獲得最大值，較其他4種方法分別提升了3%～42%、1%～42%和0.4%～48%，表明基于本文算法適用于CT，MRI和PET任意組合的融合，融合圖像邊緣強度、對比度、清晰度均最優(yōu)。

4 結(jié)論

多模態(tài)醫(yī)學(xué)圖像融合技術(shù)是一種強有力的圖像處理工具，對臨床疾病診斷至關(guān)重要。本文提出了一種基于NSCT的圖像融合改進算法，其中高低頻融合規(guī)則克服了傳統(tǒng)規(guī)則的局限性，其中區(qū)域均值取大能更好地保留低頻信息，高頻方向系數(shù)區(qū)域方差取大可突出圖像邊緣細節(jié)；對于不同模態(tài)圖像融合，本文提出的算法均能獲得高質(zhì)量的融合圖像。定性和定量分析同時驗證了本文提出算法優(yōu)于現(xiàn)存的其他融合方法，具有很強的普適性和穩(wěn)健性，是一種可行的、有效的圖像融合算法，具有較強的臨床應(yīng)用價值。

圖4 不同融合算法所得的融合圖像

圖5 不同融合算法所得的熵比較

圖6 不同融合算法所得的平均值比較

圖7 不同融合算法所得的邊緣相似性測度比較

圖8 不同融合算法所得的標(biāo)準(zhǔn)差比較

[1] 高峰,李梅,仇振釗.一種多模態(tài)醫(yī)學(xué)圖像數(shù)據(jù)融合方法與應(yīng)用[J].中國醫(yī)療設(shè)備,2013,28(5):164-167.

[2] 靳珍怡,王遠軍.基于非下采樣輪廓波變換的多模態(tài)醫(yī)學(xué)圖像融合[J].中國醫(yī)學(xué)物理學(xué)雜志,2016,(5):445-450.

[3] 楊勇,童松,黃淑英.快速離散Curvelet變換域的圖像融合[J].中國圖象圖形學(xué)報,2015,20(2):219-228.

[4] 趙春暉,郭蘊霆.一種快速的基于稀疏表示和非下采樣輪廓波變換的圖像融合算法[J].電子與信息學(xué)報,2016,38(7):1773-1780.

[5] Adali T,Levin-Schwartz Y,Calhoun VD.Multimodal data fusion using source separation: application to medical imaging[J].Proc IEEE,2015,103(9):1494-1506.

[6] Xu P,Davoine F,Bordes JB,et al.Multimodal information fusion for urban scene understanding[J].Mach Vision Appl,2016,27(3):331-349.

[7] 靳珍怡,王遠軍.基于非下采樣輪廓波變換的多模態(tài)醫(yī)學(xué)圖像融合[J].中國醫(yī)學(xué)物理學(xué)雜志,2016,(5):445-450.

[8] Da CA,Zhou J,Do MN.The nonsubsampled contourlet transform: theory, design, and applications[J].IEEE T ImageProcessing,2006,15(10):3089-101.

[9] Liu Z,Yin H,Chai Y,et al.A novel approach for multimodal medical image fusion[J].Expert Syst Appl,2014,41(16):7425-7435.

[10] Yang Y,Tong S,Huang S,et al.Log-Gabor Energy Based Multimodal Medical Image Fusion in NSCT Domain[J].Comput Math Methods Med,2014,2014(2):1-11.

[11] Yang L,Guo BL,Ni W.Multimodality medical image fusion based on multiscale geometric analysis of contourlet transform[J].Neurocomputing,2008,72(1):203-211.

[12] James AP,Dasarathy BV.Medical image fusion: a survey of the state of the art[J].Inform Fusion,2014,19(3):4-19.

[13] Das S,Kundu MK.Corrections to “a neuro-fuzzy approach for medical image fusion”[J].IEEE T Bio-Med Eng,2015,62(4):1226-1226.

[14] Zhang B,Zhang C,Wu J,et al.A medical image fusion method based on energy classification of BEMD components[J].Optik,2014,125(1):146-153.

[15] 張鑫,陳偉斌.Contourlet變換系數(shù)加權(quán)的醫(yī)學(xué)圖像融合[J].中國圖象圖形學(xué)報,2014,19(1):133-140.

[16] 周生龍,張濤,蒯多杰,等.基于方向區(qū)域的NSCT圖像融合算法[J].激光與紅外,2013,43(2):204-207.

[17] 李棟,王敬東,李鵬.基于NSCT變換和小波變換相結(jié)合的圖像融合算法研究[J].光電子技術(shù),2011,31(2):87-92.

[18] 王杰雄,齊向陽,李欣偉,等.基于邊緣和局部能量的NSCT變換遙感圖像融合[J].中國科學(xué)院大學(xué)學(xué)報,2009,26(5):657-662.

[19] 高清河,剛晶,王和禹,等.基于小波變換的多模態(tài)醫(yī)學(xué)圖像的融合及性能評價[J].生物醫(yī)學(xué)工程研究,2014,33(4):259-263.

[20] 徐磊,崔璨,張華偉,等.基于離散小波變換的多模態(tài)醫(yī)學(xué)圖像融合改進算法的研究[J].重慶醫(yī)學(xué),2016,45(21):2885-2889.

[21] Qu XB,Yan JW,Xiao HZ,et al.Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in nonsubsampled contourlet transform domain[J].Acta Automatica Sinica,2008,34(12):1508-1514.

[22] Bhatnagar G,Wu QMJ,Liu Z.Directive contrast based multimodal medical image fusion in NSCT domain[J].IEEE T Multimedia,2013,15(5):1014-1024.

A Novel Method for Multimodal Medical Image Fusion Based on Non-Subsampled Contourlet Transform

XU Lei, CAO Yan
Department of Nuclear Medicine, Nanjing First Hospital, Nanjing Medical University, Nanjing Jiangsu 210006, China

ObjectiveIn this paper, a novel method for the fusion of multimodal medical images is proposed based on nonsubsampled contourlet transform (NSCT).MethodsFirstly, the source medical images were initially transformed by NSCT followed by fusing low and high frequency sub-bands. Secondly, the low frequency components of NSCT were fused by the maximum local mean scheme and high frequency components were fused by the maximum local variance scheme. Thirdly, the use of variance enhanced the fusion scheme by preserving the edges in the images. These combinations significantly preserved more details in the source images and improved the quality of the fused images. Finally, the fused image was reconstructed by inverse non-subsampled contourlet transform.ResultsThe efficiency of the suggested technique was carried out by fusion experiments on 6 different multimodality medical image pairs, visually and quantitatively experimental results indicated that the percentage improvement in entropy, mean, standard deviation and edge strength in proposed method were 0～40%, 3%～42%, 1%～42%, and 0.4%～48%compared to conventional methods for 6 pairs of medical images.ConclusionThe proposed method can obtain more efficient and accurate fusion results. It can provide better robustness, superiority and become a feasible image fusion algorithm.

non subsampled contourlet transform; multimodal medical image fusion; fusion rule; medical imaging

TP391

A

10.3969/j.issn.1674-1633.2017.12.015

1674-1633(2017)012-0063-05

2016-11-15

2016-12-23

國家自然科學(xué)基金（81271604）。

曹艷，副主任技師，主要研究方向為核醫(yī)學(xué)技術(shù)。

通訊作者郵箱：yancao97918@126.com

本文編輯 王靜