董 俠，王麗芳，秦品樂，高 媛

(中北大學 計算機與控制工程學院，太原 030051)

改進耦合字典學習的腦部CT/MR圖像融合方法

董 俠，王麗芳*，秦品樂，高 媛

(中北大學 計算機與控制工程學院，太原 030051)

(*通信作者電子郵箱wsm2004@nuc.edu.cn)

針對目前使用單字典表示腦部醫(yī)學圖像難以得到精確的稀疏表示進而導致圖像融合效果欠佳，以及字典訓練時間過長的問題，提出了一種改進耦合字典學習的腦部計算機斷層成像(CT)/磁共振成像(MR)圖像融合方法。該方法首先將CT和MR圖像對作為訓練集，使用改進的K奇異值分解(K-SVD)算法聯(lián)合訓練分別得到耦合的CT字典和MR字典，再將CT和MR字典中的原子作為訓練圖像的特征，并使用信息熵計算字典原子的特征指標；然后，將特征指標相差較小的原子看作公共特征，其余為各自特征，并分別使用“平均”和“選擇最大”的規(guī)則融合CT和MR字典的公共特征和各自特征得到融合字典；其次，將配準的源圖像編纂成列向量并去除均值，在融合字典的作用下由系數(shù)重用正交匹配追蹤(CoefROMP)算法計算得到精確的稀疏表示系數(shù)，再分別使用“2范數(shù)最大”和“加權平均”的規(guī)則融合稀疏表示系數(shù)和均值向量；最后通過重建得到融合圖像。實驗結果表明，相對于3種基于多尺度變換的方法和3種基于稀疏表示的方法，所提方法融合后圖像在亮度、清晰度和對比度上都更優(yōu)，客觀參數(shù)互信息、基于梯度、基于相位一致和基于通用圖像質量指標在三組實驗條件下的均值分別為：4.113 3、0.713 1、0.463 6和0.762 5，字典學習在10次實驗條件下所消耗的平均時間為5.96min。該方法可以應用于臨床診斷和輔助治療。

醫(yī)學圖像融合；K奇異值分解；系數(shù)重用正交匹配追蹤；稀疏表示；字典訓練

0 引言

在醫(yī)學領域，醫(yī)生需要對同時具有高空間和高光譜信息的單幅圖像進行研究和分析，以便對疾病進行準確診斷和治療[1]。這種類型的信息僅從單模態(tài)圖像中無法獲取，例如：計算機斷層成像(Computed Tomography, CT)能夠捕捉人體的骨結構，具有較高的分辨率，而磁共振成像(Magnetic Resonance, MR)能夠捕捉人體器官的軟組織如肌肉、軟骨、脂肪等細節(jié)信息。因此，將CT和MR圖像的互補信息相融合以獲取更全面豐富的圖像信息，可為臨床診斷和輔助治療提供有效幫助[2]。

目前應用于腦部醫(yī)學圖像融合領域比較經(jīng)典的方法是基于多尺度變換的方法：離散小波變換(Discrete Wavelet Transform, DWT)[3]、平穩(wěn)小波變換(Stationary Wavelet Transform, SWT)[4]、雙樹復小波變換(Dual-Tree Complex Wavelet Transform, DTCWT)[5]、拉普拉斯金字塔(Laplacian Pyramid, LP)[6]、非下采樣Contourlet變換(Non-Subsampled Contourlet Transform, NSCT)[7]。基于多尺度變換的方法能夠很好地提取圖像的顯著特征，并且計算效率較高，但是多尺度分解水平不易確定，分解層數(shù)太少則不能提取足夠多的細節(jié)信息，分解層數(shù)太多則融合過程對圖像誤配準更加敏感，分解層數(shù)需要在細節(jié)提取能力和對誤配準魯棒性之間做出折中。另外，傳統(tǒng)的融合策略也會導致融合圖像對比度丟失。隨著壓縮感知[8]的興起，基于稀疏表示的方法[9-10]被廣泛用于圖像融合領域，并取得了極佳的融合效果。Yang等[11]使用冗余的離散余弦變換(Discrete Cosine Transform, DCT)字典稀疏表示源圖像，并使用“選擇最大”的規(guī)則融合稀疏系數(shù)。DCT字典是一種隱式字典，易于快速實現(xiàn)，但是其表示能力有限。Aharon等[12]提出K奇異值分解(K-means-based Singular Value Decomposition, K-SVD)算法用于從訓練圖像中學習字典。與DCT字典相比，學習的字典是一種自適應于源圖像的顯式字典，具有較強的表示能力。學習的字典中將僅從自然圖像中采樣訓練得到的字典稱為單字典，單字典可以表示任意一幅與訓練樣本類別相同的自然圖像，但對于結構復雜的腦部醫(yī)學圖像，使用單字典既要表示CT圖像又要表示MR圖像，難以得到精確的稀疏表示系數(shù)。Ophir等[13]提出小波域上的多尺度字典學習方法，即在小波域上對所有子帶分別使用K-SVD算法訓練得到所有子帶對應的子字典。多尺度字典有效地將解析字典和學習的字典的優(yōu)勢相結合，能夠捕捉圖像在不同尺度和不同方向上包含的不同特征。但是所有子帶的子字典也是單字典，使用子字典對所有子帶進行稀疏表示仍然難以得到精確的稀疏表示系數(shù)，并且分離的字典學習時間效率較低。Yu等[14]提出基于聯(lián)合稀疏表示的圖像融合方法兼具去噪功能。這種方法是對待融合的已配準源圖像本身進行字典學習，根據(jù)聯(lián)合稀疏模型的第一種模型(Joint Sparsity Model-1, JSM-1)提取待融合圖像的公共特征和各自特征，再分別組合并重構得到融合圖像。這種方法由于是對待融合源圖像本身訓練字典所以適用于腦部醫(yī)學圖像，可以得到精確的稀疏表示系數(shù)；但是對于每對待融合的源圖像都需要訓練字典，時間效率低，缺乏靈活性。

針對上述問題，本文提出一種適用于腦部CT/MR圖像融合的方法。不同于單字典的樣本采集方式，該方法首先將高質量的腦部CT/MR圖像對作為訓練集，使用改進的K-SVD算法聯(lián)合訓練分別得到耦合的CT字典和MR字典，再結合空間域的方法融合CT和MR字典得到融合字典。融合字典很好地保留了CT和MR訓練圖像的特征，使用這樣一個融合字典就可以同時準確地表示CT和MR源圖像并得到精確的稀疏表示系數(shù)。其次，在耦合的特征空間下使用改進的K-SVD算法聯(lián)合訓練字典較其他幾種經(jīng)典字典學習方法提高了字典學習的時間效率。最后，在融合階段將源圖像列向量的均值去掉，這樣只保留了圖像紋理信息而不是圖像的強度值，再使用不同的融合規(guī)則組合重構各部分得到融合圖像。實驗結果表明本文提出的方法在主觀視覺和客觀參數(shù)上性能較優(yōu)。

1 稀疏表示和字典學習

稀疏表示理論的基本假設是：任何給定的自然信號都可以表示為字典中原子的稀疏線性組合[15]。對給定的信號x∈Rn，信號x的稀疏表示可以描述為x=Dα，其中矩陣D=(d1,d2,…,dm)∈Rn×m是一個字典，每個列向量di∈Rn(i=1,2,…,m)是字典D的一個原子，向量α∈Rm是含有一些非零元素的稀疏系數(shù)。稀疏系數(shù)α的計算式如下：

(1)

式中：向量α的稀疏水平是由l0范數(shù)衡量的；‖α‖0表示向量α中非零元素的個數(shù)；ε表示允許偏差的精度。問題(1)的求解過程稱為“稀疏編碼”。

在稀疏表示中，字典D的選擇是非常關鍵的。構造字典的兩種主要方法是：解析方法和基于學習的方法。與解析方法相比，基于學習的方法可以提高字典的性能和靈活性，應用范圍更廣。

(2)

s.t. ?i,‖αi‖0≤τ

式中：符號‖·‖F(xiàn)表示F范數(shù)；τ是稀疏矩陣A的稀疏度。MOD和K-SVD都是迭代算法，通過交替地執(zhí)行稀疏編碼和字典更新這兩個步驟得到問題(2)的解。

2 改進的耦合字典學習和融合字典

精確的稀疏表示是圖像融合成功的關鍵。經(jīng)典的模型是從自然圖像當中訓練一個超完備字典來描述源圖像。與自然圖像相比，醫(yī)學圖像具有灰度不均勻、對比度低等特點，使用這樣的超完備字典并不能精確地表示CT和MR圖像?；诖耍疚奶岢鍪褂酶倪M的K-SVD算法聯(lián)合訓練分別得到耦合的CT字典和MR字典，耦合的字典學習能夠更高效完整地提取CT和MR圖像的特征，然后再結合空間域的方法融合CT字典和MR字典得到融合字典。由于融合字典同時包含了CT和MR圖像的特征，所以使用融合字典表示這兩種源圖像能夠得到更精確的稀疏表示系數(shù)，從而提高腦部醫(yī)學圖像融合的質量。本文將提出的基于改進耦合字典學習的腦部CT/MR圖像融合方法簡記為ICDL(ImprovedCoupledDictionaryLearning)。圖1為ICDL方法的流程。

圖1 ICDL方法的流程

2.1 改進的耦合字典學習

本文使用的訓練集是8個已經(jīng)配準的CT和MR圖像對，這些圖像對來自哈佛大學醫(yī)學院[17]，如圖2所示。從訓練集中采樣得到向量對{XC,XR}，定義XC)∈Rd×n為n個采樣的CT圖像向量組成的矩陣，XR)∈Rd×n作為對應的n個采樣的MR圖像向量組成的矩陣。根據(jù)文獻[18]和[19]，本文的目標是在耦合的特征空間下訓練兩個字典DC,DR∈Rd×N，使得CT和MR訓練圖像在相應的字典作用下具有相同的稀疏表示系數(shù)A∈RN×n。圖3為ICDL方法的字典學習過程。

傳統(tǒng)的耦合字典學習問題可表示為：

(3)

圖2 訓練集

圖3 ICDL方法的字典學習過程

本文的耦合字典訓練使用改進的K-SVD算法[20]，該算法是在字典學習代價函數(shù)式(3)中加入支撐完整的先驗信息[21]，交替地更新DC、DR和A，對應的訓練優(yōu)化問題如下：

(4)

s.t. ‖A‖0≤τ,A⊙M=0

式中：⊙代表點乘；掩膜矩陣M由元素0和1組成，定義為M={|A|=0}，等價于如果A(i,j)=0則M(i,j)=1，否則為0。因此A⊙M=0能使A中所有零項保持完備。引入輔助變量：

(5)

(6)

則問題式(4)可以等價地轉化為：

s.t. ‖A‖0≤τ,A⊙M=0

(7)

式(7)的求解過程分為稀疏編碼和字典更新兩個步驟。

s.t.A⊙M=0

(8)

分別對系數(shù)矩陣A中每一列的非零元素進行處理，而保持零元素完備，則式(8)可以轉換為式(9)：

(9)

其次，在字典更新階段，式(7)的優(yōu)化問題可以轉化為式(10)：

s.t.A⊙M=0

(10)

則式(10)的補償項可以寫為：

(11)

最后，循環(huán)執(zhí)行稀疏編碼和字典更新這兩個階段，直至達到預設的迭代次數(shù)為止，輸出一對耦合的DC和DR字典。由于字典更新階段同時更新字典和稀疏表示系數(shù)的非零元素，使得字典的表示誤差更小且字典的收斂速度更快。在稀疏編碼階段，考慮到每次迭代時都忽略前一次迭代的表示，CoefROMP算法提出利用上次迭代的稀疏表示殘差信息進行系數(shù)更新，從而更快地得到所要求問題的解[21]。

2.2 融合字典

為構造一個同時包含CT和MR兩種圖像特征的字典，使得這個字典能夠同時精確地表示CT和MR源圖像?？紤]到2.1節(jié)中CT和MR訓練圖像在一對耦合字典的作用下具有相同的稀疏表示系數(shù)，因此將CT和MR字典中的原子作為訓練圖像的特征，再結合空間域的方法融合CT和MR字典得到融合字典。

具體地，令DC,DR∈Rd×N，LC(n)和LR(n)(n=1,2,…,N)分別代表CT字典和MR字典的第n個原子的特征指標。由于腦部CT和MR圖像是對應于人體同一部位由不同成像設備獲取的圖像，因此兩者之間一定存在著公共特征和各自特征。本文提出：將特征指標相差較大的原子看作各自特征，使用“選擇最大”規(guī)則融合；特征指標相差較小的原子看作公共特征，使用“平均”的規(guī)則融合。融合字典的計算式表示如下：

DF(n)=

(12)

式中：設λ=0.25，DF∈Rd×N表示融合字典。根據(jù)醫(yī)學圖像的物理特性，使用信息熵[22]作為特征指標。這種方法將稀疏域和空間域的方法結合起來，考慮了醫(yī)學圖像的物理特性計算字典原子的特征指標，與稀疏域的方法相比，具有更加明確的物理意義。

3 腦部CT/MR圖像融合過程

不失一般性，設已經(jīng)配準的腦部CT/MR源圖像IC,IR∈RMN。圖4為腦部CT/MR圖像融合流程，融合過程如下：

(13)

(14)

(15)

(16)

其中：DF是由2.2節(jié)提出的融合字典。

(17)

(18)

(19)

圖4 腦部CT/MR圖像融合

4 實驗結果與分析

本文的實驗環(huán)境為：32位Windows7操作系統(tǒng)、MatlabR2013a、Inteli3- 2350 2.3GHz處理器、4GB運行內存。為驗證本文方法的有效性，選取三組已經(jīng)配準的腦部CT/MR圖像進行融合，分別為正常腦部CT/MR(圖5(a)、(b))、腦萎縮CT/MR(圖6(a)、(b))、腦腫瘤CT/MR(圖7(a)、(b))，圖片大小均為256×256。選取的對比算法有：離散小波變換(DWT)[3]、平穩(wěn)小波變換(SWT)[4]、非下采樣Contourlet變換(NSCT)[7]、傳統(tǒng)基于選擇最大的稀疏表示方法(SparseRepresentation“choose-Max”-based,SRM)[11]、基于K-SVD的稀疏表示方法(SparseRepresentationbasedonK-SVD,SRK)[12]、基于多尺度字典學習的方法(Multi-scaleDictionaryLearning,MDL)[13]。

基于多尺度變換的方法中，對于DWT和SWT方法，分解水平都設為3,小波基分別設為“db6”和“bior1.1”。NSCT方法使用“9—7”金字塔濾波器和“c—d”方向濾波器，分解水平設為{22,22,23,24}?；谙∈璞硎镜姆椒ㄖ谢瑒硬介L為1，圖像塊大小均為8×8，字典大小均為64×256，誤差ε=0.01，稀疏度τ=6。ICDL方法使用改進的K-SVD算法，執(zhí)行6個字典更新周期(DictionaryUpdateCycles,DUC)和30次迭代。

由圖5～7可以看出，DWT方法的融合圖像邊緣紋理模糊，圖像信息失真且存在塊效應；與DWT方法相比，SWT和NSCT方法的融合質量相對較好，圖像的亮度、對比度、清晰度有了很大的提升，但仍存在邊緣亮度失真，軟組織和病灶區(qū)域存在偽影的問題；SRM和SRK方法較基于多尺度變換的方法，圖像的骨組織和軟組織更加清晰，偽影也有所減少，能很好地識別病灶區(qū)域；MDL方法與SRM和SRK方法相比，能保留更多的細節(jié)信息，圖像質量取得進一步的改善，但仍有部分偽影存在；本文提出的ICDL方法在圖像的亮度、對比度、清晰度和細節(jié)的保持度上都優(yōu)于其他方法，融合圖像沒有偽影，骨組織、軟組織和病灶區(qū)域顯示清晰，有助于醫(yī)生診斷。

圖5 正常腦部的CT/MR融合結果

圖6 腦萎縮的CT/MR融合結果

圖7 腦腫瘤的CT/MR融合結果

為進一步驗證本文方法的有效性，使用互信息(MutualInformation,MI)[23]、基于梯度QAB/F[24]、基于相位一致Qp[25]和基于通用圖像質量指標Qw[26]來對融合圖像進行客觀評價。MI反映融合圖像從源圖像提取的信息量的多少，提取的信息量越多則融合圖像的質量越好；QAB/F反映融合圖像對源圖像邊緣特性的保留情況，取值范圍在[0,1]，越接近1表示融合圖像的邊緣越清晰；Qp反映融合圖像多種類型的顯著特征，如邊緣和角點等；Qw反映融合圖像在系數(shù)相關性、光照和對比度方面與源圖像的關聯(lián)，符合人類視覺系統(tǒng)的特點。

表1～3為三組實驗條件下不同融合方法的客觀評價指標。

表1 正常腦部CT/MR融合結果性能比較

表2 腦萎縮CT/MR融合結果性能比較

表3 腦腫瘤CT/MR融合結果性能比較

從表1～3可以看出，DWT方法在MI、QAB/F、Qp和Qw四項指標上均不理想，主要是因為離散小波變換具有平移變化性、走樣和缺乏方向性等缺陷；SWT和NSCT方法在上述四項指標上均明顯優(yōu)于DWT方法是由于它們具有平移不變性；SRM、SRK和MDL方法在MI指標上優(yōu)于三層分解水平的多尺度變換的方法，而在其他三項指標上存在一些低于多尺度變換方法的情況，這可能是由于字典的表示能力不足以提取足夠的細節(jié)信息和l1范數(shù)取極大的融合規(guī)則導致的圖像的灰度不連續(xù)效應；經(jīng)計算，本文提出的ICDL方法的MI、QAB/F、Qp和Qw四項指標在上述三組實驗條件下的均值分別為4.113 3、0.713 1、0.463 6和0.762 5。與其他幾種方法相比：本文提出的ICDL方法在MI指標上的值最大，表明該方法的融合圖像從源圖像提取的信息最豐富；同時在QAB/F、Qp和Qw三項指標上對應的值也最大，表明ICDL方法對圖像誤配準處理得較好，圖像融合質量較高，其主客觀評價一致。

5 結語

針對目前基于字典學習的多模態(tài)腦部醫(yī)學圖像融合中，使用單字典難以得到精確的稀疏表示進而影響腦部醫(yī)學圖像融合的質量，以及字典訓練時間過長的問題，提出了一種改進耦合字典學習的腦部CT/MR圖像融合方法。該方法分別對正常腦部、腦萎縮和腦腫瘤三組腦部醫(yī)學圖像進行了多次實驗，結果表明本文提出的ICDL方法與基于多尺度變換的方法、傳統(tǒng)基于選擇最大的稀疏表示方法、基于K-SVD的稀疏表示方法以及多尺度字典學習的方法相比，不僅提高了腦部醫(yī)學圖像融合的質量，而且有效降低了字典訓練的時間，能為臨床醫(yī)療診斷提供有效幫助。但仍存在以下需要進一步研究的問題：

1)本文提出的融合方法在空間域中使用滑窗技術易使源圖像的細節(jié)被模糊。因此，進一步研究適用于稀疏表示方法的新的圖像融合規(guī)則是下一步的工作重點。

2)本文是在已配準的腦部醫(yī)學圖像的基礎上進行的融合研究，對未精確配準的腦部醫(yī)學圖像進行有針對性的圖像融合的方法也需要進一步的研究。

3)本文主要實現(xiàn)了腦部CT和MR醫(yī)學圖像的高質量融合，但如何對腦部解剖圖像和功能圖像如MR與正電子發(fā)射斷層成像(PositronEmissionTomography,PET)、MR與單光子發(fā)射計算機斷層成像(SinglePhotonEmissionComputedTomography,SPECT)等進行高質量融合，也將是下一步繼續(xù)研究的內容。

)

[1]BHAVANAV.Multi-modalitymedicalimagefusion—asurvey[C]//Proceedingsofthe2015InternationalJournalofEngineeringResearchandTechnology.Bangalore,India:EsrsaPublication, 2015: 778-781.

[2] 李超,李光耀,譚云蘭,等.基于非下采樣Contourlet變換和區(qū)域特征的醫(yī)學圖像融合[J].計算機應用,2013,33(6):1727-1731.(LIC,LIGY,TANYL,etal.Medicalimagefusionofnonsubsampledcontourlettransformandregionalfeature[J].JournalofComputerApplications, 2013, 33(6): 1727-1731.)

[3]PAJARESG,DELACRUZJM.Awavelet-basedimagefusiontutorial[J].PatternRecognition, 2004, 37(9): 1855-1872.

[4]LIST,KWOKJT,WANGYN.UsingthediscretewaveletframetransformtomergeLandsatTMandSPOTpanchromaticimages[J].InformationFusion, 2002, 3(1): 17-23.

[5]LEWISJJ,O’CALLAGHANRJ,NIKOLOVSG,etal.Pixel-andregion-basedimagefusionwithcomplexwavelets[J].InformationFusion, 2007, 8(2): 119-130.

[6]BURTPJ,ADELSONEH.TheLaplacianpyramidasacompactimagecode[J].IEEETransactionsonCommunications, 1983, 31(4): 532-540.

[7]ZHANGQ,GUOBL.Multifocusimagefusionusingthenonsubsampledcontourlettransform[J].SignalProcessing, 2009, 89(7): 1334-1346.

[8]DONOHODL.Compressedsensing[J].IEEETransactionsonInformationTheory, 2006, 52(4): 1289-1306.

[9]YANGB,LIST.Pixel-levelimagefusionwithsimultaneousorthogonalmatchingpursuit[J].InformationFusion, 2012, 13(1): 10-19.

[10]LIUY,WANGZF.Simultaneousimagefusionanddenoisingwithadaptivesparserepresentation[J].IETImageProcessing, 2015, 9(5): 347-357.

[11]YANGB,LIST.Multifocusimagefusionandrestorationwithsparserepresentation[J].IEEETransactionsonInstrumentation&Measurement, 2010, 59(4): 884-892.

[12]AHARONM,ELADM,BRUCKSTEINA.K-SVD:analgorithmfordesigningovercompletedictionariesforsparserepresentation[J].IEEETransactionsonSignalProcessing, 2006, 54(11): 4311-4322.

[13]OPHIRB,LUSTIGM,ELADM.Multi-scaledictionarylearningusingwavelets[J].IEEEJournalofSelectedTopicsinSignalProcessing, 2011, 5(5): 1014-1024.

[14]YUNN,QIUTS,BIF,etal.Imagefeaturesextractionandfusionbasedonjointsparserepresentation[J].IEEEJournalofSelectedTopicsinSignalProcessing, 2011, 5(5): 1074-1082.

[15] 趙井坤,周穎玥,林茂松.基于稀疏表示與非局部相似的圖像去噪算法[J].計算機應用,2016,36(2):551-555.(ZHAOJK,ZHOUYY,LINMS.Imagedenoisingalgorithmbasedonsparserepresentationandnonlocalsimilarity[J].JournalofComputerApplications, 2016, 36(2): 551-555.)

[16]ENGANK,AASESO,HAKONHJ.Methodofoptimaldirectionsforframedesign[C]//Proceedingsofthe1999IEEEInternationalConferenceonAcoustics,Speech,andSignalProcessing.Piscataway,NJ:IEEE, 1999: 2443-2446.

[17]JOHNSONKA,BECKERJA.Thewholebrainatlas[EB/OL]. [2016- 10- 09].http://www.med.harvard.edu/aanlib/home.html.

[18]YANGJC,WRIGHTJ,HUANGTS,etal.Imagesuper-resolutionviasparserepresentation[J].IEEETransactionsonImageProcessing, 2010, 19(11): 2861-2873.

[19] YANG J C, WANG Z, LIN Z, et al. Coupled dictionary training for image super-resolution [J]. IEEE Transactions on Image Processing, 2012, 21(8): 3467-3478.

[20] SMITH L N, ELAD M. Improving dictionary learning: multiple dictionary updates and coefficient reuse [J]. IEEE Signal Processing Letters, 2013, 20(1): 79-82.

[21] 練秋生,石保順,陳書貞.字典學習模型、算法及其應用研究進展[J].自動化學報,2015,41(2):240-260.(LIAN Q S, SHI B S, CHEN S Z. Research advances on dictionary learning models, algorithms and applications [J]. Acta Automatica Sinica, 2015, 41(2): 240- 260.)

[22] CVEJIC N, CANAGARAJAH C N, BULL D R. Image fusion metric based on mutual information and Tsallis entropy [J]. Electronics Letters, 2006, 42(11): 626-627.

[23] QU G H, ZHANG D L, YAN P F. Information measure for performance of image fusion [J]. Electronics Letters, 2002, 38(7): 313-315.

[24] XYDEAS C S, PETROVIC V. Objective image fusion performance measure [J]. Military Technical Courier, 2000, 36(4): 308-309.

[25] ZHAO J Y, LAGANIERE R, LIU Z. Performance assessment of combinative pixel-level image fusion based on an absolute feature measurement [J]. International Journal of Innovative Computing Information & Control Ijicic, 2006, 3(6): 1433-1447.

[26] PIELLA G, HEIJMANS H. A new quality metric for image fusion [C]// ICIP 2003: Proceedings of the 2003 International Conference on Image Processing. Washington, DC: IEEE Computer Society, 2003: 173-176.

This work is partially supported by the Natural Science Foundation of Shanxi Province (2015011045).

DONG Xia, born in 1992, M. S. candidate. Her research interests include medical image fusion, machine learning.

WANG Lifang, born in 1977, Ph. D., associate professor. Her research interests include machine vision, big data processing, medical image processing.

QIN Pinle, born in 1978, Ph. D., associate professor. His research interests include machine vision, big data processing, 3D reconstruction.

GAO Yuan, born in 1972, M. S., associate professor. Her research interests include big data processing, medical image processing,3D reconstruction.

CT/MR brain image fusion method via improved coupled dictionary learning

DONG Xia, WANG Lifang*, QIN Pinle, GAO Yuan

(SchoolofComputerScienceandControlEngineering,NorthUniversityofChina,TaiyuanShanxi030051,China)

The dictionary training process is time-consuming, and it is difficult to obtain accurate sparse representation by using a single dictionary to express brain medical images currently, which leads to the inefficiency of image fusion. In order to solve the problems, a Computed Tomography (CT)/ Magnetic Resonance (MR) brain image fusion method via improved coupled dictionary learning was proposed. Firstly, the CT and MR images were regarded as the training set, and the coupled CT and MR dictionary were obtained through joint dictionary training based on improved K-means-based Singular Value Decomposition (K-SVD) algorithm respectively. The atoms in CT and MR dictionary were regarded as the features of training images, and the feature indicators of the dictionary atoms were calculated by the information entropy. Then, the atoms with the smaller difference feature indicators were regarded as the common features, the rest of the atoms were considered as the innovative features. A fusion dictionary was obtained by using the rule of “mean” and “choose-max” to fuse the common features and innovative features of the CT and MR dictionary separately. Further more, the registered source images were compiled into column vectors and subtracted the mean value. The accurate sparse representation coefficients were computed by the Coefficient Reuse Orthogonal Matching Pursuit (CoefROMP) algorithm under the effect of the fusion dictionary, the sparse representation coefficients and mean vector were fused by the rule of “2-norm max” and “weighted average” separately. Finally, the fusion image was obtained via reconstruction. The experimental results show that, compared with three methods based on multi-scale transform and three methods based on sparse representation, the image visual quality fused by the proposed method outperforms on the brightness, sharpness and contrast, the mean value of the objective parameters such as mutual information, the gradient based, the phase congruency based and the universal image quality indexes under three groups of experimental conditions are 4.113 3, 0.713 1, 0.463 6 and 0.762 5 respectively, the average time in the dictionary learning phase under 10 experimental conditions is 5.96 min. The proposed method can be used for clinical diagnosis and assistant treatment.

medical image fusion; K-means-based Singular Value Decomposition (K-SVD); Coefficient Reuse Orthogonal Matching Pursuit (CoefROMP); sparse representation; dictionary training

2016- 11- 18;

2017- 02- 03。 基金項目:山西省自然科學基金資助項目(2015011045)。

董俠(1992—)，女，山西臨汾人，碩士研究生，主要研究方向：醫(yī)學圖像融合、機器學習； 王麗芳(1977—)，女，山西長治人，副教授，博士，主要研究方向：機器視覺、大數(shù)據(jù)處理、醫(yī)學圖像處理； 秦品樂(1978—)，男，山西長治人，副教授，博士，主要研究方向：機器視覺、大數(shù)據(jù)處理、三維重建； 高媛(1972—)，女，山西太原人，副教授，碩士，主要研究方向：大數(shù)據(jù)處理、醫(yī)學圖像處理、三維重建。

1001- 9081(2017)06- 1722- 06

10.11772/j.issn.1001- 9081.2017.06.1722

TP

A