吳 雙 邱天爽 高 珊

(大連理工大學電子信息與電氣工程學部， 大連 116024)

基于在線字典學習的醫(yī)學圖像特征提取與融合

吳 雙 邱天爽#*高 珊

(大連理工大學電子信息與電氣工程學部， 大連 116024)

提出一種基于在線字典學習(ODL)的醫(yī)學圖像特征提取與融合的新算法。首先，采用大小為8像素×8像素的滑動窗處理源圖像，得到聯(lián)合矩陣；通過ODL算法得到該聯(lián)合矩陣的冗余字典，并利用最小角回歸算法(LARS)計算該聯(lián)合矩陣的稀疏編碼；將稀疏編碼列向量的1范數作為稀疏編碼的活動級測量準則，然后根據活動級最大準則融合稀疏編碼；最后根據融合后的稀疏編碼和冗余字典重構融合圖像。實驗圖像為20位患者的已配準腦部CT和MR圖像，采用5種性能指標評價融合圖像的質量，同兩種流行的融合算法比較。結果顯示，所提出算法的各項客觀指標均值最優(yōu)，Piella指數、QAB/F指數、MIAB/F指數、BSSIM指數和空間頻率的均值分別為0.800 4、0.552 4、3.630 2、0.726 9和31.941 3，融合圖像對比度、清晰度高，病灶的邊緣清晰，運行速度較快，可以輔助醫(yī)生診斷和臨床治療。

圖像融合；在線字典學習算法(ODL)；最小角回歸算法(LARS)

引言

醫(yī)學圖像融合技術是計算機處理、信息融合和醫(yī)學影像技術相結合的一種技術，它利用具有互補性和冗余性的多模態(tài)醫(yī)學圖像生成更清晰、更完整、更可靠醫(yī)學圖像。目前，醫(yī)學圖像融合主要可分為3類，即像素級融合、特征級融合和決策級融合。像素級融合是目前的研究重點，主要分為4類，第1類是基于空間域的算法，簡單并且實時性好，但是由于缺少頻域和方向信息，融合效果不理想。第2類是基于變換域的算法，主要包括塔式分解、小波變換、多尺度幾何分析等。塔式分解過程缺少空間方向選擇性，融合圖像存在鋸齒邊緣效應[1]；小波分解[2]無法有效地保留空間特征，融合圖像中存在偽影、像素不連續(xù)、對比度下降等現(xiàn)象；多尺度幾何分解[3]雖然克服了小波分解的問題，但融合圖像仍存在細節(jié)丟失現(xiàn)象。第3類是基于神經網絡的算法，如脈沖耦合神經網絡(PCNN)[4]，雖然具有變閾值、強自適應、同步脈沖發(fā)放等特性，但參數不易選取。第4類是基于稀疏表示的算法，主要是基于K-SVD的算法[5]，此算法的融合圖像邊緣、紋理清晰，與源圖像結構相似度高，但空間頻率特性和實時性差。

為了克服基于K-SVD的融合算法存在的問題，本研究提出了一種基于在線字典學習(ODL)的圖像特征提取與融合算法。該算法利用ODL和最小角回歸算法(least angle regression, LARS)，快速并準確地提取源圖像的特征，以“稀疏編碼1范數最大化”原則作為融合標準，克服了融合圖像的鋸齒邊緣效應，同時提高了融合圖像的對比度和清晰度。算法首先通過滑動窗對源圖像分塊，圖像塊按列向量遞增順序變換為列向量，所有列向量構成聯(lián)合矩陣，然后利用ODL算法訓練該聯(lián)合矩陣的冗余字典并使用LARS算法計算稀疏編碼，將稀疏編碼列向量的1范數作為圖像塊的活動級測量準則，采用活動級最大化算法融合對應圖像塊的稀疏編碼，最后根據冗余字典和融合的稀疏編碼重構融合圖像。采用20位患者的腦部CT和MRI圖像進行實驗，同基于NSCT[1]和基于K-SVD[6]的融合算法比較。實驗結果顯示，本算法融合圖像中的病灶邊緣清晰，同其他組織的對比度高，運行速度較快，可以很好地輔助醫(yī)生診斷和臨床治療。

1 基于ODL算法的醫(yī)學圖像融合

1.1在線字典學習算法(ODL)

基于冗余字典的圖像稀疏表示是一種新的圖像表示理論，該理論利用字典的冗余性，可以有效地提取圖像的幾何結構特征。目前，冗余字典構造算法分為兩類：一類是解析字典，其構造算法簡單，構造速度快，但是稀疏表示效果不理想；另一類是學習字典，能構造出與訓練樣本集合高度匹配的冗余字典，稀疏表示效果很好，其中K-SVD算法[7]應用較廣泛，但是K-SVD算法是二階的迭代批處理過程，每次迭代過程需要訪問整個訓練樣本集合，對于大訓練樣本的處理速度很慢。為了解決以上兩個問題，筆者采用ODL算法[8]實現(xiàn)源圖像特征的快速提取。

ODL算法是一種基于隨機逼近的在線字典優(yōu)化算法，采用快坐標下降法更新字典，可以快速地得到與源圖像高度匹配的冗余字典，更好地實現(xiàn)圖像的稀疏表示。

設訓練集為X=[x1,…,xn]∈Rm×n，冗余字典為D∈Rm×K(m?K)，稀疏編碼為α=[α1,…,αn]∈RK×n，λ為正則化因子，‖.‖2為2范數，‖.‖1為1范數，則ODL算法的目標方程為

(1)

式(1)的求解是一個迭代過程，包含3個步驟。

步驟1：初始化。使用固定字典初始化冗余字典D0，A0←0,B0←0，A0,B0表示“過去”信息的初始值。

步驟2：稀疏編碼。從訓練集中隨機選取一個子集xt=[xt,1,xt,2,…,xt,η]∈Rm×η，使用LARS算法估計基于Dt-1的稀疏編碼αt=[αt,1,…,αt,η]，利用下式更新At和Bt(At=[a1,…，aK]，Bt=[b1,…,bK])，有

(2)

式中：η為xt的數量，t為迭代次數，t=1,2,…,T。

步驟3：字典更新。順序地更新Dt-1的第j列dt-1,j，直到RMSE滿足要求，有

(3)

重復步驟2和步驟3，直到滿足迭代次數的要求。

1.2圖像特征提取

醫(yī)學圖像融合是將已配準的多模態(tài)醫(yī)學圖像合成為一幅更清晰、更完整、更可靠的圖像，因此源圖像的特征提取是關鍵。圖像的稀疏編碼可以模擬哺乳動物視覺系統(tǒng)主視皮層V1區(qū)簡單細胞感受野，有效地提取圖像的幾何結構、空間局部性、方向性和頻域帶通性[9]，故筆者將稀疏表示系數作為源圖像的特征。

圖1為基于ODL的圖像特征提取流程。I1,I2∈RN×N為兩幅源圖像，首先通過w×w(w=8)，滑動步長為1的滑動窗按行優(yōu)先對源圖像I1進行分塊處理，各個圖像塊矩陣按列下標遞增順序編纂成列向量v1,i∈Rw2，所有列向量v1,i(i=1,…,(N-2+1)2)構成矩陣V1。同理，得到圖像I2對應的矩陣V2。V1和V2構成聯(lián)合矩陣V=[V1V2]∈Rm×n；然后采用ODL算法訓練V，得到冗余字典D∈Rm×K(m?K)；最后由LARS算法得到V的稀疏編碼矩陣S=[S1S2]∈RK×n。設di、v1,i、v2,i、s1,i和s2,i分別為D、V1、V2、S1和S2的第i(i=1,2,…,n)個列向量，則滿足。

(4)

1.3融合準則

融合算法中的活動級測量準則選取很重要。由式(4)可見，稀疏編碼的第i(i=1,2,…,n)個列向量可以表示第i(i=1,2,…,n)個圖像塊的信息。目前，比較常用的圖像稀疏編碼活動級測量準則為

(5)

(6)

式中，‖·‖1表示向量的1范數，s1,i、s2,i和sf,i分別為稀疏編碼S1、S2和融合后的稀疏編碼Sf的第i(i=1,2,…,n)個列向量，A1,i和A2,i分別表示s1,i和s2,i的活動級。

根據式(6)，得到融合后的稀疏編碼矩陣Sf和冗余字典D,計算融合后的聯(lián)合矩陣Vf；將Vf各個列向量按列優(yōu)先順序構成方陣，然后將各個方陣放到對應位置，融合圖像的各個像素點為方陣各個元素的均值。

1.4實驗方案

實驗以Windows7操作系統(tǒng)為平臺，使用Matlab 2010仿真實驗。原始圖像為已配準的腦部CT和MR圖像。為了測試本算法的性能，將其與兩種流行的圖像融合算法進行比較，分別為：基于非下采樣輪廓波變換(NSCT)的融合算法[1]和基于K-SVD的融合算法[6]。從主觀視覺效果和客觀指標綜合評價各算法的性能，所采用的客觀指標有6種，分別是Piella指數[11]、QAB/F指數[12]、MIAB/F指數[13]、BSSIM[14]指數、空間頻率(SF)[15]和運行時間，其中A和B表示待融合的圖像，F(xiàn)表示融合后的圖像。Piella指數表示融合圖像的相關度、亮度和對比度失真情況，值越大表明失真越??；QAB/F指數反映圖像的邊緣信息，值越大表明融合圖像的邊緣特性越好；MIAB/F指數是衡量融合圖像融合信息量的一個重要指標，值越大表示融合的信息量越多； BSSIM指數衡量融合圖像與原始圖像的結構相似性，值越大越好；空間頻率用于測量融合圖像的整體清晰度，值越大越好。

2 結果

由于篇幅限制，這里僅給出4組已配準的CT和MRI圖像的融合結果。圖2為4組已配準的實驗圖像，大小為256像素×256像素，紅色箭頭標記處為病灶位置；其中，(a)為63歲男性患者的腦部CT和MR圖像，急性腦梗病灶位置為患者左腦中央前回；(b)為63歲女患者的腦部CT和MR圖像，患者有高血壓和糖尿病病史，CT圖像顯示左側枕葉梗塞，MR圖像顯示左側大腦后動脈輕度狹窄；(c)為45歲女患者的腦部CT和MR圖像，圖像顯示左側大腦中動脈有病變；(d)為71歲女患者的腦部CT和MR圖像，該患者有缺血性心肌病和腎功能不全病史，圖像顯示右腦腦室變大，顱內壓增高。

2.1主觀評價

圖3為3種算法的融合結果，其中(a)為本算法的融合圖像，(b)為文獻[6]的融合圖像，(c)為文獻[1]的融合圖像。觀察融合結果，圖3中(a)～(c)左一圖像的中央腦前回有出血，其中(a)的病灶邊緣非常清晰，對比度很高，骨組織和軟組織很清晰，有利于確定病灶位置和大小，(b)的病灶邊緣清晰度和對比度略低于(a)，可以輔助診斷，(c)的病灶邊緣清晰度和對比度最差，骨組織顯示清晰，但軟組織顯示模糊；圖3中(a)～(c)左二圖像顯示左側腦枕葉和中動脈有病變，其中(a)的病灶邊緣和對比度最清晰，(b)次之，(c)最差；圖3中(a)和(b)左三圖像顯示左側大腦中動脈有病變，(a)的病灶邊緣的清晰度和對比度高于(b)，(c)的病灶邊緣很模糊，不利于確定病灶位置；圖3中(a)～(c)左四圖像顯示患者右腦腦室變大，(a)的病灶邊緣清晰度和對比度最好，(b)略低于(a)，(c)最差。綜合考慮所有實驗結果，文獻[1]的融合圖像對比度和清晰度失真較明顯，骨組織比較清晰，但邊緣和軟組織模糊；文獻[6]的融合圖像質量明顯優(yōu)于文獻[1]，但對比度和清晰度不如本算法，邊緣比較清晰；本算法的融合結果性能較好，圖像的邊緣和紋理清晰，對比度高，圖像質量最好。

從醫(yī)生的診斷角度分析圖像融合的結果：本算法的融合圖像結合了CT和MR-T2圖像的優(yōu)勢，骨組織和軟組織顯示清晰，病灶邊緣清晰，圖像的對比度高，可以較好地輔助醫(yī)生診斷疾??；而文獻[6]的融合結果對比度低于本算法的融合結果，可以輔助醫(yī)生診斷疾??；文獻[1]的融合結果對比度失真較明顯，軟組織顯示模糊，病灶邊緣模糊，輔助診斷效果不夠好。

2.2客觀評價

表1為3種算法融合圖像的客觀指標。如表1所示，文獻[1]算法的運行時間最短，文獻[6]算法的運行時間最長，本算法的運行時間居中；其他各項指標，本算法最優(yōu)，文獻[1]算法最差。

為了進一步確定算法的有效性，統(tǒng)計了20個患者的腦部圖像融合結果客觀指標的均值和標準偏差，如表2和表3所示。從各項客觀指標的均值和標準差來看，本算法各項指標最優(yōu)，綜合考慮主觀視覺效果和客觀指標，本算法性能最好。

3 討論和結論

基于NSCT的融合算法根據改進的空間頻率和脈沖耦合神經網絡，融合源圖像的NSCT系數。文獻[6]采用K-SVD算法訓練冗余字典，利用稀疏編碼作為圖像的特征進行融合。筆者提出的融合算法采用ODL算法訓練冗余字典，根據稀疏編碼列向量的1范數最大原則融合源圖像的稀疏編碼。

觀察圖3，文獻[1]的融合圖像對比度和清晰度失真較明顯，骨組織比較清晰，但邊緣和軟組織模糊；文獻[6]的融合圖像質量明顯優(yōu)于文獻[1]，但對比度和清晰度不如本算法，邊緣比較清晰；本算法的融合結果性能較好，圖像的邊緣和紋理清晰，對比度高，圖像質量最好。

觀察表2，關于運行時間，文獻[1]最優(yōu)，本算法其次，文獻[6]最差，這是因為K-SVD算法是二階的迭代批處理過程，在每次迭代過程中需要訪問所有的訓練樣本，當訓練樣本量過大時，算法的運算量大大提高，運行效率驟然下降；本研究采用的ODL算法采用塊坐標下降法訓練字典，在每次迭代過程中隨機訪問訓練樣本的一個小子集，即使訓練樣本很大，算法的運算量增加也不大，運算量遠遠低于K-SVD算法，故算法的運行效率遠高于K-SVD算法；文獻[1]采用的NSCT變換具有快速算法，無需訓練字典，故算法的運行效率最高；關于其他各項客觀指標的均值，本算法最好，這主要是因為本算法采用滑動窗處理源圖像，通過稀疏編碼表示源圖像，從而有效地提取了源圖像的幾何結構、空間局部性和方向性；K-SVD算法運算效率低，故在較短的時間內算法的性能不如ODL算法；NSCT變換雖然具有方向性、各向異性和平移不變性，但是由于缺少空間局部特性，導致融合圖像的對比度下降。

從醫(yī)生的診斷角度看，本算法很好地結合了CT和MR-T2圖像的優(yōu)點，融合結果中骨組織和軟組織顯示清晰，圖像對比度高，病灶邊緣清晰，可以輔助醫(yī)生診斷；文獻[6]的融合結果對比度明顯低于本算法的融合結果；文獻[1]的融合圖像質量較差，軟組織顯示模糊，病灶邊緣模糊，不利于確定病灶位置。

本研究提出了基于ODL的醫(yī)學圖像特征提取和融合新算法，采用ODL算法得到與源圖像高度匹配的冗余字典，然后利用LARS算法估計源圖像的稀疏編碼，根據稀疏編碼列向量1范數最大化原則，融合源圖像對應的稀疏系數，最后重構融合圖像。本算法得到的融合圖像細節(jié)、邊緣、紋理清晰，對比度高，與原始圖像的相關性好。與兩種主流算法比較，客觀指標和主觀視覺效果均表明了本算法的優(yōu)越性。

[1] Das S, Kundu MK. NSCT-based multimodal medical image fusion using pulse-coupled neural network and modified spatial frequency [J]. Medical & Biological Engineering & Computing, 2012,50(10): 1105-1114.

[2] Pajares G, Cruz J. A wavelet-based image fusion tutorial [J]. Pattern Recognition, 2004,39(9): 1855-1872.

[3] da Cunha AL, Zhou Jianping, Do MN. The nonsubsampled contourlet transform: theory, design, and Applications [J]. IEEE Transactions on Image Processing, 2006,15(10): 3089-3101.

[4] Wang Zhaobin, Ma Yide, Chengk Feiyan,etal. Review of pulse-coupled neural networks [J]. Image and Vision Computing, 2010,28(1): 5-13.

[5] Yu Nannan, Qiu Tianshuang, Liu Wenhong. Medical image fusion based on sparse representation with KSVD [C]// World Congress on Medical Physics and Biomedical Engineering. Beijing: Springer-Verlag, 2013,39: 550-553.

[6] 余南南, 邱天爽, 畢峰, 等. 基于K-SVD的醫(yī)學圖像特征提取和融合[J]. 大連理工大學學報, 2012,52(4): 605-609.

[7] Aharon M, Elad M, Bruckstein A. K-SVD: An algorithm for designing overcomplete dictionaries for sparse representation [J]. IEEE Transaction on Signal Processing, 2006,54(11): 4311-4322.

[8] Mairal J, Bach F, Ponce J,etal. Online dictionary learning for sparse coding[C]// Proceedings of the 26thAnnual International Conference on Machine Learning. New York: ACM, 2009: 689-696.

[9] Olshausen BA, Field DJ. Emergence of simple-cell receptive field properties by learning a sparse code for natural images [J]. Nature, 1996,381(13): 607-609.

[10] Singh M, Singh S, Gupta S. An adaptive speckle suppression filter based on local statistics and edge-map for ultrasound images [J]. Advanced Science Letters, 2013,19(8): 2375-2379.

[11] Wang Zhou, Bovik AC. A universal image quality index [J]. IEEE Signal Processing Letters, 2002,9(3): 81-84.

[12] Qu Guihong, Zhang Dali, Yan Pingfang. Information measure for performance of image fusion [J]. Electronics Letters, 2002,38(7): 313-315.

[13] Xydeas CS, Petrovic V. Objective image fusion performance measure [J]. Electronics Letters, 2000,36(4): 308-309.

[14] Wang Zhou, Bovik AC, Sheikh HR,etal. Image Quality assessment: from error visibility to structural similarity [J]. IEEE Transactions on Image Processing, 2004,13(4): 600-612.

[15] 馬先喜, 彭力,徐紅. 基于塊同化的空間頻率多聚焦圖像融合算法研究[J]. 科學技術與工程, 2012,12(1): 64-67.

MedicalImageFeaturesExtractionandFusionBasedonOnlineDictionaryLearning

WU Shuang QIU Tian-Shuang#*GAO Shan

(ChinaFacultyofElectronicandElectricalEngineering,DalianUniversityofTechnology,Dalian116024,China)

An image features extraction and fusion algorithm based on online dictionary learning (ODL) is presented in this paper. Firstly, source images were combined into a joint matrix by the sliding window technique, the size of the sliding window was 8×8, the over-complete dictionary was trained by ODL algorithm and the sparse codes were acquired by LARS algorithm; the activity level measurement of sparse codes was the L1 norm of its vector, then, the sparse codes were fused by activity level maximum rule; finally, the fused image was reconstructed by over-complete dictionary and fused sparse codes. Co-aligned medical images of twenty patients were tested by experiments and the quality of the fused image was evaluated by five kinds of commonly used objective criterions. Compared with the other two popular medical image fusion algorithms, objective criterions of the fusion result show the advantage of the proposed algorithm, the mean of Piella,QAB/F，MIAB/F， BSSIM and space frequency index is 0.800 4, 0.552 4, 3.630 2, 0.726 9 and 31.941 3, the fusion images of the proposed algorithm have high definition and contrast, clear texture and edge and fast speed, showing its application potentials of aiding clinical diagnoses and treatment.

image fusion; online dictionary learning (ODL); least angle regression (LARS) algorithm

10.3969/j.issn.0258-8021. 2014. 03.04

2014-01-28， 錄用日期:2014-03-14

國家自然科學基金(81241059，61172108)；國家科技支撐計劃項目(2012BAJ18B06)

TP391; TN911.73

A

0258-8021(2014) 03-0283-06

# 中國生物醫(yī)學工程學會會員(Member of Chinese Society of Biomedical Engineering)

*通信作者(Corresponding author)，E-mail: qiutsh@dlut.edu.cn