張寶華,劉 鶴,侯 賀
(內(nèi)蒙古科技大學(xué)信息學(xué)院,內(nèi)蒙古包頭014010)
醫(yī)學(xué)圖像融合是圖像融合領(lǐng)域的一個重要分支,也是目前研究的難點和熱點。醫(yī)學(xué)圖像融合是將來源于多類醫(yī)療設(shè)備獲取的對同一生理器官的不同類型圖像數(shù)據(jù)(CT、MR和PET等圖像)進行信息綜合利用,融合后的圖像比單一圖像包含了更豐富的有用信息,為后續(xù)醫(yī)生診療提供了便利,具有很強的應(yīng)用價值。
根據(jù)對圖像處理方式的不同一般將圖像融合可分為像素級、特征級和決策級三個層次。像素級圖像融合應(yīng)用最廣,對像素的處理最直接,像素間的關(guān)聯(lián)性在融合決策中考慮較少;特征級圖像融合是利用數(shù)學(xué)統(tǒng)計量從圖像中提取特征信息,并將其進行綜合分析和處理的過程;決策級圖像融合是在獲得圖像的特征信息的基礎(chǔ)上進行進一步抽象,為下一步?jīng)Q策提供依據(jù)。醫(yī)學(xué)圖像對比度較低,噪聲干擾嚴重,成像質(zhì)量較差,這些特點影響了像素級融合方法在醫(yī)學(xué)圖像融合的應(yīng)用,降低了融合圖像質(zhì)量。相對于像素級融合,基于區(qū)域融合的特征級融合考慮了相鄰像素之間的相關(guān)性,突出了區(qū)域特征,降低了噪聲對紋理等重要信息的干擾,有效保護圖像的紋理信息,能夠提取更多有用信息。
圖像特征信息可以通過量化指標(biāo)發(fā)掘,包括像素均值、熵、標(biāo)準差、梯度等信息,在圖像特征區(qū)域與背景區(qū)域的交界處,這些指標(biāo)會有明顯變化,Piella等人[1-2]發(fā)現(xiàn)綜合使用多特征信息比單獨使用某一種特征的方法能更合理、更有效的提取圖像紋理信息,因而可聯(lián)系圖像融合評價的指標(biāo)作為多特征分析的判定依據(jù),建立相應(yīng)的特征向量空間和判別準則,提取圖像的紋理區(qū)域,其余部分可視為非紋理區(qū)域,再根據(jù)各自特點制定融合規(guī)則,獲得理想的融合圖像。
基于以上考慮,本文通過K-means算法對CT和MR圖像進行聚類分析和區(qū)域分割,提取圖像相關(guān)特征分量,將特征分量空間定義為紋理區(qū)域,比較CT和MR圖像各自的特征分量分布情況并進行同類歸并,獲得紋理集中區(qū)域和非紋理區(qū)域,再分別利用PCNN和雙通道PCNN制定融合規(guī)則,選擇融合系數(shù),得到融合圖像。
聚類就是按照給定度量準則把數(shù)據(jù)集劃分成多個相似的類或簇,聚類問題的關(guān)鍵是定義相似性(相異性)度量準則和確定對數(shù)據(jù)進行劃分的方法,通過聚類分析可以發(fā)現(xiàn)數(shù)據(jù)內(nèi)在結(jié)構(gòu)在圖像處理中可應(yīng)用于區(qū)域劃分。
K-means算法是一種典型的聚類算法。它通過計算各個聚類子集內(nèi)的所有數(shù)據(jù)樣本的均值,并將其作為該聚類的聚類中心,通過迭代將數(shù)據(jù)集劃分為不同的類別,迭代終止條件為評價聚類性能的準則函數(shù)達到最優(yōu)。K-means算法數(shù)據(jù)相關(guān)性強,迭代次數(shù)由數(shù)據(jù)集大小、聚類簇數(shù)以及數(shù)據(jù)分布情況決定。
K-means算法將n個樣本劃分到K個簇J={J1,J2,…Jk},簇內(nèi)樣本均具有較高相似度,簇間樣本差異明顯。設(shè)Arg={Arg1,Arg2,…Argk}為K個類對應(yīng)的類中心,其中Argk是第Jk個簇中樣本的平均值,每個簇可以由對應(yīng)的類原型來表示。K-means算法通過最小化類內(nèi)誤差平方和準則函數(shù)來對數(shù)據(jù)進行劃分,其目標(biāo)函數(shù)定義如下:
對于二維數(shù)據(jù)(如圖像),K-means算法可描述為,取一副圖像作為訓(xùn)練樣本R,設(shè)一副圖像中任意一個像素點為:Ixy,Ixy∈R,將樣本R聚類成K個簇。
K-means算法主要包括以下幾個步驟:
(1)初始化:隨機選取K個聚類中心;
(2)樣本指派:計算每一個像素點到各個類中心的歐氏距離,將樣本劃分到距離其最近的類;
(3)更新:重新計算每個新簇的類中心;
(4)重復(fù)步驟2和3,直到準則函數(shù)收斂,使聚類中心不再變化,從而得到K個聚類。
這里的準則函數(shù)定義為誤差平方和準則函數(shù),其物理含義為像素點之間的相似度通常用它們之間的距離來表示,距離越小,表示像素點差異度越小;距離越大,像素點差異度越大。K-means算法通過迭代地更新類中心和各個簇得到局部最優(yōu)解,算法具有簡單、快速并且能夠大量處理數(shù)據(jù)的優(yōu)點。但是,K-means算法的聚類質(zhì)量完全依賴于初始解的選擇,且易受孤立點的影響,聚類個數(shù)也無法自適應(yīng)選擇,它的執(zhí)行結(jié)果與數(shù)據(jù)的輸入次序有關(guān)[3],K-means算法也可能造成局部最小解,且噪聲會明顯的影響分類結(jié)果,甚至導(dǎo)致錯誤分類,影響了聚類的質(zhì)量和收斂速度[4]。
K-means算法的初始解選擇是決定聚類質(zhì)量的關(guān)鍵,隨機選擇會帶來很多問題,周愛武等人[5]提出的改進方案降低了孤立點對聚類的影響,鄭丹等人[6]提出了根據(jù)數(shù)據(jù)密度水平曲線確定初始聚類中心的方法,聚類結(jié)果穩(wěn)定準確,這些方法都考慮了其聚類數(shù)據(jù)的特點,根據(jù)數(shù)據(jù)分布情況對初始聚類中心進行設(shè)定。本文針對醫(yī)學(xué)圖像的特點,為了避免噪聲影響分類結(jié)果,建立了多特征向量空間,通過考慮相鄰像素之間的相關(guān)性降低噪聲的干擾[7],特征向量空間選用和信息熵、均值、標(biāo)準差、最大梯度值等特征向量,信息熵可以衡量圖像紋理的不確定性,均值、標(biāo)準差、最大梯度值與圖像灰度及邊緣信息相關(guān),可以將特征空間向量作為確定初始聚類中心的依據(jù)。
本文通過計算CT和MR圖像像素的特征向量空間,利用K-means算法進行聚類分析和圖像區(qū)域分割,由于圖像大量有用信息包含在特征分量空間,定義其為紋理區(qū)域,圖1是將醫(yī)學(xué)圖像分別進行多特征聚類分割得到的效果圖,圖1(a)、(b)分別是CT和 MR圖像,圖 1(a.1)~(a.4)和(b.1)~(b.4)分別是對圖1(a)、(b)進行像素均值、熵、標(biāo)準差、最大梯度值等多特征聚類分割得到的紋理分布圖,由圖1可以看到,以圖像特征空間為聚類中心,能夠有效挖掘圖像的特征信息,實現(xiàn)圖像紋理信息多層次剝離,便于多角度的分析,可以為下一步將特征分量進行同類合并,獲得紋理集中區(qū)域和非紋理區(qū)域提供依據(jù)。
圖1 多特征聚類分割
脈沖耦合神經(jīng)網(wǎng)絡(luò)(Pulse Coupled Neural Network,PCNN)是有著生物學(xué)背景的一種新型神經(jīng)網(wǎng)絡(luò),因而其信號形式和工作原理符合視覺神經(jīng)系統(tǒng)的生理學(xué)特點,同時將其用于系數(shù)優(yōu)化具有全局性,可以更好保護細節(jié)信息,在圖像處理等方面應(yīng)用日益廣泛。
PCNN由多個神經(jīng)元組成,每個神經(jīng)元包括三部分:接收域(receptive field)、調(diào)制域(modulation field)和脈沖產(chǎn)生器(pulse generator)。PCNN的模型中,相鄰的神經(jīng)元可發(fā)放同步脈沖。當(dāng)一個或數(shù)個神經(jīng)元點火,輸出的脈沖信號傳送到相鄰的神經(jīng)元,使之迅速點火,從而這一群神經(jīng)元都開始點火;當(dāng)一個或數(shù)個神經(jīng)元由于閾值升高而熄火時,這一信息也迅速地傳到相鄰的神經(jīng)元,從而使這一群神經(jīng)元迅速熄火。神經(jīng)元激發(fā)的過程稱為點火,利用神經(jīng)元與周圍像素的亮度關(guān)系,將一幅圖像的的像素作為系數(shù)輸入到神經(jīng)網(wǎng)絡(luò)中,就獲得了圖像的點火映射圖,由于點火次數(shù)越多對應(yīng)的細節(jié)越豐富,因而可以在圖像分割或圖像融合中,通過計算像素點的點火次數(shù)選擇系數(shù)。
由于PCNN對圖像中偏暗區(qū)域特征的篩選效果較差,而雙通道PCNN(即m-PCNN,m=2)如圖2所示,對圖像中偏暗或偏亮區(qū)域特征的處理效果較好[8],將圖像根據(jù)特征分布情況進行分類后分別通過PCNN和雙通道PCNN可以較好地提取圖像中各個區(qū)域的特征。
圖2 雙通道PCNN模型
本文利用CT和MR多模醫(yī)學(xué)圖像進行融合,通過K-means算法聚類提取特征,將圖像區(qū)域分為紋理和非紋理兩部分,分別在兩區(qū)域建立融合規(guī)則選擇融合系數(shù),由于輪廓、紋理等信息被較好保護,融合圖像信息量更豐富,圖像質(zhì)量較其他方法有很大改善。
(1)分別計算原始圖像的均值,標(biāo)準差,熵,最大梯度值等信息,作為初始的聚類中心,使兩幅圖像聚類中心產(chǎn)生的依據(jù)與圖像質(zhì)量的客觀評價指標(biāo)一致;
(2)通過K-means算法將兩幅源圖像分別以聚類中心進行聚類,得到特征空間向量;
(3)根據(jù)特征空間向量提取每幅圖像的特征分布區(qū)域,比較兩幅圖像的對應(yīng)區(qū)域,設(shè)定閾值T(本文中T定為圖像灰度均值的一半),提取兩幅圖像中系數(shù)均大于閾值的位置信息并據(jù)類此分割提取相應(yīng)區(qū)域,定義為紋理區(qū)域;
(4)將紋理區(qū)域像素值輸入PCNN神經(jīng)網(wǎng)絡(luò)得到各自的點火映射圖,取兩幅圖像中點火次數(shù)較大的像素點作為融合圖像的融合系數(shù);
(5)將非紋理區(qū)域像素值通過雙通道PCNN進行融合;
(6)通過融合系數(shù)得到融合圖像。
算法流程圖如圖3所示。
圖3 融合算法流程圖
3.2.1 紋理區(qū)域融合規(guī)則
通過PCNN選擇融合系數(shù),對圖像中位于紋理區(qū)域的處理效果較好。將圖像輸入PCNN會產(chǎn)生點火映射圖,通過比較點火次數(shù),可以在多模圖像間選擇融合系數(shù),進行圖像融合。
3.2.2 非紋理區(qū)域融合規(guī)則
采用雙通道PCNN選擇系數(shù),雙通道PCNN可改善PCNN在醫(yī)學(xué)圖像中偏暗區(qū)域特征選擇的效果,與傳統(tǒng)的PCNN相比,雙通道PCNN是由兩個簡化PCNN并行組成,首先通過計算以像素點I(x,y)為中心位置的3×3鄰域中任意3個點的和與其他任意3個點的差值,得到其中最小值和最大值,將最大值和最小值做差得到j(luò),令:
其中,F(xiàn)xy表示融合系數(shù);Axy與Bxy分別表示源圖像A,B中對應(yīng)的像素灰度值;Uxy為內(nèi)部活動項。通過選擇兩個通道中神經(jīng)元的內(nèi)部活動項Uxy來控制像素點的點火狀態(tài)。根據(jù)式(5)選擇兩幅圖中像素點Uxy大的作為融合圖像的像素點。
實驗采用大小為256×256像素的灰度CT和MR圖像作為實驗圖像(如圖1(a)、(b)所示),聚類中心數(shù)為4,最大迭代數(shù)為100,用于劃分圖像特征分布區(qū)域的閾值T為圖像均值的一半,實驗環(huán)境為Intel酷睿3.40GHz,內(nèi)存8G,1T硬盤。為了比較不同融合方法的融合效果,本文選擇另外四種融合方法進行比較:本文所提方法、基于拉普拉斯金字塔(Laplace)、離散小波變換(DWT)、PCNN和 FSD Pyramid的融合方法。圖4(a)~(e)分別是五種融合方法的比較結(jié)果,通過圖4可以明顯看到,基于Laplace方法的融合圖像紋理不清晰,基于DWT和PCNN方法的融合圖像受部分偽影干擾,邊緣部分受損,基于FSD Pyramid方法的融合圖像局部失真明顯且圖像偏暗。由本文得到的融合圖像更接近于源圖像,紋理清晰完整。
圖4 融合結(jié)果比較
對于醫(yī)學(xué)圖像融合,除了從主觀上對各融合方法進行定性分析之外,還可根據(jù)客觀評價指標(biāo)進行定量評價。其中MI表示融合圖像中包含源圖像的交互信息量總和,如果MI越大則說明源圖像信息也就越多;QAB/F則是利用Sobel邊緣檢測來衡量獲得邊緣信息的多少,如果QAB/F越大則說明融合圖像從源圖像獲得的信息就越多,相應(yīng)的融合的質(zhì)量也就越好。上述融合方法得到的融合圖像客觀評價指標(biāo)比較如表1所示,可以看到基于本文所提方法的融合圖像各項指標(biāo)均明顯高于其他方法,說明本方法的有效性。
表1 融合圖像客觀評價指標(biāo)比較
本文方法結(jié)合了多特征聚類分析和PCNN的優(yōu)點,在多特征聚類算法的基礎(chǔ)上將圖像區(qū)域進行了劃分,通過分別制定融合規(guī)則,保護了圖像紋理信息,改善了融合圖像的質(zhì)量,實驗結(jié)果證明了本文提出的圖像融合方法的有效性。
[1] Piella G.A general framework for multi-resolution image fusion:from pixels to regions[J].Information Fusion,2003,4(4):259 - 280.
[2] SU Dongxue,WU Xiaojun.Image fusion method based on multi-feature fuzzy clustering[J].Aided Design & Computer Graphics,2006,18(6):838 -843.(in Chinese)蘇冬雪,吳小俊.基于多特征模糊聚類的圖像融合方法[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2006,18(6):838-843.
[3] Pen a JM,Lozano J A,Larranaga P.An empirical comparison of four initialization methods for the K-Means algorithm[J].Pattern Recognition Letters,1999,20:1027 -1040.
[4] GU Hongbo,ZHANG Jihuai.The initial cluster centers optimization of the clustering algorithm[J].Journal of Xi’an Polytechnic University,2010,24(2):222 - 226.(in Chinese)顧洪博,張繼懷.聚類算法初始聚類中心的優(yōu)化[J].西安工程大學(xué)學(xué)報,2010,24(2):222 -226.
[5] ZHOU Aiwu,CHEN Baolou,WANG Yan.Research and Improvement of K-Means algorithm[J].Computer Technology and Development,2012,22(10):101 - 104.(in Chinese)周愛武,陳寶樓,王琰.K-Means算法的研究與改進[J].計算機技術(shù)與發(fā)展,2012,22(10):101 -104.
[6] ZHENG Dan,WANG Qianping.The selecting algorithm for K.means initial cluster centers[J].Journal of Computer Applications,2012,32(8):2186 - 2188,2192.(in Chinese)鄭丹,王潛平.K-means初始聚類中心的選擇算法[J].計算機應(yīng)用,2012,32(8):2186 -2188,2192.
[7] YANG Yuetao,ZHU Ming,HE Bogen.The infrared and visible image fusion Based on region segmentation and non-sampling Contourlet transform[J].Laser& infrared,2010,40(11):1250 -1257.(in Chinese)楊粵濤,朱明,賀柏根.基于區(qū)域分割和非采樣Contourlet變換的紅外與可見光圖像融合[J].激光與紅外,2010,40(11):1250 -1257.
[8] Zhaobin Wang,Yide Ma.Medical image fusion using m-PCNN[J].Information Fusion,2008,9:176-185.