宗靜靜 邱天爽

1(大連理工大學(xué)電子信息與電氣工程學(xué)部，遼寧 大連 116024)2(大連交通大學(xué)電氣信息學(xué)院，遼寧 大連 116028)

?

基于在線字典學(xué)習(xí)和脈沖耦合神經(jīng)網(wǎng)絡(luò)的腦圖像融合

宗靜靜1,2邱天爽1#*

1(大連理工大學(xué)電子信息與電氣工程學(xué)部，遼寧 大連 116024)2(大連交通大學(xué)電氣信息學(xué)院，遼寧 大連 116028)

醫(yī)學(xué)圖像融合是醫(yī)學(xué)影像和放射醫(yī)學(xué)等領(lǐng)域的研究熱點(diǎn)之一，廣受醫(yī)學(xué)界和工程界重視。提出一種基于在線字典學(xué)習(xí)(ODL)和脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)的腦部CT和MR圖像融合新算法。首先，利用滑動窗技術(shù)將源圖像分塊，使用ODL算法和最小角回歸算法(LARS)得到各圖像塊對應(yīng)列向量的稀疏編碼；其次，將稀疏編碼作為脈沖耦合神經(jīng)網(wǎng)絡(luò)的外部輸入刺激信號進(jìn)行迭代處理，根據(jù)點(diǎn)火次數(shù)確定融合系數(shù)；最后，根據(jù)融合系數(shù)和學(xué)習(xí)字典重構(gòu)融合圖像。基于哈佛醫(yī)學(xué)院的10組腦部CT和MR數(shù)據(jù)，將所提出算法同基于KSVD的融合算法、基于ODL的融合算法、基于NSCT的融合算法比較。實(shí)驗(yàn)結(jié)果顯示：綜合考慮主觀視覺效果和客觀評價指標(biāo)，該算法性能整體優(yōu)于其他算法，客觀參數(shù)指標(biāo)BSSIM、MI、Piella、SF、STD、QAB/F的均值分別為0.751 2、3.769 6、0.697 1、29.526 7、90.090 6、0.570 7，可以提供豐富的信息來輔助醫(yī)生分析病變體，提高臨床醫(yī)療診斷的準(zhǔn)確性和治療規(guī)劃的科學(xué)性。

圖像融合；稀疏表示；脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)；在線字典學(xué)習(xí)(ODL)；最小角回歸算法(LARS)

引言

圖像融合是將具有互補(bǔ)信息的源圖像的顯著特征融合成一幅圖像，從而達(dá)到對目標(biāo)更為精確識別和分析判決的處理過程。自1895年倫琴發(fā)現(xiàn)X射線以來，CT、MRI、超聲、PET等多種醫(yī)學(xué)成像技術(shù)[1]的出現(xiàn)促使醫(yī)學(xué)影像技術(shù)不斷完善和發(fā)展，同時也為多模態(tài)醫(yī)學(xué)圖像融合提供了有力支撐。醫(yī)學(xué)圖像融合將多模態(tài)醫(yī)學(xué)圖像的有用信息融合到一幅圖像之中，不僅可以減少存儲容量，還可以輔助醫(yī)生診斷疾病，這使得該技術(shù)多年來在醫(yī)學(xué)界和工程界廣受關(guān)注。

圖像融合算法一般可以分為兩類：空間域算法和變換域算法[2]?？臻g域算法利用圖像局部化的空間特征(如空間頻率)進(jìn)行融合，此類算法簡單、實(shí)時性好，但存在偽影、對比度下降等缺點(diǎn)；由于圖像的顯著特征在變換域比在空間域能更好地被描述[3]，使得變換域融合算法更流行。變換域算法包括小波、NSCT等多尺度變換[2,4]、基于學(xué)習(xí)字典的稀疏表示變換等融合算法[5-9]。其中，NSCT超小波變換克服了小波變換欠缺方向性的缺點(diǎn)，但運(yùn)算復(fù)雜度增加，并且仍存在細(xì)節(jié)丟失現(xiàn)象[5]?；趯W(xué)習(xí)字典的稀疏表示方法能夠產(chǎn)生與訓(xùn)練樣本高度適應(yīng)的冗余字典，具有更好的稀疏特征提取能力，目前得到了廣泛應(yīng)用。Yang、吳等人提出了基于KSVD的融合算法[8-9]，實(shí)驗(yàn)表明該算法能較好地融合源圖像的結(jié)構(gòu)，邊緣紋理清晰，但由于KSVD屬于二階迭代批處理，每次迭代時使用整個訓(xùn)練集以最小化代價函數(shù)，使得算法運(yùn)算量太大，導(dǎo)致融合速度很慢。

為了解決上述問題，筆者提出一種基于在線字典學(xué)習(xí)(ODL)[7]和脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)[10]的腦圖像融合算法(簡稱為ODL_PCNN)。PCNN在圖像處理方面存在優(yōu)勢，文獻(xiàn)[4，9，11]顯示基于PCNN的融合規(guī)則比傳統(tǒng)的融合規(guī)則性能好。本算法首先利用ODL算法得到與圖像高度匹配的冗余字典，再利用最小角回歸算法(LARS)計(jì)算稀疏編碼；其次將稀疏編碼作為PCNN的外部輸入刺激信號，根據(jù)迭代得到的點(diǎn)火次數(shù)融合稀疏編碼系數(shù)；最后根據(jù)冗余字典和融合系數(shù)重構(gòu)融合圖像。實(shí)驗(yàn)結(jié)果顯示，同3種較新的融合算法比較，本算法在主觀視覺效果和客觀評價指標(biāo)方面具有綜合優(yōu)勢。

1 方法

1.1 在線字典學(xué)習(xí)算法

在線字典學(xué)習(xí)(ODL)算法[7]假設(shè)訓(xùn)練樣本服從獨(dú)立同分布，每一次循環(huán)過程中從訓(xùn)練樣本集合中取出一個樣本元素xt(t為迭代次序數(shù))，基于上次迭代所得字典Dt-1，使用LARS算法求解xt的稀疏系數(shù)αt，有

(1)

之后利用字典更新算法更新第t次迭代的字典Dt，使其滿足

(2)

最終，當(dāng)?shù)戤厱r，返回更新字典DT(T為迭代總次數(shù))。

ODL算法是一種在線字典學(xué)習(xí)算法，由于算法每次迭代只需訪問訓(xùn)練樣本集合的一個元素或者很小的子集，因此內(nèi)存占用較少，計(jì)算效率較高，可以快速處理大數(shù)據(jù)訓(xùn)練集或隨時間變化的動態(tài)訓(xùn)練數(shù)據(jù)集。這種字典學(xué)習(xí)的優(yōu)點(diǎn)還包括：它不需要引入?yún)?shù)，不需要任何的學(xué)習(xí)速率調(diào)諧，而且在算法整個過程中不需要存儲向量xt和αt。此外，由于凸優(yōu)化問題式(2)允許更新塊中存在可分的約束，這樣可以保證收斂到一個全局最優(yōu)值。

1.2 脈沖耦合神經(jīng)網(wǎng)絡(luò)

20世紀(jì)90年代，Johnson等人在Gray[12]、Eckhorn[13]等前人基礎(chǔ)之上，將Eckhorn神經(jīng)元模型改進(jìn)成適合數(shù)字圖像處理的模型，命名為脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)[14]。標(biāo)準(zhǔn)PCNN模型是一個由若干神經(jīng)元連接組成的單層、二維、橫向連接的反饋網(wǎng)絡(luò)。PCNN的每個神經(jīng)元由三部分組成，分別為接收輸入域、調(diào)制域及脈沖產(chǎn)生域，其離散數(shù)學(xué)模型表達(dá)式[15]如下：

(3)

(4)

(5)

(6)

(7)

式中，索引(i,j)和索引(k,l)分別表示當(dāng)前神經(jīng)元和鄰域神經(jīng)元的位置，n為當(dāng)前迭代次數(shù)，F(xiàn)ij為反饋輸入，Lij為連接輸入，Sij為外部激勵，Uij為內(nèi)部活動度，Yij為輸出，Θij為動態(tài)閾值，αF、αL和αΘ分別為Fij、Lij、Θij的時間衰減因子(滿足αF<αL)，VF、VL和VΘ分別為Fij、Lij、Θij的放大系數(shù)，β為連接強(qiáng)度系數(shù)，突觸權(quán)值矩陣M和W中的元素Mijkl和Wijkl分別為Fij和Lij的連接權(quán)值系數(shù)。

PCNN屬于第三代人工神經(jīng)網(wǎng)絡(luò)模型，無需學(xué)習(xí)就能提取有效信息，同時具有變閾值、同步脈沖發(fā)放等特性，處理機(jī)制符合人類視覺系統(tǒng)工作原理，這些優(yōu)良的生物學(xué)背景使其在圖像處理及模式識別等方面顯示出優(yōu)越性。

1.3 基于ODL和PCNN的圖像融合算法

圖像融合旨在將具有互補(bǔ)信息的源圖像的顯著特征融合到一幅圖像中?；趯W(xué)習(xí)字典的稀疏表示算法中，ODL算法比傳統(tǒng)批處理算法更快，且產(chǎn)生的字典性能更好，故筆者采用ODL算法提取源圖像的稀疏編碼系數(shù)作為融合算法的特征參數(shù)。但稀疏表示是一種基于圖像灰度的全局性操作，而圖像融合的質(zhì)量取決于對源圖像的局部顯著性特征的精確表示。為了解決這一問題，筆者使用“滑動窗”技術(shù)對圖像進(jìn)行預(yù)處理，使得算法在捕獲圖像局部顯著性特征方面更有優(yōu)勢，同時滑動窗技術(shù)還可以使稀疏表達(dá)保持“移不變”特性[8]，這對圖像融合很重要。

圖1所示為筆者所提出的ODL和PCNN圖像融合算法。

圖1 基于ODL和PCNN的融合算法Fig.1 Schematic diagram of the proposed fusion method based on ODL and PCNN

假定有兩幅已經(jīng)配準(zhǔn)的源圖像I1,I2∈RM×N，算法內(nèi)容如下：

(8)

(9)

式中，k=1,2,則融合圖像的向量表示矩陣VF可由VF=DSF計(jì)算得到。

1.4 實(shí)驗(yàn)方案與評價指標(biāo)

為了評測所提出算法的有效性，以Windows操作系統(tǒng)為平臺，使用Matlab編程實(shí)驗(yàn)。使用10組腦部疾病患者的CT和MR圖像進(jìn)行融合，實(shí)驗(yàn)所用源圖像均為已配準(zhǔn)的醫(yī)學(xué)圖像。

在研究中，從主觀視覺效果和客觀指標(biāo)來綜合評價算法性能，所用客觀參數(shù)指標(biāo)包括BSSIM[17]、互信息MI[18]、 Piella指數(shù)[19]、QAB/F[20]、空間頻率(SF)、STD和運(yùn)行時間。其中，BSSIM衡量融合圖像與原始圖像的結(jié)構(gòu)相似性，值越大越好；MI是對兩個隨機(jī)變量相關(guān)性的一種定量測量，可以反映源圖像轉(zhuǎn)移到融合圖像中的信息量大小，值越大越好；Piella指數(shù)反映融合圖像的相關(guān)性、亮度和對比度失真情況，值越大表明失真越?。籗F反映融合圖像的整體清晰度，值越大表明融合圖像越清晰；STD反映融合圖像的對比度，值越大表明融合圖像對比度越好；QAB/F反映融合圖像對源圖像邊緣特性的保留情況，值越大表明融合圖像的邊緣特性越好。

最后，對選取的10組融合圖像的上述指標(biāo)作t檢驗(yàn)，本應(yīng)用場合中，顯著性水平設(shè)為0.05，將前述3種對比方法分別與本方法進(jìn)行比較，t檢驗(yàn)得到的P值小于0.05時被認(rèn)為具有顯著性差異。

2 結(jié)果

由于篇幅限制，此處僅給出4組已配準(zhǔn)的多模態(tài)醫(yī)學(xué)圖像及其融合結(jié)果。圖2～圖5的(a)和(b)分別為腦部疾病患者的CT和MR圖像，(c)～(f)分別為基于NSCT、基于KSVD、基于ODL和本算法的融合結(jié)果，黃色箭頭指示腦部疾病的異常病變位置。圖2(a)和(b)為一名22歲男性外圍/原始神經(jīng)外胚層腫瘤(PNET)(后確診為尤文氏肉瘤)患者的腦部CT和MR圖像：CT圖像左側(cè)頂后部見大片狀混雜密度灶，右側(cè)頂后部呈條片狀低密度及結(jié)節(jié)樣等高密度灶；MR圖像左側(cè)額葉見斑片狀高信號灶，右側(cè)頂后部見片狀高信號灶，其內(nèi)見小結(jié)節(jié)樣等密度灶，左側(cè)頂后部見大片狀混雜信號灶，呈條片狀高信號及結(jié)節(jié)樣等信號。圖3(a)和(b)為一名42歲女性腦部腫瘤轉(zhuǎn)移(后確診為轉(zhuǎn)移性支氣管癌)患者的腦部CT和MR圖像，腦部影像顯示左側(cè)基底節(jié)及顳枕葉的大片水腫區(qū)，呈指套樣改變，壓迫鄰近結(jié)構(gòu)，中線結(jié)構(gòu)右移。圖4(a)和(b)為一名45歲女性急性腦卒中患者的腦部CT和MR圖像：CT顯示左側(cè)基底節(jié)及額葉呈片狀低密度灶，邊界欠清晰；MR顯示左側(cè)基底節(jié)及額葉呈片狀高信號影，邊界清晰。圖5(a)和(b)為一名75歲男性腦膜瘤患者的腦部CT和MR圖像，圖像顯示額頂區(qū)近大腦鐮呈不規(guī)則形病灶，周圍見片狀低密度水腫帶。

4種算法的客觀評價指標(biāo)如表1所示。為了進(jìn)一步客觀評價算法的性能，筆者統(tǒng)計(jì)了10個患者腦部融合結(jié)果的客觀參數(shù)指標(biāo)均值和標(biāo)準(zhǔn)差，如表2所示。在上述表中，最優(yōu)參數(shù)指標(biāo)均以黑體標(biāo)出。

圖2 外圍/原始神經(jīng)外胚層腫瘤(PNET)(尤文氏肉瘤)患者的多模態(tài)源圖像和融合結(jié)果。 (a) CT圖像；(b) MR圖像；(c) NSCT融合結(jié)果；(d) KSVD融合結(jié)果；(e) ODL融合結(jié)果；(f)本算法融合結(jié)果Fig.2 The peripheral/primitive neuroepithelial tumor-PNET(Ewing's sarcoma) patient’s multi-focus source images and fusion results. (a)CT image；(b)MR image；(c) NSCT-based fusion result；(d) KSVD-based fusion result；(e) ODL-based fusion result；(f) Fusion result of the proposed algorithm

圖3 腦部腫瘤轉(zhuǎn)移患者的多模態(tài)源圖像和融合結(jié)果。 (a) CT圖像；(b) MR圖像；(c) NSCT融合結(jié)果；(d) KSVD融合結(jié)果；(e) ODL融合結(jié)果；(f)本算法融合結(jié)果Fig.3 Multi-focus source images and fusion results of patient with brain tumor metastasis. (a)CT image；(b)MR image；(c) NSCT-based fusion result；(d) KSVD-based fusion result；(e) ODL-based fusion result；(f) Fusion result of the proposed algorithm

圖4 急性腦卒中患者的多模態(tài)源圖像和融合結(jié)果。 (a) CT圖像；(b) MR圖像；(c) NSCT融合結(jié)果；(d) KSVD融合結(jié)果；(e) ODL融合結(jié)果；(f)本算法融合結(jié)果Fig.4 The acute stroke patient’s multi-focus source images and fusion results. (a)CT image；(b)MR image；(c) NSCT-based fusion result；(d) KSVD-based fusion result；(e) ODL-based fusion result；(f) Fusion result of the proposed algorithm

圖5 腦膜瘤患者的多模態(tài)源圖像和融合結(jié)果。 (a) CT圖像；(b) MR圖像；(c) NSCT融合結(jié)果；(d) KSVD融合結(jié)果；(e) ODL融合結(jié)果；(f)本算法融合結(jié)果Fig.5 The meningioma patient’s multi-focus source images and fusion results. (a)CT image；(b)MR image；(c) NSCT-based fusion result；(d) KSVD-based fusion result；(e) ODL-based fusion result；(f) Fusion result of the proposed algorithm

源圖像融合算法BSSIMMIPiellaSFSTDQAB/F運(yùn)行時間t/sFig．2(a)(b)本算法075553969006999292058893622057971781860ODL075553964607001292101893613057941733892KSVD0754334546065532682738860910548535985NSCT074423139906654259328870104875362725Fig．3(a)(b)本算法078553561507313277425870264056121696640ODL078563558907314277262870242056101657260KSVD0784731653069552547218621950544237351NSCT07712301640703124036684761405194365969Fig．4(a)(b)本算法074163800106934307443948368054941683346ODL074163799906934307437948343054911634784KSVD07397342370644928620794460514334267NSCT07175297930636727585921759047253868Fig．5(a)(b)本算法075563872506948238317903463061311791760ODL075563867706950238278899590061251730687KSVD0754235571064672186088952960593042068NSCT07408346680653722011688104305933357143

表2 不同融合算法的客觀指標(biāo)的均值和標(biāo)準(zhǔn)差(均值標(biāo)準(zhǔn)差)

Tab.2 The mean and standard deviation of objective indicators of different fusion algorithms(Mean±SD)

表2 不同融合算法的客觀指標(biāo)的均值和標(biāo)準(zhǔn)差(均值標(biāo)準(zhǔn)差)

指標(biāo)方法NSCTKSVDODL本算法BSSIM07256±0026607424±0025607513±0016207512±00161MI31028±0233333559±0182637677±0163837696±01618Piella06260±0070606234±0077506973±0014906971±00152SF267661±26663274287±25954295206±29263295267±29293STD869295±39506886480±37558900897±34879900906±34881QAB/F05077±0044105405±0029605703±0020505707±00274運(yùn)行時間t/s368322±1122237148±3347271667371±612031713989±65464

表1所示為4組實(shí)驗(yàn)對應(yīng)的客觀參數(shù)評價指標(biāo)。在7個客觀評價指標(biāo)的“運(yùn)行時間”指標(biāo)上，NSCT融合算法的運(yùn)行時間最短，KSVD融合算法的運(yùn)行時間最長，ODL融合算法和本算法的運(yùn)行時間居中；在4組實(shí)驗(yàn)的BSSIM指標(biāo)和Piella指標(biāo)上，ODL融合算法最優(yōu)，但本算法與其差異很小，相差10-4數(shù)量級；在其他各項(xiàng)指標(biāo)上，本算法最優(yōu)，NSCT融合算法除了Piella指標(biāo)比KSVD略占優(yōu)勢外，其客觀指標(biāo)整體相對最差。

表2所示為10組實(shí)驗(yàn)結(jié)果對應(yīng)的各算法客觀參數(shù)指標(biāo)的均值和標(biāo)準(zhǔn)差。從多組實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果來看，對于運(yùn)行時間指標(biāo)，NSCT融合算法最優(yōu)，KSVD融合算法運(yùn)行最慢，ODL融合算法和本算法速度居中，ODL融合算法的運(yùn)行時間指標(biāo)略優(yōu)于本算法。另外，本算法除BSSIM和Piella指標(biāo)微遜于ODL融合算法10-4數(shù)量級外，其余客觀參數(shù)指標(biāo)平均最優(yōu)。從標(biāo)準(zhǔn)差來看，本算法的標(biāo)準(zhǔn)差相對較小，算法性能相對穩(wěn)定。

此外，進(jìn)一步將本方法與3種對比算法進(jìn)行比較，對10組實(shí)驗(yàn)結(jié)果的各客觀參數(shù)指標(biāo)做t檢驗(yàn)，其中P值小于0.05的數(shù)值均以黑體標(biāo)出，結(jié)果如表3所示?？梢钥吹剑簩τ谒锌陀^參數(shù)指標(biāo)，本方法分別與KSVD和NSCT算法做t檢驗(yàn)，得到的P值均小于0.05，具有顯著性差異。在上述指標(biāo)中，除NSCT算法中的QAB/F指標(biāo)為0.018 7外，其余均小于0.01，進(jìn)一步說明本方法與KSVD和NSCT方法相比具有極度顯著性差異。本方法與ODL算法在BSSIM、SF和STD 3個參數(shù)指標(biāo)上，t檢驗(yàn)的P值分別為0.189 3、0.198 1和0.188 7，均大于0.05，不具有顯著性差異；而在MI、Piella和QAB/F指標(biāo)上，t檢驗(yàn)的P值均小于0.05，具有顯著性差異。

表3 各客觀參數(shù)指標(biāo)t檢驗(yàn)的P值

3 討論

以下從主客觀兩方面對實(shí)驗(yàn)結(jié)果做進(jìn)一步討論。如圖2～5所示的4組實(shí)驗(yàn)，從主觀視覺效果來看，NSCT融合算法的圖像對比度和清晰度失真明顯，骨組織相對清晰，但圖像輪廓和軟組織、病灶邊緣較為模糊，不利于對病灶準(zhǔn)確定位；KSVD融合算法的圖像質(zhì)量明顯優(yōu)于NSCT融合算法的圖像質(zhì)量，邊緣比較清晰，但對比度、清晰度、紋理細(xì)節(jié)不如ODL融合算法和本算法；與ODL融合算法相比，從圖3和圖5的融合結(jié)果可以看到，本算法在邊緣及紋理細(xì)節(jié)的保持度上略占優(yōu)勢。本算法結(jié)合CT和MR圖像的優(yōu)勢，很好地融合了CT圖像的骨組織信息和MR圖像的軟組織信息，邊緣輪廓和紋理清晰，對比度、清晰度高，圖像質(zhì)量相對較好，可以有效地輔助醫(yī)生診斷疾病。

在客觀評價方面，筆者統(tǒng)計(jì)了10組實(shí)驗(yàn)結(jié)果，進(jìn)一步評價算法性能。從表2所示的多組實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果來看，運(yùn)行時間指標(biāo)的排序依次為：NSCT融合算法、ODL融合算法、本算法和KSVD融合算法。這是因?yàn)椋篘SCT變換具有快速變換與反變換算法，且無需訓(xùn)練字典，而KSVD融合算法需要訓(xùn)練字典，且每次迭代需要訪問所有樣本，當(dāng)樣本數(shù)目增加時，運(yùn)算效率顯著下降。在ODL融合算法和本算法訓(xùn)練字典的迭代過程中，每次只需隨機(jī)訪問訓(xùn)練樣本集合的一個子集，因此運(yùn)算量遠(yuǎn)小于KSVD融合算法，算法運(yùn)行效率大大優(yōu)于KSVD融合算法。此外，本算法在BSSIM和Piella指標(biāo)上稍遜于ODL融合算法10-4數(shù)量級，其余客觀參數(shù)指標(biāo)平均最優(yōu)，且算法性能相對穩(wěn)定。綜合考慮主觀視覺效果和客觀評價指標(biāo)，本算法性能全面超越了NSCT和KSVD融合算法，略優(yōu)于ODL算法，NSCT融合算法最差，KSVD融合算法居中。究其原因，盡管NSCT變換具有多尺度、多方向、平移不變等特性，但NSCT變換屬于非自適應(yīng)多尺度幾何分析，圖像變換的基函數(shù)與圖像內(nèi)容無關(guān)，因此該變換不能“更稀疏”地表示圖像特征，變換系數(shù)的能量集中度不高，導(dǎo)致其非線性逼近能力較差。而基于學(xué)習(xí)字典的稀疏表示則能產(chǎn)生與訓(xùn)練樣本高度適應(yīng)的冗余字典，可以有效提取源圖像的幾何結(jié)構(gòu)，從而更好地發(fā)掘圖像信號的特征，并以更好的稀疏方式來表示，這種自適應(yīng)的圖像統(tǒng)計(jì)表示方法使得KSVD融合算法、ODL融合算法和本算法優(yōu)于NSCT融合算法。本算法和ODL融合算法優(yōu)于KSVD融合算法的原因之一，在于KSVD在稀疏近似時使用的貪婪匹配追蹤算法不能保證所求得的稀疏表示是全局最優(yōu)的，而ODL算法對稀疏模型的求解則是一種凸松馳優(yōu)化算法，其用L1范數(shù)代替L0范數(shù)，能夠求得全局最優(yōu)解。ODL算法不同于經(jīng)典一階隨機(jī)梯度下降法，它不需要精確的學(xué)習(xí)速率調(diào)諧，選擇一個好的學(xué)習(xí)速率參數(shù)時，對于大訓(xùn)練集，其所使用的一階隨機(jī)梯度下降法比KSVD中的批處理方法更有競爭力，其目標(biāo)函數(shù)比KSVD的目標(biāo)函數(shù)收斂速度更快，收斂性能更優(yōu)。這使得ODL訓(xùn)練出來的字典性能更好，更能稀疏精確地表示源圖像，從而使得ODL融合算法和本算法優(yōu)于KSVD融合算法。本算法略優(yōu)于ODL融合算法的原因在于所使用的PCNN模型更符合人類HVS系統(tǒng)工作原理，PCNN融合規(guī)則在本實(shí)驗(yàn)中優(yōu)于傳統(tǒng)融合規(guī)則。

4 結(jié)論

本研究提出了基于ODL和PCNN的醫(yī)學(xué)圖像特征提取和融合新算法。該算法利用ODL快速訓(xùn)練出高性能的學(xué)習(xí)字典，之后利用LARS算法計(jì)算稀疏編碼系數(shù)，將稀疏系數(shù)的L1范數(shù)輸入到PCNN進(jìn)行融合系數(shù)“最大化選擇”處理，可以更好地選擇多模態(tài)醫(yī)學(xué)圖像中的顯著特征。此外，本算法利用學(xué)習(xí)字典融合圖像時，使用“滑動窗”技術(shù)對源圖像進(jìn)行分塊預(yù)處理，使得基于稀疏表示的圖像特征提取具備“移不變”特性，因而融合圖像的性能更好?；谟?xùn)練樣本數(shù)據(jù)的高性能學(xué)習(xí)字典的特征提取和基于PCNN的融合規(guī)則的結(jié)合，使得本算法的整體效果優(yōu)于另外3種算法，結(jié)果顯示本算法得到的融合圖像主觀視覺效果對比度高，輪廓邊緣和紋理細(xì)節(jié)清晰，客觀參數(shù)指標(biāo)優(yōu)越，因而可以輔助醫(yī)生提高臨床醫(yī)療診斷的準(zhǔn)確性，從而更加科學(xué)合理地規(guī)劃病人的治療方案。

(致謝 感謝大連醫(yī)科大學(xué)附屬第二醫(yī)院放射科郭冬梅大夫在醫(yī)學(xué)影像解讀及描述方面給予的指導(dǎo)。)

[1] 劉惠，郭冬梅，邱天爽，等. 醫(yī)學(xué)影像和醫(yī)學(xué)圖像處理[M]. 北京：電子工業(yè)出版社，2013.

[2] Hill PR, Canagarajah CN, Bull DR. Image fusion using complex wavelets[C]//BMVC. Cardiff, 2002: 1-10.

[3] Mitianoudis N, Stathaki T. Pixel-based and region-based image fusion schemes using ICA bases[J]. Information Fusion, 2007, 8(2): 131-142.

[4] Das S, Kundu MK. NSCT-based multimodal medical image fusion using pulse-coupled neural network and modified spatial frequency [J]. Medical & Biological Engineering & Computing, 2012, 50(10): 1105-1114.

[5] 吳雙, 邱天爽, 高姍. 基于在線字典學(xué)習(xí)的醫(yī)學(xué)圖像特征提取與融合[J]. 中國生物醫(yī)學(xué)工程學(xué)報, 2014, 33(3):283-288.

[6] Aharon M, Elad M, Bruckstein A. K-SVD: An algorithm for designing overcomplete dictionaries for sparse representation [J]. IEEE Transaction on Signal Processing, 2006, 54(11): 4311-4322.

[7] Mairal J, Bach F, Ponce J,etal. Online learning for matrix factorization and sparse coding[J]. The Journal of Machine Learning Research, 2010, 11: 19-60.

[8] Yang Bin, Li Shutao. Multifocus image fusion and restoration with sparse representation [J]. IEEE Transactions on Instrumentation and Measurement, 2010, 59(4):884-892.

[9] 吳雙, 邱天爽. 基于稀疏表示和脈沖耦合神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)影像融合算法[J]. 中國生物醫(yī)學(xué)工程學(xué)報, 2013, 32(4): 448-453.

[10] Johnson JL, Padgett ML. PCNN models and applications[J]. IEEE Transactions on Neural Networks, 1998, 10(3): 480-498.

[11] Wang Zhaobin, Ma Yide, Gu J. Multi-focus image fusion using PCNN[J]. Pattern Recognition, 2010, 43(6): 2003-2016.

[12] Gray CM, K?nig P, Engel AK,etal. Oscillatory responses in cat visual cortex exhibit inter-columnar synchronization which reflects global stimulus properties[J]. Nature, 1989, 338(6213): 334-337.

[13] Eckhorn R, Reitboeck HJ, Arndt M,etal. Feature linking via synchronization among distributed assemblies: Simulations of results from cat visual cortex[J]. Neural Computation, 1990, 2(3): 293-307.

[14] Johnson JL. Pulse-coupled neural nets: translation, rotation, scale, distortion, and intensity signal invariance for images[J]. Applied Optics, 1994, 33(26): 6239-6253.

[15] Lindblad T, Kinser JM, Lindblad T,etal. Image Processing using Pulse Coupled Neural Networks[M] (2nd edition). Springer Berlin: Heidelberg, 2005.

[16] Efron B, Hastie T, Johnstone I,etal. Least angle regression[J]. The Annals of Statistics, 2004, 32(2): 407-499.

[17] Wang Z, Bovik AC, Sheikh HR,etal. Image quality assessment: from error visibility to structural similarity [J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[19] Wang Z, Bovik AC. A universal image quality index[J]. IEEE Signal Processing Letters, 2002, 9(3): 81-84.

[20] Qu Guihong, Zhang Dali, Yan Pingfan. Information measure for performance of image fusion[J]. Electronics Letters, 2002, 38(7): 313-315.

Brain Image Fusion Based on Online Dictionary Learning and Pulse Coupled Neural Network

Zong Jingjing1,2Qiu Tianshuang1#*

1(FacultyofElectronicInformationandElectricalEngineering,DalianUniversityofTechnology,Dalian116024,Liaoning,China)2(SchoolofElectrical&InformationEngineering,DalianJiaotongUniversity,Dalian116028,Liaoning,China)

Medical image fusion is an important issue in the field of medical imaging and radiation medicine, and is widely recognized by medical and engineering fields. In this study, a new algorithm of brain CT and MR image fusion was proposed based on the online dictionary learning (ODL) and pulse coupled neural network (PCNN). First, the source images were divided into patches using the sliding window technology, and then the ODL algorithm and LARS algorithm were used to get the sparse coding coefficient of corresponding column vector of each image patch. Second, the sparse coding coefficient was selected as the external stimulus input of the pulse coupled neural network for iterative processing, and the fusion coefficient was determined by firing times. At last, the fusion image was reconstructed according to the fusion coefficients and the learned dictionary. Based on CT and MR brain data of 10 groups that from the Harvard Medical School, and compared with the KSVD-based fusion method, the ODL-based fusion method and the NSCT-based fusion method, the experimental results showed that the proposed algorithm was superior to the other algorithms in terms of subjective visual effects and objective evaluation index. The average of objective parameters BSSIM, MI, Piella, SF, STD, QAB/Fwere 0.751 2, 3.769 6, 0.697 1, 29.526 7, 90.090 6, 0.570 7, and the fusion results can provide abundant information to help medical doctors to analyze the pathological tissue, thus it can improve the accuracy of clinical medical diagnosis and make efficient treatment plans.

image fusion; sparse representation; pulse coupled neural network (PCNN); online dictionary learning(ODL); least angle regression algorithm (LARS)

10.3969/j.issn.0258-8021. 2015. 05.004

2014-11-21，錄用日期:2015-08-31

國家自然科學(xué)基金(81241059，61172108)；國家科技支撐計(jì)劃項(xiàng)目(2012BAJ18B06)

TP391；TN911.73

A

0258-8021(2015) 05-0540-08

# 中國生物醫(yī)學(xué)工程學(xué)會會員(Member, Chinese Society of Biomedical Engineering)

*通信作者(Corresponding author)， E-mail: qiutsh@dlut.edu.cn