劉一男，張榮國(guó)，李建偉，王 曉，胡 靜

(太原科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，太原 030024)

圖像獲取方式的多樣性可以允許不同模態(tài)的醫(yī)學(xué)圖像存儲(chǔ)和反映不同的圖像和視覺(jué)信息類(lèi)別。沒(méi)有哪一種單一模態(tài)的圖像足以傳達(dá)組織或器官的完整信息。醫(yī)學(xué)圖像融合的最終目標(biāo)就是將不同類(lèi)別的醫(yī)學(xué)圖像中的有利信息相互結(jié)合，以此來(lái)幫助醫(yī)生進(jìn)行下一步的診斷。

近年來(lái)，醫(yī)學(xué)圖像融合算法有了較快的發(fā)展，其中大多數(shù)提出的融合方法是基于多尺度變換進(jìn)行的[1]。而近幾年出現(xiàn)的非下采樣輪廓波變換(NSCT)和非下采樣剪切波變換(NSST)兩種分解方法，由于其平移不變性，可以避免圖像產(chǎn)生偽吉布斯現(xiàn)象。經(jīng)過(guò)不斷的研究發(fā)展，如今已經(jīng)發(fā)展了許多新穎的在多尺度變換下的融合方法。

Singh和Khare[2]提出改進(jìn)小波變換的方法。然而，這種方法具有較差的邊緣細(xì)節(jié)、清晰度和有限的方向性。Zhu[3]在多尺度域提出了輪廓波結(jié)合拉普拉斯能量的融合方法，改善了融合圖像的細(xì)節(jié)特征，然而，NSCT算法時(shí)間復(fù)雜度高，分解和重構(gòu)時(shí)間長(zhǎng)，大大降低了融合效率。Wu[4]提出了一種具有加權(quán)最小二乘濾波器與引導(dǎo)濾波相結(jié)合的方法，盡管該方法在一定程度上保護(hù)了邊緣信息，但是其基礎(chǔ)層主要包含了圖像結(jié)構(gòu)信息，直接對(duì)其融合可能在之后的進(jìn)一步融合中模糊掉邊緣保護(hù)濾波所保留的顯著邊緣信息。

針對(duì)傳統(tǒng)醫(yī)學(xué)圖像融合方式所欠缺的方面，本文提出了一種新的融合算法。它可以解決傳統(tǒng)脈沖耦合網(wǎng)絡(luò)(PCNN)方法中自由參數(shù)的設(shè)置問(wèn)題[5]。同時(shí)，該算法所需要進(jìn)行迭代的次數(shù)更少，收斂速度有了較大的提升。而基于視覺(jué)顯著映射(VSM)的低頻子帶融合規(guī)則，可以在最大程度上提升圖像的對(duì)比度，并使融合后的圖像具有更好的整體外觀。為了提高融合圖像對(duì)重要組織細(xì)節(jié)信息保留，對(duì)圖像的高頻子帶進(jìn)行了特征細(xì)節(jié)的提取，并以此作為脈沖耦合神經(jīng)網(wǎng)絡(luò)的外部激勵(lì)。

1 相關(guān)工作

1.1 非下采樣剪切波

作為一種多尺度和多方向的分解方法，NSST能夠獲得不同方向和角度的源圖像的最佳表示。與傳統(tǒng)的剪切波變換不同，NSST可以有效地保留源圖像的空間細(xì)節(jié)和結(jié)構(gòu)信息，因此在圖像融合中得到廣泛應(yīng)用。

NSST作為一個(gè)非正交變換工具，它主要包括一個(gè)非二次抽樣金字塔(NSP)和一個(gè)剪切濾波器(SF).能夠?qū)蜧ibbs現(xiàn)象的產(chǎn)生起到預(yù)防作用。具體來(lái)說(shuō)，使用NSPF來(lái)獲得輸入圖像從細(xì)致到粗糙的多尺度分解。當(dāng)設(shè)定分解級(jí)別為F時(shí)，則經(jīng)過(guò)分解后，可以得到共F+1個(gè)子帶。包括F個(gè)高頻子帶和1個(gè)低頻子帶。而對(duì)于每個(gè)不同的分解級(jí)別，應(yīng)用SFB模塊來(lái)獲得圖像的多方向表示。

1.2 脈沖耦合神經(jīng)網(wǎng)絡(luò)

脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)是基于小型哺乳動(dòng)物視覺(jué)皮層模型的生物啟發(fā)神經(jīng)網(wǎng)絡(luò)模型[6]。圖像的像素與PCNN神經(jīng)元是對(duì)應(yīng)的，所以?xún)烧叩臄?shù)量是相等的。傳統(tǒng)的 PCNN 模型結(jié)構(gòu)相對(duì)較為復(fù)雜，在將模型應(yīng)用于圖像處理領(lǐng)域時(shí)常常需要調(diào)整眾多的參數(shù)，所以在應(yīng)用時(shí)常常采用簡(jiǎn)化后的PCNN模型，其表達(dá)式如下所示：

(1)

其中，F(xiàn)ij[n]和Lij[n]表示的是PCNN神經(jīng)元中的反饋輸入和鏈接輸入[6]。Fij[n]固定為整個(gè)迭代過(guò)程中輸入圖像Sij的強(qiáng)度。內(nèi)部活動(dòng)Uij[n]由兩個(gè)參數(shù)所組成，第一項(xiàng)e-αlUij[n-1]是其先前值的衰減，第二項(xiàng)Fij[n](1+βLij[n])是Lij[n]和Fij[n]的非線性調(diào)制。而當(dāng)Uij[n]的值大于動(dòng)態(tài)閾值Eij[n]時(shí)，PCNN模型的輸出部分Yij[n]被觸發(fā)，此時(shí)Yij[n]=1，而此時(shí)將PCNN模型初始化為Yij[n]=0;Uij[n]=0;Eij[n]=0.

從上述表述中可以看出PCNN中共有如下參數(shù)：動(dòng)態(tài)閾值E的衰減系數(shù)αf，連接強(qiáng)度β，連接輸入的幅度VL，動(dòng)態(tài)閾值的幅度VE，以及內(nèi)部活動(dòng)的衰減系數(shù)αe.為了簡(jiǎn)化參數(shù)的設(shè)置，采用如下所示公式進(jìn)行參數(shù)的計(jì)算選擇。參數(shù)可以計(jì)算為：

(2)

其中，σ(S)表示輸入圖像在[0，1]范圍內(nèi)的標(biāo)準(zhǔn)偏差，S和Smax分別表示歸一化后的閾值和進(jìn)行輸入圖像的最大亮度值。

2 所提算法

2.1 圖像的多尺度分解

利用 NSST可以將源圖像分解為一個(gè)近似圖和若干細(xì)節(jié)圖。源圖像在經(jīng)過(guò)NSST分解之后，可以采用下述公式表示：

(3)

圖1 本文所提算法流程圖

2.2 近似圖的融合規(guī)則

近似圖包含的是圖像的大部分能量與圖像整體的邊緣輪廓信息。本文提出的基于視覺(jué)顯著映射(VSM)加權(quán)平均方法去融合得到的近似圖，使用VSM來(lái)融合近似層，以此來(lái)避免醫(yī)學(xué)圖像中對(duì)比度的下降，通過(guò)構(gòu)建視覺(jué)顯著圖進(jìn)行近似圖融合，最后計(jì)算權(quán)重得到近似圖融合的結(jié)果。

設(shè)定Ip來(lái)表示圖像I中所存在像素p的亮度值。則其定義的顯著性值Vp為：

V(p)=|Ip-I1|+|Ip-I2|+…+|Ip-IN|

(4)

其中，N為圖像I中的像素總量?？梢酝茢喑?，兩個(gè)像素如果具有的強(qiáng)度值是一致的，那么就可以得到它們顯著性值也是相等的。由此，可以重寫(xiě)定義為：

(5)

上式中，j表示圖像像素的強(qiáng)度，Mj表示強(qiáng)度等于j的像素的數(shù)量，L是灰度級(jí)的數(shù)量。然后，將Vp0歸一化為[0，1].讓V1和V2來(lái)分別代表解剖圖像和功能圖像的VSM結(jié)果。通過(guò)加權(quán)平均方法來(lái)去獲得融合近似層BF：

BF=WbB1+(1-Wb)B2

(6)

其中，權(quán)重Wb定義為:

(7)

如果V1在某些位置等于V2，權(quán)重Wb將取平均值。

2.3 細(xì)節(jié)圖的融合規(guī)則

細(xì)節(jié)圖反映了圖像在小尺度上的細(xì)節(jié)。而在以往的PCNN模型中，所選取的通常是輸入圖像像素的絕對(duì)值來(lái)作為外部刺激輸入到模型中，這就使得模型的信息采集過(guò)于單一，而且對(duì)于醫(yī)學(xué)圖像中特定細(xì)節(jié)的呈現(xiàn)及捕捉能力不足，不能更好的呈現(xiàn)多模態(tài)醫(yī)學(xué)圖像的融合效果[7]。本文通過(guò)分別對(duì)解剖圖像和功能圖像的高頻子帶進(jìn)行顯著特征提取，構(gòu)建顯著特征權(quán)重圖來(lái)作為PCNN的外部刺激輸入，本文提出的顯著特征提取方法及權(quán)重圖的構(gòu)建過(guò)程如下，灰度圖像ξ的顯著圖φ被給出為：

ξ(x,y)=|φμ(x,y)-φn(x,y)|

(8)

其中，‖代表絕對(duì)值，φμ是窗口大小為wμ的平均濾波器的輸出。φη是窗口大小為wη的中值濾波器的輸出。而想要對(duì)相關(guān)彩色圖像的視覺(jué)顯著性進(jìn)行獲得的方式如下:

ξ(x,y)=φμ(x,y)-φn(x,y)

(9)

通過(guò)更進(jìn)一步的細(xì)節(jié)圖構(gòu)建來(lái)作為外部激勵(lì)條件與PCNN模型進(jìn)行結(jié)合。通過(guò)分配適當(dāng)?shù)臋?quán)重進(jìn)行。權(quán)重圖是通過(guò)歸一化顯著圖來(lái)計(jì)算，歸一化使得權(quán)重圖的范圍達(dá)到[0，1]權(quán)重分配公式：

(10)

基于特征提取及權(quán)重圖的構(gòu)建的方法，采用解剖圖像和功能圖像高頻子帶顯著特征權(quán)重的絕對(duì)值作為網(wǎng)絡(luò)的激勵(lì)條件，即參數(shù)自適應(yīng)PCNN模型中，F(xiàn)ij[n]=ψn(i,j)n∈{A,B}高頻子帶的活躍程度由整個(gè)迭代過(guò)程的總點(diǎn)火次數(shù)來(lái)衡量。在所提PCNN模型中，采用在每次模型迭代次數(shù)完成時(shí)增加統(tǒng)計(jì)點(diǎn)火時(shí)間的方法，定義如下：

Tij[n]=Tij[n-1]+Yij[n]

(11)

選擇具有較大點(diǎn)火時(shí)間的系數(shù)作為最終細(xì)節(jié)圖的融合系數(shù)。

(12)

3 實(shí)驗(yàn)分析

本文采用LP[9]、DTCWT[10]、NSCT[8]、 NSCT-SF-PCNN[3]、NSST-PCNN[6]5種方法與本文方法對(duì)比，進(jìn)行實(shí)驗(yàn)分析所需要用到的硬件配置為Intel Core i7-10750H，CPU的主頻為 2.60 GHz，內(nèi)存16GB，軟件環(huán)境為 MATLAB R2018b.

3.1 實(shí)驗(yàn)數(shù)據(jù)及參數(shù)設(shè)置

本文從數(shù)據(jù)庫(kù)中選取醫(yī)學(xué)圖像用于實(shí)驗(yàn)比對(duì)，選取醫(yī)學(xué)圖像類(lèi)型包括CT-MRI醫(yī)學(xué)圖像MRI-PET 醫(yī)學(xué)圖像以及MRI-SPECT醫(yī)學(xué)圖像。本實(shí)驗(yàn)所采用到的實(shí)驗(yàn)醫(yī)學(xué)圖像統(tǒng)統(tǒng)都是在哈佛大學(xué)醫(yī)學(xué)院人腦圖譜中獲得的 (http:∥www.med.harvard.edu/aanlib/home.html).CT-MRI實(shí)驗(yàn)醫(yī)學(xué)圖像、MRI-PET醫(yī)學(xué)圖像以及MRI-SPECT醫(yī)學(xué)圖像如圖2所示，圖3-圖5是本文算法與不同算法進(jìn)行對(duì)比所得到的效果圖。在設(shè)定的實(shí)驗(yàn)中，實(shí)驗(yàn)的實(shí)驗(yàn)參數(shù)進(jìn)行如下的設(shè)置:非下采樣剪切波中，采用 maxflat作為分解用到的濾波器，同時(shí)，采用4層的分解層數(shù)，而進(jìn)行多方向性分解的方向數(shù)則分別設(shè)定為 {16，16， 8，8}；PCNN網(wǎng)絡(luò)中，迭代次數(shù)n=150，加權(quán)核的半徑r=1,濾波器窗口大小wμ=35，Wη=3.

圖2 腦部腫瘤疾病的多模態(tài)醫(yī)學(xué)圖像

3.2 主觀分析

實(shí)驗(yàn)結(jié)果如圖3-圖5所示，包括CT-MRI、MRI-PET、MRI-SPECT圖像之間的融合。本文所提算法的結(jié)果都排在在每幅圖的最后。通過(guò)對(duì)每幅圖像進(jìn)行觀察，可以看出采用本文所提出算法能夠?qū)⒐δ軋D像的顏色信息和解剖圖像的結(jié)構(gòu)信息都較充分地呈現(xiàn)在最終的融合圖像中去，并且能夠明顯的提高了融合圖像的對(duì)比度，并且在一些細(xì)微組織的細(xì)節(jié)處，本文方法也能夠起到一定的保留作用。

圖3 腦部CT/MRI圖像融合結(jié)果

圖4 腦部MRI/PET圖像融合結(jié)果

3.3 客觀分析

為了客觀地評(píng)價(jià)本文所提算法的有效性， 本文選取以下指標(biāo)作為客觀評(píng)價(jià)指標(biāo)：顯著性特征圖的失真度VSI， 空間域的梯度分布SF，邊緣銳化程度EI,融合圖像的信息比 MI，細(xì)節(jié)對(duì)比平均梯度AVG，圖像的信息熵SHA.

表1-表3分別是是CT-MRI、MRI-PET、MRI-SPECT三種醫(yī)學(xué)圖像與5種采用相關(guān)方法獲得的融合結(jié)果進(jìn)行比對(duì)的結(jié)果。從表中不難發(fā)現(xiàn)，在 SF、EI、AVG和SHA等 4 個(gè)評(píng)價(jià)指標(biāo)中，本文所提出的算法取得了一定的優(yōu)勢(shì)。原因是所提出的方法通過(guò)對(duì)視覺(jué)顯著圖的構(gòu)造以及細(xì)節(jié)信息提取后對(duì)最終得到的融合圖像起到了一定的效果增強(qiáng)的作用，同時(shí)也保留了更多的細(xì)節(jié)信息。而在某些指標(biāo)本文指標(biāo)雖未能進(jìn)入前列。但是通過(guò)結(jié)合主觀視覺(jué)方面，同時(shí)結(jié)合對(duì)每幅結(jié)果圖像的呈現(xiàn)質(zhì)量可以看出，運(yùn)用本文算法所獲得的最終融合圖像是最好的。

表1 CT/MRI圖像融合結(jié)果的客觀評(píng)價(jià)指標(biāo)

表2 MRI/PET圖像融合結(jié)果的客觀評(píng)價(jià)指標(biāo)

表3 MRI/SPECT圖像融合結(jié)果的客觀評(píng)價(jià)指標(biāo)

圖6-圖8中柱狀圖是不同模態(tài)的醫(yī)學(xué)圖像通過(guò)采用不同方法得到的融合圖像的相關(guān)評(píng)價(jià)指標(biāo)。從柱狀圖中也可以明顯的觀察到，采用本文所提方法得到的融合圖像在細(xì)節(jié)對(duì)比平均梯度、圖像的信息熵等指標(biāo)上處于優(yōu)勢(shì)地位，這也從另一方面說(shuō)明了本文所提的算法可以使最終的結(jié)果圖像產(chǎn)生更加清楚明亮的的外部邊緣細(xì)節(jié)，同時(shí)也可以對(duì)顏色信息保留的更為充分。

圖6 CT/MRI圖像融合評(píng)價(jià)指標(biāo)對(duì)比圖

圖7 MRI/PET圖像融合評(píng)價(jià)指標(biāo)對(duì)比圖

圖8 MRI/SPECT圖像融合評(píng)價(jià)指標(biāo)對(duì)比圖

4 總結(jié)

本文針對(duì)于多模態(tài)醫(yī)學(xué)圖像成像方式的不同所導(dǎo)致的不同類(lèi)型圖像之間的融合問(wèn)題，提出了一種結(jié)合顯著特征激勵(lì)參數(shù)自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)和NSST域改進(jìn)的醫(yī)學(xué)圖像融合算法。對(duì)解決醫(yī)學(xué)圖像融合產(chǎn)生的圖像細(xì)節(jié)信息保留不充分、整體圖像對(duì)比度偏低等問(wèn)題具有一定的效果。通過(guò)一定的實(shí)驗(yàn)方案來(lái)表明本文所提醫(yī)學(xué)圖像融合方法的可操作性。 與早期經(jīng)典的醫(yī)學(xué)圖像融合算法以及近幾年新興的醫(yī)學(xué)圖像融合算法進(jìn)行對(duì)比，本文所提關(guān)于醫(yī)學(xué)圖像融合算法取得了一定的效果，與近幾年提出的其他算法相比也具有一定的優(yōu)勢(shì)。