李雨晨，黃永東，2

1.北方民族大學(xué) 圖像處理與理解研究所，銀川 750021

2.大連民族大學(xué) 數(shù)學(xué)與信息科學(xué)研究中心，遼寧 大連 116600

醫(yī)學(xué)圖像融合是將相同或不同成像方式的多幅圖像進(jìn)行配準(zhǔn)和整合，在保留特定特征信息的前提下提高成像質(zhì)量的過(guò)程[1]。常用的解剖圖像有CT圖像和MRI圖像，它們主要描述人體形態(tài)信息。由于CT圖像對(duì)骨、鈣化、早期腦出血等成像有很高的分辨率，而MRI能夠很好地呈現(xiàn)神經(jīng)系統(tǒng)、關(guān)節(jié)軟骨、肌肉、脂肪和軟組織病變。對(duì)CT圖像和MRI圖像進(jìn)行融合能夠有效降低圖像信息的冗余性，提高醫(yī)學(xué)圖像診斷速度，給出綜合有效的治療方案，改進(jìn)臨床決策準(zhǔn)確性[2]。

基于多尺度分解（MSD）的醫(yī)學(xué)圖像融合方法倍受學(xué)者的廣泛關(guān)注并取得巨大成功，其主要步驟包括圖像分解、特征融合以及圖像重構(gòu)。分解工具的選擇對(duì)源圖像信息是否能夠充分提取有著十分重要的作用，常用的多尺度分解工具包含平移變化的分解工具和平移不變的分解工具。平移變化的分解工具有：金字塔變換、如拉普拉斯金字塔變換（LP）、梯度金字塔變換（GP）等；小波變換，如離散小波變換（DWT）、雙樹(shù)復(fù)小波變換（DTCWT）等；多尺度幾何分析變換，如Curvelet變換以及Contourlet變換等。盡管基于上述變換的圖像融合算法表現(xiàn)出了很好的性能，然而由于上述變換不具有平移不變性，因此在融合結(jié)果中存在偽Gibbs現(xiàn)象。平移不變的分解工具包括非下采樣輪廓波變換（NSCT）[3]和非下采樣剪切波變換（NSST）[4]，由于在分解和重建的過(guò)程中沒(méi)有進(jìn)行上下采樣，因此具有平移不變性，可以較好地應(yīng)用于圖像融合中。但是基于NSCT和NSST變換的圖像融合算法的計(jì)算復(fù)雜度相對(duì)較高，且在融合過(guò)程中沒(méi)有充分的考慮空間一致性，可能會(huì)導(dǎo)致圖像亮度或顏色的失真以及人工效應(yīng)的出現(xiàn)。為了避免此類現(xiàn)象的發(fā)生，近年來(lái)，一些學(xué)者考慮到邊緣保留濾波同時(shí)具有平移不變性和好的邊緣保留性能，將其作為多尺度分解工具應(yīng)用到圖像融合領(lǐng)域并取得較為滿意的融合效果，如引導(dǎo)濾波（GFF）[5]、梯度最小光滑濾波（GMSF）、局部拉普拉斯濾波（LLF）等。為了更好地根據(jù)圖像的尺度信息來(lái)保留邊緣信息，平滑圖像的結(jié)構(gòu)，基于滾動(dòng)導(dǎo)向?yàn)V波（RGF）[6]的融合算法被提出，該算法具有良好的尺度感知性和邊緣保護(hù)性，且在平滑圖像同時(shí)實(shí)現(xiàn)降噪，相比于傳統(tǒng)的MSD方法具有更好的性能。

利用多尺度分解得到的基礎(chǔ)層主要包含圖像的結(jié)構(gòu)信息、能量信息和強(qiáng)度信息等圖像數(shù)據(jù)信息。傳統(tǒng)的基礎(chǔ)層融合規(guī)則有絕對(duì)值取大[7]、絕對(duì)值平均、加權(quán)平均[8]、利用脈沖耦合神經(jīng)網(wǎng)絡(luò)或稀疏表示理論改進(jìn)加權(quán)平均原則[9]和局部能量取大規(guī)則[10]等，這些融合規(guī)則都是手動(dòng)設(shè)計(jì)的，有些規(guī)則還存在設(shè)計(jì)復(fù)雜問(wèn)題，在一般情況下會(huì)造成圖像數(shù)據(jù)信息不同程度的丟失。2017年，Liu等[11]基于CNN提出了一種新的多聚焦圖像融合算法，該方法避免了手工設(shè)計(jì)權(quán)重系數(shù)問(wèn)題，取得了非常滿意的融合效果。受文獻(xiàn)[11]啟發(fā)，本文基于卷積神經(jīng)網(wǎng)絡(luò)提出了一種新的基礎(chǔ)層融合規(guī)則，該規(guī)則能夠更好地提取圖像特征，并且融合圖像能夠很好繼承源圖像數(shù)據(jù)信息；能夠直接得到更自然的融合圖像，減少人工設(shè)計(jì)的痕跡。

細(xì)節(jié)層主要包含著圖像的紋理信息和邊緣信息，傳統(tǒng)的細(xì)節(jié)層”絕對(duì)值取大”融合規(guī)則會(huì)造成源圖像紋理信息或細(xì)節(jié)信息部分丟失，使得融合圖像無(wú)法達(dá)到預(yù)期的效果。為了解決這個(gè)問(wèn)題，本文利用絕對(duì)值取大規(guī)則和加權(quán)最小二乘法給出細(xì)節(jié)層的融合規(guī)則，通過(guò)調(diào)整不同樣本誤差對(duì)損失函數(shù)的貢獻(xiàn)率，使得融合圖像與源圖像經(jīng)過(guò)平滑后盡可能相似，盡可能保持源圖像的邊緣信息和紋理信息。

1 基礎(chǔ)理論

1.1 滾動(dòng)導(dǎo)向?yàn)V波（RGF）

滾動(dòng)導(dǎo)向?yàn)V波是Zhang等[12]提出的一種新的邊緣保留濾波。滾動(dòng)導(dǎo)向?yàn)V波的實(shí)現(xiàn)過(guò)程簡(jiǎn)單、快速，在空間重疊特征中實(shí)現(xiàn)尺度的分離，所得結(jié)果沒(méi)有出現(xiàn)人工效應(yīng)。Zhao等在文獻(xiàn)[13]中，對(duì)滾動(dòng)導(dǎo)向?yàn)V波參數(shù)選取對(duì)圖像融合結(jié)果影響進(jìn)行了分析。

圖1展示了一幅CT圖像分別通過(guò)高斯濾波和RGF分解得到的細(xì)節(jié)層圖像?？梢钥吹剑趫D1（a）中，每一個(gè)細(xì)節(jié)層都包含邊緣、輪廓及結(jié)構(gòu)等信息。而在圖1（b）中，（1）主要包含分散的細(xì)節(jié)信息，（2）主要包含CT圖像的結(jié)構(gòu)信息，（3）主要包含CT圖像的強(qiáng)度信息，（4）主要包含輪廓信息及紋理信息。這說(shuō)明RGF可以很好地保留不同類型的信息。

圖1 濾波處理后的細(xì)節(jié)層Fig.1 Filtered detail layer

1.2 卷積神經(jīng)網(wǎng)絡(luò)（CNN）

卷積神經(jīng)網(wǎng)絡(luò)是指至少有一個(gè)中間層使用卷積運(yùn)算的神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)中的一種代表性網(wǎng)絡(luò)模型。卷積操作使神經(jīng)網(wǎng)絡(luò)具有稀疏連接、參數(shù)共享等良好性質(zhì)，相比于傳統(tǒng)使用矩陣乘法的神經(jīng)網(wǎng)絡(luò)，極大縮小了模型的參數(shù)量和計(jì)算量，使網(wǎng)絡(luò)模型具有有效特征學(xué)習(xí)能力。

近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)也被用于圖像融合任務(wù)，Prabhakar等[14]首次將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于多曝光圖像圖像融合并提出了DeepFuse方法，取得非常滿意的融合效果。Li等[15]將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于紅外與可見(jiàn)光圖像融合并提出了DenseFuse方法。Zhang等[16]提出的IFCNN應(yīng)用于多聚焦圖像融合，并將該網(wǎng)絡(luò)擴(kuò)展到醫(yī)學(xué)圖像融合和紅外與可見(jiàn)光圖像融合中，效果都有不錯(cuò)的改善。Liu等[11]提出的MFCNN能夠提取多聚焦圖像中清晰的部分生成聚焦權(quán)重圖，極大地提高了多聚焦圖像融合的能力。

圖像融合的關(guān)鍵在于特征的提取和融合規(guī)則的設(shè)定[17]。而卷積神經(jīng)網(wǎng)絡(luò)能夠自適應(yīng)地從圖像數(shù)據(jù)中提取特征，相較于傳統(tǒng)手工設(shè)計(jì)方法，這種從數(shù)據(jù)中自適應(yīng)地提取了特征更符合任務(wù)預(yù)期，魯棒性更高。另外將圖像融合規(guī)則與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合起來(lái)，能夠直接得到更自然的融合圖像，減少人工設(shè)計(jì)的痕跡。

1.3 加權(quán)最小二乘法（WLS）

加權(quán)最小二乘法[18]是在普通最小二乘法的基礎(chǔ)上對(duì)每個(gè)樣本引入權(quán)重，調(diào)整不同樣本誤差對(duì)損失函數(shù)的貢獻(xiàn)率，使之成為一個(gè)新的不存在異方差性的模型，然后采用普通最小二乘法估計(jì)其參數(shù)的一種數(shù)學(xué)優(yōu)化技術(shù)。加權(quán)最小二乘法將輸出圖像視為輸入圖像盡可能模糊的版本，但保留了輸入圖像的顯著梯度。換句話說(shuō)，它是一種邊緣保留濾波，它可以保存輸入圖像的突出邊緣信息，表達(dá)式如下：

這里的u、g分別表示輸出圖像和輸入圖像，p表示像素的位置，λ是平衡兩項(xiàng)的參數(shù)，a x,p和a y,p是依賴輸入的相關(guān)矩陣的系數(shù)，有如下計(jì)算方法：

在此，l是輸入的相關(guān)矩陣，α表示相關(guān)矩陣的梯度敏感度，ε是一個(gè)很小的常數(shù)，用于保證式（2）和式（3）可正常計(jì)算（通常設(shè)置為0.000 1）。

2 所提算法

本文首先采用由滾動(dòng)導(dǎo)向?yàn)V波和高斯濾波組成的混合多尺度分解工具將CT和MRI圖像分解為基礎(chǔ)層和一系列細(xì)節(jié)層；其次用基于卷積神經(jīng)網(wǎng)絡(luò)的算法對(duì)基礎(chǔ)層進(jìn)行特征提取，進(jìn)而得到一張與原圖大小相同的權(quán)重圖來(lái)進(jìn)行基礎(chǔ)層融合；結(jié)合絕對(duì)值取大規(guī)則和加權(quán)最小二乘法，對(duì)細(xì)節(jié)層進(jìn)行融合，從而避免融合過(guò)程中合并過(guò)多不相關(guān)的細(xì)節(jié)和噪聲。最后進(jìn)行重構(gòu)得到最終的融合圖像。本文所提算法的流程圖見(jiàn)圖2。

圖2 本文所提算法的流程圖Fig.2 Flow chart of proposed algorithm

2.1 混合多尺度分解

高斯濾波在空間域和頻率域上都十分有效，但是其忽視了邊緣強(qiáng)度信息對(duì)濾波結(jié)果的影響，從而在圖像融合中可能會(huì)導(dǎo)致不必要的邊緣信息丟失。滾動(dòng)導(dǎo)向?yàn)V波可以通過(guò)調(diào)控參數(shù)來(lái)達(dá)到保留圖像邊緣和平滑紋理的目的，其具有良好的尺度感知性和邊緣保護(hù)性。文獻(xiàn)[19-20]利用滾動(dòng)導(dǎo)向?yàn)V波和高斯濾波相結(jié)合作為多尺度分解工具在多聚焦圖像融合和紅外與可見(jiàn)光圖像融合上取得了很好的效果。基于上述思想，本文利用滾動(dòng)導(dǎo)向?yàn)V波與高斯濾波相結(jié)合作為混合多尺度分解工具對(duì)醫(yī)學(xué)圖像進(jìn)行分解。具體的混合多尺度分解公式如下：

這里u j表示第j層濾波圖像，d j表示第j層的細(xì)節(jié)層，N為分解層數(shù)。圖像u0等同于源圖像I，基礎(chǔ)層B由式（6）中的高斯濾波后得到，即為了獲得更多的邊緣信息和細(xì)節(jié)信息，參數(shù)σs在本文中設(shè)置較大，令

通過(guò)以上的多尺度分解方法，輸入的源CT圖像被分解為基礎(chǔ)層B1和一系列細(xì)節(jié)層，MRI圖像被分解為基礎(chǔ)層B2和一系列細(xì)節(jié)層

2.2 基礎(chǔ)層融合規(guī)則

傳統(tǒng)的絕對(duì)值平均融合規(guī)則會(huì)導(dǎo)致基礎(chǔ)層信息的丟失，從而導(dǎo)致融合圖像的對(duì)比度降低。加權(quán)平均規(guī)則是基礎(chǔ)層常用的融合規(guī)則，其方法簡(jiǎn)單，但這種手工設(shè)計(jì)權(quán)重系數(shù)的融合規(guī)則常常會(huì)丟失圖像亮度、紋理、邊緣、梯度、對(duì)比度等數(shù)據(jù)信息。受文獻(xiàn)[11]啟發(fā)，本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)層融合規(guī)則，有效避免了手工設(shè)計(jì)權(quán)重系數(shù)及信息丟失的問(wèn)題。基礎(chǔ)層融合規(guī)則如下：

步驟1使用預(yù)訓(xùn)練的雙分支Siamese網(wǎng)絡(luò)獲取基礎(chǔ)層B1、B2的初始權(quán)重圖和。

雙分支Siamese網(wǎng)絡(luò)的框架結(jié)構(gòu)示意圖見(jiàn)圖3，其由Liu等在文獻(xiàn)[11]中提出的。該網(wǎng)絡(luò)通過(guò)1 000 000個(gè)圖像對(duì)進(jìn)行訓(xùn)練，用來(lái)提取源圖像的特征，并得到特征圖。這些圖像分別是高質(zhì)量清晰圖像和它對(duì)應(yīng)的模糊圖像，模糊圖像是高質(zhì)量清晰圖像使用大小為7×7的高斯核模糊五次獲得的，圖像對(duì)中清晰的圖像其標(biāo)簽為1，模糊的圖像對(duì)應(yīng)標(biāo)簽為0。將網(wǎng)絡(luò)輸出作為輸入圖像的初始權(quán)重。

圖3 雙分支Siamese框架結(jié)構(gòu)示意圖Fig.3 Double branch Siamese frame structure diagram

步驟2通過(guò)平均重疊區(qū)域方法對(duì)初始權(quán)重圖和W02進(jìn)行處理，并得到與基礎(chǔ)層圖像B1和B2大小一致權(quán)重圖的W11和W12。

由于卷積神經(jīng)網(wǎng)絡(luò)中包含池化操作，所以生成的初始化權(quán)重圖W01和W02大小與基礎(chǔ)層圖像B1和B2大小不一致。為了便于操作，通過(guò)平均重疊區(qū)域?qū)⑵浠謴?fù)成和原始圖像大小一致的權(quán)重圖。

步驟3采用加權(quán)平均的融合規(guī)則對(duì)基礎(chǔ)層圖像B1和B2進(jìn)行融合，得到融合后的基礎(chǔ)層B F，即：

2.3 細(xì)節(jié)層融合規(guī)則

由于細(xì)節(jié)層主要包括圖像的紋理信息和細(xì)節(jié)信息，且MRI圖像中顯示的軟組織對(duì)比度較為明顯，所以簡(jiǎn)單的細(xì)節(jié)層融合規(guī)則會(huì)導(dǎo)致源圖像部分信息的丟失，為了避免在圖像融合過(guò)程中合并過(guò)多不相關(guān)的細(xì)節(jié)和噪聲，并盡量減少偽影的影響，利用以下步驟來(lái)進(jìn)行細(xì)節(jié)層的融合：

步驟1通過(guò)絕對(duì)值取大規(guī)則計(jì)算權(quán)重矩陣W j：

其中，j=1,2,…,N。

步驟2使用高斯濾波處理權(quán)重矩陣W j，在式（9）中設(shè)置σs=2。

步驟3通過(guò)加權(quán)平均規(guī)則對(duì)細(xì)節(jié)層做初始融合得M j，即有：

步驟4使用優(yōu)化策略WLS對(duì)M j進(jìn)行優(yōu)化得到融合后的細(xì)節(jié)層D j。具體過(guò)程如下：

將式（11）轉(zhuǎn)換成矩陣形式：

最小化式（12）得線性方程組：

由于A j=(A j)T，故式（13）可簡(jiǎn)化為：

利用式（14）可得融合后的細(xì)節(jié)層D j。

通過(guò)對(duì)CT圖像中含有噪聲或與視覺(jué)細(xì)節(jié)信息無(wú)關(guān)或與視覺(jué)細(xì)節(jié)信息相關(guān)區(qū)域分析可知，使用優(yōu)化策略WLS能獲得更好融合后的細(xì)節(jié)層。

2.4 圖像重構(gòu)

最后，融合圖像F通過(guò)基礎(chǔ)層融合結(jié)果B F和細(xì)節(jié)層融合結(jié)果D1,D2,…,D N相加得到：

3 實(shí)驗(yàn)分析

為了驗(yàn)證本文所提算法的有效性，選擇CNN[11]、SR[9]、NSCT-SF-PCNN[21]、LAP[22]和NSCT[23]五種算法與本文所提算法進(jìn)行比較，并選取了急性中風(fēng)、致命性中風(fēng)、腦膜瘤三類疾病的醫(yī)學(xué)圖像進(jìn)行對(duì)比實(shí)驗(yàn)。本文所有實(shí)驗(yàn)圖像來(lái)自哈佛大學(xué)醫(yī)學(xué)院的全腦圖譜數(shù)據(jù)庫(kù)（The Whole Brain Atlas數(shù)據(jù)庫(kù)）。算法運(yùn)行環(huán)境是在3.6 GHz Intel Core i7-9700k-CPU，8 GB（RAM），R2018a MATLAB的主機(jī)上完成。

3.1 融合規(guī)則可行性分析

為了驗(yàn)證本文所提算法基礎(chǔ)層融合規(guī)則和細(xì)節(jié)層融合規(guī)則的有效性，本文選取了20組CT-MRI醫(yī)學(xué)圖像進(jìn)行了實(shí)驗(yàn)。在此部分實(shí)驗(yàn)中，RGF和GF組成聯(lián)合濾波器作為所有算法分解和重構(gòu)的工具。標(biāo)準(zhǔn)偏差（STD）用來(lái)度量圖像的對(duì)比度，值越大說(shuō)明融合圖像中包含的細(xì)節(jié)信息越豐富。Method1是指基礎(chǔ)層使用局部能量取大，細(xì)節(jié)層使用本文所提細(xì)節(jié)層融合方法。Method2是指基礎(chǔ)層使用本文所提基礎(chǔ)層融合方法，細(xì)節(jié)層采用能量平均方法。Method3是指基礎(chǔ)層和細(xì)節(jié)層分別使用局部能量取大和能量平均的方法，以及本文所提方法。表1是四種融合方法應(yīng)用到20組實(shí)驗(yàn)圖像后獲得的融合圖像標(biāo)準(zhǔn)偏差（STD）指標(biāo)的平均值。

表1 不同融合方法的標(biāo)準(zhǔn)偏差（STD）的平均值Table 1 Mean values of STD for different fusion methods

從表1中可以清晰地觀察到，本文算法具有最優(yōu)的指標(biāo)，即有著最好的融合效果。

3.2 主觀分析

為了說(shuō)明本文所提算法視覺(jué)效果有效性，從急性中風(fēng)、致命性中風(fēng)、腦膜瘤三類疾病實(shí)驗(yàn)圖像中隨機(jī)選取了這三類疾病各兩組圖像，應(yīng)用本文所提算法和五種對(duì)比算法獲得相應(yīng)的融合圖像，給出兩組實(shí)驗(yàn)結(jié)果。對(duì)于CT與MRI圖像來(lái)講，判斷融合圖像視覺(jué)效果的優(yōu)劣主要考慮兩個(gè)方面，一是MRI圖像提供的結(jié)構(gòu)細(xì)節(jié)信息被盡可能完全的融合，二是CT圖像所提供的邊緣亮度信息得到有效的應(yīng)用。

圖4為急性中風(fēng)疾病的CT與MRI源圖像和不同算法融合圖像的對(duì)比圖，給出了兩組圖片的實(shí)驗(yàn)對(duì)比結(jié)果。從圖4可以觀察到，CNN算法的融合圖像內(nèi)部丟失了MRI圖像的結(jié)構(gòu)細(xì)節(jié)信息；LAP、NSCT、NSST-SFPCNN算法的融合圖像中源CT圖像的邊緣信息亮度較低，對(duì)比度也不如本文所提算法；SR算法的融合圖像在圖像內(nèi)部及邊緣部分產(chǎn)生了明顯的失真現(xiàn)象；本文所提算法的融合圖像在保存源圖像邊緣和全局對(duì)比度方面都具有更好的效果。

圖4 急性中風(fēng)源圖像與不同算法融合圖像對(duì)比圖Fig.4 Comparison of source images and fusion images on acute stroke

圖5為致命性中風(fēng)疾病的CT與MRI源圖像和不同算法融合圖像的對(duì)比圖，給出了兩組圖片的實(shí)驗(yàn)對(duì)比結(jié)果。從圖5可以看出，NSST-SF-PCNN與SR算法的融合圖像中同樣存在著邊緣信息丟失（如紅色方框中所示）的現(xiàn)象；LAP、NSCT算法的融合圖像強(qiáng)度信息較低；CNN算法與本文所提算法的融合圖像都能很好地保存結(jié)構(gòu)信息和強(qiáng)度信息，但本文算法對(duì)比度更加清晰。

圖5 致命性中風(fēng)源圖像與不同算法融合圖像對(duì)比圖Fig.5 Comparison of source images and fusion images on fatal stroke

圖6為腦膜瘤疾病的CT與MRI源圖像和不同算法融合圖像的對(duì)比圖，給出了兩組圖片的實(shí)驗(yàn)對(duì)比結(jié)果。通過(guò)比較源圖像和對(duì)比圖，可以觀察到，CNN算法的融合結(jié)果紋理細(xì)節(jié)信息不清晰，在圖像內(nèi)部可以觀察到對(duì)MRI源圖像所提取的信息不夠；SR算法融合圖像有著嚴(yán)重的融合結(jié)果失真情況，在邊緣處（如紅色方框內(nèi)）可以看到明顯的結(jié)構(gòu)信息丟失的現(xiàn)象；LAP算法的融合圖像對(duì)結(jié)構(gòu)信息的保留較為完好，可是在邊緣上（如紅色方框內(nèi)）可以非常清晰地觀察到有丟失邊緣信息的情況；NSCT-SF-PCNN算法的融合圖像沒(méi)有很好地保存MRI圖像的信息，并且在邊緣處存在人工偽影（如紅色方框內(nèi)）的現(xiàn)象；NSCT算法的融合圖像整體亮度較低，且在邊緣處信息丟失較為嚴(yán)重，不符合人眼的視覺(jué)感知規(guī)律。而本文算法對(duì)比度清晰，對(duì)邊緣部分和結(jié)構(gòu)信息的保留更加完善，且更加符合人眼感知規(guī)律。

圖6 腦膜瘤源圖像與不同算法融合圖像對(duì)比圖Fig.6 Comparison of source images and fusion images on meningioma

3.3 客觀分析

為了客觀評(píng)價(jià)本文算法的有效性，選取以下四種指標(biāo)為客觀評(píng)價(jià)指標(biāo)，邊緣強(qiáng)度（EI）、互信息（MI）、空間頻率（SF）和標(biāo)準(zhǔn)偏差（STD）。

3.3.1 客觀評(píng)價(jià)指標(biāo)

邊緣強(qiáng)度（EI）代表圖像邊緣銳化程度，值越大代表融合圖像質(zhì)量越好。

互信息（MI）反映了融合圖像中有多少信息來(lái)源于源圖像，互信息值越大，融合效果越好。

空間頻率（SF）反映的是圖像在空域的梯度分布，度量圖像細(xì)節(jié)信息的豐富程度，值越大代表圖像細(xì)節(jié)越清晰。

標(biāo)準(zhǔn)偏差（STD）主要用于度量圖像信息的豐富程度，反應(yīng)了圖像灰度相對(duì)于平均灰度的離散情況，值越大表明圖像的細(xì)節(jié)信息越豐富。具體計(jì)算公式可參考文獻(xiàn)[11]。

3.3.2 客觀評(píng)價(jià)

表2是60組CT-MRI圖像通過(guò)六種方法獲得的融合結(jié)果圖的客觀評(píng)價(jià)指標(biāo)平均值，表中黑體加粗表示最優(yōu)值，下劃線數(shù)值表示次優(yōu)值。從表2可以看出，本文所提算法在SF和STD這兩個(gè)指標(biāo)是最優(yōu)的，這是由于本文算法通過(guò)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，并利用邊緣保護(hù)濾波對(duì)邊緣進(jìn)行保護(hù)，所以融合圖像具有更清晰的梯度信息和更豐富的細(xì)節(jié)信息。而SF和STD最能體現(xiàn)本文算法在此方面的優(yōu)越性。此外，SR算法的EI指標(biāo)比本文提出算法略好，但是通過(guò)觀察融合圖像，如圖4～圖6可以發(fā)現(xiàn)，SR算法的融合圖像具有嚴(yán)重的邊緣模糊現(xiàn)象，與客觀指標(biāo)不符。本文所提算法MI指標(biāo)在致命性中風(fēng)和腦膜瘤疾病圖像中排在第二位，在致命性中風(fēng)疾病圖像中僅次于NSCT算法結(jié)果，在腦膜瘤疾病圖像中次于NSCT和LAP算法結(jié)果，這個(gè)問(wèn)題產(chǎn)生的原因是本文使用了加權(quán)最小二乘法優(yōu)化了源圖像信息，但是NSCT和LAP算法的融合結(jié)果圖與本文算法相比在邊緣處存在著模糊和細(xì)節(jié)信息丟失的情況，視覺(jué)效果明顯不如本文所提算法。而在急性中風(fēng)疾病圖像中，本文所提算法的MI指標(biāo)為第一名。所以綜合主客觀分析，本文所提算法具有更優(yōu)越的性能。因此，盡管本文算法個(gè)別指標(biāo)數(shù)據(jù)結(jié)果不是最優(yōu)的，但是綜合主觀評(píng)價(jià)和客觀評(píng)價(jià)，本文所提算法融合圖像是最優(yōu)的。

表2 六種算法客觀評(píng)價(jià)指標(biāo)平均值Table 2 Mean values of objective evaluation index of six algorithms

圖7是60組MRI圖像與CT圖像使用不同算法獲得的融合圖像的客觀評(píng)價(jià)指標(biāo)平均值的柱狀圖，用來(lái)綜合評(píng)價(jià)本文所提算法與其他算法的優(yōu)劣。從圖7中可觀察到，本文所提算法的指標(biāo)平均值在SF和STD指標(biāo)上是最優(yōu)的，這兩指標(biāo)代表著本文所提算法有更清晰的細(xì)節(jié)，更銳化的邊緣和更明晰的梯度分布。此外，本文所提算法僅在EI指標(biāo)上遜于SR算法，MI指標(biāo)遜于LAP和NSCT算法，這是由于本文所提算法優(yōu)化了源圖像信息造成的。

圖7 融合圖像客觀指標(biāo)平均值柱狀圖Fig.7 Histogram of mean value of objective index

為了更直觀地分析本文方法在客觀指標(biāo)上的優(yōu)越性，圖8使用了折線統(tǒng)計(jì)圖進(jìn)一步分析客觀評(píng)價(jià)指標(biāo)。圖8（a）中本文方法在腦膜瘤疾病圖像中EI值較大，說(shuō)明本文所提方法在這一類疾病圖像的細(xì)節(jié)清晰度和邊緣銳化度較高。圖8（b）中本文方法在致命性中風(fēng)中MI值較大，說(shuō)明本文所提方法在這一類疾病圖像包含的源圖像細(xì)節(jié)信息更多。圖8（c）中本文所提方法在急性中風(fēng)疾病圖像中SF值較大，證明本文算法在這一類疾病圖像的梯度值較高，度量圖像信息更豐富。圖8（d）中本文所提方法在三類疾病圖像效果持平，每一類疾病圖像都具有較高的對(duì)比度，因此，本文所提方法可以盡可能多地融合源圖像信息，且融合效果更好。

圖8 三種疾病不同客觀指標(biāo)折線圖Fig.8 Line plots of different objective indicators on three diseases

3.4 算法復(fù)雜度分析

表3是本文所使用的6種方法用于醫(yī)學(xué)圖像融合的時(shí)間比較，從表中可以看出，本文算法所用時(shí)間與NSCT、LAP、SR方法相比較長(zhǎng)，這主要是因?yàn)镃NN比較耗時(shí)，但是CNN能很好地提取源圖像中特征信息。所以說(shuō)，為了得到更好的融合效果，時(shí)間代價(jià)是值得付出的。

表3 不同融合算法的運(yùn)行時(shí)間Table 3 Running time of different fusion algorithms

綜上所述，與經(jīng)典的融合規(guī)則和現(xiàn)有的一些醫(yī)學(xué)圖像融合算法相比，本文所提醫(yī)學(xué)圖像融合算法在主觀評(píng)價(jià)和客觀指標(biāo)方面都有一定的優(yōu)勢(shì)。

3.5 討論

本文所提算法主要針對(duì)解剖醫(yī)學(xué)圖像的融合方法進(jìn)行了研究，并且取得了很好的融合效果。但是由于卷積神經(jīng)網(wǎng)絡(luò)沒(méi)有針對(duì)醫(yī)學(xué)圖像進(jìn)行訓(xùn)練，所以即便具備良好的特征提取能力，仍要進(jìn)一步針對(duì)醫(yī)學(xué)圖像設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)模型。因此，下一步工作重點(diǎn)是對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行進(jìn)一步的優(yōu)化，并尋找或設(shè)計(jì)適用于多種類型醫(yī)學(xué)圖像的融合算法。

4 總結(jié)

本文考慮到多模態(tài)醫(yī)學(xué)圖像的不同成像特點(diǎn)，為了避免邊緣信息和結(jié)構(gòu)信息的丟失，選取了具有保護(hù)邊緣能力的滾動(dòng)導(dǎo)向?yàn)V波（RGF）和高斯濾波（GF）構(gòu)成的混合多尺度分解工具分解醫(yī)學(xué)圖像，使得分解過(guò)程中邊緣信息能夠得到很好的保存和增強(qiáng)。其次，基于卷積神經(jīng)網(wǎng)絡(luò)本文提出了一種新的基礎(chǔ)層融合規(guī)則，聯(lián)合絕對(duì)值取大規(guī)則和加權(quán)最小二乘法給出細(xì)節(jié)層融合規(guī)則。最后，通過(guò)仿真實(shí)驗(yàn)表明本文算法具有較好優(yōu)勢(shì)。