邸 敬， 郭文慶， 任 莉， 楊 燕， 廉 敬

（蘭州交通大學(xué) 電子與信息工程學(xué)院，甘肅 蘭州 730070）

1 引 言

現(xiàn)代醫(yī)學(xué)影像設(shè)備提供了人體不同部位的病變圖像，協(xié)助醫(yī)生對疾病進(jìn)行快速診斷和治療。多模態(tài)醫(yī)學(xué)圖像通常分為兩種類型：解剖醫(yī)學(xué)圖像和功能醫(yī)學(xué)圖像［1］。解剖醫(yī)學(xué)圖像有較高的分辨率，能夠清晰地提供人體器官的結(jié)構(gòu)信息，如計(jì)算機(jī)斷層掃描（Computer Tomography，CT）和核磁共振成像（Magnetic Resonance Imaging，MRI）圖像。功能醫(yī)學(xué)圖像主要反映人體器官的代謝信息，如單光子發(fā)射計(jì)算機(jī)斷層掃描（Single-Photon Emission Computed Tomography，SPECT）和正電子發(fā)射計(jì)算機(jī)斷層掃描（Positron Emission Tomography，PET）圖像。由于單模態(tài)醫(yī)學(xué)圖像成像單一，不能提供病灶的準(zhǔn)確信息。因此，多模態(tài)醫(yī)學(xué)圖像融合被廣泛用于臨床分析，實(shí)現(xiàn)對病灶部位準(zhǔn)確、全面地描述［2］。

目前，圖像融合分為特征級、決策級和像素級三個(gè)層次。特征級融合雖然降低了算法復(fù)雜度，但是融合圖像容易丟失部分細(xì)節(jié)信息。決策級融合具有較好的實(shí)時(shí)性和自適應(yīng)性，但會(huì)增加實(shí)驗(yàn)數(shù)據(jù)誤差，導(dǎo)致圖像信息損失最大。像素級融合是對圖像的像素點(diǎn)進(jìn)行信息融合的過程，也是當(dāng)前主流研究方法。目前醫(yī)學(xué)圖像融合算法分為傳統(tǒng)融合方法和深度學(xué)習(xí)融合方法。多尺度變換（MultiScale Transform，MST）是一類典型的傳統(tǒng)融合方法，常用的MST 融合算法包括小波變換［3］、金字塔變換［4］、非下采樣剪切波變換（Non-Subsampled Shearlet，Transform，NSST）［5］、非下采樣輪廓波變換（Non-Subsampled Contourlet Transform，NSCT）［6］。近年來，諸多學(xué)者提出了許多人工神經(jīng)網(wǎng)絡(luò)方法用于模擬動(dòng)物神經(jīng)系統(tǒng)原理。例如，脈沖耦合神經(jīng)網(wǎng)絡(luò)（Pulse Coupled Neural Network，PCNN）［7］，它正是根據(jù)小型哺乳動(dòng)物視覺皮層神經(jīng)系統(tǒng)模擬產(chǎn)生的，具有處理復(fù)雜信息的能力。PCNN 模型最早由Eckhorn 等人提出［8］，此方法無需訓(xùn)練測試數(shù)據(jù)，網(wǎng)絡(luò)框架可以直接提取特征信息。目前，深度學(xué)習(xí)的熱潮迅速席卷全球，基于深度學(xué)習(xí)的方法在圖像配準(zhǔn)［9］、病變分割［10］、圖像融合［11-12］等高級視覺任務(wù)中取得了較好的成績。

然而，基于MST 融合算法需要多步分解操作。因此，它的適應(yīng)性不好?；赑CNN 的融合算法模型中有大量的參數(shù)，增加了復(fù)雜度?；谏疃葘W(xué)習(xí)的醫(yī)學(xué)圖像融合算法雖然結(jié)構(gòu)簡單、易于實(shí)現(xiàn)、適應(yīng)性強(qiáng)，但在提取圖像紋理特征、對比度、多任務(wù)融合能力和效率方面都需要提高。WANG 等提出一種模態(tài)合成和增強(qiáng)的弱監(jiān)督醫(yī)學(xué)圖像融合方法［13］，能有效增強(qiáng)MRI 圖像的紋理和結(jié)構(gòu)，但在此過程中忽略了CT 圖像的骨骼信息，導(dǎo)致邊緣輪廓模糊。陳永等將注意力機(jī)制引入圖像融合中［14］，其融合圖像獲得了源圖像較多信息，但在融合模型中使用了單分支神經(jīng)網(wǎng)絡(luò)，并沒有信息之間的交互，因此紋理細(xì)節(jié)較差。FANG 等提出了卷積神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的多模態(tài)醫(yī)學(xué)圖像融合［15］，通過減少冗余信息的影響來提高模型的整體性能，但減少模型復(fù)雜度的過程中紋理細(xì)節(jié)嚴(yán)重丟失，并且僅適用醫(yī)學(xué)領(lǐng)域，實(shí)時(shí)性較差。TANG 等人提出了多尺度自適應(yīng)變換器來融合多模態(tài)醫(yī)學(xué)圖像［16］，從不同尺度的角度充分獲取了圖像的結(jié)構(gòu)信息，但在此過程中忽略了圖像的功能信息，導(dǎo)致軟組織信息丟失嚴(yán)重。ZHANG 等人提出了端到端的融合分解網(wǎng)絡(luò)［17］，通過融合分解使圖像細(xì)節(jié)紋理更加清晰，但此網(wǎng)絡(luò)在損失函數(shù)中的梯度損失和強(qiáng)度損失通過調(diào)整權(quán)重比例會(huì)造成融合圖像輪廓信息丟失、對比度低，從而降低了醫(yī)學(xué)圖像融合結(jié)果質(zhì)量。

為此，針對融合圖像紋理細(xì)節(jié)模糊、邊緣輪廓缺失和對比度低等問題，本文提出了一種結(jié)構(gòu)功能交叉神經(jīng)網(wǎng)絡(luò)的多模態(tài)醫(yī)學(xué)圖像融合方法，采用結(jié)構(gòu)功能模塊和功能結(jié)構(gòu)模塊構(gòu)成的交叉網(wǎng)絡(luò)實(shí)現(xiàn)信息交互，提升融合圖像的紋理細(xì)節(jié)信息。使用有效通道注意力機(jī)制和空間注意力機(jī)制（Effective Channel Attention mechanism and Spatial attention mechanism model， ECA-S）結(jié)合的改進(jìn)注意力機(jī)制進(jìn)行圖像融合，來增強(qiáng)融合圖像對比度。設(shè)計(jì)了融合圖像到源圖像的分解過程，使融合圖像包含更多的邊緣輪廓信息。本文的多模態(tài)醫(yī)學(xué)圖像融合是基于結(jié)構(gòu)和功能信息的提取與重建，并設(shè)計(jì)了由結(jié)構(gòu)項(xiàng)和功能項(xiàng)組成的損失函數(shù)。大量實(shí)驗(yàn)結(jié)果表明，本文方法融合的圖像不但紋理細(xì)節(jié)清晰，而且圖像整體對比對更高。最后將本方法擴(kuò)展到紅外與可見光和多聚焦圖像融合，也取得了較好的融合結(jié)果，說明本文方法具有適用性。

2 本文方法

為了解決多模態(tài)醫(yī)學(xué)圖像融合結(jié)果中出現(xiàn)紋理細(xì)節(jié)模糊、邊緣輪廓缺失和對比度低的問題，本文提出了基于結(jié)構(gòu)功能交叉神經(jīng)網(wǎng)絡(luò)的多模態(tài)醫(yī)學(xué)圖像融合模型，網(wǎng)絡(luò)總體框架如圖1 所示。在融合網(wǎng)絡(luò)模型中，兩種單模態(tài)醫(yī)學(xué)圖像作為輸入，通過結(jié)構(gòu)功能模塊和功能結(jié)構(gòu)模塊提取圖像特征信息，ECA-S 注意力機(jī)制融合出最終圖像。在分解網(wǎng)絡(luò)模型中，由殘差網(wǎng)絡(luò)組成的分解網(wǎng)絡(luò)迫使融合圖像包含更豐富的信息。

圖1 網(wǎng)絡(luò)總體框架圖Fig.1 General network framework diagram

2.1 結(jié)構(gòu)功能交叉神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制融合圖像

為了使細(xì)節(jié)信息被充分提取，本文將交互神經(jīng)網(wǎng)絡(luò)引入圖像融合中。將源圖像分別饋送到結(jié)構(gòu)功能特征提取分支（GRFEB）和功能結(jié)構(gòu)特征提取分支（RGFEB）模塊。GRFEB 包括一個(gè)核為5×5 的卷積和激活函數(shù)為Leaky ReLU（LReLU）的低級特征提取塊以及三個(gè)結(jié)構(gòu)引導(dǎo)功能塊（G-R 塊）組成。RGFEB 由低級特征提取塊和三個(gè)功能引導(dǎo)結(jié)構(gòu)塊（R-G 塊）組成，如圖1所示。在G-R 塊和R-G 塊上設(shè)計(jì)了多個(gè)交叉連接，以實(shí)現(xiàn)GRFEB 和RGFEB 之間的結(jié)構(gòu)和功能信息交互。每個(gè)G-R 塊的輸入不僅包括GRFEB 中前一塊的輸出，還包括RGFEB 中對應(yīng)的前一塊的輸出。R-G 塊也是如此。第三個(gè)GR 塊和第三R-G 塊的輸出在通道維度上級聯(lián)，并饋送到ECA-S 注意力機(jī)制，得到最終的融合圖像。表1 列出了所提出方法模型的融合網(wǎng)絡(luò)參數(shù)和分解網(wǎng)絡(luò)參數(shù)，其中卷積層在每個(gè)塊或模塊中從左到右、從下到上編號。

表1 網(wǎng)絡(luò)模型具體參數(shù)Tab.1 Specific parameters of network model

2.1.1 G-R 模塊和R-G 模塊

G-R 模塊的網(wǎng)絡(luò)架構(gòu)如圖2 所示。G-R 塊的輸入包括GRFEB 和RGFEB 中先前塊的輸出，即和，其中n∈［1，3］表示特征提取分支中的塊索引。為了從MRI 圖像中充分提取特征，使用了兩階段殘差結(jié)構(gòu)。具體來說，被送入第一級殘差結(jié)構(gòu)，該結(jié)構(gòu)由兩個(gè)3×3 卷積層和LReLU 層組成。輸入與輸出相加構(gòu)成殘差連接。由相同的殘差結(jié)構(gòu)處理，以加入從PET 或SPECT 圖像中提取的特征。這兩種殘差結(jié)構(gòu)的輸出在通道中級聯(lián)，然后用于特征融合和3×3 卷積層進(jìn)行通道降維。第二階段殘差結(jié)構(gòu)用于增強(qiáng)MRI 圖像中的結(jié)構(gòu)信息。原始輸入與1×1 卷積層的輸出相加得到最終輸出。R-G 模塊也采用了兩級殘差結(jié)構(gòu)，如圖3 所示。不同之處在于第二級殘差連接是在RGFEB 中的先前塊的輸出上執(zhí)行的（即），以增強(qiáng)PET 或SPECT 圖像中的功能信息。

圖2 G-R Block 網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 G-R Block network structure

圖3 R-G Block 網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 R-G Block network structure

2.1.2 ECA-S 注意力機(jī)制模塊

通過剖析有效通道注意力機(jī)制［18］（Efficient Channel Attention，ECA），發(fā)現(xiàn)避免維度縮減對于學(xué)習(xí)特征信息非常重要。同時(shí)注意到醫(yī)學(xué)圖像中只有部分部位對融合結(jié)果有貢獻(xiàn)，而空間注意力機(jī)制［19］（Spatial Attention Mechanisms，SAM）主要處理圖像重要部位信息。因此，將ECA 注意力機(jī)制和SAM 注意力機(jī)制“并行連接”，使兩種注意力模塊都直接學(xué)習(xí)原始的輸入特征信息，從而無需關(guān)注空間注意力和通道注意力順序，形成一個(gè)新的ECA-S 注意力機(jī)制模型，模型如圖4 所示。

圖4 ECA-S 注意力機(jī)制模塊Fig.4 ECA-S attention mechanism module

ECA-S 注意力機(jī)制的一條分支由SAM 構(gòu)成。首先，對輸入特征圖進(jìn)行最大池化和平均池化并在通道維度堆疊。其次，使用1×1 大小的卷積核對堆疊特征圖特征提取。最后，將提取到的特征信息結(jié)果經(jīng)過sigmoid 激活函數(shù)空間權(quán)重歸一化，再將輸入特征圖和權(quán)重相乘得到。

另一條分支由ECA 構(gòu)成。首先，針對輸入的特征層進(jìn)行全局平均池化。其次，將池化后的特征長條進(jìn)行卷積提取，通過sigmoid 激活函數(shù)生成每一個(gè)特征點(diǎn)的權(quán)值。最后，權(quán)值與原始特征層結(jié)合，便可以得到MECA。將其計(jì)算的MS與MECA相加得到MECA_S。其全部計(jì)算過程可以表示為式（1）~式（3）：

其中：MS為SAM 輸出特征信息，MECA為ECA 輸出特征信息，MECA_S為ECA-S 輸出特征信息，I為輸入特征信息，σ為sigmoid 激活函數(shù)，AvgPool表示平均池化，MaxPool表示最大池化，GlobalAvg-Pool表示全局平均池化，⊕表示逐元素相加。

2.2 基于殘差網(wǎng)絡(luò)的分解模型

為了提取到更豐富的圖像信息，本文引入分解網(wǎng)絡(luò)模型。具體來說，不僅考慮了從源圖像到融合結(jié)果的融合過程，而且考慮了從融合結(jié)果到源圖像的分解過程，可以使融合結(jié)果包含更多的紋理細(xì)節(jié)。本文的分解網(wǎng)絡(luò)模型如圖5 所示，每一塊先經(jīng)過1×1 的卷積層，再經(jīng)過3×3 的卷積層，組成多尺度結(jié)構(gòu)，充分提取空間信息，最后再通過LReLU 激活函數(shù)輸出特征信息。為了充分分解融合圖像的特征信息，分解網(wǎng)絡(luò)的輸入分為兩部分，一部分輸入為通過ECA-S 注意力機(jī)制融合后的圖像，另一部分為G-R Block 和R-G Block 的第三層的輸出，其目的是經(jīng)過ECA-S 注意力機(jī)制提取到的是圖像的顯著信息，而一些不重要的信息卻容易被忽略，因此直接將G-R Block 和R-G Block 的第三層作為分解網(wǎng)絡(luò)的一部分輸出讓分解過程中信息提取更充分。

圖5 分解網(wǎng)絡(luò)流程Fig.5 Flowchart of decomposition network

2.3 損失函數(shù)

本文的網(wǎng)絡(luò)框架分為兩個(gè)部分，融合網(wǎng)絡(luò)特征提取生成單個(gè)融合圖像。分解網(wǎng)絡(luò)對結(jié)構(gòu)和功能信息進(jìn)行分解和重構(gòu)，分解網(wǎng)絡(luò)專用于從融合結(jié)果分解近似源圖像的結(jié)果。相應(yīng)地，損失函數(shù)也由兩部分組成：融合損失Lsf和分解損失Ldc。

2.3.1 融合損失

圖像中包含的信息可以分為結(jié)構(gòu)信息和功能信息，因此，本文將多模態(tài)醫(yī)學(xué)圖像融合問題轉(zhuǎn)化為提取和重建圖像中的結(jié)構(gòu)信息和功能信息的問題，融合損失也由結(jié)構(gòu)損失項(xiàng)和功能損失項(xiàng)組成，損失函數(shù)可表示為公式（5）：

其中，β用于平衡結(jié)構(gòu)損失項(xiàng)和功能損失項(xiàng)。

本文設(shè)計(jì)了一個(gè)自適應(yīng)結(jié)構(gòu)損失函數(shù)Lstru來增加融合圖像的紋理特征。自適應(yīng)決策塊通過高斯低通濾波器濾除噪聲對圖像的影響，盡可能減少噪聲對決策塊的影響。利用Scharr 算子求出結(jié)構(gòu)圖，結(jié)構(gòu)圖包含大量的紋理細(xì)節(jié)信息以及清晰的輪廓信息。之后根據(jù)結(jié)構(gòu)的大小生成決策圖。其原理圖如圖6 所示。

圖6 自適應(yīng)決策塊Fig.6 Adaptive weight block

其中：i和j表示像素在第i行和第j列權(quán)重圖，H和W代表圖像的高度和寬度，I1和I2為源圖像，Ifusion為融合圖像，|·|表示絕對值函數(shù)，?（·）為Scharr 算子，S（·）是由決策塊基于源圖像的結(jié)構(gòu)水平生成的決策圖，L（·）表示高斯低通濾波器函數(shù)，min（·）表示最小函數(shù)，sign（·）為符號函數(shù)。

功能損失函數(shù)Lfunc影響融合圖像的對比度。功能損失函數(shù)通過對Frobenius 范數(shù)進(jìn)行改進(jìn)，改進(jìn)后的Frobenius 范數(shù)與歐式距離有所不同，它是矩陣中每一個(gè)位置的元素的平方和取平均數(shù)再開方，其作用是衡量融合圖像像素和源圖像像素的距離，有效調(diào)整融合圖像和兩個(gè)源圖像之間的權(quán)重，迫使網(wǎng)絡(luò)選擇更有效的信息。功能損失的公式可以表示為式（9）：

2.3.2 分解損失

分解損失項(xiàng)Ldc要求融合圖像的分解結(jié)果盡可能與源圖像相似，可以表示為：

其中：I1_de和I2_de為融合圖像的分解結(jié)果，I1和I2為源圖像。由于分解后的圖像與輸入圖像之間的差異程度決定融合結(jié)果的效果，因此分解損失函數(shù)將盡可能使融合結(jié)果獲得更多圖像信息，從而使融合質(zhì)量達(dá)到最好。

3 實(shí)驗(yàn)結(jié)果和分析

本文模型包括融合網(wǎng)絡(luò)和分解網(wǎng)絡(luò)。無論是在訓(xùn)練階段還是測試階段，框架都使用Tensorflow 實(shí)現(xiàn)。所有實(shí)驗(yàn)均在Windows 11（64 位），硬件配置為Intel（R） Core（TM） i7-12700H 2.30 GHz筆記本電腦和16 GB RAM 軟件上運(yùn)行。

本節(jié)證明本文算法具有更好的性能，驗(yàn)證所提出的融合模型的實(shí)用性。對來自公開數(shù)據(jù)集哈弗醫(yī)學(xué)庫（http：//www.med.harvard.edu/aanlib/home. html）的200 對256×256 的醫(yī)學(xué)圖像，共裁剪成39 200 個(gè)大小為120×120 的圖像塊進(jìn)行訓(xùn)練。實(shí)驗(yàn)設(shè)置epoch=30，batch_size=32、學(xué)習(xí)率為1×10-4。在優(yōu)化算法方面，選擇適應(yīng)性強(qiáng)的自適應(yīng)優(yōu)化算法Adam。此外，在總損失中包含的梯度損失、強(qiáng)度損失、分解損失的比例經(jīng)過重復(fù)實(shí)驗(yàn)后設(shè)置為10，1，1。

3.1 客觀評價(jià)指標(biāo)

為了進(jìn)一步說明本文算法的有效性，選擇了包括空間頻率（SF）［20］、平均梯度（AG）［21］、融合質(zhì)量（QAB/F）［22］、相關(guān)系數(shù)（CC）［23］、熵（EN）［24］和互信息（MI）［20］等客觀指標(biāo)來評價(jià)融合圖像的結(jié)果。AG 和EN 是衡量圖像清晰度和信息量的指標(biāo)，數(shù)值越大說明從輸入圖像中提取的信息越豐富和全面。MI 通過度量融合圖像和源圖像之間的相似程度，即融合圖像獲取了源圖像信息量的多少?；バ畔⒃酱螅|(zhì)量越好。兩幅圖像之間的相關(guān)性用CC 表示，數(shù)值越接近1 表示兩幅圖像之間的特征信息越接近。圖像灰度的測量用SF 表示，SF 值越大，表明融合結(jié)果的灰度值越接近輸入圖像的灰度值。QAB/F是對融合圖像信息表現(xiàn)程度的一種估計(jì)，數(shù)值越大說明信息量越大，圖像質(zhì)量越好。

3.2 方法比較

為了驗(yàn)證本文方法的有效性、實(shí)用性和時(shí)效性，與七種可比較的方法進(jìn)行了主觀視覺評價(jià)和客觀數(shù)據(jù)比較：MLEPF［25］，NSST［26］，LEGFF［27］，MATR［16］，CNP［28］，SDNet［17］和CFL［29］。

3.2.1 主觀視覺評價(jià)比較

圖7 展示了“輕度阿爾茨海默病”MRI-PET圖像。圖7（a）和圖7（b）為MRI 和PET 源圖像，圖7（f）和圖7（h）說明該實(shí)驗(yàn)結(jié)果對應(yīng)的方法融合后的圖像較模糊，存在紋理細(xì)節(jié)缺失。圖7（c）和圖7（d）實(shí)驗(yàn)結(jié)果對應(yīng)的方法融合后的圖像軟組織中間區(qū)域出現(xiàn)紫色塊效應(yīng)。圖7（i）實(shí)驗(yàn)結(jié)果對應(yīng)的方法在軟組織處亮度過于飽和，丟失MRI 軟組織解剖信息。相比之下，圖7（e）和圖7（g）實(shí)驗(yàn)結(jié)果對應(yīng)的方法融合圖像獲取了較多來自源MRI 和PET 圖像中的細(xì)節(jié)信息。但是，目標(biāo)邊緣處比較模糊。對比來看，本文方法結(jié)果圖7（j）保留了PET 彩色信息，并且獲取了較多MRI軟組織亮度解剖信息，紋理細(xì)節(jié)更清晰。

圖7 “輕度阿爾茨海默病”MRI-PET 圖像融合比較Fig.7 Comparison of MRI-PET image fusion in "mild Alzheimer′s disease".

圖8 展示了“轉(zhuǎn)移性支氣管癌”MRI-SPECT圖像（彩圖見期刊電子版）。圖8（a）和圖8（b）為MRI 和SPECT 源圖像，圖8（c）和圖8（h）說明該實(shí)驗(yàn)結(jié)果對應(yīng)的方法融合后的圖像紋路模糊，導(dǎo)致軟組織分辨率低。圖8（d）說明該實(shí)驗(yàn)結(jié)果對應(yīng)的方法融合后的圖像軟組織區(qū)域出現(xiàn)紫色塊效應(yīng)，無法正常觀察病變區(qū)域。圖8（e）和圖8（i）說明該實(shí)驗(yàn)結(jié)果對應(yīng)的方法包含了PET 圖像較多的色彩信息，但沒有較好得融入MRI 軟組織解剖信息。圖8（f）和圖8（g）說明該實(shí)驗(yàn)結(jié)果對應(yīng)的方法內(nèi)部出現(xiàn)偽影，能量信息嚴(yán)重丟失。觀察本文實(shí)驗(yàn)結(jié)果圖8（j），不僅對比度增強(qiáng)，且軟組織紋理細(xì)節(jié)和輪廓信息特征明顯，融合圖像色彩更自然。

圖9 展示了“腦膜瘤”MRI-CT 圖像。圖9（a）和圖9（b）為MRI 和CT 源圖像，圖9（c）說明該實(shí)驗(yàn)結(jié)果對應(yīng)的方法融合結(jié)果圖較模糊。圖9（d）說明該實(shí)驗(yàn)結(jié)果對應(yīng)的方法融合結(jié)果中紋理骨骼出現(xiàn)失真。圖9（f）和圖9（h）說明該實(shí)驗(yàn)結(jié)果對應(yīng)的方法融合結(jié)果整體偏暗，導(dǎo)致紋理模糊。圖9（e）和圖9（i）說明該實(shí)驗(yàn)結(jié)果對應(yīng)的方法融合結(jié)果對比度高，但邊緣輪廓平滑，無法正確顯示骨骼細(xì)節(jié)特征。綜合來看，本文算法融合結(jié)果圖9（j）保留了單模態(tài)醫(yī)學(xué)圖像的特征，能有效地提取軟組織細(xì)節(jié)信息及灰度信息，能綜合MRI 與CT 源圖像豐富信息。

圖9 “腦膜瘤”MRI-CT 圖像融合比較Fig.9 Comparison of MRI-CT image fusion of "meningioma"

圖10 “人物”多聚焦圖像融合比較Fig.10 "Person" multi-focus image fusion comparison

圖11 3 種不同場景下紅外與可見光圖像融合比較Fig.11 Comparison of infrared and visible image fusion in three different scenes

3.2.2 客觀評價(jià)指標(biāo)

從三組醫(yī)學(xué)圖像的融合結(jié)果表明，本文提出的結(jié)構(gòu)功能交叉神經(jīng)網(wǎng)絡(luò)的多模態(tài)醫(yī)學(xué)圖像融合策略得到的融合圖像高度符合人眼視覺特性，細(xì)節(jié)提取更充分，色彩更自然。從表2~表4 可以看出，AG，EN，SF，MI，QAB/F和CC 等指標(biāo)均取得了較好的性能，但AG 和QAB/F在MRI-PET 和MRI-CT 圖像中表現(xiàn)稍弱，這是因?yàn)樵贚EGFF，NSST，PCNN 方法中過度去關(guān)注對比度，是以圖像的亮度去換取圖像的細(xì)節(jié)信息，如在LEGFF方法融合MRI-CT 圖像時(shí)，對比度指標(biāo)AG 較高，但MI 卻低于本文方法，說明信息提取較弱。在NSST 方法融合MRI-PET 圖像中，整體亮度較高但軟組織處出現(xiàn)失真，出現(xiàn)藍(lán)色斑塊，導(dǎo)致信息丟失。因此，與其他對比算法相比，本文的算法在融合過程中更注重PET 圖像和SPECT 圖像的色彩豐富度、MRI 圖像的邊緣輪廓信息和軟組織信息，以及CT 圖像的骨骼信息，使融合后的圖像輪廓邊緣更清晰，色彩更自然，更符合人眼視覺特性，可以輔助醫(yī)生快速診斷和治療疾病。

表2 “輕度阿爾茨海默病”MRI-PET 圖像融合客觀評價(jià)指標(biāo)Tab.2 Objective evaluation indexes of MRI-PET image fusion in "mild Alzheimer′s disease"

表3 “轉(zhuǎn)移性支氣管癌”MRI-SPECT 圖像融合客觀評價(jià)指標(biāo)Tab.3 Objective evaluation indexes of MRI-SPECT image fusion in "metastatic bronchogenic carcinoma"

表4 “腦膜瘤”MRI-CT 圖像融合客觀評價(jià)指標(biāo)Tab.4 Objective evaluation indexes of "meningioma" MRI-CT image fusion

3.3 消融實(shí)驗(yàn)

為了驗(yàn)證本文方法中結(jié)構(gòu)功能交叉網(wǎng)絡(luò)、改進(jìn)注意力機(jī)制、分解網(wǎng)絡(luò)的有效性，設(shè)計(jì)了四組消融實(shí)驗(yàn)。如圖12 所示，所提出的方法被降級為三種不同的網(wǎng)絡(luò)結(jié)構(gòu)用于測試。

圖12 消融實(shí)驗(yàn)的四種不同網(wǎng)絡(luò)結(jié)構(gòu)Fig.12 Four different network structures for ablation experiments

第一組實(shí)驗(yàn)將交叉網(wǎng)絡(luò)變?yōu)殡p通道網(wǎng)絡(luò)，每一個(gè)G-R Block 和R-G Block 模塊變?yōu)樗{(lán)色區(qū)域的殘差網(wǎng)絡(luò)，其他網(wǎng)絡(luò)結(jié)構(gòu)不變，記為ECA_S+DeNet。第二組實(shí)驗(yàn)將改進(jìn)注意力機(jī)制取消，其余網(wǎng)絡(luò)結(jié)構(gòu)不變，記為FuNet+DeNet。第三組實(shí)驗(yàn)將分解網(wǎng)絡(luò)取消，其他網(wǎng)絡(luò)結(jié)構(gòu)均不變，記為ECA_S+FuNet。第四組實(shí)驗(yàn)將結(jié)構(gòu)功能交叉網(wǎng)絡(luò)、改進(jìn)注意力機(jī)制、分解網(wǎng)絡(luò)都放入模型中去觀察融合結(jié)果，記為All。實(shí)驗(yàn)的具體流程如圖12 所示。

如圖13 四種不同網(wǎng)絡(luò)結(jié)構(gòu)20 幅圖像均值柱狀圖所示，在六個(gè)指標(biāo)中完整架構(gòu)在所有指標(biāo)都獲得最高值，這證明了在本文網(wǎng)絡(luò)中采用的結(jié)構(gòu)功能交叉神經(jīng)網(wǎng)絡(luò)、改進(jìn)注意力機(jī)制和分解網(wǎng)絡(luò)的重要性。圖14 展示了由不同模型生成的兩組融合結(jié)果，可以看出，四幅圖視覺質(zhì)量差異顯著，完整模型在細(xì)節(jié)保留、對比度和邊緣輪廓方面都優(yōu)于其他三個(gè)降級模型。

圖13 消融實(shí)驗(yàn)的四種不同網(wǎng)絡(luò)結(jié)構(gòu)20 副圖像均值柱狀圖Fig.13 Histogram of the mean values of 20 images of four different network structures for the ablation experiment

圖14 消融實(shí)驗(yàn)其中兩組融合結(jié)果Fig.14 Fusion results of two groups of ablation experiments

3.4 效率對比

方法的運(yùn)行時(shí)間也是評價(jià)性能的一個(gè)重要指標(biāo)。表2~表6 記錄了全部算法的運(yùn)行時(shí)間，可以看出本文方法的網(wǎng)絡(luò)運(yùn)行時(shí)間略高于SDNet，但SDNet 算法融合圖像的紋理細(xì)節(jié)和對比度都較差。因此，綜合來看，本文算法的效率在時(shí)間和性能方面更好。

3.5 其他鄰域應(yīng)用

為了驗(yàn)證本文提出的算法在其他鄰域的圖像融合是否表現(xiàn)的同樣有效，將其擴(kuò)展到多焦點(diǎn)、紅外和可見光圖像。融合后的圖像如圖10 和圖11 所示，表5 和表6 中提供了客觀評價(jià)指標(biāo)?？梢钥闯?，本文設(shè)計(jì)的結(jié)構(gòu)功能交叉神經(jīng)網(wǎng)絡(luò)、改進(jìn)注意力機(jī)制和基于殘差網(wǎng)絡(luò)的分解模型與人類視覺系統(tǒng)特點(diǎn)高度吻合。圖10（a）和圖10（b）顯示了多聚焦輸入圖像，圖11（a）和圖11（b）顯示了紅外與可見光輸入圖像。本文融合方法與現(xiàn)有的LEGFF［27］，SDNet［17］，CFL［29］，LRD［30］，DCPCNN［31］，SMVIF［32］，ResNet［33］和CCF［34］方法進(jìn)行了比較，所得融合結(jié)果如圖10 和圖11 的（c）~（h）所示。從融合結(jié)果的主觀和客觀評價(jià)得出，本文方法的融合結(jié)果很好地保留了輸入圖像的重要信息，并且在紋理、邊緣輪廓和對比度方面處理都較好。充分證明了本文的方法在其他圖像融合領(lǐng)域也具有很強(qiáng)的適應(yīng)性。

表5 “人物”多聚焦圖像融合客觀評價(jià)指標(biāo)Tab.5 Objective evaluation index of multi-focus image fusion of "people"

4 結(jié) 論

為了提高醫(yī)學(xué)圖像的融合質(zhì)量，本文提出了一種結(jié)構(gòu)功能交叉神經(jīng)網(wǎng)絡(luò)的多模態(tài)醫(yī)學(xué)圖像融合方法。在融合階段，通過結(jié)構(gòu)功能交叉神經(jīng)網(wǎng)絡(luò)完成圖像結(jié)構(gòu)信息和功能信息交互，使其充分提取源圖像中的信息，并將提取的特征信息通過ECA-S 注意力機(jī)制得出融合圖像。在分解階段，為了提取到更多的圖像信息，再將融合圖像分解為兩幅源圖像，與輸入圖像比較盡可能減少其信息損失。實(shí)驗(yàn)結(jié)果表明，本文提出的方法客觀評價(jià)指標(biāo)AG，EN，SF，MI，QAB/F和 CC 均 提 高 了 22.87%，19.64%，23.02%，12.70%，6.79%，30.35%，因此本文方法不但對比度高，紋理細(xì)節(jié)清晰，且更符合人眼視覺特性。此外，通過客觀實(shí)驗(yàn)數(shù)據(jù)顯示，本文方法在多聚焦圖像融合、紅外和可見光圖像融合領(lǐng)域的應(yīng)用也有很大優(yōu)勢。本文方法的不足之處在于處理實(shí)時(shí)性任務(wù)，即沒有在提取特征信息之前加入圖像預(yù)處理。因此，下一步工作將在提取特征信息之前加入圖像配準(zhǔn)，并將其應(yīng)用在實(shí)時(shí)性任務(wù)中。