馬為民，鄭茜穎

（福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350108）

0 引言

目前，醫(yī)學(xué)影像在臨床診斷的作用越來越突出。不同模態(tài)的醫(yī)學(xué)圖像提供不同的信息[1]。綜合利用多模態(tài)信息，實(shí)現(xiàn)多模態(tài)圖像醫(yī)學(xué)融合，加強(qiáng)各個(gè)模態(tài)之間的信息互補(bǔ)性，在臨床上具有重要的意義[2]。近年來，許多基于深度學(xué)習(xí)的方法已經(jīng)被證明是成功的圖像融合方法[3-5]。2017 年，LIU Y 等[6]提出了基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）的圖像融合網(wǎng)絡(luò)，利用圖像補(bǔ)丁對(duì)和模糊版本的深度神經(jīng)網(wǎng)絡(luò)映射，實(shí)現(xiàn)了源圖像和焦點(diǎn)圖像的直接映射。然而，由于訓(xùn)練策略的局限性，這種方法適用的場(chǎng)景局限在多焦點(diǎn)圖像。為了克服這一缺點(diǎn)，LI H 等提出Dense Fuse[7]，一種新型的基于密集型自動(dòng)編碼器的網(wǎng)絡(luò)，整體結(jié)構(gòu)由編碼器、融合器和解碼器3 部分組成。在訓(xùn)練階段，融合器被丟棄，變成一個(gè)自動(dòng)編碼器網(wǎng)絡(luò)，用于提取源圖像的特征和重構(gòu)解碼源圖像的特征；在測(cè)試階段，加入融合器后，對(duì)融合后的圖像進(jìn)行重構(gòu)解碼。MA J 等人[8]將生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）結(jié)構(gòu)引入圖像融合，提出了Fusion GAN，在生成器和鑒別器之間建立對(duì)抗游戲，在對(duì)抗策略下生成融合圖像。HUANG J 等人[9]提出了一種多生成器和多鑒別器的條件對(duì)抗網(wǎng)絡(luò)MGMDcGAN。兩種cGAN 相互配合，使得該網(wǎng)絡(luò)呈現(xiàn)出更好的視覺效果。FU J 等引入殘差金字塔注意力結(jié)構(gòu)MSPRAM[10]，結(jié)合了剩余網(wǎng)絡(luò)和金字塔注意力的優(yōu)點(diǎn)，提取比單一剩余注意力更多的信息或者把金字塔注意力機(jī)制看成層數(shù)的增加并保持更好的深層次特征和表達(dá)能力；另一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)MSDRA[11]利用雙殘差注意網(wǎng)絡(luò)同時(shí)注意和獲得重要的細(xì)節(jié)特征，在融合中避免網(wǎng)絡(luò)梯度消失和爆炸。FU J 等人提出級(jí)聯(lián)密集殘差網(wǎng)絡(luò)CDRNet[12]，利用多尺度密集網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)作為基本結(jié)構(gòu)，通過三級(jí)級(jí)聯(lián)得到多級(jí)融合網(wǎng)絡(luò)。多模態(tài)醫(yī)學(xué)圖像通過網(wǎng)絡(luò)的每一級(jí)訓(xùn)練，得到輸出融合圖像逐步增強(qiáng)，融合圖像越來越清晰。

盡管深度學(xué)習(xí)用于醫(yī)學(xué)融合取得了一定的成果，但仍然存在著融合圖像模糊、邊緣信息不豐富以及大量細(xì)節(jié)丟失等問題。為了解決這些問題，本文提出了基于擴(kuò)張金字塔特征提取的圖像融合算法，網(wǎng)絡(luò)整體繼承以前的成果，由特征提取器、特征融合器和特征重構(gòu)器3 個(gè)部分構(gòu)成。特征提取器使用了由擴(kuò)張金字塔特征提取組成的算法，通過淺層特征和深層特征的結(jié)合，增強(qiáng)了圖像的特征提取能力。特征融合器中，本文提出了改進(jìn)的功能能量比（Functional Energy Ratio，F(xiàn)ER）特征融合策略，提高了特征融合效果。特征重構(gòu)器由4 層卷積構(gòu)成，把高維特征逐步降低并最終輸出融合圖像。為了更好地完成優(yōu)化任務(wù)，本文提出基于L2損失和VGG-16 的聯(lián)合損失函數(shù)。通過大量實(shí)驗(yàn)表明，本文方法相比當(dāng)前的融合算法有更優(yōu)的性能。

1 本文算法

本文算法的整體框架包括4 個(gè)部分，如圖1 所示。第一，擴(kuò)張金字塔特征提取模塊，結(jié)合金字塔特征提取的優(yōu)點(diǎn)，加入擴(kuò)張層，進(jìn)一步提升特征提取能力，實(shí)現(xiàn)圖像淺層和深層次特征的結(jié)合。第二，融合策略模塊，完成深層次特征圖像融合工作，設(shè)計(jì)了改進(jìn)FER 融合策略。第三，特征重構(gòu)模塊，將融合后的高維特征轉(zhuǎn)化為輸出圖像。第四，混合損失函數(shù)，在L2損失函數(shù)基礎(chǔ)上加入基于VGG-16 的網(wǎng)絡(luò)損失函數(shù)，進(jìn)一步提高本文算法的性能。

圖1 算法總體框架

1.1 擴(kuò)張金字塔特征提取

本文的擴(kuò)張金字塔特征提取是基于金字塔注意力機(jī)制來設(shè)計(jì)的[13]。本文中一個(gè)特征金字塔注意力機(jī)制通過實(shí)現(xiàn)金字塔網(wǎng)絡(luò)的U 形結(jié)構(gòu)，使用了1 個(gè)3×3 卷積、2 個(gè)3×3 卷積和3 個(gè)3×3 卷積并融合3 種不同尺度的特征信息，更加準(zhǔn)確地表達(dá)鄰域尺度的上下文特征；又引入了下采樣再上采樣的軟注意力操作使得原始特征與金字塔注意力相乘，防止因?yàn)閷訑?shù)的增加而丟失原始的信息，從而進(jìn)一步提高模型性能。1 個(gè)金字塔注意力機(jī)制的數(shù)學(xué)表達(dá)式為

式中：Q(x)為輸出特征，x為輸入特征，V(x)是下采樣上采樣的軟注意力函數(shù)，P(x)是金字塔型網(wǎng)絡(luò)，即1 個(gè)3×3 卷積、2 個(gè)3×3 卷積和3 個(gè)3×3 卷積。

本文中，金字塔模型由3 個(gè)金字塔注意力機(jī)制組成，通過3 次下采樣在經(jīng)過金字塔注意力機(jī)制后再經(jīng)過3 次上采樣構(gòu)成了金字塔模型。金字塔模型的基本結(jié)構(gòu)如圖2所示。然而，金字塔模型的下采樣操作和層數(shù)的增加可能會(huì)丟失信息和圖像中的精細(xì)細(xì)節(jié)。為了解決這個(gè)問題，本文分別利用1、3、5 這3 種不同的擴(kuò)張卷積在淺層的圖像特征上進(jìn)行多尺度的特征提取，利用3 種不同的擴(kuò)張卷積得到3 種不同的感受野，進(jìn)一步提高淺層特征的利用，加強(qiáng)圖像的細(xì)節(jié)信息。擴(kuò)張卷積多尺度淺層特征被提取，再送入金字塔模型進(jìn)一步提取深層次特征，最終將這些特征用通道連接的方式完善淺層和深層特征。因此，本文算法結(jié)合了淺層和深層的圖像特征，有更好的特征提取和表達(dá)能力。擴(kuò)張金字塔特征提取如圖1Fusion Net 中的Extractor 所示。

圖2 金字塔模型

1.2 融合策略

融合策略是在融合模型中將提取的兩張輸入圖像的特征轉(zhuǎn)化為單一的圖像特征的過程。假設(shè)I1、I2是輸入的兩張?zhí)卣鲌D，F(xiàn)是融合圖像。加法策略（Addition）是將兩張?zhí)卣鲌D簡(jiǎn)單相加，數(shù)學(xué)表達(dá)式為

平均策略（Average）在加法策略的基礎(chǔ)上除以2，數(shù)學(xué)表達(dá)式為

FER[10]在加法策略和平均策略加入了特征圖權(quán)重信息的融合策略，數(shù)學(xué)表達(dá)式為

FER在特征圖權(quán)重中未考慮歸一化的特征權(quán)重。本文提出改進(jìn)的FER 融合策略，用Softmax 函數(shù)把特征圖歸一化到0、1 之間，數(shù)學(xué)表示為

式中：xi是輸入特征圖I1、I2上的像素點(diǎn)，S(xi)1、S(xi)2分別是I1、I2經(jīng)過Softmax 函數(shù)的輸出結(jié)果，F(xiàn)是融合圖像。

1.3 特征重構(gòu)

特征重構(gòu)輸入是融合后的圖像特征，用于從圖像中生成融合的可見圖像，在降低特征維數(shù)的同時(shí)盡可能保留更多的圖像細(xì)節(jié)。本文使用一個(gè)具有64 通道3×3 的卷積與輸入64 通道數(shù)進(jìn)行運(yùn)算，然后連續(xù)使用3 個(gè)分別具有32、16、1 通道的3×3的卷積將通道數(shù)從64 依次減少到1，最終得到一張1 通道的圖像輸出。特征重構(gòu)的結(jié)構(gòu)如圖1 Fusion Net 中的Reconstructor 所示。

1.4 損失函數(shù)

損失函數(shù)是影響深度學(xué)習(xí)的重要因素之一。不同的損失函數(shù)對(duì)神經(jīng)網(wǎng)絡(luò)的優(yōu)化和收斂有著不同的影響。大量研究表明，混合損失函數(shù)的優(yōu)化性能往往超過單一的損失函數(shù)，因此本文采用基于內(nèi)容損失和基于預(yù)訓(xùn)練權(quán)重的VGG-16 訓(xùn)練網(wǎng)絡(luò)?；趦?nèi)容的損失用于計(jì)算融合圖像和輸入圖像之間的像素差平方，L2損失[14]具有收斂速度快的特點(diǎn)，有利于網(wǎng)絡(luò)快速收斂；VGG-16 的低層次特征圖包含豐富的局部邊界信息，高層次特征圖則可以捕捉全局語義信息，用其在特征圖上進(jìn)行監(jiān)督。L2的數(shù)學(xué)表達(dá)式為

式中：F是融合圖像，I是輸入圖像，L、W是圖像的長、寬。

基于VGG-16 的損失函數(shù)數(shù)學(xué)表達(dá)式為

式中：Fi和Ii是融合圖像和輸入圖像經(jīng)過VGG-16的第i層特征提取結(jié)構(gòu)，是計(jì)算Fi和Ii的二范數(shù)。因此，總的損失函數(shù)數(shù)學(xué)表達(dá)式為

2 實(shí)驗(yàn)結(jié)果分析

2.1 數(shù)據(jù)集和實(shí)驗(yàn)設(shè)計(jì)

本實(shí)驗(yàn)使用腦圖譜公共數(shù)據(jù)集（http://www.med.harvard.edu/AANLIB/home.html）進(jìn)行訓(xùn)練和評(píng)估。數(shù)據(jù)集分割成訓(xùn)練集和測(cè)試集。SPECT-MRI數(shù)據(jù)集321 對(duì)用于訓(xùn)練，32 對(duì)用于測(cè)試。圖片的大小都是256×256，SPECT 是偽彩色圖像，MRI是灰度圖像。圖像都是成對(duì)輸入模型訓(xùn)練。

所有的模型都是基于PyTorch 框架設(shè)計(jì)實(shí)現(xiàn)的。網(wǎng)絡(luò)優(yōu)化器用Adam，學(xué)習(xí)率設(shè)置為10-4去優(yōu)化和降低融合損失函數(shù)；訓(xùn)練輪數(shù)Epoch 等于100，由于圖形處理器（Graphics Processing Unit，GPU）的限制，每次的批次大小Batch_size 等于4。實(shí)驗(yàn)所用的計(jì)算機(jī)配置是Inter（R） Core（TM） i9-11900K@3.50 GHz，GPU 是NVDIA GeForce RTX 3080 Ti 顯卡。

2.2 評(píng)價(jià)指標(biāo)

過去已經(jīng)提出了許多對(duì)于圖像融合的評(píng)價(jià)指標(biāo)。不同的指標(biāo)反映了不同角度圖像的融合性能。因此需要評(píng)價(jià)融合圖像的不同指標(biāo)。

峰值信噪比（Peak Signal to Noise Ratio，PSNR）[15]是最大信號(hào)功率與信號(hào)噪聲功率兩者之比。PSNR越大，代表圖像質(zhì)量越好。PSNR 的數(shù)學(xué)表達(dá)式為

式中：It是輸入圖像，I1、I2是輸入圖像對(duì)，MAXF是融合圖像F中像素最大值，m、n是圖像的行數(shù)和列數(shù)。

結(jié)構(gòu)相似度（Structural Similarity，SSIM）[16]是一種衡量兩幅圖像相似度的指標(biāo)，能反映場(chǎng)景中物體結(jié)構(gòu)的屬性，并將失真建模為亮度、對(duì)比度和結(jié)構(gòu)3 個(gè)不同因素的組合。SSIM 的范圍在[0，1]，SSIM 越大，圖像失真越小。SSIM 的數(shù)學(xué)表達(dá)式為

式中：μx、μy是圖像的均值，σxy是圖像的協(xié)方差。

特征相似度（Feature Similarity，F(xiàn)SIM）[17]基于相位一致性和梯度的大小評(píng)價(jià)參考圖像的質(zhì)量。FSIM 認(rèn)為一張圖像中所有像素并非具有相同作用。FSIM 越大，圖像越接近參考圖像。FSIM 的數(shù)學(xué)表達(dá)式為

式中：S是圖像的結(jié)構(gòu)信息，PC是相位一致性，x屬于圖像整個(gè)空間域。

熵（EN）[18]表示一張圖片包含的信息豐富度。熵值越大，意味著融合圖片包含的信息越豐富，融合質(zhì)量越好。EN 的數(shù)學(xué)表達(dá)式為

式中：pF(i)是融合圖像灰度值為i的概率。

2.3 融合策略比較

本文第1.2 節(jié)討論了Addition、Average、FER和改進(jìn)FER 幾種融合策略，比較了這幾種策略的可視化結(jié)果和客觀評(píng)價(jià)指標(biāo)。圖3 顯示了不同融合策略的對(duì)比，可以看出，Addition 策略融合圖像整體偏亮，對(duì)SPECT 的效果并不好；Average 策略和FER 策略相較于Addition 策略，亮度緩和了，但是仍然存在融合圖像邊緣細(xì)節(jié)模糊；本文算法改進(jìn)FER 相較于其他3 種融合策略整體圖像感官更好，圖像的邊緣信息保留更加豐富。

圖3 不同融合策略對(duì)比圖

本文還進(jìn)行了客觀指標(biāo)定量比較，結(jié)果如表1所示，加粗?jǐn)?shù)字代表最優(yōu)指標(biāo)?？梢钥闯龈倪M(jìn)FER策略雖然在EN 表現(xiàn)較弱，但是在PSNR、SSIM、FSIM 這3 個(gè)指標(biāo)都達(dá)到了最優(yōu)的效果。PSNR、SSIM 和FSIM 指標(biāo)證明了融合圖像與源圖像有很強(qiáng)的相關(guān)性，更多地結(jié)合了MRI和SPECT圖像的特征，保留了源圖像的更多細(xì)節(jié)信息。因此，改進(jìn)FER 策略相較于其他3 種融合策略不僅有更好的整體圖像感官，而且具有更好的定量性能，能更好完成圖像融合工作。

表1 不同融合策略的性能對(duì)比

2.4 融合結(jié)果比較

為了證明所提出算法的有效性，本文比較了現(xiàn)有通用的圖像融合算法，包括MSPRAM[10]、DILRAN[11]、CDRNet[12]，比較了不同算法的可視化結(jié)果和客觀評(píng)價(jià)指標(biāo)。對(duì)比實(shí)驗(yàn)可視化結(jié)果如圖4所示。從融合結(jié)果可以看出，CDRNet 算法整體圖像質(zhì)感不好，融合圖像整體效果偏亮；MSPRAM 算法和DILRAN 算法在某些邊緣細(xì)節(jié)上存在細(xì)節(jié)丟失，導(dǎo)致邊緣細(xì)節(jié)模糊或者看不見。本文的融合結(jié)果相比以上3 種算法，在整體觀感上有更好的效果，看起來比其他算法更加自然，同時(shí)在邊緣細(xì)節(jié)信息上保留了更多細(xì)節(jié)輪廓信息，特別在對(duì)比度較弱的細(xì)節(jié)邊緣有著更好的融合效果。

圖4 不同算法對(duì)比圖

此外，融合結(jié)果的客觀指標(biāo)如表2 所示，本文算法相對(duì)于參考算法的PSNR、SSIM 和FSIM 指標(biāo)是最高的，EN 指標(biāo)處于第二。在融合結(jié)果客觀指標(biāo)評(píng)價(jià)上，所提算法的整體性能優(yōu)于其他比較算法，最優(yōu)的PSNR 表明本文的融合圖像的質(zhì)量損失最小，圖像質(zhì)量最好。SSIM 和FSIM 指標(biāo)則說明本文的融合圖像保留了原始圖像更多細(xì)節(jié)上的信息，與原始圖像相似度更高。

表2 不同算法的性能對(duì)比

為了證明所提出的基于L2和VGG-16 網(wǎng)絡(luò)損失的聯(lián)合損失函數(shù)的有效性，本文比較了兩者的性能，結(jié)果如表3 所示?？梢钥闯?，聯(lián)合損失函數(shù)在PSNR、SSIM 和FSIM 的指標(biāo)優(yōu)于單一的L2損失。

表3 不同損失函數(shù)的性能對(duì)比

綜上，本文算法不僅在視覺效果上有更優(yōu)的觀感，而且在客觀指標(biāo)上性能也更好，PSNR、SSIM和FSIM 指標(biāo)證明了融合圖像與源圖像有很強(qiáng)的相關(guān)性。清晰、高度相關(guān)的圖像可以幫助醫(yī)生更好地準(zhǔn)確治療，因此所提的融合算法在該領(lǐng)域有一定的作用和參考價(jià)值。

3 結(jié)語

本文提出了一種結(jié)合擴(kuò)張金字塔特征提取的算法用于腦部醫(yī)學(xué)圖像融合。擴(kuò)張型金字塔對(duì)原始多模態(tài)圖像特征的淺層和深層特征的結(jié)合，防止了圖像邊緣細(xì)節(jié)的丟失。特征融合中提出了改進(jìn)的FER 特征融合策略，實(shí)驗(yàn)結(jié)果表明有更好的觀感，能夠保留更多的圖像細(xì)節(jié)信息。本文利用特征重構(gòu)器還原出融合圖像，提出一種基于L2損失和VGG-16 網(wǎng)絡(luò)損失的聯(lián)合損失函數(shù)，進(jìn)一步學(xué)習(xí)圖像的細(xì)節(jié)信息。大量的實(shí)驗(yàn)表明，與參考算法相比，本文的算法整體視覺質(zhì)量比較高，在細(xì)節(jié)方面保留了更多原始多模態(tài)圖像的細(xì)節(jié)信息，在客觀指標(biāo)如PSNR、SSIM 和FSIM 上有更好的表現(xiàn)。