周 濤， 張祥祥*， 陸惠玲， 李 琦， 程倩茹

（1. 北方民族大學(xué) 計算機科學(xué)與工程學(xué)院， 寧夏 銀川 750021；2. 北方民族大學(xué)圖像圖形智能處理國家民委重點實驗室， 寧夏 銀川 750021；3. 寧夏醫(yī)科大學(xué) 醫(yī)學(xué)信息工程學(xué)院， 寧夏 銀川 750004）

1 引言

醫(yī)學(xué)圖像融合是指將來自不同技術(shù)的圖像融合成一幅融合圖像，從而最大限度地利用有用信息，減少冗余，與單一模態(tài)的醫(yī)學(xué)圖像相比，融合圖像所包含的紋理結(jié)構(gòu)信息更加豐富，病灶更加明顯，減少圖像的不確定性和冗余信息，提高臨床適用性［1］，從而能夠幫助醫(yī)生在許多臨床應(yīng)用中進行綜合診斷、術(shù)前規(guī)劃、術(shù)中指導(dǎo)和介入治療［2］。由于成像方式不同，不同模態(tài)醫(yī)學(xué)圖像反應(yīng)的器官結(jié)構(gòu)信息也不同，如CT 成像利用X射線檢測骨骼和致密結(jié)構(gòu)的信息，對骨骼的顯示很清晰［3］，對病變的定位良好，但對病變本身的顯示相對較差，軟組織對比度有限。PET 圖像對軟組織、器官、血管等顯示清晰，有利于確定病灶范圍，但空間分辨率不如CT，對剛性的骨組織顯示差，并有一定的幾何失真［4］。多模態(tài)醫(yī)學(xué)圖像融合技術(shù)通過綜合不同模態(tài)醫(yī)學(xué)圖像之間的互補與冗余信息，為臨床疾病診斷與科學(xué)研究提供豐富的信息，可以有效輔助醫(yī)生對病灶進行診斷。

現(xiàn)有的圖像融合方法可分為傳統(tǒng)的融合方法和基于深度學(xué)習(xí)的融合方法，其中傳統(tǒng)融合方法大致可以分為：基于多尺度變換的方法［5］、基于稀疏表示（Sparse Representation，SR）的方法［6］、混合方法［7］和其他方法［8］，這些方法通常需要手動設(shè)計特征提取機制和融合策略，如Li 等人［9］提出潛在低秩表示（Latent Low-Rank Representation,LatLRR）圖像融合方法，將源圖像分為低秩部分和顯著部分，有效保留邊緣輪廓信息。Li 等人［10］提出拉普拉斯再分解（Laplacian Redecomposition,LRD）醫(yī)學(xué)圖像融合方法，有效解決顏色失真、模糊和噪聲問題。這些方法仍然存在魯棒性不足、泛化能力弱、優(yōu)化困難、需要更多計算資源和細(xì)節(jié)丟失等缺點。

基于深度學(xué)習(xí)的融合方法可進一步劃分為卷積神經(jīng)網(wǎng)絡(luò)、編解碼網(wǎng)絡(luò)和生成對抗網(wǎng)絡(luò)的圖像融合方法：基于卷積神經(jīng)網(wǎng)絡(luò)的圖像融合方法通過利用卷積運算強大的特征提取和重建能力來獲得更好的融合性能。Liu 等人［11］提出了一種用于醫(yī)學(xué)圖像融合的深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks,CNN），使用連體卷積網(wǎng)絡(luò)生成權(quán)重圖，對源圖像的像素活動信息進行整合，并通過圖像金字塔以多尺度方式進行融合。Tang 等人［12］提出基于殘差編解碼細(xì)節(jié)保留交叉網(wǎng)絡(luò)（Detail Preserving Cross Network,DPCN），該網(wǎng)絡(luò)采用結(jié)構(gòu)引導(dǎo)的功能特征提取分支、功能引導(dǎo)的結(jié)構(gòu)特征提取分支，雙分支提取架構(gòu)提取源圖像的功能信息和結(jié)構(gòu)信息。但由于只有最后一層的結(jié)果被用作圖像特征，因此容易丟失中間層信息?；诰幗獯a網(wǎng)絡(luò)的圖像融合方法通過設(shè)計和訓(xùn)練由卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成的編碼器和解碼器得到融合圖像，有效地避免神經(jīng)網(wǎng)絡(luò)深度對性能的影響，如DenseFuse［13］，在編碼器中引入密集連接機制有效解決中間層信息丟失問題，Res2Net［14］將Resnet 模塊用于編碼器中，提高網(wǎng)絡(luò)的多尺度特征提取能力。DIFNet(Deep Image Fusion Net)［15］采用雙編碼器生成與高維輸入圖像具有相同對比度的輸出圖像。

EMFusion（Enhanced Medical Image Fusion Network）［16］通過表層和深層約束以增強信息保存，其中表層水平約束基于顯著性和豐富測量，深層約束是通過訓(xùn)練編碼器定義的，有效解決了信息失真的問題。這些方法有效解決中間層信息丟失問題，但訓(xùn)練過程中專注于圖像重建任務(wù)，無法正確的提取出融合所需要的顯著特征，忽略全局特征的提取?；谏蓪咕W(wǎng)絡(luò)的圖像融合方法在生成器和鑒別器之間建立對抗博弈，可以無監(jiān)督地估計目標(biāo)的概率分布，從而以隱式方式實現(xiàn)特征提取、特征融合和圖像重建［17］。Ma 等人將GAN(Generative Adversarial Network)［18］引入圖像融合領(lǐng)域，提出一種名為FusionGAN 的融合方法。DDcGAN(Dual-Discriminator Conditional Generative Adversarial Network)［19］包含兩個鑒別器來驅(qū)動生成器融合源圖像特征信息，以保持與兩個輸入圖像之間的最大相似性。Zhang等人［20］提出了一種具有全尺度跳躍連接和雙馬爾可夫鑒別器（GAN with Full-scale skip connection and dual Markovian discriminators, GANFM）的生成對抗融合網(wǎng)絡(luò)，以充分保留源圖像中的有效信息，保留顯著對比度和豐富紋理。然而這些方法模型復(fù)雜，使得訓(xùn)練過程不穩(wěn)定，生成器和鑒別器之間的對抗不充分導(dǎo)致融合圖像失真。

基于深度學(xué)習(xí)網(wǎng)絡(luò)的醫(yī)學(xué)圖像融合是近幾年的研究熱點。但是根據(jù)上述文獻報道以及醫(yī)學(xué)圖像的特點，現(xiàn)有融合模型還存在一些不足，從問題的角度來看，由于成像機制的不同，不同模態(tài)的醫(yī)學(xué)圖像側(cè)重于不同類別的器官或組織信息，存在周圍組織與病灶區(qū)域之間的模式復(fù)雜性和強度相似性問題；從方法的角度來看，由于卷積神經(jīng)網(wǎng)絡(luò)有限的感受野，特征提取過程中主要關(guān)注圖像的局部信息，難以捕獲全局上下文語義信息，忽略全局特征與局部特征的交互。為此本文從問題角度出發(fā)，充分考慮CNN 網(wǎng)絡(luò)的特點，加強全局特征與局部特征的交互，提出一種用于PET 和CT 圖像的醫(yī)學(xué)圖像融合方法LLGG-LG Net，其主要貢獻是：（1）構(gòu)造了用于提取局部-全局信息的三分支融合網(wǎng)絡(luò)，有效提取源圖像的局部信息和全局信息，增強局部-全局的信息交互能力；（2）設(shè)計了局部-局部融合模塊（Local-Local Fusion Module，LL Module），通過兩次空間注意力獲取PET/CT 的局部融合信息，生成局部融合圖像；（3）提出了全局-全局融合模塊（Global-Global Fusion Module，GG Module），通過在Swin Transformer 中添加殘差連接機制以提高全局信息的融合性能，生成全局融合圖像；（4）為了提高局部-全局信息的交互能力，進一步增強融合圖像質(zhì)量，提出局部-全局融合模塊（Local-Global Fusion Module，LG Module），聚合局部融合圖像特征和全局融合圖像特征，使融合圖像病變區(qū)域顯著、細(xì)節(jié)豐富且魯棒性高。

2 LL-GG-LG Net 模型

本文提出用于PET 和CT 醫(yī)學(xué)圖像融合的LL-GG-LG Net 融合方法，該方法框架由局部-局部融合模塊（Local-Local Fusion Module，LL Module）、全局-全局融合模塊（Global-Global Fusion Module，GG Module）和局部-全局融合模塊（Local-Global Fusion Module，LG Module）三部分組成，首先將配準(zhǔn)好的醫(yī)學(xué)圖像IPET，ICT分別經(jīng)過LL Module 和GG Module，得到局部融合圖像FL和全局融合圖像FG，然后將FL和FG輸入到LG Module 中重建得到最終融合圖像FM。該方法有效解決背景和病灶區(qū)域相似度高，提取全局信息特征能力有限，局部-全局信息交互能力弱，難以有效保留病變區(qū)域復(fù)雜信息的問題。

2.1 LL-GG-LG Net 網(wǎng)絡(luò)結(jié)構(gòu)

LL-GG-LG Net 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，首先將源圖像轉(zhuǎn)換為卷積層的特征表示，并輸入LLGG-LG Net 網(wǎng)絡(luò)的局部-局部融合模塊分支中，通過空間注意力機制提取源圖像邊緣紋理信息，生成注意力圖，并將源圖像和生成的權(quán)重圖進行相乘操作，最后進行累加生成局部融合圖像；然后通過1×1 卷積將源圖像進行位置編碼，生成序列向量，并將其輸入到全局-全局融合模塊中，提取全局特征，采用L1-norm 融合規(guī)則生成全局融合圖像；最后，將雙分支融合網(wǎng)絡(luò)所生成的局部融合圖像和全局融合圖像采用局部-全局融合模塊進行圖像重構(gòu)，提高局部-全局信息的交互，增強融合圖像質(zhì)量。

圖1 LL-GG-LG Net 醫(yī)學(xué)圖像融合網(wǎng)絡(luò)Fig.1 LL-GG-LG Net Medical Image Fusion Network

2.2 局部-局部融合模塊（LL Module）

注意力機制通常根據(jù)源有特征圖設(shè)計一個權(quán)重分布，通過其權(quán)重分布區(qū)分每個區(qū)域的重要性，再將該權(quán)重分布施加到源特征圖上，抑制背景中的不同干擾，使得不同特征擁有不同權(quán)值，其中權(quán)值大的特征更加容易被注意到，因此在計算機視覺領(lǐng)域得到廣泛應(yīng)用［21］?？臻g注意力機制［22］通過平均池化和最大池化獲得全局信息，但由于不同的信息表征，層次化特征的注意焦點有很大的不同，因此為了有效提取源圖像局部特征，本文設(shè)計了雙層注意力模塊提取局部細(xì)節(jié)信息，該模塊通過兩次平均池化和最大池化提取源圖像的邊緣和背景信息，用來凸顯像素層次上的重要空間位置特征，使得病變區(qū)域和骨骼紋理的邊界特征明顯。

雙層注意力模塊結(jié)構(gòu)如圖2 所示。首先將源圖像轉(zhuǎn)換為卷積層的特征表示，并輸入空間注意力模塊中，空間注意力模塊首先通過平均池化層和最大池化層分別對輸入特征通道域上進行池化操作后再拼接在一起，得到2 倍通道特征圖，接著通過1×1 卷積將其壓縮為原通道，并再次通過平均池化層和最大池化層分別對輸入特征通道域上進行池化操作后再拼接在一起，得到深層特征圖，并通過3×3 卷積壓縮其通道，此外，為了補償在最后卷積層中的上采樣操作期間丟失的特征，本文使用卷積層的一個跳躍連接，在下/上采樣操作后，局部-局部融合模塊可以完全包含源圖像局部特征信息，最后通過sigmoid 激活函數(shù)歸一化空間權(quán)重信息，得到空間注意力權(quán)重圖M2i，最后將輸入特征圖Ii和權(quán)重圖M2i對應(yīng)元素相乘，得到最終的局部融合圖像；局部-局部融合模塊公式如式（1）所示：

圖2 雙層注意力模塊Fig.2 Two-layer attention module

第一層局部特征信息表示：

其中：M1i表示第一層局部特征信息，Ii表示源圖像，i∈1，2，源圖像PET 圖像記為I1，源圖像CT記為I2，C1×1表示1×1 大小卷積核的卷積層。

最終權(quán)重圖表示公式如下：

其中：δ(·)表示Sigmoid 激活函數(shù)，C3×3表示3×3 大小卷積核的卷積層，生成最終的局部融合圖，公式表達(dá)為：

其中：IA表示最終生成的局部融合圖像，⊙表示點乘操作。

2.3 全局-全局融合模塊（GG Module）

CNN 通過利用卷積運算強大的特征提取和重建能力來獲取圖像特征并重建融合圖像，然而根據(jù)局部處理的原理，CNN 對遠(yuǎn)程依賴建模的能力有限。Transformer［23］模型通過自注意力機制來捕獲上下文之間的全局交互信息，突出病變組織結(jié)構(gòu)特征，但忽略了局部相關(guān)性對于病灶特征融合的重要性。因此，為了有效提高網(wǎng)絡(luò)全局感知能力，保留病變區(qū)域的有效特征，本文使用全局-全局融合模塊，該模塊在Swin Transformer中添加殘差連接機制（Residual-Swin Transformer Module，RSTM）有效聚合不同層次的特征，彌補了Transformer 對病變區(qū)域特征提取弱的問題，提高Transformer 在全局特征提取過程中關(guān)注病變局部特征的相關(guān)性，并采用L1-norm融合規(guī)則生成全局融合圖像。

全局-全局融合模塊內(nèi)部結(jié)構(gòu)如圖1（a）所示，本文首先將輸入圖像Ii∈RH×W×3（其中H、W和3 分別表示其高度、寬度和通道大小，i=1 表示源圖像PET 圖像，i=2 表示源圖像CT 圖像），首先采用1×1 卷積操作對源圖像進行位置編碼，并將特征維度映射到維度C，C設(shè)置成96，生成序列向量=1 表示源圖像PET圖像，i=2 表示源圖像CT 圖像），然后應(yīng)用三個R-Swin Transformer 塊提取全局特征，其表達(dá)公式如下：

其中：RSTBm表示第m個R-Swin Transformer塊，通過以上操作，提取PET 和CT 圖像的全局特征，然后，采用基于行向量維數(shù)和列向量維數(shù)的L1-norm 融合規(guī)則進行特征融合，得到融合的全局特征FG，其公式表示為：

其中：HNorm表示L1-norm 融合操作，最后使用卷積層重構(gòu)融合圖像IF，其公式為：

其中：HConv表示特征重構(gòu)卷積操作，該卷積為1×1 卷積，padding 設(shè)置為0。

2.3.1 R-Swin Transformer 模塊

圖3（a）展示了R-Swin Transformer 模塊（Residual-Swin Transformer Module，RSTM）的體系結(jié)構(gòu)，它包括一系列STL 以及殘差連接，給定輸入序列向量，本文應(yīng)用n個STL 來提取中間全局特征（i=1 表示源圖像PET 圖像，i=2 表示源圖像CT 圖像），RSTM 的最終輸出由式（7）計算：

圖3 R-Swin Transformer 模塊結(jié)構(gòu)Fig.3 R-Swin Transformer module structure

其中：HRSTBn表示第n個STL。類似于CNN 的架構(gòu)，多層Swin Transformer 可以有效地對全局特征進行建模，殘差連接可以對不同層次的特征進行聚合。

如圖3（b）所示，STL 由多頭自注意（Multiheaded Self-attention，MSA）和多層感知器（Multiple perceptron，MLP）組成。此外在每個MSA 模塊和每個MLP 之前都會應(yīng)用LN（LayerNorm）層，并且在每個模塊之后采用殘差連接，因此可以將Swin Transformer 中的第l層的輸出表示為：

由于W-MSA 的窗口之間相互作用較弱，為了在不增加計算量的情況下引入跨窗口交互，Swin Transformer 則在W-MSA 結(jié)構(gòu)之后添加了SW-MSA 模塊，該模塊的窗口配置與W-MSA 不同，其通過向左上方向循環(huán)移動來開發(fā)高效的批處理方法，在此移動之后，批處理窗口可以由特征圖中的多個不相鄰窗口組成，同時在W-MAS中保持相同數(shù)量的批處理窗口作為規(guī)則劃分。W-MSA 和SW-MAS 中保持相同數(shù)量的批處理窗口作為規(guī)則劃分。W-MSA 和SW-MSA 在局部窗口內(nèi)進行自注意計算時，在計算相似度時都考慮了相對位置偏差。

利用這種移位窗口劃分機制，SW-MSA 和MLP 模塊的輸出可以寫為：

其中：WQ，WK和WV∈RD×d是跨不同窗口共享的三個線性投影層的可學(xué)習(xí)參數(shù)，Q，K.V∈RL×d為查詢矩陣、鍵矩陣、值矩陣，d表示查詢或的維度，B∈RL×L表示相對位置偏差。

2.3.2L1-norm 融合規(guī)則

基于L1-norm 的PET 和CT 圖像序列矩陣的融合策略，并測量了它們的行和列向量維的活躍度。本文將PET 和CT 的全局特征分別定義為(i，j)和(i，j)，首先使用L1-norm 計算它們的行向量權(quán)重，通過Softmax 函數(shù)獲得它們的活躍度，即HPETr(i)和HCTr(i)，它們由以下方程表示：

同理，從列向量維測量其活躍度，并將PET和CT 圖像的列向量活躍度分別記為HPETl(j)和，它們由以下公式表示：

然后，得到列向量維的融合全局特征，并將其稱為Fcol(i，j)，它由以下方程表示：

對融合后的全局特征在行向量維和列向量維度上進行逐元加法運算，得到最終的融合全局特征，其計算公式如下：

最后利用融合后的全局特征通過卷積層重建全局融合圖像。

2.4 局部-全局融合模塊（LG Module）

由于不同病變區(qū)域的形狀和大小均不同，導(dǎo)致網(wǎng)絡(luò)在提取邊緣和紋理信息的同時，難以保留病變特征，使得模型在關(guān)注局部病變特征的同時難以進行病灶空間定位，因此本文通過添加局部-全局融合模塊進行全局信息和局部信息的交互融合。根據(jù)密集網(wǎng)［24］的特性，即每一層的輸出將級聯(lián)到下一個輸入，使得網(wǎng)絡(luò)能夠更好地保留每一層提取的特征，增強了特征提取能力，有效保留局部信息特征和全局信息，本文引入密集網(wǎng)絡(luò)進行最后一步融合。此外受神經(jīng)網(wǎng)絡(luò)架構(gòu)［25］的啟發(fā)，考慮到輸入圖像特征不同，所需提取的信息也有所差異，相同的特征提取操作，難以兼顧不同源圖像的特征，因此本文設(shè)計基于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索策略訓(xùn)練的密集網(wǎng)進行局部-全局信息融合，為了降低計算成本，提高網(wǎng)絡(luò)的性能和效率，本文采用可微分神經(jīng)網(wǎng)絡(luò)架構(gòu)［26］自適應(yīng)的構(gòu)建和搜索以學(xué)習(xí)最佳密集網(wǎng)絡(luò)架構(gòu)（Darts:Differentiable Architecture Search,DDAS），保留局部融合圖像和全局融合圖像的差異信息，解決融合圖像噪聲和背景與病灶區(qū)域相似度高問題。

DDAS 模塊結(jié)構(gòu)如圖4 所示。首先，采用搜索策略模塊訓(xùn)練密集網(wǎng)絡(luò)，預(yù)定義了三個相同的密集連接網(wǎng)絡(luò)，每個網(wǎng)絡(luò)都包含五個節(jié)點的非循環(huán)圖，即0，1，2，3，4，其中每個節(jié)點表示一組特征圖，第一個節(jié)點由先前3×3 卷積操作得到的特征圖作為輸入節(jié)點，每個節(jié)點的輸出都級聯(lián)到后續(xù)所有節(jié)點的輸入，本文將局部融合圖像和全局融合圖像分別輸入到密集網(wǎng)中，根據(jù)融合策略自適應(yīng)的訓(xùn)練網(wǎng)絡(luò)，經(jīng)過訓(xùn)練選出最終的融合網(wǎng)絡(luò)架構(gòu)，如圖4 所示，將局部融合圖像和全局融合圖像分別輸入到已經(jīng)訓(xùn)練好的密集網(wǎng)中，進行特征提取和重構(gòu)操作，生成最終的融合圖像，實驗表明該方法有效解決噪聲問題以及背景和病灶區(qū)域相似度高問題。

圖4 DDAS 模塊結(jié)構(gòu)Fig.4 DDAS module structure

2.4.1 搜索空間

本文搜索空間0 選擇如圖5 所示（彩圖見期刊電子版），其中運算集合0(·)主要包括1×1 卷積、3×3 卷積、5×5 卷積、7×7 卷積、3×3 擴張卷積、5×5 卷積、7×7 擴張卷積、1×1 殘差卷積、3×3 殘差卷積、5×5 殘差卷積、7×7 殘差卷積、3×3 擴張卷積、5×5 殘差擴張卷積、7×7 殘差擴張卷積等14 種操作，并以不同顏色箭頭進行標(biāo)注。

圖5 搜索空間模塊結(jié)構(gòu)Fig.5 Search space module structure

2.4.2 搜索策略

本文采用的可微搜索策略，具體結(jié)構(gòu)如圖4所示，首先預(yù)定義了三個相同的單元組成網(wǎng)絡(luò)，每個單元包含五個節(jié)點的非循環(huán)圖，即0，1，2，3，4，其中每個節(jié)點表示一組特征圖，第一個節(jié)點由先前3×3 卷積操作得到的特征圖作為輸入節(jié)點，中間節(jié)點j與前身節(jié)點i之間的信息流由邊E(i，j)連接，中間節(jié)點是其先前邊的輸出總和，其表示為Nj，公式表達(dá)如下：

中間節(jié)點是其先前邊輸出的總和，而輸出節(jié)點則是通道維度中所有節(jié)點的串聯(lián)，其表示為：

其中：搜索空間0 表示候選運算O(·)集合，表示歸一化結(jié)構(gòu)參數(shù)，Xi表示第i個節(jié)點，體系結(jié)構(gòu)搜索的任務(wù)歸結(jié)為學(xué)習(xí)變量，在搜索結(jié)束時，可以通過用最有可能的操作替換每個混合操作，進而獲得離散結(jié)構(gòu)，即（在集合0 中選取一個子操作使得最大）。

在搜索階段，本文需要解決一個雙層優(yōu)化問題，本文使用LTrain和LVal分別表示訓(xùn)練和驗證損失，這兩個損失由α和w確定（α表示三個單元的體系結(jié)構(gòu)，w表示網(wǎng)絡(luò)的權(quán)重，*表示最優(yōu)權(quán)重），其中體系結(jié)構(gòu)的目標(biāo)是找到α*，使得LVal(w，α*)損失最小化；找出w*使得LTrain訓(xùn)練的損失最小，即w*=argminw LTrain(w，w*)。

為了簡化訓(xùn)練搜索任務(wù)，添加了特殊的空操作，及兩個節(jié)點之間缺少連接；經(jīng)訓(xùn)練選出一組最合適的融合架構(gòu)，具體結(jié)構(gòu)如圖5 所示，其中0，1，2，3，4 五個節(jié)點之間的操作均采用不同顏色，其顏色與搜索空間顏色相對應(yīng)，并對應(yīng)其具體操作。

3 實驗結(jié)果與分析

3.1 實驗設(shè)置

數(shù)據(jù)集選用2018年1 月至2020年6 月在寧夏某三甲醫(yī)院核醫(yī)學(xué)進行PET/CT 全身檢查的肺部腫瘤臨床患者，以圖像質(zhì)量符合分析要求（圖像質(zhì)量清晰、無偽影、病灶可見），患者未接收射頻消融，肺切除治療，且病理報告完整詳細(xì)為實驗納入標(biāo)準(zhǔn)，有95 名符合實驗入選條件的患者納入實驗，身高不限，其中包括女性46 例（占48%），年齡30～80 歲，平均年齡（54.32±4.21）歲。男性49 例（占52%），年齡27～74 歲，平均年齡（50±5.11）歲。患者禁食6 h，控制血糖10 以下，顯像前排尿，去除金屬飾物。靜脈注射氟［18F］脫氧葡萄糖注射液（18F-FDG）3.7 mbq/kg，注射完顯像劑一小時后在安靜、避光的房間平臥45～60 min 進行肺部及軀干部PET-CT 圖像采集，掃描完成取橫斷面、矢狀面與冠狀面圖像。數(shù)據(jù)集圖像標(biāo)準(zhǔn)化攝取值≥2.5 為陽性，采用GE公司Discovery MI 型PET/CT 機進行掃描檢查。所有CT 掃描均固定電壓在120 kV、電流在90～200 mA 進行曝光，Thick 為3.75 mm，Iterval 為3 270，SFOV 為Large，DFOV 為50 cm，Recon-Type 為std，操作者均為多年從事CT 及核醫(yī)學(xué)工作的資深技術(shù)人員，為確保對病變進行正確標(biāo)注，為確保數(shù)據(jù)準(zhǔn)確性，本次數(shù)據(jù)由三位專家醫(yī)生結(jié)合臨床綜合診斷，進行評估，結(jié)果以多數(shù)人意見為準(zhǔn)，三位專家醫(yī)生包括一位具有8年臨床經(jīng)驗的胸外科醫(yī)生，一位具有5年臨床經(jīng)驗的呼吸內(nèi)科醫(yī)生，一位影像科專業(yè)醫(yī)生。數(shù)據(jù)集經(jīng)旋轉(zhuǎn)、鏡像的數(shù)據(jù)增強與數(shù)據(jù)增廣處理，三種模態(tài)圖像數(shù)據(jù)集的最終樣本數(shù)分別為2 430 張，其中選取1 000 張CT 與PET 圖像作為訓(xùn)練集，200 張作為驗證集，200 張作為測試集，圖像標(biāo)簽由兩位臨床醫(yī)師手動繪制。原始圖像格式為DICOM 格式，掃描層厚為7 mm，由于融合結(jié)果的效果還受到灰度不均勻性、偽影等因素的影響，且原圖像直接輸入網(wǎng)絡(luò)會造成訓(xùn)練困難，因此有必要對圖像進行預(yù)處理使網(wǎng)絡(luò)實現(xiàn)更好的融合效果。本文用算法將數(shù)據(jù)讀取之后轉(zhuǎn)換為JPG 格式，并進行Resize 操作，將其變?yōu)?56 pixel×356 pixel。

實驗室硬件環(huán)境服務(wù)器Intel（R） Xeon（R）Gold6154 CPU，內(nèi)存256 GB，顯卡NVIDIA TITANV， 實驗環(huán)境框架采用pytorch，python 版本為3.7.0，CUDA 版本為11.1.106。 訓(xùn)練時Batchsize 被設(shè)置為4，訓(xùn)練150 個epoch，選擇學(xué)習(xí)速率為1e-4 的Amda 優(yōu)化器。

3.2 對比實驗

為了驗證LL-GG-LG Net 的有效性，選取兩種基于分解變換的融合方法，五種基于深度學(xué)習(xí)的圖像融合網(wǎng)絡(luò)，對CT 圖像和PET 圖像的融合結(jié)果進行比較。方法一：LATLRR 變換［9］。方法二：LRD［10］。 方法三：DPCN［12］。 方法四：Res2Net［14］。方法五：DIFNet［15］。方法六：EMFusion［16］。方法七：DDcGAN［19］。以上五種基于深度學(xué)習(xí)的圖像融合網(wǎng)絡(luò)的參數(shù)值設(shè)置為其作者指定的默認(rèn)值。本文從定性與定量兩個方面評價本文方法的有效性。

3.2.1 定性比較

圖6 展示了本文提出的方法與上述七種比較方法的融合結(jié)果圖，針對CT 縱膈窗和PET 圖像融合進行了主觀對比實驗，可以看出LATLRR結(jié)果展示圖中融合結(jié)果比較模糊，病灶部位輪廓顯示不清；LRD 方法融合的圖像中細(xì)節(jié)丟失嚴(yán)重，影響醫(yī)生對疾病信息的識別；Res2Net 增強了邊緣信息，但融合圖像未能保持適當(dāng)?shù)牧炼龋≡罟趋佬畔⒛：?；DIFNet 融合方法雖然增強了對比度，但圖像亮度過高影響視覺效果，且具有一定的噪聲；DPCN，DDcGAN 和EMFusion 方法可以突出病變區(qū)域信息，但融合后的圖像對比度較低，邊緣信息模糊。相比之下，本文方法能夠有效保留源圖像的邊緣細(xì)節(jié)及輪廓特征，病變區(qū)域的信息也更加豐富完整，有效解決背景與病灶區(qū)域之間的模式復(fù)雜性和強度相似性問題，方便醫(yī)生的觀察。

圖6 不同方法主觀對比融合圖像Fig.6 Subjective comparison of fused images by different methods

3.2.2 定量比較

為了客觀且全面的評價模型的融合性能，同時便于與其他算法進行比較，本文從融合圖像細(xì)節(jié)信息豐富度，清晰度、邊緣保留程度、邊緣信息量、紋理信息多個角度評估融合性能，選取以下六種常見評價指標(biāo)進行比較：平均梯度AG、邊緣強度EI、邊緣信息傳遞因子QAB/F、空間頻率SF、標(biāo)準(zhǔn)差SD、信息熵IE。以上指標(biāo)值越大，性能越好。

（1）平均梯度。

平均梯度（Average Gradient， AG）反映了融合圖像的細(xì)節(jié)和紋理信息。該數(shù)值越大，融合圖像信息越豐富，融合性能越好。公式如下：

其中：M和N分別代表融合圖像的高度和寬度，F(xiàn)(i，j)表示圖像的第i行第j列像素值。

（2）邊緣強度。

邊緣強度（Edge Intensity，EI），邊緣強度越大，融合圖像質(zhì)量越高。公式如下：

其中：M，N為圖像的寬高；hx，hy為x和y方向的Sobel 算子；Sx和Sy為Sobel 算子卷積后的結(jié)果。

（3）基于邊緣的相似性度量QAB/F。

QAB/F衡量融合圖像保留源圖像的邊緣信息數(shù)量，計算得到的QAB/F的取值范圍為［0，1］，其值越接近0，表示損失的邊緣信息越多；該值越大，表示融合性能越好。設(shè)圖像A，B，大小為n×m，融合圖像為F，邊緣信息保持度QAF(i，j)和QBF(i，j)，分別用WA(i，j)和WB(i，j)進行加權(quán)，得到融合圖像F相對于圖像A 和圖像B 的邊緣保持度。公式如下：

其中：W是固定大小的滑動窗口，0 ≤QAB/F(i，j)≤1。QAB/F的值越高，融合圖像保留源圖像的邊緣信息越豐富。

（4）空間頻率。

空間頻率（Spatial Frequency， SF）反映圖像的整體清晰度，空間頻率越大，融合圖像包含的邊緣和紋理信息越豐富，融合性能也就越好。公式如下：

其中：RF，CF分別表示空間行頻率和空間列頻率，M和N分別表示融合圖像的高度和寬度，I(i，j)表示圖像的第i行第j列像素值。

（5）標(biāo)準(zhǔn)差。

標(biāo)準(zhǔn)差（Standard Deviation， SD）衡量信息的豐富程度，標(biāo)準(zhǔn)差越大，圖像的灰度級分布越分散，圖像的信息量越多。公式如下：

其中，μ表示均值，反映亮度信息。

（6）信息熵。

信息熵（Information Entropy， IE）衡量圖像中所包含的信息數(shù)量。公式如下：

其中：l表示圖像的灰度等級，Pl表示融合圖像中相應(yīng)灰度級的歸一化直方圖。

本實驗采用測試數(shù)據(jù)集的200 對CT 和PET圖像分五組，根據(jù)對比的七種融合方法以及本文方法生成融合圖像，表1 展示了在不同指標(biāo)上每組圖像不同融合方法融合結(jié)果的平均值。

表1 客觀評價指標(biāo)均值Tab.1 Mean value of objective evaluation metrics.

在表1 和圖7 中可以看出，本文方法的空間頻率（SF）和標(biāo)準(zhǔn)差（SD）明顯高于其他七種方法，說明本文方法融合清晰度高，凸顯了PET 圖像的病灶區(qū)域特征，AG，EI，QAB/F、IE 評價指標(biāo)上，本文方法與其他七種方法相比有很大提升，說明本文方法保留邊緣細(xì)節(jié)信息能力較好，融合圖像病變區(qū)域信息豐富。

3.3 消融實驗

為了驗證LL-GG-LG Net 模型中局部-局部融合模塊（LL Module）、LL Module 中兩層空間注意力模塊、全局-全局融合模塊（GG Module）、GG Module 中Swin Transformer 添加的殘差連接和局部-全局融合模塊（LG Module）的有效性，本文設(shè)計了六組消融實驗來進行對比，實驗1 是僅保留一層注意力機制的LL Module，用來驗證雙層注意力機制對局部特征提取能力的影響。實驗2 在整體網(wǎng)絡(luò)中去除GG Module 和LG Module，僅采用LL Module，用來驗證LL Module 對圖像融合中的影響。實驗3 是僅保留Swin Transformer 中去除殘差連接機制的LL Module，用來驗證殘差連接機制對病變區(qū)域特征提取的影響。實驗4 在整體網(wǎng)絡(luò)中去除LL Module 和LG Module，僅使用GG Module，用來驗證其對融合圖像全局特征保留的影響。實驗5 在整體網(wǎng)絡(luò)中去除LG Mode，將LL Module 生成的局部融合圖像和GG Module 生成的全局融合圖像采用像素加權(quán)平均的方法進行融合，用來驗證LG Mode 對圖像融合中細(xì)節(jié)保留以及對比度的影響。實驗6 是本文融合方法。具體如表2 所示。表中√表示實驗中添加此創(chuàng)新模塊，×表示沒有添加此創(chuàng)新模塊。

表2 消融實驗客觀評價指標(biāo)均值Tab.2 Mean value of objective evaluation metrics for ablation experiments

圖8 展示了消融實驗與本文方法在五組PET 和CT 醫(yī)學(xué)圖像融合后的定性對比效果，表2 為六組圖像在不同客觀評價指標(biāo)上的平均值，實驗1 的融合效果病灶明顯且對比度高，但整體對比度較差，輪廓信息不明顯，丟失了一定的邊緣信息。實驗2 相比實驗1，AG 增加了15%，SF提升了13%，融合得到的圖像整體對比度較好，證明兩層注意力網(wǎng)絡(luò)能夠有效保留細(xì)節(jié)信息和邊緣信息。實驗3 的融合圖像相比較實驗2，病灶信息更加清晰，但是忽略了邊緣輪廓信息。評價指標(biāo)SD 增加了10%，整體對比度明顯提高，但從AG，EI，SF 和SD 指標(biāo)值來看，實驗4 與實驗3相比，評價指標(biāo)AG 提高了21%，IE 提高了16%，說明R-Swin Transformer 有效保留了源圖像細(xì)節(jié)內(nèi)容。實驗5 在視覺上突出了病灶區(qū)域信息，且邊緣信息豐富，但在評價指標(biāo)上略低。本文方法相比實驗2 在評價指標(biāo)AG 上增加了17%、EI提上了11%、IE 提升了10%、SD 增加了14%、相比實驗5 在QAB/F提升了4%，說明LG Module 能夠充分保留圖像的邊緣和紋理信息，保留豐富細(xì)節(jié)信息，并對圖像的降噪以及區(qū)分背景和病灶區(qū)域相似度發(fā)揮了良好的作用。

圖8 消融實驗定性比較Fig.8 Qualitative comparison of ablation experiments

表2、圖8 和圖9，更能堅信本文所提出的局部-局部融合模塊（LL Module），全局-全局融合模塊（GG Module）和局部-全局融合模塊（LG Module）相結(jié)合方法有效的結(jié)合了全局特征和局部特征，從各項數(shù)據(jù)的結(jié)果中更加體現(xiàn)了對源圖像分別提取局部特征和全局特征并進行局部-全局信息交互融合的方法在多模態(tài)醫(yī)學(xué)圖像融合的優(yōu)勢。

圖9 消融實驗雷達(dá)圖Fig.9 Radar map of ablation experiments

4 結(jié) 論

針對多模態(tài)醫(yī)學(xué)圖像融合捕獲全局特征能力有限，忽略了全局和局部特征關(guān)聯(lián)性，周圍組織與病變區(qū)域之間的模式復(fù)雜性和強度相似性的問題，本文提出面向PET 和CT 醫(yī)學(xué)圖像融合的LL-GG-LG Net 模型。首先為了有效保留邊緣和紋理等特征，局部-局部融合模塊進行局部特征的提取融合。此外，設(shè)計了R-Swin Transformer 模塊保留病灶部位復(fù)雜信息。最后，采用局部-全局融合模塊聚合全局特征和局部特征，有效保留紋理邊緣等全局信息與局部病變區(qū)域。使用臨床數(shù)據(jù)集對本文提出的方法進行驗證，實驗結(jié)果表明LL-GG-LG Net 在AG，EI，QAB/F，SF，SD，IE 6 種評價指標(biāo)上分別平均提高了21.5%，11%，4%，13%，9%，3%。7 組對比實驗表明本文所提出的模型能夠計算圖像全局關(guān)系的同時關(guān)注病變區(qū)域局部特征，二者互為補充相互融合，使得融合圖像能夠突出病變區(qū)域信息，結(jié)構(gòu)清晰且紋理細(xì)節(jié)豐富，為醫(yī)生的輔助診斷，提高術(shù)前準(zhǔn)備工作效率提供了有效幫助。