肖晨晨，陳樂庚，王書強

1.桂林電子科技大學(xué)電子工程與自動化學(xué)院，廣西 桂林 541004

2.中國科學(xué)院深圳先進(jìn)技術(shù)研究院數(shù)字所生物醫(yī)學(xué)信息技術(shù)研究中心，廣東 深圳 518055

隨著科學(xué)技術(shù)的發(fā)展，醫(yī)學(xué)圖像的獲取方式多種多樣，不同模態(tài)的醫(yī)學(xué)圖像具有不同的優(yōu)點和缺點。例如，磁共振成像（magnetic resonance imaging，MRI）對人體沒有輻射，軟組織結(jié)構(gòu)顯示清晰，能夠獲得豐富的診斷信息，但采集時間較長，容易產(chǎn)生偽影；正電子發(fā)射型計算機斷層掃描（positron emission computed tomography，PET）能夠通過病變區(qū)域組織功能性的改變對疾病做出早期診斷，但價格昂貴，圖像分辨率低。經(jīng)研究表明，人體因疾病引起的形態(tài)或功能異常往往表現(xiàn)在各個方面，單一模態(tài)成像設(shè)備獲取的信息往往無法全面反映疾病的復(fù)雜特征[1]，但臨床上同時采集不同模態(tài)的醫(yī)學(xué)圖像需要大量的時間和財力。因此，如何利用現(xiàn)有模態(tài)的醫(yī)學(xué)圖像，通過計算機技術(shù)精準(zhǔn)地合成所需模態(tài)的圖像是近幾年的研究方向。

目前，醫(yī)學(xué)圖像跨模態(tài)合成方法多基于深度學(xué)習(xí)，根據(jù)所用數(shù)據(jù)的不同可分為基于成對數(shù)據(jù)的跨模態(tài)合成方法和基于不成對數(shù)據(jù)的跨模態(tài)合成方法。由于基于不成對數(shù)據(jù)的跨模態(tài)合成無法生成特定受試者的圖像，因此本文研究基于成對數(shù)據(jù)的跨模態(tài)合成方法。Li等人[2]利用3D CNN 進(jìn)行從MRI 到PET 的預(yù)測，為增加樣本數(shù)據(jù)量，實驗將每個樣本圖像分成多個圖像塊，該算法生成的PET 圖像得到了較好的分類效果。Gao等人[3]提出深度殘差編解碼網(wǎng)絡(luò)（residual inception encoder-decoder neural network，RIED-Net）來學(xué)習(xí)不同模態(tài)圖像間的映射，提高了生成性能。Nie等人[4]提出用自動上下文模型實現(xiàn)上下文感知的生成對抗網(wǎng)絡(luò)，獲取MRI 到CT（computed tomography，電子計算機斷層掃描）圖像的映射，具有較高的準(zhǔn)確性和魯棒性。Bi等人[5]提出一種利用多通道生成對抗網(wǎng)絡(luò)合成PET 圖像的方法，實驗在50 個肺癌病人的PET-CT 數(shù)據(jù)上進(jìn)行，能夠獲得較真實的PET圖像。Ben-Cohen等人[6]將全卷積網(wǎng)絡(luò)與條件生成對抗網(wǎng)絡(luò)結(jié)合，用給定的CT 數(shù)據(jù)生成預(yù)測的PET數(shù)據(jù)，得到了不錯的效果。Yaakub等人[7]提出基于殘差網(wǎng)絡(luò)的3D 生成對抗網(wǎng)絡(luò)模型，學(xué)習(xí)從MRI 到FDG（Fluoro deoxy glucose，氟脫氧葡萄糖）PET 的映射，對局灶性癲癇患者的臨床評估比統(tǒng)計參數(shù)映射分析更有效。以上跨模態(tài)合成方法雖然都取得了不錯的效果，但由于醫(yī)學(xué)圖像空間結(jié)構(gòu)復(fù)雜，以上合成結(jié)果仍不能很好地表示人體組織的邊緣信息，存在信噪比低、邊緣模糊等問題。另外，現(xiàn)有公開的醫(yī)學(xué)圖像數(shù)據(jù)集中成對數(shù)據(jù)較少，以上方法所采用的數(shù)據(jù)多是自己采集，需要耗費大量的人力物力。

綜上所述，為了在成對數(shù)據(jù)有限的情況下提高特定受試者PET圖像的合成效果，本文提出了一種融合殘差模塊和生成對抗網(wǎng)絡(luò)的從MRI圖像跨模態(tài)合成PET圖像的方法。主要工作有以下三點：將改進(jìn)的殘差初始模塊和注意力機制引入到生成器中，以充分提取MRI圖像的特征；改進(jìn)pix2pix網(wǎng)絡(luò)框架，判別器采用多尺度判別器，提高判別性能；損失函數(shù)在傳統(tǒng)對抗損失和L1損失的基礎(chǔ)上添加多層級結(jié)構(gòu)相似損失，更好地保留圖像的對比度信息。

1 相關(guān)工作

1.1 生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)（generative adversarial network，GAN）最早由Goodfellow 等人[8]于2014 年提出，包括一個生成器G和一個判別器D。生成器接收來自某一分布的噪聲z作為輸入，將其映射到數(shù)據(jù)空間，捕獲真實樣本x的數(shù)據(jù)分布，從而生成類似真實數(shù)據(jù)的生成樣本G(z)。判別器以生成樣本和真實樣本作為輸入，目標(biāo)是將生成樣本G(z)分類為假，真實樣本分類為真。

GAN 的訓(xùn)練是生成器與判別器不斷相互對抗，進(jìn)行極大極小值博弈，最終達(dá)到動態(tài)平衡的過程。GAN的目標(biāo)函數(shù)定義為：

由于不加條件的生成對抗網(wǎng)絡(luò)生成的結(jié)果具有很大的不確定性，Mirza等人[9]提出給生成器和判別器添加額外信息y作為條件，構(gòu)建條件生成對抗網(wǎng)絡(luò)（conditional generative adversarial network，CGAN）。CGAN的損失函數(shù)定義為：

pix2pix網(wǎng)絡(luò)[10]是CGAN的一種，用于圖像翻譯。但它不再輸入噪聲，而是直接將原始圖像作為條件輸入給生成器，判別器則以目標(biāo)圖像及生成圖像與原始圖像組成的真假圖像對作為輸入，判別其真假。

1.2 殘差初始塊

殘差初始塊[3]結(jié)構(gòu)如圖1 所示，包括兩條路徑。其中，兩個3×3的卷積路徑對數(shù)據(jù)特征進(jìn)行提取，1×1的初始?xì)埐疃搪愤B接能夠加深（編碼器中）或減?。ń獯a器中）卷積核的深度，同時解決輸入特征映射與輸出特征映射具有不同通道的問題，確保輸入輸出映射在像素級別的融合。與inception模塊相比，殘差初始塊的參數(shù)更少，結(jié)構(gòu)更簡單，能夠解決網(wǎng)絡(luò)深度帶來的問題。

1.3 注意力模塊

Oktay 等人[11]提出用于醫(yī)學(xué)圖像的注意力模塊，結(jié)構(gòu)如圖2 所示。注意力機制通過門控信號g確定每個輸入xl上不同區(qū)域的注意力系數(shù)，從而使網(wǎng)絡(luò)把注意力放在與任務(wù)更相關(guān)的區(qū)域，抑制無關(guān)的背景區(qū)域。添加了注意力模塊的神經(jīng)網(wǎng)絡(luò)具有更高的靈敏度和精度。

圖2 注意力模塊Fig.2 Structure of attention module

2 本文算法

本文改進(jìn)的融合殘差模塊和生成對抗網(wǎng)絡(luò)的跨模態(tài)PET 圖像合成方法的模型框架如圖3 所示。生成器以真實MRI 圖像作為輸入，學(xué)習(xí)MRI 與PET 之間的特征映射關(guān)系，生成與真實MRI相對應(yīng)的合成PET。合成PET與真實PET分別與真實MRI拼接成真假圖像對，兩個判別器以真假圖像對作為輸入進(jìn)行真假判別，最后將兩個判別結(jié)果加權(quán)平均作為最終結(jié)果。

圖3 本文模型框架Fig.3 Framework of proposed model

2.1 生成器網(wǎng)絡(luò)

由于具有良好的性能和對內(nèi)存的高效利用，U-Net[12]在醫(yī)學(xué)圖像分割任務(wù)中應(yīng)用廣泛。因此，本文算法以U-Net作為生成器。

生成器結(jié)構(gòu)如圖4所示，由編碼路徑和解碼路徑組成。編碼路徑由一系列3×3 卷積、4×4 卷積、批歸一化層、激活層構(gòu)成。算法用卷積層替代U-Net中的最大池化層，通過卷積操作不斷提取MRI圖像的關(guān)鍵特征，壓縮從低層到高層提取的重要信息。解碼路徑由一系列3×3卷積、4×4反卷積、批歸一化層、激活層組成，從編碼路徑壓縮的特征映射中重建出最終輸出。

圖4 生成器結(jié)構(gòu)Fig.4 Structure of generator

為了更好地學(xué)習(xí)圖像中的像素信息，本文算法將改進(jìn)的殘差初始模塊引入到編解碼路徑中，以保證更好的生成效果。在神經(jīng)網(wǎng)絡(luò)中增加卷積核的大小可以擴大感受野，但是一味地增大卷積核會使網(wǎng)絡(luò)參數(shù)變多，給網(wǎng)絡(luò)的訓(xùn)練帶來一定難度。因此，本文算法在殘差初始模塊的3×3 卷積路徑上增加一個3×3 卷積，用3 個小卷積核代替更大的卷積核，在擴大感受野的同時盡可能地減少網(wǎng)絡(luò)參數(shù)。另外，殘差初始模塊的引入還能解決網(wǎng)絡(luò)深度帶來的梯度消失問題。

由于醫(yī)學(xué)圖像結(jié)構(gòu)信息及空間信息較自然圖像更加復(fù)雜，為更好的提取MRI圖像中的關(guān)鍵結(jié)構(gòu)特征，本文算法將生成器的編解碼路徑深度設(shè)置為7 層。但是考慮到網(wǎng)絡(luò)復(fù)雜度和內(nèi)存消耗問題，算法并沒有將改進(jìn)的殘差初始模塊放到編解碼路徑的所有卷積層中，而是通過多次實驗對比生成效果，最終將殘差初始模塊放在網(wǎng)絡(luò)的中間四層，編碼路徑的前3層和解碼路徑的最后3層僅采用兩個3×3的卷積，在提高生成質(zhì)量的同時，減少網(wǎng)絡(luò)參數(shù)和訓(xùn)練時間。

U-Net 中的跳躍連接能捕捉編碼路徑到解碼路徑的上下文特征，通過底層特征與高層特征的融合能夠保留更多高層特征圖的細(xì)節(jié)信息，但其中也可能包含與合成任務(wù)不相關(guān)的特征信息。因此，為提高合成質(zhì)量，本文算法在跳躍連接路徑中引入自注意力機制，在跳躍連接操作之前結(jié)合解碼路徑提取的特征，通過注意力門機制，減小不相關(guān)特征的權(quán)重，進(jìn)一步消除跳躍連接中不相關(guān)特征和噪聲帶來的干擾，突出跳躍連接中的關(guān)鍵特征，從而更好地捕捉MRI 圖像的關(guān)鍵信息。

另外，為了防止網(wǎng)絡(luò)過擬合，算法還在生成器中引入dropout操作。最后，經(jīng)過編解碼后的特征信息，通過Tanh激活函數(shù)得到合成的PET圖像。

2.2 判別器網(wǎng)絡(luò)

為了更好地學(xué)習(xí)PET圖像的局部特征和全局特征，提高判別器的博弈能力，使生成器生成更符合真實分布的PET 圖像，本文采用多尺度判別器，即局部判別器和全局判別器。通過兩個具有不同感受野（70×70和128×128）的判別器，生成器和判別器可以學(xué)習(xí)空間上距離較短和較長的像素間的關(guān)系。

判別器網(wǎng)絡(luò)基于patchGAN 的思想，先將圖像分為N×N塊，再分別對每個子塊進(jìn)行真假判別。兩個判別器網(wǎng)絡(luò)分別是5 層和7 層，均由卷積層、批歸一化層、激活層交替構(gòu)成，最后將所有結(jié)果加權(quán)平均作為判別器的輸出。

2.3 損失函數(shù)

本文采用對抗損失、L1 損失和多層級結(jié)構(gòu)相似損失（multi-scale structural similarity，MS-SSIM）作為損失函數(shù)。

2.3.1 對抗損失

對抗損失能夠在一定程度上約束生成結(jié)果，使結(jié)果更接近真實分布。對抗損失如式（3）所示：

2.3.2 L1損失

L1損失通過生成器來減小真實圖像和合成圖像之間的差異。L1損失如式（4）所示：

2.3.3 MS-SSIM損失

結(jié)構(gòu)相似性（structural similarity，SSIM）最初被Wang等人[13]提出用來衡量兩幅圖像的相似性。損失函數(shù)中引入多尺度結(jié)構(gòu)相似損失能夠更好的保留圖像的亮度、對比度信息。

MS-SSIM損失如式（5）所示：

模型最終的損失函數(shù)如下式所示：

其中，λi(i=1,2,3 )為各損失的權(quán)重系數(shù)。

3 實驗結(jié)果及分析

3.1 實驗平臺

本文實驗在pytorch 框架上進(jìn)行，實驗的硬件配置是Intel i7-6700 CPU，NVIDIA GeForce GTX1080Ti GPU。軟件環(huán)境為Ubuntu16.04 操作系統(tǒng)，Cuda9.0，Cudnn7.6，Pytorch1.1.0，Pyhton3.7。

3.2 數(shù)據(jù)準(zhǔn)備及參數(shù)設(shè)置

本文采用來自阿爾茨海默病神經(jīng)影像學(xué)計劃（Alzheimer’s disease neuroimaging initiative，ADNI）公共數(shù)據(jù)集[14]的716 個阿爾茲海默病受試者的成對MRI和PET 圖像，去除33 個受試者的異常數(shù)據(jù)，最終采用683個受試者的數(shù)據(jù)。

進(jìn)行模型訓(xùn)練之前，先對數(shù)據(jù)進(jìn)行預(yù)處理。本文采用FSL 軟件[15]進(jìn)行數(shù)據(jù)預(yù)處理，預(yù)處理步驟包括去脖子、顱骨剝離以及線性配準(zhǔn)到MNI152空間。經(jīng)過預(yù)處理之后，得到大小為91×109×91的三維數(shù)據(jù)。取三維數(shù)據(jù)的第40個軸向切片，上采樣至128×128的大小作為模型輸入。為了得到更為準(zhǔn)確的實驗結(jié)果，實驗采用5倍交叉驗證（5-fold cross-validation）的方法，將所有數(shù)據(jù)隨機分成5組，輪流選取其中4組作為訓(xùn)練集（547個切片），另一組作為測試集（136個切片）。

在網(wǎng)絡(luò)訓(xùn)練階段，對損失函數(shù)的權(quán)重系數(shù)進(jìn)行調(diào)整。由于輸入圖像的像素范圍為（0，1），得到的L1損失數(shù)量級較小，而MS-SSIM損失系數(shù)數(shù)量級較大時，合成圖像的亮度偏高，數(shù)量級較小時對結(jié)果的作用較小。因此，經(jīng)過多次實驗調(diào)試，最終將各損失函數(shù)權(quán)重設(shè)置為λ1=1，λ2=100，λ3=1。另外，batchsize 設(shè)為16，初始學(xué)習(xí)率設(shè)為0.000 2，使用Adam 優(yōu)化器優(yōu)化網(wǎng)絡(luò)，共迭代訓(xùn)練200個epoch。其中，前100個epoch學(xué)習(xí)率不變，后100個epoch學(xué)習(xí)率線性降為0。

3.3 實驗結(jié)果

為驗證本文所改進(jìn)的算法的性能，本文在ADNI數(shù)據(jù)集上進(jìn)行實驗，算法將pix2pix模型作為基準(zhǔn)模型，同時與Ried-Net、pGAN[16]、以殘差網(wǎng)絡(luò)[17]為生成器的GAN（ResnetGAN）、以殘差U-net 為生成器的GAN 模型[7]等基于CNN和基于GAN的主流算法進(jìn)行對比，分別從定性和定量兩個方面進(jìn)行評估，共進(jìn)行5組交叉實驗。

3.3.1 定性評估

本文算法的生成結(jié)果與其他算法的生成結(jié)果定性對比如圖5 所示。由圖5 第一行可以看出，與真實圖像相比，其他算法存在結(jié)果偏差較大及有斑點噪聲的問題，本文算法的結(jié)果則更加完整。另外，其他算法得到的結(jié)果結(jié)構(gòu)邊緣看起來過于平滑或模糊，而本文算法生成的結(jié)果結(jié)構(gòu)邊緣相對更加清晰，對比度也有了一定改善，視覺上更加接近真實圖像。

另外，由于不同受試者的大腦大小不一，線性配準(zhǔn)到標(biāo)準(zhǔn)空間后仍然存在一定的偏差。如圖5第二行、第三行所示，pix2pix和Resnet GAN不能很好地學(xué)習(xí)這種映射關(guān)系，生成的圖像存在模糊、大小映射混亂的問題，其他算法雖然能學(xué)習(xí)到結(jié)構(gòu)大小的變化，但邊緣信息缺失很多，仍然存在有噪聲和結(jié)構(gòu)誤差大的問題。相比之下，本文算法合成的結(jié)果邊緣完整性更好，且沒有噪聲斑點，這可能是因為本文引入了改進(jìn)的殘差初始模塊，提升了模型性能。由此可見，本文改進(jìn)的算法生成的結(jié)果多樣性更好，而且能更完整地保留圖像的邊緣結(jié)構(gòu)。

圖5 各算法定性結(jié)果對比Fig.5 Comparison of qualitative results of algorithms

3.3.2 定量評估

本文采用平均絕對誤差（mean average error，MAE）、峰值信噪比（peak singnal-to-noise ratio，PSNR）和結(jié)構(gòu)相似性指數(shù)（SSIM）作為評價指標(biāo)。

MAE、PSNR計算分別如式（7）和（8）：

其中，MSE是兩張圖像的均方誤差，Imax表示圖像顏色的最大數(shù)值，使用8位采樣點表示為255。

SSIM計算如式（9）：

對比實驗得到的定量指標(biāo)如表1所示?？梢钥闯?，與其他算法相比，本文算法所合成的結(jié)果MAE 指標(biāo)均有所降低，表明本文改進(jìn)后的算法更加穩(wěn)定。相比其他算法，本文結(jié)果的SSIM 值分別比其他算法高0.106、0.033、0.029、0.040、0.026，表明本文算法能夠提高合成圖像的質(zhì)量。相比MAE 和SSIM 指標(biāo)，本文算法的PSNR 值提升更加明顯。除基于ResidualUnet 的GAN模型外，本文算法的PSNR 值分別提升了0.575 dB、0.056 dB、0.109 dB、0.257 dB，可見算法能夠在一定程度上提高合成圖像的質(zhì)量。與基于ResidualUnet 的GAN模型相比，本文算法結(jié)果的PSNR值有所降低。這可能是因為PSNR是基于誤差敏感的圖像質(zhì)量評價指標(biāo)，并未考慮人眼的視覺特性，它所反映的圖像質(zhì)量有時與人眼觀察的圖像質(zhì)量不完全相符，這一點也能從定性視覺效果上得到驗證。

表1 各算法定量評估結(jié)果Table 1 Quantitative evaluation results of algorithms

因此，綜合實驗的定性結(jié)果和定量指標(biāo)，本文算法能夠提升合成圖像的質(zhì)量，較好地提升圖像的邊緣合成效果。

4 結(jié)束語

本文針對醫(yī)學(xué)圖像跨模態(tài)合成任務(wù)中合成結(jié)果邊緣模糊、信噪比低等問題，提出一種融合殘差初始模塊和生成對抗網(wǎng)絡(luò)的跨模態(tài)PET圖像合成方法，通過在生成器中引入改進(jìn)的殘差初始模塊和注意力機制，提升生成器的學(xué)習(xí)能力，采用多尺度判別器提升模型的判別性能。在ADNI數(shù)據(jù)集下的對比實驗結(jié)果表明，本文改進(jìn)的算法能夠很好的保留圖像的結(jié)構(gòu)信息和對比度信息，生成的圖像視覺上更貼近真實圖像。但本文仍存在一些不足之處，如不同參數(shù)的儀器采集到的醫(yī)學(xué)圖像有一定偏差，本文采用相同的預(yù)處理步驟處理所有數(shù)據(jù)，因此數(shù)據(jù)的采集方式及預(yù)處理方法會對實驗結(jié)果有一定影響。另外，本文在進(jìn)行跨模態(tài)PET合成圖像實驗時只取圖像的軸向切片進(jìn)行實驗，不能完整地展現(xiàn)腦部的三維結(jié)構(gòu)信息。因此，接下來將針對不同的預(yù)處理方法以及三維PET圖像跨模態(tài)合成方法進(jìn)行研究。