李琳　浦貴陽　李楊　王樹超　蔣明峰

關(guān)鍵詞：磁共振成像;生成對(duì)抗網(wǎng)絡(luò);自注意力機(jī)制;譜歸一化;組合損失函數(shù)

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A

0 引言（Introduction）

磁共振成像（MRI）是臨床醫(yī)學(xué)常見的影像檢查手段，其具有無電離輻射和非侵入性無創(chuàng)傷等特點(diǎn)，因此在臨床醫(yī)學(xué)的病理檢查和診斷中得到廣泛應(yīng)用[1]。對(duì)于磁共振成像設(shè)備來說，高場(chǎng)強(qiáng)能帶來更好的成像質(zhì)量，磁共振成像的信噪比與主磁場(chǎng)強(qiáng)度通常成正比，3T的圖像質(zhì)量和信噪比均比1.5T的高，并且能顯示更好的解剖細(xì)節(jié)和組織對(duì)比。在神經(jīng)放射學(xué)中使用3T磁體的優(yōu)勢(shì)遠(yuǎn)遠(yuǎn)大于其劣勢(shì)，更高強(qiáng)度的磁體在結(jié)構(gòu)和血管掃描、彌散和灌注成像等方面的診斷潛力正在提高，但是使用3T磁體就意味著高場(chǎng)強(qiáng)的成本會(huì)大幅增加。超場(chǎng)強(qiáng)磁共振圖像生成可以在不升級(jí)硬件的情況下，通過算法實(shí)現(xiàn)由1.5TMRI生成近似3T MRI，較大幅度地提高了MRI的圖像質(zhì)量。

1 相關(guān)工作（Related work）

生成對(duì)抗網(wǎng)絡(luò)[2]（Generative Adversarial Networks， GAN）常用來實(shí)現(xiàn)超場(chǎng)強(qiáng)圖像生成，它結(jié)合了生成器和判別器兩個(gè)神經(jīng)網(wǎng)絡(luò)的系統(tǒng)，上述神經(jīng)網(wǎng)絡(luò)通過在零和博弈框架中相互競(jìng)爭(zhēng)得以實(shí)現(xiàn)。自推出以來，人們對(duì)與大腦相關(guān)的GAN框架的應(yīng)用產(chǎn)生了濃厚的興趣，SRGAN[3]首次將GAN應(yīng)用于單圖像的超分辨率重建，JIANG等[4]也將GAN應(yīng)用到MRI領(lǐng)域。此外GAN已經(jīng)成功運(yùn)用到數(shù)據(jù)增強(qiáng)、圖像翻譯及圖像分割等領(lǐng)域，這些研究證實(shí)了GAN網(wǎng)絡(luò)具有廣泛的應(yīng)用前景[5-12]。本文將CycleGAN作為研究的基本網(wǎng)絡(luò)，并且專注于研究提高生成醫(yī)學(xué)圖像的準(zhǔn)確性和真實(shí)性[13]。

近年來，圖像合成在醫(yī)學(xué)成像界獲得了很大的關(guān)注，由低場(chǎng)強(qiáng)MRI向高場(chǎng)強(qiáng)MRI的生成、合成技術(shù)日益完善。ROY等[14]使用基于字典的稀疏重建處理圖像合成，并且使用基于示例的方法進(jìn)行稀疏表示，該方法已經(jīng)成功運(yùn)用到3T MRI合成7T MRI[15]。DAR等[16]提出了基于條件生成對(duì)抗網(wǎng)絡(luò)的多對(duì)比MRI合成新方法，保留了生成圖像的中高頻細(xì)節(jié)。目前，研究人員可以使用基于學(xué)習(xí)的方法合成高場(chǎng)強(qiáng)圖片，例如線性回歸、稀疏學(xué)習(xí)和隨機(jī)森林等[17-19]。隨著深度學(xué)習(xí)的發(fā)展，高場(chǎng)強(qiáng)MRI的合成也有了新的方法，不僅減輕了對(duì)手工制作特征的需求，而且已成功應(yīng)用于各種圖像合成問題。XIANG等[20]提出了一種深度嵌入CNN，即基于3T磁共振圖像合成計(jì)算機(jī)斷層掃描（CT）圖像的方法。QU等[21]利用空間域和小波域的互補(bǔ)信息完成了低場(chǎng)強(qiáng)到高場(chǎng)強(qiáng)MRI的合成，目前基于CNN的方法通常直接確定復(fù)雜的3T到7T映射，而不需要顯式利用多尺度信息。有研究表明，通過整合有價(jià)值的先驗(yàn)信息可以改善網(wǎng)絡(luò)學(xué)習(xí)[22]。

綜上研究表明，目前基于深度學(xué)習(xí)的MRI超場(chǎng)強(qiáng)重建方面的研究不足，針對(duì)現(xiàn)有理論，本文提出了一種基于生成對(duì)抗網(wǎng)絡(luò)融合自注意力機(jī)制的生成方法SA-CycleGAN，用于從1.5T MRI生成3T MRI。首先以CycleGAN的損失函數(shù)為基礎(chǔ)，在生成器中加入先驗(yàn)信息對(duì)網(wǎng)絡(luò)進(jìn)行約束，提出了新的組合損失函數(shù);其次將自注意力引入生成對(duì)抗網(wǎng)絡(luò)作為卷積的補(bǔ)充，有助于生成器生成圖像的細(xì)節(jié)表達(dá)，判別器可以更準(zhǔn)確地對(duì)全局圖像結(jié)構(gòu)執(zhí)行復(fù)雜的幾何約束;最后使用非局部模型將自注意力模塊引入生成對(duì)抗網(wǎng)絡(luò)框架，以便生成器和判別器都可以有效地在空間區(qū)域之間建立關(guān)系依賴。

2 MRI樣本數(shù)據(jù)庫(kù) （MRI sample database）

每一張3D磁共振圖像的大小是256×256×176像素值，其中（a）橫斷面的尺寸為176×256，（b）冠狀面的尺寸為176×256，（c）矢狀面的尺寸為256×256。本文使用3D Slicer中的Slicer Elastix模塊，以3T MRI作為模板，將1.5T MRI配準(zhǔn)到3T圖像模板上，實(shí)現(xiàn)空間域圖像配準(zhǔn)，經(jīng)過配準(zhǔn)后，使用MRIcro將每一張3D圖像切割成3種不同截面的2D圖片，建立樣本數(shù)據(jù)庫(kù)。現(xiàn)有60對(duì)3D 磁共振圖像，經(jīng)切片后共有41 300對(duì)2D樣本圖片，其中橫斷面和冠狀面分別有15 360對(duì)圖片，矢狀面有10 580對(duì)圖片。

在深度學(xué)習(xí)中，用于訓(xùn)練和測(cè)試的數(shù)據(jù)可能會(huì)不足且不平衡，深度網(wǎng)絡(luò)模型容易過度擬合且泛化能力很差，由于醫(yī)院和患者的狀況并不總是適合于收集數(shù)據(jù)，并且具有相同疾病的患者數(shù)據(jù)也并非總是可用。此外，神經(jīng)網(wǎng)絡(luò)需要在大量準(zhǔn)確而可靠的數(shù)據(jù)上進(jìn)行訓(xùn)練，數(shù)據(jù)不正確或表示不正確可能會(huì)導(dǎo)致系統(tǒng)的性能變差。所以，本文使用數(shù)據(jù)擴(kuò)增方法生成足夠多且平衡的圖像。

對(duì)于具有很多重要信息的圖片，例如醫(yī)學(xué)圖像，最好執(zhí)行不會(huì)增加或丟失圖片信息的圖像增強(qiáng)變換。因此，本文選擇使用無損變換、非剛性變換和先進(jìn)擴(kuò)增技術(shù)完成醫(yī)學(xué)圖像擴(kuò)增。如圖1所示，無損變換是借助Python實(shí)現(xiàn)，具體方法主要包括水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)和隨機(jī)旋轉(zhuǎn)。

經(jīng)過數(shù)據(jù)擴(kuò)增，建立了一個(gè)標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)。該數(shù)據(jù)庫(kù)共有10萬組2D樣本數(shù)據(jù)對(duì)，其中橫斷面和冠狀面切片有40 000對(duì)圖片，矢狀面切片有20 000對(duì)圖片。

3 基于SA-CycleGAN的3T磁共振圖像生成算法（3T MRI generation algorithm based onSA-CycleGAN）

SA-CycleGAN網(wǎng)絡(luò)主要包含四個(gè)模塊，分別為兩個(gè)生成器結(jié)構(gòu)模塊、兩個(gè)判別器結(jié)構(gòu)模塊，如圖2所示。SA-CycleGAN網(wǎng)絡(luò)對(duì)輸入數(shù)據(jù)要求較低，適用性強(qiáng)。

為了直觀地對(duì)比不同方法的生成性能，選取一張典型的MRI圖像。在圖6至圖8中可以看出，SRGAN生成的MRI丟失了較多細(xì)節(jié)，Pix2pix和CycleGAN生成的MRI雖然保留了一些細(xì)節(jié)，但是與全采樣MRI相比，仍有較大的差異。本文所提方法生成的結(jié)果則恢復(fù)了大部分圖像細(xì)節(jié)，也有較為清晰的紋理，更加接近于全采樣MRI。

為了定量比較不同方法的生成效果，研究人員在測(cè)試集上計(jì)算了不同方法生成MRI的平均PSNR 和SSIM ，結(jié)果如表1所示，PSNR 和SSIM 的值是均值±標(biāo)準(zhǔn)差的形式，加粗項(xiàng)為每行最優(yōu)值。從表1中可以看出，本文所提方法生成的MRI的PSNR 和SSIM 均值均高于其他三種方法，PSNR 的標(biāo)準(zhǔn)差與其他方法相差不大，而SSIM 的標(biāo)準(zhǔn)差則略優(yōu)于其他方法，這表明本文所提方法在保持生成效果相對(duì)穩(wěn)定的情況下，能明顯提高生成圖像的質(zhì)量。

4.2 消融實(shí)驗(yàn)結(jié)果討論

為了評(píng)估本文所提方法中不同組成部分對(duì)訓(xùn)練過程和生成質(zhì)量的影響，研究人員進(jìn)行了如下消融實(shí)驗(yàn)：（1）不將自注意力機(jī)制嵌入GAN框架中（No SA）;（2）在判別器網(wǎng)絡(luò)層中取消譜歸一化處理（No SN）;（3）組合損失函數(shù)中不加入先驗(yàn)信息（No Prior）。消融實(shí)驗(yàn)結(jié)果對(duì)比如表2所示，本文所提方法的實(shí)驗(yàn)結(jié)果大部分優(yōu)于消融實(shí)驗(yàn)的其他結(jié)果。這表明本文所提方法的各個(gè)組成部分均能有效改善網(wǎng)絡(luò)的生成性能，提高生成MRI的質(zhì)量。

大部分圖像生成的GAN網(wǎng)絡(luò)都是使用卷積結(jié)構(gòu)，傳統(tǒng)卷積層擅長(zhǎng)分析空間的局部性信息，但無法獲知圖像上較遠(yuǎn)距離的依賴關(guān)系。為解決上述問題，本文在網(wǎng)絡(luò)中加入了自注意力模塊，使模型能夠自適應(yīng)地感知到對(duì)生成圖像起到作用的區(qū)域，增強(qiáng)生成MRI的細(xì)節(jié)，提高成像質(zhì)量。如圖9所示，對(duì)比矢狀面切片在無自注意機(jī)制嵌入情況下生成的MRI，整體上看，兩者的生成效果差不多，但從局部放大圖中可以看出，本文所提方法的生成細(xì)節(jié)更加豐富，紋理還原也更加準(zhǔn)確。

訓(xùn)練不穩(wěn)定問題仍是生成對(duì)抗網(wǎng)絡(luò)方法存在的主要問題，如圖10所示，SA-CycleGAN方法損失函數(shù)的收斂速度過慢且具有不穩(wěn)定的性質(zhì)，加入譜歸一化之后，SA-CycleGAN（SN）方法的損失值呈單調(diào)下降，而且損失函數(shù)收斂速度加快，表明結(jié)合譜歸一化的SA-CycleGAN（SN）方法使訓(xùn)練變得更加穩(wěn)定。與之前沒有加入先驗(yàn)損失的結(jié)果相比，納入先驗(yàn)損失信息后，PSNR 提升了12 dB，SSIM 也提高了1%～3.8%。

5 結(jié)論（Conclusion）

本文提出了一種基于生成對(duì)抗網(wǎng)絡(luò)融合自注意力機(jī)制的磁共振圖像超場(chǎng)強(qiáng)生成的新方法，本文所提方法的核心之處在于將自注意力機(jī)制和譜歸一化整合到CycleGAN框架中，并且重新構(gòu)造了組合損失函數(shù)。自注意力機(jī)制可確保高場(chǎng)強(qiáng)圖像的成像質(zhì)量和細(xì)節(jié)，與其他方法相比，本文所提方法獲得的超場(chǎng)強(qiáng)圖像具有更高的PSNR 和SSIM ，圖像細(xì)節(jié)更接近原始高場(chǎng)強(qiáng)圖像，而譜歸一化則限制了函數(shù)變化的劇烈程度，使模型更穩(wěn)定;在網(wǎng)絡(luò)中引入先驗(yàn)信息，使得生成圖像的真實(shí)性和準(zhǔn)確性有所提升。此外，消融實(shí)驗(yàn)驗(yàn)證了組合損失函數(shù)、自注意力機(jī)制和譜歸一化的有效性，通過這些模塊可以有效地提高圖像生成質(zhì)量。未來，研究人員會(huì)將本文所提出的SA-CycleGAN（SN）應(yīng)用于從3T圖像生成7T場(chǎng)強(qiáng)甚至更高場(chǎng)強(qiáng)的磁共振圖像，實(shí)現(xiàn)可用于臨床的超場(chǎng)強(qiáng)圖像生成，這是未來需要進(jìn)一步研究與解決的問題。

作者簡(jiǎn)介：

李 琳（1997-），男，碩士生。研究領(lǐng)域：計(jì)算機(jī)視覺，磁共振圖像重構(gòu)。

浦貴陽（1977-），男，博士，高級(jí)工程師。研究領(lǐng)域：人工智能，智能物聯(lián)。

李 楊（1986-），男，博士，講師。研究領(lǐng)域：深度學(xué)習(xí)算法，醫(yī)學(xué)圖像處理。

王樹超（1974-），男，碩士，副主任醫(yī)師。研究領(lǐng)域：腦神經(jīng)外科，磁共振圖像分析。

蔣明峰（1977-），男，博士，教授。研究領(lǐng)域：生物醫(yī)學(xué)圖像處理，磁共振圖像重構(gòu)。