劉朋偉，高媛*，秦品樂(lè)，殷喆，王麗芳

（1.山西省醫(yī)學(xué)影像與數(shù)據(jù)分析工程研究中心（中北大學(xué)），太原 030051；2.中北大學(xué)大數(shù)據(jù)學(xué)院，太原 030051；3.山西省醫(yī)學(xué)影像人工智能工程技術(shù)研究中心（中北大學(xué)），太原 030051）

0 引言

醫(yī)學(xué)圖像處理的對(duì)象是各種不同成像機(jī)制的醫(yī)學(xué)影像，磁共振成像（Magnetic Resonance Imaging，MRI）是一種安全的，利用強(qiáng)磁體、無(wú)線電波和計(jì)算機(jī)創(chuàng)建圖像的技術(shù)，與計(jì)算機(jī)斷層掃描（Computed Tomography，CT）、正電子發(fā)射型計(jì)算機(jī)斷層（Positron Emission Computed Tomography，PET）成像相比，MRI 不僅沒(méi)有電離輻射，而且提供了豐富的對(duì)比度。由于人體組織內(nèi)部不同物質(zhì)、不同結(jié)構(gòu)具有不同的屬性，這些屬性會(huì)影響獲取高質(zhì)量的MRI 影像，因此對(duì)獲得的MRI 影像進(jìn)行適當(dāng)?shù)某直媛手亟ǎ兄讷@得細(xì)節(jié)豐富、紋理清晰的醫(yī)學(xué)影像，可以輔助醫(yī)生更加準(zhǔn)確地判斷病灶，作出更加準(zhǔn)確的診斷［1］。

醫(yī)學(xué)圖像超分辨率（Super-Resolution，SR）重建是指將從醫(yī)學(xué)儀器獲得的低分辨率（Low Resolution，LR）圖像重建為有助于醫(yī)生臨床診斷的高分辨率（High Resolution，HR）醫(yī)學(xué)圖像技術(shù)。自從Dong 等［2］開(kāi)創(chuàng)性地將卷積神經(jīng)網(wǎng)絡(luò)運(yùn)用到超分辨率領(lǐng)域（Super-Resolution Convolutional Neural Network，SRCNN）以來(lái)，基于深度卷積神經(jīng)網(wǎng)絡(luò)的SR 方法迅速發(fā)展，各種網(wǎng)絡(luò)體系結(jié)構(gòu)設(shè)計(jì)和訓(xùn)練策略不斷提高SR 性能；Kim 等［3-4］提出了深度遞歸卷積網(wǎng)絡(luò)（Deeply-Recursive Convolutional Network，DRCN）和基于深度卷積的精準(zhǔn)圖像超分辨率（Super-Resolution using Very Deep convolutional networks，VDSR）在進(jìn)一步增加網(wǎng)絡(luò)深度的同時(shí)改善SR 性能；Zhang 等［5-6］通過(guò)結(jié)合SR 框架中的殘差塊提出了基于密集殘差的圖像超分辨率網(wǎng)絡(luò)（Residual Dense Network，RDN）并進(jìn)一步提出了深層殘差通道注意力超分辨率網(wǎng)絡(luò)（Residual Channel Attention Networks，RCAN），高媛等［7］利用深度可分離卷積擴(kuò)寬殘差塊中卷積層提高了醫(yī)學(xué)MRI 影像超分辨率的重建質(zhì)量。但是，這些方法通常容易產(chǎn)生棋盤偽影，影響重建效果。Ledig 等［8］利用深度殘差學(xué)習(xí)提出基于生成對(duì)抗網(wǎng)絡(luò)的超分辨率（Super-Resolution using Generative Adversarial Network，SRGAN）算法；高媛等［9］針對(duì)醫(yī)學(xué)影像超分辨率重建過(guò)程中細(xì)節(jié)丟失導(dǎo)致的模糊問(wèn)題，提出了深度殘差生成對(duì)抗網(wǎng)絡(luò)（Deep Residual Generative Adversarial Network，DR-GAN）來(lái)削弱棋盤效應(yīng)；龔明杰等［10］提出了基于稠密殘差塊的拉普拉斯金字塔級(jí)聯(lián)式生成對(duì)抗網(wǎng)絡(luò)（LAplacian Pyramid cascaded Generation confrontation Network based on Dense residual blocks，Dense-LAPGAN）解決醫(yī)學(xué)圖像欠清晰且大小不一的問(wèn)題；Wang 等［11］通過(guò)在增強(qiáng)型超分辨率生成對(duì)抗網(wǎng)絡(luò)（Enhanced Super-Resolution Generative Adversarial Network，ESRGAN）中引入殘差密集塊（Residual in Residual Dense Block，RRDB）來(lái)增強(qiáng)以前的框架，通過(guò)結(jié)合感知損失［12］、對(duì)抗損失［13］以及相對(duì)判別器［14］的思想，讓判別器預(yù)測(cè)相對(duì)真實(shí)性而不是絕對(duì)值，最后利用激活前的特征改善感知損失，為亮度一致性和紋理恢復(fù)提供更強(qiáng)的監(jiān)督；Shang 等［15］在ESRGAN 的基礎(chǔ)上提出了具有感受野模塊的超分辨率網(wǎng)絡(luò)（Receptive Field Block based on Enhanced SRGAN，RFB-ESRGAN），能夠提取更為豐富的圖像細(xì)節(jié)特征，提高了重建圖像的質(zhì)量。盡管這些現(xiàn)有的感知驅(qū)動(dòng)方法確實(shí)改善了超分辨圖像的整體視覺(jué)質(zhì)量，但是在恢復(fù)細(xì)節(jié)時(shí)，可能會(huì)生成不自然的偽影，包括幾何失真。Fattal［16］通過(guò)學(xué)習(xí)不同分辨率的先驗(yàn)依賴性，提出了一種基于圖像梯度邊緣統(tǒng)計(jì)的方法；Sun 等［17］提出了代表圖像梯度的梯度輪廓和梯度場(chǎng)變換的方法；Yan 等［18］提出了基于梯度輪廓銳度的SR 方法，以提高超分辨圖像的清晰度。在這些方法中，根據(jù)在LR 圖像中學(xué)習(xí)到的參數(shù)，通過(guò)估計(jì)與HR 邊緣相關(guān)的參數(shù)來(lái)建模統(tǒng)計(jì)依存關(guān)系。Ma 等［19］提出了基于梯度引導(dǎo)的結(jié)構(gòu)保留超分辨率（Structure-Preserving Super-Resolution，SPSR）算法，對(duì)于深度生成對(duì)抗網(wǎng)絡(luò)，梯度空間約束可以更好地為圖像重建提供額外的監(jiān)督，但網(wǎng)絡(luò)沒(méi)有充分利用圖像的全局和局部特征信息，導(dǎo)致重建的圖像細(xì)節(jié)、紋理不夠清晰。

針對(duì)醫(yī)學(xué)圖像由于成像原理和成像技術(shù)存在掃描時(shí)間長(zhǎng)、低信噪比等缺點(diǎn)，探究利用深度學(xué)習(xí)進(jìn)行醫(yī)學(xué)影像超分辨率在臨床應(yīng)用上的有效性，通過(guò)分析醫(yī)學(xué)MRI 影像的紋理特征，根據(jù)卷積神經(jīng)網(wǎng)絡(luò)在不同感受野下獲取特征信息的不同及醫(yī)學(xué)圖像各器官之間復(fù)雜的紋理組織的尺度變化范圍的不同，本文提出基于多感受野的生成對(duì)抗網(wǎng)絡(luò)醫(yī)學(xué)MRI 影像超分辨率重建算法（Multi-receptive Field Generation Adversarial Network，MFGAN）。本文提出具有多感受野的特征提取塊（Multi-receptive Field feature Extraction Block，MFEB），MFEB 通過(guò)利用具有不同空洞率的4 個(gè)并行分支的空洞卷積層來(lái)獲取不同感受野下的全局特征信息。為避免感受野過(guò)小或過(guò)大導(dǎo)致細(xì)節(jié)紋理特征丟失、覆蓋，將每組特征分層，用于豐富下一組特征的細(xì)節(jié)紋理信息。為獲取對(duì)圖像重建任務(wù)具有更高響應(yīng)的空間特征信息，本文設(shè)計(jì)了基于動(dòng)態(tài)卷積和邊緣檢測(cè)卷積的空間注意力模塊（Spatial Attention mechanism based on Dynamic convolution and Edge detection，DESA）。為了減少由于網(wǎng)絡(luò)深度的增加淺層特征在網(wǎng)絡(luò)傳播過(guò)程中丟失，本文在MFEB 的基礎(chǔ)上設(shè)計(jì)了特征融合組（Feature Fusion Group，F(xiàn)FG），將FFG 的輸入與第1 個(gè)MFEB 的輸出連接起來(lái)，將特征輸入到空間注意力塊中，獲取圖像的空間特征信息，隨后將特征傳遞給下面的MFEB，在FFG 內(nèi)的MFEB 重復(fù)此過(guò)程，逐步收集局部特征信息；梯度分支生成的梯度圖（Gradient Maps，GM）保留圖像的結(jié)構(gòu)信息，并通過(guò)LR 圖像的梯度圖恢復(fù)得到的HR 圖像梯度圖可以集成到SR 分支中，為SR 提供結(jié)構(gòu)先驗(yàn)信息，并且可以更好地突出銳度和結(jié)構(gòu)應(yīng)該注意的區(qū)域，從而輔助重建高質(zhì)量的醫(yī)學(xué)超分辨率圖像。

1 模型結(jié)構(gòu)

1.1 MFGAN

本文提出的MFGAN 用于醫(yī)學(xué)MRI 影像超分辨率重建，網(wǎng)絡(luò)框架如圖1 所示，MFGAN 由生成器-判別器組成。生成器采用雙分支結(jié)構(gòu)：SR 分支和梯度分支，利用SR 分支提取圖像的局部和全局特征信息，梯度分支提取的圖像的梯度信息，然后將SR 分支和梯度分支的特征信息融合輸出重建圖像；判別器采用深層卷積神經(jīng)網(wǎng)絡(luò)判定生成圖像和原始圖像的真實(shí)性，促使生成器生成逼真的SR 圖像。

圖1 MFGAN結(jié)構(gòu)Fig.1 Structure of MFGAN

1.2 生成器結(jié)構(gòu)

生成器結(jié)構(gòu)如圖2 所示，首先采用3×3 卷積增廣輸入圖像特征并采用下采樣的方式降低輸入圖像尺寸，提高網(wǎng)絡(luò)運(yùn)算效率；然后將特征信息輸入到用于獲取最終超分辨率圖像輸出的SR 分支和梯度分支，在SR 分支中使用MFEB 和DESA 組成FFG 獲取圖像的局部和全局特征信息；同時(shí)，將所有FFG 的輸出串聯(lián)作為SR 分支最終輸出特征，減少了淺層特征在網(wǎng)絡(luò)傳播過(guò)程中的丟失；梯度分支合并來(lái)自SR 分支豐富的結(jié)構(gòu)信息，通過(guò)梯度分支恢復(fù)高分辨率梯度映射，能夠?yàn)槌直媛手亟ㄌ峁╊~外的結(jié)構(gòu)先驗(yàn)，從而輔助生成高質(zhì)量圖像；最后，將最終梯度分支得到的梯度特征通過(guò)融合塊與SR 分支的特征進(jìn)行融合作為最終的SR 輸出。

圖2 生成器結(jié)構(gòu)Fig.2 Structure of generator

1.2.1 多感受野特征提取塊

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）隨著網(wǎng)絡(luò)深度和參數(shù)個(gè)數(shù)的增加，對(duì)單幅圖像的超分辨率重建任務(wù)具有更高的性能提升，僅通過(guò)增加網(wǎng)絡(luò)的深度提升網(wǎng)絡(luò)性能需要引入大量的參數(shù)，增加了網(wǎng)絡(luò)的計(jì)算復(fù)雜度和訓(xùn)練時(shí)間；傳統(tǒng)超分辨率重建網(wǎng)絡(luò)通過(guò)堆疊3×3 卷積層實(shí)現(xiàn)，這對(duì)于處理不同尺度的特征信息缺乏靈活性，不能同時(shí)獲取圖像的局部和全局特征信息。

針對(duì)上述問(wèn)題，本文提出多感受野的特征提取塊（MFEB），MFEB 結(jié)構(gòu)如圖3 所示。

圖3 多感受野特征提取塊結(jié)構(gòu)Fig.3 Structure of MFEB

采用4 個(gè)并行分支結(jié)構(gòu)獲取不同感受野下的全局特征信息，以其中一條分支為例，本文首先采用1×1 卷積層與激活函數(shù)RELU 來(lái)壓縮輸入特征。計(jì)算公式如下：

式中：l=1、2、3、4 表示4 個(gè)不同的并行分支，Hl表示第l個(gè)分支的輸出特征。每個(gè)分支的特征被輸入到具有不同空洞率的空洞卷積層，在不增加參數(shù)數(shù)量的情況下獲取不同大小的感受野下的全局圖像信息。計(jì)算公式如下：

其次，為了避免感受野過(guò)小或過(guò)大導(dǎo)致細(xì)節(jié)紋理特征丟失、覆蓋，本文將依次整合不同感受野下的特征信息，采用3× 3 卷積將輸出特征yi在通道維度分為兩個(gè)子組：一組子特征yi，1直接連接到下一層，用于反饋該尺度感受野下的全局特征信息；另一組子特征yi，2在通道維度與輸入特征映射的下一組特征yi+1連接，用于豐富下一組特征的紋理信息，如此重復(fù)上述操作，從而彌補(bǔ)固定感受野捕獲信息的不足。

隨后采用1×1 卷積融合不同感受野下的特征信息，MFEB 輸出的特征F′計(jì)算如下：

式中：i=1、2、3、4，Conv1×1表示1×1 卷積層，Conv3×3表示3×3卷積層，⊕表示在通道維度上拼接兩組特征，yi+1分別表示輸入特征yi的下一層特征表示。

最終輸出的特征中小感受野可以聚焦于圖像的細(xì)節(jié)信息，有助于恢復(fù)醫(yī)學(xué)圖像的細(xì)節(jié)紋理信息。

1.2.2 特征融合組

隨著網(wǎng)絡(luò)深度的增加，圖像淺層特征信息可能會(huì)在網(wǎng)絡(luò)傳播過(guò)程中逐漸丟失，然而這些淺層特征有助于網(wǎng)絡(luò)重建高質(zhì)量的超分辨率圖像。因此，本文在MFEB 的基礎(chǔ)上設(shè)計(jì)了特征融合組，如圖2 所示。FFG 的輸入與第1 個(gè)MFEB 的輸出級(jí)聯(lián)，將級(jí)聯(lián)特征輸入到空間注意力模塊（DESA）中，獲取對(duì)重建圖像具有高響應(yīng)的空間特征信息。本文對(duì)FFG 內(nèi)的所有MFEB 重復(fù)上述過(guò)程，逐步收集圖像的局部特征信息。此外，為了充分利用局部特征信息，本文網(wǎng)絡(luò)輸出由所有FFG 的輸出串聯(lián)而成，有效避免了局部特征在網(wǎng)絡(luò)傳播過(guò)程中的丟失，最后使用1×1 卷積層來(lái)自適應(yīng)地控制輸出信息，降低計(jì)算復(fù)雜度。

1.2.3 空間注意力機(jī)制

注意力機(jī)制不僅能記錄信息之間的位置關(guān)系，還能根據(jù)權(quán)重去度量不同特征信息的重要性，通過(guò)對(duì)特征信息進(jìn)行相關(guān)與不相關(guān)的抉擇建立動(dòng)態(tài)權(quán)重參數(shù)，以強(qiáng)化關(guān)鍵信息弱化無(wú)用信息，從而被應(yīng)用在圖像處理領(lǐng)域提高深度學(xué)習(xí)算法的效率。BAM（Bottleneck Attention Module）采用兩個(gè)3×3 空洞卷積提取圖像的特征信息［20］，能夠比普通卷積更有效地利用圖像的上下文信息，通過(guò)增大特征提取時(shí)感受野的范圍，獲取比普通卷積更有效的上下文信息，但因不同空洞率的空洞卷積無(wú)法衡量圖像中復(fù)雜紋理組織的尺度變化范圍，并且空洞卷積稀疏采樣的方式可能會(huì)引起圖像像素間關(guān)聯(lián)性的丟失，致使各器官之間的邊界模糊，紋理不清晰；若使用空洞卷積的空洞率過(guò)大也可能導(dǎo)致棋盤偽影，影響圖像的重建效果。

針對(duì)上述存在的問(wèn)題，本文提出基于動(dòng)態(tài)卷積和邊緣檢測(cè)的空間注意力機(jī)制（DESA），DESA 結(jié)構(gòu)如圖4 所示。動(dòng)態(tài)卷積通過(guò)根據(jù)輸入圖像的特征信息利用動(dòng)態(tài)濾波器生成不同大小的卷積核獲取不同大小的圖像特征信息，提升網(wǎng)絡(luò)重建圖像的精度，避免因空洞卷積過(guò)大造成重建圖像出現(xiàn)棋盤偽影；同時(shí)為增強(qiáng)圖像內(nèi)部的邊緣紋理信息，增強(qiáng)網(wǎng)絡(luò)邊緣檢測(cè)的敏感性，對(duì)于輸入特征f∈Rh×w×c，本文采用內(nèi)核為1×k與k×1 的轉(zhuǎn)置卷積獲取圖像的邊緣響應(yīng)信息E1與E2，采用疊加互補(bǔ)轉(zhuǎn)置卷積層的方式獲取圖像中的邊界信息與高頻信息。計(jì)算公式如下：

圖4 DESA模塊結(jié)構(gòu)Fig.4 Structure of DESA module

式中Conv1×k和Convk×1分別表示1×k和k×1 卷積核，本文設(shè)置k=1、3、5。同時(shí)對(duì)輸入特征采用自適應(yīng)平均池化層（Adaptive Average Pooling，AAP）獲取區(qū)域大小為k×k的上下文信息；然后對(duì)動(dòng)態(tài)卷積獲得的圖像全局特征信息與邊緣檢測(cè)獲取的邊緣特征信息進(jìn)行疊加，之后采用Sigmoid 函數(shù)對(duì)映射到［0，1］的編碼空間特征采取歸一化處理，作為原始輸入特征的空間響應(yīng)激活函數(shù)（Spatial Attention，SA）。SA 與輸入特征f進(jìn)行元素級(jí)相乘，然后與原始輸入特征相加，得到最終的注意力特征f′。計(jì)算公式如下：

式中：f a表示將特征經(jīng)過(guò)自適應(yīng)平均池化后，采用動(dòng)態(tài)卷積獲得的全局圖像特征，Convk×k表示卷積核為k×k的動(dòng)態(tài)卷積層，AAP 表示自適應(yīng)平均池化，?表示元素級(jí)乘。

本文設(shè)計(jì)的空間注意力機(jī)制能夠解決空洞卷積引起的圖像間像素相關(guān)性丟失重建圖像的邊緣模糊和紋理不清晰等問(wèn)題，通過(guò)使用不同尺度的動(dòng)態(tài)卷積核增強(qiáng)網(wǎng)絡(luò)對(duì)于圖像全局上下文信息獲取，同時(shí)利用邊緣檢測(cè)卷積層，以獲取圖像的邊緣和紋理信息，提升重建圖像的精度。

1.2.4 梯度塊

梯度塊（Gradient Block，GB）結(jié)構(gòu)如圖5 所示。梯度塊將來(lái)自SR 分支的結(jié)構(gòu)信息進(jìn)行合并，通過(guò)梯度塊恢復(fù)高分辨率梯度映射，為超分辨率重建提供額外的結(jié)構(gòu)先驗(yàn)。

圖5 梯度塊結(jié)構(gòu)Fig.5 Structure of gradient block

梯度信息反映了圖像的邊緣細(xì)節(jié)變化，為避免梯度變化差異大，在梯度還原時(shí)弱化圖像邊緣的銳度，從而保證生成平滑的邊緣信息引導(dǎo)超分辨圖像生成。因此本文采用全局平滑池化層（Global Smooth Pooling，GSP）平滑HR 的邊緣銳度，可以使生成圖像更具有平滑的紋理信息。GSP 通過(guò)計(jì)算相鄰像素之間的差異性，實(shí)現(xiàn)對(duì)梯度分支圖像的響應(yīng)激活。計(jì)算公式如下：

式中：Ix(x)是x在水平方向上的差分，Iy(x)是x在垂直方向上的差分，Mx(I)是Ix(x)和Iy(x)對(duì)應(yīng)位置元素的平方和，再開(kāi)方。M(?)獲得的梯度圖LR 梯度只記錄梯度的幅值信息，并未考慮方向信息，因?yàn)榉敌畔⒆阋员砻鲌D像局部區(qū)域的銳度（sharpness），其元素是坐標(biāo)x=I(x，y)的像素的梯度長(zhǎng)度，F(xiàn)x表示來(lái)自SR 分支的特征，BMSRBx表示梯度分支與SR 分支的特征疊加，SGSPx表示經(jīng)過(guò)全局平滑池化之后的特征權(quán)重。

1.3 判別器結(jié)構(gòu)

判別器的作用是估計(jì)輸入圖像是生成圖或真實(shí)圖的概率，通過(guò)判別器引導(dǎo)生成器進(jìn)行訓(xùn)練，使得生成器生成的結(jié)果更趨近于真實(shí)圖像。網(wǎng)絡(luò)對(duì)生成器的要求是盡可能在不引入任何偽影的情況下對(duì)真實(shí)圖像進(jìn)行建模，然而使用單一的判別器網(wǎng)絡(luò)可能會(huì)過(guò)分關(guān)注圖像的某些特征，從而導(dǎo)致重建圖像出現(xiàn)偽影等不真實(shí)的細(xì)節(jié)紋理信息。因此，為了提高重建圖像局部區(qū)域細(xì)節(jié)信息與真實(shí)圖像對(duì)應(yīng)區(qū)域的相似性，受益于文獻(xiàn)［21］提出的局部對(duì)抗損失，避免因判別器局限于關(guān)注生成圖像某一局部特征，而忽視整張圖像的特征。本文采用了對(duì)生成圖局部圖像塊進(jìn)行真假判別的判別器網(wǎng)絡(luò)，從而在限制判別器網(wǎng)絡(luò)感受野范圍和網(wǎng)絡(luò)容量的同時(shí)提升重建圖像的質(zhì)量。判別器結(jié)構(gòu)如圖6 所示，本文采用VGG16 網(wǎng)絡(luò)作為判別器結(jié)構(gòu)，使用深層網(wǎng)絡(luò)提取更為豐富的圖像細(xì)節(jié)特征，從而提高判別器的判別能力，同時(shí)本文在最后一層采用1×1 卷積核降低特征通道，輸出3×3 概率圖，替換了原始的全連接層，使得在保證降低特征圖維度的同時(shí)不改變圖像的空間結(jié)構(gòu)。相較于傳統(tǒng)生成對(duì)抗網(wǎng)絡(luò)中判別器只輸出一個(gè)標(biāo)量值來(lái)表示生成圖或真實(shí)圖整幅圖像的真實(shí)性，本文的判別器輸出3×3 概率圖，其中每一個(gè)概率值對(duì)應(yīng)圖像中一個(gè)局部感受野，將圖像分成9 個(gè)子區(qū)域分別進(jìn)行判別，可以進(jìn)一步提高判別器對(duì)局部細(xì)節(jié)的判別能力，從而促使生成器生成細(xì)節(jié)豐富、紋理清晰的醫(yī)學(xué)圖像。

圖6 判別器結(jié)構(gòu)Fig.6 Structure of discriminator

1.4 損失函數(shù)

在超分辨率領(lǐng)域，損失函數(shù)用于度量重建誤差和指導(dǎo)模型優(yōu)化。像素?fù)p失可以減少重建圖像和原始圖像之間的像素差異，有利于提升峰值信噪比（Peak Signal-to-Noise Ratio，PSNR），加快網(wǎng)絡(luò)收斂，但容易造成過(guò)擬合。

感知損失是HR 圖像和SR 圖像特征之間的歐氏距離的最小化，通過(guò)使用預(yù)訓(xùn)練的VGG 網(wǎng)絡(luò)衡量圖像之間的語(yǔ)義差異，目的在于提高圖片的視覺(jué)質(zhì)量，計(jì)算公式如下：

式中：φ(l)(?)表示VGG 網(wǎng)絡(luò)的第l層輸出，hl、wl、cl分別表示第l層圖像的長(zhǎng)、寬和通道數(shù)。

本文對(duì)原始低分辨的圖像進(jìn)行超分辨重建時(shí)，為保證重建效果，引入GAN 的生成器（G）-判別器（D）結(jié)構(gòu)，對(duì)于判別器輸出的3×3 概率圖，概率圖中每個(gè)值代表生成圖像中對(duì)應(yīng)局部區(qū)域的真實(shí)性，相應(yīng)的真實(shí)圖的對(duì)應(yīng)區(qū)域?qū)?yīng)標(biāo)簽為1，通過(guò)交叉熵?fù)p失計(jì)算生成圖和真實(shí)圖之間對(duì)應(yīng)局部區(qū)域的差異，最終對(duì)每一個(gè)局部區(qū)域得到的交叉熵?fù)p失求和得到判別器的損失值，反向傳播進(jìn)行訓(xùn)練，計(jì)算公式如下：

式中：HD表示判別器網(wǎng)絡(luò)；分別表示HR 和SR 的第i個(gè)局部圖像塊；o[i]表示生成的第i個(gè)局部圖像塊由判別器判斷為真的概率；label表示圖像標(biāo)簽；LG、LD分別表示生成器和判別器的對(duì)抗性損失。

上述損失函數(shù)約束的模型只考慮圖像的空間約束，但忽略了梯度空間提供的語(yǔ)義信息。由于梯度圖（Gradient Map，GM）能充分反映圖像的結(jié)構(gòu)信息，因此可以作為二階約束為生成器提供約束。本文通過(guò)減小從SR 圖像中提取的梯度圖與從相應(yīng)的HR 圖像中提取的梯度圖之間的差異來(lái)確定梯度損失。計(jì)算公式如下：

本文在SR 分支采用了逐像素?fù)p失、感知損失、對(duì)抗損失，將SR 進(jìn)行梯度化后進(jìn)行二階損失約束，利用逐像素?fù)p失和對(duì)抗損失來(lái)約束SR 的梯度圖與HR 的梯度圖；梯度分支利用逐像素?fù)p失約束生成SR 的梯度圖與HR 的梯度圖。計(jì)算公式如下：

通常，生成對(duì)抗網(wǎng)絡(luò)重建的圖像會(huì)產(chǎn)生許多的偽影和噪聲，為了抑制噪聲和削弱偽影對(duì)重建圖像的影響，本文在損失函數(shù)中加入了總變分正則化項(xiàng)以緩解上述問(wèn)題。本文損失函數(shù)計(jì)算公式如下：

2 實(shí)驗(yàn)和結(jié)果分析

2.1 實(shí)驗(yàn)參數(shù)

實(shí)驗(yàn)采用的數(shù)據(jù)集是開(kāi)源的醫(yī)學(xué)CT OR MRI 數(shù)據(jù)集和CHAOS 數(shù)據(jù)集，從中選取了縱隔清晰，高低頻信號(hào)對(duì)比明顯、富含紋理細(xì)節(jié)的3 000 張圖像進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)采用2 500張圖像作為訓(xùn)練集、200 張作為驗(yàn)證集和300 張圖像作為測(cè)試集。

為充分對(duì)比本文算法的有效性，將高分辨率圖像采用Bicubic 下采樣2、3、4 倍得到LR 圖像分別訓(xùn)練模型，在訓(xùn)練期間，為盡可能模擬實(shí)際臨床醫(yī)學(xué)圖像的條件，分別對(duì)每個(gè)LR 圖像進(jìn)行旋轉(zhuǎn)90°、180°、270°、垂直翻轉(zhuǎn)、垂直翻轉(zhuǎn)旋轉(zhuǎn)90°、垂直翻轉(zhuǎn)旋轉(zhuǎn)180°和垂直翻轉(zhuǎn)旋轉(zhuǎn)270°以獲取額外的7張LR 圖片，能在保證數(shù)據(jù)真實(shí)的情況下增廣數(shù)據(jù)，最終將訓(xùn)練集擴(kuò)大至20 000 張圖像。將LR 圖像隨機(jī)裁剪后得到的尺寸為30×30 的補(bǔ)丁輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練。在每個(gè)epoch 訓(xùn)練結(jié)束后，將驗(yàn)證集輸入模型以跟蹤該epoch 的訓(xùn)練結(jié)果，訓(xùn)練完成后使用測(cè)試集進(jìn)行最終測(cè)試。實(shí)驗(yàn)采用PSNR、結(jié)構(gòu)相似性（Structural SIMilarity，SSIM）和感知指數(shù)（Perceptual Index，PI）作為醫(yī)學(xué)影像超分辨率的評(píng)價(jià)指標(biāo)。

本文的實(shí)驗(yàn)采用mini-batch 的訓(xùn)練方式，mini-batch 大小設(shè)置為16。采用預(yù)訓(xùn)練的VGG 網(wǎng)絡(luò)計(jì)算感知損失中的特征距離，以像素?fù)p失、感知損失、對(duì)抗性損失和梯度損失為優(yōu)化目標(biāo)。初始生成器和判別器的學(xué)習(xí)率均設(shè)置為10-4，為減少網(wǎng)絡(luò)的訓(xùn)練時(shí)間在50k、100k、200k、300k 次迭代時(shí)學(xué)習(xí)率減半。本文的實(shí)驗(yàn)環(huán)境為Ubuntu 14.01.5 LTS 操作系統(tǒng)，Pytorch V1.1.0，CUDA Toolkit 9.0，Python3.6。本算法使用ADAM 優(yōu)化器，初始參數(shù)設(shè)置 為β1=0.9，β2=0.999，ε=10-8。整個(gè)網(wǎng)絡(luò)在一塊NVIDIA P100 上訓(xùn)練了48 h。

2.2 對(duì)比實(shí)驗(yàn)

2.2.1 多感受野特征提取塊對(duì)比實(shí)驗(yàn)

多感受野特征提取塊能夠在不同空洞率的感受野下獲取不同尺寸的圖像特征，充分獲取圖像的全局和局部特征信息。為了驗(yàn)證該模塊的有效性，設(shè)計(jì)了一組與RB（Residual Block）和RRDB 塊在SISR 任務(wù)中的性能對(duì)比實(shí)驗(yàn)。分別對(duì)網(wǎng)絡(luò)中的特征提取模塊進(jìn)行了替換，每次實(shí)驗(yàn)網(wǎng)絡(luò)只包含一個(gè)特征提取塊。在驗(yàn)證MFEB 的基礎(chǔ)上對(duì)網(wǎng)絡(luò)中的注意力模塊和梯度分支的有效性進(jìn)行驗(yàn)證。實(shí)驗(yàn)運(yùn)行了350 個(gè)時(shí)期（epoch），每個(gè)epoch 內(nèi)迭代1 000 次，共迭代3.5×105次，同時(shí)在驗(yàn)證集上計(jì)算了網(wǎng)絡(luò)的PSNR 和SSIM值以驗(yàn)證網(wǎng)絡(luò)的性能。表1 列出了應(yīng)用不同殘差塊和對(duì)空間注意力模塊、梯度分支有效性驗(yàn)證的實(shí)驗(yàn)結(jié)果，可以看到使用MFEB、注意力模塊和梯度分支重建效果均有不同程度的提升。

表1 使用不同殘差塊和各模塊對(duì)比的PSNR和SSIMTab.1 PSNR and SSIM comparision modules using different residual blocks

2.2.2 特征融合組對(duì)比實(shí)驗(yàn)

為了驗(yàn)證特征融合組（FFG）能否有效避免淺層特征在網(wǎng)絡(luò)傳播過(guò)程中丟失，該組實(shí)驗(yàn)在網(wǎng)絡(luò)主體上，分別使用含有和去除FFG 直接串聯(lián)特征提取塊的網(wǎng)絡(luò)主體結(jié)構(gòu)，在相同的實(shí)驗(yàn)環(huán)境和數(shù)據(jù)集條件下做了兩組對(duì)比實(shí)驗(yàn)。表2 列出了實(shí)驗(yàn)結(jié)果，可以看到完整的FFG 在3 個(gè)尺度下的PSNR 和SSIM值均達(dá)到了最高，這也證明了特征融合組能夠有效避免淺層特征在網(wǎng)絡(luò)傳播過(guò)程中的丟失。

表2 有無(wú)FFG的PSNR和SSIM對(duì)比Tab.2 Comparison of PSNR and SSIM with and without FFG

2.2.3 和其他算法的對(duì)比

為進(jìn)一步驗(yàn)證MFGAN 模型的有效性，本文將MSRGAN與SRCNN、SRGAN、ESRGAN、DR-GAN、RFB-ESRGAN 和SPSR 進(jìn)行效果對(duì)比。表3 說(shuō)明了本文提出的MFGAN 在PSNR、SSIM 和PI 三個(gè)指標(biāo)上優(yōu)于以前的算法。

表3 列出了尺度分別為×2、×3、×4 時(shí)各算法的PSNR、SSIM 和PI值。與SPSR 相比，本文所提算法MFGAN 的PSNR值在各個(gè)尺度上分別提升了4.8%、2.7%、3.5%，MFGAN 重建的圖像恢復(fù)了更多的高頻信息，充分利用了圖像的局部和淺層特征信息，重建圖像細(xì)節(jié)豐富，紋理清晰，具有更好的視覺(jué)效果，符合臨床診斷的需求。

表3 各算法在測(cè)試集上的PSNR、SSIM和PI值Tab.3 PSNR、SSIM and PI index of each algorithm on test set

為了客觀對(duì)比MFGAN 與各個(gè)算法的重建效果，本文從測(cè)試集中隨機(jī)選取了2 幅高分辨率圖像通過(guò)Bicubic 下采樣4倍后分別輸入以上7 個(gè)網(wǎng)絡(luò)，重建效果如圖7 所示，可以看到從視覺(jué)效果上來(lái)看，MFGAN重建出的醫(yī)學(xué)MRI影像相比其他6 種超分辨率重建算法紋理細(xì)節(jié)更豐富、視覺(jué)效果更逼真，減弱了噪聲的影響，符合臨床診斷的需求。

圖7 各算法重建效果對(duì)比Fig.7 Reconstruction effects comparison of each algorithm

2.2.4 模型參數(shù)對(duì)比與特征融合組數(shù)量的選取

為分析MFGAN 模型使用FFG 數(shù)量的有效性以及比較本文模型與SPSR 模型的參數(shù)及性能，在相同實(shí)驗(yàn)環(huán)境下，分別采用5 個(gè)FFG、6 個(gè)FFG（即本文模型）及7 個(gè)FFG 的模型進(jìn)行對(duì)比。表4 列出了4 種模型結(jié)構(gòu)的參數(shù)數(shù)量與不同尺度的PSNR值，實(shí)驗(yàn)數(shù)據(jù)說(shuō)明采用6 個(gè)FFG 的MFGAN 相較于采用5 個(gè)FFG 的MFGAN 性能要好，而采用7 個(gè)FFG 所需參數(shù)較多且指標(biāo)提升不明顯。最終，本文選取FFG 數(shù)量為6 的MFGAN，其參數(shù)數(shù)量相較于SPSR 稍多，但在重建圖像的PSNR 和SSIM值上均高于SPSR 算法，并且在視覺(jué)效果相較于SPSR 算法所重建的醫(yī)學(xué)圖像細(xì)節(jié)更加豐富。

表4 各模型參數(shù)數(shù)量以及不同尺度下的PSNR值Tab.4 Parameter number and PSNR for different models at different scales

3 結(jié)語(yǔ)

本文提出了基于多感受野的生成對(duì)抗網(wǎng)絡(luò)醫(yī)學(xué)MRI 影像超分辨率重建算法。該算法使用多感受野特征提取塊構(gòu)建特征融合組，并在每個(gè)特征融合組中添加空間注意力模塊，充分獲取圖像的空間特征信息，減少了淺層和局部特征在網(wǎng)絡(luò)中的丟失，在圖像的細(xì)節(jié)上取得了更逼真的還原度；梯度分支合并來(lái)自SR 分支的特征信息，通過(guò)梯度分支恢復(fù)高分辨率梯度映射，為超分辨率重建提供額外的結(jié)構(gòu)先驗(yàn)，達(dá)到了性能和尺寸的最佳權(quán)衡。MFGAN 算法在PSNR 和SSIM 上均優(yōu)于其他基于深度卷積神經(jīng)網(wǎng)絡(luò)的超分辨率算法，同時(shí)重建出的圖像細(xì)節(jié)豐富、紋理清晰，符合臨床診斷需求，充分證明了本文算法在重建超分辨率醫(yī)學(xué)MRI 影像的高效與準(zhǔn)確性。在下一步的工作中，著重于構(gòu)建更加有效并輕量級(jí)的網(wǎng)絡(luò)結(jié)構(gòu)，在追求最終重建效果的同時(shí)，關(guān)注時(shí)間和空間的消耗。