夏 皓，蔡 念，王 平，王 晗

（1.廣東工業(yè)大學(xué) 信息工程學(xué)院，廣東 廣州510006；2.廣州醫(yī)科大學(xué)附屬第一醫(yī)院，廣東 廣州510120；3.廣東工業(yè)大學(xué) 機(jī)電工程學(xué)院，廣東 廣州510006）

磁共振(Magnetic Resonance,MR)成像是一種功能強(qiáng)大，靈活且無創(chuàng)的成像技術(shù)，可以提供體內(nèi)器官和結(jié)構(gòu)的高質(zhì)量截面圖像，被廣泛應(yīng)用于醫(yī)療診斷。尤其是，高分辨率(High-Resolution,HR)可以給醫(yī)生提供更加清晰的圖像，以便于他們更加精準(zhǔn)地分析人體組織結(jié)構(gòu)和病灶區(qū)，給出精準(zhǔn)診斷建議[1]。因此，MR圖像超分辨率(Super Resolution,SR)研究開始受到學(xué)者的廣泛關(guān)注[2]。

由于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)擁有著強(qiáng)大的自學(xué)習(xí)性能，在機(jī)器視覺領(lǐng)域得到了廣泛的應(yīng)用[3-8]，越來越多的研究者將CNN引入MR圖像超分辨率重建研究，主要采用預(yù)先放大和單上采樣兩種策略進(jìn)行圖像超分辨率重建。

基于預(yù)先放大策略[9]的MR圖像超分辨率重建一般在網(wǎng)絡(luò)學(xué)習(xí)前先采用雙三次插值或者反卷積方法，將輸入的低分辨率圖像進(jìn)行預(yù)先放大后，再輸入到卷積神經(jīng)網(wǎng)絡(luò)中實(shí)現(xiàn)高分辨率圖像重建。Pham等[10]將超分辨率卷積神經(jīng)網(wǎng)絡(luò)[11-12]應(yīng)用于大腦MR圖像超分辨率重建，其在網(wǎng)絡(luò)學(xué)習(xí)之前采用雙三次插值進(jìn)行預(yù)先放大。Oktav等[13-14]設(shè)計(jì)了一種基于殘差卷積神經(jīng)網(wǎng)絡(luò)的心臟MR圖像超分辨率方法，其在網(wǎng)絡(luò)學(xué)習(xí)前采用反卷積進(jìn)行預(yù)先放大。但是，該網(wǎng)絡(luò)與VDSR[15]高度相似。因此網(wǎng)絡(luò)越深，網(wǎng)絡(luò)參數(shù)越多，所需存儲(chǔ)空間越大，這將可能限制實(shí)際醫(yī)學(xué)應(yīng)用。Shi等[16]設(shè)計(jì)了具有固定跳躍式連接的漸進(jìn)寬殘差網(wǎng)絡(luò)重建大腦高分辨率MR圖像，其在網(wǎng)絡(luò)學(xué)習(xí)前也是采用雙三次插值進(jìn)行預(yù)先放大。這些預(yù)先放大策略意味著超分辨率重建實(shí)際上是在高分辨率圖像空間中實(shí)現(xiàn)的，而不是直接從低分辨率圖像中學(xué)習(xí)到的，因此超分辨率重建效果不一定是最佳的，而且這也會(huì)增加計(jì)算復(fù)雜度。

基于單上采樣策略的MR圖像超分辨率重建無需預(yù)先放大，圖像放大操作在網(wǎng)絡(luò)結(jié)構(gòu)末端通過反卷積或像素洗牌(Pixel Shuffle)實(shí)現(xiàn)，超分辨率重建工作在圖像低分辨率空間完成，其計(jì)算復(fù)雜度將大幅度降低。McDonagh等[17]擴(kuò)展了快速超分辨率卷積神經(jīng)網(wǎng)絡(luò)(FSRCNN)[18]，實(shí)現(xiàn)了低分辨率胎兒MR圖像超分辨率重建，在網(wǎng)絡(luò)末端采用反卷積操作進(jìn)行圖像放大。Tanno等[19]將有效亞像素卷積網(wǎng)絡(luò)(Efficient Sub-Pixel Convolutional Neural Network,ESPCN)[20]應(yīng)用于擴(kuò)散加權(quán)磁共振成像(Diffusion Magnetic Resonance Imaging,dMRI)超分辨率重建，在網(wǎng)絡(luò)末端的有效亞像素卷積層中實(shí)現(xiàn)像素洗牌。雖然這些方法能夠加快網(wǎng)絡(luò)速度，但是其采用的網(wǎng)絡(luò)逐層級(jí)聯(lián)方式將導(dǎo)致當(dāng)前層損失信息無法傳輸?shù)较乱粚印?/p>

為了解決以上問題，本文設(shè)計(jì)了一種基于深度殘差網(wǎng)絡(luò)的MR超分辨率重建網(wǎng)絡(luò)[21]，并應(yīng)用于MR圖像超分辨率重建。網(wǎng)絡(luò)擁有多個(gè)跳躍式連接殘差單元，可以逐層提取不同分辨率的圖像特征圖；通過一個(gè)反卷積層將多個(gè)殘差單元輸出的不同分辨率特征圖分別與低分辨率(Low Resolution, LR)MR圖像進(jìn)行多分辨率上采樣融合，以最大限度地避免網(wǎng)絡(luò)傳輸過程中的信息損失；最后，對(duì)多分辨率上采樣融合特征圖進(jìn)行多分辨率學(xué)習(xí)，自適應(yīng)學(xué)習(xí)確定各分辨率上采樣融合特征圖對(duì)磁共振圖像超分辨重建的貢獻(xiàn)度，最終實(shí)現(xiàn)MR圖像的超分辨率重建。

1 多分辨率學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)

1.1 網(wǎng)絡(luò)架構(gòu)

本文設(shè)計(jì)的多分辨率學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)如圖1所示，包含了3個(gè)階段：特征提取、多分辨率上采樣和多分辨率學(xué)習(xí)。網(wǎng)絡(luò)輸入是低分辨率的MR圖像，輸出是高分辨率的MR圖像，整個(gè)超分辨率重建過程是一個(gè)端到端學(xué)習(xí)過程。

在特征提取階段，低分辨率MR圖像先經(jīng)過第一個(gè)卷積層用于獲得粗特征圖，之后級(jí)聯(lián)幾個(gè)殘差單元逐層實(shí)現(xiàn)由粗到精的特征提取。為了避免信息損失，第一個(gè)卷積層提取的粗特征圖疊加到每個(gè)殘差單元的輸出端，作為殘差單元的輸出并輸入到下一個(gè)殘差單元，同時(shí)也傳遞到多分辨率上采樣反卷積層。每個(gè)殘差單元擁有2個(gè)卷積層，包括第一層卷積層在內(nèi)的所有卷積層每一層有128個(gè)卷積核，卷積核大小為3×3。

圖1 提出的網(wǎng)絡(luò)架構(gòu)Fig.1 The architecture of the proposed network

在多分辨率上采樣反卷積層，對(duì)每個(gè)殘差單元輸出的疊加特征圖進(jìn)行反卷積操作，得到各殘差單元的上采樣特征圖，之后再分別與低分辨率MR圖像的上采樣特征圖進(jìn)行融合，實(shí)現(xiàn)多分辨率上采樣。融合后的上采樣特征圖輸入到多分辨率學(xué)習(xí)層，通過自適應(yīng)學(xué)習(xí)確定各分辨率的融合上采樣特征圖對(duì)重建的高分辨率MR圖像的貢獻(xiàn)度，最終加權(quán)融合實(shí)現(xiàn)MR圖像超分辨率重建。

1.2 殘差單元

對(duì)于深度網(wǎng)絡(luò)，級(jí)聯(lián)多個(gè)卷積層將會(huì)提升特征提取效果，但是也會(huì)導(dǎo)致網(wǎng)絡(luò)收斂越來越難。為了提升網(wǎng)絡(luò)優(yōu)化速度，殘差單元已經(jīng)在深度網(wǎng)絡(luò)中被廣泛地應(yīng)用[22]。因此，論文也采用殘差策略構(gòu)建了殘差單元，并將多個(gè)殘差單元級(jí)聯(lián)以提升特征提取效果并獲得不同分辨率的特征圖。每個(gè)殘差單元結(jié)構(gòu)如圖2所示，擁有2個(gè)卷積層，每一層有128個(gè)卷積核，卷積核大小為3×3。

圖2 殘差單元Fig.2 Residual unit

假設(shè)輸入的低分辨率MR圖像為x，通過網(wǎng)絡(luò)的第一個(gè)卷積層可以獲得128個(gè)粗特征圖U0。

然后傳遞到每個(gè)殘差單元。因此，每個(gè)殘差單元的輸出為

其中，Ui-1和Ui(i=1,2,···,N)表示第i個(gè)殘差單元的輸入和輸出，N代表殘差單元的數(shù)目。

1.3 多分辨率上采樣

殘差單元在網(wǎng)絡(luò)級(jí)聯(lián)傳遞中將不可避免遇到信息損失，其造成的信息損失隨著網(wǎng)絡(luò)深度的增加將累積越來越大，最終影響后續(xù)細(xì)節(jié)信息的高分辨率重建。為了避免網(wǎng)絡(luò)級(jí)聯(lián)傳輸中的信息損失和加速網(wǎng)絡(luò)，本文設(shè)計(jì)了一種多分辨率上采樣方案，實(shí)現(xiàn)了多個(gè)殘差單元的輸出特征圖信息融合，以最大限度地保留細(xì)節(jié)信息。

為了最大限度地保留低分辨率圖像中的細(xì)節(jié)信息，將低分辨率MR圖像的上采樣特征圖與各殘差單元的輸出特征圖分別融合，因此反卷積層的輸入是N+1個(gè)特征圖，輸出是N個(gè)融合上采樣特征圖y?i:

其中，Ui是與第i個(gè)殘差單元的輸出特征圖，fdec(.)表示反卷積運(yùn)算。

1.4 多分辨率學(xué)習(xí)

顯然，反卷積層輸出的融合上采樣特征圖蘊(yùn)含著不同分辨率圖像信息，對(duì)最終的高分辨率MR圖像的貢獻(xiàn)度也必然不同。因此，提出一種多分辨率學(xué)習(xí)策略，自適應(yīng)學(xué)習(xí)加權(quán)融合各分辨率的融合上采樣特征圖y?i，超分辨率重建MR高分辨率圖像y?，即

其中，y代表真實(shí)高分辨率圖像。采用隨機(jī)梯度下降法優(yōu)化網(wǎng)絡(luò)，采用梯度裁剪提升收斂性能并抑制梯度爆炸。

2 實(shí)驗(yàn)結(jié)果與討論

2.1 數(shù)據(jù)集與預(yù)處理

本文實(shí)驗(yàn)數(shù)據(jù)選自癌癥醫(yī)學(xué)圖像公共數(shù)據(jù)集(https://wiki.canerimagingarchive.net/display/Public/Bra in-Tumor-Progression)中的Brain-Tumor-Progression子數(shù)據(jù)集，隨機(jī)選取24個(gè)MR圖像序列共548張圖像構(gòu)建訓(xùn)練集，隨機(jī)選取28個(gè)MR圖像序列共646張圖像用于測(cè)試。子數(shù)據(jù)集內(nèi)的MR圖像皆作為真實(shí)HR圖像，雙三次插值后的LR圖像作為真實(shí)LR圖像。

對(duì)于訓(xùn)練集，將真實(shí)LR圖像裁剪為多個(gè)m×m大小的LR圖像塊。由于反卷積的內(nèi)在特性[18]，對(duì)應(yīng)真實(shí)HR圖像被裁剪為多個(gè)[(m–1)×n+1]×[(m–1)×n+1]大小的HR圖像塊(n為放大倍數(shù))。本文中，討論了放大倍數(shù)為2、3和4的超分辨率重建。因此，對(duì)于×2，×3和×4，訓(xùn)練集中的LR/HR圖像塊大小分別為142/272, 102/282,82/292像素；裁剪LR圖像的步長(zhǎng)分別為11、7和6像素；因此，最終大約有175 000個(gè)訓(xùn)練樣本。

圖像超分辨率通常采用峰值信噪比(Peak Signal-To-Noise Ratio,PSNR)和結(jié)構(gòu)相似性指標(biāo)(Structural Similarity Index,SSIM)[23]評(píng)價(jià)重建效果。PSNR通常評(píng)價(jià)重建圖像和真實(shí)圖像的差異性。SSIM是衡量重建圖像與真實(shí)圖像相似程度的指標(biāo)。PSNR和SSIM值越大，表示圖像重建效果越好。

2.2 網(wǎng)絡(luò)參數(shù)配置及硬件實(shí)現(xiàn)

采用文獻(xiàn)[24]方法初始化權(quán)重，權(quán)重衰減設(shè)置為0.0001，動(dòng)量為0.9，最小批量為128，epoch為100。初始學(xué)習(xí)率設(shè)置為0.1，每經(jīng)過20個(gè)epoch再衰減10倍。采用PyTorch軟件包訓(xùn)練和測(cè)試所有的深度學(xué)習(xí)模型。除非另有說明，否則所有網(wǎng)絡(luò)模型均在Intel?Core?i5-9600KCPU@3.40 GHz×6和Nvidia GTX2080Ti GPU的電腦上進(jìn)行訓(xùn)練。所有測(cè)試任務(wù)均在Intel Xeon E5-2360 v3 CPU2.40 GHz×16且沒有GPU的電腦上實(shí)現(xiàn)。

2.3 多分辨率上采樣的討論

在此討論多分辨率上采樣策略對(duì)網(wǎng)絡(luò)重建效果的影響，將網(wǎng)絡(luò)中的殘差單元數(shù)量固定為9個(gè)。除了文獻(xiàn)[18]中的單上采樣策略，本文額外定義了一種雙上采樣策略以說明低分辨率的MR圖像信息的融合對(duì)于超分辨率重建也是具有一定作用的。所謂的雙上采樣是在文獻(xiàn)[18]基礎(chǔ)上，將低分辨率的MR圖像進(jìn)行上采樣后疊加到單采樣網(wǎng)絡(luò)輸出，實(shí)現(xiàn)融合后的高分辨率MR圖像的超分辨率重建。同樣，這里放大倍數(shù)僅考慮2的情況。

單采樣策略網(wǎng)絡(luò)模型僅僅通過級(jí)聯(lián)殘差單元實(shí)現(xiàn)由粗到精的特征提取捕獲高維特征，因此在低分辨率MR圖像的一些細(xì)節(jié)信息可能會(huì)在級(jí)聯(lián)傳遞過程中逐層損失，影響最終的高分辨率MR圖像重建。如表1所示，單采樣策略網(wǎng)絡(luò)模型確實(shí)獲得了最差的超分辨率重建效果。因?yàn)殡p上采樣策略網(wǎng)絡(luò)模型融合了初始的低分辨率MR圖像信息，因此獲得了比單采樣策略網(wǎng)絡(luò)模型更高的PSNR和SSIM數(shù)值。而本文的多分辨率上采樣策略網(wǎng)絡(luò)則將所有殘差單元輸出的特征圖都傳遞到多分辨率上采樣層，而且分別融合初始的低分辨率MR圖像信息，因此獲得了最佳的高分辨率MR圖像超分辨率重建結(jié)果。

表1 網(wǎng)絡(luò)模型在不同上采樣策略下的MR圖像超分辨率重建效果(放大倍數(shù)為2)Table 1 MR Image SR performance of the proposed network models with different upsampling strategies (Scale factor=2).

2.4 與其他超分辨率方法的重建性能對(duì)比

經(jīng)過以上討論，將提出的網(wǎng)絡(luò)模型中的殘差單元固定9個(gè)，與一些最新的MR圖像超分辨率深度學(xué)習(xí)網(wǎng)絡(luò)(SRCNN[10]，de-CNN[13-14]，F(xiàn)SCWN[16]FSRCNN[17]和ESPCN[19])進(jìn)行對(duì)比。如表2所示，深度學(xué)習(xí)方法都獲得了遠(yuǎn)優(yōu)于雙三次插值方法的圖像超分辨率效果。

表2 MR圖像超分辨率重建方法對(duì)比Table 2 MR Image SR performance of various image SR methods

具體評(píng)估各深度學(xué)習(xí)方法，則各有優(yōu)劣。SRCNN在網(wǎng)絡(luò)學(xué)習(xí)之前采用的預(yù)先放大策略可能引入一些偽影并丟失一些先驗(yàn)信息，而且該網(wǎng)絡(luò)僅有3個(gè)卷積層，因此SRCNN在所有的深度學(xué)習(xí)方法中超分辨率重建性能最差。ESPCN和FSRCNN采用兩種不同的單上采樣策略進(jìn)行超分辨率重建，可以直接從LR圖像中學(xué)習(xí)LR圖像到HR圖像之間的非線性映射關(guān)系，因此雖然他們的網(wǎng)絡(luò)深度與SRCNN相差不大，但是獲得了優(yōu)于SRCNN的重建效果。雖然de-CNN和FSCWN采用預(yù)先放大策略，但是他們利用殘差學(xué)習(xí)合理地深度級(jí)聯(lián)網(wǎng)絡(luò)，其網(wǎng)絡(luò)深度遠(yuǎn)大于前3個(gè)網(wǎng)絡(luò)模型，因此這兩個(gè)因素導(dǎo)致de-CNN和FSCWN比ESPCN和FSRCNN獲得更高的PSNR和SSIM數(shù)值。需要注意的是，由于FSCWN在池化層采用2×2池化縮小圖像降低計(jì)算量，網(wǎng)絡(luò)只能直接實(shí)現(xiàn)2倍的超分辨率重建。而本文的網(wǎng)絡(luò)采用了多個(gè)殘差單元捕獲低分辨率MR圖像在不同分辨率下的高維特征圖，采用多分辨率上采樣實(shí)現(xiàn)高維特征圖和低維特征圖(由低分辨率MR圖像獲取)的融合，避免了圖像細(xì)節(jié)在殘差單元級(jí)聯(lián)傳遞中的信息損失，同時(shí)多分辨率學(xué)習(xí)策略自適應(yīng)地平衡各分辨率特征圖對(duì)重建高分辨率MR圖像的影響。因此，本文的網(wǎng)絡(luò)獲得了最優(yōu)的高分辨率MR圖像超分辨率重建效果。圖3和圖4給出了2個(gè)超分辨率重建的視覺示例對(duì)比(放大倍數(shù)為2)，其結(jié)果與表2展示的客觀數(shù)據(jù)對(duì)比是一致的。

圖3 MR圖像超分辨率重建結(jié)果1Fig.3 Resultsof the reconstructed No.1 MR imageswith different algorithms

圖4 MR圖像超分辨率重建結(jié)果2Fig.4 Resultsof the reconstructed No.2 MR imageswith different algorithms

盡管訓(xùn)練時(shí)間對(duì)于深度學(xué)習(xí)來說是一個(gè)重要問題，但是測(cè)試時(shí)間尤其是在CPU中的測(cè)試時(shí)間對(duì)于實(shí)際應(yīng)用更加至關(guān)重要。如表3所示，預(yù)先放大策略在HR圖像空間進(jìn)行超分辨率重建，而單上采樣策略在LR圖像空間進(jìn)行超分辨率重建，因此當(dāng)兩者網(wǎng)絡(luò)深度相差不是特別大的時(shí)候，前者網(wǎng)絡(luò)(SRCNN，de-CNN和FSCWN)比后者網(wǎng)絡(luò)(FSRCNN和ESPCN)花費(fèi)更多的時(shí)間。譬如，SRCNN僅具有9-1-5卷積的3層，其重建耗時(shí)就較少。而本文的網(wǎng)絡(luò)也是一種多分辨率上采樣策略，也是在LR圖像空間進(jìn)行超分辨率重建，因此，在網(wǎng)絡(luò)深度差不多的情況下，本文的網(wǎng)絡(luò)比預(yù)先放大策略網(wǎng)絡(luò)de-CNN和FSCWN花費(fèi)更少的時(shí)間?？墒?，與兩個(gè)單上采樣網(wǎng)絡(luò)FSRCNN(7個(gè)卷積層和1個(gè)反卷積層，不超過56個(gè)卷積核)和ESPCN(3個(gè)卷積層和1個(gè)像素洗牌層，每個(gè)卷積層中不超過64個(gè)卷積核)相比，本文的網(wǎng)絡(luò)具有更多的層(19個(gè)卷積層和1個(gè)反卷積層)和更多的卷積核(每個(gè)卷積層有128個(gè)卷積核)，因此本文的網(wǎng)絡(luò)將耗費(fèi)略多的重建時(shí)間。

表3 不同超分辨率重建方法的CPU測(cè)試時(shí)間Table 3 Running time for testing via different methods s

3 總結(jié)與展望

MR圖像超分辨率對(duì)于輔助醫(yī)學(xué)診斷具有重要的研究和顯示意義。本文提出了一種基于多分辨率學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的MR圖像超分辨率方法。網(wǎng)絡(luò)輸入是低分辨率MR圖像，通過多個(gè)殘差單元在LR圖像空間里進(jìn)行信息傳遞，通過多分辨率上采樣和多分辨率學(xué)習(xí)在不同分辨率下充分捕獲圖像細(xì)節(jié)，直接實(shí)現(xiàn)高分辨率MR圖像重建的輸出。實(shí)驗(yàn)結(jié)果表明，對(duì)于不同放大倍數(shù)(×2，×3和×4)，本文的網(wǎng)絡(luò)可以將PSNR/SSIM值分別提升到45.46 / 0.991 4、37.65 /0.9689、34.09/ 0.9397且CPU測(cè)試耗時(shí)較少，超分辨率重建效果優(yōu)于一些最新的MR圖像深度學(xué)習(xí)方法。

由于馬爾可夫隨機(jī)場(chǎng)可以發(fā)現(xiàn)HR/LR圖像之間的關(guān)聯(lián)性，可以考慮引入馬爾可夫隨機(jī)場(chǎng)減少卷積核數(shù)目以進(jìn)一步加速本文提出的網(wǎng)絡(luò)。