袁針云 冉茂松 劉松

（四川大學計算機學院 四川省成都市 610065）

1 引言

磁共振成像(Magnetic Resonance Imaging, MRI)是一種利用核磁共振原理的廣泛應用于臨床的診斷技術(shù)，揭示人體內(nèi)部結(jié)構(gòu)和生理功能，對實質(zhì)器官、心臟和血管有絕佳的成像效果，與其他檢查方法相比具有多參數(shù)、高質(zhì)量、高分辨率、非侵入等特點。但核磁共振成像技術(shù)在捕獲快速變化的信號上表現(xiàn)乏力，成像時間長成為影響該技術(shù)發(fā)展的主要瓶頸，是學者立志突破的關(guān)鍵技術(shù)點。數(shù)據(jù)采集過程的空間有限和時間冗長，都讓患者感到不適難以維持靜態(tài)，造成更多的復雜的運動偽影。因此，縮短核磁共振成像時間至關(guān)重要。

改變硬件結(jié)構(gòu)和基于壓縮感知理論是兩種傳統(tǒng)的減少成像時間的方法。其中改變硬件結(jié)構(gòu)主要使用基于多線圈的并行成像技術(shù)[1-2]，該技術(shù)利用包含信號源和空間位置信息的多線圈的敏感度信息加快梯度場編碼。但多線圈受物理制造技術(shù)限制且成本昂貴，易刺激病患神經(jīng)和干擾心腦電。

近幾年來，深度學習在核磁共振重建上取得了良好的性能和突破性的進展，受到人們的廣泛關(guān)注，是該領域的熱門研究方法?；谏疃葘W習的核磁共振圖像重建可以概括為四大類，如圖1。

本文的主要貢獻如下：

（1）與大多數(shù)現(xiàn)有的單域的重建方法不同，我們提出了一種新的醫(yī)學圖像重建框架，使用并行雙域數(shù)據(jù)來重建圖像。

（2）我們的模型用特征提取網(wǎng)絡捕獲特征，并利用圖像域和頻域之間的相關(guān)性將不同域的特征進行融合。

（3）提出了一種新的融合模塊，有效地提高了融合性能。

本文結(jié)構(gòu)組織如下：第二節(jié)中，我們將詳細描述所提出的方法。第三節(jié)介紹實驗結(jié)果以及與其他方法的性能比較。最后，在第四節(jié)中進行總結(jié)。

2 方法

2.1 基于壓縮感知的圖像重建

圖像重建或者恢復的正演模型是典型的求解逆問題，目的是從y 重建出x，如下：

其中x∈CN表示要重建的2D 目標圖像，由個像素點構(gòu)成。Fu∈CM×N(M?N)表示欠采樣的傅里葉編碼矩陣。ε 表示獲取產(chǎn)生的噪聲。最后，y∈CM表示k 空間的欠采樣測量。

基于傳統(tǒng)的壓縮感知的圖像重建方法利用x 的先驗信息把公式（1）中的不適應問題轉(zhuǎn)化為無約束優(yōu)化問題：

公式（2）的左邊部分是數(shù)據(jù)保真項，右邊部分是正則項。其中λ 表示正則參數(shù)，R 通常使用L0或者L1范數(shù)。

深度學習在許多領域都表現(xiàn)出了良好性能?；谏疃葘W習的問題公式化表達如下：

圖1：基于深度學習的核磁共振圖像重建

2.2 提出的方法

網(wǎng)絡整體的結(jié)構(gòu)示意圖如圖2(a)所示，欠采樣頻域和欠采樣圖像域數(shù)據(jù)作為輸入，重建圖作為輸出。整體分為五個階段，其中階段1~4 結(jié)構(gòu)完全相同，作用于偽影減少和細節(jié)恢復，階段5 在融合模塊的輸入和輸出上略微不同。箭頭表示數(shù)據(jù)流方向，雙域數(shù)據(jù)進行并行處理。不同域所用模塊結(jié)構(gòu)相同，但不共享參數(shù)。

特征提取器的展開結(jié)構(gòu)圖，如圖2(b)所示。特征提取器采用殘差結(jié)構(gòu)，由4 個卷積層、批量標準化層和激活層構(gòu)成。卷積層的卷積核大小為3×3，步長為1，填充為1，通道從左往右依次為32，64，32，2，LeakyRelu 作為激活函數(shù)。由于核磁共振圖像數(shù)據(jù)通常為復值，由實部和虛部兩部分構(gòu)成，所以輸入通道數(shù)為2。輸入和其經(jīng)過特征提取器后的輸出，圖像尺寸和通道數(shù)均不變。

數(shù)據(jù)一致性層又稱DC 層的公式如（4）所示，x 是上層特征提取器的輸出，也是該數(shù)據(jù)一致性層的輸入。其中，DC(x)表示數(shù)據(jù)一致性層的輸出，λ=0.1 表示超參，y 表示K 空間的欠采樣測量，F(xiàn)表示傅里葉變換，IF 表示傅里葉逆變換，最后M 表示采樣掩碼，是由01 構(gòu)成的二維矩陣。DC 層公式的大體部分是相同的，主要區(qū)別在于x 為頻域還是圖像域。當x 為頻域時，直接帶入公式；當x為圖像域時，需要先對x 做傅里葉變換再帶入公式，以及最后做傅里葉逆變換。

圖2：整體結(jié)構(gòu)圖

融合模塊的展開結(jié)構(gòu)圖，如圖2(c)所示。為了結(jié)構(gòu)圖簡單明了，圖中省略了傅里葉變換和傅里葉逆變換的操作。若融合模塊的目標是融合后的輸出是頻域數(shù)據(jù)，則輸入中的圖像域數(shù)據(jù)要先經(jīng)過傅里葉變換到頻域。同理，若融合模塊的目標是融合后的輸出是圖像域數(shù)據(jù)，則輸入中的頻域數(shù)據(jù)要先經(jīng)過傅里葉逆變換到圖像域。輸入數(shù)據(jù)的通道數(shù)2 分別表示復值數(shù)據(jù)的實部和虛部，拼接后的雙域數(shù)據(jù)通道數(shù)為4，再由基于通道注意力機制的模塊進行處理，處理前后的數(shù)據(jù)尺寸和通道數(shù)均不變。通道注意力機制自適應選擇權(quán)重，能讓網(wǎng)絡學習更為重要的部分，有利于雙域數(shù)據(jù)融合成單域。之后再把對應的實部和虛部數(shù)據(jù)進行相加，相加后的實部和虛部進行拼接作為整個融合模塊的輸出。

為了提高重建質(zhì)量，損失函數(shù)由三部分構(gòu)成除了對應頻域和圖像域的均方誤差（mean-square error, MSE）外，還有感知VGG 損失，見公式（7）。公式（5）為圖像域的均方誤差，其中xt表示原圖的圖像域數(shù)據(jù)，為重建圖的圖像域數(shù)據(jù)。公式（6）為頻域的均方誤差，其中yt和分別對應xt和的頻域。

3 實驗結(jié)果

3.1 數(shù)據(jù)集和訓練設置

本文使用公共腦部數(shù)據(jù)集(https://sites.google.com/view/calgarycampinas-dataset/home/mr-reconstruction-challenge) 來訓練和測試網(wǎng)絡。預處理時對數(shù)據(jù)進行了歸一化，數(shù)值范圍0~255，圖像尺寸255*255。網(wǎng)絡的訓練使用了來自25 個病人的4254 張2D 圖片，而測試使用了來自10 個病人的1700 張2D 圖片。

Adam 作為優(yōu)化器，學習率為5e-5，提出的模型的所有實驗基于PyTorch 框架，在擁有一張GPU（GTX2080）的Windows 操作系統(tǒng)上進行。

為了評估所提方法的性能，所提方法與其他三種先進的方法進行了對比實驗。定量指標采用了峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural SIMilarity ，SSIM）。U-Nets[14]是一種用于單線圈和多線圈的級聯(lián)神經(jīng)網(wǎng)絡。ADMM-CSNet[15]是一種傳統(tǒng)的基于壓縮感知的迭代方法。FusionNet[16]是一種基于深度學習和壓縮感知的雙域方法。

3.2 對比實驗

本節(jié)主要描述提出的方法和其他先進的方法進行對比實驗的過程和結(jié)果，驗證所提出的網(wǎng)絡的視覺性能和定量指標，后文將提出的并行雙域級聯(lián)卷積網(wǎng)絡簡稱為PDNet。實驗中所用的M 采樣掩碼有兩種采樣模式（笛卡爾和徑向）和兩種采樣率（10%和20%）。所有方法都有良好的去偽影效果，其中提出的PDNet 在細節(jié)之處更能保持特征、減少誤差。

定量指標使用了峰值信噪比和結(jié)構(gòu)相似性度量。與級聯(lián)神經(jīng)網(wǎng)絡U-Nets 和傳統(tǒng)的迭代方法ADMM-CSNet 相比，雙域網(wǎng)絡利用了頻域和圖像域之間的相關(guān)性對細節(jié)有更精準的重建效果。與FusionNet 同為雙域數(shù)據(jù)處理的PDNet 采用了具有注意力機制的融合模塊能有效提取感興趣的部分，得到更好的融合效果。PDNet 在不同的采樣策略中獲得了最高的指標分數(shù)，這說明提出的方法具有良好的泛化能力。

4 總結(jié)

總而言之，本文提出了一種新的基于深度學習和壓縮感知的并行雙域級聯(lián)卷積網(wǎng)絡用于核磁共振快速重建。該網(wǎng)絡并行處理頻域和圖像域的數(shù)據(jù)且交叉融合，采用具有注意力機制的融合模塊。實驗結(jié)果表明，該方法在不同的采樣方法和采樣率上能有效抑制偽影，降低復雜度，保留細節(jié)，具有更強的泛化能力。未來的工作將拓展更多的采樣策略和對比方法，注重于動態(tài)的核磁共振圖像重建。