鄧戈文，魏國(guó)輝，馬志慶

山東中醫(yī)藥大學(xué) 智能與信息工程學(xué)院，濟(jì)南 250355

醫(yī)學(xué)影像技術(shù)在疾病診斷中發(fā)揮著重要作用，目前大部分疾病都是通過(guò)影像技術(shù)進(jìn)行輔助診斷的，包括計(jì)算機(jī)斷層掃描成像（CT）、磁共振成像（MRI）、超聲波成像和X 射線成像、正電子發(fā)射計(jì)算機(jī)斷層掃描（PET）等。其中，不同于CT 等成像會(huì)對(duì)人體造成輻射傷害，MRI是一種非侵入性、多參數(shù)對(duì)比、高分辨率的成像方式，是較為理想的臨床醫(yī)學(xué)檢查手段。但是與其他的成像方法相比，MRI掃描時(shí)間過(guò)長(zhǎng)，成像緩慢，通常需要15 分鐘到1 小時(shí)，會(huì)給患者帶來(lái)不適。此外，MRI對(duì)患者掃描過(guò)程中的生理和身體運(yùn)動(dòng)非常敏感，如心跳、呼吸、咳嗽、吞咽都會(huì)導(dǎo)致圖像出現(xiàn)不同程度的偽影，這些都限制了MRI的推廣與發(fā)展。

在過(guò)去的幾十年里，許多研究者致力于加速M(fèi)RI的重建，并行成像（parallel imaging）和壓縮感知（compressed sensing）是其中應(yīng)用最為廣泛的兩項(xiàng)技術(shù)。并行成像技術(shù)使用多個(gè)線圈同時(shí)對(duì)某一部位進(jìn)行采樣，利用敏感度信息輔助空間定位，常用的并行成像方法有SENSE（sensitivity encoding）[1]、SMASH（simultaneous acquisition of spatial harmonics）[2]、GRAPPA[3]、SPIRiT[4]等。壓縮感知通過(guò)利用圖像在總變換（total variation，TV）[5]或小波變換（wavelet transform，WT）[6]中的稀疏性，從欠采樣k空間恢復(fù)原始數(shù)據(jù)。

深度學(xué)習(xí)（deep learning，DL）是20 世紀(jì)80 年代以來(lái)人工智能（artificial intelligence，AI）領(lǐng)域研究熱點(diǎn)之一，它使用多層神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)大量數(shù)據(jù)中的復(fù)雜特征，并且在各種醫(yī)學(xué)成像任務(wù)中顯示出巨大的潛力[7-12]，它的普及是隨著計(jì)算能力的進(jìn)步和訓(xùn)練技術(shù)的提高而推動(dòng)的。Wang等人[13]于2016年首次用深度學(xué)習(xí)的方法幫助完成MRI重建，引起了研究者們的關(guān)注。基于深度學(xué)習(xí)的重建方法可以避免傳統(tǒng)方法手動(dòng)調(diào)參這一復(fù)雜的過(guò)程，并且能大量縮短MRI掃描與重建時(shí)間，具有較高的臨床應(yīng)用價(jià)值。

目前，基于深度學(xué)習(xí)的MRI重建綜述類文章較少。從分類方式上來(lái)看，有按照監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)分類的[14]，還有按照輸入/輸出數(shù)據(jù)處在圖像域/k空間域分類的[15]，以上的分類方式僅從學(xué)習(xí)方法或數(shù)據(jù)類型入手，未能考慮到MRI重建領(lǐng)域成像的物理模型特性，針對(duì)方法設(shè)計(jì)的驅(qū)動(dòng)方式進(jìn)行歸納。已有的按照驅(qū)動(dòng)方式分類的文獻(xiàn)[16]缺少近三年模型的最新應(yīng)用和各模型的區(qū)別及優(yōu)缺點(diǎn)，對(duì)模型驅(qū)動(dòng)的展開優(yōu)化重建總結(jié)不夠系統(tǒng)。本文更新了Transformer、Diffusion 等模型在MRI重建領(lǐng)域的最新應(yīng)用，討論了它們與其他模型的區(qū)別與優(yōu)劣，并更系統(tǒng)地總結(jié)了模型驅(qū)動(dòng)的重建方法。

1 重建問(wèn)題

一般來(lái)說(shuō)，MR圖像重建可以被表述為以下逆問(wèn)題：

其中，x是待重建的圖像，y是測(cè)量的k空間數(shù)據(jù)，ε為測(cè)量過(guò)程中的噪聲，A代表編碼矩陣，對(duì)于單通道采集A=MF,對(duì)于多通道采集的情況A=MFS,M是采樣掩碼，F(xiàn)代表傅里葉變換，S是靈敏度編碼。在實(shí)際重建過(guò)程中，測(cè)量數(shù)據(jù)y和編碼矩陣A中的成像模型都是已知的，MRI重建的任務(wù)就是要從k空間數(shù)據(jù)y中恢復(fù)出目標(biāo)圖像x。

如果采樣數(shù)據(jù)y滿足奈奎斯特采樣定理，可以直接求最小二乘法解來(lái)重建圖像。例如，如果數(shù)據(jù)在笛卡爾網(wǎng)格中被完全采樣，可以直接使用逆傅里葉變換。而如果采樣低于奈奎斯特采樣標(biāo)準(zhǔn)（即欠采樣），理論上重建問(wèn)題會(huì)有無(wú)窮多個(gè)解，此時(shí)需要引入額外的先驗(yàn)信息來(lái)約束這一欠定問(wèn)題，欠采樣圖像重建問(wèn)題通常被描述為如下最優(yōu)化問(wèn)題：

2 重建方法

基于深度學(xué)習(xí)的MRI重建方法可以分為兩類：數(shù)據(jù)驅(qū)動(dòng)的端到端重建和模型驅(qū)動(dòng)的展開優(yōu)化重建。數(shù)據(jù)驅(qū)動(dòng)的端到端重建借助常用的神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)輸入（欠采樣的k空間數(shù)據(jù)或偽影圖像）和輸出（目標(biāo)圖像）之間的非線性映射，并通過(guò)不斷向神經(jīng)網(wǎng)絡(luò)引入MRI先驗(yàn)知識(shí)來(lái)提高重建模型的性能。該方法可供選擇的神經(jīng)網(wǎng)絡(luò)多，但對(duì)于數(shù)據(jù)量的要求大，可解釋性較差。模型驅(qū)動(dòng)的展開優(yōu)化重建繼承自傳統(tǒng)的重建算法（如壓縮感知），從建立的物理模型出發(fā)，將傳統(tǒng)的優(yōu)化算法展開后嵌入到一個(gè)神經(jīng)網(wǎng)絡(luò)中，并通過(guò)多個(gè)網(wǎng)絡(luò)模塊的連接來(lái)模擬迭代計(jì)算的過(guò)程，保留了傳統(tǒng)算法可解釋性強(qiáng)的特點(diǎn)，同時(shí)具有深度學(xué)習(xí)的強(qiáng)大學(xué)習(xí)能力。

2.1 數(shù)據(jù)驅(qū)動(dòng)的端到端重建

根據(jù)選擇的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的不同，以下介紹了6類常見的神經(jīng)網(wǎng)絡(luò)在MRI重建中的應(yīng)用，分別是CNN、RNN、Transformer、GAN、VAE 和Diffusion，其中CNN、RNN、Transformer屬于非生成模型，而GAN、VAE、Diffusion屬于生成模型，6類模型重建的簡(jiǎn)要示意圖見圖1。

圖1 6類用于MRI重建的深度學(xué)習(xí)模型Fig.1 6 Deep learning models for MRIreconstruction

2.1.1 基于CNN的重建模型

卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）可以自動(dòng)從大量數(shù)據(jù)中學(xué)習(xí)不同的特征表達(dá)，識(shí)別出復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，不再依賴于手動(dòng)提取特征，被廣泛地應(yīng)用在MRI重建領(lǐng)域。Zhu 等人[17]提出了一種結(jié)合流形學(xué)習(xí)的重建模型AUTOMAP，網(wǎng)絡(luò)的輸入是k空間原始數(shù)據(jù)，輸出是重建的圖像，全連接層穿插在模型結(jié)構(gòu)中，可以有效地重建MR圖像。此外，AUTOMAP不僅可以重建直角坐標(biāo)采樣的k空間數(shù)據(jù)，還可以直接重建非直角坐標(biāo)采樣的數(shù)據(jù)。Cole 等人[18]使用復(fù)數(shù)卷積網(wǎng)絡(luò)代替實(shí)數(shù)神經(jīng)網(wǎng)絡(luò)來(lái)針對(duì)處理MRI這類復(fù)數(shù)數(shù)據(jù)，以加快掃描的時(shí)間，經(jīng)對(duì)比實(shí)驗(yàn)發(fā)現(xiàn)具有復(fù)數(shù)卷積與具有相同數(shù)量可訓(xùn)練參數(shù)的實(shí)數(shù)卷積相比，提供了更好的重建效果。Gan等人[19]提出了一種即插即用（plug-and-play，PnP）的MRI重建方法MSMRI-PnP，它可以很好地保證MRI的數(shù)據(jù)一致性，同時(shí)可以在沒有任何無(wú)偽影的Ground Truth的情況下利用CNN先驗(yàn)訓(xùn)練，能夠從高度欠采樣的k 空間測(cè)量值中重建4D MR 圖像，其重建的結(jié)果優(yōu)于傳統(tǒng)的TV正則化。

U 型神經(jīng)網(wǎng)絡(luò)（U-Net）是CNN 的眾多變體模型之一，最初被用于醫(yī)學(xué)圖像的分割，它由編碼器和解碼器組成，并通過(guò)跳躍連接的方式實(shí)現(xiàn)多維度的特征融合。目前，許多重建研究都采用了U-Net結(jié)構(gòu)或作為子結(jié)構(gòu)改進(jìn)，并取得了有效的成果。Hauptmann 等人[20]提出一個(gè)三維（二維加時(shí)間）U-Net結(jié)構(gòu)重建了實(shí)時(shí)心臟圖像序列。實(shí)驗(yàn)結(jié)果表明，U-Net的重建時(shí)間比傳統(tǒng)的壓縮感知重建方法快5倍以上，并且測(cè)得的雙心室容積的圖像質(zhì)量和準(zhǔn)確性都優(yōu)于壓縮感知重建。Han等人[21]提出了一種基于U-Net 的k 空間插值的深度學(xué)習(xí)算法，其中輸入和輸出都在k 空間域，并且是完全數(shù)據(jù)驅(qū)動(dòng)的，所提出的k 空間插值網(wǎng)絡(luò)在各種采樣軌跡上的表現(xiàn)優(yōu)于圖像域深度學(xué)習(xí)方法。Dhengre等人[22]提出了一種端到端的基于U-Net 的可訓(xùn)練模型，他們?cè)赨-Net 的每個(gè)編碼器和解碼器中都引入了一個(gè)多核卷積模塊，可以提取不同感受野的特征。此外，為了有效地利用不同尺度的解碼器特征，使用了一種特征融合機(jī)制，以融合不同尺度的解碼器特征。

殘差網(wǎng)絡(luò)（ResNet）自提出以來(lái)，在自然圖像分類方面取得了突出的成就。在醫(yī)學(xué)圖像重建領(lǐng)域，ResNet也被廣泛使用。Cai等人[23]直接使用ResNet重建重疊回波分離（overlapping-echo detachment，OLED）序列的T2映射，在單射OLED 序列的模擬MR 圖像上，取得了有效的重建效果。Bao等人[24]提出了一種基于遞歸殘差網(wǎng)絡(luò)的增強(qiáng)型遞歸殘差網(wǎng)絡(luò)（enhanced recursive residual network，ERRN），用于欠采樣的MR 圖像重建，提高圖像重建質(zhì)量。Du等人[25]在研究中提出了一種基于殘差學(xué)習(xí)的殘差CNN，用于單幅各向異性的三維MR圖像的超分辨率重建，所提出的具有跳躍連接的殘差CNN 可以有效地恢復(fù)MR圖像的高頻細(xì)節(jié)。Pawar等人[26]設(shè)計(jì)了一種數(shù)據(jù)驅(qū)動(dòng)的運(yùn)動(dòng)校正技術(shù)，用來(lái)抑制由運(yùn)動(dòng)產(chǎn)生的MR 圖像偽影。他們利用一個(gè)Inception-ResNet 作為編碼器，并通過(guò)卷積層和上采樣層的疊加來(lái)形成一個(gè)編碼器-解碼器網(wǎng)絡(luò)。通過(guò)在模擬的運(yùn)動(dòng)損壞的大腦圖像上進(jìn)行訓(xùn)練，可以成功識(shí)別和抑制那些真實(shí)運(yùn)動(dòng)所產(chǎn)生的偽影。

2.1.2 基于RNN的重建模型

循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）使用序列信息來(lái)處理一系列的輸入，RNN 與其他神經(jīng)網(wǎng)絡(luò)的區(qū)別在于，隱藏層之間的節(jié)點(diǎn)是相連的。每個(gè)時(shí)刻的輸入不僅有當(dāng)前時(shí)刻的輸入，而且還有隱藏層在前一時(shí)刻的輸出值。這種結(jié)構(gòu)使網(wǎng)絡(luò)具有記憶功能，所以它被廣泛用于與時(shí)間序列有關(guān)的數(shù)據(jù)中。在快速M(fèi)RI研究領(lǐng)域，也有一些研究使用RNN進(jìn)行MRI重建。Zhang等人[27]使用自監(jiān)督的RNN 進(jìn)行4D 腹部和胎兒MR 成像，它首先使用自監(jiān)督的RNN進(jìn)行呼吸運(yùn)動(dòng)估計(jì)，然后使用三維去卷積網(wǎng)絡(luò)進(jìn)行超分辨率重建。Qin等人[28]共同探討了時(shí)間序列的依賴性和傳統(tǒng)算法的迭代特性，使用跨時(shí)間序列的雙向RNN 來(lái)學(xué)習(xí)空間-時(shí)間依賴關(guān)系。Oh等人[29]提出基于RNN的端到端網(wǎng)絡(luò)可以直接從笛卡爾和非笛卡爾軌跡和多通道線圈獲得的k 空間數(shù)據(jù)中重建MR 圖像。在該重建網(wǎng)絡(luò)中，域變換網(wǎng)絡(luò)將k空間數(shù)據(jù)轉(zhuǎn)換為粗略的圖像，然后在下游的網(wǎng)絡(luò)中進(jìn)行細(xì)化，以重建最終圖像。

2.1.3 基于Transformer的重建模型

Transformer[30]是一種基于自注意力機(jī)制的深度神經(jīng)網(wǎng)絡(luò)，最初應(yīng)用于自然語(yǔ)言處理領(lǐng)域。受Transformer強(qiáng)大表示能力的啟發(fā)，研究人員提出將Transformer 擴(kuò)展到計(jì)算機(jī)視覺任務(wù)。ViT[31（]vision Transformer）是Transformer 在計(jì)算機(jī)視覺圖片分類任務(wù)中第一次成功的應(yīng)用。此后也有一些研究者使用ViT來(lái)幫助完成MRI重建的工作。

Feng等人[32]提出了基于Transformer的結(jié)構(gòu)MTrans，用于加速多模態(tài)MR 成像。MTrans 的主要組成部分是交叉注意力模塊。在fastMRI和uiMRI數(shù)據(jù)集上進(jìn)行的重建和超分辨率任務(wù)的實(shí)驗(yàn)表明，MTrans 比以前的方法取得了良好的性能。然而，MTrans 需要對(duì)MRI重建和超分辨率任務(wù)進(jìn)行單獨(dú)訓(xùn)練。為了聯(lián)合重建和超分辨率MRI圖像，F(xiàn)eng等人[33]提出了Task-Transformer，利用多任務(wù)學(xué)習(xí)的力量來(lái)融合重建分支和超分辨率分支之間的互補(bǔ)信息，在公共IXI和私人MRI大腦數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。同樣，Mahapatra 等人[34]提出了一個(gè)混合架構(gòu)，通過(guò)利用CNN 和ViTs 的互補(bǔ)優(yōu)勢(shì)來(lái)重建MRI圖像。他們還提出了新的損失函數(shù)[35]來(lái)保留超分辨率圖像的語(yǔ)義和結(jié)構(gòu)信息。

上述方法的一個(gè)缺點(diǎn)是需要大量配對(duì)數(shù)據(jù)集來(lái)訓(xùn)練ViT模型。為了緩解數(shù)據(jù)要求問(wèn)題，Korkmaz等人[36-37]提出了一個(gè)框架SLATER 進(jìn)行無(wú)監(jiān)督的MRI重建。具體來(lái)說(shuō)，SLATER通過(guò)迭代優(yōu)化網(wǎng)絡(luò)權(quán)重來(lái)最小化網(wǎng)絡(luò)輸出和欠采樣多線圈MRI采集之間的誤差，同時(shí)滿足MRI前向模型的約束。與其他基于無(wú)監(jiān)督學(xué)習(xí)的方法相比，SLATER 在單線圈和多線圈MRI大腦數(shù)據(jù)集上都得到了不同程度的改進(jìn)。同樣，Lin 等人[38]表明，在ImageNet 上預(yù)訓(xùn)練的ViT 模型，當(dāng)只對(duì)100 張fastMRI圖像進(jìn)行微調(diào)時(shí)，與CNN 相比，不僅能產(chǎn)生清晰的重建，而且對(duì)偏移的解析更具魯棒性。此外，他們的實(shí)驗(yàn)表明，ViT 相比U-Net 結(jié)構(gòu)有更高的吞吐量和更少的內(nèi)存消耗。

從模型的結(jié)構(gòu)來(lái)說(shuō)，得益于CNN 有效的特征提取能力，目前大多數(shù)重建模型都是以CNN 為基礎(chǔ)進(jìn)行設(shè)計(jì)的，這些應(yīng)用里有針對(duì)圖像進(jìn)行后處理也有對(duì)k空間數(shù)據(jù)進(jìn)行逆映射的。但CNN 有兩個(gè)不可避免的局限性，首先，CNN 的歸納偏置不適合處理k 空間數(shù)據(jù)，例如，CNN中的卷積核通常在所有空間位置上共享，即等價(jià)特性，然而，在k空間數(shù)據(jù)里，空間位置代表正弦和余弦函數(shù)的頻段，不同位置出現(xiàn)的相同圖案可能指的是完全不同的信息；其次，CNN由于缺乏長(zhǎng)距離依賴和空間關(guān)系建模能力，感受野有限，導(dǎo)致其模型擴(kuò)展能力不足。盡管一些工作嘗試級(jí)聯(lián)更多的層或者使用更大的卷積核來(lái)緩解這一問(wèn)題，但在模型的精度上與最先進(jìn)的視覺模型還有一定的距離。RNN以其捕獲全局時(shí)-空特征關(guān)系的能力在MRI重建有少量的應(yīng)用，這些模型基本都是針對(duì)k空間數(shù)據(jù)進(jìn)行逆映射的，但RNN不能有效地并行處理每一幀的數(shù)據(jù)，而且計(jì)算成本高。Transformer作為一種包含自注意力機(jī)制的先進(jìn)結(jié)構(gòu)，可以很好地彌補(bǔ)上述CNN與RNN的缺點(diǎn)。相比于CNN，Transformer具有更大的感受野，可以捕獲長(zhǎng)距離依賴信息，更容易擴(kuò)展模型的規(guī)模，Swin Transformer[39]模型更是首次達(dá)到了30 億參數(shù)級(jí)別，更大的模型參數(shù)量使其能從規(guī)模龐大、類型復(fù)雜的數(shù)據(jù)中學(xué)習(xí)更強(qiáng)大和魯棒的特征。而相比于RNN，Transformer 能夠?qū)崿F(xiàn)并行運(yùn)算。但是由于Transformer 相比CNN 有更小的歸納偏置，所以往往需要大規(guī)模的數(shù)據(jù)集訓(xùn)練來(lái)獲得更好的性能，這同時(shí)也意味著更高的內(nèi)存與計(jì)算要求。

2.1.4 基于GAN的重建模型

Goodfellow 等人[40]首次提出了用于生成自然圖像的GAN。GAN由兩個(gè)網(wǎng)絡(luò)組成，一個(gè)是生成器，另一個(gè)是判別器，這兩個(gè)網(wǎng)絡(luò)相互對(duì)抗以達(dá)到最佳的生成效果，隨后經(jīng)過(guò)GAN的不斷發(fā)展，已經(jīng)衍生出不同類型的版本，在不同領(lǐng)域也得到了應(yīng)用[41]。而GAN 也被用于加速M(fèi)RI的重建，Yang等人[42]用DAGAN中的U-Net網(wǎng)絡(luò)取代了生成器中的CNN 模塊，結(jié)合圖像損失和頻率損失，在重建過(guò)程中保留圖像細(xì)節(jié)。Mardani 等人[43]提出了一個(gè)整合壓縮感知與GAN的框架，使用GAN將欠采樣的零填充MR圖像映射為完全采樣的高質(zhì)量MR圖像。Quan等人[44]在GAN中引入了一個(gè)殘差的U型網(wǎng)絡(luò)，它由兩個(gè)連續(xù)的框架組成，一個(gè)用于重建（RecoGAN），另一個(gè)用于細(xì)化結(jié)果（RefineGAN）。Jiang 等人[45]在GAN 中加入了Wasserstein 距離，以減少重建圖像與真實(shí)值之間的距離，使訓(xùn)練過(guò)程更加穩(wěn)定，緩解了梯度消失的問(wèn)題。Shaul 等人[46]提出了一個(gè)兩階段的GAN 網(wǎng)絡(luò)，即KIGAN，用于估計(jì)缺失的k 空間數(shù)據(jù)并恢復(fù)圖像空間的混疊偽影。Lv[47]等人提出了一個(gè)將并行成像與GAN 架構(gòu)相結(jié)合的模型PIC-GAN，用于加速多通道MRI重建。Huang 等人[48]提出了一個(gè)具有雙判別器的PIDD-GAN，一個(gè)用于增強(qiáng)邊緣信息，另一個(gè)用于整體圖像的重建。

2.1.5 基于VAE的重建模型

變分自編碼器（variational autoencoder network，VAE）是自動(dòng)編碼器（autoencoder，AE）網(wǎng)絡(luò)的一個(gè)變種，它包含一個(gè)編碼器和解碼器。編碼器將輸入圖像投射到一個(gè)低維向量中，然后由解碼器將特征恢復(fù)到原始形狀。VAE 從完全采樣的數(shù)據(jù)中得出潛在向量的條件概率，具有良好的可解釋性和圖像重建質(zhì)量。Makhzani等人[49]提出了對(duì)抗性自動(dòng)編碼器（adversarial autoencoders，AAE），將對(duì)抗性引入AE 以增強(qiáng)生成效果。Tezcan 等人[50]利用VAE來(lái)學(xué)習(xí)欠采樣k空間的非確定性信息，通過(guò)使用VAE 的先驗(yàn)信息產(chǎn)生了高質(zhì)量的重建圖像。Zou等人[51]提出了用于動(dòng)態(tài)成像中的Gen-SToRM模型，它使用高斯先驗(yàn)概率來(lái)推導(dǎo)基于證據(jù)的下限（evidencebased lower bound，ELBO）潛在變量，可用于心臟電影成像的重建，而它對(duì)潛在變量沒有任何約束條件，導(dǎo)致了切片排列和重建的圖像質(zhì)量不佳。為了解決這個(gè)問(wèn)題，Higgins等人[52]提出了約束變量框架（cVAE），用一個(gè)超參數(shù)β擴(kuò)展了原來(lái)的VAE 框架，用來(lái)調(diào)節(jié)通道的容量，驅(qū)動(dòng)模型學(xué)習(xí)更有效的數(shù)據(jù)潛在表示。隨后，Ahmed等人[53]用潛在變量取代了平滑度先驗(yàn)信息，其參數(shù)是通過(guò)反向傳播從欠采樣數(shù)據(jù)中直接學(xué)習(xí)的，這進(jìn)一步提高了重建性能。

2.1.6 基于Diffusion的重建模型

擴(kuò)散模型（Diffusion）是最近興起的一類生成模型的范式，其目的是將先驗(yàn)數(shù)據(jù)分布轉(zhuǎn)換為隨機(jī)噪聲，然后逐步修正變換，從而重建一個(gè)以相同分布為先驗(yàn)的全新樣本。最近，Diffusion 模型憑借其強(qiáng)大的生成能力，成為生成模型的一大熱門，而將其應(yīng)用于醫(yī)學(xué)圖像也是一個(gè)自然的選擇。Chung等人[54]提出一個(gè)基于分?jǐn)?shù)的擴(kuò)散模型（score-based diffusion model）來(lái)加速M(fèi)RI重建，用去噪分?jǐn)?shù)匹配來(lái)訓(xùn)練一個(gè)連續(xù)的隨時(shí)間變化的分?jǐn)?shù)函數(shù)，然后在數(shù)字隨機(jī)微分方程求解器和數(shù)據(jù)一致性步驟之間進(jìn)行迭代，以實(shí)現(xiàn)重建。類似地，Song等人[55]，但提供了一個(gè)更靈活的框架，且是完全無(wú)監(jiān)督的，不需要配對(duì)數(shù)據(jù)的訓(xùn)練，這項(xiàng)工作利用了物理測(cè)量過(guò)程，并專注于采樣算法，以創(chuàng)建與觀察到的測(cè)量結(jié)果和估計(jì)數(shù)據(jù)先驗(yàn)一致的圖像樣本。Chung 等人[56]提出的R2D2+將基于擴(kuò)散模型的MRI重建和超分辨率結(jié)合到同一個(gè)網(wǎng)絡(luò)中，用于生成端到端的高質(zhì)量醫(yī)學(xué)圖像。

同樣作為生成模型，GAN、VAE、Diffusion的生成原理有所不同，重建的效果各有優(yōu)劣。基于GAN 的MRI重建模型使用生成對(duì)抗性訓(xùn)練策略，生成器生成盡可能真實(shí)的圖像，判別器區(qū)分真實(shí)圖像和虛假圖像，兩者在博弈中不斷精進(jìn)，最終生成理想的重建圖像。VAE則使用變分推斷來(lái)近似數(shù)據(jù)分布，其編碼器用于接近隱層空間中的后驗(yàn)分布，而解碼器則用于根據(jù)概率分布對(duì)原始信息進(jìn)行建模。Diffusion在擴(kuò)散階段從真實(shí)圖像采樣，然后對(duì)樣本逐步添加隨機(jī)噪聲，在重建階段從噪聲圖像采樣，通過(guò)引入先驗(yàn)知識(shí)學(xué)習(xí)一個(gè)模型來(lái)估計(jì)真實(shí)的圖像。從重建的結(jié)果上來(lái)看，基于GAN 的方法重建圖像的紋理細(xì)節(jié)豐富、輪廓清晰，但是它存在著訓(xùn)練過(guò)程的不穩(wěn)定性和梯度消失的現(xiàn)象。而基于VAE的方法直接模擬隱變量，生成的圖像分布與真實(shí)圖像相似，梯度下降在訓(xùn)練過(guò)程中得以穩(wěn)定，但由于它是基于像素的，不能更多地關(guān)注全局信息，從而導(dǎo)致生成的圖像模糊不清。基于Diffusion的方法不需要訓(xùn)練額外的判別器，也不需要指定一個(gè)后驗(yàn)分布，訓(xùn)練過(guò)程更加穩(wěn)定，具有相對(duì)明確統(tǒng)一的損失函數(shù)設(shè)計(jì)，高度簡(jiǎn)單，重建圖像質(zhì)量高。但是與GAN、VAE相比，它的一個(gè)固有的缺點(diǎn)是大量的采樣步驟和較長(zhǎng)的采樣時(shí)間，這是因?yàn)镈iffusion利用馬爾科夫過(guò)程通過(guò)微小的擾動(dòng)來(lái)轉(zhuǎn)換數(shù)據(jù)分布，在訓(xùn)練和推理階段都需要大量的擴(kuò)散步驟。

2.1.7 混合結(jié)構(gòu)模型

除了上述標(biāo)準(zhǔn)的網(wǎng)絡(luò)模型之外，一些方法結(jié)合了多個(gè)網(wǎng)絡(luò)來(lái)處理MRI重建，這樣設(shè)計(jì)的初衷是為了融合不同網(wǎng)絡(luò)在重建中特定方面的優(yōu)點(diǎn)。Chen 等人[57]提出了一種金字塔卷積RNN（PC-RNN）模型，三個(gè)卷積RNN模塊用于迭代學(xué)習(xí)多尺度的特征，重建的圖像最后由CNN 模塊以金字塔的方式組合，與常見的并行成像重建方法不同，PC-RNN直接將多個(gè)線圈建模為多通道輸入。為了降低Transformer網(wǎng)絡(luò)的復(fù)雜性，Huang等人[58]提出了一個(gè)Swin Transformer 與U-Net 結(jié)合起來(lái)的模型，并通過(guò)設(shè)計(jì)可變形注意力（deformable attention）來(lái)揭示模型的可解釋性。實(shí)驗(yàn)結(jié)果表明，U-Net結(jié)構(gòu)的加入可以極大地減少網(wǎng)絡(luò)參數(shù)量，而可變形注意力可以在計(jì)算成本增長(zhǎng)有限的情況下加強(qiáng)MRI重建。Zhao 等人[59]提出了一種Swin Transformer 與GAN 結(jié)合的模型SwinGAN，它由兩個(gè)生成器組成：一個(gè)頻域生成器和一個(gè)圖像域生成器，能夠同時(shí)利用k 空間與圖像信息，使網(wǎng)絡(luò)能夠捕獲更多的有效信息，并且兩個(gè)生成器都基于Swin Transformer，可以有效地捕捉長(zhǎng)距離的依賴關(guān)系。

2.2 模型驅(qū)動(dòng)的展開優(yōu)化重建

模型驅(qū)動(dòng)的展開優(yōu)化重建來(lái)源于壓縮感知MRI中使用的迭代優(yōu)化算法。其思想是將這種算法的迭代展開為端到端的神經(jīng)網(wǎng)絡(luò)，將測(cè)量的k空間映射到相應(yīng)的重建圖像。然后對(duì)圖像變換、稀疏促進(jìn)函數(shù)、正則化參數(shù)和更新率進(jìn)行訓(xùn)練，并使用反向傳播擬合到訓(xùn)練數(shù)據(jù)集。與經(jīng)典優(yōu)化相比，它學(xué)習(xí)的參數(shù)可能比手工設(shè)計(jì)的參數(shù)更適合圖像特征，且避免了手動(dòng)調(diào)參這一復(fù)雜的過(guò)程，重建速度也更快。

如今，一些優(yōu)化算法已經(jīng)成功地應(yīng)用到神經(jīng)網(wǎng)絡(luò)中。其中包括GD（gradient descent）[60]、PGD（proximal gradient descent）[61-63]、ISTA（iterative shrinkage-thresholding algorithm）[64]、AMA（alternating minimization algorithm）[65-66]、ADMM（alternating direction method of multipliers）[67-68]和PDHG（primal dual hybrid gradient method）[69]。

重建模型、算法和網(wǎng)絡(luò)的不同選擇構(gòu)成了不同的展開優(yōu)化方法，具體方法總結(jié)見表1。以下根據(jù)重建模型的不同設(shè)計(jì)將模型驅(qū)動(dòng)的展開優(yōu)化方法分為類壓縮感知模型、去噪模型和廣義優(yōu)化模型三類進(jìn)行介紹。

表1 模型驅(qū)動(dòng)的展開優(yōu)化方法Table 1 Model-driven unrolled optimization methods

2.2.1 類壓縮感知模型

2.2.2 去噪模型

2.2.3 廣義優(yōu)化模型

此外，有些方法并不限制正則化項(xiàng)的形態(tài)，他們?cè)O(shè)計(jì)一個(gè)通用項(xiàng)R(x)，并使用一個(gè)CNN來(lái)直接估計(jì)其近似映射。R-GANCS[63]、CRNN-MRI（convolutional recurrent neural network）[28]、VS-Net（variable splittingnetwork）[66]、HC-PGD（history cognizant-PGD）[62]和PDHG-CSNe（tprimal dual hybrid gradient-compressive sensing）[71]都是這種情況。

3 MRI重建評(píng)價(jià)指標(biāo)和常用數(shù)據(jù)集

3.1 評(píng)價(jià)指標(biāo)

（1）均方誤差（MSE）

均方誤差（mean square error，MSE）是指標(biāo)準(zhǔn)圖像與重建后圖像對(duì)應(yīng)像素點(diǎn)灰度值的均方誤差，它能反映兩張圖像全圖的逐像素點(diǎn)的差異。均方誤差越小在一定程度上能說(shuō)明重建效果越好。給定圖像尺寸為m×n，標(biāo)準(zhǔn)圖像I和重建后的圖像K的均方誤差計(jì)算公式為：

（2）峰值信噪比（PSNR）

由于均方誤差實(shí)質(zhì)上是用全圖的逐像素點(diǎn)取平均，無(wú)法衡量圖像物體邊緣這樣的局部差異，所以以均方誤差為評(píng)價(jià)指標(biāo)的算法結(jié)果往往與人眼主觀的視覺效果不一致。而峰值信噪比（peek signal-to-noise ratio，PSNR）是MR圖像重建結(jié)果的另一個(gè)重要評(píng)價(jià)指標(biāo)，它表示信號(hào)最大可能功率與均方誤差表示的噪聲功率的相對(duì)大小，峰值信噪比的計(jì)算公式如下：

其中，n表示圖像像素點(diǎn)灰度值位數(shù)，峰值信噪比的單位是分貝（dB），通常來(lái)說(shuō)更高的PSNR就顯示了更高的圖像質(zhì)量。

（3）結(jié)構(gòu)相似度（SSIM）

結(jié)構(gòu)相似度（structural similarity，SSIM）是對(duì)兩個(gè)圖像之間的亮度、對(duì)比度和結(jié)構(gòu)三個(gè)參數(shù)的綜合考量，通過(guò)三者之間的關(guān)系度量?jī)蓚€(gè)圖像之間的相似度。對(duì)于兩張圖像I與K，SSIM的計(jì)算公式如下：

其中，μI、μK分別代表I、K的平均值，σI、σK為I、K的標(biāo)準(zhǔn)差，σIK為I和K的協(xié)方差，而c1、c2為常數(shù)，避免分母為0帶來(lái)的系統(tǒng)錯(cuò)誤。

3.2 數(shù)據(jù)集

MRI重建常用的數(shù)據(jù)集有HCP、fastMRI和IXI等，數(shù)據(jù)集及具體的描述見表2。關(guān)于成像區(qū)域，主要是腦部和膝部，其次還有一些心臟成像的應(yīng)用。關(guān)于MR圖像的對(duì)比度，T1加權(quán)圖像和T2加權(quán)圖像是最常見的。

表2 常見MRI重建數(shù)據(jù)集Table 2 Common MRIreconstruction datasets

4 總結(jié)與展望

本文介紹了MRI重建問(wèn)題，然后分別從數(shù)據(jù)驅(qū)動(dòng)的端到端重建和模型驅(qū)動(dòng)的展開優(yōu)化重建兩方面對(duì)基于深度學(xué)習(xí)的MRI重建方法進(jìn)行了綜述，最后提供了常見評(píng)價(jià)指標(biāo)和數(shù)據(jù)集。當(dāng)前基于深度學(xué)習(xí)的MRI重建技術(shù)發(fā)展迅速，但仍面臨著許多挑戰(zhàn)，同時(shí)有一些值得關(guān)注的方向。

（1）數(shù)據(jù)集問(wèn)題

深度學(xué)習(xí)需要大量的數(shù)據(jù)集進(jìn)行訓(xùn)練才能獲得好的結(jié)果。對(duì)于醫(yī)學(xué)圖像處理來(lái)說(shuō)，深度學(xué)習(xí)方法面臨的最大挑戰(zhàn)之一是數(shù)據(jù)集與標(biāo)簽的稀缺。為了增加訓(xùn)練樣本的數(shù)量，一些研究采用了數(shù)據(jù)增強(qiáng)的方法。最主流的數(shù)據(jù)增強(qiáng)技術(shù)是翻轉(zhuǎn)和旋轉(zhuǎn)。其他的技術(shù)包括添加隨機(jī)噪聲、清晰度、對(duì)比度，以及使用不同加速比的圖像。除此以外，數(shù)據(jù)集的分布也是不均衡的，大部分醫(yī)療數(shù)據(jù)是正常病例，少數(shù)是異常病例。

（2）模型通用性

基于深度學(xué)習(xí)的MRI重建模型的另一個(gè)問(wèn)題是它們?nèi)狈?duì)不同數(shù)據(jù)集的通用性。只有少數(shù)研究顯示了其模型在不同數(shù)據(jù)集和噪聲水平下的通用性能。然而，一項(xiàng)研究顯示，T1 加權(quán)圖像的性能比FLAIR 圖像性能更好[78]，另一項(xiàng)研究顯示在含脂肪區(qū)域的重建誤差更高[79]。此外，如果沒有遷移學(xué)習(xí)，在自然或T1加權(quán)圖像上訓(xùn)練的深度學(xué)習(xí)模型不能在T2加權(quán)圖像上保持同等的性能。這些結(jié)果表明，相同的基于深度學(xué)習(xí)的MRI重建模型在不同的MR 掃描序列或解剖區(qū)域可能無(wú)法達(dá)到相同的性能。這與一些基于深度學(xué)習(xí)的方法，如VN、DAGAN 和DC-CNN 在輸入圖像的擾動(dòng)下的不穩(wěn)定性相關(guān)。

（3）新模型范式

近來(lái)，Transformer在各項(xiàng)計(jì)算機(jī)視覺任務(wù)中展現(xiàn)出先進(jìn)的性能，在MRI重建方面，也有很多工作利用Transformer或者將Transformer與CNN相結(jié)合取得了較之前以CNN 為基礎(chǔ)的模型更好的表現(xiàn)。這顯示出Transformer 成為MRI重建任務(wù)中新范式的潛力，同時(shí)這些工作也提到了當(dāng)前Transformer在面臨重建任務(wù)時(shí)的問(wèn)題，主要是模型參數(shù)量大以及依賴大量數(shù)據(jù)集訓(xùn)練，未來(lái)的工作也將從這兩方面進(jìn)行改進(jìn)。在更適合無(wú)監(jiān)督學(xué)習(xí)的生成模型方面，Diffusion作為近來(lái)興起的一類生成模型，在自然語(yǔ)言處理[80]、計(jì)算機(jī)視覺[81]、時(shí)間數(shù)據(jù)建模[82]、多模態(tài)建模[83]等領(lǐng)域都有豐富的應(yīng)用，并展現(xiàn)出與GAN、VAE 等生成模型相當(dāng)?shù)母?jìng)爭(zhēng)力，具體在MRI重建任務(wù)中，繁瑣的采樣步驟和較長(zhǎng)的擴(kuò)散過(guò)程是限制Diffusion廣泛應(yīng)用的主要原因。因此，在加速采樣的情況下保證高質(zhì)量的樣本是未來(lái)Diffusion 用于重建時(shí)追求的目標(biāo)。

（4）兩類模型統(tǒng)一

當(dāng)前基于深度學(xué)習(xí)的MRI重建方法主要分為數(shù)據(jù)驅(qū)動(dòng)的端到端重建和模型驅(qū)動(dòng)的展開優(yōu)化重建，兩類模型遵循的思路不同，各有優(yōu)劣。數(shù)據(jù)驅(qū)動(dòng)方法利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)大量的數(shù)據(jù)，通過(guò)不斷引入先驗(yàn)知識(shí)提高模型的性能。模型驅(qū)動(dòng)方法將傳統(tǒng)的優(yōu)化算法展開后嵌入到一個(gè)神經(jīng)網(wǎng)絡(luò)中，并通過(guò)多個(gè)網(wǎng)絡(luò)模塊的連接來(lái)模擬迭代計(jì)算的過(guò)程，在數(shù)據(jù)量小的時(shí)候也能得到不錯(cuò)的效果。兩類方法不斷地得到完善，互為補(bǔ)充，在未來(lái)可能可以相互結(jié)合或達(dá)到統(tǒng)一。