程 航, 蔡 昕, 姜小平, 楊 光, 賈守強(qiáng),聶生東

(1.上海理工大學(xué)健康科學(xué)與工程學(xué)院, 上海 200093;2.上海康達(dá)卡勒幅醫(yī)療科技有限公司, 上海 200444;3.華東師范大學(xué)物理與電子科學(xué)學(xué)院, 上海 200062;4.山東第一醫(yī)科大學(xué)附屬濟(jì)南人民醫(yī)院影像科, 山東 濟(jì)南 271100)

1 引言(Introduction)

磁共振成像(Magnetic Resonance Imaging, MRI)能夠提供對比度豐富、分辨率高的圖像,并且具有無創(chuàng)、無電離輻射等特點,被廣泛應(yīng)用于臨床診斷中。受物理因素的限制,MRI掃描時間較長,因此需對該過程進(jìn)行加速。常用的加速策略有兩種:①并行成像(Parallel Image, PI)[1],使用多組線圈同時采集信號;②壓縮感知(Compressed Sensing, CS)[2],只采集部分?jǐn)?shù)據(jù)點,從而減少采樣時間。通常,PI在不嚴(yán)重?fù)p失圖像質(zhì)量的情況下,加速因子為2或3,而CS能以更大的加速因子降采k空間(傅里葉空間)的信號。因此,基于CS降采樣的MRI(CS-MRI)重建技術(shù)成為近年來磁共振(Magnetic Resonance,MR)圖像重建方法領(lǐng)域的熱點研究內(nèi)容之一。

隨著深度學(xué)習(xí)技術(shù)在圖像處理領(lǐng)域大放異彩,為MR重建提供了新的工具,主流重建方法大致分為兩類:模型驅(qū)動(Model-Driven)與數(shù)據(jù)驅(qū)動(Data-Driven)。模型驅(qū)動是以特定的優(yōu)化方程為基礎(chǔ),通過數(shù)學(xué)推導(dǎo),使優(yōu)化方程變形為適合組成深度網(wǎng)絡(luò)的形式,并結(jié)合人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network, ANN)形成的一類重建方法。數(shù)據(jù)驅(qū)動則是完全使用ANN,如卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN[3])、對抗生成網(wǎng)絡(luò)(Generative Adversarial Network, GAN[4])等進(jìn)行重建的一類方法。本文主要介紹基于模型驅(qū)動與數(shù)據(jù)驅(qū)動的欠采樣磁共振成像重建算法,闡述它們各自的特點、發(fā)展情況及應(yīng)用場景,并對MR圖像重建技術(shù)未來的發(fā)展方向進(jìn)行展望。

2 數(shù)據(jù)驅(qū)動的重建方法(Data-driven reconstru-ction method)

隨著深度學(xué)習(xí)將各類ANN引入人們的視野,基于數(shù)據(jù)驅(qū)動,也稱端到端(End-to-End, E2E)[5]的重建方法應(yīng)運而生。數(shù)據(jù)驅(qū)動方法主要流程如圖1所示:首先,對MR圖像進(jìn)行預(yù)處理,如灰度標(biāo)準(zhǔn)化等;其次,構(gòu)建適用特定任務(wù)的神經(jīng)網(wǎng)絡(luò),使用訓(xùn)練集進(jìn)行網(wǎng)絡(luò)訓(xùn)練,使用驗證集與測試集評估網(wǎng)絡(luò)的性能;最后,對網(wǎng)絡(luò)的輸出進(jìn)行后處理,提升結(jié)果圖像的質(zhì)量。

圖1 基于數(shù)據(jù)驅(qū)動的MR圖像重建流程圖Fig.1 Flowchart of data-driven-based MR image reconstruction

2.1 基于CNN的重建方法

CNN通過多層卷積操作提取圖像中的信息,將信息整合得到最后的輸出。WANG等[3]使用一個3層的CNN重建降采樣的MR圖像,該網(wǎng)絡(luò)采用k空間填零重建后的圖像作為預(yù)訓(xùn)練的CNN輸入,最終生成全采樣圖像。然而,這樣的訓(xùn)練方法存在數(shù)據(jù)不穩(wěn)定的問題,即輸出的數(shù)據(jù)可能因為輸入數(shù)據(jù)的微小變動而發(fā)生大幅度改變,這不符合實際情況。為此,深度級聯(lián)神經(jīng)網(wǎng)絡(luò)(Deep Cascade CNN)[6-7]提出一種新的操作:數(shù)據(jù)一致性(Data Consistency, DC),該操作能有效防止網(wǎng)絡(luò)由于過擬合等因素導(dǎo)致重建結(jié)果對應(yīng)的k空間與真實k空間在數(shù)值上的不連續(xù)問題。針對Cartesian采樣的DC操作較為成熟,而針對non-Cartesian采樣的DC操作還存在諸多挑戰(zhàn)。為此,CHEN等[8]提出4種不同的用于non-Cartesian采樣的DC操作,并以U形網(wǎng)絡(luò)[9](U-Net)為重建網(wǎng)絡(luò)進(jìn)行了測試。結(jié)果顯示,相比不使用DC的重建圖像(NRMSE=0.169),使用conjugate gradient DC能獲得誤差最小的重建圖像(NRMSE=0.117)。GAN等[10]在使用CNN重建的基礎(chǔ)上,在網(wǎng)絡(luò)中加入另一個獨立的CNN用于圖像配準(zhǔn),以降低掃描過程中患者的運動對圖像質(zhì)量的損害。

U-Net[9]的編碼-解碼連接方式能提升深層卷積核的視野,為深層網(wǎng)絡(luò)提供更多上下文信息用于推斷。此外,U-Net中的跳躍連接使編碼特征與解碼特征融合,充分利用數(shù)據(jù)的全局特征,提高了重建圖像的質(zhì)量。王一達(dá)等[11]使用基礎(chǔ)U-Net作為網(wǎng)絡(luò),并利用數(shù)據(jù)擴(kuò)增技術(shù)獲得包含100萬張2D MR圖像的訓(xùn)練集,最終重建圖像的SSIM達(dá)到0.93。EO等[12]提出KIKI-net用于圖像域與k空間的雙域卷積,彌補(bǔ)了以往單域重建工作中,對另一域數(shù)據(jù)利用不充分的缺陷。張登強(qiáng)等[13]提出的雙域并行編解碼網(wǎng)絡(luò)(DPC-Net),使用2個U-Net進(jìn)行雙域重建。相較于KIKI-net,DPC-Net中用于重建k空間的U-Net會將每一層特征圖經(jīng)過逆傅里葉變換后與用于重建圖像域U-Net的對應(yīng)層特征圖相加,實現(xiàn)了雙域間的特征融合。

殘差(Residual)結(jié)構(gòu)由卷積層與殘差連接組合而成,殘差連接將卷積層的輸入與輸出相加,能有效提高網(wǎng)絡(luò)的抗干擾能力。DUAN等[14]將殘差結(jié)構(gòu)與密集連接思想結(jié)合的網(wǎng)絡(luò)模塊(Residual Dense Block, RDB)進(jìn)行級聯(lián),設(shè)計出用于重建肺形態(tài)學(xué)測量的擴(kuò)散加權(quán)磁共振成像(DW-MRI)的新網(wǎng)絡(luò),并從統(tǒng)計學(xué)的角度證明,金標(biāo)準(zhǔn)圖像與重建圖像之間沒有顯著性差異。WU等[15]提出的T-Net,將殘差結(jié)構(gòu)與層級化的網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合。層級結(jié)構(gòu)提高了特征圖的稀疏性并擴(kuò)大了感受野,而殘差結(jié)構(gòu)補(bǔ)償了層級結(jié)構(gòu)運算中的細(xì)節(jié)損失。

2.2 基于GAN的重建方法

YANG等[4]使用U-Net代替CNN作為GAN的生成器,以獲得更豐富的重建細(xì)節(jié)。同時,使用VGG作為特征提取器,以生成器生成的圖像與真實圖像之間為輸入,將輸出作為判別器損失函數(shù)值的一部分。BELOV等[16]利用GAN與CNN結(jié)合進(jìn)行了一系列實驗。他們將輸入圖像的長和寬各縮小一倍,對縮小圖像的k空間進(jìn)行降采樣,并使用超分辨率GAN(SRGAN[17])與U-Net的不同組合形式,對圖像進(jìn)行重建與提升分辨率。結(jié)果發(fā)現(xiàn),先使用SRGAN提升分辨率,再使用U-Net去偽影,對圖像質(zhì)量的提升效果最好。LIU等[18]將注意力機(jī)制引入以U-Net作為GAN的生成器,使網(wǎng)絡(luò)依據(jù)數(shù)據(jù)自適應(yīng)地選取更有價值的信息。LV等[19]在生成器中融合了正則化操作,并在圖像域與k空間都運用增加了pixel-wise的混合損失函數(shù)。LI等[20]在以U-Net為生成器的GAN中加入了基于空間與通道的注意力機(jī)制?？臻g注意力機(jī)制先獲取該層所有特征圖的均值特征圖,在均值特征圖中學(xué)習(xí)應(yīng)關(guān)注的特征,便于準(zhǔn)確定位有效信息?；谕ǖ赖淖⒁饬C(jī)制獲取通道維的全局平均池化,便于重建圖像的細(xì)節(jié)部分。

綜上,基于數(shù)據(jù)驅(qū)動的重建方法,利用不同類型的ANN對MR圖像進(jìn)行重建。這些方法的性能主要取決于網(wǎng)絡(luò)自身結(jié)構(gòu)與訓(xùn)練數(shù)據(jù)量。網(wǎng)絡(luò)自身結(jié)構(gòu)旨在整合網(wǎng)絡(luò)各層次特征,提升重建效果,如上述的跳躍連接及殘差連接。數(shù)據(jù)量越大,意味著可學(xué)習(xí)的樣本越多,網(wǎng)絡(luò)的性能就越穩(wěn)定,泛化能力也越強(qiáng)。此外,基于GAN的重建方法,設(shè)置判別器損失函數(shù)也十分重要。不同的損失函數(shù)具有不同的特性,例如l2損失能夠保存圖像的主要結(jié)構(gòu);l1損失能丟棄一些低強(qiáng)度噪聲,提升分辨率[21]。因此,選擇適用于特定任務(wù)的一個或多個損失函數(shù)組合能夠提升網(wǎng)絡(luò)的性能表現(xiàn)。然而,數(shù)據(jù)驅(qū)動方法也存在如下不足:①訓(xùn)練數(shù)據(jù)都是有偏差的,導(dǎo)致模型也存在偏差,難以泛化;②數(shù)據(jù)驅(qū)動加重了ANN的“黑箱”特性,網(wǎng)絡(luò)具體獲取了哪些特征更難判斷。

3 模型驅(qū)動的重建方法(Model-driven recons-truction method)

模型驅(qū)動的重建方法,也稱優(yōu)化展開(Unrolled Optimiza-tion, UO),是傳統(tǒng)重建算法與ANN和深度學(xué)習(xí)思想結(jié)合的方法。傳統(tǒng)重建算法存在耗時長、精度低等缺陷且難以在高降采率圖像上獲得較好的重建結(jié)果。模型驅(qū)動方法可避免復(fù)雜的人為操作,如正則函數(shù)、稀疏函數(shù)的選擇等,并且對于輸入與輸出之間強(qiáng)大的非線性映射能力,更適用于處理復(fù)雜的醫(yī)學(xué)圖像。模型驅(qū)動方法有3個關(guān)鍵因素:數(shù)學(xué)模型、優(yōu)化方法和深度網(wǎng)絡(luò)。數(shù)學(xué)模型是UO的基石,從理論上建立輸入數(shù)據(jù)到輸出數(shù)據(jù)之間的映射關(guān)系。優(yōu)化方法是網(wǎng)絡(luò)內(nèi)參數(shù)更新的具體過程,如梯度下降法(Gradient Descent, GD)、交替乘子法(Alternating Direction Method of Multiplier, ADMM)等。深度網(wǎng)絡(luò)是優(yōu)化方法展開的結(jié)果。UO使用帶有自由參數(shù)的網(wǎng)絡(luò)模塊代替?zhèn)鹘y(tǒng)優(yōu)化方法中的方程,再將這些網(wǎng)絡(luò)模塊組合成一個完整的重建步驟。通過重建步驟間的級聯(lián)操作形成深度網(wǎng)絡(luò)。這樣的網(wǎng)絡(luò)具有清晰的數(shù)學(xué)結(jié)構(gòu),因此可以根據(jù)先驗知識,對網(wǎng)絡(luò)中的特定部分進(jìn)行修改。模型驅(qū)動方法的主要流程如圖2所示。

圖2 基于模型驅(qū)動的MR圖像重建流程圖Fig.2 Flowchart of model-driven-based MR image reconstruction

3.1 單輸入單輸出型重建模型

單輸入單輸出(Single In Single Out, SISO)的重建模型所需的輸入數(shù)據(jù)為單線圈的MR圖像。獲取這類圖像通常需要將多線圈的k空間數(shù)據(jù)做傅里葉逆變換得到每個通道對應(yīng)的圖像域數(shù)據(jù),再進(jìn)行通道合并獲得。這樣處理的優(yōu)勢在于輸入輸出數(shù)據(jù)簡單、直觀,劣勢在于丟失了線圈之間的信息。

受ADMM的啟發(fā),YANG等[22]以ADMM為優(yōu)化方法,設(shè)計出Generic-ADMM-CSNet(簡稱ADMM-CSNet)。ADMM-CSNet讓稀疏變換和輸入數(shù)據(jù)解耦,使網(wǎng)絡(luò)能夠?qū)R圖像外的自然圖像進(jìn)行處理。此外,ADMM-CSNet能夠處理復(fù)數(shù)格式的輸入數(shù)據(jù)。本文使用磁場強(qiáng)度為3 T的MRI掃描儀獲取的腦部數(shù)據(jù)與胸部數(shù)據(jù)作為測試集證明ADMM-CSNet的重建圖像質(zhì)量更高。但是,ADMM-CSNet存在只處理單線圈數(shù)據(jù),而不能處理多線圈數(shù)據(jù)的缺陷。

迭代閾值收縮網(wǎng)絡(luò)(ISTA-Net[23])是以迭代閾值收縮算法(Iterative Shrinkage Thresholding Algorithm, ISTA)為優(yōu)化方法,創(chuàng)新地使用了一個能在訓(xùn)練過程中顯式地學(xué)習(xí)稀疏變換的CNN模塊。ISTA-Net+[23]將殘差結(jié)構(gòu)與ISTA-Net融合,增強(qiáng)了原網(wǎng)絡(luò)的穩(wěn)定性。此外,ISTA-Net+在不同層之間進(jìn)行參數(shù)共享,在完全共享參數(shù)的條件下,網(wǎng)絡(luò)參數(shù)比完全不共享參數(shù)低一個數(shù)量級,而PSNR僅降低0.83。ISTA-Net++[24]提出動態(tài)展開策略(Dynamic Unfolding Strategy, DUS),將采樣率也作為輸入數(shù)據(jù)的一部分,通過網(wǎng)絡(luò)內(nèi)的卷積層獲取輸入的降采樣圖像與降采樣率之間的關(guān)系,實現(xiàn)了同一網(wǎng)絡(luò)重建不同降采樣率的圖像。

3.2 多輸入多輸出型重建模型

在實際采樣過程中,往往采用多線圈進(jìn)行采樣,而線圈之間的信號存在一定冗余,有效利用這些冗余信號能夠讓我們以更大的加速因子進(jìn)行降采。多輸入多輸出(Multi In Multi Out, MIMO)的重建模型以不同線圈信號作為輸入,彌補(bǔ)了SISO中損失的線圈間特征。

HAMMERNIK等[25]以梯度下降法(Gradient Descent,GD)作為優(yōu)化方法,設(shè)計出能用于重建多通道數(shù)據(jù)的變分網(wǎng)絡(luò)(Variational Net, VN)。VN中通過傳統(tǒng)方法計算得到的敏感度圖,需要使用k空間的ACS(Auto Calibration Signal),即全采的低頻信號。這導(dǎo)致k空間中心區(qū)域采集的信號增多,采樣時間加長。為此,SRIRAM等[26]提出了一種改進(jìn)的VN:端到端的變分網(wǎng)絡(luò)(End-to-End VarNet)。他們使用一個獨立的U-Net從訓(xùn)練過程中學(xué)習(xí)敏感度圖,使網(wǎng)絡(luò)只需獲取少量ACS數(shù)據(jù),也能準(zhǔn)確計算出敏感度圖,從而提高了降采率。AGGARWAL等[27]提供了結(jié)合了深度學(xué)習(xí)先驗信息的模型驅(qū)動方法的系統(tǒng)性設(shè)計過程。此外,重建步驟間的權(quán)重共享能使收斂性與網(wǎng)絡(luò)復(fù)雜度解耦,避免在網(wǎng)絡(luò)中增加重建步驟時,同步增加網(wǎng)絡(luò)參數(shù)量導(dǎo)致過擬合。AGGARWAL等[28]提出的基于模型的聯(lián)合深度學(xué)習(xí)方法(J-MoDL)將采樣矩陣作為可學(xué)習(xí)的參數(shù),與重建過程一起訓(xùn)練,并指出網(wǎng)絡(luò)可能會由于優(yōu)化問題的高度非凸性而陷入局部最小值,而SGD能有效地找到較優(yōu)解。

綜上,基于優(yōu)化展開的方法將傳統(tǒng)優(yōu)化方法與CNN結(jié)合,使網(wǎng)絡(luò)依據(jù)訓(xùn)練數(shù)據(jù)學(xué)習(xí)傳統(tǒng)方法中需要人為設(shè)定的函數(shù),減輕人為交互的負(fù)擔(dān)與不確定性。對部分優(yōu)化展開方法的總結(jié)如表1所示。基于優(yōu)化展開方法存在如下問題:①大部分工作針對實數(shù)圖像開展。直接從MR儀器上獲取的數(shù)據(jù)通常為多通道的復(fù)數(shù)數(shù)據(jù),實數(shù)數(shù)據(jù)只保留了原始復(fù)數(shù)數(shù)據(jù)的幅值信息,損失了相位信息。②這類算法都依托于特定的優(yōu)化方法,導(dǎo)致對重建方法的改進(jìn)會受到原有方程形式的限制,改進(jìn)空間有限。③基于二維與三維網(wǎng)絡(luò)的工作較多,而基于四維網(wǎng)絡(luò)的工作較少。KüSTNER等[29]在三維重建網(wǎng)絡(luò)的基礎(chǔ)上,增加時間維度,實現(xiàn)對高維數(shù)據(jù)的重建。由于增加了一個維度的信息,數(shù)據(jù)的冗余度增大,因此可以使用更高的降采率,進(jìn)一步縮短了采樣的時間,更容易滿足實時重建對速度的要求。

表 1 5種優(yōu)化展開方法總結(jié)Tab.1 Summary of five unrolled optimization methods

4 挑戰(zhàn)與未來工作(Challenges and prospects for future work)

隨著MR數(shù)據(jù)集的擴(kuò)充與高性能網(wǎng)絡(luò)架構(gòu)的提出,基于深度學(xué)習(xí)的重建算法顯現(xiàn)出比傳統(tǒng)方法更大的潛力,但仍存在值得深入研究的問題。

(1)網(wǎng)絡(luò)設(shè)計。UO的優(yōu)勢在于具有清晰的數(shù)學(xué)結(jié)構(gòu),能使網(wǎng)絡(luò)迅速收斂,并達(dá)到較高的重建效果;缺點在于網(wǎng)絡(luò)體積較大,學(xué)習(xí)能力較弱。E2E則與此相反,它的網(wǎng)絡(luò)體積小,訓(xùn)練速度快,學(xué)習(xí)能力的強(qiáng)弱與所使用的網(wǎng)絡(luò)緊密相關(guān);但這類網(wǎng)絡(luò)必須要經(jīng)過長時間的迭代才能達(dá)到一定的精度,未來如果能在此基礎(chǔ)上加入一些先驗知識,就能在保持網(wǎng)絡(luò)學(xué)習(xí)能力的同時,減少網(wǎng)絡(luò)的訓(xùn)練時間。如今,越來越多的實驗將二者的特性更為緊密地結(jié)合在一起,因此混合式重建模型將更具潛力。

(2)并行成像的壓縮感知混合(PI-CS)。隨著網(wǎng)絡(luò)與硬件技術(shù)的不斷發(fā)展,研究人員可以使用性能更強(qiáng)的網(wǎng)絡(luò)在更大的數(shù)據(jù)集上更快地訓(xùn)練所需的模型。對于單一的CS或PI任務(wù)而言,已有很多工作能夠?qū)崿F(xiàn)在4倍、8倍乃至更高的加速因子下完成MRI重建任務(wù)。為了實現(xiàn)更高速的采樣,就需要在單次掃描中創(chuàng)造更多的信息冗余,而PI正好能滿足要求。已有文獻(xiàn)對PI+CS這樣的混合加速模式進(jìn)行探索[25-26,30],因此PI-CS的降采樣模式勢必會成為未來的研究熱點。

(3)多模態(tài)。在MRI重建領(lǐng)域另一個值得關(guān)注的點是多模態(tài)或多對比度重建。使用特定序列進(jìn)行成像,能在一次掃描中獲得多種對比度的輸出,使圖像中信息的集中度不同,為重建帶來更豐富的信息[31]。目前的重建工作大多在單一對比度的數(shù)據(jù)上表現(xiàn)良好,但缺少在其他對比度數(shù)據(jù)集上的泛化能力。解決該問題的通常做法是遷移學(xué)習(xí),將已訓(xùn)練好的模型在新數(shù)據(jù)集上再次訓(xùn)練,但會增加時間成本。對模型使用多模態(tài)數(shù)據(jù)進(jìn)行訓(xùn)練能增強(qiáng)模型泛化能力,使模型預(yù)先適應(yīng)不同模態(tài)的圖像,節(jié)省使用遷移學(xué)習(xí)所帶來的額外開銷。此外,ISAT-Net++提出的DUS,將不同的CS采樣率作為網(wǎng)絡(luò)的一項輸入,使最終訓(xùn)練完成的網(wǎng)絡(luò)可以適應(yīng)不同CS采樣率的MR圖像,相似的方法也可以用來訓(xùn)練能適應(yīng)不同模態(tài)圖像的模型。

5 結(jié)論(Conclusion)

本文主要介紹了深度學(xué)習(xí)技術(shù)在磁共振圖像重建領(lǐng)域中的兩種具體應(yīng)用,即模型驅(qū)動與數(shù)據(jù)驅(qū)動。無論是模型驅(qū)動還是數(shù)據(jù)驅(qū)動,都越來越緊密地同深度學(xué)習(xí)結(jié)合起來,以實現(xiàn)更高的采樣倍率以及更優(yōu)的重建效果,但仍有問題亟待解決。未來,應(yīng)繼續(xù)深入挖掘深度學(xué)習(xí)的優(yōu)勢,并將這些優(yōu)勢同MR圖像重建任務(wù)結(jié)合起來,進(jìn)一步提升重建圖像質(zhì)量,為MR圖像降采樣技術(shù)實現(xiàn)更好的臨床應(yīng)用而不斷努力。