劉羽軒,楚智欽,張煜
南方醫(yī)科大學生物醫(yī)學工程學院//廣東省醫(yī)學圖像處理重點實驗室,廣東 廣州510515
多回波多參數(shù)定量磁共振成像(qMRI)是一種定量MRI[1]的成像技術,它利用多回波圖像獲得多對比度圖像來量化組織性質。與廣泛使用的定性MRI有很大不同的是,定量MRI通過獲得多對比度圖像來重建參數(shù)圖,如定量質子密度加權(PDW)、T1弛豫時間等組織參數(shù)映射、定量T2*Map[2,3]映射等。這種多參數(shù)圖可以提供關于醫(yī)學圖像解剖結構特征的互補的定量信息,為特定的組織組成和微觀結構提供更多的見解。然而,多參數(shù)MRI需要對解剖結構進行多次成像,通過多個翻轉角(FA)、回聲時間(TE)和重復時間(TR)產生不同的對比進行參數(shù)量化。對所有組織類型的時間信號演化的要求可能導致過長的掃描時間,這將增加個體的不適感和在采集過程中產生運動偽影。因此,在保持良好圖像質量的同時,開發(fā)一種加速多參數(shù)MRI成像的重建技術至關重要。
從欠采樣的k空間重建高質量圖像是加速多對比度磁共振成像的主要策略,但這是一個沒有解析解的逆問題。對于定量MRI,傳統(tǒng)的定性MRI重建方法如并行成像[4-6](PI)和壓縮感知[7-9](CS)可以獲得多對比度圖像,然后采用物理模型進行參數(shù)圖估計。然而,當加速速率較高時,這些傳統(tǒng)的方法會出現(xiàn)殘留的偽影混疊現(xiàn)象。基于深度學習的MRI 重建方法已被提出[10],包括獨立的去噪網絡和解卷級聯(lián)網絡[11,12]?;诰矸e神經網絡[13-23](CNNs)的方法被提出來去進一步增加加速因子和提高重建質量。遺憾的是,這些研究沒有充分利用輸入數(shù)據,特別是在處理小數(shù)據集的時候。例如,在一些研究中[11,14-20,23],輸入數(shù)據只在圖像域進行處理,而在頻域和圖像域同時進行處理可以獲得更好的圖像重建效果[13,21,22]。此外,生成對抗網絡(GANs)也被用于MRI重建工作[24-26],這些方法通過引入GAN來讓輸出的重建圖像學習全采樣圖像的數(shù)據分布,但它們無法與同時涉及多域聯(lián)合訓練的方法相比。并且,使用相同的U-Net網絡,特別是簡單的池化和上采樣層應用于頻域和圖像域信息,對頻域恢復和圖像重建并不是最合適的[27]。另一方面,單一地使用像素差值類型的損失函數(shù)并不能充分約束重建損失以提高重建圖像的質量,重建的質量并不只受到像素之間差值的影響,也與圖像的對比度、亮度和相似性有關[28]。
除了網絡結構設計問題外,數(shù)據的預處理和使用顯得更為重要。例如,數(shù)據的不正確處理又會導致很多算法都只能止步于實驗階段,缺乏實時性也無法真正落地即實驗與真實場景使用數(shù)據形式不一致。其次,醫(yī)學圖像數(shù)據的收集困難,通常只能從少量的樣本中提取信息,但是,要想進行有效的深度學習訓練,就必須收集大量的訓練數(shù)據。通過結合物理驅動的深度學習重建方法,可以有效地解決k空間到圖像域或者圖像域之間的映射問題,從而提高模型的泛化能力,減少訓練數(shù)據量,并且可以更好地學習和預測模型的最優(yōu)參數(shù)。然而,在許多加速定量磁共振成像研究中[29-32],采樣數(shù)據的選擇和網絡結構的設計仍然沒有擺脫單線圈數(shù)據的使用和基于數(shù)據驅動處理的模式弊端。而我們都知道,實際使用大多都是多線圈數(shù)據,將傳統(tǒng)重建方法中的物理原理和深度學習結合起來,能實現(xiàn)比基于數(shù)據驅動方式更好的結果。
本研究所提出的框架由兩個部分組成(圖1)。第一部分是利用深度學習網絡對多回波圖像進行重建。然后利用重建后的多回波圖像進行基于物理模型的最小二乘擬合以獲得多對比度多參數(shù)圖像。給定欠采樣的多回波梯度回波序列 k 空間數(shù)據Y={Y1,Y2,…,YT}∈CT×C×N,其中N=Nx×Ny,并且Yi∈CC×N,其中i=1,2,…,T是第i個多線圈復值欠采樣回波k空間數(shù)據,N表征每個線圈數(shù)據的像素數(shù)量以及C為總的線圈數(shù),T是總的回波數(shù)。由于二維多回波多線圈數(shù)據的巨大內存消耗,本研究在讀出方向(RO)中執(zhí)行二維圖像重建,在RO方向全采樣而相位編碼(PE)和空間相位編碼(SPE)其他兩個方向則處于欠采樣的條件約束。Nz表示讀出方向上的總層數(shù),其中(s=1,2,…,Nz)。為了更好的描述多回波磁共振成像系統(tǒng),本研究定義:
圖1 網絡框架Fig. 1 Overall architecture of the proposed method.
其中X∈CT×N表示重建的多回波圖像,并且b∈CT×C×N表示高斯噪聲,這有利于異常點的重建。操作算子A作用于系統(tǒng)矩陣并且通??梢员欢x為:
其中M={M1,M2,…,MT}表示多回波采樣矩陣,每個矩陣Mi∈{0,1}N×N,F(xiàn)表示二維離散傅里葉變換,S∈CC×N×N表示線圈敏感度圖。
由于加速MRI重建是一個沒有解析解的逆問題,需要對輸出圖像X進行正則化來限制解空間。通常,優(yōu)化問題可以表述為:
以λ∈R作為平衡數(shù)據保真度項和正則化項R(X)的權重。為了同時有效地處理實部和虛部數(shù)據,本研究將Y分為實部和虛部兩個通道送入到本研究的重建網絡中。本研究的網絡包含生成器和判別器,它們迭代數(shù)為p(p=1,2,…,K)次,K為總的迭代次數(shù),每次迭代后網絡的性能都會得到提升。圖2A展示了所提出的網絡架構,我么可以將重建的回波圖像進行后處理以得到多參數(shù)多對比度的圖像例如PDW、T1W以及T2*Map。合成的方法如下所示:
圖2 基于物理模型的級聯(lián)的生成對抗網絡的多回波磁共振重建框架圖Fig. 2 The physical model-based framework for accelerating multi-echo MRI reconstruction with cascaded generative adversarial networks.Where A-D represent the overall network framework,the complete generator structure,the K-space and image generator and E,F denote the MSFS and CSRB module separately
Xi∈CN表示重建的單個回波圖像,T2*Map映射計算采用MDI方法[3]。
生成器(G)由k空間生成器Gf、圖像生成器Gi、線圈敏感度圖生成器Gs和數(shù)據一致性層[12](DC)組成。一次迭代后,圖像生成器的輸出將被輸送到上一個的k空間生成器中以提供額外的監(jiān)督信息。k空間生成器、圖像生成器和數(shù)據一致性層的每次迭代都共享相同的參數(shù)。生成器的優(yōu)化過程如下所示:
生成器的結構如圖2B所示。
1.2.1k空間生成器 在k空間生成器中,卷積層由3×3×3 卷積核、實例歸一化(IN)層和校正線性操作單元(LReLU)組成。具體來說,最后一層只有1×1×1的卷積運算。由于輸入的不是真正意義上的三維數(shù)據,而是多回波二維數(shù)據,因此僅在二維空間減少特征圖像分辨率大小,而卷積操作仍然在三維空間中進行。k空間信號具有全局信息。為了避免特征空間中頻域信息的丟失,本研究提出采用多尺度特征融合采樣層(MSFS)來代替池化層和上采樣層。此外,本研究使用預訓練網絡提供偏移校正的頻域信息,以獲得接近全采樣頻域信息的頻域特征圖。
預訓練的網絡是U-Net。本研究只在第一次迭代網絡中引入預訓練網絡。MSFS模塊的詳細結構如圖2E 所示。其中,B為批處理大小,E為通道數(shù),T×H×W為三維特征圖的維度。本研究定義第p個k空間生成器的輸入為Yp,第p個k空間生成器的損失包含均方誤差損失,可以表示為:
1.2.2 圖像生成器 圖像生成器使用與k空間生成器相同的卷積、歸一化和激活函數(shù),但將池化層替換為卷積核為3×4×4 步幅為2的卷積。本研究定義第p個圖像生成器的輸入為Xp,由圖像域與頻域之間的關系可得到:
其中F-1表示二維離散逆傅里葉變換。由于多回波二維圖像丟失了三維空間結構信息,因此利用特征圖通道殘差塊和空間特征表示模塊(CSRB)增強特征信息是解決空間結構變化引起的結構信息丟失問題的可行方法。CSRB模塊的詳細結構如圖2F所示。此外,本研究使用了絕對誤差損失、均方誤差損失、梯度差異損失和結構相似性損失[29]的組合損失函數(shù)來保持良好的圖像細節(jié)。絕對誤差損失L1和均方誤差損失L2可以表征為像素誤差損失。本研究定義第p個圖像生成器的像素誤差損失為:
實際上,在系統(tǒng)矩陣A中,線圈靈敏度圖S也是未知的,需要進行估計。需要注意的是,由同一線圈獲得的多回波數(shù)據具有相同的靈敏度圖S。本研究采用UNet作為線圈敏感度圖生成器,其可以表示為:
其中,RSS表示平方求和開根運算符。
判別器采用PatchGAN結構[33]。直接端到端映射將影響多回波圖像重建質量。因此,結合來自迭代網絡的每個損失,可以有效地提取潛在信息,提高模型的表達能力。為了讓迭代網絡的每個損失更加符合模型的訓練過程,本研究基于指數(shù)衰減的模型[12,13]的總損失可以表示為:
其中mul表示逐元素相乘算子。
使用python stats 庫中的t檢驗來計算P值,當P<0.05時認為差異有統(tǒng)計學意義。
本研究使用了三維MULTIPLEX(MTP)獲得的多回波多線圈內部數(shù)據,這是最近提出的一種用于多參數(shù)腦映射的新序列[34]。特別的是,MTP是一種具有雙重復時間(TR)、雙翻轉角度(FA)和多回波設計的梯度回波脈沖序列(GRE),以提供不同的對比度。MTP采集在3T掃描儀(890)上采用32通道頭線圈,使用以下參數(shù):FA1/FA2=4/16,每個翻轉角獲取6~8個回波同時回波時間(TE)=3.9~20.8ms,兩個TR的值都為34.5ms,矩陣大小為256×256×80,體素大小為1×1×2mm3。本研究可以靈活的設計MTP序列的參數(shù)比如TR,TE,F(xiàn)A,層厚以及FOV。數(shù)據集包含20名受試者,共計284個回波,每一個全采樣受試者的中心40個切片,包含相應的腦組織,16/2/2名受試者(640/80/80)切片作為訓練、驗證和測試,一個完整的受試者的全采樣圖像所需時間為14 min。
本研究對比了傳統(tǒng)方法ESPIRIT[35],級聯(lián)CNN網絡(DC-UNet)[18],生成對抗網絡[27]和本研究設計的方法(ME-DCGAN)。所有模型都在PyTorch中訓練,使用NVIDIAGeForce RTX 3090顯卡和24GB GPU內存,使用Adam優(yōu)化器,參數(shù)β1=0.5 以及β2=0.999,學習率為1e-3,共訓練50次,批處理大小為1。所有對比方法均使用它們的默認參數(shù)設置重新訓練。評價指標包括峰值信噪比(PSNR)、結構相似指數(shù)(SSIM)和歸一化均方根誤差(NRMSE)。本研究應用權重變量[ε,α,β,γ,ω]的權值為[5,1000,1000,0.001,1],判別器損失函數(shù)的權值設為0.1。增加展開級聯(lián)迭代次數(shù)會增加計算成本,初步實驗表明,當?shù)螖?shù)超過3次時,重建效果不明顯。因此,本研究使用最大迭代次數(shù)p為3來訓練所提出的模型。
對所有重建的多回波圖像和多對比度圖像而言,ME-DCGAN 模型的PSNR 和SSIM 最高,NRMSE 最低,與傳統(tǒng)ESPIRIT方法相比,重建指標PSNR、SSIM和NRMSE的提升接近20%,與基于深度學習的對比方法DC-UNet[18]和Shaul[27]相比,其指標也能提升5%左右(表1)。本文中所有的方法均使用python stats庫中的t檢驗來計算P值,計算結果表明重建的多回波圖像和擬合的多參數(shù)圖像與全采樣的圖像相比均具有統(tǒng)計學意義(P<0.05)。對于重建后的多回波圖像,對比方法在擬合過程中均使用相同的物理模型獲取多對比度多參數(shù)圖像。因此,對于多對比度多參數(shù)圖像,本研究的方法在PDW和T1W具有最高的PSNR。盡管T2*Map的PSNR較低,但本研究的方法仍然在定量上優(yōu)于其它的對比方法,并且本研究的方法也重建出更為清晰的大腦灰質、白質和腦脊液特征。雖然DC-UNet通過級聯(lián)多個圖像域U-Net去噪網絡恢復了較為精確的圖像細節(jié),但是只需級聯(lián)一次的ME-DCGAN網絡比級聯(lián)三次的DC-UNet具有更好的圖像細節(jié)和特征恢復性能,更高的重建指標以及更魯棒的實驗過程與結果分析。這表明了在模型參數(shù)量大致相等的情況下混合域學習具有比單域學習更大的優(yōu)越性以及對圖像細節(jié)的敏感性。本研究方法的重建指標對比Shaul等[27]的工作表明使用相同的網絡結構在頻域恢復和圖像重建中并不是最合適的。由于頻域與圖像域的差異,我們需要設計不同的網絡結構來特具化地恢復頻域與圖像域的信息。實驗采用5倍加速度下的二維變分密度采樣。在5倍加速條件下,基礎的采樣時間縮短為172 s。由于不同的方法迭代時間不一致,而ESPIRIT作為傳統(tǒng)的壓縮感知方法,重建所需時間會大于基于深度學習的方法,而對物理模型的擬合過程也需要少量的時間??偟膩碚f,本研究的方法在重建時間不超過10%的前提下能顯著優(yōu)于其它對比方法。
表1 在重建的多回波圖像和多對比度圖像中進行不同方法實驗的比較Tab.1 Comparisons of different methods for reconstructing multi-echo images and multi-contrast images
由于篇幅限制,本研究只展示了2個回波,以及展示了PDW、T1W和定量T2*Map映射下的多對比度圖像(圖3、4)。綜上所述,ME-DCGAN在迭代次數(shù)p=3的條件下具有最佳的圖像細節(jié)恢復表現(xiàn)。
圖3 在多回波圖像上的5倍變分密度加速下的視覺結果Fig. 3 Results of 5×variable density acceleration of the multi-echo images.
圖4 在多參數(shù)圖像上的5倍變分密度加速下的視覺結果Fig. 4 Results of 5×variable density acceleration of the multi-parametirc maps.
雖然本研究的方法實現(xiàn)了具有競爭力的重建性能,但仍然存在以下問題。首先,組合損失函數(shù)的最優(yōu)權值難以確定。其次,由于物理模型假設“完美”圖像質量,容易受到欠采樣偽影的影響。表2中的指標均采用了與表1相同的P值計算方法(P<0.05)。因此通過基于物理模型的最小二乘擬合并不是獲得多對比度圖像的最佳方法。我們可以利用神經網絡來逼近最優(yōu)參數(shù)映射。最后,由于我們使用小的內部數(shù)據集,因此需要在更多的數(shù)據集上驗證方法的有效性。
表2 在重建的多回波圖像中進行消融實驗的比較Tab.2 Ablation experiments of the reconstructed multi-echo images using different methods
而在本研究對不同模塊和損失函數(shù)評估的消融實驗中,本研究將通過實驗結果與分析來評估關鍵組件的有效性。由于篇幅限制,消融實驗將在迭代次數(shù)p=1并且5倍加速度下的二維變分密度采樣條件下比較。表2 展示了引入的模塊和損失函數(shù)對重建性能的影響。表2表明添加不同損失和不同結構模塊均能有效的提高多回波圖像的重建質量,并且從指標上的差距可知MSFS和CSRB模塊對改善多回波圖像重建質量具有最大的幫助。不僅如此,沒有任何額外網絡結構和損失函數(shù)的實驗結果也已經超越了DC-UNet和Shaul等的方法,并且隨著相應結構和損失函數(shù)的增加,本研究的方法均能獲得更好的重建指標與實驗表現(xiàn)。
近年來,卷積神經網絡、生成對抗網絡等技術被應用于磁共振重建領域,然而,目前深度學習的重建方法面臨許多問題,比如輸入數(shù)據利用不充分[11,14-20,23-26]、網絡結構特異性較差[27]、數(shù)據使用形式不符合臨床要求[11,13-27,29-32]、損失函數(shù)過于簡單導致重建圖像的質量受到影響[11-24,26,27,29-31]以及數(shù)據驅動導致模型擬合能力差[29-32]等問題。對此,本研究提出了一種基于物理模型的級聯(lián)生成對抗網絡的加速定量磁共振成像方法。
在該方法中,針對輸入數(shù)據只在圖像域進行處理的問題,本研究提出了頻域、圖像域、距離域多域聯(lián)合學習方法;針對網絡結構特異性較差的問題,本研究自適應地優(yōu)化k 空間生成器和圖像生成器結構來增強圖像特征信息以獲得高質量的重建圖像;針對實時性和數(shù)據的不正確處理導致的實驗與真實場景使用數(shù)據形式不一致問題,本研究使用原始的多回波多線圈數(shù)據而不是將線圈組合后的數(shù)據去訓練來加速多對比度多參數(shù)磁共振圖像重建;針對小數(shù)據集和沒有使用磁共振物理原理導致的模型擬合能力差的問題,本研究提出了基于物理驅動的深度學習重建方法,通過建立系統(tǒng)矩陣函數(shù)而不是直接通過模型端到端訓練的方式來增加模型的泛化能力和提高模型性能??偟亩?,本研究的貢獻如下:本研究使用多回波梯度回波脈沖序列(GRE)信號作為輸入,目的是重建多回波圖像并生成多對比度多參數(shù)圖像,這極大地擴展了多回波GRE 在加速磁共振成像上的理論研究基礎和應用范圍。并且本研究提出了一種基于物理模型的級聯(lián)生成對抗網絡,該網絡利用多域信息聯(lián)合訓練以及通過系統(tǒng)矩陣學習圖像重建所需的關鍵參數(shù),并自適應地優(yōu)化k 空間生成器和圖像生成器結構來增強圖像特征信息以獲得高質量的重建圖像。此外,本研究使用原始的多回波多線圈數(shù)據而不是將線圈組合后的數(shù)據去訓練,以確保實驗與真實場景使用數(shù)據形式一致。最后,本研究提出了一種組合損失函數(shù),并分配適當?shù)膿p失函數(shù)權重以提高圖像整體的重建質量。
但是目前基于深度學習的重建方法仍然面臨相當大的考驗。例如,目前的深度學習方法缺少整體的優(yōu)化框架,分階段優(yōu)化會導致的數(shù)據真實性問題。此外,醫(yī)學圖像的標注也是一個嚴重制約深度學習在核磁共振重建中發(fā)展的一個重大因素,所以無監(jiān)督學習的研究和發(fā)展顯得格外重要。隨著技術的發(fā)展,可解釋性對于核磁共振重建的成功至關重要,而如何有效地利用深度學習技術來改善其可解釋性卻仍然是一個棘手的問題,因此,有必要加強相關的研究。
雖然,近幾年深度學習在核磁共振重建方法的研究中一直都是熱點研究問題,但臨床上使用最廣泛的還是傳統(tǒng)的并行成像方法。深度學習的重建方法在臨床應用方面還有待進一步研究,以實現(xiàn)深度學習重建方法在核磁共振掃描儀產品上的廣泛落地應用。在未來,我們將充分考慮現(xiàn)有的問題,并且根據其自身特性以及使用場景做了定制,以期望可以推動臨床影像的發(fā)展。