段繼忠,賈 偉

(昆明理工大學(xué) 信息工程與自動化學(xué)院,昆明 650500)

1 引 言

磁共振成像(Magnetic Resonance Imaging,MRI)技術(shù)是臨床應(yīng)用中最廣泛的醫(yī)學(xué)影像診斷技術(shù)之一,相對于其他影像技術(shù)有比較突出的優(yōu)勢,例如:無電離輻射危害,軟組織成像分辨率高,可以實現(xiàn)任意斷層的成像,多參數(shù)成像,可以獲得更全面更豐富的臨床診斷信息等.雖然MRI有著顯著的優(yōu)勢,但其成像原理導(dǎo)致了較長的掃描時間,這成為了磁共振成像最主要的缺點.因此,在保證質(zhì)量的情況下縮短掃描時間對于磁共振成像至關(guān)重要.

近年來,一些學(xué)者提出了壓縮感知(CS)理論[1],可利用少量的測量數(shù)據(jù)重構(gòu)出精確的原始信號.Lustig等人[2]將壓縮感知應(yīng)用于磁共振成像中,用少量的采樣數(shù)據(jù)重構(gòu)磁共振圖像,有效的減少了磁共振成像的掃描時間.CS理論提出以來,已經(jīng)發(fā)展了多種CS-MRI方法,這類方法稱為傳統(tǒng)重構(gòu)方法,主要有:基于固定稀疏變換的重構(gòu)方法,如基于小波變換的重構(gòu)算法[2]、基于小波變換的重構(gòu)算法[3]等;基于自適應(yīng)稀疏變換的重構(gòu)方法,這類方法的典型代表有DLMRI算法[4]、TLMRI算法[5]等;還有基于非局部低秩矩陣的重構(gòu)方法,如CS-NLR算法[6]等.

深度學(xué)習(xí)已在傳統(tǒng)圖像處理領(lǐng)域取得巨大成功,例如圖像分割[7-9]、超分辨率[10-12]和目標檢測[13,14]等.它能夠從數(shù)據(jù)中提取特征來構(gòu)建高度抽象的表示,這得益于充分利用海量的訓(xùn)練數(shù)據(jù)來構(gòu)建良好的網(wǎng)絡(luò)模型.

隨著深度學(xué)習(xí)的迅速發(fā)展,研究者們開始將深度學(xué)習(xí)應(yīng)用到磁共振成像的重構(gòu)中,既能加快成像重構(gòu)速度,又能提高重構(gòu)質(zhì)量.例如:熊承義[15]等將ADMM-Net與ResNet級聯(lián)用于MR圖像重構(gòu),有效的提高成像質(zhì)量.Souza等[16]提出用于訓(xùn)練端到端的CNN的頻域/圖像域混合級聯(lián)模型;Schlemper等[17]提出級聯(lián)的CNN,其中包含數(shù)據(jù)一致性層;Hammernik等[18]訓(xùn)練了一個變分網(wǎng)絡(luò)來解決CS-MRI;Sun等[19]提出的RDN模型將遞歸學(xué)習(xí)、空洞卷積、殘差學(xué)習(xí)很好的結(jié)合在一起,取得了不錯的效果;Liu等[20]提出IFR-Net,與IFR-CS[21]相比,該網(wǎng)絡(luò)不僅可以學(xué)習(xí)模型參數(shù)和特征增強算子,而且可以將關(guān)鍵工作從在線優(yōu)化階段轉(zhuǎn)移到預(yù)先的離線訓(xùn)練階段,從而縮短重構(gòu)時間.

深度學(xué)習(xí)需要依賴大量數(shù)據(jù)進行訓(xùn)練,越復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)需要的數(shù)據(jù)量越多.而由于患者隱私等問題,大量的醫(yī)學(xué)數(shù)據(jù)很難獲得.因此,本文提出一個在小數(shù)據(jù)集上表現(xiàn)很好的深度學(xué)習(xí)MRI重構(gòu)方法.受U-Net的啟發(fā),結(jié)合GoogleLeNet和ResNet的優(yōu)勢,對U-Net進行改進,提出了UGR-Net模型,并與數(shù)據(jù)一致性層結(jié)合得到級聯(lián)的UGR-Net.使用3種欠采樣模式對腦部復(fù)數(shù)數(shù)據(jù)進行欠采樣,并對級聯(lián)CNN網(wǎng)絡(luò)、級聯(lián)U-Net模型、以及新提出重構(gòu)模型(即:級聯(lián)UGR-Net模型)的重構(gòu)性能進行了比較.仿真實驗結(jié)果表明,本文提出的級聯(lián)UGR-Net模型的重構(gòu)質(zhì)量在采樣率不同的各種欠采樣模式下均優(yōu)于所比較的重構(gòu)模型.

論文結(jié)構(gòu)安排:第1節(jié)為介紹,第2節(jié)為磁共振重構(gòu)問題描述,第3節(jié)為本文提出的網(wǎng)絡(luò)架構(gòu)即級聯(lián)的UGR-Net描述,第4節(jié)為實驗結(jié)果和分析,第5節(jié)為本文的結(jié)論.

2 問題描述

通常,基于壓縮感知磁共振成像的重構(gòu)問題可以表示為如下形式:

(1)

其中,x∈N表示待重構(gòu)的2D圖像數(shù)據(jù)堆疊為N=m×n的列向量(m和n是圖像的長和寬,N表示圖像的所有像素點數(shù)),y∈M(M?N)表示欠采樣的k空間數(shù)據(jù)(M是欠采樣k空間數(shù)據(jù)點的個數(shù)),Fu=PF表示感知矩陣,P=M×N表示欠采樣矩陣,F∈n×n是傅里葉變換矩陣,R(x)是正則項,是數(shù)據(jù)保真項,λ為正則化參數(shù),用于平衡正則化項和保真項.在k空間中采樣索引的相應(yīng)子集表示為Ω.

雖然傳統(tǒng)的CS-MRI重建方法不僅可以減少掃描時間,而且對磁共振成像的質(zhì)量也有提高,但是傳統(tǒng)的正則項方法不容易去除混疊偽影,因此一些學(xué)者將深度學(xué)習(xí)用于磁共振成像重構(gòu)中,能有效的去除混疊偽影.

基于深度學(xué)習(xí)模型的磁共振成像重構(gòu)問題可以表示為:

(2)

這里fDL是由θ參數(shù)化的UGR-Net前向映射,包含數(shù)百萬或數(shù)千萬個可調(diào)整的網(wǎng)絡(luò)權(quán)重,該映射接收需要重構(gòu)的零填充圖像xu,并且直接產(chǎn)生重構(gòu)結(jié)果作為輸出.

在UGR-Net中,參數(shù)θ是根據(jù)損失函數(shù)L(θ)來調(diào)節(jié)的,可表示為:

(3)

3 提出的網(wǎng)絡(luò)架構(gòu)

為了降低網(wǎng)絡(luò)顯存和計算量,提升網(wǎng)絡(luò)的表達能力,防止網(wǎng)絡(luò)退化,從而重構(gòu)出高質(zhì)量的磁共振圖像,本文提出一個基于UGR-Net的級聯(lián)神經(jīng)網(wǎng)絡(luò)模型的重構(gòu)算法.

3.1 UGR-Net

結(jié)合GoogleLeNet和ResNet的優(yōu)勢,對U-Net進行改進,本文提出了一個新的網(wǎng)絡(luò):UGR-Net.該網(wǎng)絡(luò)的輸出為公式(3)中的xDL,尺寸與欠采樣圖像相同.

整個網(wǎng)絡(luò)由收縮路徑(用于降低特征圖分辨率)和擴張路徑(用于提高特征圖分辨率)組成.在收縮路徑中,所有的下采樣均采用最大池化.在擴張路徑中,每個層次的開始都與收縮路徑相對應(yīng)層次的卷積結(jié)果做組合處理,目的是為增加圖像本身的特征.上采樣方式使用Up-sample函數(shù),而非傳統(tǒng)的反卷積函數(shù),每次上采樣使得圖像大小加倍,最后的輸出卷積核為1×1.

整個網(wǎng)絡(luò)的收縮路徑和擴張路徑都具有多個層次,在每個層次中,特征圖的分辨率都保持不變,在兩個3×3卷積核基礎(chǔ)上添加1×1的卷積核,步長為1,每個卷積層都伴隨著激活函數(shù),激活函數(shù)均使用ReLU.借鑒GoogleLeNet模型的優(yōu)勢,添加1×1卷積核的作用是加入非線性,在前一層的學(xué)習(xí)表示上添加了非線性激勵,提升網(wǎng)絡(luò)的表達能力.另外,在擴張路徑中,1×1卷積核不僅加入非線性,而且還起到了降維的作用.收縮路徑和擴張路徑由重復(fù)的模塊M組成,M結(jié)構(gòu)如圖1所示.

圖1 本文提出的M結(jié)構(gòu)圖(每個特征下方數(shù)字代表通道數(shù))

另外,在深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)中,隨著網(wǎng)絡(luò)層數(shù)的增加,網(wǎng)絡(luò)會發(fā)生退化的現(xiàn)象,訓(xùn)練集損失逐漸下降,然后趨于飽和,這時再增加網(wǎng)絡(luò)深度,訓(xùn)練集損失反而會增大.所以在前向傳輸?shù)倪^程中,隨著層數(shù)的加深,特征圖包含的圖像信息會逐層減少,而ResNet直接映射的加入,保證了L+1層的網(wǎng)絡(luò)一定比L層包含更多的圖像信息.因此,在此基礎(chǔ)上本文加入了ResNet模型的思想,具體為用“global shortcut”連接編碼器和解碼器的相應(yīng)級別.最后,由于MR圖像的數(shù)據(jù)量比較小,所以為了改善訓(xùn)練神經(jīng)網(wǎng)絡(luò)時的收斂性,要盡量縮小模型復(fù)雜度,這可以通過減少通道數(shù)實現(xiàn),因此整個網(wǎng)絡(luò)的通道數(shù)不變,均為64.本文提出的UGR-Net模型結(jié)構(gòu)如圖2所示.

圖2 本文提出的UGR-Net模型結(jié)構(gòu)圖(每個特征下方數(shù)字代表的是通道數(shù))

3.2 數(shù)據(jù)一致性層

式(2)的解可通過以下方式得到:

(4)

其中,F-1是逆傅里葉變換,I是單位矩陣,PT是P的轉(zhuǎn)置.式(4)實際是利用采集的k空間數(shù)據(jù)對UGR-Net輸出的圖像進行保真處理.具體是:將UGR-Net輸出的圖像進行傅里葉變換后得到k空間數(shù)據(jù),然后用采集的原始k空間數(shù)據(jù)替換掉該數(shù)據(jù)中相應(yīng)的部分,合并后的k空間反傅里葉變換可獲得最終的圖像.

3.3 級聯(lián)的UGR-Net模型

本文提出的級聯(lián)UGR-Net網(wǎng)絡(luò)模型是在多個UGR-Net模塊之間穿插數(shù)據(jù)一致性層(DC),并用于訓(xùn)練端到端的級聯(lián)神經(jīng)網(wǎng)絡(luò)模型,級聯(lián)深度用nc表示.

級聯(lián)UGR-Net網(wǎng)絡(luò)模型接受來自于欠采樣的零填充數(shù)據(jù),由于是復(fù)數(shù)數(shù)據(jù),所以模型的輸入數(shù)據(jù)分為實部和虛部兩個通道分別處理.模型結(jié)構(gòu)如圖3所示.

圖3 級聯(lián)的UGR-Net模型結(jié)構(gòu)

3.4 參數(shù)設(shè)置

目標函數(shù)使用逐像素平方誤差.由于級聯(lián)UGR-Net模型需要耗費大量的顯存,因此在實驗中使用batch_size=1來訓(xùn)練網(wǎng)絡(luò),這并不會影響模型的收斂性.使用Xavier初始化權(quán)重,用Adam優(yōu)化器訓(xùn)練整個網(wǎng)絡(luò)模型,α=5×10-4,β1=0.9,β2=0.999,l2參數(shù)權(quán)重衰減為10-7.

4 實驗結(jié)果和分析

4.1 實驗設(shè)定

本文采用Calgary-Campinas的腦部原始數(shù)據(jù)(1)https://sites.google.com/view/calgary-campinas-dataset/home來驗證新提出重構(gòu)模型的有效性.訓(xùn)練數(shù)據(jù)集來自20個受試者的100個圖像,測試集來自其余4個受試者的8個圖像.為了提升模型的收斂速度和精度,本文對數(shù)據(jù)進行了歸一化處理.

在隨后的實驗中,本文將進行回溯性的仿真實驗.使用高斯欠采樣、笛卡爾欠采樣和泊松欠采樣圖案對腦部成像數(shù)據(jù)進行欠采樣(采樣圖案如圖4所示),再使用所比較的算法進行重構(gòu),評價其重構(gòu)性能.

圖4 實驗中使用的欠采樣圖案

在后面的實驗中,本文將比較深度級聯(lián)模型[17](即Cascaded CNN,選用D5-C6.D5表示CNN深度為5,C6表示有6個DC層.)、經(jīng)典的Cascaded U-Net模型[8]、以及本文提出的網(wǎng)絡(luò)模型(Cascaded UGR-Net).UGR-Net和U-net均在pytorch框架(2)https://pytorch.org下實現(xiàn),而Cascaded CNN采用作者公布的代碼(3)https://github.com/js3611/Deep-MRI-Reconstruction.所有的實驗都在配置為Intel Core i7-8700@2.6GHz CPU,16GB內(nèi)存,Nvidia RTX 2070(8G顯存)顯卡,Ubuntu 18.04操作系統(tǒng)(64位)的服務(wù)器上進行的.

在以下實驗中,峰值信噪比(Peak Signal to Noise Ratio,PSNR)[16]、標準均方根誤差(Normal Root Mean Square Error,NRMSE)[16]、結(jié)構(gòu)相似性(Structural Similarity,SSIM)[22]和高頻誤差范數(shù)(High-Frequency Error Norm,HFEN)[4]用于定量評估重建圖像的質(zhì)量,PSNR和SSIM的值越高,NRMSE和HFEN的值越低,說明重構(gòu)質(zhì)量越好.

4.2 級聯(lián)網(wǎng)絡(luò)層數(shù)nc的選擇

本實驗探索了不同級聯(lián)深度nc∈{1,2,3,4,5,6}對模型重構(gòu)性能的影響,每個級聯(lián)深度執(zhí)行1000次反向傳播.圖5顯示了4倍加速因子下的高斯欠采樣、笛卡爾欠采樣和泊松欠采樣下不同nc的級聯(lián)UGR-Net模型的重建性能比較.從圖5可以看出,隨著級聯(lián)深度nc的不斷增加,重構(gòu)誤差變得越來越低,所需顯存也逐漸增加.實驗設(shè)備的顯存僅能支持nc=6的情況,因此以后的實驗取nc=6對模型進行評估.

圖5 3種欠采樣圖案下不同nc的級聯(lián)UGR-Net模型對重建性能的影響

4.3 不同加速因子的重構(gòu)性能比較

表1、表2和表3分別列出了3種加速因子下的高斯欠采樣、笛卡爾欠采樣和泊松欠采樣模式下,使用模型Cascaded CNN、Cascaded U-Net和提出的Cascaded UGR-Net進行重構(gòu)的PSNR、NRMSE、HFEN和SSIM的比較結(jié)果,所有評價指標的值均為8張測試圖像的平均值,表中的AF代表加速因子.

表1 不同加速因子的高斯欠采樣下各重構(gòu)網(wǎng)絡(luò)模型的PSNR,NRMSE,HFEN和SSIM

表2 不同加速因子的笛卡爾欠采樣下各重構(gòu)網(wǎng)絡(luò)模型的PSNR,NRMSE,HFEN和SSIM

表3 不同加速因子的泊松欠采樣下各重構(gòu)網(wǎng)絡(luò)模型的PSNR,NRMSE,HFEN和SSIM

表4列出了在高斯欠采樣、笛卡爾欠采樣和泊松欠采樣模式下,Cascaded UGR-Net分別與Cascaded U-Net和Cascaded CNN的所有加速因子平均PSNR值的差. 從表4可以看出,在3種欠采樣模式下,Cascaded UGR-Net比Cascaded U-Net分別高0.53dB、0.53dB和0.37,Cascaded UGR-Net比Cascaded CNN高1.01dB、0.67dB和0.73dB.因此,Cascaded UGR-Net的圖像重構(gòu)質(zhì)量均優(yōu)于Cascaded CNN和Cascaded U-Net.

表4 在3種欠采樣模式下,Cascaded UGR-Net模型與比較模型的平均PSNR差

4.4 視覺比較

圖6給出了在4倍加速因子的泊松欠采樣模式下,使用Cascaded CNN、Cascaded U-Net和Cascaded UGR-Net的重構(gòu)圖像(頂行)和重構(gòu)誤差(底行).

從圖6可以看出,在4倍加速因子的泊松欠采樣模式下,Cascade CNN重構(gòu)圖像質(zhì)量較差,重構(gòu)圖像過于平滑,丟失了一些細節(jié),Cascade U-Net保留了更多細節(jié)從而改進了重構(gòu)質(zhì)量,Cascade UGR-Net則更準確的重構(gòu)了更多細節(jié).

圖6 4倍加速因子的泊松欠采樣下3種模型的重構(gòu)圖像及誤差圖對比

5 結(jié) 論

本文提出了一種用于磁共振成像重構(gòu)的級聯(lián)UGR-Net模型算法.該方法在U-Net模型基礎(chǔ)上,結(jié)合GoogleLeNet模型和ResNet模型的優(yōu)點,同時加入數(shù)據(jù)一致性層,實現(xiàn)對磁共振圖像的高質(zhì)量快速重構(gòu).大量的實驗結(jié)果表明,級聯(lián)UGR-Net在視覺和PSNR、NRMSE、HFEN和SSIM等定量指標上均優(yōu)于級聯(lián)CNN模型和級聯(lián)U-Net模型.特別需要注意的是,新提出的級聯(lián)UGR-Net模型即使在小數(shù)據(jù)集上訓(xùn)練也能夠得到較好的重構(gòu)效果.未來將探索把UGR-Net模型用于并行磁共振成像的重構(gòu)中,讓提出的算法在多種場景下適用.