劉 迅，張 東，袁達(dá)龍

（武漢大學(xué)物理科學(xué)與技術(shù)學(xué)院，湖北 武漢 430072）

0 引 言

磁共振成像（MRI）是一種醫(yī)學(xué)成像技術(shù)，被廣泛應(yīng)用于臨床的醫(yī)學(xué)診斷，它對于癌癥的早期識別和診斷至關(guān)重要［1］。由于傳統(tǒng)的三維成像通常會導(dǎo)致較長的掃描時(shí)間，大多數(shù)醫(yī)院都采用二維多層切片成像。MR 圖像切片的厚度是由硬件限制和脈沖序列時(shí)序決定的［2］，二維切片通常相對較厚，這導(dǎo)致了切片間的分辨率較低，使冠狀位和矢狀位的圖像有明顯的鋸齒狀和階梯狀邊緣，對組織分割、可視化和疾病診斷產(chǎn)生負(fù)面影響［3］。因此，提高M(jìn)R 圖像切片間分辨率對于病變區(qū)域的可視化和早期診斷十分重要。

目前有很多方式實(shí)現(xiàn)切片間超分辨率任務(wù)［4-15］，一種方式是從不同切片方向的各向異性多層MR 圖像中重建高分辨率各向同性圖像。Poot 等［16］提出了一種重建高分辨率圖像的方法，該重建方法利用了一個(gè)改進(jìn)的MR 圖像的采集模型，得到了一個(gè)具有線性方程的系統(tǒng)，再利用共軛梯度法和該線性系統(tǒng)，從物體的MR 圖像中重建出一個(gè)高分辨率的圖像。另一種方式是通過高分辨率和低分辨率圖像對來完成超分辨率任務(wù)，Pham 等［17］受到SRCNN 的啟發(fā)，提出了一種3D SRCNN 模型，提高了MR 圖像的分辨率，通過對卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）架構(gòu)［18］的優(yōu)化，提升了PSNR 值。Liu等［19］提出了一種邊緣增強(qiáng)超分辨率生成對抗網(wǎng)絡(luò)（EE-SRGAN）。該方法采用2 級超分辨率生成網(wǎng)絡(luò)來解決MRI 單方向分辨率降采樣比達(dá)到12 倍的問題，此外，為了克服高峰值信噪比引起的圖像平滑性問題，構(gòu)建了一個(gè)基于TSSR的生成對抗網(wǎng)絡(luò)，以實(shí)現(xiàn)更多的圖像細(xì)節(jié)。本文方法首先根據(jù)VoxelMorph［20］的方法利用低分辨率圖像中一對相鄰的切片進(jìn)行無監(jiān)督訓(xùn)練。因?yàn)樵谟?xùn)練的過程中沒有提供真實(shí)的形變場和高分辨率圖像，所以訓(xùn)練過程可以看作是無監(jiān)督的。與監(jiān)督學(xué)習(xí)模型相比，無監(jiān)督學(xué)習(xí)不需要人工標(biāo)注的數(shù)據(jù)，所以不受標(biāo)簽中可能存在的錯(cuò)誤或偏差的影響。訓(xùn)練完成之后，網(wǎng)絡(luò)就可以根據(jù)2 張相鄰切片估計(jì)出兩者之間的雙向形變場，形變場可以表示出相鄰2 張切片之間的像素點(diǎn)對應(yīng)關(guān)系，利用雙向形變場就可以估計(jì)切片之間任意網(wǎng)格點(diǎn)位置的中間形變場。因?yàn)? 張相鄰的切片之間不僅僅有像素點(diǎn)的位移，還有較小的灰度值變化，所以本文算法引入了灰度場，以便得到更精確的結(jié)果。利用中間形變場和灰度場完成中間切片的插值，從而提高切片間超分辨率。

1 方 法

1.1 算法流程

針對MR 圖像切片間的分辨率與切片內(nèi)的分辨率具有較大差異的問題，本文提出一種基于形變場和灰度場插值網(wǎng)絡(luò)的切片間超分辨率的算法。圖1 為本文的算法流程，整體算法流程可以分為3 個(gè)步驟：1）數(shù)據(jù)準(zhǔn)備，包含數(shù)據(jù)集的劃分和數(shù)據(jù)預(yù)處理；2）搭建網(wǎng)絡(luò)框架；3）投入測試集，并分析預(yù)測結(jié)果。

圖1 算法流程

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

本文算法模型的網(wǎng)絡(luò)架構(gòu)如圖2 所示。先將移動圖像和固定圖像堆疊起來，輸入第一個(gè)網(wǎng)絡(luò)，利用網(wǎng)絡(luò)輸出一個(gè)形變場，然后將移動圖像和形變場通過空間變換生成形變后的圖像，再將形變圖像和固定圖像堆疊輸入第二個(gè)網(wǎng)絡(luò)，網(wǎng)絡(luò)輸出一個(gè)灰度場。訓(xùn)練時(shí)，網(wǎng)絡(luò)先訓(xùn)練得到形變場，第一個(gè)網(wǎng)絡(luò)參數(shù)θ通過最小化形變圖像和固定圖像之間的差異來更新。然后固定第一個(gè)網(wǎng)絡(luò)的參數(shù)，再訓(xùn)練灰度場，最后利用形變場和灰度場對圖像做變換，得到最終的圖像。第二個(gè)網(wǎng)絡(luò)參數(shù)θ通過最小化最終圖像和固定圖像之間的差異來更新。

圖2 網(wǎng)絡(luò)架構(gòu)圖

生成形變場的網(wǎng)絡(luò)是近似于U-Net 的編解碼結(jié)構(gòu)［21］。使用卷積將每一層的空間維度減小到一半。在解碼階段，交替進(jìn)行上采樣、卷積和跳躍連接，這些連接將在編碼階段學(xué)習(xí)到的特征直接傳播到生成配準(zhǔn)的層中。在訓(xùn)練中，將移動圖像和固定圖像輸入網(wǎng)絡(luò)，因此第一個(gè)網(wǎng)絡(luò)的輸入大小為240×240×2，編碼器和解碼器階段都使用的二維卷積層的卷積核大小為3，步長為2，Leaky ReLU 層［22］的參數(shù)為0.2，網(wǎng)絡(luò)的輸出（即形變場）大小為240×240×2。生成灰度場的網(wǎng)絡(luò)也類似，第二個(gè)網(wǎng)絡(luò)的輸入的大小為240×240×2，網(wǎng)絡(luò)的輸出（即灰度場）大小為240×240×1。

1.3 插值方法

傳統(tǒng)的插值方式有最近鄰插值［23］、線性插值［24］等，但是獲取2 張切片的中間切片不能簡單地使用傳統(tǒng)插值。這種插值產(chǎn)生的中間圖像比較模糊，因?yàn)闆]有考慮圖像位置變化，所以應(yīng)該尋找2 張切片之間的點(diǎn)對應(yīng)性，也就是要找到移動圖像上的每個(gè)像素點(diǎn)在固定圖像上對應(yīng)的位置。這個(gè)對應(yīng)關(guān)系表明了切片間的坐標(biāo)由移動圖像變?yōu)楣潭▓D像時(shí)像素點(diǎn)的移動軌跡，因此也可以推斷出像素點(diǎn)的相應(yīng)坐標(biāo)。

設(shè)定2 個(gè)輸入圖像I0和I1和一個(gè)中間位置t∈（0，1），本文的目標(biāo)是預(yù)測位置為t的中間圖像。配準(zhǔn)場?可以分解為一個(gè)恒等變換和一個(gè)位移場，即?=Id+u，其中Id 是恒等變換，u表示位移場。假設(shè)?t→0和?t→1分別表示從It到I0和It到I1的配準(zhǔn)場，Gt→0和Gt→1分別表示從It到I0和It到I1的灰度場。得到了配準(zhǔn)場和灰度場之后，合成中間圖像可表示為：

其中，f（·，·）是一個(gè)使用雙線性插值的反向變換函數(shù)，參數(shù)α0用來控制給定的2 張切片圖像I0和I1對新合成圖像的貢獻(xiàn)的權(quán)重。與一般插值方法中的設(shè)計(jì)類似，新合成的圖像所處位置t越靠近0，I0的貢獻(xiàn)權(quán)重α0越大，越靠近1，I1的貢獻(xiàn)權(quán)重1-α0越大。因?yàn)橹虚g圖像未知，所以配準(zhǔn)場?t→0和?t→1無法計(jì)算。為了解決這個(gè)問題，本文利用2 個(gè)輸入圖像之間的?0→1和?1→0來合成中間的?t→0和?t→1，?t→0和?t→1的計(jì)算公式如下：

或：

或：

再通過雙向配準(zhǔn)場來得到中間的近似配準(zhǔn)場，如式（6）和式（7）：

在得到近似配準(zhǔn)場和之后，可以得到t位置的切片，如式（8）：

1.4 損失函數(shù)

本文選擇的損失函數(shù)是相似度損失、平滑度損失以及均方誤差損失［25］。相似度損失可以用來衡量圖像之間的相似性，本文選擇的相似度損失是互相關(guān)損失［26］。最小化相似度損失可以使預(yù)測的切片更接近真實(shí)的切片，但是可能產(chǎn)生一個(gè)不連續(xù)的形變場，因此需要加入一個(gè)平滑度損失用來約束形變場，其中λ取1。具體表達(dá)式如式（9）所示：

設(shè)?為將I0的坐標(biāo)映射到I1的坐標(biāo)的配準(zhǔn)場。I0??表示將I0通過?形變所得到的結(jié)果，令I(lǐng)0??為，令(p)表示圖像上n×n個(gè)像素的平均灰度值，即其中pi表示p周圍的n×n個(gè)像素點(diǎn)，在本文實(shí)驗(yàn)中該值設(shè)置為9，由于CC 的值越大，代表圖像配準(zhǔn)效果越好，因此可以取Lsim（I0，I1，?）=1-CC（I1，I0??），如式（10）所示。利用相鄰體素之間的差異來實(shí)現(xiàn)近似的空間梯度，平滑度損失如式（11）和式（12）所示：

公式（13）的損失函數(shù)由均方誤差損失和平滑度損失組成，均方誤差損失使預(yù)測的中間切片更接近真實(shí)切片，平滑度損失可以約束灰度場，提高圖像的準(zhǔn)確性。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文選擇BraTs2018 數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)集，該數(shù)據(jù)集一共有285 個(gè)病例，每個(gè)病例有t1、t1ce、t2、flair這4個(gè)模態(tài)的磁共振圖像。且每個(gè)的圖像大小均為240×240×155，其間距為1 mm×1 mm×1 mm。本文從切片選擇方向上的第一張切片開始，每8 張切片選擇一張，制作出低分辨率圖像，即間距為1 mm×1 mm×8 mm的低分辨率序列，再將實(shí)驗(yàn)數(shù)據(jù)集按7：1：2拆分成訓(xùn)練集，驗(yàn)證集和測試集，并將所有切片數(shù)據(jù)作歸一化。所有網(wǎng)絡(luò)的優(yōu)化過程使用Adam 優(yōu)化器，學(xué)習(xí)率為0.001，平滑常數(shù)分別為0.5 和0.99。每次訓(xùn)練批次大小為16，最大迭代輪次為1000。

2.2 評價(jià)指標(biāo)

為了客觀評價(jià)采用本文算法所插值出來的切片是否接近真實(shí)的切片，本文采用了2個(gè)指標(biāo)：

1）峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）：這是一種評價(jià)圖像的客觀標(biāo)準(zhǔn)，可以用來評價(jià)原圖和插值后圖像是否相近。其計(jì)算公式為：

2）結(jié)構(gòu)相似度（Structural Similarity Index Measure，SSIM）：這是一種衡量2 幅圖像相似度的指標(biāo)［27］。其計(jì)算公式為：

其中，n是圖像的位數(shù)，這里為16，x是真實(shí)的切片圖像，y是預(yù)測的切片圖像，N是圖像的有效點(diǎn)數(shù)，μ是平均灰度值，σ表示方差，σxy表示2 圖像的方差，c1、c2均為常數(shù)，PSNR 和SSIM 的值越高，表示預(yù)測的切片圖像和真實(shí)切片圖像越相似。

2.3 實(shí)驗(yàn)結(jié)果與分析

為了定量評估本文算法的性能，通過從MR 序列中選取切片選擇方向上中間的2 個(gè)切片作為0 號和1號切片。本文算法實(shí)現(xiàn)了8 倍的超分辨率，分別在2張切片之間的1/8、1/4、3/8、1/2、5/8、3/4 和7/8 處插值了7 張中間切片。本文將原來的2 張切片與1/4、1/2和3/4 處位置的切片進(jìn)行比較，以顯示插值切片的效果。圖3 顯示MR 圖像各個(gè)模態(tài)的插值結(jié)果，其中圖3（a）～圖3（d）分別為測試集上的t1、t1ce、t2、flair 模態(tài)的低分辨率MR 圖像的2 張相鄰切片的插值結(jié)果，第1 列和第5 列分別為測試集中所選取的2 張相鄰切片，中間3 張切片為利用形變場和灰度場進(jìn)行插值得到的結(jié)果，其中紅框的位置表示一些切片出現(xiàn)明顯變化的區(qū)域。如圖3所示，每2張切片的變化相對連續(xù)，算法的效果較好。

圖3 MR圖像切片間超分辨率結(jié)果

將測試集中低分辨率MR 圖像的相鄰切片逐一輸入網(wǎng)絡(luò)，得到所有插值切片后，按輸入順序?qū)⑺星衅喜楦叻直媛蔒R 圖像。 由于不同模態(tài)的結(jié)果相對類似，從t1ce 和t2 這2 個(gè)模態(tài)的超分辨率結(jié)果中選取了3 個(gè)方向剖面顯示出來，其結(jié)果如圖4 和圖5 所示。其中圖4 為t1ce 模態(tài)的結(jié)果，圖5 為t2 模態(tài)的結(jié)果。從圖中可以看出本文算法所得到的圖片明顯比最近鄰插值和雙線性插值算法得到的圖片更加清晰，邊緣更加平滑，更加接近真實(shí)的圖像。同時(shí)，加入灰度場后的圖像比不加灰度場的圖像更加清晰。

圖4 t1ce模態(tài)3個(gè)方向的對比圖

圖5 t2模態(tài)3個(gè)方向的對比圖

除了可視化的結(jié)果之外，本文分別計(jì)算了3 種方法得到的結(jié)果相較于真實(shí)圖像的PSNR 和SSIM，其結(jié)果如表1 和表2 所示。在實(shí)現(xiàn)超分辨率的任務(wù)上，可以看到本文算法在對比最近鄰插值和線性插值的算法上，結(jié)構(gòu)相似度的數(shù)值相近，而峰值信噪比則有明顯提升。通過對比是否加入灰度的插值結(jié)果，可以看出引入灰度場對PSNR和SSIM均有一定的提升。

表1 PSNR的統(tǒng)計(jì)結(jié)果

表2 SSIM的統(tǒng)計(jì)結(jié)果

本文第一個(gè)網(wǎng)絡(luò)的參數(shù)量（Params）為0.4366×106，計(jì)算量（FLOPS）為108.424 GB，第二個(gè)網(wǎng)絡(luò)的參數(shù)量為0.4363×106，計(jì)算量為108.158 GB。

模型的參數(shù)量比較小，意味著模型可以在較小規(guī)模的內(nèi)存中存儲。計(jì)算量主要反映模型在推理或訓(xùn)練過程中的計(jì)算開銷。模型的計(jì)算量越大，意味著模型需要越長的計(jì)算時(shí)間。

3 結(jié)束語

本文提出了一種基于形變場和灰度場插值網(wǎng)絡(luò)的切片間超分辨率，解決了臨床上MR 圖像切片選擇方向上分辨率遠(yuǎn)低于切片內(nèi)分辨率的問題，有助于醫(yī)生做出更加準(zhǔn)確的臨床診斷。在實(shí)驗(yàn)數(shù)據(jù)集上，本文選用了多模態(tài)腦腫瘤分割挑戰(zhàn)（BraTs2018）數(shù)據(jù)集。在網(wǎng)絡(luò)算法上，引入了灰度場，并且進(jìn)一步設(shè)計(jì)了基于形變場和灰度場的插值算法。實(shí)驗(yàn)結(jié)果表明，本文算法在不需要任何額外數(shù)據(jù)的情況下能夠很好地完成切片間超分辨率，可以用于改善多切片MR 圖像切片厚度大導(dǎo)致的切片間分辨率過低的問題。