郭翌，吳香奕，吳茜，陳志，徐榭，裴曦

1.中國科學(xué)技術(shù)大學(xué)物理學(xué)院工程與應(yīng)用物理系，安徽合肥230026；2.安徽醫(yī)科大學(xué)，安徽合肥230032

前言

圖像配準是大多數(shù)醫(yī)學(xué)影像分析問題的一個基本步驟，廣泛應(yīng)用于醫(yī)學(xué)診斷、手術(shù)放射治療規(guī)劃、圖譜構(gòu)建、增強現(xiàn)實、療效分析評價和醫(yī)學(xué)圖像分割等［1-3］。醫(yī)學(xué)影像配準分為剛性配準與非剛性配準，其中剛性配準方法通過尋找固定圖像（Fixed Image）和浮動圖像（Moving Image）之間的旋轉(zhuǎn)平移變換矩陣對齊兩幅圖像［4］。剛性配準不僅為進一步的非剛性配準提供前提基礎(chǔ)、節(jié)省圖像優(yōu)化迭代的計算時間，同時能直觀地顯示不同模態(tài)之間圖像的解剖結(jié)構(gòu)差異，輔助醫(yī)生進行準確勾畫。傳統(tǒng)的配準方法包括基于表面的方法、基于點的方法（通?；诮馄蕵擞浳铮┖突隗w素的方法［5］。盡管基于表面的方法和基于點的方法在圖像配準中仍占有一席之地，但基于體素的方法借助于計算機技術(shù)快速發(fā)展的優(yōu)勢而得到了廣泛應(yīng)用［5］。基于體素的方法的目標是通過計算兩個輸入圖像之間的相似性獲得幾何變換參數(shù)，而不需要預(yù)先提取特征［6］。但是這些傳統(tǒng)的配準方法往往需要迭代計算相似性度量如均方誤差、互信息與歸一化互信息（NMI）等，由于相似性度量在參數(shù)空間上的非凸性等問題，使得配準過程較為耗時且魯棒性較差［1-2］。除此之外，其他方法如基于強度的特征選擇算法通過提取出與強度對應(yīng)的圖像特征進行圖像配準，然而提取出的特征在解剖學(xué)方面難以很好地對應(yīng)［7-9］。

近年來，深度學(xué)習(xí)方法在圖像分割、圖像變換、圖像分類和高分辨率圖像重建等許多領(lǐng)域取得了巨大成功。已有文獻報道深度學(xué)習(xí)方法在圖像配準中的應(yīng)用，證實該方法的可行性。Miao等［10］使用卷積回歸神經(jīng)網(wǎng)絡(luò)（CNN）進行實時的數(shù)字重建放射影像和X-ray影像的剛性配準。Liao等［11］采用CNN和強化學(xué)習(xí)方法對計算機斷層掃描影像（CT）和錐形束CT影像進行迭代剛性配準。Jaderberg等［12］提出空間變換網(wǎng)絡(luò)進行輸入圖像的空間對齊。為了改進CNN網(wǎng)絡(luò)魯棒性不足的問題，Miao等［13］利用全卷積神經(jīng)網(wǎng)絡(luò)（FCN）代替CNN進行脊柱的2D/3D剛性配準。另外，Gutierrez-Becker等［14］采用有監(jiān)督式的回歸網(wǎng)絡(luò)模型進行腦部核磁共振圖像（MRI）的剛性配準。盡管上述網(wǎng)絡(luò)模型比傳統(tǒng)迭代計算配準方法提升了配準速度，但是這些網(wǎng)絡(luò)模型大多是有監(jiān)督網(wǎng)絡(luò)（即需要預(yù)先配準好的真實結(jié)果）或者需要使用相似性度量參數(shù)，這從數(shù)據(jù)獲取與配準結(jié)果精確度的角度上阻礙了網(wǎng)絡(luò)模型的訓(xùn)練。

生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks,GANs）是一種深度學(xué)習(xí)網(wǎng)絡(luò)模型，它至少由兩個部分組成：生成器和判別器，使得生成的數(shù)據(jù)具有與真實數(shù)據(jù)相同的分布［15］。為了克服在某些應(yīng)用中獲取圖像對的困難，Zhu等［16］和Isola［17］等提出了循環(huán)一致生成對抗網(wǎng)絡(luò)（Cycle-consistent Generative Adversarial Networks, CycleGAN），該網(wǎng)絡(luò)能夠在沒有成對訓(xùn)練數(shù)據(jù)的情況下，學(xué)習(xí)從輸入到輸出圖像的映射。近年來，一些基于GANs的醫(yī)學(xué)圖像配準研究已經(jīng)被報道。Tanner 等［18］通過結(jié)合兩種多模態(tài)圖像相似性測量NMI 和模態(tài)獨立鄰域描述符（Modality Independent Neighborhood Descriptor,MIND）研究GANs在多模態(tài)醫(yī)學(xué)圖像配準中的應(yīng)用，但是該研究僅將GANs用于生成中間圖像，而非直接用于圖像配準。Fan 等［19］提出了一種對抗性相似網(wǎng)絡(luò)自動學(xué)習(xí)相似性度量，用于訓(xùn)練腦部MRI 配準。Mahapatra 等［1］在成本函數(shù)中采用了新的約束條件，將GANs用于多模態(tài)醫(yī)學(xué)圖像配準，確保訓(xùn)練后的網(wǎng)絡(luò)能夠輕松生成真實、具有合理變形場的圖像。盡管上述工作在一定程度上驗證了GANs 在圖像配準方面應(yīng)用的可行性，這些方法在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中仍需要有真實配準結(jié)果對判別器進行訓(xùn)練，因此這些網(wǎng)絡(luò)容易受到配準結(jié)果質(zhì)量的影響。

本文提出一種基于CycleGAN 的CT 與MR 圖像3D 剛性配準網(wǎng)絡(luò)，該網(wǎng)絡(luò)與其他圖像配準神經(jīng)網(wǎng)絡(luò)相比，具有如下特點：（1）完全無監(jiān)督性，即不需要預(yù)先配準的真實結(jié)果；（2）端對端網(wǎng)絡(luò)，即不產(chǎn)生中間圖像，只需輸入待配準的圖像即可得到配準結(jié)果；（3）不需使用傳統(tǒng)的相似性度量參數(shù)。

1 材料與方法

1.1 數(shù)據(jù)預(yù)處理

神經(jīng)網(wǎng)絡(luò)訓(xùn)練前需要對圖像數(shù)據(jù)進行預(yù)處理。良好的數(shù)據(jù)預(yù)處理能夠幫助神經(jīng)網(wǎng)絡(luò)加速收斂，同時得到更精確的結(jié)果。本研究采用75例腹部病例作為訓(xùn)練與測試數(shù)據(jù)集，每個病例包含1幅CT圖像與1幅MR圖像。所有圖像數(shù)據(jù)（包括CT與MR數(shù)據(jù)）均進行圖像標準化處理，同時將所有病例進行圖像重采樣并進行圖像剪裁。重采樣后的圖像分辨率為1 mm×1 mm×5 mm，圖像剪裁后大小為400 mm×400 mm，去除多余的空氣部分。為使圖像細節(jié)更為突出，設(shè)置CT圖像像素值的窗寬窗位分別為350和40，即將圖像原本的CT值范圍限制在（-135,215）范圍內(nèi)，MR圖像不變。完成以上步驟后，對圖像數(shù)據(jù)進行歸一化，將所有圖像像素值映射到（-1,1）范圍內(nèi)。所有圖像數(shù)據(jù)分為訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集，其中65例病例作為訓(xùn)練數(shù)據(jù)集，10例病例作為測試數(shù)據(jù)集，并與Elastix軟件配準結(jié)果進行比較。

1.2 網(wǎng)絡(luò)訓(xùn)練流程

本研究的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)基于CycleGAN 網(wǎng)絡(luò)模型［16-17］，網(wǎng)絡(luò)主要分為4 個部分：兩個生成器GAB、GBA和兩個判別器DAB、DBA，其中A 為浮動圖像，B 為固定圖像。剛性變換參數(shù)為F，則GAB產(chǎn)生由A 到B 的變換FAB，GBA產(chǎn)生由B到A的變換FBA，DAB和DBA分別用于評價配準后兩幅圖像的配準程度。整體網(wǎng)絡(luò)訓(xùn)練流程如圖1所示。

圖1 網(wǎng)絡(luò)訓(xùn)練流程示意圖Fig.1 The flow chart of training process

1.3 生成器網(wǎng)絡(luò)

生成器的目的是根據(jù)輸入的圖像對得到剛性變換參數(shù)，具體結(jié)構(gòu)如圖2 所示。網(wǎng)絡(luò)輸入為多模態(tài)3D 圖像對，輸出為剛性變換參數(shù)與配準后的圖像。GAB與GBA的網(wǎng)絡(luò)結(jié)構(gòu)一致，區(qū)別在于GAB中的固定圖像為GBA中的浮動圖像，GAB中的浮動圖像為GBA中的固定圖像。生成器網(wǎng)絡(luò)的輸出結(jié)果作為判別器網(wǎng)絡(luò)的輸入之一。

圖2 生成器網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 The structure of the generator network

1.4 判別器網(wǎng)絡(luò)

判別器網(wǎng)絡(luò)的目的是根據(jù)輸入的圖像對判斷兩幅圖像的配準程度，具體結(jié)構(gòu)如圖3所示。網(wǎng)絡(luò)的輸入為配準后的圖像對，輸出為圖像對的配準程度。圖像配準程度用0 至1 區(qū)間的數(shù)表示，輸出結(jié)果越接近1，表示圖像配準程度越高，輸出結(jié)果越接近0，表示圖像配準程度越低。DAB與DBA的網(wǎng)絡(luò)結(jié)構(gòu)一致，區(qū)別在于DAB中的輸入圖像對為固定圖像與配準后的浮動圖像，DBA中的輸入圖像對為浮動圖像與配準后的固定圖像。

圖3 判別器網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 The structure of the discriminator network

1.5 損失函數(shù)

神經(jīng)網(wǎng)絡(luò)訓(xùn)練涉及到損失函數(shù)的選擇，不同的損失函數(shù)對網(wǎng)絡(luò)訓(xùn)練結(jié)果具有較大影響。本研究在CycleGAN 網(wǎng)絡(luò)損失函數(shù)的基礎(chǔ)上進行了改進，添加了新的損失項，能夠?qū)W(wǎng)絡(luò)進行約束，使得網(wǎng)絡(luò)更容易收斂。生成器網(wǎng)絡(luò)的損失函數(shù)主要由3 個部分組成：（1）判斷損失項L1。該損失項與判別器相關(guān)，其作用是使由生成器產(chǎn)生的配準圖像對能夠“瞞過”判別器，令判別器判定配準結(jié)果準確可靠。該損失項的具體公式如公式（1）所示，其中DAB為判別器，A 表示固定圖像，B 表示配準后的浮動圖像。（2）輪廓損失項L2。為使網(wǎng)絡(luò)更易收斂，引入待配準圖像的輪廓信息作為約束條件，使配準過程朝輪廓重疊的方向進行。其中輪廓信息為圖像的外輪廓，損失項為配準圖像輪廓之間的Dice 系數(shù)，如公式（2）所示，ContourA和ContourB分別為固定圖像與配準后浮動圖像的外輪廓信息。（3）循環(huán)損失項L3。大部分關(guān)于圖像配準的神經(jīng)網(wǎng)絡(luò)只考慮前向傳播過程而忽略反向過程，即只訓(xùn)練從浮動圖像配準到固定圖像，而忽略從固定圖像配準到浮動圖像，因此這樣的網(wǎng)絡(luò)不具備循環(huán)一致性，網(wǎng)絡(luò)訓(xùn)練的結(jié)果不夠可靠。為了克服這一缺點，CycleGAN 加入了循環(huán)損失項，保證了結(jié)果的一致性。如公式（3）所示，其中B'表示浮動圖像，A表示固定圖像?？偟纳善骶W(wǎng)絡(luò)損失函數(shù)LG如公式（4）所示。除了生成器網(wǎng)絡(luò)具有損失函數(shù)之外，判別器網(wǎng)絡(luò)的損失函數(shù)如公式（5）所示，其中D代表判別器，公式的第1項表示由生成器產(chǎn)生的圖像經(jīng)判別器判斷為假，公式第2項表示對于配準好的圖像經(jīng)判別器判斷為真。

在判別器訓(xùn)練過程中，需要為判別器提供判斷依據(jù)，即輸入?yún)⒖冀Y(jié)果。大部分基于GANs網(wǎng)絡(luò)的配準工作均采用了預(yù)先配準好的醫(yī)學(xué)圖像對參考結(jié)果進行訓(xùn)練［1,19］。這些方法的缺點在于：（1）需要采用其他傳統(tǒng)迭代方法對圖像對進行預(yù)先配準，無法保證配準結(jié)果的準確性與穩(wěn)定性。（2）網(wǎng)絡(luò)訓(xùn)練的精度隨預(yù)先配準結(jié)果的精度而變，且不能超過預(yù)先配準方法的配準精度。為了避免采用傳統(tǒng)迭代方法進行預(yù)先配準的缺點，考慮在圖像配準過程中影響配準結(jié)果的主要因素為圖像對之間的像素分布情況和輪廓形狀等，次要因素為圖像對之間對應(yīng)位置像素值之間的差異，因此構(gòu)造出與固定圖像具有相同像素分布的圖像代替采用傳統(tǒng)迭代方法得到的配準結(jié)果圖像。公式（5）中A'表示與固定圖像具有相同的像素分布，同時像素值不同的構(gòu)造圖像。

1.6 硬件平臺

本研究中所采用的硬件設(shè)備參數(shù)如下：操作系統(tǒng)為64位Windows10操作系統(tǒng)，CPU為Intel i7-8700K，主頻 為3.70 GHz，內(nèi) 存 為16 GB，GPU 為NVIDIA GeForceGTX 1070 Ti，顯存為8 GB。由于計算機顯存限制，在網(wǎng)絡(luò)訓(xùn)練過程中需要限制輸入圖像大小。本研究對原始輸入圖像進行了重采樣與剪裁，生成器與判別器的輸入圖像尺寸為128×128×24。

2 結(jié)果

本研究共應(yīng)用75 例腹部病例作為訓(xùn)練與測試數(shù)據(jù)集，其中65例病例作為訓(xùn)練數(shù)據(jù)集，10例病例作為測試數(shù)據(jù)集。采用Python與Pytorch作為神經(jīng)網(wǎng)絡(luò)搭建語言與框架，使用Adam 作為網(wǎng)絡(luò)的優(yōu)化器［20］。我們將提出的方法與Elastix［21-22］配準結(jié)果進行對比，詳細比較了傳統(tǒng)迭代配準方法與本方法之間的配準精度與配準時間。

2.1 網(wǎng)絡(luò)訓(xùn)練結(jié)果

網(wǎng)絡(luò)訓(xùn)練的學(xué)習(xí)率前400次循環(huán)為0.000 1，400～600次循環(huán)為0.000 05，600～1 000次循環(huán)為0.000 01，總循環(huán)次數(shù)為1 000。神經(jīng)網(wǎng)絡(luò)訓(xùn)練總共耗時3 h。圖4為網(wǎng)絡(luò)訓(xùn)練結(jié)束后生成器損失函數(shù)曲線圖，其中黃線代表輪廓損失項，綠線代表判斷損失項，紅線代表循環(huán)損失項，藍線代表生成器總損失項。曲線圖的橫坐標表示訓(xùn)練迭代次數(shù)，縱坐標表示損失值。所有損失項均取對數(shù)。

圖4 神經(jīng)網(wǎng)絡(luò)生成器損失函數(shù)曲線圖Fig.4 Loss function curve of the network

可以看出，網(wǎng)絡(luò)訓(xùn)練在前20 次循環(huán)訓(xùn)練時損失項下降較為迅速，20～600 次循環(huán)訓(xùn)練之間下降速度變緩，600 次循環(huán)訓(xùn)練后損失函數(shù)趨于平緩。其中，輪廓損失項下降梯度較小，循環(huán)損失項對生成器總損失函數(shù)下降的貢獻率較大，保證了網(wǎng)絡(luò)訓(xùn)練結(jié)果是循環(huán)一致的。

2.2 結(jié)果對比

分別采用本研究提出的方法與Elastix 對測試集圖像數(shù)據(jù)進行3D 剛性配準，分別計算未配準前與配準后圖像對之間的Dice系數(shù)進行比較。10例測試病例的配準前CT與MR圖像之間外輪廓Dice系數(shù)與采用不同方法配準后的圖像對Dice 系數(shù)：配準前10 例測試病例的Dice 系數(shù)為0.858，Elastix 配準結(jié)果平均Dice 系數(shù)為0.926，本研究方法配準結(jié)果平均Dice 系數(shù)為0.925。可以看出采用Elastix配準軟件與本研究方法進行剛性配準后圖像對的Dice 系數(shù)均比配準前有所提高，同時本研究方法的配準精度與Elastix 配準結(jié)果相當(dāng)。在配準耗時上，Elastix軟件配準平均耗時12.1 s，而本方法為0.04 s，平均加速比達到了302。由于醫(yī)學(xué)影像往往在剛性配準后還需要進行形變配準，因此快速有效的剛性配準方法能夠縮短圖像配準流程的時間，提高效率。

圖5 顯示配準前圖像對以及采用不同方法配準后圖像對之間的差異。其中差異圖像中紅色部分代表浮動圖像，綠色部分代表固定圖像。對比不同剛性配準方法得到的結(jié)果，可以看出Elastix 配準結(jié)果與本研究方法配準結(jié)果基本一致。

2.3 結(jié)果分析

上述結(jié)果表明采用CycleGAN 方法進行腹部3D多模態(tài)影像剛性配準具有良好的應(yīng)用性，既保證了配準結(jié)果精度，又極大縮短了配準時間。由于網(wǎng)絡(luò)訓(xùn)練完全無監(jiān)督，不要求真實配準結(jié)果，該網(wǎng)絡(luò)易于擴展到其他部位多模態(tài)影像配準（如頭頸部病例），同時本研究將在剛性配準基礎(chǔ)上進一步將網(wǎng)絡(luò)拓展至多模態(tài)影像彈性配準。

3 討論

傳統(tǒng)的醫(yī)學(xué)圖像配準大多采用迭代計算方法，相對耗時。同時迭代計算的相似性測度在參數(shù)空間上可能存在有非凸性問題，因此在配準過程中往往需要根據(jù)不同情況選擇合適的相似性度量以及優(yōu)化方法才能達到滿意的配準需求。本文提出了一種基于CycleGAN 的3D 多模態(tài)影像剛性配準方法，相比較于其他已有的圖像配準網(wǎng)絡(luò)，該網(wǎng)絡(luò)是端對端的無監(jiān)督網(wǎng)絡(luò)，不需要預(yù)先配準的真實結(jié)果，同時在網(wǎng)絡(luò)訓(xùn)練過程中不需采用任何的相似性測量。在原有CycleGAN 損失函數(shù)基礎(chǔ)上，本研究提出了新的函數(shù)損失項，有助于神經(jīng)網(wǎng)絡(luò)朝預(yù)定方向訓(xùn)練，同時增強了網(wǎng)絡(luò)的收斂性。測試結(jié)果表明，與傳統(tǒng)迭代配準方法相比，本研究提出的方法極大降低了圖像配準時間，保持了圖像配準精度。