劉兆輝，李銘浩，肖延麗，彭磊

（1.山東第一醫(yī)科大學(xué)（山東省醫(yī)學(xué)科學(xué)院）醫(yī)學(xué)信息工程學(xué)院，山東泰安，271016；2.山東第一醫(yī)科大學(xué)（山東省醫(yī)學(xué)科學(xué)院）研究生部，山東泰安，271016）

0 引言

圖像配準(zhǔn)是將兩個(gè)或多個(gè)圖像對(duì)齊的過(guò)程。它是一種常用的醫(yī)學(xué)圖像分析技術(shù)。近年來(lái)，有監(jiān)督和無(wú)監(jiān)督的深度學(xué)習(xí)技術(shù)已經(jīng)成功應(yīng)用于圖像配準(zhǔn)[1-4]。深度學(xué)習(xí)技術(shù)自動(dòng)收集和學(xué)習(xí)與任務(wù)相關(guān)的圖像中各種復(fù)雜的信息，因此非常適合于醫(yī)學(xué)圖像配準(zhǔn)工作。同時(shí)深度學(xué)習(xí)技術(shù)不容易受局部極值的影響，從而具有較強(qiáng)的魯棒性。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）是常用的深度學(xué)習(xí)技術(shù)，具有高度的并行性，能夠滿足大部分實(shí)時(shí)配準(zhǔn)過(guò)程的需要。de Vos 等人[5]提出的深度學(xué)習(xí)圖像配準(zhǔn)（Deep Learning Image Registration，DLIR）框架是一種利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的無(wú)監(jiān)督的醫(yī)學(xué)圖像配準(zhǔn)技術(shù)。在DLIR 框架下，利用固定圖像和浮動(dòng)圖像之間的相似性對(duì)CNN 進(jìn)行圖像配準(zhǔn)訓(xùn)練。與傳統(tǒng)的圖像配準(zhǔn)技術(shù)相比，DLIR 框架中的變換參數(shù)不是直接優(yōu)化得到的，而是通過(guò)優(yōu)化CNN 間接得到的。CNN 的任務(wù)是通過(guò)分析固定圖像和浮動(dòng)圖像來(lái)預(yù)測(cè)變換參數(shù)。利用預(yù)測(cè)的變換參數(shù)，得到一個(gè)稠密的位移矢量場(chǎng)（Displacement Vector Field，DVF）。DVF 用于對(duì)浮動(dòng)圖像進(jìn)行重采樣，使其盡量變換到與固定圖像對(duì)齊的狀態(tài)。在訓(xùn)練過(guò)程中，CNN 通過(guò)優(yōu)化固定圖像和浮動(dòng)圖像之間的相似性來(lái)學(xué)習(xí)圖像配準(zhǔn)的基本模式。一旦訓(xùn)練完成，CNN 就學(xué)會(huì)了圖像配準(zhǔn)任務(wù)，并且能夠通過(guò)非迭代的方式完成固定圖像和浮動(dòng)圖像之間的配準(zhǔn)任務(wù)。本文下面章節(jié)對(duì)DLIR 框架[5]進(jìn)行簡(jiǎn)單的介紹。

1 醫(yī)學(xué)圖像配準(zhǔn)

醫(yī)學(xué)圖像配準(zhǔn)是指將兩幅或多幅醫(yī)學(xué)圖像通過(guò)空間幾何變換，使得其中一幅圖像圖像與另一幅或其他圖像達(dá)到空間位置上的對(duì)齊，從而滿足臨床醫(yī)學(xué)應(yīng)用的需要。配準(zhǔn)過(guò)程中固定不動(dòng)的圖像稱為固定圖像（Fixed image），變換的圖像稱為浮動(dòng)圖像（Moving image）。醫(yī)學(xué)圖像配準(zhǔn)的主要目標(biāo)是根據(jù)相似性測(cè)度準(zhǔn)則，尋找一種空間變換形式，使變換后的浮動(dòng)圖像與固定圖像的相似性達(dá)到最大。

常規(guī)的醫(yī)學(xué)圖像配準(zhǔn)過(guò)程主要包括五個(gè)步驟：特征空間提取、空間變換、圖像插值、相似性測(cè)度和迭代優(yōu)化。配準(zhǔn)過(guò)程以固定圖像和浮動(dòng)圖像為輸入，進(jìn)行特征空間的提取，常見的擁有圖像配準(zhǔn)的特征主要包括基于灰度和基于結(jié)構(gòu)兩種。然后在優(yōu)化過(guò)程中迭代的進(jìn)行如下操作：首先，對(duì)于浮動(dòng)圖像需要選取一種空間變換模型，使其通過(guò)空間變換盡量與固定圖像對(duì)齊；其次，對(duì)于空間變換后的浮動(dòng)圖像，還需要進(jìn)行重采用，即利用圖像插值求得變換后的圖像；再次，根據(jù)相似性測(cè)度準(zhǔn)則，判斷變換后的浮動(dòng)圖像與固定圖像是否對(duì)齊，即相似性是否達(dá)到最大值，如果沒(méi)有達(dá)到最大值，則更新參數(shù)，循環(huán)的迭代上述步驟。最后達(dá)到迭代優(yōu)化結(jié)束條件時(shí)，輸出空間變換公式和變換后的浮動(dòng)圖像，即配準(zhǔn)好的圖像。至此配準(zhǔn)過(guò)程完成，由此可見，醫(yī)學(xué)圖像配準(zhǔn)是一個(gè)迭代優(yōu)化求解變換參數(shù)的過(guò)程。

2 深度學(xué)習(xí)圖像配準(zhǔn)框架

在文獻(xiàn)[5]中提出的深度學(xué)習(xí)圖像配準(zhǔn)框架中，CNN的任務(wù)是以固定圖像和浮動(dòng)圖像未輸入，來(lái)預(yù)測(cè)空間變換的參數(shù)。CNN 通過(guò)固定圖像和浮動(dòng)圖像對(duì)之間的相似度來(lái)預(yù)測(cè)參數(shù)并進(jìn)行訓(xùn)練，即待配準(zhǔn)圖像之間相似度的計(jì)算作為CNN 訓(xùn)練的損失函數(shù)。DLIR 框架提供了仿射和可變性圖像配準(zhǔn)，同時(shí)可以實(shí)現(xiàn)多尺度、多分辨率的圖像配準(zhǔn)。

2.1 仿射圖像配準(zhǔn)

通常在進(jìn)行可變性圖像配準(zhǔn)之前，需要進(jìn)行仿射變換，使圖像基本對(duì)齊，可以簡(jiǎn)化后續(xù)復(fù)雜的優(yōu)化步驟。由于仿射變換是全局的，因此，設(shè)計(jì)的CNN 對(duì)輸入的待配準(zhǔn)圖像進(jìn)行全局分析。同時(shí)為了解決輸入圖像不同尺度的問(wèn)題，CNN 為固定圖像和浮動(dòng)圖像提供了各自的分析管道。管道獨(dú)立分析輸入圖像，消除了對(duì)輸入圖像裁剪、填充等尺寸調(diào)整的操作。在每個(gè)管道中，最終獲得的特征的尺度是不同的。因此，采用平均值作為輸出的特征。對(duì)于3 維圖像來(lái)說(shuō)，CNN 將產(chǎn)生12 個(gè)仿射變換參數(shù)：3 個(gè)平移、3 個(gè)旋轉(zhuǎn)、3 個(gè)縮放和3 個(gè)剪切參數(shù)。圖1 為用于仿射圖像配準(zhǔn)的CNN。兩條獨(dú)立的管道分別處理固定圖像和浮動(dòng)圖像，每個(gè)管道由5 個(gè)交替的卷積層和下采樣層組成。這些層的數(shù)量可以根據(jù)任務(wù)的復(fù)雜度和輸入圖像大小而不同。

圖1 仿射圖像配準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)

圖2 可變性圖像配準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)

2.2 可變性圖像配準(zhǔn)

可變形變換模型可以表示醫(yī)學(xué)圖像中出現(xiàn)的局部形變?？勺冃螆D像配準(zhǔn)可以采用多種變換模型來(lái)實(shí)現(xiàn)。這里選擇B樣條變換模型。B 樣條曲線每個(gè)控制點(diǎn)只影響圖像中的特定區(qū)域，即某一控制點(diǎn)位置的變動(dòng)只影響其鄰近幾個(gè)點(diǎn)的變動(dòng)。CNN 從輸入的固定圖像和浮動(dòng)圖像中提取各個(gè)局部窗口，并預(yù)測(cè)局部窗口內(nèi)B 樣條控制點(diǎn)的位移。圖2 為用于可變性圖像配準(zhǔn)的CNN。以通過(guò)仿射配準(zhǔn)的固定圖像和浮動(dòng)圖像作為輸入，連接后卷積層和下采樣層交替出現(xiàn)。B 樣條的網(wǎng)格間隔，即控制點(diǎn)的多少，決定了層數(shù)的多少。較大的網(wǎng)格間距意味著較少的控制點(diǎn)，需要更多的下采樣層和卷積層。在最后一個(gè)下采樣層之后，還需要額外的兩個(gè)卷積層。然后通過(guò)卷積輸出層預(yù)測(cè)變換后的B 樣條控制點(diǎn)。最后用于圖像重采樣的DVF可以通過(guò)B樣條插值從估計(jì)的控制點(diǎn)生成。

2.3 多尺度圖像配準(zhǔn)

傳統(tǒng)的圖像配準(zhǔn)通常采用多階段配準(zhǔn)，首先從仿射配準(zhǔn)開始的，然后是使用B 樣條曲線進(jìn)行由粗到精的可變形圖像配準(zhǔn)。這種分層多階段配準(zhǔn)策略的迭代過(guò)程能夠避免優(yōu)化陷入局部最優(yōu)。DLIR 框架通過(guò)多個(gè)階段的CNN 實(shí)現(xiàn)了這種策略，每個(gè)階段都有自己的配準(zhǔn)任務(wù)。例如，首先是用于仿射配準(zhǔn)的CNN。之后是多個(gè)用于由粗到精的基于B 樣條的可變性配準(zhǔn)，每個(gè)CNN 都采用不同的B 樣條網(wǎng)格間距和不同分辨率的圖像作為輸入。

3 結(jié)束語(yǔ)

本文介紹了de Vos 等人提出的深度學(xué)習(xí)圖像配準(zhǔn)框架。該配準(zhǔn)框架采用無(wú)監(jiān)督學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)，可以實(shí)現(xiàn)仿射和可變性圖像配準(zhǔn)。同時(shí)還采用了由粗到精多分辨率的配準(zhǔn)過(guò)程。使用經(jīng)過(guò)訓(xùn)練后的DLIR框架進(jìn)行圖像配準(zhǔn)，無(wú)需進(jìn)行迭代優(yōu)化，直接產(chǎn)生配準(zhǔn)結(jié)果，大大加快了配準(zhǔn)速度，適用于實(shí)時(shí)性要求較高的應(yīng)用場(chǎng)合。