王帥坤，周志勇，胡冀蘇，錢旭升，耿辰，陳光強(qiáng)，紀(jì)建松，戴亞康，5

（1.中國科學(xué)技術(shù)大學(xué)（蘇州）生物醫(yī)學(xué)工程學(xué)院生命科學(xué)與醫(yī)學(xué)部，江蘇蘇州 215163；2.中國科學(xué)院蘇州生物醫(yī)學(xué)工程技術(shù)研究所，江蘇 蘇州 215163；3.蘇州大學(xué)附屬第二醫(yī)院，江蘇 蘇州 215000；4.麗水市中心醫(yī)院，浙江 麗水 323000；5.濟(jì)南國科醫(yī)工科技發(fā)展有限公司，濟(jì)南 250000）

0 概述

肝癌是最危險(xiǎn)的致死癌之一［1］。常規(guī)的肝癌診斷、放療規(guī)劃、圖像引導(dǎo)的介入治療等技術(shù)都需根據(jù)醫(yī)學(xué)圖像的分析，其中多模態(tài)配準(zhǔn)是關(guān)鍵環(huán)節(jié)。通過多模態(tài)圖像如電子計(jì)算機(jī)斷層掃描（Computed Tomography，CT）和核磁共振圖 像（Magnetic Resonance，MR）的配準(zhǔn)和融合能夠利用不同模態(tài)的互補(bǔ)信息，從不同側(cè)面分析疾病。由于配準(zhǔn)速度和配準(zhǔn)結(jié)果的好壞都會(huì)嚴(yán)重影響后續(xù)的定量分析，因此實(shí)現(xiàn)快速、精準(zhǔn)的多模態(tài)配準(zhǔn)具有重要的臨床意義。

配準(zhǔn)的根本目的是尋找一組最優(yōu)轉(zhuǎn)換參數(shù)，使不同圖像變換后在整體和結(jié)構(gòu)上均對(duì)齊。多模態(tài)配準(zhǔn)相較于單模態(tài)配準(zhǔn)的主要難點(diǎn)在于不同模態(tài)圖像的灰度、紋理差異較大，轉(zhuǎn)換參數(shù)的尋優(yōu)困難。以肝臟為例，CT 與MR 圖像的灰度值相差巨大，CT 圖像的灰度值為［-1 024，1 024］，而MR 僅為［0，500］，因此度量兩者的相似性十分困難。另外，肝臟器官體積較大，與周圍組織存在滑動(dòng)，導(dǎo)致不同模態(tài)圖像上的非線性形變巨大，這也是限制配準(zhǔn)精度的關(guān)鍵因素。傳統(tǒng)的迭代式肝臟多模態(tài)配準(zhǔn)方法主要利用相似測度的迭代最大值來尋找圖像對(duì)的最優(yōu)轉(zhuǎn)換參數(shù)，其中，有效的相似測度至關(guān)重要，常用的多模態(tài)相似測度有互信 息［2］、熵圖［3］、模態(tài)無關(guān)鄰域描述符［4］等。雖然上述方法在解決圖像對(duì)齊的優(yōu)化問題上已經(jīng)取得了不錯(cuò)的效果，但是迭代優(yōu)化的計(jì)算量巨大、配準(zhǔn)時(shí)間長、容易陷入局部最優(yōu)的缺點(diǎn)限制了其臨床應(yīng)用范圍。隨著深度學(xué)習(xí)在醫(yī)學(xué)圖像處理領(lǐng)域的應(yīng)用，基于深度學(xué)習(xí)的配準(zhǔn)算法被陸續(xù)提出，并且取得了相當(dāng)高的配準(zhǔn)性能［5］。

測度估計(jì)式配準(zhǔn)是指通過卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到一種通用的相似測度用于指導(dǎo)多模態(tài)配準(zhǔn)?；诖怂枷耄琒IMONOVSKY 等［6］采用一種Siamese 網(wǎng)絡(luò)來顯式地學(xué)習(xí)多模態(tài)腦圖像對(duì)的相似測度表達(dá)。他們將測度估計(jì)問題建模為分類任務(wù)，通過判斷不同模態(tài)的圖像塊是否對(duì)齊來估計(jì)相似測度，然后用估計(jì)到的相似測度指導(dǎo)配準(zhǔn)。后來，GRANT 等［7］使用類似的理論學(xué)習(xí)MR-TRUS 配準(zhǔn)的相似測度，并且提出一種復(fù)合優(yōu)化策略來提高訓(xùn)練速度。上述方法從設(shè)計(jì)測度角度看待多模態(tài)問題，存在一個(gè)巨大的缺點(diǎn)—偽分類任務(wù)需要預(yù)先設(shè)計(jì)兩類圖像塊（對(duì)齊和不對(duì)齊）來監(jiān)督訓(xùn)練相似測度網(wǎng)絡(luò)，導(dǎo)致相似測度網(wǎng)絡(luò)和配準(zhǔn)網(wǎng)絡(luò)不能同時(shí)訓(xùn)練，整體網(wǎng)絡(luò)權(quán)重訓(xùn)練不能端對(duì)端進(jìn)行。

對(duì)抗訓(xùn)練式配準(zhǔn)受益于生成對(duì)抗式［8］思想，通過使用鑒別網(wǎng)絡(luò)代替損失函數(shù)，實(shí)現(xiàn)對(duì)抗式訓(xùn)練。YAN 等［9］率先提出多模態(tài)圖像對(duì)抗訓(xùn)練式配準(zhǔn)框架，他們將生成器設(shè)計(jì)為配準(zhǔn)網(wǎng)絡(luò)，直接估計(jì)形變場，并用鑒別器評(píng)估生成圖像和參考圖像的相似性，總體網(wǎng)絡(luò)采用對(duì)抗式訓(xùn)練，直到達(dá)到平衡狀態(tài)。盡管文章中的配準(zhǔn)精度還有待提高，但至少證明了算法的可行性。MAHAPATRA 等［10］拓展 了對(duì)抗訓(xùn)練式配準(zhǔn)框架，使用多種對(duì)抗網(wǎng)絡(luò)實(shí)現(xiàn)多模態(tài)眼底圖像的配準(zhǔn)。FAN 等［11］通過精心設(shè)計(jì)參考圖像，同時(shí)實(shí)現(xiàn)了單模態(tài)和多模態(tài)的對(duì)抗訓(xùn)練配準(zhǔn)。

深度學(xué)習(xí)的數(shù)據(jù)驅(qū)動(dòng)能力具備直接優(yōu)化轉(zhuǎn)換參數(shù)的能力，例如形變參數(shù)估計(jì)式配準(zhǔn)方法被應(yīng)用于單模態(tài)配準(zhǔn)，產(chǎn)生出如DIRNet［12］、SVF-Net［13］、VoxelMorph［14］等配準(zhǔn)性能良好的圖像配準(zhǔn)框架，但由于單模態(tài)相似測度不適用于多模態(tài)，導(dǎo)致其在多模態(tài)配準(zhǔn)中應(yīng)用受限。后來，HU 等［15］提出采用前列腺不同區(qū)域的分割標(biāo)簽來監(jiān)督訓(xùn)練形變參數(shù)估計(jì)網(wǎng)絡(luò)，實(shí)現(xiàn)了前列腺M(fèi)R 圖像和超聲（Ultrasound，US）圖像的多模態(tài)配準(zhǔn)。然而，標(biāo)簽驅(qū)動(dòng)的弱監(jiān)督配準(zhǔn)需要手動(dòng)分割解剖標(biāo)簽，耗時(shí)耗力。ZHOU 等［16］提出采用深度學(xué)習(xí)的方式自動(dòng)分割肝臟CT 和MR 標(biāo)簽，然后使用分割標(biāo)簽輔助配準(zhǔn)，提高了配準(zhǔn)精度。從本質(zhì)上說，形變參數(shù)估計(jì)配準(zhǔn)是一個(gè)利用深度學(xué)習(xí)網(wǎng)絡(luò)實(shí)現(xiàn)圖像特征表征的過程，其中從差異性較大的區(qū)域中提取合適的特征是難點(diǎn)。衍生出的標(biāo)簽驅(qū)動(dòng)配準(zhǔn)能夠從損失函數(shù)的角度進(jìn)行全局約束，但是本身標(biāo)簽的獲取困難，約束也比較微弱，容易使網(wǎng)絡(luò)陷入局部最優(yōu)。

為有效提高肝臟多模態(tài)圖像的特征表達(dá)能力，解決導(dǎo)致肝臟配準(zhǔn)精度低的大形變問題，本文提出一種基于多尺度形變?nèi)诤虾碗p輸入空間注意力的無監(jiān)督圖像配準(zhǔn)算法（Ms-RNet）。采用一種全新的多尺度形變?nèi)诤峡蚣芊纸飧闻K的大形變問題，通過提取不同分辨率的圖像特征實(shí)現(xiàn)肝臟的逐階配準(zhǔn)，提高配準(zhǔn)精度。此外，提出一種雙輸入空間注意力模塊，通過融合編解碼階段中不同水平的空間和文本信息來提取圖像間的差異特征，從而增強(qiáng)配準(zhǔn)網(wǎng)絡(luò)的特征表達(dá)，獲得更加精確的形變場。為實(shí)現(xiàn)無監(jiān)督配準(zhǔn)，將傳統(tǒng)多模態(tài)配準(zhǔn)中常用的模態(tài)無關(guān)鄰域特征向量化，構(gòu)建可以用于深度學(xué)習(xí)網(wǎng)絡(luò)的相似測度，并通過在結(jié)構(gòu)信息損失項(xiàng)的基礎(chǔ)上添加雅可比負(fù)值罰項(xiàng)來懲罰折疊體素，保證形變的穩(wěn)定性。

1 本文方法

1.1 整體框架

定義3D 空間Ω∈R3上的一組圖像，固定圖像F和浮動(dòng)圖像M。圖像配準(zhǔn)的目的是尋找一組最優(yōu)的空間變換參數(shù)?，使配準(zhǔn)后的圖像M(?)與圖像F在形態(tài)和解剖結(jié)構(gòu)上對(duì)齊。與傳統(tǒng)配準(zhǔn)迭代優(yōu)化的思路不同，本文基于深度學(xué)習(xí)思想構(gòu)建了一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型，直接估計(jì)圖像F和M之間的形變場，即：

其中：f表示卷積神經(jīng)網(wǎng)絡(luò)要學(xué)習(xí)的映射函數(shù)；θ是網(wǎng)絡(luò)參數(shù)；?是估計(jì)得到的形變場。一般通過最大化相似測度函數(shù)來訓(xùn)練網(wǎng)絡(luò)，學(xué)習(xí)最優(yōu)的網(wǎng)絡(luò)參數(shù)，構(gòu)建配準(zhǔn)模型。其圖像配準(zhǔn)過程可表示為式（2）所示：

其中：S(F,M(?))表示固定圖像F和配準(zhǔn)后圖像M(?)之間的損失項(xiàng)；R(?)是為了保證形變的平滑性而添加的正則項(xiàng)。

整體配準(zhǔn)框架如圖1 所示，包含形變場估計(jì)、空間變換和相似性度量3 個(gè)部分。具體來說，首先把浮動(dòng)圖像和固定圖像合并為雙通道圖像，并將其輸入到本文提出的Ms-RNet 網(wǎng)絡(luò)（具體網(wǎng)絡(luò)的結(jié)構(gòu)見1.2 節(jié)），經(jīng)過特征提取和解耦，得到三通道的形變場。然后經(jīng)過空間變換對(duì)浮動(dòng)圖像進(jìn)行重采樣，得到最終的配準(zhǔn)圖像。最后，將配準(zhǔn)圖像與固定圖像間的結(jié)構(gòu)特征相似性指標(biāo)作為網(wǎng)絡(luò)的損失項(xiàng)來引導(dǎo)網(wǎng)絡(luò)參數(shù)的優(yōu)化。在使用正則項(xiàng)保證整體形變平滑性的同時(shí)，引入雅可比負(fù)值罰項(xiàng)來進(jìn)一步懲罰折疊體素，保證配準(zhǔn)圖像的拓?fù)涮匦?。在測試階段中，給定未知的圖像對(duì)，直接通過配準(zhǔn)網(wǎng)絡(luò)即可得到配準(zhǔn)后的圖像，無需重復(fù)訓(xùn)練，配準(zhǔn)速度快。

圖1 肝臟多模態(tài)配準(zhǔn)流程Fig.1 Procedure of liver multimodal registration

盡管本文Ms-RNet 網(wǎng)絡(luò)屬于多階配準(zhǔn)框架，但是整個(gè)網(wǎng)絡(luò)訓(xùn)練過程是端對(duì)端的，可以直接輸出最終配準(zhǔn)結(jié)果，而且訓(xùn)練階段不需要任何標(biāo)簽信息，屬于無監(jiān)督式配準(zhǔn)。

1.2 具體網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的Ms-RNet 是在多尺度形變?nèi)诤峡蚣芟碌呐錅?zhǔn)網(wǎng)絡(luò)，其中的基礎(chǔ)全卷積配準(zhǔn)網(wǎng)絡(luò)RNet 融合了雙輸入空間注意力模塊來增強(qiáng)特征表達(dá)，具體細(xì)節(jié)見2.2.1 節(jié)～2.2.3 節(jié)。

1.2.1 多尺度形變?nèi)诤峡蚣?/p>

肝臟多模態(tài)圖像非線性形變明顯，結(jié)構(gòu)差異性較大。深度學(xué)習(xí)網(wǎng)絡(luò)中常用的3×3、5×5 的卷積核感受野較小，難以提取圖像中差異性較大的特征，不利于大形變的配準(zhǔn)［17-18］。同時(shí)由于網(wǎng)絡(luò)參數(shù)較多且具有較大自由度，在沒有良好的初始化參數(shù)的情況下，直接優(yōu)化較為困難，容易陷入局部最優(yōu)。受傳統(tǒng)配準(zhǔn)方法中的多分辨率思想和文獻(xiàn)［17］啟發(fā)，本文設(shè)計(jì)了一種多尺度形變?nèi)诤峡蚣?，將大形變配?zhǔn)問題簡化為從粗到細(xì)的逐階配準(zhǔn)問題。通過逐層精細(xì)化配準(zhǔn)，網(wǎng)絡(luò)在每個(gè)尺度估計(jì)的形變可以作為后續(xù)配準(zhǔn)的初始值，避免了網(wǎng)絡(luò)陷入局部最優(yōu)，提高配準(zhǔn)精度。

圖2 是多尺度形變?nèi)诤峡蚣艿氖疽鈭D（本文采用三階的結(jié)構(gòu)），采用倒金字塔式形態(tài)，各階輸入為不同分辨率的圖像對(duì)。其中，每一階的基礎(chǔ)配準(zhǔn)網(wǎng)絡(luò)RNet 是本文提出的融合了雙輸入空間注意力模塊的全卷積配準(zhǔn)網(wǎng)絡(luò)，他們具有一樣的網(wǎng)絡(luò)架構(gòu)，但是輸入的圖像尺寸不同。

圖2 多尺度形變?nèi)诤峡蚣蹻ig.2 Multi-scale deformation fusion framework

多尺度形變?nèi)诤峡蚣艿幕玖鞒倘缦拢?/p>

1）將原始圖像分別下采樣為原圖像大小的1/2和1/4，即F=F0=2F1=4F2，M=M0=2M1=4M2，其中F為原固定圖像，M為原浮動(dòng)圖像。

2）每一階形變估計(jì)均采用RNet 來完成，對(duì)于低階配準(zhǔn)，輸入為最低分辨率圖像對(duì)(F2,M2)，使用RNet 提取輸入圖像的特征，然后解碼得到形變場?2。由于輸入的是最低分辨率圖像，網(wǎng)絡(luò)主要提取全局文本信息，生成粗糙形變場。中間階配準(zhǔn)需要先上采樣?2，得到與圖像對(duì)(F1,M1)大小一樣的形變場′，然后配準(zhǔn)M1得到配準(zhǔn)后的圖像，所以實(shí)際上中間階網(wǎng)絡(luò)輸入為這樣，中間階配準(zhǔn)使用了低階形變進(jìn)行初始化操作，可以預(yù)測更加精細(xì)的形變場，補(bǔ)充更多結(jié)構(gòu)信息。需要注意的是，由于從中間階開始，浮動(dòng)圖像實(shí)際上是配準(zhǔn)后的圖像，所以配準(zhǔn)網(wǎng)絡(luò)估計(jì)的形變是一種殘差形變?r1，實(shí)際形變場?1需要加上低階形變場，即多尺度的形變?nèi)诤?。高階配準(zhǔn)重復(fù)中間階的過程，即可得到最終的形變場?。中間階與高階配準(zhǔn)的表達(dá)式如式（3）所示：

其中：up 代表形變場上采樣2 倍，實(shí)驗(yàn)中采用三線性插值實(shí)現(xiàn)；α代表形變的振幅，可以保證不同階形變幅值的一致性，一般α=2；?2為低階形變場；?r1為中間階殘差形變；?r0為高階殘差形變。

1.2.2 全卷積配準(zhǔn)網(wǎng)絡(luò)

為適應(yīng)配準(zhǔn)本身的特征提取特點(diǎn)，本文設(shè)計(jì)一種全新的融合了雙輸入空間注意力的全卷積配準(zhǔn)網(wǎng)絡(luò)RNet，其基礎(chǔ)結(jié)構(gòu)類似于U-Net［19］，主要由編解碼層和注意力層組成，如圖3 所示，其中：編碼階段利用級(jí)聯(lián)的卷積層來降低特征圖維度，進(jìn)行特征提??；解碼階段使用反卷積層將特征圖恢復(fù)至與原始圖像大小相同的特征圖，然后進(jìn)行形變估計(jì)，得到最終的形變場。具體來說：在提取特征階段，每次下采樣后都會(huì)使用2 個(gè)3×3×3卷積層提取不同層次的圖像特征，并使用參數(shù)為0.2 的LeakyReLU 激活層進(jìn)行激活，同時(shí)緊接一個(gè)步長為2 的卷積來壓縮特征維度，增加網(wǎng)絡(luò)深度。在解碼階段，每次上采樣后的特征圖，首先通過跳躍連接層和相同層級(jí)編碼階段的淺層特征融合，然后經(jīng)過2 個(gè)3×3×3 的卷積層（每一個(gè)卷積層后面依然接一個(gè)LeakyReLU 激活層）來進(jìn)一步解耦特征，同時(shí)提高網(wǎng)絡(luò)的非線性映射能力。最后，經(jīng)過一個(gè)卷積核大小為3，步長為1 的卷積和SoftSign 激活層輸出三通道形變場，即位移向量dx、dy和dz。

圖3 全卷積配準(zhǔn)網(wǎng)絡(luò)的結(jié)構(gòu)Fig.3 Structure of fully convolution registration network

RNet 與經(jīng)典U-Net 不同之處在于：

1）由于配準(zhǔn)是逐體素配準(zhǔn)，需要盡量保留更多特征，因此上下采樣層全部使用卷積實(shí)現(xiàn)，避免圖像特征的丟失。

2）為進(jìn)一步提高特征表達(dá)能力，引入空間注意力機(jī)制，將簡單的跨越連接替換成了雙輸入空間注意力模塊（細(xì)節(jié)見1.2.3 節(jié)），將來自編解碼層的不同水平信息合并到空間特征圖上，通過空間權(quán)重的重新賦值來突出差異性區(qū)域，提高特征表達(dá)能力。

1.2.3 雙輸入空間注意力模塊

空間自注意力［20］已被應(yīng)用于文本的語義分割。后來，自注意力機(jī)制被用于消除對(duì)于外界門控信息的依賴［21-22］，如WANG 等［22］利用非局部自注意力來抓取長程依賴關(guān)系。后來也有工作表明，通過將注意力模塊集成到標(biāo)準(zhǔn)的U-Net 中，可以捕獲最相關(guān)的語義上下文信息，且不需要很大的視野域［23］。本文將空間自注意力機(jī)制嵌入圖像配準(zhǔn)網(wǎng)絡(luò)，利用其優(yōu)點(diǎn)來更好地提取特征，優(yōu)化配準(zhǔn)。

雙輸入空間注意力模塊的基本結(jié)構(gòu)如圖4 所示，通過連接編碼和解碼階段不同尺度的特征圖，來獲取空間維度上的不同權(quán)值，進(jìn)而保留相關(guān)區(qū)域激活，去除不相關(guān)或者噪聲響應(yīng)。在實(shí)現(xiàn)上，首先對(duì)解碼階段的特征圖d進(jìn)行上采樣操作，得到dup∈RC×H×W×D，然后沿著通道軸對(duì)e和dup最大池化，并且將結(jié)果相加，得到一個(gè)融合特征圖，其中沿著通道軸應(yīng)用池化操作可以有效突出信息區(qū)域［24］。對(duì)融合特征圖進(jìn)行卷積核大小為1，步長為1 的標(biāo)準(zhǔn)卷積操作后，通過Sigmoid 激活來歸一化空間權(quán)重圖α，消除差異性噪聲。最后，將α與e進(jìn)行體素間對(duì)位相乘，即可得到具有豐富上下文信息的特征圖。將上述過程公式化為式（4）所示：

圖4 雙輸入空間注意力模塊的結(jié)構(gòu)Fig.4 Structure of the dual-input spatial attention module

本模塊與OKTAY 等［23］設(shè)計(jì)的自注意力門控模塊類似，但是由于僅使用池化操作和卷積核為1 的卷積操作，增加的必須優(yōu)化的參數(shù)幾乎為0，可以配合更加深層的網(wǎng)絡(luò)使用，而幾乎不增加額外的時(shí)間成本。

1.3 損失函數(shù)

1.3.1 結(jié)構(gòu)信息損失項(xiàng)

為實(shí)現(xiàn)無監(jiān)督配準(zhǔn)，網(wǎng)絡(luò)的損失項(xiàng)必須不受模態(tài)限制，能夠真正度量不同模態(tài)圖像的相似性。模態(tài)無關(guān)鄰域描述符（Modality Independent Neighbourhood Descriptor，MIND）特征是傳統(tǒng)配準(zhǔn)中經(jīng)典的多模態(tài)測度，它定義在局部圖像塊（patch）上，描述的是每個(gè)體素周圍的鄰域特性?；贛IND 的相似測度假設(shè)是，即使在不同模態(tài)圖像中，圍繞體素的局部模式應(yīng)該是相似的，與模態(tài)無關(guān)，通過最小化該相似性，可以促進(jìn)配準(zhǔn)優(yōu)化。結(jié)構(gòu)信息約束已被用作多模態(tài)合成時(shí)的損失函數(shù)［25］，促進(jìn)合成網(wǎng)絡(luò)的優(yōu)化，但是在深度學(xué)習(xí)配準(zhǔn)網(wǎng)絡(luò)中應(yīng)用較少。本文將其向量化，實(shí)現(xiàn)梯度回傳，直接應(yīng)用于配準(zhǔn)網(wǎng)絡(luò)。下面將具體介紹結(jié)構(gòu)信息損失項(xiàng)的計(jì)算方式。

MIND 特征可以用距離向量r和大小為p的圖像塊參數(shù)化。定義Dp為一對(duì)圖像塊的相似距離，其表達(dá)式為式（5）所示：

其中：x1和x2是圖像I上的兩個(gè)體素位置；P是以x1和x2為中心，大小為p×p×p的圖像塊之間的一系列位移量。因此，Dp實(shí)際上計(jì)算的是2 個(gè)圖像塊的均方差。

MIND 則被定義為Dp的高斯函數(shù)：

其中：x是圖像I上的任一體素；r是距離向量；V(I,x) 是局部方差估計(jì)，一般采用6-鄰域圖像塊（如圖5 所示）的Dp期望值來估計(jì)，其表達(dá)式如式（7）所示：

圖5 MIND 特征的6-鄰域結(jié)構(gòu)示意圖Fig.5 Schematic diagram of six-neighborhood structure of MIND feature

由于MIND 特征是Dp的高斯函數(shù)，在圖像塊不相似時(shí)表現(xiàn)為低響應(yīng)，在圖像塊相似時(shí)表現(xiàn)為高響應(yīng)，可以很好地表征局部特性。

最后，為構(gòu)建結(jié)構(gòu)信息損失項(xiàng)，采用平均絕對(duì)誤差來計(jì)算配準(zhǔn)圖像之間的MIND 特征，定義如下：

其中：F是固定圖像；M(?)是配準(zhǔn)后的圖像；R是6-鄰域的位移向量。

1.3.2 雅可比負(fù)值罰項(xiàng)

除了相似性測度函數(shù)，一般為了保證形變的平滑性，會(huì)在損失函數(shù)中添加平滑約束項(xiàng)來約束形變，如：

其中：g表示x，y，z方向的形變位移量。正則項(xiàng)通過對(duì)圖像在3 個(gè)方向上的梯度進(jìn)行約束來確保平滑變形。

但是在圖像配準(zhǔn)過程中，所有的體素不一定經(jīng)歷相同的形變量，嚴(yán)重變形的體素會(huì)出現(xiàn)折疊或者撕裂現(xiàn)象，不符合真實(shí)圖像情況。為減少上述情況發(fā)生，引入雅可比負(fù)值罰項(xiàng)來進(jìn)一步約束形變。其定義如式（10）所示：

其中：N是中全部元素總數(shù)；σ(·)表示一個(gè)線性激活函數(shù)，對(duì)所有正值都是線性的，負(fù)值全部為0；實(shí)驗(yàn)中，設(shè)置線性激活函數(shù)為ReLU 函數(shù)。J?(p)代表形變?在位置p上的雅可比矩陣，其定義如下：

形變場的雅可比矩陣是3 個(gè)方向形變導(dǎo)數(shù)的二階張量，其行列式可以用于分析形變場的局部狀態(tài)。例如：點(diǎn)p∈J(?) 為正值，表示點(diǎn)p在其鄰域范圍內(nèi)能夠保持方向一致性。相反的，如果點(diǎn)p∈J(?)為負(fù)值，表示點(diǎn)p在其鄰域范圍內(nèi)存在折疊，導(dǎo)致正常的拓?fù)湫栽獾狡茐?。根?jù)此事實(shí)，在雅可比負(fù)值體素上添加反折疊罰項(xiàng)，可以抑制負(fù)值區(qū)域的折疊性，正值區(qū)域幾乎不受影響。本文聯(lián)合使用平滑約束項(xiàng)，在反折疊的同時(shí)盡量保持整體形變的平滑。

1.3.3 總體損失函數(shù)

配準(zhǔn)網(wǎng)絡(luò)的整體損失函數(shù)L如下：

其中：α，β和γ分別是平衡結(jié)構(gòu)信息約束項(xiàng)，平滑約束項(xiàng)和雅可比負(fù)值罰項(xiàng)的權(quán)值；Lsmooth是保持形變平滑性的約束項(xiàng)；LJet是用來減少體素折疊，保持圖像的拓?fù)涮匦?。?jīng)過多次實(shí)驗(yàn)調(diào)優(yōu)，最終確定α，β和γ的值分別為10，0.5 和200。

2 實(shí)驗(yàn)設(shè)計(jì)

2.1 實(shí)驗(yàn)數(shù)據(jù)和預(yù)處理

本文實(shí)驗(yàn)數(shù)據(jù)為采集自麗水市中心醫(yī)院的肝臟數(shù)據(jù)集，經(jīng)過整理共有95 組CT-MR 圖像及其對(duì)應(yīng)的分割標(biāo)簽，表1 為圖像的具體信息，其中兩種模態(tài)圖像層厚相差2 mm，是本文實(shí)驗(yàn)中距離誤差的主要來源。分割標(biāo)簽由兩位放射科專家標(biāo)注、校對(duì)，用于評(píng)價(jià)配準(zhǔn)精度。采用腫瘤的分割標(biāo)簽和中心點(diǎn)來評(píng)估局部配準(zhǔn)精度［26］，腫瘤的分割標(biāo)簽同樣由放射科專家標(biāo)注得到。

表1 圖像及采集設(shè)備的具體信息Table 1 Specific information of image and acquisition equipment

本文隨機(jī)選擇20 組數(shù)據(jù)用作測試集，剩下的75 組數(shù)據(jù)作為訓(xùn)練集，同時(shí)采用5 折交叉驗(yàn)證的方式減少實(shí)驗(yàn)誤差。為了提高配準(zhǔn)精度，提升模型的魯棒性，訓(xùn)練模型前，本文采用如下的預(yù)處理方式對(duì)數(shù)據(jù)進(jìn)行處理：首先，采用Elastix［27］工具包中的線性變換對(duì)CT 和MR 圖像進(jìn)行病人內(nèi)的對(duì)齊操作，減少由于體位變化和FOV 造成的巨大差距。然后，將圖像重采樣為1 mm×1 mm×1 mm 的各向同性空間分辨率。接著，將所有圖像都中心裁剪和零填充為256 mm×256 mm×192 mm 的大小來適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)固定大小輸入的要求。注意，裁剪的圖像包含全部肝臟圖像，足夠進(jìn)行實(shí)驗(yàn)。最后，將75 組訓(xùn)練數(shù)據(jù)中的每一組數(shù)據(jù)隨機(jī)沿著x、y、z軸的任一方向進(jìn)行翻轉(zhuǎn)變換，擴(kuò)充數(shù)據(jù)量為原來的2 倍，提升網(wǎng)絡(luò)在有限數(shù)據(jù)情況下的訓(xùn)練精度。

2.2 實(shí)驗(yàn)細(xì)節(jié)

配準(zhǔn)網(wǎng)絡(luò)基于PyTorch 深度學(xué)習(xí)框架完成，并且使用Nvidia RTX 2080Ti GPU 進(jìn)行加速。訓(xùn)練過程中使用Adam 優(yōu)化器實(shí)現(xiàn)梯度下降，尋找使得損失函數(shù)最小的網(wǎng)絡(luò)參數(shù)。網(wǎng)絡(luò)訓(xùn)練的epoch 數(shù)為300；學(xué)習(xí)率為固定值0.000 4。另外，為適應(yīng)GPU 內(nèi)存大小，設(shè)置批次batch size 為1，同時(shí)下采樣輸入圖像為原始大小的1/2，即128 mm×128 mm×96 mm。但是在推理階段，會(huì)通過上采樣獲得全圖大小的形變場，得到原始大小的配準(zhǔn)結(jié)果。

當(dāng)epoch 達(dá)到最大次數(shù)時(shí)停止網(wǎng)絡(luò)訓(xùn)練，保存對(duì)應(yīng)模型進(jìn)行測試。本文每次訓(xùn)練需要近10 h，但是在測試階段，完成一對(duì)尺寸為256 mm×256 mm×192 mm 的3D CT-MR 圖像的配準(zhǔn)僅需要不到0.4 s。

2.3 評(píng)價(jià)指標(biāo)

本文采用如下5 個(gè)評(píng)價(jià)指標(biāo)來評(píng)估算法在全局配準(zhǔn)以及內(nèi)部配準(zhǔn)的有效性。

1）Dice相似系數(shù)（Dice Similarity Coefficient，DSC）和95% 的豪斯多夫距離（95 percentile Hausdorff distance，Hd95）常被用來評(píng)估圖像的整體配準(zhǔn)準(zhǔn)確度。其中DSC 指標(biāo)主要表示結(jié)構(gòu)間的重疊程度，數(shù)值越接近1 越好；Hd95主要表示2 個(gè)標(biāo)簽邊界間的距離程度，數(shù)值越低越好。假設(shè)圖像A和圖像B的分割標(biāo)簽分別為Amask和Bmask，則兩者的定義分別如下：

2）結(jié)構(gòu)相似性系數(shù)（Structural Similarity Index。SSIM）是評(píng)估重建圖像結(jié)構(gòu)信息相似度的一個(gè)指標(biāo)［29］。其假設(shè)是人類在觀察圖像時(shí)主要關(guān)注結(jié)構(gòu)信息（如形狀、位置等），關(guān)注圖像的結(jié)構(gòu)性可以更準(zhǔn)確評(píng)估圖像的質(zhì)量。SSIM 取值范圍是［0，1］，越接近1 表明配準(zhǔn)后圖像與固定圖像越相似。SSIM 定義如下：

其中：μA，μB分別是圖像A和圖像B的均值，代表圖像亮度估計(jì)；σA和σB是圖像的標(biāo)準(zhǔn)差；σAB是協(xié)方差，用于測量結(jié)構(gòu)相似性。c1和c2是維持穩(wěn)定度的常量。

3）圖像的拓?fù)涮卣饕彩菦Q定圖像配準(zhǔn)質(zhì)量的關(guān)鍵，一般使用雅可比值來評(píng)價(jià)，其中正值代表可逆性和拓?fù)浔３帧１疚挠?jì)算雅可比負(fù)值（|J?|≤0）的占比來表示形變的拓?fù)湫?，?shù)值越小代表拓?fù)浣Y(jié)構(gòu)越好。

4）目標(biāo)配準(zhǔn)誤差（Target Registration Error，TRE）主要用來測量圖像內(nèi)部標(biāo)記點(diǎn)的配準(zhǔn)程度，定義為一組圖像全部標(biāo)記點(diǎn)的距離誤差均方根，即：

其中：N是全部標(biāo)記點(diǎn)的數(shù)目；ai和bi是圖像的第i組標(biāo)記點(diǎn)坐標(biāo)向量。

本文對(duì)肝臟配準(zhǔn)的全局評(píng)估采用DSC、Hd95、SSIM 和|J?|≤0 這4 個(gè)指標(biāo)，內(nèi)部配準(zhǔn)質(zhì)量的評(píng)估采用DSC 和TRE 指標(biāo)。

3 實(shí)驗(yàn)結(jié)果與分析

基于上述臨床肝臟數(shù)據(jù)集，本文進(jìn)行了如下實(shí)驗(yàn)：整體算法與其他相關(guān)算法的對(duì)比實(shí)驗(yàn)；結(jié)構(gòu)信息損失項(xiàng)的有效性實(shí)驗(yàn)；多尺度形變?nèi)诤峡蚣芎碗p輸入空間注意力的消融實(shí)驗(yàn)；網(wǎng)絡(luò)收斂性分析實(shí)驗(yàn)。

3.1 定量分析與可視化

為評(píng)估Ms-RNet 的性能，本文將與傳統(tǒng)配準(zhǔn)算法Elastix［27］以及2 個(gè)前沿的深度 學(xué)習(xí)配準(zhǔn)算法Voxelmorph［14］、HU 等［15］進(jìn)行比較。

Elastix 是一種經(jīng)典的基于信息論的魯棒多模態(tài)配準(zhǔn)算法，常被用于胸腹腔多模態(tài)圖像配準(zhǔn)。本文在配準(zhǔn)的準(zhǔn)確度和運(yùn)行時(shí)間上進(jìn)行權(quán)衡，其中：相似度設(shè)置為最大互信息測度；優(yōu)化器采用自適應(yīng)隨機(jī)梯度下降法；變換方式為B-樣條變換；多分辨率是3 階，每個(gè)分辨率的迭代次數(shù)為500。Affine 配準(zhǔn)也是通過Elastix 實(shí)現(xiàn)的，可以用于觀察整體形態(tài)上的仿射配準(zhǔn)情況。Voxelmorph［14］是一種經(jīng)典的無監(jiān)督深度學(xué)習(xí)配準(zhǔn)算法，能夠直接學(xué)習(xí)輸入圖像對(duì)的非線性映射。HU 等［15］的半監(jiān)督深度學(xué)習(xí)算法在多模態(tài)配準(zhǔn)中具有優(yōu)越的性能。為了滿足對(duì)比需要，對(duì)于深度學(xué)習(xí)算法，本文保留上述原始論文的網(wǎng)絡(luò)結(jié)構(gòu)，損失項(xiàng)更換為結(jié)構(gòu)信息損失項(xiàng)，對(duì)比結(jié)果見表2，其中“—”表示在初始狀態(tài)時(shí)無法計(jì)算該值。

表2 肝臟和腫瘤的定量評(píng)估結(jié)果Table 2 Quantitative evaluation of the results from liver and tumors

由表2 可知，在肝臟的全局配準(zhǔn)上，本文算法Ms-RNet的配準(zhǔn)性能顯著優(yōu)于其他深度學(xué)習(xí)配準(zhǔn)算法，達(dá)到最高的DSC、最低的Hd95和最優(yōu)的SSIM值，分別為0.926 1±0.018 6、5.82±2.30 mm和0.547 5±0.091 4。另外，與Elastix 算法相比，Ms-RNet 算法在全局配準(zhǔn)結(jié)果上略有優(yōu)勢，結(jié)構(gòu)相似性指標(biāo)提升明顯。說明本文算法能夠明顯提高肝臟多模態(tài)配準(zhǔn)的準(zhǔn)確度。內(nèi)部配準(zhǔn)上，本文主要通過肝腫瘤的配準(zhǔn)結(jié)果來展示。從表2 可以看出，本文算法在TRE 和局部腫瘤DSC指標(biāo)上均能達(dá)到最優(yōu)結(jié)果，從配準(zhǔn)時(shí)間上看，本文算法的平均配準(zhǔn)速度為0.35 ±0.018 s，明顯優(yōu)于傳統(tǒng)Elastix 算法，提升了近380 倍，能夠滿足臨床配準(zhǔn)中的時(shí)效性需求。

為進(jìn)一步直觀展示本文算法的配準(zhǔn)結(jié)果，隨機(jī)選取兩組測試數(shù)據(jù)進(jìn)行可視化，結(jié)果如圖6 所示，其中第1 列和最后1 列分別為浮動(dòng)圖像和固定圖像，中間5 列分別是5 種不同的配準(zhǔn)算法對(duì)應(yīng)的配準(zhǔn)結(jié)果。為展示肝臟的全局配準(zhǔn)效果，將固定圖像的分割標(biāo)簽（白色曲線）勾畫在配準(zhǔn)后的MR 圖像上，同時(shí)使用箭頭標(biāo)記出配準(zhǔn)后明顯改進(jìn)的區(qū)域。內(nèi)部腫瘤的配準(zhǔn)結(jié)果也進(jìn)一步放大顯示。從圖6 可以看出，相比于其他算法，本文算法配準(zhǔn)后的結(jié)果與固定圖像最接近。尤其是箭頭標(biāo)記的大形變區(qū)域，Ms-RNet算法的配準(zhǔn)效果最好，邊界重合程度最高。內(nèi)部的配準(zhǔn)結(jié)果可以看圖6 中腫瘤區(qū)域的放大圖，其中白色曲線是“金標(biāo)準(zhǔn)”，黑色曲線是配準(zhǔn)后的腫瘤區(qū)域?？梢钥闯?，本文算法能夠較好地配準(zhǔn)內(nèi)部腫瘤區(qū)域，配準(zhǔn)后的圖像相似性最高。說明本文算法采用的注意力機(jī)制和多尺度融合策略能夠提高特征表達(dá)能力，降低肝臟多模態(tài)配準(zhǔn)的難度。此外，本文使用結(jié)構(gòu)信息作為相似測度，能夠有效度量內(nèi)部紋理和形狀特征，進(jìn)而減少結(jié)構(gòu)性差異，提高配準(zhǔn)精度。

圖6 不同算法在測試集下的配準(zhǔn)結(jié)果Fig.6 Registration results of different algorithms under the test dataset

3.2 結(jié)構(gòu)信息損失項(xiàng)的有效性驗(yàn)證

為驗(yàn)證本文模態(tài)無關(guān)結(jié)構(gòu)信息損失項(xiàng)的有效性，對(duì)基于不同損失項(xiàng)的網(wǎng)絡(luò)進(jìn)行對(duì)比分析，結(jié)果如表3 所示。其中，Loss-MI 表示式（12）中使用互信息［28］（MI：Mutual Information）損失項(xiàng)，約束項(xiàng)保持不變；Loss-SSIM 表示式（12）中使用結(jié)構(gòu)相似性［29］（SSIM）損失項(xiàng)，約束項(xiàng)保持不變；Loss-Ours 為式（12）的損失項(xiàng)。

表3 不同損失項(xiàng)的配準(zhǔn)結(jié)果Table 3 Registration results with different loss items

由表3 可以看出，Loss-Ours 在多數(shù)指標(biāo)上表現(xiàn)較好。在全局配準(zhǔn)中：

1）與基于互信息損失的Loss-MI 對(duì)比，全局DSC 和SSIM 指標(biāo)有明顯提升，Hd95指標(biāo)也有明顯降低。但對(duì)于|J?| ≤0 指標(biāo)，Loss-MI 由于采用全局互信息約束，整體形變更加規(guī)則，雅可比負(fù)值更小，故此指標(biāo)更有優(yōu)勢。

2）與基于結(jié)構(gòu)相似性損失的Loss-SSIM 對(duì)比，除去SSIM 指標(biāo)，本文損失項(xiàng)均能達(dá)到更優(yōu)的結(jié)果。在局部配準(zhǔn)中，Loss-Ours 明顯優(yōu)于另外兩種損失項(xiàng)，體現(xiàn)出了模態(tài)無關(guān)結(jié)構(gòu)信息損失項(xiàng)在局部結(jié)構(gòu)配準(zhǔn)上的優(yōu)越性。

圖7 所示為不同損失項(xiàng)的配準(zhǔn)結(jié)果對(duì)比。從圖7 虛線框可以看到，與另外2 種損失項(xiàng)相比，本文損失項(xiàng)可以更好地指導(dǎo)整體大結(jié)構(gòu)的形變，得到與固定圖像更加相近的配準(zhǔn)結(jié)果。另外，由圖7 觀察箭頭指示的肝臟邊緣區(qū)域可以看出3 種損失項(xiàng)的配準(zhǔn)平滑度有所不同，其中基于Loss-Ours 和Loss-MI得到的邊緣更加規(guī)則，然而基于Loss-SSIM 的配準(zhǔn)結(jié)果邊緣曲折變化。這說明基于互信息和模態(tài)無關(guān)結(jié)構(gòu)信息的損失項(xiàng)在保證圖像形變的同時(shí)，可以在一定程度上減少拓?fù)湔郫B。

圖7 不同損失項(xiàng)的配準(zhǔn)結(jié)果對(duì)比Fig.7 Comparison of registration results with different loss items

3.3 消融實(shí)驗(yàn)

本節(jié)主要分析雙輸入空間注意力和多尺度形變?nèi)诤峡蚣艿挠行?，及有無雅可比負(fù)值罰項(xiàng)對(duì)于拓?fù)浣Y(jié)構(gòu)的影響。

3.3.1 雙輸入空間注意力的有效性驗(yàn)證

為驗(yàn)證雙輸入空間注意力的有效性，對(duì)有無雙輸入空間注意力的網(wǎng)絡(luò)進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表4所示?？梢钥吹?，添加雙輸入空間注意力模塊后，算法在全局配準(zhǔn)以及局部配準(zhǔn)上均有明顯提升，且TRE 指標(biāo)降低了16.33%。這表明該模塊能夠有效提取雙流輸入的不同水平信息，并通過空間權(quán)重的重賦值來突出差異性區(qū)域，提高特征表達(dá)能力。

表4 有無雙輸入空間注意力的結(jié)果對(duì)比Table 4 Results comparision with and without dual-input spatial attention

3.3.2 多尺度形變?nèi)诤峡蚣艿挠行则?yàn)證

為驗(yàn)證多分辨率殘差形變框架的有效性，將配準(zhǔn)網(wǎng)絡(luò)RNet 與多階Ms-RNet 進(jìn)行了比較，結(jié)果如表5 所示。

表5 有無多尺度形變?nèi)诤系慕Y(jié)果對(duì)比Table 5 Results comparision with and without multi-scale deformation architecture

由表5 可知，Ms-RNet 與RNet 相比，配準(zhǔn)性能有所提升。其中，在全局配準(zhǔn)結(jié)果中，Ms-RNet 的DSC均值提升了約1.50%，Hd95均值降低了約16.50%，SSIM 提升了約5.11%。可見使用多尺度形變?nèi)诤虾罂梢越档团錅?zhǔn)難度，能更好地配準(zhǔn)圖像，提高配準(zhǔn)的整體精度。由于多分辨率思想存在上下采樣操作，導(dǎo)致Ms-RNet 的雅可比負(fù)值百分比|J?|≤0 高于RNet，為0.005 5 ±0.003 6，但數(shù)值仍然在1%以內(nèi)，配準(zhǔn)后圖像仍然能夠保持良好的拓?fù)涮匦?。本文采用的多尺度形變?nèi)诤峡蚣苁且环Ncoarse-to-fine 的理論，適用于解決大形變配準(zhǔn)問題。然而，在局部結(jié)構(gòu)的配準(zhǔn)上，該理論作用有限。由表5 可知，盡管腫瘤TRE 指標(biāo)降低了8.97%，但是腫瘤DSC 僅提高1.61%，提升幅度有限。另外，雖然Ms-RNet 算法增加了網(wǎng)絡(luò)的參數(shù)量，但是從測試時(shí)間上看，整體的推理時(shí)間僅增加0.01 s，仍然可以很快完成配準(zhǔn)。

為進(jìn)一步直觀展示多尺度形變?nèi)诤峡蚣艿挠行?，本文將Ms-RNet 生成的各階形變場進(jìn)行可視化，并且與RNet 網(wǎng)絡(luò)的結(jié)果進(jìn)行比較，如圖8 所示。需要說明的是，本文可視化形變是將任意體素位置的形變向量的標(biāo)量值（）轉(zhuǎn)化為灰度圖得到的，其中灰度值表示該位置形變位移量大小，由黑到白逐漸變大。由圖8可知，對(duì)于Ms-RNet算法，低分辨率圖像主要是全局結(jié)構(gòu)上的粗配準(zhǔn)，當(dāng)過渡到高分辨率圖像配準(zhǔn)時(shí)，會(huì)逐步精細(xì)化內(nèi)部結(jié)構(gòu)，增加對(duì)大形變區(qū)域的關(guān)注。具體表現(xiàn)為形變的復(fù)雜性增加，灰度值分散性增加，較大值主要集中在大形變區(qū)域（圖中虛線框區(qū)域）。這表明，使用多分辨率殘差形變可以更好地配準(zhǔn)大形變區(qū)域，得到的配準(zhǔn)結(jié)果也更接近固定圖像。

圖8 Ms-RNet 算法和RNet 算法的形變場和配準(zhǔn)結(jié)果的可視化Fig.8 Visualization of deformation fields and registration results for Ms-RNet and RNet algorithm

3.3.3 雅可比負(fù)值罰項(xiàng)的有效性驗(yàn)證

為了驗(yàn)證雅可比負(fù)值罰項(xiàng)LJet的有效性，本節(jié)在其他網(wǎng)絡(luò)設(shè)置參數(shù)不變情況下，僅對(duì)是否使用雅可比負(fù)值罰項(xiàng)進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表6 所示。

表6 有無雅可比負(fù)值罰項(xiàng)的結(jié)果對(duì)比Table 6 Results comparison of with and without non-positive Jacobian determinant penalization

由表6 可知，在不添加LJet時(shí)，配準(zhǔn)結(jié)果中的SSIM 值最高，說明在不加約束時(shí)，配準(zhǔn)的圖像在結(jié)構(gòu)上會(huì)盡可能通過扭曲來接近固定圖像，導(dǎo)致生成的圖像存在更嚴(yán)重的體素折疊情況，雅可比負(fù)值|J?|≤0 高達(dá)0.105 5 ±0.039 2。同時(shí)，由于內(nèi)部腫瘤較小，受體素折疊的影響更大，內(nèi)部配準(zhǔn)性能明顯下降，其中腫瘤配準(zhǔn)DSC 僅為0.431 8 ±0.246 2，下降了近15.82%。而算法在添加LJet正則項(xiàng)后，不僅在|J?|≤0 值上有顯著的下降（降低了近19 倍），在其他配準(zhǔn)指標(biāo)上也均有顯著提升。

圖9進(jìn)一步展示了有無LJet罰項(xiàng)的配準(zhǔn)結(jié)果和形變場的可視化圖?？梢钥闯觯瑳]有罰項(xiàng)約束的形變場呈現(xiàn)非常明顯的體素折疊和撕裂，配準(zhǔn)的圖像也存在明顯的偽影（圈中區(qū)域）。而使用了LJet罰項(xiàng)的形變基本不存在拓?fù)湔郫B現(xiàn)象，形變平滑且連續(xù)。這說明雅可比負(fù)值罰項(xiàng)在保證基本形變不變的情況下，有效抑制不規(guī)則的形變，保證了算法的準(zhǔn)確性和拓?fù)涞囊恢滦浴?/p>

圖9 有無雅可比負(fù)值罰項(xiàng)的配準(zhǔn)結(jié)果及形變場可視化Fig.9 Visualization of registration results and deformation fields with and without non-positive Jacobian determinant penalization

3.4 網(wǎng)絡(luò)收斂性分析

為進(jìn)一步說明Lmind的有效性以及本文算法的魯棒性，本節(jié)對(duì)不同的深度學(xué)習(xí)配準(zhǔn)算法進(jìn)行收斂性分析，其訓(xùn)練和驗(yàn)證損失曲線如圖10 所示。從圖10 損失曲線可以看出，前沿深度學(xué)習(xí)算法VoxelMorph 收斂速度最快，驗(yàn)證損失在接近100 個(gè)epoch 時(shí)即可收斂，但后續(xù)損失值逐漸升高（訓(xùn)練損失仍在下降），網(wǎng)絡(luò)呈現(xiàn)過擬合現(xiàn)象。對(duì)比之下，RNet 和Ms-RNet 算法的損失曲線下降趨勢穩(wěn)定，且不存在過擬合現(xiàn)象。RNet 在接近270 個(gè)epoch 時(shí)基本收斂。Ms-RNet 由于采用多分辨率策略來降低參數(shù)初始化難度，收斂更快，在180個(gè)epoch附近即可收斂。

圖10 不同深度學(xué)習(xí)配準(zhǔn)算法的訓(xùn)練和驗(yàn)證損失曲線Fig.10 Training loss and validation loss curves of different deep learning registration algorithms

結(jié)合表2 和圖10 整體損失曲線可知，結(jié)構(gòu)信息損失能夠有效促進(jìn)多模態(tài)深度學(xué)習(xí)配準(zhǔn)，即使在數(shù)據(jù)量較少時(shí)，也能夠保證穩(wěn)定收斂，得到良好的配準(zhǔn)結(jié)果。本文的Ms-RNet使用雙輸入空間注意力和多分辨殘差形變框架，在解決卷積神經(jīng)網(wǎng)絡(luò)感受野不足的同時(shí)，能很好地促使網(wǎng)絡(luò)初始化，提高訓(xùn)練速度。

4 結(jié)束語

針對(duì)肝臟多模態(tài)圖像差異性大、非線性形變明顯、常規(guī)迭代式配準(zhǔn)耗時(shí)長、配準(zhǔn)精度低等問題，本文提出一種基于多尺度形變?nèi)诤吓c雙輸入空間注意力的無監(jiān)督圖像配準(zhǔn)算法。采用多尺度形變?nèi)诤峡蚣?，以?zhǔn)確提取不同分辨率的圖像特征。在設(shè)計(jì)的全卷積配準(zhǔn)網(wǎng)絡(luò)中添加雙輸入空間注意力模塊，從而提取圖像間的差異特征，增強(qiáng)特征表達(dá)。通過引入一種結(jié)構(gòu)信息損失項(xiàng)進(jìn)行網(wǎng)絡(luò)迭代優(yōu)化，在不需要任何先驗(yàn)信息的情況下實(shí)現(xiàn)精確的無監(jiān)督配準(zhǔn)。在臨床肝臟數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文所提算法能夠準(zhǔn)確配準(zhǔn)CT 與MR圖像，其配準(zhǔn)精度高，且配準(zhǔn)速度較Elastix 算法提升了近380 倍，能夠滿足臨床需求。下一步將基于圖像塊進(jìn)行配準(zhǔn)，從而提高內(nèi)部配準(zhǔn)精度及解決數(shù)據(jù)量不足的問題。