張明娜呂曉琪谷宇

殘差混合注意力結合多分辨率約束的圖像配準

張明娜1，呂曉琪1，2*，谷宇1

（1.內蒙古科技大學 信息工程學院 模式識別與智能圖像處理重點實驗室，內蒙古 包頭 014010；2.內蒙古工業(yè)大學 信息工程學院，內蒙古 呼和浩特 010051）

醫(yī)學圖像配準在圖譜創(chuàng)建和時間序列圖像對比等臨床應用中具有重要意義。目前，使用深度學習的配準方法與傳統(tǒng)方法相比更好地滿足了臨床實時性的需求，但配準精確度仍有待提升?；诖?，本文提出了一種結合殘差混合注意力與多分辨率約束的配準模型MAMReg-Net，實現(xiàn)了腦部核磁共振成像（Magnetic Resonance Imaging， MRI）的單模態(tài)非剛性圖像配準。該模型通過添加殘差混合注意力模塊，可以同時獲取大量局部和非局部信息，在網(wǎng)絡訓練過程中提取到了更有效的大腦內部結構特征。其次，使用多分辨率損失函數(shù)來進行網(wǎng)絡優(yōu)化，實現(xiàn)更高效和更穩(wěn)健的訓練。在腦部T1 MR圖像的12個解剖結構中，平均Dice分數(shù)達到0.817，平均ASD數(shù)值達到0.789，平均配準時間僅為0.34 s。實驗結果表明，MAMReg-Net配準模型能夠更好地學習腦部結構特征從而有效地提升配準精確度，并且滿足臨床實時性的需求。

醫(yī)學圖像處理；單模態(tài)配準；深度學習；注意力機制；多分辨率約束

1 引　言

醫(yī)學圖像配準［1-2］的目的是為一對圖像之間建立密集的非線性對應關系，利用這種關系可以讓參考圖像和配準后的圖像在空間位置或者解剖結構上能夠一一對應起來，其在圖像融合、醫(yī)學圖譜創(chuàng)建、時間序列圖像對比等醫(yī)學圖像分析任務［3-4］中起著至關重要的作用。傳統(tǒng)的配準方法［5-6］利用圖像對像素之間的信息進行相似性度量計算，通過迭代的方式最小化相似性度量尋求最優(yōu)的對應關系［7］。然而該類方法通常在高維空間進行運算，使得計算量大，運算時間過長。

隨著深度學習在醫(yī)學圖像處理領域的廣泛應用［8-10］，配準方式發(fā)生了改變。最初，Wu等人［11］提出利用深度學習提取輸入圖像對的特征，以增強配準的性能。Eppenhof等人［12］則直接使用深度學習取代相似性度量來估計圖像對之間的誤差。這些方法雖然成功地將深度學習應用于配準方法中，但是仍未能改變傳統(tǒng)配準方法迭代的本質?？臻g變換網(wǎng)絡（Spatial Transformer Network，STN）［13］的提出使得網(wǎng)絡直接估計形變參數(shù)的方法得以實現(xiàn)，可以更好地滿足臨床實時性要求。Chee等人［14］提出的仿射圖像配準網(wǎng)絡AIRNet中，使用卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks， CNN）［15］直接估計3D腦部核碳共振（Magnetic Resonance， MR）圖像的DVF（Displacement Vector Field）。隨后，Hu［16］等人提出了一種有標簽引導的深監(jiān)督配準網(wǎng)絡，并在損失函數(shù)的計算中添加了多尺度信息進行訓練。這類方法的缺點在于，依賴于專家手工操作的數(shù)據(jù)作為監(jiān)督信息，而大量的具有標注的數(shù)據(jù)很難獲得，這在一定程度上限制了配準的性能。

為了消除監(jiān)督信息的限制，Balakrishnan等人［17］使用CNN提出了一種端到端的無監(jiān)督配準框架VoxelMorph，該方法在無需任何監(jiān)督信息的基礎上實現(xiàn)了快速、精細配準。在此基礎之上，為了解決VoxelMorph網(wǎng)絡在大位移形變中效果不佳的問題，Zhang等人［18］提出了端到端的遞歸級聯(lián)配準網(wǎng)絡，使得所有的子網(wǎng)絡能夠相互協(xié)助地學習圖像特征，實現(xiàn)由粗到細的圖像配準。Ouyang等人［19］選擇用殘差結構建立不同層之間的聯(lián)系來消除梯度消失問題，并學習更有效的特征。在網(wǎng)絡深度相當?shù)那闆r下，使用的參數(shù)更少，而且在小數(shù)據(jù)集上表現(xiàn)良好，可以有效抑制過擬合。然而，這些方法都是基于卷積神經(jīng)網(wǎng)絡的加深或加長網(wǎng)絡，卷積運算的過程中只考慮一個像素及其鄰域像素，并且這種局部運算是重復的。然而，大腦內部解剖結構復雜，腦部結構大小不一，導致不同部位所引起的鄰域像素值的變化是不一樣的。因此，應該在配準網(wǎng)絡的學習過程中提取出這些特征，提升網(wǎng)絡性能，實現(xiàn)有效的圖像配準。

針對上述問題，本文設計了一種結合殘差混合注意力與多分辨率約束的配準框架（MAMReg-Net）用于單模態(tài)腦部MR圖像配準中。首先，采用殘差塊［20］加深網(wǎng)絡并消除梯度消失問題。其次，在網(wǎng)絡中添加多個殘差局部和非局部注意力模塊，通過特征加權的方式，讓網(wǎng)絡提取到更關鍵的特征。尤其需要注意的是，所添加的殘差非局部注意力模塊，更多地關注于全局，有效改善了卷積運算的缺陷。此外，還采用了一個多分辨率損失函數(shù)用于網(wǎng)絡訓練，從而實現(xiàn)更有效的優(yōu)化。

2 配準方法

圖1　配準網(wǎng)絡模型圖

2.1　網(wǎng)絡結構

圖2　MAMReg-Net網(wǎng)絡架構

2.2　殘差混合注意力

Oh等人［21］通過實驗證明添加注意力模塊可以在網(wǎng)絡學習過程中保留更多腦部結構特征，得到配準性能的提升。在此基礎之上，本文受到秦等人［22］提出的殘差注意力機制的啟發(fā)，引入了殘差混合注意力機制，它由多個殘差局部和非局部注意力模塊構成。殘差局部注意力模塊的中間部分被分為主干分支Trunk和掩碼分支Mask，如圖3（a）所示。殘差非局部注意力模塊就是在殘差局部注意力模塊的基礎上添加非局部注意力模塊（Non-local）［23］，以此來讓網(wǎng)絡關注到更多的全局信息，如圖3（b）所示。

圖3　殘差混合注意力圖

221殘差局部注意力模塊

在殘差局部注意力模塊中，Mask起著非常重要的作用，它能夠選擇更有效的圖像特征并且能夠有效地抑制主干分支中的噪聲。如圖4所示，Mask具有U-Net結構，從輸入開始，在編碼層中多次執(zhí)行最大池化與殘差塊操作之后達到快速增加接受域的目的。之后在上采樣結束后進行與編碼層的跳躍連接，避免在增加接受域的過程中造成特征丟失。最后添加兩個卷積層和一個Sigmoid層對輸出進行歸一化。通常，殘差局部注意力模塊通過Trunk保留原有的圖像特征信息，使用Mask關注大腦內部細微結構的特征，給出關于圖中像素如何與其他像素相關的信息。Mask的輸出是一組權重值，它可以表示每一個像素值在配準過程中的重要性。

圖4　Mask分支結構

222殘差非局部注意力模塊

為了讓網(wǎng)絡在學習的過程中關注更多的全局信息，在殘差局部注意力模塊的掩碼分支前加入圖5所示的非局部注意力塊（Non-local），使之變成殘差非局部注意力模塊。這種非局部操作的定義如式（3）所示。

其中：是輸出特征的位置索引，代表所有可能位置的索引，和分別表示此操作的輸入和輸出，用來計算和所有可能相關的位置之間的關系，用于計算輸入在位置的特征值；其中，函數(shù)有多種變體函數(shù)可以達到相似的效果，一般使用嵌入式高斯函數(shù)更易于深度學習的應用，使用線性函數(shù)，具體定義如式（4）和（5）所示。

2.3　多分辨率損失函數(shù)

無監(jiān)督配準工作的實質就是一個的函數(shù)優(yōu)化問題，通過最小化損失函數(shù)來優(yōu)化圖像之間的相似性，從而找到最優(yōu)的空間變換參數(shù)。通常損失函數(shù)的定義如式（8）所示。

3 實驗設置及評價標準

3.1　數(shù)據(jù)集

原始圖像及其經(jīng)過上述預處理操作的圖像如圖6所示，預處理后手工去除個別不完整圖像數(shù)據(jù)，一共得到1 551幅T1 MR圖像。實驗中采用的是基于altas的配準，所以需要在1 551幅MR圖像中隨機選取一幅作為配準的模板。將另外的1 550幅隨機分為1 450幅訓練數(shù)據(jù)，50幅驗證數(shù)據(jù)和50幅測試數(shù)據(jù)。其中，訓練集用于網(wǎng)絡模型的訓練，驗證集用于在訓練的過程中保存最優(yōu)的模型，避免過擬合現(xiàn)象。測試集則用于測試模型的配準性能。

為了進一步研究配準模型的泛化能力，本實驗在醫(yī)學影像數(shù)據(jù)集ABIDE［28］（Autism Brain Imaging Data Exchange）中隨機選取了30幅圖像進行模型測試，并將選取的30幅3D腦部T1 MR圖像進行上述的預處理操作。

圖6　預處理前后圖像

3.2　訓練策略

3.3　評價指標

本文的評價指標為配準時間和精確度兩個方面。為了滿足臨床配準實時性的要求，通過比較不同方法的配準時間可以很好地評價配準性能。對于精確度，則通過計算Dice分數(shù)和ASD（Averaged Surface Distance）兩方面進行定量評價。

Dice分數(shù)通常將兩幅圖片疊在一起進行計算，目的是衡量兩個圖像之間的相似度，具體計算方式如式（13）所示：

ASD通常用來計算表面平均距離，是評估圖像處理結果質量的一個重要的量化標準。具體計算方式如式（14）所示：

圖7　12個解剖結構示例圖

4 實驗結果及分析

4.1　可視化分析

本文中基于atlas的腦部MR圖像配準的可視化結果如圖8所示。圖中所展示的是從測試集圖像中隨機獲取的一幅樣本結果，圖8（a）、（b）分別代表參考圖像和浮動圖像，圖8（c）、（d）分別是使用MR圖像查看工具ITK-SNAP［30］中的彩色通道成像和網(wǎng)格成像兩種不同形式呈現(xiàn)的變形場可視化結果，圖8（e）則是配準后圖像?？梢暬Y果的分析從圖像的三個維度進行，從上到下每一行分別顯示了腦部圖像的冠狀面、矢狀面和橫斷面。從圖8可以直觀的看出，配準后圖像與參考圖像具有較高的相似性。

圖8　測試集的隨機樣本配準結果

圖9展示了顏色疊加圖，以便于更好地觀察本文所提出的MAMReg-Net的配準效果。圖9（a）代表參考圖像與浮動圖像的疊加圖，圖9（b）代表參考圖像與配準后圖像的疊加圖。其中，藍色標記參考圖像，綠色標記浮動圖像和配準后圖像，藍色與綠色重疊后表現(xiàn)為青綠色。相比于圖9（a），在圖9（b）中可以明顯看出三個維度的圖像絕大部分都呈現(xiàn)為青綠色，只有很少的藍色和綠色，這表明MAMReg-Net配準后圖像與參考圖像重疊部位多，達到了很好的可視化配準效果。

圖9　配準前后顏色疊加圖

圖10　不同方法配準結果

為了進一步對比SYN、VoxelMorph和MAMReg-Net腦部MR圖像配準結果的差異，不同方法的可視化結果如圖10所示。從圖10（c），（d）和（e）可以看出，不同方法得到的配準后圖像都能夠與參考圖像具有較高的相似性。值得注意的是，在粉紅色方框所標記的解剖區(qū)域上，MAMReg-Net的配準后圖像與參考圖像最為相似，效果優(yōu)于SYN和VoxelMorph。圖10中圖像的三個維度均有粉紅色方框標注，表明MAMReg-Net在幾種不同方法中具有最好的可視化配準效果。

4.2　量化分析

421配準精度

ADNI3測試集的配準結果用評價指標Dice分數(shù)和ASD進行計算，得到量化的分析。如表1所示，MAMReg-Net在不同的方法中取得了最高的平均Dice分數(shù)，較Affine、SYN和VoxelMorph分別提升了0.203、0.034和0.013。與此同時，MAMReg-Net在ASD評價指標中也取得了最優(yōu)配準精度，較Affine、SYN和VoxelMorph的平均ASD數(shù)值分別降低了0.884、0.077和0.015。

為了能夠更加細致地分析不同方法對于不同解剖部位的配準效果，圖11和圖12分別展示了測試集圖像在12個解剖結構上的平均Dice分數(shù)和平均ASD數(shù)值。從圖11中可以看出，經(jīng)過可變形配準方法之后的平均Dice分數(shù)明顯高于只進行剛性變換的Affine。對于這12個解剖結構，MAMReg-Net的平均Dice分數(shù)在9個結構上的高于SYN，在10個結構上的高于VoxelMorph。同樣，從圖12可以看出，MAMReg-Net在大部分解剖結構上獲得了最優(yōu)的平均ASD數(shù)值。以上結果表明，本文所設計的MAMReg-Net配準模型是有效的。

表1不同方法的配準精度

Tab.1　Registration accuracy of different methods

圖11　測試集上12個解剖結構的平均Dice分數(shù)柱狀圖

圖12　測試集上12個解剖結構的平均ASD數(shù)值柱狀圖

422配準時間

為了評價本文所提出的配準網(wǎng)絡模型的配準速度，對SYN、VoxelMorph和MAMReg-Net的平均配準時間進行了比較，如表2所示。結果表明，在對VoxelMorph和MAMReg-Net訓練出的最優(yōu)模型進行測試時均能在1秒之內完成配準。其中MAMReg-Net的配準時間約為基于Tensorflow框架實現(xiàn)的VoxelMorph的一半，約為傳統(tǒng)方法SYN的百分之一。由于本文配準模型添加了殘差混合注意力以及多分辨率約束，所以相比于Pytorch框架實現(xiàn)的VoxelMorph需要更多的配準時間。

423配準模型的泛化能力

為了評估MAMReg-Net的泛化能力，實驗進一步在ABIDE數(shù)據(jù)集上進行了測試。方法是直接采用ADNI3數(shù)據(jù)集訓練出的模型，不加任何額外的參數(shù)調整，對預處理操作后的30幅ABIDE數(shù)據(jù)進行基于altas配準。測試結果如表3所示，在兩個評價標準平均Dice分數(shù)和平均ASD數(shù)值上，MAMReg-Net的配準精度對比傳統(tǒng)配準方法SYN略差，但高于深度學習網(wǎng)絡VoxelMorph，這驗證了本文配準模型MAMReg-Net的泛化能力較VoxelMorph有所提升。

表2不同方法的平均配準時間比較

Tab.2　Comparison of registration time between different methods

表3ABIDE數(shù)據(jù)集的配準精度比較

Tab.3　Comparison of registration accuracy of ABIDE dataset

4.3　消融實驗

為了驗證多分辨率約束、殘差局部注意力和殘差混合注意力和對配準性能的影響，表4對消融實驗的配準精度進行了比較。從表中可以看出，在基礎網(wǎng)絡中添加多分辨率約束、殘差局部注意力和殘差混合注意力，平均Dice分數(shù)分別提升了0.002，0.006和0.008，平均ASD數(shù)值分別降低了0.017、0.031和0.036，這表明三個策略對配準任務均有效。其中，添加殘差混合注意力比殘差局部注意力的平均Dice分數(shù)提升了0.002，平均ASD數(shù)值降低了0.005，證明了在配準網(wǎng)絡的學習過程中使用殘差混合注意力考慮全局信息的重要性。本文配準模型MAMReg-Net將配準精度提升較明顯的殘差混合注意力與多分辨率約束結合起來，達到了最優(yōu)的平均Dice分數(shù)，相比較于Base模型平均Dice分數(shù)提升了0.01，平均ASD數(shù)值降低了0.047。

為了更加直觀地顯示多分辨率約束和殘差混合注意力的有效性，消融實驗在12個解剖結構上的Dice分數(shù)箱線圖如圖13所示。在大多數(shù)解剖結構上，相比于基礎模型，添加多分辨率約束、殘差局部注意力和殘差混合注意力都獲得了更高的平均Dice分數(shù)。并且在多數(shù)解剖結構上添加殘差混合注意力可比只添加殘差局部注意力獲得更高的平均Dice分數(shù)。另外，在圖13中所有解剖結構上，本文配準模型MAMReg-Net均取得了最高的平均Dice分數(shù)。圖14是消融實驗的ASD數(shù)值箱線圖，從中可以看出MAMReg-Net在8個解剖結構上取得了最優(yōu)數(shù)值。由此說明，結合多分辨率約束和殘差混合注意力能直接有效地提升配準性能。

表4消融實驗的配準精度比較

Tab.4　Comparison of registration accuracy of ablation experiments

圖13　消融實驗中12個解剖結構的Dice分數(shù)箱線圖

圖14　消融實驗中12個解剖結構的ASD數(shù)值箱線圖

5 結　論

本文提出了一種針對腦部MR圖像的無監(jiān)督配準方法。該方法首先通過引入殘差混合注意力的方式實現(xiàn)了更好的特征提取，可以在網(wǎng)絡學習的過程中通過權重分配的方式選擇出較為重要的特征，從而能夠提高大腦內部解剖結構中關鍵部分的對齊程度。然后采用多分辨率損失函數(shù)進行網(wǎng)絡的優(yōu)化，可以有效避免過度依賴配準后圖像，在不同分辨率下進行網(wǎng)絡優(yōu)化以達到促進網(wǎng)絡更好收斂的目的。實驗結果證明：本文所提出的MAMReg-Net配準框架的平均Dice分數(shù)相較于傳統(tǒng)方法SYN和深度學習方法VoxelMorph分別提升了0.034和0.013，并且在平均ASD數(shù)值上分別降低了0.077和0.015，更好地滿足了醫(yī)學圖像配準在臨床應用中高精確度的需求。對于本文模型的泛化能力，雖然相較于VoxelMorph模型泛化能力有較好的提升，但是相比于傳統(tǒng)配準方法效果欠佳，尤其是在處理解剖結構差異較大的腦部MR圖像時。下一步的工作將針對這一問題進行改善，增強配準模型的穩(wěn)定性和泛化性。

［1］ HASKINS G， KRUGER U， YAN P K. Deep learning in medical image registration： a survey［J］.， 2020， 31（1/2）： 1-18.

［2］ 王賓，劉林，侯榆青，等. 應用改進迭代最近點方法的三維心臟點云配準［J］. 光學精密工程， 2020， 28（2）： 474-484.

WANG B， LIU L， HOU Y Q，. Three-dimensional cardiac point cloud registration by improved iterative closest point method［J］.， 2020， 28（2）： 474-484.（in Chinese）

［3］ GU Y， LU X Q， ZHANG B H，. Automatic lung nodule detection using multi-scale dot nodule-enhancement filter and weighted support vector machines in chest computed tomography［J］.， 2019， 14（1）： e0210551.

［4］ LU X Q， GU Y， YANG L D，. Multi-level 3D densenets for false-positive reduction in lung nodule detection based on chest computed tomography［J］.， 2020， 16（8）： 1004-1021.

［5］ ASHBURNER J. A fast diffeomorphic image registration algorithm［J］.， 2007， 38（1）： 95-113.

［6］ 劉坤，呂曉琪，谷宇，等. 快速數(shù)字影像重建的2維/3維醫(yī)學圖像配準［J］. 中國圖象圖形學報， 2016， 21（1）： 69-77.

LIU K， LYU X Q， GU Y，. The 2D/3D medical image registration algorithm based on rapid digital image reconstruction［J］.， 2016， 21（1）： 69-77.（in Chinese）

［7］ KHADER M， SCHIAVI E， HAMZA A B. A multicomponent approach to nonrigid registration of diffusion tensor images［J］.， 2017， 46（2）： 241-253.

［8］ GU Y， CHI J Q， LIU J Q，. A survey of computer-aided diagnosis of lung nodules from CT scans using deep learning［J］.， 2021， 137： 104806.

［9］ QIAN L J， ZHOU Q， CAO X H，. A cascade-network framework for integrated registration of liver DCE-MR images［J］.， 2021， 89： 101887.

［10］ 李賽，黎浩江，劉立志，等. 基于尺度注意力沙漏網(wǎng)絡的頭部MRI解剖點自動定位［J］. 光學精密工程， 2021， 29（9）： 2278-2286.

LI S， LI H J， LIU L Z，. Automatic location of anatomical points in head MRI based on the scale attention hourglass network［J］.， 2021， 29（9）： 2278-2286.（in Chinese）

［11］ WU G R， KIM M， WANG Q，. Scalable high-performance image registration framework by unsupervised deep feature representations learning［J］.， 2016， 63（7）： 1505-1516.

［12］ EPPENHOF K A J， PLUIM J P W. Error estimation of deformable image registration of pulmonary CT scans using convolutional neural networks［J］.， 2018， 5： 024003.

［13］ JADERBERG M， SIMONYAN K， ZISSERMAN A. Spatial transformer networks［J］.， 2015， 28： 2017-2025.

［14］ CHEE E， WU Z Z. AIRNet： self-supervised affine registration for 3D medical images using neural networks［J］.：1810.02583， 2018.

［15］ 谷宇. 基于三維卷積神經(jīng)網(wǎng)絡的低劑量CT肺結節(jié)檢測［D］.上海：上海大學，2019.

GU Y.［D］. Shanghai： Shanghai University，2019. （in Chinese）

［16］ HU Y P， MODAT M， GIBSON E，. Weakly-supervised convolutional neural networks for multimodal image registration［J］.， 2018， 49： 1-13.

［17］ BALAKRISHNAN G， ZHAO A， SABUNCU M R，. VoxelMorph： a learning framework for deformable medical image registration［J］.， 2019， 38（8）：1788-1800.

［18］ ZHANG L T， ZHOU L， LI R Y，. Cascaded feature warping network for unsupervised medical image registration［C］. 2021181316，2021，，IEEE， 2021： 913-916.

［19］ OUYANG X Y， LIANG X K， XIE Y Q. Preliminary feasibility study of imaging registration between supine and prone breast CT in breast cancer radiotherapy using residual recursive cascaded networks［J］.， 2020， 9：3315-3325.

［20］ HE K M， ZHANG X Y， REN S Q，. Deep residual learning for image recognition［C］. 20162730，2016，，，IEEE， 2016： 770-778.

［21］ OH D， KIM B， LEE J，. Unsupervised deep learning network with self-attention mechanism for non-rigid registration of 3D brain MR images［J］.， 2021， 11（3）： 736-751.

［22］ 秦傳波，宋子玉，曾軍英，等. 聯(lián)合多尺度和注意力-殘差的深度監(jiān)督乳腺癌分割［J］. 光學精密工程， 2021， 29（4）： 877-895.

QIN C B， SONG Z Y， ZENG J Y，. Deeply supervised breast cancer segmentation combined with multi-scale and attention-residuals［J］.， 2021， 29（4）： 877-895.（in Chinese）

［23］ WANG X L， GIRSHICK R， GUPTA A，. Non-local neural networks［C］. 20181823，2018，，，IEEE， 2018： 7794-7803.

［24］ MA Y J， NIU D M， ZHANG J S，. Unsupervised deformable image registration network for 3D medical images［J］.， 2022， 52（1）： 766-779.

［25］ JACK C R， BERNSTEIN M A， FOX N C，. The Alzheimer's disease neuroimaging initiative （ADNI）： MRI methods［J］.， 2008， 27（4）： 685-691.

［26］ CHEN J Y， HE Y F， FREY E C，. ViT-V-net： vision transformer for unsupervised volumetric medical image registration［J］.： 2104.06468，2021.

［27］ FISCHL B. FreeSurfer［J］.， 2012， 62（2）： 774-781.

［28］ DI MARTINO A， YAN C G， LI Q，. The autism brain imaging data exchange： towards a large-scale evaluation of the intrinsic brain architecture in autism［J］.， 2014， 19（6）： 659-667.

［29］ AVANTS B B， EPSTEIN C L， GROSSMAN M，. Symmetric diffeomorphic image registration with cross-correlation： evaluating automated labeling of elderly and neurodegenerative brain［J］.， 2008， 12（1）： 26-41.

［30］ YUSHKEVICH P A， PIVEN J， HAZLETT H C，. User-guided 3D active contour segmentation of anatomical structures： significantly improved efficiency and reliability［J］.， 2006， 31（3）： 1116-1128.

Image registration based on residual mixed attention and multi-resolution constraints

ZHANG Mingna1，Lü Xiaoqi1，2*，GU Yu1

（1，，，014010，；2，，010051，），：

Medical image registration has great significance in clinical applications such as atlas creation and time-series image comparison. Currently， in contrast to traditional methods， deep learning-based registration achieves the requirements of clinical real-time； however， the accuracy of registration still needs to be improved. Based on this observation， this paper proposes a registration model named MAMReg-Net， which combines residual mixed attention and multi-resolution constraints to realize the non-rigid registration of brain magnetic resonance imaging （MRI）. By adding the residual mixed attention module， the model can obtain a large amount of local and non-local information simultaneously， and extract more effective internal structural features of the brain in the process of network training. Secondly， multi-resolution loss function is used to optimize the network to make the training more efficient and robust. The average dice score of the 12 anatomical structures in T1 brain MR images was 0.817， the average ASD score was 0.789， and the average registration time was 0.34 s. Experimental results demonstrate that the MAMReg-Net registration model can be better trained to learn the brain structure features to effectively improve the registration accuracy and meet clinical real-time requirements.

medical imaging process； unimodal registration； deep learning； attentional mechanism； multi-resolution constraint

TP391.4

A

10.37188/OPE.20223010.1203

1004-924X（2022）10-1203-14

2021-12-22；

2022-02-16.

國家自然科學基金項目（No.62001255，No.61771266，No.61841204）；內蒙古自治區(qū)科技計劃項目（No.2019GG138）；中央引導地方科技發(fā)展資金項目（No.2021ZY0004）；內蒙古自治區(qū)自然科學基金項目（No.2019MS06003，No.2015MS0604）；內蒙古自治區(qū)高等學校科學研究項目（No.NJZY145）；教育部“春暉計劃”合作科研項目（No.教外司留［2019］1383號）

張明娜（1997），女，山東濟南人，碩士研究生，2020年于山東第一醫(yī)科大學獲得學士學位，主要從事智能圖像處理、深度學習及圖像配準方面的研究。E-mail：1292579223@qq.com

呂曉琪（1963），男，內蒙古包頭人，博士，教授，博士生導師，1984年于內蒙古大學獲得學士學位，1989年于西安交通大學獲得碩士學位，2003年于北京科技大學獲得博士學位，主要從事智能信息處理、醫(yī)學圖像處理、數(shù)字化醫(yī)療相關技術等方面的研究。E-mail： lxiaoqi@imust.edu.cn