摘要：圖像配準(zhǔn)在直腸癌診斷、手術(shù)引導(dǎo)及放射性治療等診療場景中具有重要的應(yīng)用價值。傳統(tǒng)的醫(yī)學(xué)圖像配準(zhǔn)方法非常耗時，不能滿足臨床實時性的需求?；谏疃葘W(xué)習(xí)的配準(zhǔn)技術(shù)，以其計算速率快、適用范圍廣引起廣泛關(guān)注。文章首先從兩類深度學(xué)習(xí)的圖像配準(zhǔn)方法進行分析，并對直腸癌圖像配準(zhǔn)進行闡述；然后，對深度學(xué)習(xí)圖像配準(zhǔn)以及直腸癌醫(yī)學(xué)配準(zhǔn)的4個挑戰(zhàn)進行討論；最后，展望未來的研究方向。

關(guān)鍵詞：直腸癌，醫(yī)學(xué)圖像配準(zhǔn)，深度學(xué)習(xí)

doi：10.3969/J.ISSN.1672-7274.2023.06.054

中圖分類號：R 318，TP 18，TP 391.41" " " "文獻標(biāo)志碼：A" " " " " "文章編碼：1672-7274（2023）06-0-03

Abstract： Image registration has important application value in rectal cancer diagnosis， surgical guidance and radiotherapy. Traditional medical image registration methods are time-consuming and can not meet the needs of clinical real-time. The registration technology based on deep learning has attracted widespread attention due to its fast computing speed and wide applicability. Firstly， this paper analyzes two kinds of image registration methods of deep learning， and expounds image registration of rectal cancer; Then， four challenges of deep learning image registration and rectal cancer medical registration are discussed; Finally， prospects for future research directions.

Key words： rectal cancer; medical image registration; deep learning

根據(jù)世界衛(wèi)生組織的統(tǒng)計，2020年全球約有732 210個新病例和339 022個死亡病例由直腸癌引起[1]。在我國，2011年至2020年間，結(jié)直腸癌（包括直腸癌與結(jié)腸癌）發(fā)病率增長了126%，年增長率為9.5%。直腸癌約占結(jié)直腸惡性腫瘤的三分之一[2，3]。近年來，應(yīng)用深度學(xué)習(xí)是一個非常有前景的方法，可以改善直腸癌治療中依靠T2w（核磁共振MRI的T2加權(quán)圖像）和DWI（核磁共振MRI的DWI加權(quán)圖像）來描述治療反應(yīng)的不足[4]。

與傳統(tǒng)的配準(zhǔn)方法相比，基于深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)具有很大的優(yōu)勢和潛力[5-7]。如圖1所示，基于深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)方法主要分為三類。第一類是深度迭代配準(zhǔn)結(jié)合傳統(tǒng)配準(zhǔn)[8]，基本思想是在傳統(tǒng)的配準(zhǔn)方法中嵌入一個神經(jīng)網(wǎng)絡(luò)來提取特征或?qū)W習(xí)相似性度量，然后將它們組合在一起，屬于深度學(xué)習(xí)的早期階段。第二類是有監(jiān)督和弱監(jiān)督學(xué)習(xí)[9-13]，在訓(xùn)練學(xué)習(xí)網(wǎng)絡(luò)時，需要相應(yīng)的標(biāo)簽來訓(xùn)練樣本，圖像的插值是利用形變場完成的，然后得到配準(zhǔn)圖像。第三類是無監(jiān)督學(xué)習(xí)[14-17]，與監(jiān)督學(xué)習(xí)不同的是，無監(jiān)督學(xué)習(xí)只輸入圖像訓(xùn)練配準(zhǔn)網(wǎng)絡(luò)來獲得形變場。

本文主要闡述基于深度學(xué)習(xí)的直腸癌圖像配準(zhǔn)領(lǐng)域發(fā)展現(xiàn)狀和挑戰(zhàn)，并對直腸癌配準(zhǔn)領(lǐng)域的發(fā)展趨勢進行總結(jié)。

1" 基于深度學(xué)習(xí)的直腸癌圖像配準(zhǔn)

相比較腦部等其他部位，專門研究基于深度學(xué)習(xí)的直腸圖像配準(zhǔn)文獻稀少，遠少于10%，如圖2所示[18]。直腸圖像配準(zhǔn)可以和腹部其他器官一起研究，如前列腺、骨盆、宮頸癌等。本文以深度學(xué)習(xí)、直腸癌、前列腺、骨盆、宮頸癌和腹部等為關(guān)鍵字，通過在谷歌學(xué)術(shù)和中國知網(wǎng)等數(shù)據(jù)庫的檢索，對近年來基于深度學(xué)習(xí)的直腸癌醫(yī)學(xué)圖像配準(zhǔn)研究做一個總結(jié)。

圖2 基于深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)研究部位分布

如引言所介紹，基于深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)大致可以分三類：第一類是深度迭代；第二類是監(jiān)督學(xué)習(xí)；第三類是無監(jiān)督學(xué)習(xí)。本文主要從第二類和第三類方法來介紹基于深度學(xué)習(xí)的直腸癌圖像配準(zhǔn)。

1.1 監(jiān)督學(xué)習(xí)配準(zhǔn)

Jin等人[10]設(shè)計了兩個多層連接的連體子網(wǎng)絡(luò)，可以同時進行腫瘤分割和變形預(yù)測。這篇文獻中訓(xùn)練和驗證使用的都是亞洲直腸癌患者的數(shù)據(jù)集，在預(yù)測病理完全反應(yīng)（pCR）方面取得了很高的準(zhǔn)確性，對手術(shù)切除有至關(guān)重要的作用。Wichtmann等人[11]在Jin的基礎(chǔ)上，把數(shù)據(jù)集擴展到歐洲四個醫(yī)療中心的數(shù)據(jù)集（Frankfurt、Regensburg、Würzburg、Mannheim），體現(xiàn)了深度學(xué)習(xí)在跨中心、多學(xué)科的參與中的成功應(yīng)用。

Yao等[12]提出了一個快速圖像引導(dǎo)放射治療的監(jiān)督網(wǎng)絡(luò)，包括粗配準(zhǔn)和精細配準(zhǔn)。在粗配準(zhǔn)階段，使用監(jiān)督CNN對CT圖像和CBCT圖像配準(zhǔn)。在精細配準(zhǔn)階段，使用基于強度的配準(zhǔn)。這是一種深度學(xué)習(xí)與傳統(tǒng)相結(jié)合的方法，兼顧了配準(zhǔn)速度和精度。雖然這篇文獻研究的是癌癥病人的頭部、腹部、胸腔和盆腔，但由于部分直腸癌患者會有癌細胞擴散的情況，所以此篇文獻有重要研究意義。

Salehi等人[13]了研究宮頸癌病人的圖像配準(zhǔn)，一起研究了宮頸、膀胱和直腸（合稱高危器官）。一個卷積神經(jīng)網(wǎng)絡(luò)DIRNet被用作近距離治療中的分期變形模型，并以二進制掩碼的形式用于直腸等CT圖像。這篇文獻研究了直腸不同充盈狀態(tài)下的配準(zhǔn)，以及由此引起的局部變形。

表1展示了相關(guān)文獻的模態(tài)、文獻和所用模型。Salehi等人[13]使用的是單模態(tài)的CT圖像，其他三篇文獻均使用了多模態(tài)圖像，所有文獻均使用全監(jiān)督配準(zhǔn)。

1.2 無監(jiān)督學(xué)習(xí)配準(zhǔn)

聯(lián)合圖像配準(zhǔn)和分割一直是醫(yī)學(xué)圖像研究的一個活躍領(lǐng)域。Elmahdy等人[14]針對直腸分割和配準(zhǔn)，使用GAN在圖像配準(zhǔn)之前檢測和修復(fù)直腸氣袋?？蚣苡梢粋€3D端到端生成器網(wǎng)絡(luò)組成，該網(wǎng)絡(luò)以無監(jiān)督方式估計浮動圖像和參考圖像之間的變形矢量場（DVF），并將該DVF應(yīng)用于浮動圖像及其分割。網(wǎng)絡(luò)在后續(xù)CT掃描圖像上進訓(xùn)練和評估，用于圖像引導(dǎo)放射治療。

在對直腸癌腫瘤部位化療評估時，研究直腸配準(zhǔn)模型是非常有必要的。Ho等人[15]目標(biāo)定位直腸體積配準(zhǔn)，提出了一個針對直腸的無監(jiān)督配準(zhǔn)模型，可以用來診斷直腸癌的分期，對腫瘤的傳播和治療有重要價值。

Cao等人[16]提出了一個3D補丁醫(yī)學(xué)圖像配準(zhǔn)的配準(zhǔn)網(wǎng)絡(luò)，可以有效預(yù)測多模非剛性配準(zhǔn)醫(yī)學(xué)圖像。配準(zhǔn)分別在CT和MRI圖像上計算相似度損失，完整地使用了兩種模態(tài)的圖像信息，適用于單模和多模配準(zhǔn)。

Fan等人[17]提出一個通用的對抗學(xué)習(xí)框架，通過連接一個U-net生成器和一個CNN判別器來實現(xiàn)配準(zhǔn)單模和多模三維圖像。這個學(xué)習(xí)框架使用無監(jiān)督配準(zhǔn)，既不需要任何形變場，也不需要預(yù)先定義相似度量，避免了監(jiān)督配準(zhǔn)中對標(biāo)注信息的依賴，更加契合實際應(yīng)用場景。

Elmahdy等人[14]使用的是單模態(tài)的CT圖像，Chi等人[15]討論了單模和多模MRI圖像配準(zhǔn)，其他兩篇文獻均使用了多模態(tài)圖像，如表2所示。

和監(jiān)督模型相比較，無監(jiān)督配準(zhǔn)模型不需要任何標(biāo)注信息，精度也更好，但對相似度損失和正則化損失要求更高。

2" 挑戰(zhàn)與對策

通過對深度學(xué)習(xí)在直腸癌醫(yī)學(xué)圖像配準(zhǔn)中的應(yīng)用研究，發(fā)現(xiàn)了一些挑戰(zhàn)，主要表現(xiàn)為以下幾個方面。

（1）黑箱問題。深度學(xué)習(xí)在醫(yī)學(xué)圖像配準(zhǔn)領(lǐng)域取得巨大成功，但其算法背后的理論解釋仍處于探索階段，例如，學(xué)什么？如何學(xué)？學(xué)樣本，還是學(xué)內(nèi)在知識？學(xué)會了所有知識，還是有遺忘？這一系列對模型學(xué)習(xí)機制的理解問題，被稱為深度學(xué)習(xí)理論的“黑箱”問題。Lei等人總結(jié)了深度學(xué)習(xí)算法的學(xué)習(xí)機制：學(xué)習(xí)內(nèi)在知識和記住訓(xùn)練樣本，但要遺忘一些知識[19]。雷娜等[20]提出用最優(yōu)傳輸理論解釋深度學(xué)習(xí)算法的本質(zhì)：在數(shù)據(jù)流形上的概率測度空間中優(yōu)化，學(xué)習(xí)數(shù)據(jù)流形的結(jié)構(gòu)和概率分布，是未來深度學(xué)習(xí)理論研究和計算的重要方向。

（2）數(shù)據(jù)稀缺性。由于涉及醫(yī)學(xué)倫理，關(guān)于直腸癌公開數(shù)據(jù)集很少，本文涉及的所有文獻使用的均是自有數(shù)據(jù)集。各種訓(xùn)練集和測試集缺乏統(tǒng)一的指標(biāo)，配準(zhǔn)方法的效果無法絕對衡量。通過研究發(fā)現(xiàn)，部分前列腺[14，21]、腹部[12]和宮頸癌等[13]的數(shù)據(jù)集可以用來研究直腸圖像配準(zhǔn)。雖然這種遷移學(xué)習(xí)可以緩解直腸數(shù)據(jù)稀缺性，但對于醫(yī)學(xué)診斷的嚴(yán)謹(jǐn)性有直接影響。

（3）可解釋性?，F(xiàn)有的深度學(xué)習(xí)配準(zhǔn)方法均基于數(shù)據(jù)驅(qū)動，配準(zhǔn)模型如何輔助腸鏡醫(yī)生做出臨床診斷是一項迫在眉睫的臨床需求。未來，如何將領(lǐng)域?qū)＜抑R和深度配準(zhǔn)模型相結(jié)合，有效加強模型的醫(yī)學(xué)可解釋性，并改善配準(zhǔn)的準(zhǔn)確性，具有極大的研究價值。

（4）可擴展性。目前，專門研究基于深度學(xué)習(xí)的直腸癌圖像配準(zhǔn)方法較少，尤其是使用弱監(jiān)督方法的文獻幾乎沒有。將配準(zhǔn)研究較多的特定器官，如大腦和肺的配準(zhǔn)模型遷移到其他器官，模型可能出現(xiàn)嚴(yán)重退化。對于前列腺、宮頸的配準(zhǔn)方法，如何提升現(xiàn)有算法，擴展到直腸或者直腸癌醫(yī)學(xué)圖像配準(zhǔn)，對臨床診斷和研究有深遠意義。

3" 結(jié)束語

本文總結(jié)了基于深度學(xué)習(xí)的直腸癌圖像配準(zhǔn)的方法：深度迭代、監(jiān)督和無監(jiān)督。每類方法都各有利弊，未來更多的研究將集中在模型背后的數(shù)學(xué)理論研究，以深入推動直腸癌圖像配準(zhǔn)技術(shù)在臨床診斷中的應(yīng)用。

參考文獻

[1] Bray F， Ferlay J， Soerjomataram I， et al. GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries[J]. Ca Cancer J Clin， 2018， 68（6）： 394-424.

[2] Erdmann F， Spix C， Katalinic A， et al. Krebs in Deutschland für 2017/2018[J]. 2021.

[3] Siegel R L， Miller K D， Goding Sauer A， et al. Colorectal cancer statistics， 2020[J]. CA： a cancer journal for clinicians， 2020， 70（3）： 145-164.

[4] Koh D M. Using deep learning for MRI to identify responders to chemoradiotherapy in rectal cancer[J]. Radiology， 2020， 296（1）： 65-66.

[5] Balakrishnan G， Zhao A， Sabuncu M R， et al. Voxelmorph： a learning framework for deformable medical image registration[J]. IEEE transactions on medical imaging， 2019， 38（8）： 1788-1800.

[6] Boveiri H R， Khayami R， Javidan R， et al. Medical image registration using deep neural networks： a comprehensive review[J]. Computers amp; Electrical Engineering， 2020， 87： 106767.

[7] Fu Y， Lei Y， Wang T， et al. Deep learning in medical image registration： a review[J]. Physics in Medicine amp; Biology， 2020， 65（20）： 20TR01.

[8] Liao R， Miao S， de Tournemire P， et al. An artificial agent for robust image registration[C]//Proceedings of the AAAI conference on artificial intelligence. 2017.

[9] Yang X， Kwitt R， Styner M， et al. Quicksilver： Fast predictive image registration–a deep learning approach[J]. NeuroImage， 2017， 158： 378-396.

[10] Jin C， Yu H， Ke J， et al. Predicting treatment response from longitudinal images using multi-task deep learning[J]. Nature communications， 2021， 12（1）： 1851.

[11] Wichtmann B D， Albert S， Zhao W， et al. Are We There Yet？ The Value of Deep Learning in a Multicenter Setting for Response Prediction of Locally Advanced Rectal Cancer to Neoadjuvant Chemoradiotherapy[J]. Diagnostics， 2022， 12（7）： 1601.

[12] Yao Z， Feng H， Song Y， et al. A supervised network for fast image-guided radiotherapy （IGRT） registration[J]. Journal of medical systems， 2019， 43： 1-8.

[13] Salehi M， Vafaei Sadr A， Mahdavi S R， et al. Deep Learning-based Non-rigid Image Registration for High-dose Rate Brachytherapy in Inter-fraction Cervical Cancer[J]. Journal of Digital Imaging， 2022： 1-14.

[14] Elmahdy M S， Wolterink J M， Sokooti H， et al. Adversarial optimization for joint registration and segmentation in prostate CT radiotherapy[C]//Medical Image Computing and Computer Assisted Intervention–MICCAI 2019： 22nd International Conference， Shenzhen， China， October 13–17， 2019， Proceedings， Part VI 22. Springer International Publishing， 2019： 366-374.

[15] Ho C J， Duong S T M， Wang Y， et al. An Unsupervised Learning Approach to 3D Rectal MRI Volume Registration[J]. IEEE Access， 2022， 10： 87650-87660.

[16] Cao X， Yang J， Wang L， et al. Deep learning based inter-modality image registration supervised by intra-modality similarity[C]//Machine Learning in Medical Imaging： 9th International Workshop， MLMI 2018， Held in Conjunction with MICCAI 2018， Granada， Spain， September 16， 2018， Proceedings 9. Springer International Publishing， 2018： 55-63.

[17] Fan J， Cao X， Wang Q， et al. Adversarial learning for mono-or multi-modal registration[J]. Medical image analysis， 2019， 58： 101545.

[18] Xiao H， Teng X， Liu C， et al. A review of deep learning-based three-dimensional medical image registration methods[J]. Quantitative Imaging in Medicine and Surgery， 2021， 11（12）： 4895.

[19] Lei N， An D， Guo Y， et al. A geometric understanding of deep learning[J]. Engineering， 2020， 6（3）： 361-374.

[20] 雷娜，顧險峰．最優(yōu)傳輸理論與計算[M]．北京：高等教育出版社，2021.

[21] Hammers J， Pirozzi S， Narayanasamy G， et al. Evaluation of the dose delivery consistency and its dependence on imaging modality and deformable image registration algorithm in prostate cancer patients[J]. Journal of Medical and Biological Engineering， 2022：1-13.