郭艷芬，崔 喆，楊智鵬，彭 靜，胡金蓉

1.中國科學院 成都計算機應(yīng)用研究所，成都 610041

2.中國科學院大學，北京 100049

3.成都信息工程大學 計算機學院，成都 610225

隨著醫(yī)學成像設(shè)備的發(fā)展，對患者的圖像可以采集到含有準確的解剖信息如計算機斷層掃描成像（Computed Tomography，CT）、磁共振成像（Magnetic Resonance Imaging，MRI），也可以采集具有功能信息的圖像，如正電子發(fā)射計算機掃描（Positron Emission Tomography，PET）、單光子發(fā)射計算機斷層成像（Single Photon Emission Computed Tomography，SPECT）。如何將多模態(tài)的信息準確地融合到同一圖像中，幫助醫(yī)生從各個角度觀察病灶和結(jié)構(gòu)，這對于病灶檢測、臨床診斷、手術(shù)規(guī)劃、手術(shù)導航、療效評估等有著廣泛的應(yīng)用價值[1-4]。圖像配準的作用是比較或融合同一對象的多模態(tài)影像，尋找最優(yōu)空間變換，使兩幅醫(yī)學影像的對應(yīng)點在給定相似性度量下實現(xiàn)空間位置和解剖信息一致[5]，從而得到信息融合后的醫(yī)學影像。

基于深度學習的醫(yī)學圖像配準方法相較于傳統(tǒng)機器學習的配準方法，具有很大的優(yōu)勢與潛力，近幾年來有越來越多的研究人員開展此項工作，且有不少相關(guān)的工作發(fā)表。目前基于深度學習進行醫(yī)學圖像配準的方法主要分為三類[6-7]：（1）結(jié)合傳統(tǒng)配準方法的深度迭代配準。其基本思想是在傳統(tǒng)配準方法中嵌入神經(jīng)網(wǎng)絡(luò)來提取特征或者學習相似性測度，不斷迭代優(yōu)化目標函數(shù)。（2）監(jiān)督或弱監(jiān)督學習。在訓練學習網(wǎng)絡(luò)時，需要提供訓練樣本所需要的相應(yīng)標簽，即真實形變場（Ground Truth），然后利用預(yù)測的形變場對移動圖像（Moving Image）進行插值，得到配準圖像。（3）無監(jiān)督學習。不同于監(jiān)督學習，僅需要配準網(wǎng)絡(luò)作用于輸入圖像，獲得形變場，對移動圖像進行變形插值，即得配準圖像。目前基于深度學習的醫(yī)學圖像配準關(guān)鍵技術(shù)如圖1所示。

圖1 深度學習用于醫(yī)學圖像配準的方法概覽Fig.1 Overview of deep learning methods used for medical image registration

通過在Web of Science、CNKI、Google Scholar 等數(shù)據(jù)庫中檢索到的學術(shù)文獻，對近年來基于深度學習的醫(yī)學圖像配準研究趨勢做了統(tǒng)計。從圖2可以看出，該領(lǐng)域的研究逐漸從部分依靠深度學習（深度迭代配準）到完全依靠深度學習（即端到端的無監(jiān)督學習配準框架），實現(xiàn)了配準任務(wù)的方向轉(zhuǎn)變，深度學習在醫(yī)學圖像配準領(lǐng)域發(fā)揮越來越大的作用與潛能。從監(jiān)督學習方法被提出后，基于深度學習的配準研究文獻數(shù)量飛速增長，深度學習開始在醫(yī)學圖像配準領(lǐng)域發(fā)揮真正的優(yōu)勢；此后，面對大量無標注的醫(yī)學原始圖像及訓練數(shù)據(jù)集匱乏的問題，大量學者開始邁向無監(jiān)督學習領(lǐng)域的配準方法研究。

圖2 近年來基于深度學習的醫(yī)學圖像配準的方法研究趨勢Fig.2 Research trend of medical image registration methods based on deep learning

1 傳統(tǒng)機器學習方法下的圖像配準技術(shù)

機器學習[8]是一門多領(lǐng)域交叉學科，涵蓋概率論、統(tǒng)計學、近似理論和復(fù)雜算法等多門學科，其主要研究對象是人工智能，致力于真實實時的模擬人腦的學習方式，在經(jīng)驗學習中改善算法性能。隨著醫(yī)學圖像數(shù)據(jù)量的快速增長和處理任務(wù)復(fù)雜度的提升，機器學習作為一種有效的數(shù)據(jù)分析技術(shù)，被廣泛應(yīng)用于醫(yī)學圖像分析[9]，如疾病檢測、診斷與評估、圖像配準與分割等[10]。傳統(tǒng)機器學習解決醫(yī)學圖像任務(wù)常用算法有決策樹[11]、隨機森林[12]、支持向量機（Support Vector Machine，SVM）[13]、模糊均值[14]、貝葉斯學習[15]等，該類方法的局限性有兩點：一是需要結(jié)合先驗知識進行特征設(shè)計，如心臟分割、冠脈分割；二是處理高維特征數(shù)據(jù)時會產(chǎn)生維數(shù)災(zāi)難。

Huang等[16]提出一種基于決策樹的快速圖像插值算法來預(yù)測輸入的高分辨率圖像塊，但需要預(yù)先進行訓練，算法時間成本較高。Ma 等[17]構(gòu)造了一個新的二階光滑支持向量機模型，結(jié)合牽引果蠅算法與其結(jié)合起來，建立配準變化模型估計關(guān)系，能夠很好地估計固定圖像和待配準圖像之間的高維特征向量關(guān)系。Xiang等[18]將字典學習和結(jié)構(gòu)聚類結(jié)合在統(tǒng)一的變分框架中，發(fā)現(xiàn)了二者的權(quán)衡關(guān)系，取得良好的插值效果，但該算法的時間開銷較大。傳統(tǒng)機器學習方法需要訓練數(shù)據(jù)，且先驗知識的規(guī)范性直接影響到模型的性能。針對這些問題，機器學習技術(shù)研究延伸到了深度學習方向。

2 基于深度學習的醫(yī)學圖像配準技術(shù)

深度學習是機器學習的一個重要分支，能通過原始數(shù)據(jù)直接提取特征，且提取的特征更高維、更抽象。隨著其在圖像處理領(lǐng)域中的廣泛應(yīng)用，已在生物醫(yī)學圖像處理中的器官分割、病變檢測與分類、治療計劃等領(lǐng)域取得不錯的進展；基于深度學習的醫(yī)學圖像配準方法相較于傳統(tǒng)機器學習的配準方法，具有很大的優(yōu)勢與潛力[19-23]。在引入深度學習初期，大多配準方法是利用神經(jīng)網(wǎng)絡(luò)提取特征或者學習相似性測度，然后結(jié)合傳統(tǒng)的配準方法獲得配準圖像。之后，為了獲得越來越復(fù)雜的圖像特征，學習到特定任務(wù)的特征并追求更快的配準速度，基于監(jiān)督或無監(jiān)督的生成對抗網(wǎng)絡(luò)成為圖像配準領(lǐng)域的研究熱點。

2.1 深度迭代配準

基于深度迭代優(yōu)化配準是深度學習應(yīng)用于醫(yī)學圖像配準早期時，對迭代算法的直接擴展，其思想是利用神經(jīng)網(wǎng)絡(luò)提取特征描述子，或使用深度學習代替?zhèn)鹘y(tǒng)配準算法中的相似性度量函數(shù)。常用的配準方法有兩種：一是基于特征點，需要提取特征、匹配特征，通過擬合或插值算法得到形變場；二是基于特征描述子。Yang等[24]用預(yù)訓練的VGG 網(wǎng)絡(luò)生成特征描述子，該描述子的性能優(yōu)于SIFT 探測器，同時保留卷積信息和局部特征。Wu 等[25]構(gòu)建雙層的卷積網(wǎng)絡(luò)，選擇大量的關(guān)鍵點得到patch 的層次化特征，用學習到的數(shù)據(jù)自適應(yīng)特征代替人工設(shè)計的特征進行配準。Cheng等[26]提出一種新的深度相似性學習方法，訓練分類器來學習兩個圖像patch塊的對應(yīng)特征點。將分類輸出轉(zhuǎn)化為聯(lián)系的概率值作為相似性測度的衡量依據(jù)。Simonovsky 等[27]提出使用基于CNN 的相似性度量方法，采用梯度下降法迭代更新形變場的參數(shù)。該方法用于多模態(tài)醫(yī)學圖像配準，為基于增強學習的多模態(tài)配準奠定了基礎(chǔ)。基于深度學習網(wǎng)絡(luò)估計兩幅圖像的相似性度量，驅(qū)動迭代優(yōu)化，并沒有充分發(fā)揮深度學習的優(yōu)勢；相較于傳統(tǒng)方法提高了配準效率，但仍然難以實現(xiàn)實時配準。

2.2 監(jiān)督學習配準

監(jiān)督學習配準算法需要在訓練學習網(wǎng)絡(luò)時提供訓練樣本的標簽，即真實形變場。獲取標簽的方式是利用傳統(tǒng)的迭代優(yōu)化配準，將得到的形變場作為訓練標簽數(shù)據(jù)[28-29]，或是將模擬形變場作為標簽數(shù)據(jù)[30-31]。引入神經(jīng)網(wǎng)絡(luò)執(zhí)行配準過程，大大提高了配準的速度。基于監(jiān)督學習的配準，需要在訓練學習網(wǎng)絡(luò)時，提供與配準對相對應(yīng)的真實變形場（Ground Truth），其框架如圖3所示。

圖3 基于監(jiān)督學習的配準框架Fig.3 Image registration framework based on supervised learning

2.2.1 全監(jiān)督學習配準

Chee 等[32]采用仿射圖像配準網(wǎng)絡(luò)（AIRNet）設(shè)計，用于直接估計三維腦MR的轉(zhuǎn)換參數(shù)，并用MSE對網(wǎng)絡(luò)進行訓練，結(jié)果表明該方法對單模態(tài)和多模態(tài)配準性能均優(yōu)于迭代算法。Sloan等[33]利用CNN網(wǎng)絡(luò)對單模態(tài)和多模態(tài)T1 和T2 加權(quán)腦MR 圖像配準，在訓練過程中加入學習擬一致性的學習空間變換進行回歸；單模態(tài)配準共享卷積層參數(shù)，用于提取圖像底層特征；多模態(tài)配準分別學習這些參數(shù)。實驗結(jié)果表明與B 樣條方法相比配準性能更優(yōu)越。

2.2.2 弱監(jiān)督學習配準

由于監(jiān)督學習對訓練標簽數(shù)據(jù)的依賴，研究學者提出了弱監(jiān)督學習的配準方法。由于醫(yī)學圖像數(shù)據(jù)收集困難且對數(shù)據(jù)標注要求高，弱監(jiān)督學習事先分割出關(guān)鍵部位，如臟器部分、血管、導管或其他特殊結(jié)構(gòu)的關(guān)鍵點等作為標簽，選擇含有解剖信息的標簽作為目標函數(shù)；可利用有限的標簽數(shù)據(jù)進行醫(yī)學圖像的處理，進而實現(xiàn)疾病的分類、病灶的定位及分割多種任務(wù)[34-35]。Hu等[36]提出一個新的弱監(jiān)督配準網(wǎng)絡(luò)結(jié)構(gòu)，在不同分辨率的特征層上預(yù)測形變場，并求和最終得到從低層的全局信息到高層的局部信息，證明了對稀疏標注圖像進行非迭代預(yù)測的可行性。Hu[37]團隊又引入GAN的思想對形變場正則項增加一個判別器，用于判斷生成器生成的局部形變場真實性。Blendowski 等[38]提出一種弱監(jiān)督的方法來學習領(lǐng)域特定的傳統(tǒng)指標的集合，將學習到的匹配準則集成到優(yōu)化框架中，形成基于解剖結(jié)構(gòu)的空間變化相似度量函數(shù)的多度量算法。

2.3 無監(jiān)督學習配準

監(jiān)督學習的方法問題在于將真實的形變場作為金標準，對金標準的依賴大，而真實的形變場難以得到，這成為困難監(jiān)督學習方法的一個難題。由于醫(yī)學圖像數(shù)據(jù)集的特殊性，無監(jiān)督學習的配準方法能夠利用臨床中廣泛的原始數(shù)據(jù)且無需標注（即真實的形變場）訓練各種神經(jīng)網(wǎng)絡(luò)，構(gòu)建回歸模型以生成變換參數(shù)[39-41]。無監(jiān)督學習的方法分為基于圖像相似性測度和基于特征學習兩種。圖4為基于相似性測度的無監(jiān)督學習框架。

圖4 基于非監(jiān)督學習的配準框架Fig.4 Image registration framework based on unsupervised learning

Bob等[42]首次提出基于端到端的無監(jiān)督形變配準網(wǎng)絡(luò)（Deformable Image Registration Network，DIRNet），并用于MNIST 和SCD 數(shù)據(jù)集，配準效果優(yōu)于監(jiān)督學習方法。Zhao等[43]提出一種深度遞歸級聯(lián)的網(wǎng)絡(luò)結(jié)構(gòu)，在肝臟CT圖像和腦MRI圖像上都做了算法評測，提出一種shared-weight級聯(lián)技術(shù)，可以直接增加遞歸深度并提高準確率。Kori等[44]提出一個無監(jiān)督的圖像配準框架，使用預(yù)訓練網(wǎng)絡(luò)作為特征提取器，對二維T1和T2加權(quán)腦MR進行多模態(tài)配準和仿射變換參數(shù)回歸。

生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）是一種無監(jiān)督的訓練方法，通過模型中生成器和判別器的相互博弈學習產(chǎn)生輸出。GAN具有強大的圖像生成能力，可以幫助解決隱私性問題和訓練樣本不足的問題[45]。自Goodfellow提出后，開始廣泛應(yīng)用于醫(yī)學圖像處理領(lǐng)域。GAN[46]在醫(yī)學圖像中的應(yīng)用方式分為兩種，一種是利用生成器來幫助探索和發(fā)現(xiàn)訓練數(shù)據(jù)的潛在結(jié)構(gòu)和學習生成新的樣本，用以解決數(shù)據(jù)缺乏和病人隱私問題。另一種方式是利用判別器進行分類或是疾病區(qū)域的檢測。生成對抗網(wǎng)絡(luò)的模型如圖5所示。

圖5 生成對抗網(wǎng)絡(luò)模型Fig.5 Generative adversarial network

GAN 的判別器D 和生成器G 本質(zhì)為神經(jīng)網(wǎng)絡(luò)，為了引入對抗損失，通過對抗訓練的方式讓生成器能夠生成高質(zhì)量的圖片。對抗學習可以通過判別函數(shù)和生成函數(shù)之間的目標函數(shù)的極大極小值來實現(xiàn)，對抗的目標函數(shù)V(D,G)可以表示為[47]：

其中，D是判別器函數(shù)，G是生成器函數(shù)，z為隨機向量，x為圖像數(shù)據(jù)，E(?)表示分布函數(shù)的期望值，Pdata(x)代表真實樣本的分布，Pnoise(z)是定義在低維的噪聲分布。式（1）同時極大化判別器D 的判斷能力，極小化生成器G的輸出判斷為偽造的概率。

Fan 等[48]提出基于GAN 的無監(jiān)督配準模型，無需指定圖像間的相似性度量指標，用生成器來學習形變場，用判別器來衡量輸入的一組圖像對的相似性。Mahapatra等[49]利用GANs進行多模態(tài)醫(yī)學圖像配準，聯(lián)合使用條件損失與循環(huán)一致性損失改進損失函數(shù)，消除了傳統(tǒng)方法耗時的迭代，直接生成有形變場的配準圖像，以獲得更加真實、平滑的配準圖像。GAN是近年來富有前景的深度學習模型之一。

3 深度學習技術(shù)下的醫(yī)學圖像配準關(guān)鍵問題

3.1 多模態(tài)醫(yī)學圖像配準

臨床診療中，對同一患者的不同成像設(shè)備獲得的多模態(tài)醫(yī)學圖像進行配準，是圖像融合、分割的關(guān)鍵前提。其可以利用不同模態(tài)成像信息互補的優(yōu)勢，獲取不同角度的信息，從而輔助醫(yī)生進行更精確的診斷和治療。但由于不同成像設(shè)備的成像模式具有高度特異性，以及成像過程中患者體位以及圖像采集時間、傳輸存儲等影響，不同模態(tài)的圖像內(nèi)容差異性較大，圖像間的位移較大，解決該問題的最佳途徑是多模態(tài)醫(yī)學圖像配準技術(shù)。

在多模態(tài)醫(yī)學圖像配準過程中，由個體之間的生理差異以及占位性病變所導致的大形變問題是不可避免的[50]。大形變的圖像配準對計算解剖學有重要的研究價值和應(yīng)用意義，已成為配準算法的研究重點[51]。隨著深度學習技術(shù)在單模態(tài)醫(yī)學圖像配準中的應(yīng)用和多模態(tài)醫(yī)學圖像配準任務(wù)日益增長的需求，Yan 等[52]首次引入GAN來進行多模態(tài)醫(yī)學圖像的配準，在基于wGAN結(jié)構(gòu)的基礎(chǔ)上，用生成器和判別器分別獲得轉(zhuǎn)移矩陣的參數(shù)和該參數(shù)準確性的度量網(wǎng)絡(luò)。為降低訓練難度，該算法僅考慮剛性配準，并將三維圖像作為多通道的二維圖像，三維圖像的轉(zhuǎn)移矩陣參數(shù)僅局限于軸向視角。Tanner 等[53]基于cycle-GAN 結(jié)構(gòu)，將參考圖像和浮動圖像互相轉(zhuǎn)化，并結(jié)合在非剛性配準中使用的兩種距離測度算子NMI和MIND作為損失函數(shù)，來緩解二者空間不匹配的問題，取得了不錯的配準效果。Fan 等[48]基于GAN 模型的無監(jiān)督對抗相似網(wǎng)絡(luò)，采用判別網(wǎng)絡(luò)的反饋作為訓練配準網(wǎng)絡(luò)，判斷配準圖像是否足夠相似，從而取消了標簽數(shù)據(jù)的需求，但值得注意的，該方法僅能處理單一模態(tài)的圖像配準。對于多模態(tài)圖像配準而言，不同模態(tài)的圖像內(nèi)容差異性較大，圖像間的位移較大，以及缺少圖像真值，使得GAN 更難以模擬配準圖像的數(shù)據(jù)分布，也是基于GAN 的多模態(tài)圖像配準亟需解決的重要問題。

近來，Blendowski等[54]采用一種端到端的弱監(jiān)督學習方法提取特征，并對CT 和MRI 圖像進行配準；實驗中通過弱監(jiān)督標簽驅(qū)動損失產(chǎn)生的梯度信號來訓練FeatCNN和提取特征，然后進行迭代配準。Arar等[55]提出基于無監(jiān)督圖像翻譯方法，對多模態(tài)圖像進行翻譯和空間配準，實驗中用生成對抗學習的方法同時訓練了配準網(wǎng)絡(luò)和圖像翻譯網(wǎng)絡(luò)，這樣可以保證圖像翻譯的準確性和得到平滑的形變場。Guo 等[56]提出一種由N個連續(xù)網(wǎng)絡(luò)組成的由粗到細多級配準（MSReg）框架，用基于配準誤差的誤差標度方法生成不同的訓練數(shù)據(jù)分布，使得網(wǎng)絡(luò)在不同的錯誤級別上也表現(xiàn)良好，從而提高配準精度。

3.2 醫(yī)學圖像配準中的小樣本學習

深度學習就是從數(shù)據(jù)中學習，其關(guān)鍵技術(shù)之一是海量標注數(shù)據(jù)的支持，但在醫(yī)學圖像研究領(lǐng)域，樣本的稀缺及標注的訓練數(shù)據(jù)匱乏是困擾該領(lǐng)域的一大難題。而小樣本學習[57]（Few-Shot Learning，F(xiàn)SL）只需要少量的樣本，就能訓練出良好的模型，為該領(lǐng)域的研究提供了一個新思路。在醫(yī)學圖像配準中，F(xiàn)SL 利用先驗知識，能夠快速泛化至僅包含少量監(jiān)督數(shù)據(jù)的樣本新任務(wù)，常用的方法有基于數(shù)據(jù)增強的方法、基于模型改進的方法和基于算法優(yōu)化的方法[58]。

近年來小樣本學習逐漸成為當前的熱點研究問題，一些新的基于小樣本的學習方案被證明可以解決該問題。如半監(jiān)督學習、無監(jiān)督學習、遷移學習[59]、圖像生成方法等基于數(shù)據(jù)增強的方法；多任務(wù)學習、度量學習及記憶模型等提升模型泛化性的方法；元學習、模型微調(diào)等從算法優(yōu)化角度解決小樣本問題的方法。常用的小樣本學習方法如基于GAN、遷移學習的數(shù)據(jù)生成方法；用于特征提取的SiameseNetwork[60]和MatchNetwork[61]都能在不改變網(wǎng)絡(luò)模型的前提下對未知類別生成標簽；基于MetaNetwork[62]和Finetune 的權(quán)重更新來學習任務(wù)間的泛化信息。這些方法在醫(yī)學圖像目標檢測、分類和分割中取得一定成效，但是在醫(yī)學配準研究中，目前成果較少。

4 研究現(xiàn)狀比較分析

醫(yī)學圖像配準是公認難度較大的圖像處理技術(shù)，從傳統(tǒng)方法到監(jiān)督學習，大量的無標注醫(yī)學原始數(shù)據(jù)，沒有金標準成為制約該研究方向發(fā)展的重要因素。綜上所述的傳統(tǒng)醫(yī)學圖像配準和基于深度學習的醫(yī)學圖像配準方法，其主要思想和缺點難點如圖6所示。

圖6 醫(yī)學圖像配準方法——傳統(tǒng)和深度學習Fig.6 Comparison of medical image registration methods

傳統(tǒng)配準方法的迭代時間較長，昂貴的時間成本和較低的計算效率給實際臨床應(yīng)用帶來了不便。利用深度學習技術(shù)的神經(jīng)網(wǎng)絡(luò)學習相似性測度，驅(qū)動迭代優(yōu)化，大大縮減了傳統(tǒng)方法的迭代時間，這是學者最初利用深度學習技術(shù)解決醫(yī)學圖像配準問題的關(guān)鍵因素，但是迭代優(yōu)化過程本身耗費的時間仍然無法實現(xiàn)實時配準。因此通過神經(jīng)網(wǎng)絡(luò)直接從原始圖像中回歸變換參數(shù)，模擬形變場作為標簽的監(jiān)督學習開始出現(xiàn)，它極大地縮短了配準時間，但其缺點是配準質(zhì)量對金標準的依賴大，且從實際待配準的圖像中難以獲得高質(zhì)量的金標準。

為了降低對金標準的依賴，研究學者又提出弱監(jiān)督學習的概念，采用解剖標簽的相似性測度作為目標函數(shù)，代替圖像的相似度，從而弱化配準模型對于金標準的依賴。但是，該方法在前期仍然需要大量的數(shù)據(jù)標注，并未完全消除網(wǎng)絡(luò)配準模型對金標準的依賴。因此，研究學者提出了利用深度回歸網(wǎng)絡(luò)直接估計變換參數(shù)的無監(jiān)督配準框架。該方法無需標注圖像，將配準對輸入網(wǎng)絡(luò)，獲得形變場，利用可導的空間變換網(wǎng)絡(luò)，在訓練時計算圖像相似度損失函數(shù)并不斷優(yōu)化。從研究結(jié)果來看，無監(jiān)督學習配準采用圖像相似度損失和正則化損失來代替監(jiān)督學習的誤差損失和標簽相似度損失，取得了更高的配準精度，且其構(gòu)建的端到端的網(wǎng)絡(luò)結(jié)構(gòu)提高了計算效率。為了學習到更加真實可靠的光滑形變場，相似度損失和正則化損失函數(shù)的設(shè)計和改進是未來研究的一個難點。此外，目前基于無監(jiān)督學習的方法大多集中于單模態(tài)圖像配準，鑒于多模態(tài)圖像間的巨大差異，無監(jiān)督學習的相似度損失函數(shù)計算仍是亟待解決的難題。表1 比較分析了基于深度學習的醫(yī)學圖像配準方法的優(yōu)勢與局限。

表1 基于深度學習的醫(yī)學圖像配準方法比較Table 1 Comparison of medical image registration methods based on deep learning

5 總結(jié)與展望

近年來，基于深度學習的醫(yī)學圖像配準方法得到了迅猛發(fā)展，本文總結(jié)了從傳統(tǒng)方法到基于深度學習技術(shù)的發(fā)展歷程。鑒于現(xiàn)代醫(yī)學圖像處理對精準化與智能化醫(yī)療要求的不斷提高，少樣本數(shù)據(jù)帶來的訓練數(shù)據(jù)集匱乏問題，借助極少的監(jiān)督或采用無監(jiān)督學習實現(xiàn)醫(yī)學圖像配準任務(wù)，成為研究的主流方向。從學者的研究趨勢來看，無論是對數(shù)據(jù)的要求、配準精度，還是計算效率，無監(jiān)督學習因其不依賴金標準和解剖標簽，無需大量精確標注的數(shù)據(jù)，采用端到端的網(wǎng)絡(luò)配準框架就可以自動執(zhí)行需要的任務(wù)而得到追捧。而研究并不止于此，基于無監(jiān)督學習的醫(yī)學圖像配準方法同樣面臨著一些研究難點和挑戰(zhàn)，主要表現(xiàn)為：可解釋性、跨模態(tài)多樣性和可重復(fù)可擴展性。

（1）可解釋性。由于深度學習類似黑箱模型，且現(xiàn)有基于無監(jiān)督學習的配準方法是基于數(shù)據(jù)驅(qū)動，但醫(yī)學圖像領(lǐng)域?qū)δＰ偷目山忉屝砸筝^高，在未來工作中需要在模型中考慮領(lǐng)域?qū)＜抑R，充分利用患者其他維度的信息。Luo 等[63]通過對公共數(shù)據(jù)集的篩選研究表明，數(shù)據(jù)標注的準確性、配準的有效性都是未來基于數(shù)據(jù)驅(qū)動配準方法研究的重要方向。

（2）跨模態(tài)多樣性。由于不同模態(tài)間數(shù)據(jù)的多樣性，而多模態(tài)的關(guān)鍵特性是互補性和唯一性，跨模態(tài)數(shù)據(jù)集的巨大差異使得圖像相似性測度損失計算變得困難[50-51]。現(xiàn)有多模態(tài)圖像，如何設(shè)計有效的跨模態(tài)圖像相似測度損失函數(shù)和正則化損失，以提高多模態(tài)醫(yī)學圖像配準的準確性和魯棒性，是跨模態(tài)圖像配準亟需階段的重要問題。此外，臨床的文本數(shù)據(jù)（含結(jié)構(gòu)化的檢驗數(shù)據(jù)和非結(jié)構(gòu)化文本數(shù)據(jù)）也是多模態(tài)醫(yī)學數(shù)據(jù)的一個來源，如何綜合利用這些信息為配準任務(wù)所用也是值得研究的方向。

（3）可重復(fù)可擴展性。現(xiàn)有配準方法多為某個單一任務(wù)設(shè)計了特殊的網(wǎng)絡(luò)結(jié)構(gòu)，使用了合適的超參數(shù)優(yōu)化方法，并取得了優(yōu)異的性能，但模型的跨中心泛化性不高。但當將其應(yīng)用于其他任務(wù)或者來自不同醫(yī)院的數(shù)據(jù)時，其功能和性能差強人意。同一算法遷移的時候會改變底層的組織結(jié)構(gòu)，這對醫(yī)療領(lǐng)域的影響具有很大挑戰(zhàn)性[64]，如何自適應(yīng)地提升算法來泛化配準任務(wù)，提高其可重復(fù)可擴展性，也是未來醫(yī)學圖像配準技術(shù)研究的一個方向。

（4）小樣本數(shù)據(jù)準確度。醫(yī)學圖像數(shù)據(jù)主要面臨兩大難題[65]：標注稀缺和弱標簽。有學者整合多個醫(yī)學比賽數(shù)據(jù)，構(gòu)建3D 醫(yī)學影像的ImageNet 數(shù)據(jù)集，開源共享數(shù)據(jù)，將預(yù)訓練模型Med3D[66]遷移到其他任務(wù)中，且模型性能不錯。遷移學習過程可能丟失醫(yī)學數(shù)據(jù)的組織信息，域自適應(yīng)學習的方法能緩解遷移學習的可能存在的風險，但醫(yī)療健康是一個嚴謹?shù)膱鼍?，任何診斷建議都會對患者健康產(chǎn)生直接的影響，因此，不斷提高小樣本醫(yī)學影像處理的準確性是一直追求的目標。

隨著深度學習技術(shù)研究的不斷深入，其在醫(yī)學圖像配準領(lǐng)域也日益發(fā)揮著愈來愈重的作用；總的來說，無監(jiān)督深度學習和小樣本學習是該領(lǐng)域具有前景的方向之一。