[摘要] 頭影測(cè)量是正畸診斷和治療過(guò)程中不可或缺的分析手段。高精度定位頭影測(cè)量的標(biāo)志點(diǎn)對(duì)于確保正畸臨床診斷的準(zhǔn)確性和治療目標(biāo)的正確性至關(guān)重要。隨著計(jì)算機(jī)輔助技術(shù)特別是人工智能的發(fā)展,頭影測(cè)量標(biāo)志點(diǎn)從手動(dòng)標(biāo)注逐漸進(jìn)展到自動(dòng)定點(diǎn),并已應(yīng)用于臨床實(shí)踐。從基于知識(shí)方法到基于模型和模板匹配方法,再到現(xiàn)在的機(jī)器學(xué)習(xí)及深度學(xué)習(xí)方法,人工智能在傳統(tǒng)頭顱側(cè)位片上標(biāo)志點(diǎn)檢測(cè)的準(zhǔn)確率已有顯著提高,但在圖像數(shù)據(jù)更精確的三維圖像上,自動(dòng)定點(diǎn)尚處于起步階段。本文旨在綜述人工智能在頭影測(cè)量自動(dòng)定點(diǎn)算法方面的研究進(jìn)展,并對(duì)其未來(lái)研究方向進(jìn)行展望。
[關(guān)鍵詞] 人工智能; 頭影測(cè)量標(biāo)志點(diǎn); 自動(dòng)定點(diǎn); 機(jī)器學(xué)習(xí); 深度學(xué)習(xí); 自動(dòng)化分析; 計(jì)算機(jī)視覺(jué)
[中圖分類(lèi)號(hào)] R783.5 [文獻(xiàn)標(biāo)志碼] A [doi] 10.7518/gjkq.2024061
自1931年Broadbent和Hofrath提出頭顱X線攝影以來(lái),已經(jīng)開(kāi)發(fā)了眾多頭影測(cè)量分析方法[1]。這些方法使得正畸醫(yī)生能夠?qū)颊叩娘B面部骨骼、牙列、軟組織進(jìn)行細(xì)致分析,從而作出準(zhǔn)確診斷并制訂治療計(jì)劃。頭影測(cè)量中,標(biāo)志點(diǎn)的高精度定位對(duì)于確保正畸臨床診斷和治療目標(biāo)的正確性至關(guān)重要。不同的頭影測(cè)量方法需要不同的標(biāo)志點(diǎn),一些復(fù)雜的分析方法可能涉及數(shù)十甚至上百個(gè)標(biāo)志點(diǎn)。醫(yī)生會(huì)根據(jù)經(jīng)驗(yàn)選擇合適的分析方法,以確定所需的標(biāo)志點(diǎn)。傳統(tǒng)的頭影測(cè)量分析通常在特制繪圖紙上進(jìn)行,通過(guò)量角器和尺子來(lái)測(cè)量角度和距離,以獲取患者的正畸相關(guān)數(shù)據(jù),幫助醫(yī)生診斷和制訂治療計(jì)劃。隨著計(jì)算機(jī)輔助頭影測(cè)量軟件(例如Dolphin Imaging) 的推出,醫(yī)生能夠在計(jì)算機(jī)上標(biāo)注頭影測(cè)量標(biāo)志點(diǎn),軟件則自動(dòng)計(jì)算相關(guān)的測(cè)量值(角度值、距離值),簡(jiǎn)化了計(jì)算步驟。盡管如此,這一工作仍舊會(huì)耗費(fèi)醫(yī)生大量時(shí)間,并易受操作者本身的經(jīng)驗(yàn)和水平等主觀因素的影響。
自20世紀(jì)90年代以來(lái),越來(lái)越多的學(xué)者提出采用人工智能(artificial intelligence,AI) 方法自動(dòng)檢測(cè)頭顱側(cè)位影像中的解剖標(biāo)志點(diǎn)以實(shí)現(xiàn)自動(dòng)化定點(diǎn)。目前,AI 自動(dòng)定點(diǎn)的平均徑向誤差(mean radical error,MRE) 為1 mm左右[2],但對(duì)于2 mm成功檢測(cè)率(successful detection rate,SDR),仍有部分標(biāo)志點(diǎn)的定點(diǎn)誤差與臨床要求存在差距,需要醫(yī)生進(jìn)行手動(dòng)調(diào)整。近年來(lái)已有多款商業(yè)化的AI輔助頭顱側(cè)位X線片定點(diǎn)軟件系統(tǒng)應(yīng)用于臨床,如UCeph、智貝云等等,顯著提高了工作效率[3-6]。傳統(tǒng)的二維X線片將頭顱兩側(cè)結(jié)構(gòu)重疊會(huì)產(chǎn)生放大或失真效果,錐形束計(jì)算機(jī)斷層掃描技術(shù)(cone beam computed tomography,CBCT) 應(yīng)運(yùn)而生。與傳統(tǒng)計(jì)算機(jī)斷層掃描技術(shù)(computedtomography,CT) 相比,CBCT具有成本低、體積小、分辨率高、輻射劑量低等優(yōu)點(diǎn),已在口腔研究領(lǐng)域得到了廣泛應(yīng)用。相較于二維頭影測(cè)量,三維頭影測(cè)量尚處于起步階段。目前AI在自動(dòng)定點(diǎn)算法方面仍存在諸多挑戰(zhàn),如數(shù)據(jù)的缺乏、模型穩(wěn)定性和泛化能力仍有待加強(qiáng)。本文對(duì)AI在頭影測(cè)量自動(dòng)定點(diǎn)算法的研究進(jìn)展進(jìn)行綜述,并對(duì)其未來(lái)研究方向提出展望。
1 AI 的提出和發(fā)展
AI一詞由被譽(yù)為AI之父的約翰·麥卡錫于1955年提出,用來(lái)描述機(jī)器執(zhí)行智能任務(wù)的能力[7]。目前,AI技術(shù)已廣泛應(yīng)用于口腔醫(yī)學(xué)各個(gè)領(lǐng)域,其中頭影測(cè)量標(biāo)志點(diǎn)的定位是一個(gè)研究熱點(diǎn)[8]。在以往的研究中,學(xué)者嘗試采用基于知識(shí)、基于模型以及模板匹配的方法進(jìn)行自動(dòng)定點(diǎn),但效果并不理想。自2010年起,在大型數(shù)據(jù)集、快速且大規(guī)模并行計(jì)算、存儲(chǔ)硬件(如圖形處理器和超級(jí)計(jì)算機(jī)) 以及新算法的推動(dòng)下,AI的性能得到顯著提升[9]。目前流行的AI方法主要分為兩類(lèi):機(jī)器學(xué)習(xí)(machine learning,ML) 和深度學(xué)習(xí)(deep learning,DL)[10]?;跇颖緮?shù)據(jù)(訓(xùn)練數(shù)據(jù)),通過(guò)ML算法生成數(shù)學(xué)模型,如支持向量機(jī)和隨機(jī)森林,這些模型能夠泛化特定模式以預(yù)測(cè)決策,而無(wú)需進(jìn)行特定任務(wù)的顯式編程[11]。ML算法的架構(gòu)靈感源自人類(lèi)大腦中的生物神經(jīng)網(wǎng)絡(luò),由各種人工神經(jīng)元相互連接形成一個(gè)分層組織的網(wǎng)絡(luò)。在第一層(輸入) 和最后一層(輸出) 之間,存在一定數(shù)量的(至少1個(gè)) 隱藏層,負(fù)責(zé)AI的決策制定。所需的隱藏層數(shù)(深度) 取決于訓(xùn)練任務(wù)的復(fù)雜程度。DL是指具有3層或更多隱藏層的算法。與傳統(tǒng)ML相比,DL自動(dòng)化了大部分特征提取過(guò)程,減少了人工干預(yù),并允許處理更大的數(shù)據(jù)集。Schwendicke等[12]對(duì)DL在頭影測(cè)量標(biāo)志點(diǎn)自動(dòng)檢測(cè)的準(zhǔn)確性進(jìn)行meta分析,發(fā)現(xiàn)DL在頭顱側(cè)位片標(biāo)志點(diǎn)定位上具有較高的準(zhǔn)確率。目前在正畸領(lǐng)域應(yīng)用較多的DL算法是卷積神經(jīng)網(wǎng)絡(luò)(convolutionalneural network,CNN) 及其變體[13],其隱藏層數(shù)量眾多,結(jié)構(gòu)更為復(fù)雜,由多個(gè)卷積層、池化層、激活層和全連接層組合而成,通過(guò)各種變換實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)、降低計(jì)算復(fù)雜度,以提高泛化能力。
2 頭顱側(cè)位片自動(dòng)定點(diǎn)
2.1 公共數(shù)據(jù)集
目前,有關(guān)頭顱側(cè)位X線片的一個(gè)主要公共數(shù)據(jù)集源自2015年國(guó)際生物醫(yī)學(xué)影像國(guó)際研討會(huì)(International Symposium on Biomedical Imaging,ISBI) 舉辦的頭影測(cè)量標(biāo)志點(diǎn)自動(dòng)檢測(cè)挑戰(zhàn)賽所提供的公開(kāi)數(shù)據(jù)集[14]。該數(shù)據(jù)集包含400張年齡為6~60歲患者的頭顱X線片,每張圖片的分辨率為(1 935×2 400) 像素,每張都由2名經(jīng)驗(yàn)豐富的醫(yī)生手工標(biāo)記了19個(gè)標(biāo)志點(diǎn)。數(shù)據(jù)集被劃分為不同部分,其中150張作為訓(xùn)練集,150張作為測(cè)試集1,剩余的100張則構(gòu)成測(cè)試集2。
2.2 基于知識(shí)的方法
基于知識(shí)的方法是最早應(yīng)用于頭顱側(cè)位X線片自動(dòng)定點(diǎn)的方法,它結(jié)合了圖像增強(qiáng)和邊緣檢測(cè)技術(shù)以及明確的解剖學(xué)知識(shí)來(lái)確定標(biāo)志點(diǎn)位置。這種方法的準(zhǔn)確率受圖像質(zhì)量的影響較大,并且只能檢測(cè)邊緣的標(biāo)志點(diǎn),因此未能在臨床上得到應(yīng)用,不過(guò)它為自動(dòng)定點(diǎn)技術(shù)的發(fā)展邁出了第一步。1986年Lévy-Mandel等[15]采用濾波和邊緣檢測(cè)器處理原始圖像,而后提取相關(guān)邊緣并利用先驗(yàn)知識(shí)進(jìn)行邊緣線追蹤,識(shí)別定位了23個(gè)標(biāo)志點(diǎn),但精度不高。Parthasarathy等[16]加入多分辨率金字塔以縮短識(shí)別時(shí)間,在較小、較低分辨率的圖像上提取特征,對(duì)5張頭顱側(cè)位片進(jìn)行測(cè)試,在2 mm的精度內(nèi)定位9個(gè)標(biāo)志點(diǎn)中的4個(gè)。Desvignes等[17]進(jìn)一步研究,提出了“三步法”,先使用自適應(yīng)坐標(biāo)空間粗略估計(jì)標(biāo)志點(diǎn),然后在周?chē)?jì)算感興趣區(qū)域(region of interest,ROI),最后用解剖學(xué)定義精確定位,對(duì)鼻腔區(qū)域進(jìn)行3個(gè)標(biāo)志點(diǎn)的定點(diǎn),誤差約4.5 mm。
2.3 基于模型的方法
為了解決上述問(wèn)題,學(xué)者們提出了一系列研究,側(cè)重于使用某個(gè)標(biāo)志點(diǎn)周?chē)木植客庥^?;谀P偷姆椒ㄔ谝欢ǔ潭壬线m應(yīng)圖像比例、旋轉(zhuǎn)、平移等變化,從而適應(yīng)形狀的變化。然而,這種方法的精確度容易受到圖像分辨率、標(biāo)志點(diǎn)可變性以及側(cè)位片上類(lèi)似結(jié)構(gòu)的影響,并且需要一定的初始化過(guò)程。單獨(dú)的基于模型的方法無(wú)法直接應(yīng)用于臨床,因此目前多采用與其他方法結(jié)合的方式形成新算法,以提高精確度。Hutton等[18]采用主動(dòng)形狀模型(active shape model,ASM),雖然2 mm內(nèi)SDR僅35%,但在一定程度上能夠節(jié)省時(shí)間,并為后續(xù)研究提供了框架。Vucini?等[19]提出一個(gè)基于主動(dòng)外觀模型(active appearance model,AAM) 的系統(tǒng),該系統(tǒng)結(jié)合了感興趣對(duì)象形狀和灰度外觀的統(tǒng)計(jì)模型,并代表模型所覆蓋區(qū)域的形狀和紋理變化,17個(gè)標(biāo)志點(diǎn)MRE為1.68 mm,仍遠(yuǎn)低于手動(dòng)識(shí)別的精確度(87%)。
2.4 基于模板匹配的方法
基于模板匹配的方法是從基于模型的方法演變而來(lái)的。該方法通過(guò)改進(jìn)初始近似位置的方式來(lái)提高準(zhǔn)確率[20],但隨之而來(lái)的是更高的計(jì)算復(fù)雜性。當(dāng)標(biāo)志點(diǎn)數(shù)量增多時(shí),精確度將明顯下降。Cardillo等[21]使用基于灰度形態(tài)學(xué)的模板匹配方法來(lái)直接識(shí)別標(biāo)志點(diǎn),在對(duì)40張側(cè)位片的測(cè)試中,20個(gè)標(biāo)志點(diǎn)中85%的標(biāo)志點(diǎn)精度在2 mm之內(nèi)。此外,Grau等[22]利用邊緣檢測(cè)器確定重要結(jié)構(gòu)的位置,隨后利用模板匹配尋找每個(gè)標(biāo)志點(diǎn)的精確位置,17個(gè)標(biāo)志點(diǎn)檢出率超過(guò)90%。
2.5 基于ML的方法
國(guó)際生物醫(yī)學(xué)影像國(guó)際研討會(huì)在2014年與2015年舉辦了2屆頭影測(cè)量標(biāo)志點(diǎn)自動(dòng)檢測(cè)挑戰(zhàn)賽,其中基于ML的標(biāo)志點(diǎn)自動(dòng)檢測(cè)方法開(kāi)始顯現(xiàn)其潛力。這些方法通常從局部圖像中提取手工特征來(lái)訓(xùn)練分類(lèi)器,以識(shí)別像素中心是否靠近標(biāo)志點(diǎn)。與之前的方法相比,這標(biāo)志著重大的進(jìn)步,但2 mmSDR仍未能達(dá)到令人滿意的水平。2015年ISBI挑戰(zhàn)賽冠軍Lindner等[23]使用隨機(jī)森林算法對(duì)局部外觀進(jìn)行分類(lèi),并使用統(tǒng)計(jì)形狀模型來(lái)捕捉空間關(guān)系,在Test 1中MRE為(1.67±1.65) mm,2 mm SDR為74.95%。與前者不同,Urschler等[24]開(kāi)發(fā)了一種整合幾何形態(tài)和圖像外觀信息到統(tǒng)一隨機(jī)森林框架中的標(biāo)志點(diǎn)定位方法,在ISBI2015公開(kāi)數(shù)據(jù)集上測(cè)試,2 mm SDR為80.21%。隨著DL的發(fā)展,學(xué)者開(kāi)始更廣泛地采用DL算法框架來(lái)實(shí)現(xiàn)自動(dòng)定點(diǎn)。
2.6 基于DL的方法
2.6.1 區(qū)域提議分類(lèi) 這種模式構(gòu)建了一個(gè)基于CNN的框架,用于學(xué)習(xí)解剖標(biāo)志點(diǎn)上的區(qū)域提議特征,并以此對(duì)標(biāo)志點(diǎn)進(jìn)行分類(lèi),然后通過(guò)綜合區(qū)域提議進(jìn)行定位。2017年,Ar?k等[25]將CNN用于側(cè)位片的自動(dòng)定點(diǎn)。該CNN模型由4個(gè)卷積層、6個(gè)激活層、3個(gè)池化層和1個(gè)全連接層組合而成。通過(guò)學(xué)習(xí)輸入圖像塊是否為標(biāo)志點(diǎn)的概率,結(jié)合統(tǒng)計(jì)形狀模型來(lái)細(xì)化所有標(biāo)志點(diǎn)的最佳位置,在ISBI2015公共數(shù)據(jù)集上測(cè)試,Test 1中2 mm SDR為75.37%, Test 2 中2 mm SDR 為67.68%。Qian等[26]提出了基于更快速的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(fasterregion-based convolutional network,F(xiàn)aster R-CNN)的頭顱標(biāo)志點(diǎn)檢測(cè)方法,先根據(jù)訓(xùn)練數(shù)據(jù)中的標(biāo)志點(diǎn)分布構(gòu)造二維無(wú)向圖,而后采用“最大置信度”選擇標(biāo)志點(diǎn)中的最佳點(diǎn),對(duì)未檢測(cè)到的標(biāo)志點(diǎn)利用拉普拉斯變換進(jìn)行修復(fù), 2 mm SDR為82.5%。不同于傳統(tǒng)CNN網(wǎng)絡(luò),Dai等[27]提出一種基于生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks,GAN) 的頭影測(cè)量自動(dòng)定點(diǎn)方法,該方法中,一方面訓(xùn)練生成器生成輸入源圖像的距離圖,另一方面訓(xùn)練判別器判定生成結(jié)果是否可被視為真實(shí)結(jié)果,兩者通過(guò)循環(huán)博弈進(jìn)行學(xué)習(xí)。該方法旨在學(xué)習(xí)從特征到特定目標(biāo)距離圖的映射,來(lái)預(yù)測(cè)所有標(biāo)志點(diǎn)的距離圖,最后通過(guò)類(lèi)似回歸投票的方法定位,然而在學(xué)習(xí)過(guò)程中為減輕計(jì)算負(fù)擔(dān),損失了部分上下文信息,導(dǎo)致精確度有所下降。
2.6.2 坐標(biāo)回歸 這種模式使用與區(qū)域提議數(shù)量相匹配的基于CNN的多個(gè)回歸模型來(lái)預(yù)測(cè)所有標(biāo)志點(diǎn)的x和y坐標(biāo),該方法雖簡(jiǎn)單易于理解,并利用了標(biāo)志點(diǎn)的結(jié)構(gòu)知識(shí),但計(jì)算量大,需要含有許多網(wǎng)絡(luò)參數(shù)的致密層來(lái)模擬高度非線性,可能導(dǎo)致過(guò)擬合問(wèn)題。Lee等[28]開(kāi)發(fā)了一個(gè)基于CNN的坐標(biāo)回歸系統(tǒng),將19個(gè)標(biāo)志點(diǎn)的x、y坐標(biāo)視為38個(gè)獨(dú)立變量,構(gòu)建38個(gè)系統(tǒng)訓(xùn)練數(shù)據(jù)集,通過(guò)配對(duì)回歸組合坐標(biāo)形成19個(gè)標(biāo)志點(diǎn)。該方法操作簡(jiǎn)單,標(biāo)志點(diǎn)雖不完全與真實(shí)值匹配,但總體位于真實(shí)值邊緣內(nèi)。Gilmour等[29]通過(guò)對(duì)多尺度圖像塊中每個(gè)標(biāo)志點(diǎn)的相對(duì)位移進(jìn)行從粗到細(xì)的回歸來(lái)進(jìn)行預(yù)測(cè),但未考慮標(biāo)志點(diǎn)之間的空間關(guān)系。在ISBI2015 公共數(shù)據(jù)集上測(cè)試, Test 1 中MRE 為(1.01±0.85) mm,2 mm SDR為88.32%,Test 2中MRE為(1.33±0.74) mm, 2 mm SDR為77.05%。Li等[30]提出了一種將局部信息和全局形狀相結(jié)合的拓?fù)溥m應(yīng)深度圖學(xué)習(xí)的方法,在ISBI2015公共數(shù)據(jù)集上測(cè)試,Test 1中MRE為1.04 mm,2 mmSDR為88.49%,Test 2 中MRE為1.43 mm, 2 mmSDR為76.57%。針對(duì)數(shù)據(jù)量有限的問(wèn)題,Zeng等[31]使用3個(gè)獨(dú)立的回歸步驟來(lái)估計(jì)頭顱標(biāo)志點(diǎn)的位置,并在每個(gè)步驟采用縮放、平移和亮度調(diào)整等數(shù)據(jù)增強(qiáng)方法,充分利用有限數(shù)據(jù),在ISBI2015 公共數(shù)據(jù)集上進(jìn)行測(cè)試, Test 1 中MRE為(1.34±0.92) mm,2 mm SDR為81.37%,Test 2中MRE為(1.64±0.91) mm,2 mm SDR為70.58%。
2.6.3 熱圖回歸 這種模式通常用一個(gè)固定方差的高斯函數(shù)來(lái)編碼一個(gè)標(biāo)志點(diǎn)的偽概率,預(yù)測(cè)熱圖中的高響應(yīng)作為標(biāo)志點(diǎn)的位置,準(zhǔn)確率較高。Payer等[32]提出基于空間配置CNN的熱圖回歸的方法,將一個(gè)組件專用于提供局部準(zhǔn)確但可能有歧義的候選預(yù)測(cè),而另一個(gè)組件則專注于結(jié)合空間配置,通過(guò)消除歧義來(lái)提高對(duì)標(biāo)志點(diǎn)錯(cuò)誤識(shí)別的魯棒性,減少了對(duì)大型數(shù)據(jù)集的依賴,在ISBI2015公共數(shù)據(jù)集上測(cè)試,2 mm內(nèi)的準(zhǔn)確性更高。Zhong等[33]提出了一個(gè)兩階段的U-Net方法[34],其中全局階段預(yù)測(cè)粗略位置,而局部階段識(shí)別地標(biāo)的精細(xì)位置, 在ISBI2015 公共數(shù)據(jù)集上測(cè)試,Test 1中MRE為(1.12±0.88) mm, 2 mm SDR為86.91%,Test 2中MRE為(1.42±0.84) mm,2 mmSDR為86.06%。不同于前者,Kim等[35]提出使用級(jí)聯(lián)CNN的方法,先提取ROI,然后利用U-Net識(shí)別ROI內(nèi)標(biāo)志點(diǎn)位置,對(duì)10個(gè)中心共3 150張側(cè)位片測(cè)試20個(gè)標(biāo)志點(diǎn),MRE為(1.36±0.98) mm。相似地,Kwon等[36]提出了一種多階段定位方法,先通過(guò)訓(xùn)練一個(gè)能產(chǎn)生所有標(biāo)志點(diǎn)熱圖的CNN來(lái)估計(jì)位置,而后對(duì)輸入圖像進(jìn)行高分辨率裁剪并細(xì)化,最后應(yīng)用線性濾波器進(jìn)一步細(xì)化下頜骨雙側(cè)標(biāo)志點(diǎn)的位置,在ISBI2015公共數(shù)據(jù)集上測(cè)試,Test 1 中MRE為1.12 mm, 2 mm SDR為86.91%,Test 2 中MRE為1.41 mm, 2 mm SDR為77.16%。Chen等[37]引入注意力特征金字塔模塊來(lái)提取語(yǔ)義增強(qiáng)的融合特征,在ISBI2015公共數(shù)據(jù)集上測(cè)試,Test 1中MRE為(1.17±1.19) mm,2 mm SDR為86.67%,Test 2中MRE為(1.48±0.77) mm,2 mmSDR為75.05%,雖然精確度未有顯著提高,但也提供了一種新思路。Oh等[38]采用深度解剖上下文特征學(xué)習(xí)方法來(lái)學(xué)習(xí)頭顱側(cè)位片更深層次的語(yǔ)義特征并提高定位精度,在ISBI2015公共數(shù)據(jù)集上測(cè)試, Test 1 中2 mm SDR為86.2%, Test 2 中為75.89%,相較于Chen等[37]的方法,該算法還可用于3D圖像任務(wù)。Qian等[39]提出一種新的多頭注意神經(jīng)網(wǎng)絡(luò)CephaNN,基于多頭注意機(jī)制,先使用多頭結(jié)構(gòu)計(jì)算兩組特征,然后根據(jù)特征計(jì)算注意力權(quán)重,連接加權(quán)的特征來(lái)估計(jì)標(biāo)志點(diǎn)的熱圖,在ISBI2015公共數(shù)據(jù)集上測(cè)試,Test 1中MRE為1.15 mm,2 mm SDR為87.61%,Test 2中MRE為1.43 mm, 2 mm SDR為76.32%。Zhu等[40]研究了“You Only Learn Once (YOLO) ”的思想,開(kāi)發(fā)了一個(gè)由局部網(wǎng)絡(luò)和全局網(wǎng)絡(luò)組成的通用解剖標(biāo)志檢測(cè)模型,其中局部網(wǎng)絡(luò)基于U-Net構(gòu)建,學(xué)習(xí)多域局部特征,輸出標(biāo)志點(diǎn)熱圖,全局網(wǎng)絡(luò)提取全局特征并減少模糊性,對(duì)頭顱側(cè)位片、手掌、胸片3個(gè)數(shù)據(jù)集進(jìn)行檢測(cè),都取得了不錯(cuò)的效果,在ISBI2015數(shù)據(jù)集上,MRE為(1.54±2.37) mm,2 mm SDR為77.79%。Wang等[41]進(jìn)一步提出一種基于兩階段熱圖回歸的高效穩(wěn)定的方法,先采用HR-Net[42]從高分辨率圖像并行輸出多尺度特征圖并提煉,而后利用改進(jìn)的熱圖解碼方法進(jìn)行精確定位,在ISBI2015公共數(shù)據(jù)集上測(cè)試,Test 1中MRE為1.09 mm,2 mm SDR為88.98%,Test 2中MRE為1.33 mm,2 mm SDR為78.68%。針對(duì)魯棒性問(wèn)題,Jiang等[43]構(gòu)建了一個(gè)級(jí)聯(lián)框架,第一階段檢測(cè)10個(gè)ROI,每個(gè)區(qū)域包含1~9個(gè)標(biāo)志點(diǎn),第二階段精確定位ROI中的標(biāo)志點(diǎn)。最終在20個(gè)中心的9 870張側(cè)位片測(cè)試中,30個(gè)標(biāo)志點(diǎn)的MRE為(0.94±0.74)mm,2 mm SDR達(dá)到91.73%。
2.6.4 其他 Lu等[44]提出基于多尺度圖像塊的圖卷積網(wǎng)絡(luò)(graph convolutional network,GCN) 框架,該框架由多尺度圖像采樣、空間化特征生成和用于坐標(biāo)解碼的3層GCN組成。首先從高斯金字塔中分層采樣具有相同大小的圖像塊,而后堆疊這些圖像塊提取代表性特征,然后結(jié)合注意力模塊生成包含局部外觀特征和形狀信息的空間化特征并將其輸入3層GCN中,在ISBI2015公共數(shù)據(jù)集上測(cè)試,Test 1中MRE為1.06 mm,2 mm SDR為87.93%,Test 2中MRE為1.37 mm,2 mm SDR為76.11%。
2.6.5 優(yōu)缺點(diǎn)分析 目前,以區(qū)域提議為主的檢測(cè)模式表現(xiàn)不佳,現(xiàn)階段已較少應(yīng)用。以坐標(biāo)回歸為主的模式展示出了整合標(biāo)志點(diǎn)結(jié)構(gòu)知識(shí)的潛力,然而對(duì)結(jié)構(gòu)知識(shí)的利用仍然不足,從而限制了其性能。通過(guò)標(biāo)志點(diǎn)之間的信息交換以促進(jìn)檢測(cè)的方法仍有待探索。以熱圖回歸為主的模式受到了學(xué)者們的青睞。該模式利用熱圖的空間泛化能力來(lái)學(xué)習(xí)標(biāo)志點(diǎn)之間的位置關(guān)系,通常首先生成標(biāo)志點(diǎn)的熱圖,然后逐步細(xì)化以確定標(biāo)志點(diǎn)位置。雖然這個(gè)過(guò)程較為煩瑣,但結(jié)果通常更為穩(wěn)定。在ISBI 2015公開(kāi)數(shù)據(jù)集上,Wang等[41]通過(guò)控制圖像分辨率,獲得了優(yōu)秀的結(jié)果,2 mm內(nèi)SDR達(dá)到88.98%。這種模式對(duì)圖像分辨率要求較高,且在采樣過(guò)程中由于分辨率降低會(huì)導(dǎo)致解碼錯(cuò)誤問(wèn)題,這些因素限制了該模型的性能。相較于ML算法,DL算法在精確度上有了顯著提升,其方法也更為復(fù)雜和多樣化,然而在ISBI2015公共數(shù)據(jù)集上,2 mm SDR仍未能突破90%。學(xué)者們嘗試從不同角度去提高精確度,但往往局限于單一模型。未來(lái)開(kāi)發(fā)一種能集成多種高精度模型的集成學(xué)習(xí)算法可能成為重要的研究方向。此外,現(xiàn)有數(shù)據(jù)集來(lái)源較為單一,數(shù)據(jù)量的缺乏是導(dǎo)致精確度和穩(wěn)定性不高的一個(gè)重要原因。通過(guò)擴(kuò)大真實(shí)數(shù)據(jù)集的規(guī)模,收集多中心數(shù)據(jù)等方式,可能進(jìn)一步提高算法的精確度、穩(wěn)定性和泛化能力。
二維頭影自動(dòng)定點(diǎn)各類(lèi)方法內(nèi)容摘要見(jiàn)表1。
3 CBCT 自動(dòng)定點(diǎn)
3.1 基于知識(shí)的方法
基于知識(shí)的方法指根據(jù)預(yù)先確定的定義,在圖像的解剖輪廓上定位標(biāo)志點(diǎn),由于解剖標(biāo)志的生物幾何形狀多變且復(fù)雜,不同于已知的幾何形狀或表面,檢測(cè)時(shí)易出現(xiàn)誤差。Gupta等[45]提出了一種基于知識(shí)的CBCT圖像標(biāo)志點(diǎn)自動(dòng)檢測(cè)算法,將相鄰的標(biāo)志點(diǎn)分組,并通過(guò)感興趣體積(volumeof interest,VOI) 提取檢測(cè),20個(gè)標(biāo)志點(diǎn)的總平均誤差為(2.01±1.23) mm, 2 mm SDR為64.67%,用時(shí)126.25 s。Neelapu等[46]提出了一種基于人體解剖學(xué)邊界定義的CBCT圖像標(biāo)志點(diǎn)自動(dòng)檢測(cè)算法,將正中矢狀面分為4個(gè)象限,在解剖輪廓上自動(dòng)檢測(cè)20個(gè)標(biāo)志點(diǎn),總體平均誤差為(1.88±1.10) mm,2 mm SDR為64.16%。
3.2 基于模型的方法
基于模型的方法依靠特征提取的參考模型系統(tǒng),與全體積分析相比計(jì)算更快,但易受圖像質(zhì)量的影響,尤其是戴矯治器患者的圖像中存在的金屬偽影會(huì)顯著降低圖像質(zhì)量,進(jìn)而降低檢測(cè)的精確度。一些標(biāo)志點(diǎn)如外耳道上點(diǎn)、蝶鞍點(diǎn),由于其解剖形狀不規(guī)則和位置變異,也難以精確定位。Shahidi等[47]結(jié)合了基于特征(主軸配準(zhǔn)) 和基于體素相似度的圖像配準(zhǔn)方法,采用8個(gè)患者的CBCT圖像建立參考圖像集,通過(guò)縮放、旋轉(zhuǎn)和平移測(cè)試圖像完成配準(zhǔn),最后轉(zhuǎn)移標(biāo)志點(diǎn)完成定點(diǎn),14個(gè)標(biāo)志點(diǎn)的平均誤差為3.40 mm,3 mm SDR為63.57%。Montúfar等[48]結(jié)合基于模型和學(xué)習(xí)的方法,使用CBCT的數(shù)字重建X線片進(jìn)行建模,用冠狀位和矢狀位投影訓(xùn)練2個(gè)主動(dòng)形狀模型,18個(gè)標(biāo)志點(diǎn)的平均誤差為(3.64±1.43) mm。Montúfar等[49]進(jìn)一步應(yīng)用基于知識(shí)的方法改進(jìn)和調(diào)整標(biāo)志點(diǎn)定位,最終18個(gè)標(biāo)志點(diǎn)平均誤差為(2.51±1.61) mm,用時(shí)49 s。結(jié)合模型和知識(shí)的方法明顯優(yōu)于單一方法,但精確度仍不高,由于顱頜面結(jié)構(gòu)的變化,每個(gè)數(shù)據(jù)集的幾何形狀和結(jié)構(gòu)都是獨(dú)一無(wú)二的,使得基于模型的方法難以在臨床得到推廣。
3.3 基于ML的方法
基于ML的方法,通常從局部圖像塊中提取特征來(lái)訓(xùn)練分類(lèi)器。為了解決由患者之間的形態(tài)學(xué)變化及CBCT圖像偽影所帶來(lái)的問(wèn)題,Zhang等[50]提出了基于分割引導(dǎo)的部分聯(lián)合回歸森林模型和多尺度統(tǒng)計(jì)特征的自動(dòng)定點(diǎn)方法。首先通過(guò)回歸投票策略,聚合上下文位置的證據(jù),解決標(biāo)志點(diǎn)附近的圖像偽影問(wèn)題;然后分割CBCT圖像中的上下頜骨,去除患者間形態(tài)變化引起的無(wú)信息體素;最后利用部分聯(lián)合模型來(lái)精準(zhǔn)定位;結(jié)果發(fā)現(xiàn)15個(gè)標(biāo)志點(diǎn)的誤差均在2 mm以內(nèi)。CBCT作為一種高維數(shù)據(jù),處理起來(lái)相對(duì)困難,為此Lee等[51]提出了一種基于陰影二維圖像的方法,對(duì)使用不同照明角度和各種視角的二維標(biāo)記圖像數(shù)據(jù)進(jìn)行訓(xùn)練,形成立體顱面形態(tài)結(jié)構(gòu),顯著減少了輸入數(shù)據(jù)的大小。該測(cè)試技術(shù)對(duì)7個(gè)主要標(biāo)志點(diǎn)三維方向平均誤差為1.80 mm,1 mm SDR為85.7%?;贛L的方法精確度大大提高,但處理的標(biāo)志點(diǎn)較少,偏倚風(fēng)險(xiǎn)較高,增加標(biāo)志點(diǎn)后準(zhǔn)確率或有一定程度下降,限制了其臨床應(yīng)用。
3.4 基于DL的方法
3.4.1 區(qū)域提議分類(lèi) 這種模式首先通過(guò)區(qū)域提議網(wǎng)絡(luò)生成多個(gè)區(qū)域,然后在多任務(wù)學(xué)習(xí)框架中聯(lián)合輸出目標(biāo)的位置、類(lèi)別和分割,如Mask R-CNN[52]。
Lang等[53]利用Mask R-CNN,結(jié)合損失函數(shù),提出一種分三步從粗到精的方法。在第一階段,使用下采樣的3D圖像訓(xùn)練一個(gè)簡(jiǎn)單的網(wǎng)絡(luò),輸出每個(gè)標(biāo)志點(diǎn)的粗位置;在第二和第三階段,分別使用從中分辨率和高分辨率3D圖像中采樣的補(bǔ)丁來(lái)訓(xùn)練網(wǎng)絡(luò),在第一階段估計(jì)的標(biāo)志點(diǎn)位置周?chē)鷣?lái)細(xì)化位置。對(duì)49個(gè)CBCT的105個(gè)標(biāo)志點(diǎn)平均檢測(cè)誤差為(1.75±0.91) mm,測(cè)試時(shí)間為20 min。Ahn等[54]將面部輪廓分析算法與DL模型相結(jié)合,通過(guò)提取面部輪廓并應(yīng)用Mask R-CNN來(lái)分區(qū)和檢測(cè)ROI,對(duì)13個(gè)參數(shù)的檢測(cè)與專家相比無(wú)明顯差異,所用時(shí)間從30 min縮短到約30 s。Lang等[55]對(duì)之前的研究[53]進(jìn)行優(yōu)化,簡(jiǎn)化訓(xùn)練過(guò)程,穩(wěn)定檢測(cè)結(jié)果。首先使用下采樣圖像訓(xùn)練初始淺層網(wǎng)絡(luò),利用全局解剖信息粗略預(yù)測(cè)位置;然后在粗略的標(biāo)志周?chē)眉?組中高分辨率的圖像塊,用于訓(xùn)練另外2個(gè)檢測(cè)網(wǎng)絡(luò),并利用局部外觀進(jìn)一步細(xì)化;此外還學(xué)習(xí)局部標(biāo)志依賴性作為輔助指導(dǎo)精確定位;最終105個(gè)標(biāo)志點(diǎn)的平均誤差為(1.38±0.95) mm,用時(shí)不到4 min。
3.4.2 熱圖回歸 Payer等[32]將標(biāo)志點(diǎn)定位表述為熱圖回歸問(wèn)題,通過(guò)將局部外觀和空間配置信息組合到單個(gè)端到端訓(xùn)練網(wǎng)絡(luò)中進(jìn)行定位。Zhang等[56]采用2個(gè)基于U-Net架構(gòu)的全卷積網(wǎng)絡(luò)(fully convolutionalnetwork,F(xiàn)CN) 來(lái)檢測(cè)多個(gè)解剖標(biāo)志,其中第1個(gè)FCN預(yù)測(cè)從每個(gè)體素到目標(biāo)標(biāo)志的3D位移,第2個(gè)FCN將3D位移與輸入圖像塊相結(jié)合以回歸標(biāo)志熱圖,結(jié)果發(fā)現(xiàn)15個(gè)標(biāo)志點(diǎn)平均精度為(1.10±0.71) mm,但由于內(nèi)存消耗巨大,無(wú)法處理更大規(guī)模的標(biāo)志點(diǎn)定位,而且僅使用圖像塊可能會(huì)導(dǎo)致誤檢,從而忽略整個(gè)圖像的全局解剖信息。Chen等[57]提出一種基于3D Faster R-CNN的顱頜面標(biāo)志自動(dòng)檢測(cè)方法,第一階段使用3D Faster R-CNN粗略估計(jì)標(biāo)志點(diǎn)位置,第二階段采用輕量級(jí)多尺度UNet(MS U-Net) 通過(guò)熱圖回歸細(xì)化標(biāo)志點(diǎn)位置,測(cè)量18個(gè)標(biāo)志點(diǎn)的平均誤差為(0.89±0.64) mm,用時(shí)26.2 s。這些研究的標(biāo)志點(diǎn)較少,存在較高的偏倚風(fēng)險(xiǎn),魯棒性和泛化能力值得關(guān)注。為此,Dot等[58]設(shè)計(jì)了一種基于空間結(jié)構(gòu)網(wǎng)絡(luò)(spatial configurationnet,SCN) 的由粗到精的方法,在198個(gè)CBCT數(shù)據(jù)集的33個(gè)標(biāo)志點(diǎn)中,平均定位誤差為(1.0±1.3) mm,2 mm SDR為90.4%,耗時(shí)約1 min。
3.4.3 其他 Huang等[59]提出一種通過(guò)將CBCT合成二維頭顱側(cè)位片的方法。首先對(duì)CBCT圖像進(jìn)行基于sigmoid的轉(zhuǎn)換合成側(cè)位片,然后設(shè)計(jì)像素-像素生成對(duì)抗網(wǎng)絡(luò),從2個(gè)CBCT投影合成側(cè)位片,通過(guò)超分辨率DL技術(shù)將兩者合成,進(jìn)一步提高圖像質(zhì)量再進(jìn)行定點(diǎn)。在ISBI2015數(shù)據(jù)集中,Test 1的2 mm SDR為86.7%。Blum等[60]提出一種三階段算法,每個(gè)階段都建立在3D U-Net算法的相同架構(gòu)上,通過(guò)多次縮放,首先確定標(biāo)志點(diǎn)的粗略位置,然后在其后的2個(gè)階段中細(xì)化,對(duì)35個(gè)標(biāo)志點(diǎn)的定位與專家相比無(wú)明顯差異,但僅耗時(shí)15 s,遠(yuǎn)少于專家用時(shí)。針對(duì)倫理醫(yī)療數(shù)據(jù)使用的限制,Yun等[61]提出一種去除配對(duì)CT圖像的利用匿名標(biāo)志點(diǎn)數(shù)據(jù)集半監(jiān)督方法,利用變分自動(dòng)編碼器,僅使用15組配對(duì)訓(xùn)練數(shù)據(jù),對(duì)90個(gè)標(biāo)志點(diǎn)進(jìn)行檢測(cè),平均誤差為2.88 mm。Chen等[62]提出一種新的結(jié)構(gòu)感知長(zhǎng)短期記憶框架。首先通過(guò)熱圖回歸在下采樣的CBCT上粗略定位標(biāo)志點(diǎn),然后基于標(biāo)志點(diǎn)周?chē)眉舻亩喾直媛蕡D像塊通過(guò)關(guān)注偏移回歸逐步細(xì)化標(biāo)志點(diǎn)位置。使用該方法在內(nèi)部數(shù)據(jù)集及公共數(shù)據(jù)集上分別測(cè)試,17個(gè)標(biāo)志點(diǎn)的MRE分別為(1.64±1.13) mm和(2.37±1.60) mm,2 mmSDR分別為74.28%和56.36%, 測(cè)試時(shí)間分別為0.46 s和0.27 s。Torres等[63]提出一個(gè)在三維人臉模型中自動(dòng)定位頭影測(cè)量標(biāo)志點(diǎn)的框架。先創(chuàng)建代表3D模型的二維圖像,然后通過(guò)回歸CNN檢測(cè)標(biāo)志點(diǎn)。在3個(gè)不同的3D人臉模型數(shù)據(jù)集上進(jìn)行評(píng)估,標(biāo)志點(diǎn)的平均距離誤差分別為2.3、3.0和3.2 mm。
三維頭影測(cè)量自動(dòng)定點(diǎn)方法內(nèi)容摘要見(jiàn)表2。
總體來(lái)說(shuō),DL算法優(yōu)于ML算法,但仍然存在一些問(wèn)題。如何提高多標(biāo)志點(diǎn)的精確度,如何減少運(yùn)算時(shí)間,如何增加數(shù)據(jù)量等問(wèn)題急需解決。
4 結(jié)語(yǔ)
經(jīng)過(guò)幾十年的發(fā)展,AI在頭顱側(cè)位片自動(dòng)定點(diǎn)上的算法已逐漸趨于成熟,特別是基于DL的方法,其2 mm內(nèi)精確度已接近90%,然而該領(lǐng)域仍面臨一些挑戰(zhàn)。1) 由于醫(yī)學(xué)行業(yè)的特殊性,加上患者隱私和醫(yī)療機(jī)構(gòu)資源競(jìng)爭(zhēng)等因素,可共享的數(shù)據(jù)較少。目前研究中常用的ISBI2015公開(kāi)數(shù)據(jù)集[14]僅包括400張頭顱側(cè)位X線片,限制了模型的穩(wěn)定性和泛化能力。盡管研究人員可以通過(guò)數(shù)據(jù)增強(qiáng)手段擴(kuò)大數(shù)據(jù)集,但易造成過(guò)擬合。2) 缺少多中心數(shù)據(jù)。單中心數(shù)據(jù)的偏差不利于臨床的廣泛推廣。3) 許多AI算法因其“黑箱”特性缺乏明確的可解釋參數(shù),難以保證性能的一致性,這使得它們?cè)谂R床應(yīng)用過(guò)程中的透明度和安全性受到質(zhì)疑[64]。此外,基于CBCT的自動(dòng)定點(diǎn)算法仍不成熟,標(biāo)志點(diǎn)檢測(cè)的數(shù)量、精度和速度仍有較大提升空間,主要原因是樣本數(shù)量有限,且缺乏相應(yīng)CBCT三維頭影測(cè)量指標(biāo)標(biāo)準(zhǔn)[65]及誤差評(píng)判標(biāo)準(zhǔn)。盡管基于熱圖回歸的DL算法精確度不錯(cuò),但在處理大量的三維數(shù)據(jù)時(shí)耗時(shí)較長(zhǎng),特別是當(dāng)標(biāo)志點(diǎn)數(shù)量增多時(shí),測(cè)量結(jié)果的精確度可能下降,測(cè)量時(shí)間也會(huì)相應(yīng)增加。
為提高精度和縮短測(cè)量時(shí)間,未來(lái)研究方向可以考慮以下幾點(diǎn)。1) 構(gòu)建更符合臨床要求的標(biāo)志點(diǎn)數(shù)據(jù)集,擴(kuò)大真實(shí)數(shù)據(jù)集,解決樣本量不足的問(wèn)題。2) 收集多中心數(shù)據(jù),減少不同中心硬件差異造成的誤差,提高模型泛化能力。3) 提升硬件水平,提高成像質(zhì)量,增強(qiáng)數(shù)據(jù)處理能力。4) 開(kāi)發(fā)新的自動(dòng)定點(diǎn)算法,尤其是針對(duì)三維影像,采用新一代的DL方法,如Vision Transformer技術(shù)等[66]。5) 采用可視化解釋、文本解釋以及基于實(shí)例的解釋等方式增強(qiáng)算法模型的可解釋性[67]??梢灶A(yù)見(jiàn),隨著大數(shù)據(jù)的積累、算法的改進(jìn)和計(jì)算能力的提高,頭影測(cè)量自動(dòng)定點(diǎn)的技術(shù)將取得更大的進(jìn)步。
利益沖突聲明:作者聲明本文無(wú)利益沖突。
5 參考文獻(xiàn)
[1] Broadbent B. A new X-ray technique and its application
to orthodontia[J]. Angle Orthod, 2009, 1: 45-66.
[2] Yao J, Zeng W, He T, et al. Automatic localization
of cephalometric landmarks based on convolutional
neural network[J]. Am J Orthod Dentofacial Orthop,
2022, 161(3): e250-e259.
[3] Mahto RK, Kafle D, Giri A, et al. Evaluation of fully
automated cephalometric measurements obtained
from web-based artificial intelligence driven platform[
J]. BMC Oral Health, 2022, 22(1): 132.
[4] Duran GS, G?kmen ?, Topsakal KG, et al. Evaluation
of the accuracy of fully automatic cephalometric
analysis software with artificial intelligence algorithm[
J]. Orthod Craniofac Res, 2023, 26(3): 481-
490.
[5] Panesar S, Zhao A, Hollensbe E, et al. Precision and
accuracy assessment of cephalometric analyses performed
by deep learning artificial intelligence with
and without human augmentation[J]. Appl Sci,
2023, 13(12): 6921.
[6] Indermun S, Shaik S, Nyirenda C, et al. Human examination
and artificial intelligence in cephalometric
landmark detection-is AI ready to take over[J]. Dentomaxillofac
Radiol, 2023, 52(6): 20220362.
[7] Rajaraman V. JohnMcCarthy-father of artificial intelligence[
J]. Resonance, 2014, 19(3): 198-207.
[8] Kie?czykowski M, Kamiński K, Perkowski K, et al.
Application of artificial intelligence (AI) in a cephalometric
analysis: a narrative review[J]. Diagnostics,
2023, 13(16): 2640.
[9] Wang HC, Fu TF, Du YQ, et al. Scientific discovery
in the age of artificial intelligence[J]. Nature, 2023,
620(7972): 47-60.
[10] Hosny A, Parmar C, Quackenbush J, et al. Artificial
intelligence in radiology[J]. Nat Rev Cancer, 2018,
18(8): 500-510.
[11] Yasaka K, Akai H, Kunimatsu A, et al. Deep learning
with convolutional neural network in radiology
[J]. Jpn J Radiol, 2018, 36(4): 257-272.
[12] Schwendicke F, Chaurasia A, Arsiwala L, et al.
Deep learning for cephalometric landmark detection:
systematic review and meta-analysis[J]. Clin
Oral Investig, 2021, 25(7): 4299-4309.
[13] Schwendicke F, Golla T, Dreher M, et al. Convolutional
neural networks for dental image diagnostics:
a scoping review[J]. J Dent, 2019, 91: 103226.
[14] Wang CW, Huang CT, Lee JH, et al. A benchmark
for comparison of dental radiography analysis algorithms[
J]. Med Image Anal, 2016, 31: 63-76.
[15] Lévy-Mandel AD, Venetsanopoulos AN, Tsotsos
JK. Knowledge-based landmarking of cephalograms
[J]. Comput Biomed Res, 1986, 19(3): 282-309.
[16] Parthasarathy S, Nugent ST, Gregson PG, et al. Automatic
landmarking of cephalograms[J]. Comput
Biomed Res, 1989, 22(3): 248-269.
[17] Desvignes M, Romaniuk B, Clouard R, et al. First
steps toward automatic location of landmarks on Xray
images[C/OL]//Proceedings 15th International
Conference on Pattern Recognition. ICPR-2000.
Barcelona, Spain: IEEE, 2000: 275-278. https://
ieeexplore.ieee.org/document/906066.
[18] Hutton TJ, Cunningham S, Hammond P. An evaluation
of active shape models for the automatic identification
of cephalometric landmarks[J]. Eur J Orthod,
2000, 22(5): 499-508.
[19] Vucini? P, Trpovski Z, S?epan I. Automatic landmarking
of cephalograms using active appearance
models[J]. Eur J Orthod, 2010, 32(3): 233-241.
[20] Kaur A, Singh C. Automatic cephalometric landmark
detection using Zernike moments and template
matching[J]. Signal Image Video Process,
2015, 9(1): 117-132.
[21] Cardillo J, Sid-Ahmed MA. An image processing
system for locating craniofacial landmarks[J]. IEEE
Trans Med Imaging, 1994, 13(2): 275-289.
[22] Grau V, Alca?iz M, Juan MC, et al. Automatic localization
of cephalometric landmarks[J]. J Biomed Inform,
2001, 34(3): 146-156.
[23] Lindner C, Wang CW, Huang CT, et al. Fully automatic
system for accurate localisation and analysis
of cephalometric landmarks in lateral cephalograms
[J]. Sci Rep, 2016, 6: 33581.
[24] Urschler M, Ebner T, ?tern D. Integrating geometric
configuration and appearance information into a unified
framework for anatomical landmark localization
[J]. Med Image Anal, 2018, 43: 23-36.
[25] Ar?k S?, Ibragimov B, Xing L. Fully automated
quantitative cephalometry using convolutional neural
networks[J]. J Med Imaging, 2017, 4(1): 014501.
[26] Qian JH, Cheng M, Tao YB, et al. CephaNet: an improved
faster R-CNN for cephalometric landmark
detection[C/OL]//2019 IEEE 16th International
Symposium on Biomedical Imaging (ISBI 2019).
Venice, Italy: IEEE, 2019: 868-871. https://doi. org/
10.1109/ISBI.2019.8759437.
[27] Dai XB, Zhao H, Liu TL, et al. Locating anatomical
landmarks on 2D lateral cephalograms through adversarial
encoder-decoder networks[J]. IEEE Access,
2019, 7: 132738-132747.
[28] Lee H, Park M, Kim J. Cephalometric landmark detection
in dental X-ray images using convolutional
neural networks[C/OL]//Medical imaging 2017:
computer-aided diagnosis. Orlando, United States:
SPIE, 2017: 494-499. https://www.spiedigitallibrary.
org/conference-proceedings-of-spie/10134/01341W/
Cephalometric-landmark-detection-in-dental-x-rayimages-
using-convolutional/10. 1117/12. 2255870.
full.
[29] Gilmour L, Ray N. Locating cephalometric X-ray
landmarks with foveated pyramid attention[EB/OL].
arXiv: 2008.04428. http://arxiv.org/abs/2008.04428.
[30] Li WJ, Lu YH, Zheng K, et al. Structured landmark
detection via topology-adapting deep graph learning
[C]//European Conference on Computer Vision.
Cham: Springer, 2020: 266-283.
[31] Zeng MM, Yan ZL, Liu S, et al. Cascaded convolutional
networks for automatic cephalometric landmark
detection[J]. Med Image Anal, 2021, 68:
101904.
[32] Payer C, ?tern D, Bischof H, et al. Integrating spatial
configuration into heatmap regression based
CNNs for landmark localization[J]. Med Image
Anal, 2019, 54: 207-219.
[33] Zhong Z, Li J, Zhang Z, et al. An attention-guided
deep regression model for landmark detection in
cephalograms[C/OL]//Shen D, Liu T, Peters TM, et
al. Medical image computing and computer assisted
intervention-MICCAI 2019. Cham: Springer International
Publishing, 2019: 540-548. https://doi. org/
10.1007/978-3-030-32226-7_60.
[34] Ronneberger O, Fischer P, Brox T. U-Net: Convolutional
networks for biomedical image segmentation
[C/OL]//Navab N, Hornegger J, Wells WM, et al.
Medical image computing and computer-assisted intervention-
MICCAI 2015. Cham: Springer International
Publishing, 2015: 234-241. https://doi. org/
10.1007/978-3-319-24574-4_28.
[35] Kim J, Kim I, Kim YJ, et al. Accuracy of automated
identification of lateral cephalometric landmarks
using cascade convolutional neural networks on lateral
cephalograms from nationwide multi-centres
[J]. Orthod Craniofac Res, 2021, 24(Suppl 2): 59-67.
[36] Kwon HJ, Koo HI, Park J, et al. Multistage probabilistic
approach for the localization of cephalometric
landmarks[J]. IEEE Access, 2021, 9: 21306-21314.
[37] Chen R, Ma Y, Chen N, et al. Cephalometric landmark
detection by attentive feature pyramid fusion
and regression-voting[C/OL]//Shen D, Liu T, Peters
TM, et al. Medical image computing and computer
assisted intervention-MICCAI 2019. Cham: Springer
International Publishing, 2019: 873-881. https://
doi.org/10.1007/978-3-030-32248-9_97.
[38] Oh K, Oh IS, Le VNT, et al. Deep anatomical context
feature learning for cephalometric landmark detection[
J]. IEEE J Biomed Health Inform, 2021, 25
(3): 806-817.
[39] Qian JH, Luo WZ, Cheng M, et al. CephaNN: a
multi-head attention network for cephalometric landmark
detection[J]. IEEE Access, 2020, 8: 112633-
112641.
[40] Zhu H, YAO Q, XIAO L, et al. You only learn once:
universal anatomical landmark detection[C/OL]//de
Bruijne M, Cattin PC, Cotin S, et al. Medical image
computing and computer assisted intervention-MICCAI
2021. Cham: Springer International Publishing,
2021: 85-95.
[41] Wang XL, Rigall E, Chen QM, et al. Efficient and
stable cephalometric landmark localization using
two-stage heatmaps’ regression[J]. IEEE Trans Instrum
Meas, 2022, 71: 2518816.
[42] Sun K, Xiao B, Liu D, et al. Deep high-resolution
representation learning for human pose estimation
[C/OL]//2019 IEEE/CVF conference on computer
vision and pattern recognition (CVPR). Long Beach,
USA: IEEE, 2019: 5686-5696.
[43] Jiang FL, Guo YT, Yang C, et al. Artificial intelligence
system for automated landmark localization
and analysis of cephalometry[J]. Dentomaxillofac
Radiol, 2023, 52(1): 20220081.
[44] Lu G, Zhang YX, Kong YY, et al. Landmark localization
for cephalometric analysis using multiscale
image patch-based graph convolutional networks[J].
IEEE J Biomed Health Inform, 2022, 26(7): 3015-
3024.
[45] Gupta A, Kharbanda OP, Sardana V, et al. A knowledge-
based algorithm for automatic detection of
cephalometric landmarks on CBCT images[J]. Int J
Comput Assist Radiol Surg, 2015, 10(11): 1737-
1752.
[46] Neelapu BC, Kharbanda OP, Sardana V, et al. Automatic
localization of three-dimensional cephalometric
landmarks on CBCT images by extracting symmetry
features of the skull[J]. Dentomaxillofac Radiol,
2018, 47(2): 20170054.
[47] Shahidi S, Bahrampour E, Soltanimehr E, et al. The
accuracy of a designed software for automated localization
of craniofacial landmarks on CBCT images
[J]. BMC Med Imaging, 2014, 14: 32.
[48] Montúfar J, Romero M, Scougall-Vilchis RJ. Automatic
3-dimensional cephalometric landmarking
based on active shape models in related projections
[J]. Am J Orthod Dentofacial Orthop, 2018, 153(3):
449-458.
[49] Montúfar J, Romero M, Scougall-Vilchis RJ. Hybrid
approach for automatic cephalometric landmark
annotation on cone-beam computed tomography
volumes[J]. Am J Orthod Dentofacial Orthop,
2018, 154(1): 140-150.
[50] Zhang J, Liu MX, Shen DG. Detecting anatomical
landmarks from limited medical imaging data using
two-stage task-oriented deep neural networks[J].
IEEE Trans Image Process, 2017, 26(10): 4753-4764.
[51] Lee SM, Kim HP, Jeon K, et al. Automatic 3D cephalometric
annotation system using shadowed 2D
image-based machine learning[J]. Phys Med Biol,
2019, 64(5): 055002.
[52] He K, Gkioxari G, Dollár P, et al. Mask R-CNN[C/
OL]//2017 IEEE international conference on computer
vision (ICCV). Venice, Italy: IEEE, 2017:
2980-2988. https://ieeexplore.ieee.org/abstract/document/
8237584.
[53] Lang Y, Wang L, Yap PT, et al. Automatic detection
of craniomaxillofacial anatomical landmarks on
CBCT images using 3D mask R-CNN[C/OL]//
Zhang D, Zhou L, Jie B, et al. International workshop
on graph learning in medical imaging. Cham:
Springer International Publishing, 2019: 130-137.
https://doi.org/10.1007/978-3-030-35817-4_16.
[54] Ahn J, Nguyen TP, Kim YJ, et al. Automated analysis
of three-dimensional CBCT images taken in natural
head position that combines facial profile processing
and multiple deep-learning models[J]. Comput
Methods Programs Biomed, 2022, 226: 107123.
[55] Lang YK, Lian CF, Xiao DQ, et al. Localization of
craniomaxillofacial landmarks on CBCT images using
3D mask R-CNN and local dependency learning
[J]. IEEE Trans Med Imaging, 2022, 41(10): 2856-
2866.
[56] Zhang J, Liu M, Wang L, et al. Joint craniomaxillofacial
bone segmentation and landmark digitization
by context-guided fully convolutional networks[J].
Med Image Comput Comput Assist Interv, 2017,
10434: 720-728.
[57] Chen XY, Lian CF, Deng HH, et al. Fast and accurate
craniomaxillofacial landmark detection via 3D
faster R-CNN[J]. IEEE Trans Med Imaging, 2021,
40(12): 3867-3878.
[58] Dot G, Schouman T, Chang S, et al. Automatic 3-dimensional
cephalometric landmarking via deep
learning[J]. J Dent Res, 2022, 101(11): 1380-1387.
[59] Huang YX, Fan FX, Syben C, et al. Cephalogram
synthesis and landmark detection in dental conebeam
CT systems[J]. Med Image Anal, 2021, 70:
102028.
[60] Blum FMS, M?hlhenrich SC, Raith S, et al. Evaluation
of an artificial intelligence-based algorithm for
automated localization of craniofacial landmarks[J].
Clin Oral Investig, 2023, 27(5): 2255-2265.
[61] Yun HS, Hyun CM, Baek SH, et al. A semi-supervised
learning approach for automated 3D cephalometric
landmark identification using computed tomography[
J]. PLoS One, 2022, 17(9): e0275114.
[62] Chen RN, Ma YX, Chen NL, et al. Structure-aware
long short-term memory network for 3D cephalometric
landmark detection[J]. IEEE Trans Med Imaging,
2022, 41(7): 1791-1801.
[63] Torres HR, Morais P, Fritze A, et al. 3D facial landmark
localization for cephalometric analysis[C/OL]//
2022 44th annual international conference of the IEEE
engineering in medicine amp; biology society (EMBC).
Glasgow, United Kingdom: IEEE, 2022: 1016-
1019. https://doi. org/10.1109/EMBC48229.2022.98-
71184.
[64] van der Velden BHM, Kuijf HJ, Gilhuijs KGA, et
al. Explainable artificial intelligence (XAI) in deep
learning-based medical image analysis[J]. Med Image
Anal, 2022, 79: 102470.
[65] 李媛, 秦金煒, 侯偉, 等. CBCT 三維頭影測(cè)量常用
指標(biāo)的初步探索[J]. 口腔醫(yī)學(xué), 2021, 41(8): 720-
723.
Li Y, Qin JW, Hou W, et al. A preliminary study on
the common indexes of the CBCT 3D cephalometric
analysis[J]. Stomatology, 2021, 41(8): 720-723.
[66] Dosovitskiy A, Beyer L, Kolesnikov A, et al. An image
is worth 16x16 words: transformers for image
recognition at scale[EB/OL]//e-printsarXiv. arXiv:
2010.11929. https://ui. adsabs. harvard. edu/abs/2020
arXiv201011929D.
[67] Tjoa E, Guan CT. A survey on explainable artificial
intelligence (XAI): toward medical XAI[J]. IEEE
Trans Neural Netw Learn Syst, 2021, 32(11): 4793-
4813.
( 本文編輯 吳愛(ài)華 )