周郁蔥，譚煜雯，項翔，薛超然，徐暉

1.口腔疾病研究國家重點實驗室國家口腔疾病臨床醫(yī)學研究中心四川大學華西口腔醫(yī)院正畸科，四川 成都（610041）；2.華中科技大學，人工智能與自動化學院，圖像信息處理與智能控制教育部重點實驗室，湖北 武漢（430074）

數字化牙模是指利用口內掃描儀、模型掃描儀等獲取的患者牙列數字化三維重建模型。與傳統石膏模型比較，數字化牙模具有臨床獲取容易、存儲傳輸便捷、瀏覽評測直觀等優(yōu)勢，且能夠直接用于口腔醫(yī)學多學科數字化診斷設計及制造加工［1-2］。三維牙齒分割任務，是指利用計算機算法在數字化牙模中將不同牙冠分離成獨立的3D 牙齒模型，該步驟是正畸數字化擁擠度診斷、排牙方案設計、牙齒移動監(jiān)測、無托槽隱形矯治器及個性化唇/舌固定矯治器制造的前置步驟，具有重要的臨床意義［3-5］。近年來，隨著人工智能技術與口腔醫(yī)學大數據的深度融合，利用深度學習算法輔助三維牙齒分割任務，逐漸成為主流［6-18］。與傳統機器學習算法［19-22］比較，深度學習算法在輔助三維牙齒分割方面具有更強的魯棒性，能夠處理特征更加復雜的數字化牙模。而在效率方面，根據在商用芯片上的研究結果，深度學習算法分割牙齒比人工要快至少1 個數量級以上［17］。此外，基于深度學習算法的三維牙齒分割還在流程自動化、臨床應用廣泛性等方面具有優(yōu)勢［10-11］。

因此，為了解深度學習算法輔助三維牙齒分割任務的研究現狀，本文匯總了相關英文對照研究［6-18］。納入標準為以三維光學口腔模型為對象，使用深度學習算法完成單顆牙齒分割任務，并且包含必要的準確度評價指標。本文圍繞臨床需求，從數據集建立、深度學習網絡設計、算法性能、算法創(chuàng)新與優(yōu)勢、現有研究不足與展望5 個方面對該領域進行回顧，以期為深度學習算法輔助三維牙齒分割任務的進一步創(chuàng)新研究、臨床應用及技術推廣提供借鑒。

1 數據集建立

優(yōu)質數據是深度學習算法的重要驅動力。目前用于深度學習的數字化牙模按來源可分為?？漆t(yī)院、民營口腔診所以及正畸醫(yī)療服務企業(yè)。首先需要獲得原始數據，由專業(yè)人員使用口內掃描儀進行光學掃描得到。具體數據格式包括三角形網格與點云兩種。三角形網格是由具有不同屬性的頂點、面及邊組成，而點云是由點構成的數據集，點由其三維坐標表示，還可以包括顏色等其他屬性。盡管兩種數據特性有所不同，但相互之間可以進行轉換，以點云作為輸入格式的數據常會在運算完成后被轉換成網格輸出，從而完成可視化［23］。

數據集建立還需要對于原始數據進行預處理，包括數據簡化、數據標記、特征提取、歸一化、去噪、映射等任務。數據簡化的目的是在減小數據量的同時保存特征信息，在運算量和準確度之間取得平衡。簡化后的單頜模型包括6 000～40 000 個網格［7，9，12，16］。也有研究不進行數據簡化［13］。給數據賦予標簽這一任務主要是由專業(yè)口腔醫(yī)生完成的，在掃描之后，根據需要導出多邊形檔案（polygon file format，PLY）或立體光刻（stereolithography，STL）格式的數據，使用相關軟件在合適的分辨率下進行單個牙齒邊界的標記。完成預處理后的數據才可以輸入相應的深度學習算法模型。

通常而言，深度學習算法的性能會隨數據量的增多而提升，但是，在輔助三維牙齒分割任務中，深度學習所需數據集卻與網絡設計密切相關。例如，Xu 等［7］認為1 000 組的訓練數據對于牙齒分割是足夠的，這可能因為其輸入數據中每個三角形網格轉換出的特征向量為600 個，遠多于其他研究的30 個以內的向量。Zhang 等［10］巧妙地將3D 數據投影到2D 平面上進行分割，僅納入100 組訓練數據即達到一個較好的水平。

2 深度學習網絡設計

網格或點云數據被輸入后，深度學習網絡需要對每一個單位數據輸出類別標簽，從而完成分割任務。

用于三維牙齒分割的深度學習網絡設計包括處理網格數據的卷積神經網絡（convolution neural network，CNN）與可以直接處理點云數據的網絡設計。CNN 的起源是Neocognitron 模型［24］，它將神經生理學理論應用于人工神經網絡，可以自動逐級提取數據越來越抽象的特征?；贑NN 的網絡設計可分為兩種，一種是將3D 數據投影到2D 空間，像圖片一樣用卷積神經網絡處理，另一種是將3D數據轉換為規(guī)則3D 體素網格再用卷積網絡。CNN 在處理圖像方面表現優(yōu)異，因此它也被廣泛應用于三維模型處理，其優(yōu)勢在于能夠在不影響結果的前提下有效減小數據量，并保留圖像特征。在CNN 的基礎上還發(fā)展出了處理拓撲圖數據的圖卷積神經網絡（graph convolution network，GCN）［25］。然而CNN 架構不能用于直接處理具有不規(guī)則性和無序性的點云數據。PointNet 是第一個可以直接處理點云格式數據的深度學習架構，但是它不能很好地提取局部精細的特征［26］。為了解決這個問題，PointNet++添加了分層次的結構，進而提取不同尺度下的特征，該架構先對點云進行采樣和劃分區(qū)域，繼而在各個小區(qū)域內用基礎的PointNet 網絡進行特征提取，不斷迭代［27］。PointCNN 架構需要較少的訓練參數就能達成同樣的效果［28］。Dynamic Graph CNN 則提出了一個EdgeConv 層來實現局部特征獲取，性能優(yōu)異［29］。研究者們可以根據這些深度學習架構的優(yōu)勢與不足，結合牙齒分割或其他任務的具體需求，選擇合適的基本架構。

此外，對于牙齒分割任務而言，研究者們還會對網絡預測得到的結果進行后處理，如使用邊界感知簡化方法、條件隨機場模型、模糊聚類算法等進行邊界平滑，以及將預測結果轉換為網格格式以可視化等，從而進一步細化分割結果并提升算法分割牙齒的自動化程度。

3 算法性能

深度學習方法進行牙齒分割的準確度評估指標包括正確標記面積占總面積的百分比，正確標記面數量占總數的百分比，均交并比（mean intersection over union，mIoU），Dice 相似系數（Dice similarity coefficient，DSC），F1 分數（F1-score，F1），Hausdorff 距離（Hausdorff distance，HD）［30-31］。除HD外，這些評估指標的數值范圍都是0 到1，越靠近1 表示準確度越高。mIoU 是標準的準確率度量方法。IoU 指真實結果和預測結果二者的交集與并集之比，mIoU 是所有類別的IoU 的平均值。DSC和F1 在牙齒分割模型評價中實際上計算是一樣的，評價了真實情況和預測情況的相似程度。HD是指度量空間中真實情況與預測情況兩個子集之間的距離，對分割出的邊界比較敏感。通過對整個牙列模型以及單顆牙齒準確度指標的分析，研究者們可以評估算法的分割效果。準確度是分割模型最重要的評價指標，主要取決于不同的網絡設計。大部分算法的準確度在90%以上。例如，Cui 等［11］分別分析了組成表面和整個牙的點的DSC，其中又區(qū)分了切牙、尖牙、前磨牙和磨牙，DSC 數值均在95%以上。Zhang 等［10］的研究顯示標記正確的網格所占比例為0.988 7。Xu 等［7］、Hao等［17］以及He 等［18］的研究顯示，上頜牙齒分割的準確度比下頜稍高。

算法的運行時間也是重要評估的指標，過長的運算時間會降低算法應用價值。除受算法本身影響，運行時間還受硬件性能影響，在商用CPU 和GPU 芯片上得出的研究結果更具參考價值［31］。多數利用深度學習算法輔助三維牙齒分割任務的耗時都表現出優(yōu)異的性能，對于單頜牙列三維牙齒分割，Cui 等［11］需要0.8 s 算法運行時間，Zanjani等［13］需要14.6 s，在集成了后續(xù)處理模塊以增強準確率的Hao 等［17］的研究也只需要24 s，而人類專家則需要超過10 min。

就魯棒性而言，現有算法主要在分割第三磨牙［9，11，17］、缺損或未完全萌出的牙齒［11］、牙列缺失［9，14］、擁擠牙列［10，17］等方面準確率較低。以第三磨牙為例，該類型牙齒存在形態(tài)多變、萌出狀態(tài)不一、未萌牙牙冠可見面積小等特點，而口掃第三磨牙區(qū)采集難度大、數據質量不一，由此可能導致相關訓練量不足，影響算法性能［32］。值得注意的是，盡管對于第三磨牙的識別以及極少數復雜模型的分割存在問題是難以避免的，但如果這種情況發(fā)生的概率足夠低的話，仍是可以接受的，根據Hao等［17］的方法，需要返工進行手動牙齒分割概率是0.2%。

4 算法創(chuàng)新及優(yōu)勢

除使用不同的網絡設計外，還可以通過優(yōu)化架構流程提升算法性能，這是深度學習在三維牙齒分割任務中最常見的創(chuàng)新方式。在簡化數據方面，Xu 等［7］提出了邊界感知簡化方法，先區(qū)分出對于準確性影響較大的牙齒之間的邊界以及牙齒牙齦邊界，再對各個區(qū)域賦以不同的簡化比率。相似的，Zanjani 等［8］也提出了進行非均勻采樣的數據簡化方法。在具體架構方面，對于網格數據，Tian等［6］先對模型上的各個牙位進行識別，然后在此基礎上完成分割任務，但對于牙位識別的要求較高，魯棒性不足。Zhang 等［10］采用了將3D 模型同構映射到2D 諧波參數空間，再將其轉換為圖像的方法，這大大降低了特征維度，能夠在降低數據量的同時保證準確性。Zhang 等［14］將數據輸入兩個不同的分支，分別處理坐標特征和幾何特征，增強了網絡對不同信息的特征提取能力。對于點云數據，Zanjani 等［13］通過預測其三維邊界框來定位每個牙齒實例，并同時分割屬于每個單獨的牙齒實例的點。Cui 等［11］則開發(fā)了一個距離感知牙齒質心預測模塊，即在獲得準確的牙齒質心后，選取輸入點云數據中距離質心最近的一定數目的點，以保證整個牙齒被包含在內，分割效果較好。He等［18］先使用無標記的數據進行預訓練，只需要40%的訓練數據帶有標記，算法就能展現出比使用完全標記數據訓練更好的性能，這對于減少人工標記工作量十分有意義。

另外，研究者們還開發(fā)了一些新的輔助模塊以提升算法性能。Xu 等［7］對于結果中相鄰牙齒粘連的情況，根據牙齒的平均近遠中徑、頰舌徑數值進行再次分割。Zhao 等［16］提出使用注意力模塊來豐富特征信息，這項算法在牙齒錯位區(qū)域，以及牙齒與牙齒相鄰的區(qū)域展現出了較好的性能。Hao等［17］將標簽預測結果再輸入測試模塊，進行置信度評估和自動校正，得到了更高的準確度，并且增加的運算時間在可接受的范圍內。

在三維牙齒分割任務的基礎上，進一步開發(fā)數據的正畸應用場景也十分有意義。例如，Ma等［33］提出了基于完成牙齒分割點云數據的自動牙位識別深度學習算法，得到了令人滿意的結果。Woodsend 等［34］開發(fā)了自動標志點識別方法，通過參考正畸治療需求指數，在分割出的單個牙齒上識別牙齒的特征點。同樣，Wu 等［12］使用PointNet在分割出的牙齒上自動識別正畸相關標志點，標志點定位的平均絕對誤差為（0.597 ± 0.761）mm，這在臨床上是可以接受的。Deleat-Besson 等［35］和Qian 等［36］對于聯合錐形束CT（cone beam computerized tomography，CBCT）和口掃數據的牙齒分割任務進行了探索，他們在完成CBCT 和口掃數據的牙齒分割后，使用口掃數據替代CBCT 數據上的牙冠部分。此外，也有研究探索了使用深度學習，自動完成CBCT 和口掃數據匹配的方法［37］。

5 現有研究不足與展望

目前研究尚存在問題如下。首先，數據質量問題普遍存在。符合真實分布情況的海量優(yōu)質數據對于開發(fā)有效的深度學習模型至關重要。數據量不足會影響算法魯棒性，導致難以處理非典型牙列、牙齒異常形態(tài)等問題［9，10，13］。此外，大部分研究都是使用單一中心的數據，這樣訓練出來的算法往往在局域性數據庫中表現較好，而在其他數據庫中表現明顯下降［17，31］。同時，訓練量不足將影響牙齒分割方法的最終表現，這限制了對于算法性能的評價。上述問題可能是導致現有算法對異常牙列和非正常牙齒分割的魯棒性不足、不適用于早期矯治等應用場景的原因。

此外，高質量的標注對于保證算法性能意義重大［38］。目前，分割的參考標準主要由專業(yè)醫(yī)生完成，但是缺乏對于不同標注者分割結果一致性的檢驗，還有許多研究未報導參考標準相關信息。此外，實驗數據記錄與指標設置也有改進的空間，部分研究未給出實驗數據人群構成、不同牙位的準確率、運行算法的硬件參數等。

不可否認的是，使用深度學習完成全自動三維牙齒分割任務的算法已具有較高的臨床實用價值。但是，如何進一步提升算法性能、真正實現算法的臨床應用，還需以下方面改進。第一，建立基于多中心的數據樣本庫，完善數據管理機制，在隱私保護和維護數據效用之間取得平衡［39］，以促進數據的權威性、科學性、規(guī)范性、多樣性及動態(tài)性。第二，進一步釋放數據紅利，進一步開發(fā)數字化牙模數據以服務口腔臨床需求，并與關聯數據進行有機整合，拓寬數據應用的深度與廣度。第三，“減耗強芯”齊驅，即一方面優(yōu)化深度學習算法，減少矩陣運算、提升運行速度，另一方面推動計算機芯片等硬件設備研發(fā)，優(yōu)化硬件處理性能。相信隨著人工智能技術與口腔醫(yī)學的緊密融合，深度學習算法輔助三維牙齒分割任務將有更加廣闊的應用前景。

【Author contributions】Zhou YC, Tan YW wrote the article.Xiang X, Xue CR, Xu H reviewed the article.All authors read and approved the final manuscript.