孟凡皓 田瑜 喬波 臧小漪 趙繼志 殷衛(wèi)紅 李純明 王小英 黃愛萍 遲穎 朱艷春 石玉英 朱鵬 高美琴0 石雪 成宏 張海鐘

(1 中國人民解放軍總醫(yī)院口腔頜面外科，北京 100853； 2 中國醫(yī)學(xué)科學(xué)院北京協(xié)和醫(yī)院口腔科；3 首都醫(yī)科大學(xué)附屬北京同仁醫(yī)院口腔科； 4 成都電子科技大學(xué)； 5 華北電力大學(xué)； 6 新疆克拉瑪依中心醫(yī)院；7 阿里達(dá)摩院； 8 騰訊醫(yī)療健康有限公司； 9 蘇州市華夏口腔醫(yī)院； 10 南通市口腔醫(yī)院； 11 連云港成宏口腔醫(yī)院)

2018年第四次全國口腔健康流行病學(xué)調(diào)查報(bào)告顯示，5歲兒童乳牙患齲率高達(dá)70.9%，12歲兒童恒牙患齲率為34.5%，中老年人患齲率已經(jīng)接近90%[1]，各個(gè)年齡段的患齲率均在一個(gè)高位水平。另外牙周病在中老年人群中的患病率也超過了90%[2-3]。近幾年，口腔癌的發(fā)病率呈急劇上升趨勢(shì)。據(jù)統(tǒng)計(jì)2017年我國口腔癌的年齡標(biāo)準(zhǔn)化發(fā)生率為2.44/10萬[4-5]。另外我國口腔醫(yī)生數(shù)量嚴(yán)重不足，全國注冊(cè)的口腔醫(yī)師和口腔助理醫(yī)師大約有21.7萬人。而且我國醫(yī)療資源分布嚴(yán)重不均，大約80%的三甲醫(yī)院集中分布在大、中城市，西部偏遠(yuǎn)山區(qū)等的醫(yī)療資源極其匱乏[6]?？谇会t(yī)生的緊缺和醫(yī)療資源的分布不均更加劇了患者看病難的問題。不僅患者需要承擔(dān)口腔疾病帶來的各種痛苦以及經(jīng)濟(jì)負(fù)擔(dān)，而且國家醫(yī)療保障系統(tǒng)也承受了相當(dāng)大的經(jīng)濟(jì)壓力。

口腔疾病的預(yù)防和早期治療對(duì)于疾病的發(fā)展、轉(zhuǎn)歸和結(jié)局至關(guān)重要。如窩溝封閉可以有效預(yù)防兒童齲齒，有文獻(xiàn)報(bào)道，窩溝封閉后24個(gè)月的患齲數(shù)量為5顆，患齲率僅為2.2%[7]；齲病的及時(shí)發(fā)現(xiàn)和早期干預(yù)可以避免形成牙髓炎，而牙周炎的早期干預(yù)可以避免出現(xiàn)牙齒松動(dòng)、脫落等更為嚴(yán)重的后果。在中共中央國務(wù)院印發(fā)的《健康中國2030規(guī)劃》中對(duì)口腔健康提出了相關(guān)要求，指出“12歲兒童患齲率應(yīng)控制在25%以內(nèi)”。說明國家對(duì)于口腔健康問題也相當(dāng)重視。

面對(duì)如此嚴(yán)峻的國內(nèi)口腔健康形勢(shì)，并針對(duì)國家對(duì)民眾口腔健康提出的要求，本研究擬建立基于大規(guī)模臨床數(shù)據(jù)深度學(xué)習(xí)的口腔疾病人工智能預(yù)防與診斷平臺(tái)，利用人工智能和大數(shù)據(jù)分析等輔助診斷技術(shù)的優(yōu)勢(shì)[8-10]，以緩解醫(yī)生的工作壓力，解決患者看病難的問題，使偏遠(yuǎn)地區(qū)的居民也能享受到便利、優(yōu)質(zhì)的口腔疾病問診服務(wù)，滿足全民口腔健康的需求。基于此，本文從海量口腔多模態(tài)影像大數(shù)據(jù)收集及初步處理、口腔疾病的協(xié)同推理和智能分析、口腔疾病知識(shí)圖譜的構(gòu)建及口腔疾病演化預(yù)測(cè)等3個(gè)方面，探討基于大規(guī)模臨床數(shù)據(jù)深度學(xué)習(xí)的口腔疾病人工智能預(yù)防與診斷平臺(tái)的構(gòu)建。

1 口腔疾病人工智能預(yù)防與診斷平臺(tái)簡(jiǎn)介

該平臺(tái)匯集了理、工、醫(yī)多學(xué)科專家，圍繞科學(xué)與工程計(jì)算、大數(shù)據(jù)與人工智能等國家重大戰(zhàn)略需求中的關(guān)鍵技術(shù)問題，進(jìn)行了多學(xué)科交叉融合研究。通過人工智能對(duì)大數(shù)據(jù)進(jìn)行分析處理及自主學(xué)習(xí)，以口腔圖像的共性問題為核心，依靠圖像分割、檢測(cè)和分類等技術(shù)構(gòu)建具有非凸、非線性性質(zhì)的多模態(tài)醫(yī)學(xué)圖像數(shù)據(jù)處理模型，建立深度學(xué)習(xí)理論框架下的函數(shù)空間的學(xué)習(xí)理論和最優(yōu)算法；基于新型口腔內(nèi)窺鏡采集到的口腔圖像，構(gòu)建大規(guī)模臨床數(shù)據(jù)深度學(xué)習(xí)的全民口腔疾病智能預(yù)防、診斷平臺(tái)；同時(shí)以成熟的阿里云服務(wù)平臺(tái)為依托，實(shí)現(xiàn)對(duì)用戶口腔健康狀況的實(shí)時(shí)監(jiān)測(cè)與預(yù)防指導(dǎo)，并對(duì)口腔疾病做出預(yù)警與診斷，推薦個(gè)性化的治療方案，引導(dǎo)患者盡早干預(yù)治療。該平臺(tái)對(duì)患者全流程的口腔檢查數(shù)據(jù)進(jìn)行跟蹤，建立患者口腔健康演化圖，通過深度學(xué)習(xí)網(wǎng)絡(luò)構(gòu)建口腔疾病預(yù)測(cè)系統(tǒng)，實(shí)現(xiàn)個(gè)性化治療方案的推薦(圖1)。

2 海量口腔多模態(tài)影像大數(shù)據(jù)的獲取及初步處理

海量多模態(tài)數(shù)據(jù)的收集是構(gòu)建平臺(tái)的第一步，多模態(tài)數(shù)據(jù)主要包括以下3種：從醫(yī)院PACS系統(tǒng)導(dǎo)出的DICOM格式CT和X線影像數(shù)據(jù)；由臨床醫(yī)生或用戶使用無線智能內(nèi)窺鏡(圖2A)拍攝的照片，照片可以清晰地顯示出色素沉積(圖2B)、窩溝齲(圖2C)、牙石(圖2D)、牙齦腫物(圖2E)等；患者的病歷以及平臺(tái)的問卷調(diào)查形成的文本數(shù)據(jù)。另外，通過與多家國內(nèi)知名綜合醫(yī)院或口腔?？漆t(yī)院等醫(yī)療機(jī)構(gòu)合作，在我中心現(xiàn)有醫(yī)療數(shù)據(jù)的基礎(chǔ)上擴(kuò)充口腔齲病、牙周病和口腔癌方面的數(shù)據(jù)。構(gòu)建平臺(tái)的第二步即是對(duì)收集的數(shù)據(jù)進(jìn)行處理加工，涉及到的核心技術(shù)主要為知識(shí)加工、深度搜索和可視交互等。由于原始數(shù)據(jù)的多元性，因此需首先由醫(yī)生篩選出高質(zhì)量的圖像數(shù)據(jù)，并完成疾病標(biāo)注，再對(duì)數(shù)據(jù)進(jìn)行清洗整合，判斷其完整度，同時(shí)依據(jù)相應(yīng)的標(biāo)準(zhǔn)進(jìn)行初步鑒別及診斷信息標(biāo)注，為后續(xù)的深度分析及知識(shí)圖譜構(gòu)建建立基礎(chǔ)。海量影像數(shù)據(jù)收集與處理流程詳見圖3。

圖1 口腔疾病人工智能預(yù)防與診斷平臺(tái)示意圖

A：自主研發(fā)的第二代智能內(nèi)窺鏡，B：色素沉積，C：窩溝齲，D：牙石，E：牙齦腫物

另外，該平臺(tái)依托阿里云服務(wù)強(qiáng)大的大數(shù)據(jù)管理能力，使用對(duì)象存儲(chǔ)、表格存儲(chǔ)等方案實(shí)現(xiàn)對(duì)數(shù)據(jù)的存儲(chǔ)，采用物聯(lián)網(wǎng)套件實(shí)現(xiàn)數(shù)據(jù)通道及一站式數(shù)據(jù)采集、存儲(chǔ)托管服務(wù)，以此來保障平臺(tái)信息在存儲(chǔ)、傳輸、管理方面的安全性。同時(shí)平臺(tái)還對(duì)問診的用戶信息進(jìn)行匿名化處理，以保護(hù)用戶隱私，并且采用統(tǒng)一的傳輸標(biāo)準(zhǔn)，進(jìn)行多中心間的數(shù)據(jù)傳輸。

圖3 海量影像數(shù)據(jù)收集與處理流程示意圖

3 口腔疾病智能分析系統(tǒng)

目前齲病和牙周病的臨床診斷主要是根據(jù)患者的臨床癥狀、探診檢查和影像學(xué)檢查等進(jìn)行綜合評(píng)判。然而，這一綜合評(píng)估非常依賴于臨床醫(yī)生的個(gè)人經(jīng)驗(yàn)，不同臨床醫(yī)生之間診斷的差異導(dǎo)致了口腔疾病治療的方案不同。本系統(tǒng)利用人工智能、大數(shù)據(jù)、深度學(xué)習(xí)、跨模態(tài)分析的核心技術(shù)算法，對(duì)齲病、牙周病和口腔癌等口腔疾病進(jìn)行智能診斷、識(shí)別以及分期/分級(jí)，以實(shí)現(xiàn)口腔疾病的智能篩查。首先對(duì)收集到的數(shù)據(jù)進(jìn)行清洗、標(biāo)注等加工整理后，采用降噪、自適應(yīng)灰度值顏色歸一化、位置大小歸一化等方法將圖片位置、顏色標(biāo)準(zhǔn)化，通過模板匹配方法或深度學(xué)習(xí)目標(biāo)檢測(cè)方法，如FPN、SSD、Yolo、Faster-RCNN等，實(shí)現(xiàn)牙齒的自動(dòng)定位。再采用卷積神經(jīng)網(wǎng)絡(luò)，結(jié)合人工預(yù)先設(shè)計(jì)的灰度、形狀、紋理等特征(如從灰度共生矩陣、灰度直方圖、輪廓等方面提取圖像特征)，最終可以應(yīng)用分類器實(shí)現(xiàn)對(duì)口腔疾病的分類或分期/分級(jí)[11-13]。通過深度學(xué)習(xí)結(jié)合傳統(tǒng)方法實(shí)現(xiàn)口腔疾病的定位和分類，并將機(jī)器自動(dòng)生成的診斷結(jié)果與數(shù)據(jù)庫中的病歷診斷結(jié)果進(jìn)行對(duì)比，不斷進(jìn)行算法模型的訓(xùn)練與優(yōu)化，使其更適應(yīng)口腔內(nèi)齲病、牙周疾病和口腔癌等疾病特征，達(dá)到對(duì)口腔疾病級(jí)別或類別進(jìn)行劃分的目的(圖4)。

4 構(gòu)建口腔疾病知識(shí)圖譜，實(shí)現(xiàn)對(duì)疾病演化的預(yù)測(cè)

利用概念識(shí)別、實(shí)體發(fā)現(xiàn)、屬性預(yù)測(cè)等技術(shù)提取患者主要癥狀，基于深度學(xué)習(xí)數(shù)據(jù)挖掘和協(xié)調(diào)推理技術(shù)，結(jié)合疾病的自然演變特征及規(guī)律，構(gòu)建口腔疾病演化進(jìn)程的知識(shí)圖譜。通過人工智能自動(dòng)檢測(cè)和分級(jí)技術(shù)實(shí)現(xiàn)對(duì)口腔不同部位、拍攝角度不同牙齒的疾病分級(jí)。采用結(jié)合協(xié)同濾波和深度學(xué)習(xí)方法的協(xié)同深度學(xué)習(xí)模型(CIDL)作為口腔疾病治療方案推薦算法[14-15]。具體為使用卷積神經(jīng)網(wǎng)絡(luò)、SIFT、LBP、HAAR等技術(shù)提取圖像特征，將圖片映射到特征空間，應(yīng)用分類器檢測(cè)口腔疾病特征并分析口腔疾病分級(jí)/分期，獲得口腔中不同部位牙齒的齲病等級(jí)或口腔癌原發(fā)灶臨床分期。同時(shí)還建立了同一患者的口腔健康演化圖，分析口腔疾病不同維度、不同階段的表征，推理該患者的疾病易感因素，以及預(yù)測(cè)疾病演化趨勢(shì)，構(gòu)建口腔疾病預(yù)警系統(tǒng)。最終將分級(jí)結(jié)果輸入到預(yù)測(cè)預(yù)警與推薦模塊中，給予患者口腔疾病的預(yù)測(cè)和治療方案的推薦；并構(gòu)建治療方案評(píng)價(jià)函數(shù)，優(yōu)化風(fēng)險(xiǎn)系數(shù)，結(jié)合醫(yī)生的臨床經(jīng)驗(yàn)推薦個(gè)性化治療方案。

圖4 人工智能自動(dòng)檢測(cè)和疾病分期/分級(jí)系統(tǒng)結(jié)構(gòu)圖

5 全民免費(fèi)服務(wù)平臺(tái)應(yīng)用

運(yùn)用上述算法針對(duì)常見且具有明顯特征的口腔疾病，如齲病、牙周病和部分口腔癌等疾病，人工智能平臺(tái)可以自動(dòng)回復(fù)，并提供初步建議，指導(dǎo)用戶如何進(jìn)行治療。而對(duì)于人工智能平臺(tái)無法直接識(shí)別判斷的疾病，平臺(tái)篩選后提交給后臺(tái)的專家醫(yī)生團(tuán)隊(duì)，經(jīng)專業(yè)口腔醫(yī)生評(píng)估后，形成初步意見，再通過平臺(tái)回復(fù)給用戶；同時(shí)平臺(tái)還會(huì)根據(jù)本次專家使用的影像資料和給予的診斷結(jié)果再進(jìn)行學(xué)習(xí)，通過智能篩查比對(duì)優(yōu)化迭代算法模型，以此不斷完善智能診斷結(jié)果，當(dāng)再次有用戶提交類似的影像資料時(shí)，平臺(tái)便可以直接自動(dòng)回復(fù)?？傊脚_(tái)可以將智能推薦的診斷治療方案與口腔醫(yī)生給予的診斷治療方案相結(jié)合，從中選擇最佳的治療建議。治療咨詢結(jié)束后，患者和口腔醫(yī)生均要對(duì)治療的效果進(jìn)行評(píng)估，評(píng)估的結(jié)果同樣再存儲(chǔ)于數(shù)據(jù)庫，進(jìn)一步豐富數(shù)據(jù)庫內(nèi)容，也再次優(yōu)化該人工智能模型[16-17]。該平臺(tái)不僅僅只是針對(duì)患者，對(duì)臨床醫(yī)生來說，也可以實(shí)時(shí)、可靠、全面地提供診斷和治療方案[18-19]。

本平臺(tái)目前已經(jīng)注冊(cè)了騰訊微信公眾號(hào)——賽牙(圖5A)，初步實(shí)現(xiàn)了遠(yuǎn)程咨詢會(huì)診。例如當(dāng)有用戶通過內(nèi)窺鏡拍攝了牙齒照片，并上傳給“賽牙”進(jìn)行問診時(shí)，平臺(tái)會(huì)自動(dòng)解答疑問，給予初步診斷結(jié)果及治療建議。用戶的咨詢及回復(fù)內(nèi)容詳見圖5B。

6 總結(jié)與展望

該平臺(tái)為患者提供了便捷的遠(yuǎn)程診療系統(tǒng)，降低了患者的就醫(yī)時(shí)間和經(jīng)濟(jì)成本，特別是對(duì)于偏僻山區(qū)居民、邊防戰(zhàn)士等均可以進(jìn)行實(shí)時(shí)口腔問題的咨詢，獲取口腔預(yù)防保健的相關(guān)知識(shí)以及相應(yīng)的預(yù)防和診斷建議。滿足了全民迫切的口腔健康需求，也積極響應(yīng)了《健康中國2030規(guī)劃》戰(zhàn)略方針。下一步平臺(tái)的發(fā)展規(guī)劃為，在現(xiàn)有大數(shù)據(jù)的基礎(chǔ)上，進(jìn)一步擴(kuò)大數(shù)據(jù)量；不斷優(yōu)化迭代算法；拓展適用范圍，使其不僅僅局限于口腔疾病，期望能擴(kuò)展至包含皮膚疾病等的全身性疾??；在口腔癌方面，未來希望能借助于口腔拭子的基因檢測(cè)結(jié)果，實(shí)現(xiàn)口腔癌的早期篩查和診斷。最終期望該平臺(tái)發(fā)展成為全民免費(fèi)的牙齒保健和口腔癌預(yù)防的人工智能平臺(tái)。另外，該平臺(tái)還考慮將以多語種形式呈現(xiàn)，實(shí)現(xiàn)多種語言環(huán)境的應(yīng)用，不斷擴(kuò)大受眾范圍。