汪莉 彭成東 徐文兵 張平波 周雪梅 董昌武
(1.安徽中醫(yī)藥大學(xué),安徽 合肥 230012;2.合肥明信軟件技術(shù)有限公司,安徽 合肥 230088)
中醫(yī)診斷學(xué)是一門理論與實踐并重的課程,實訓(xùn)教學(xué)對于提高學(xué)生中醫(yī)臨床技能操作水平,培養(yǎng)中醫(yī)辨證思維具有重要的意義[1]。通過舌診技能實訓(xùn)能夠培養(yǎng)學(xué)生敏銳而準確的觀察能力,為臨床辨證提供可靠的依據(jù)[2-3]。隨著信息技術(shù)的迅速發(fā)展,舌診技術(shù)的研究內(nèi)涵越來越豐富[4]。當前AI技術(shù)在中醫(yī)舌診客觀化的研究中發(fā)揮著重要的作用,通過AI舌象分析的精確度不斷提升[5-6]。AI舌診開放平臺提供了舌象云計算應(yīng)用程序接口(application program interface,API)服務(wù),即便是一張非標準光源條件下拍攝的舌象圖片,也能通過計算辨識出舌象特征和中醫(yī)健康狀態(tài)。本文以舌象云計算API服務(wù)為基礎(chǔ),結(jié)合舌診實訓(xùn)的教學(xué)現(xiàn)狀,設(shè)計研發(fā)人工智能舌診實訓(xùn)與考核平臺(Learning Training and Evaluation Platform For Tongue Diagnosis,Tongue LTE),通過Tongue LTE平臺引導(dǎo)學(xué)生自主學(xué)習(xí),模擬臨床進行拓展實訓(xùn),激發(fā)學(xué)生對舌診學(xué)習(xí)的興趣,促進學(xué)生理論知識的理解和應(yīng)用。
Tongue LTE平臺的設(shè)計思路如圖1所示,包括構(gòu)建標準舌象庫、舌象特征AI識別模型、實訓(xùn)與考核應(yīng)用系統(tǒng)。在標準舌象庫中,通過運用深度學(xué)習(xí)和機器學(xué)習(xí)等AI方法構(gòu)建舌象特征識別模型,以實現(xiàn)舌象特征的AI檢測、識別和多維度的定量化分析,并經(jīng)過專家多輪次的數(shù)據(jù)驗證和評審確保模型的準確性和可靠性。同時標準舌象庫,也作為學(xué)生自主學(xué)習(xí)的舌象資源。該部分封裝為舌象云計算API接口服務(wù),實訓(xùn)考核系統(tǒng)只需要調(diào)用API就可以完成舌象AI辨識。實訓(xùn)與考核應(yīng)用系統(tǒng)為學(xué)生提供移動端舌象學(xué)習(xí)和實訓(xùn)、規(guī)范的PC端舌象采集與舌診技能考核功能。
1.1舌象資源庫建設(shè) 舌象資源庫覆蓋30多種舌象特征、9種單一體質(zhì)與數(shù)種復(fù)合體質(zhì)的舌象資源。包括自然光照環(huán)境下拍攝的舌象圖片、問卷調(diào)查,涵蓋各年齡階段的健康人群、亞健康人群及患病人群,這些舌象都經(jīng)過多位專家多輪次的精確標注、AI檢測,AI檢測結(jié)果和中醫(yī)專家的診斷結(jié)果一致性達90%以上方可入庫。
1.2舌診API開放接口 為舌象各個特征配置最優(yōu)的深度神經(jīng)網(wǎng)絡(luò)或機器學(xué)習(xí)算法模型,包括使用基于機器學(xué)習(xí)的中醫(yī)舌色苔色定量分析方法,以解決自然光照條件下舌色苔色顏色屬性和舌色苔色綜合判定;使用基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的舌象紋理定量分析方法,以解決舌體提取和裂紋、齒痕、剝落、點刺、瘀點等多項特征的像素級識別與提取[7-9]。同時保證AI檢測模型的快速迭代、檢測精度與檢測效率。舌象AI云計算提供的服務(wù)包括舌象特征計算接口和中醫(yī)健康狀態(tài)計算接口:
舌象特征計算接口:檢測圖像中的舌象,提取出舌體區(qū)域,識別舌象特征屬性。
中醫(yī)健康狀態(tài)計算接口:按年齡、性別、既往病史等進行問診交互,再結(jié)合舌象特征、問診數(shù)據(jù),辨識臟腑健康狀態(tài)。
平臺包括學(xué)生學(xué)習(xí)與實訓(xùn)系統(tǒng)、學(xué)生舌診考核系統(tǒng)、教師管理系統(tǒng),功能結(jié)構(gòu)如圖2所示。
2.1學(xué)生學(xué)習(xí)與實訓(xùn)系統(tǒng) 學(xué)生實訓(xùn)包括正向?qū)W習(xí)模塊(包括舌象檢索學(xué)習(xí)、薄弱推送學(xué)習(xí)、學(xué)習(xí)記錄)、反向訓(xùn)練模塊(包括舌象采集、舌象標注、AI分析與解讀)、在線交互模塊(包括在線提問、追問與評價)、舌診考試(在線考試、成績查詢)。
自主學(xué)習(xí):按舌象特征、健康狀態(tài)、年齡段、性別、學(xué)習(xí)、考核等條件查詢舌象,進行舌診學(xué)習(xí)。
推薦學(xué)習(xí):在學(xué)生實訓(xùn)后,系統(tǒng)將學(xué)生辨識錯誤的舌象,形成錯題集,推送相關(guān)知識點的舌象給學(xué)生有針對性學(xué)習(xí)。
舌診實訓(xùn):學(xué)生通過手機拍照采集舌面圖像、采集舌下絡(luò)脈圖像;在手機頁面標注舌象特征、填寫舌診結(jié)論、辨證分析選擇飲食或用藥建議;提交舌診結(jié)論;AI進行標注評判。
2.2學(xué)生舌診考核系統(tǒng) 教師設(shè)置好考核任務(wù),學(xué)生登錄系統(tǒng)進行在線作答:標注舌象特征、填寫舌診結(jié)論、辨證分析選擇飲食或用藥建議,按時間要求完成考核。系統(tǒng)使用AI評分系數(shù)計算學(xué)生考核成績,考核成績=∑(題目分值×AI評分),最終得到考核分數(shù)。
2.3教師管理系統(tǒng) 教師管理系統(tǒng)包括學(xué)習(xí)監(jiān)督、學(xué)習(xí)反饋、在線指導(dǎo)模塊。
教師可以查詢所帶班級和學(xué)生的實訓(xùn)次數(shù)和完成進度,系統(tǒng)推送學(xué)習(xí)反饋,將學(xué)生易錯的知識點反饋到教師賬號,供教師調(diào)整教學(xué)策略,進行在線答疑。
本平臺已在多個中醫(yī)學(xué)專業(yè)學(xué)生舌診實訓(xùn)教學(xué)中使用,操作如圖3所示。學(xué)生可隨時隨地采集舌象進行實訓(xùn),系統(tǒng)操作便捷、AI評閱準確可靠,激發(fā)了學(xué)生的學(xué)習(xí)興趣,應(yīng)用效果良好。
傳統(tǒng)舌診教學(xué)是以肉眼觀察為主,其正確程度取決于教師的經(jīng)驗,受限于當時的環(huán)境,缺乏客觀統(tǒng)一的辨識指標,可能因為光線、環(huán)境等因素,造成對舌象的判斷失誤,制約了舌診教學(xué)、科研、臨床的發(fā)展[10-12]。傳統(tǒng)舌診實訓(xùn)設(shè)備,一定程度上克服了理論與實踐脫節(jié)的弊端,但是舌診采集與檢測儀器往往配置專業(yè)數(shù)碼相機,用于特定的醫(yī)療環(huán)境和光照條件,其缺陷是設(shè)備繁雜、硬件昂貴、便攜性差、檢測速度較慢、操作不便利、應(yīng)用范圍局限,學(xué)生缺乏便捷高效的舌診實訓(xùn)平臺,影響了學(xué)生的學(xué)習(xí)興趣,降低了學(xué)習(xí)效率[13-14]。Tongue LTE平臺具備以下特色:
①基于AI圖像識別技術(shù)和大數(shù)據(jù)分析手段,精選10萬例經(jīng)過多位專家、多輪次精確標注的舌象數(shù)據(jù),通過機器學(xué)習(xí)、深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)算法,對舌象特征進行精準識別和多維度的定量化分析。
②平臺為學(xué)生提供中醫(yī)舌診智能化實訓(xùn),提高了學(xué)習(xí)興趣和效率,更好的檢測學(xué)習(xí)成果,學(xué)生在手機移動端即可與AI云服務(wù)在線交互,結(jié)合舌象大數(shù)據(jù)進行正向和反向?qū)嵱?xùn)[15]。
③平臺有助于教師對學(xué)生的學(xué)習(xí)行為進行多次連續(xù)監(jiān)測和動態(tài)趨勢分析,對學(xué)生的實訓(xùn)效果實現(xiàn)了綜合評價。
舌診是中醫(yī)學(xué)了解人體生理功能和病理變化的獨具特色的診斷方法,將其繼承和發(fā)展是中醫(yī)教育的重要任務(wù)[16-17]。當下許多中醫(yī)藥院校臨床見習(xí)基地不足,學(xué)生實踐機會少,學(xué)生普遍存在臨床實踐能力差、中醫(yī)辨證思維弱的問題[18]。實訓(xùn)教學(xué)可以幫助學(xué)生熟練掌握知識技能,鍛煉學(xué)生的動手能力,培養(yǎng)訓(xùn)練學(xué)生的專業(yè)思維,提高學(xué)生分析問題、解決問題的能力[19]。隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展,計算機輔助舌診分析成為一大優(yōu)勢,舌診客觀化、標準化、定量化研究飛速發(fā)展,實驗實訓(xùn)教學(xué)改革迎來了新機遇[20-22]。Tongue LTE平臺是一個智能化、規(guī)范化、系統(tǒng)化的舌診實訓(xùn)與考核系統(tǒng),使得學(xué)生能夠隨時隨地在手機移動端完成舌診學(xué)習(xí)、實訓(xùn)、考核,正確地掌握舌象采集方法及舌象特征分析,體現(xiàn)了“以學(xué)生為中心”的教育理念,提高了學(xué)習(xí)興趣和效率,夯實專業(yè)基礎(chǔ)[23]。同時教師能全面的掌控學(xué)生的學(xué)習(xí)進程,有效引導(dǎo)學(xué)生學(xué)習(xí),便捷的組織舌診技能的考核和評價,有助于培養(yǎng)學(xué)生自主學(xué)習(xí)能力,優(yōu)化改進實訓(xùn)教學(xué),提高學(xué)生臨床實踐技能,促進學(xué)生綜合素質(zhì)協(xié)調(diào)發(fā)展[24-25]。