費(fèi)紅琳 黃理杰 陸東海 郭程湘 楊仁軒

(1.廣東省郭氏醫(yī)學(xué)保健研究所,廣東 廣州 510530;2.廣東省新黃埔中醫(yī)藥聯(lián)合創(chuàng)新研究院,廣東 廣州 510530;3.廣東省中醫(yī)院,廣東 廣州 510120)

峨嵋武醫(yī)暢氣通絡(luò)療法,為全國(guó)名老中醫(yī)藥專家郭程湘所創(chuàng),氣血經(jīng)絡(luò)理論是暢氣通絡(luò)療法診治疾病的理論本源。氣血陰陽(yáng)及經(jīng)絡(luò)氣化功能的失衡是臨床痛痹疾病發(fā)生的根本病機(jī),運(yùn)用推拿、點(diǎn)穴手法可調(diào)整經(jīng)絡(luò)系統(tǒng)中的氣血運(yùn)行狀態(tài),疏通經(jīng)脈,調(diào)養(yǎng)氣血,激發(fā)經(jīng)氣,經(jīng)臨床實(shí)踐和研究證實(shí),該療法治療頸椎病、肩周炎、腰椎間盤突出癥,膝骨關(guān)節(jié)炎,偏頭痛,睡眠障礙,亞健康狀態(tài),以及部分內(nèi)科雜癥等皆有非常好的療效,具有很高的推廣價(jià)值[1-8]。

為了更好地挖掘“暢氣通絡(luò)”療法的臨床價(jià)值,更高效地傳承與普及推廣該療法,研究中醫(yī)暢氣通絡(luò)智能機(jī)器人非常有必要。經(jīng)絡(luò)的疏通是“暢氣通絡(luò)”療法治療疾病的首要條件,如何循經(jīng)取穴非常重要,中醫(yī)按摩機(jī)器人的穴位識(shí)別、穴位跟蹤等技術(shù)已有不少專家學(xué)者們進(jìn)行了研究,如杜光月等利用三維坐標(biāo)測(cè)量?jī)x測(cè)量若干人體穴位坐標(biāo)數(shù)據(jù),基于神經(jīng)網(wǎng)絡(luò)理論中的學(xué)習(xí)功能,設(shè)計(jì)實(shí)現(xiàn)按摩機(jī)器人在人體穴位尋找方面的功能[9]。董詩(shī)繪等根據(jù)ABB機(jī)器人機(jī)械手在空間上的運(yùn)動(dòng)指令,設(shè)計(jì)其在人體表面的坐標(biāo)位移與定位,從而識(shí)別人體經(jīng)絡(luò)穴位[10]。黨麗峰等針對(duì)患者在按摩過(guò)程中移動(dòng)的現(xiàn)象,研究了一款能夠?qū)崿F(xiàn)實(shí)時(shí)圖像采集分析、坐標(biāo)變換的穴位跟蹤系統(tǒng)[4]。

基于視覺(jué)的腰背部中醫(yī)通絡(luò)機(jī)器人通過(guò)用視覺(jué)相機(jī)作為工具,進(jìn)行采樣、并對(duì)樣本進(jìn)行訓(xùn)練、并根據(jù)訓(xùn)練結(jié)果,達(dá)到對(duì)新目標(biāo)進(jìn)行穴位識(shí)別的目的。

1 腰背部中醫(yī)通絡(luò)機(jī)器人結(jié)構(gòu)

中醫(yī)通絡(luò)機(jī)器人是基于全國(guó)名老中醫(yī)藥專家郭程湘老師的中醫(yī)暢氣通絡(luò)特色療法,將機(jī)器人力控技術(shù),3D視覺(jué)引導(dǎo)技術(shù),人工智能輔助定位技術(shù),語(yǔ)音交互技術(shù)等與該療法理念、技法結(jié)合,研發(fā)的一套針對(duì)腰背部的安全、舒適的中醫(yī)通絡(luò)智能協(xié)作機(jī)器人[12]。

腰背部中醫(yī)通絡(luò)機(jī)器人的主要機(jī)械結(jié)構(gòu)包括協(xié)作機(jī)器人機(jī)械臂、視覺(jué)相機(jī)、傳感器、按摩頭等[13-14]。該設(shè)備主要實(shí)現(xiàn)對(duì)人體背部穴位的推拿按摩。如圖1。

圖1 腰背部中醫(yī)通絡(luò)機(jī)器人硬件結(jié)構(gòu)

機(jī)器人上位機(jī)系統(tǒng)共有6個(gè)模塊組成,分別是界面模塊,圖像采集模塊,AI穴位識(shí)別模塊,運(yùn)動(dòng)規(guī)劃模塊[15],力控算法模塊,按摩頭控制模塊[7]。如圖2。

圖2 腰背部中醫(yī)通絡(luò)機(jī)器人軟件系統(tǒng)

其中界面模塊主要的功能是接受用戶的輸入請(qǐng)求例如用戶登錄,用戶的功能選擇例如力度調(diào)整按摩方式,溫度調(diào)整,速度調(diào)整,接收用戶的請(qǐng)求之后軟件系統(tǒng)開(kāi)始內(nèi)部操作,開(kāi)始調(diào)用其他的功能模塊。

圖像采集模塊連接的是3D視覺(jué)相機(jī),用來(lái)采集人體背部的照片和深度信息,是系統(tǒng)的輸入[16]。

AI識(shí)別模塊,判斷用戶背部穴位位置信息,它實(shí)現(xiàn)功能的基礎(chǔ)是依靠大量數(shù)據(jù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò),依據(jù)這種智能算法可以定位特定的穴位,標(biāo)定出人體的穴位的坐標(biāo)和法向量,然后通過(guò)共享內(nèi)存的方式傳遞給上位機(jī)的界面[17-19]。

運(yùn)動(dòng)規(guī)劃模塊,在機(jī)械臂運(yùn)動(dòng)過(guò)程中起主導(dǎo)作用,規(guī)劃模塊使用AI識(shí)別的穴位信息以及相機(jī)獲得的3D數(shù)據(jù)信息進(jìn)行空間位姿的解算以及路徑插值,實(shí)現(xiàn)對(duì)中醫(yī)手法工程的仿真[20-22]。

力控控制算法,是在運(yùn)動(dòng)規(guī)劃產(chǎn)生的路徑中以特定的力度幅度向人體表面壓緊或遠(yuǎn)離，功能的基礎(chǔ)是依靠阻抗控制算法原理計(jì)算出末端位置修正量；該模塊也有碰撞檢測(cè)和拖動(dòng)示教的功能[22-27]。

最后一個(gè)模塊是按摩頭控制模塊,它用來(lái)溝通和按摩頭的控制相關(guān)參數(shù)的調(diào)整比如開(kāi)關(guān)運(yùn)動(dòng)幅度、頻率。它實(shí)現(xiàn)和上位機(jī)的通訊是通過(guò)485通信、網(wǎng)口等[28-30]。

2 穴位定位

其中,穴位定位的流程如圖3。

圖3 穴位定位的流程

2.1樣本采集

2.1.1采集工具 設(shè)計(jì)一個(gè)軟件,驅(qū)動(dòng)3D立體相機(jī)(本項(xiàng)目采用英特爾的435相機(jī)),并能對(duì)目標(biāo)進(jìn)行拍照和分類記錄。拍照的數(shù)據(jù)包括RGB圖像和深度圖像等或更多的其他信息。穴位標(biāo)記為中醫(yī)專業(yè)人士,以免出錯(cuò)和低效。讓醫(yī)學(xué)人員在目標(biāo)實(shí)物上作好標(biāo)記再拍照,由視覺(jué)或圖像技術(shù)人員后期作標(biāo)記處理。

為了算法工程師后期處理方便,可讓醫(yī)學(xué)人員先拍一張未標(biāo)記的目標(biāo)(并保存),然后讓目標(biāo)保持不動(dòng),在目標(biāo)上做標(biāo)記,再拍一張帶標(biāo)記的,并保存,算法工程師后期通過(guò)兩張圖片的差異找出標(biāo)記點(diǎn)。此操作就如同在圖片上作出了標(biāo)記點(diǎn)。

采集了足夠帶標(biāo)記的圖片后,可作訓(xùn)練,并建立數(shù)字模型,在以后的實(shí)際應(yīng)用中識(shí)別目標(biāo)及其特性,以作運(yùn)動(dòng)系統(tǒng)的指引。

2.1.2樣本采樣 (1)標(biāo)記前,拍照并保存,見(jiàn)圖4;(2)用標(biāo)記物標(biāo)記關(guān)鍵點(diǎn)后,再拍照并保存,見(jiàn)圖5;(3)變換指定姿勢(shì)至少5種,重復(fù)上述兩個(gè)步驟;(4)標(biāo)記點(diǎn)的穴位和部位名稱,見(jiàn)圖6。

圖4

圖5

圖6

2.2關(guān)鍵穴位拓展 對(duì)足夠多的樣品進(jìn)行訓(xùn)練后,以獲得的結(jié)果,對(duì)新目標(biāo)進(jìn)行識(shí)別,可以識(shí)別標(biāo)記點(diǎn)。但有限的幾個(gè)標(biāo)記點(diǎn),不足以支撐更廣的應(yīng)用,應(yīng)以這些標(biāo)記點(diǎn)作為參考點(diǎn),計(jì)算和推導(dǎo)其他關(guān)鍵點(diǎn)[31]。圖7為整體穴位圖。

圖7 整體穴位圖

比如,采樣時(shí)并沒(méi)有標(biāo)記“命門穴”,但是可以計(jì)算和推導(dǎo)出“命門穴”位置,主要是根據(jù)已識(shí)別的已知穴位位置與未標(biāo)記穴位的相對(duì)位置關(guān)系。

從醫(yī)學(xué)人體模型可獲得,更精準(zhǔn)的穴位相對(duì)位置如圖8、圖9。

圖8 基于骨骼的穴位位置以及尺寸標(biāo)柱

圖9 視覺(jué)標(biāo)記點(diǎn)位置

2.3穴位識(shí)別

2.3.1穴位識(shí)別方法 穴位識(shí)別的軟件實(shí)施中,先建立基于神經(jīng)網(wǎng)絡(luò)的計(jì)算模型,再通過(guò)專業(yè)人工標(biāo)定穴位特征并制造大量數(shù)據(jù)樣本,將這些樣本數(shù)據(jù)投喂模型輸入側(cè),通過(guò)多層隱含層進(jìn)行深度學(xué)習(xí),輸出側(cè)獲得模型特征參數(shù)的結(jié)果,這些訓(xùn)練的結(jié)果將被保存以備后用。在現(xiàn)場(chǎng)對(duì)新目標(biāo)進(jìn)行識(shí)別時(shí),這些模型參數(shù)將被用作比對(duì)與匹配運(yùn)算,目標(biāo)識(shí)別結(jié)果一般將是與目標(biāo)最接近的那個(gè)樣本的參數(shù)值,不但如此,參數(shù)還被泛化與平均化,更接近真實(shí)。在訓(xùn)練過(guò)程中,如果發(fā)現(xiàn)結(jié)果不理想,會(huì)調(diào)整隱含層中的各參數(shù)權(quán)重值,重新訓(xùn)練,直至獲得理想的輸出。本系統(tǒng)中,彩色參數(shù)與距離參數(shù)的同時(shí)結(jié)合輸入,使得參數(shù)的特征差異性更加明顯,大大增加了系統(tǒng)的魯棒性。

對(duì)于模型的選擇,我們選擇了resnet、unet、dmnet等優(yōu)秀的深度學(xué)習(xí)模型進(jìn)行訓(xùn)練,在訓(xùn)練之前需要對(duì)已有圖片進(jìn)行數(shù)據(jù)增強(qiáng),包括平移、旋轉(zhuǎn)、放縮、剪切等空間上的變換以及色彩偏移、亮度變化、對(duì)比度變化、隨機(jī)扣除等色彩上的數(shù)據(jù)增強(qiáng),通過(guò)數(shù)據(jù)增強(qiáng)能夠獲得更多的數(shù)據(jù)集進(jìn)行模型訓(xùn)練,防止模型過(guò)擬合。針對(duì)我們?nèi)梭w背部穴位識(shí)別任務(wù),我們還采用了人體分割技術(shù),將人體從背景環(huán)境中分割出來(lái),這樣能夠減少模型對(duì)周圍環(huán)境的關(guān)注,將模型的注意力約束到對(duì)人體的邊緣、結(jié)構(gòu)的關(guān)注上[32]。將分割好并完成數(shù)據(jù)增強(qiáng)的網(wǎng)絡(luò)喂入深度學(xué)習(xí)模型中讓其進(jìn)行學(xué)習(xí)直至模型收斂。使用該模型即可對(duì)新的樣本進(jìn)行預(yù)測(cè),從而實(shí)現(xiàn)我們對(duì)于人體穴位識(shí)別的任務(wù)。

2.3.2穴位識(shí)別評(píng)測(cè) 對(duì)AI穴位識(shí)別系統(tǒng)的精度評(píng)估,整個(gè)系統(tǒng)誤差包括:相機(jī)深度數(shù)據(jù)誤差、RGB相機(jī)自身畸變、機(jī)械臂手眼標(biāo)定誤差、AI穴位識(shí)別誤差等諸多誤差形式組成。相機(jī)、機(jī)械臂導(dǎo)致的誤差是硬件本身的誤差,需要更換高精度工業(yè)3D相機(jī)來(lái)減少此問(wèn)題,我們主要評(píng)估的是AI穴位識(shí)別系統(tǒng)誤差,視覺(jué)系統(tǒng)所對(duì)標(biāo)的是人眼穴位定位系統(tǒng),即先評(píng)估人眼穴位定位的誤差,再對(duì)我們視覺(jué)系統(tǒng)的精度進(jìn)行評(píng)估,衡量指標(biāo)為視覺(jué)系統(tǒng)能否逼近甚至超過(guò)人眼標(biāo)注的精度[33]。人體背部穴位定位的檢驗(yàn)方法及步驟:

(1)用未標(biāo)記穴位位置的人體模型作測(cè)試對(duì)象。首先中醫(yī)醫(yī)生使用穴位標(biāo)注軟件進(jìn)行人眼視覺(jué)標(biāo)定實(shí)驗(yàn)(test1),同時(shí)訓(xùn)練好的模型也會(huì)對(duì)圖片中的人體進(jìn)行穴位的預(yù)測(cè)(test2)。

(2)中醫(yī)醫(yī)生將真實(shí)的穴位位置貼上綠色標(biāo)簽,通過(guò)視覺(jué)系統(tǒng)對(duì)這些穴位真實(shí)位置標(biāo)簽進(jìn)行記錄(ground truth)。

(3)對(duì)醫(yī)生人眼穴位定位誤差進(jìn)行評(píng)估,評(píng)估指標(biāo)為人眼在圖片上標(biāo)注的位置到真實(shí)穴位位置的像素距離偏差,計(jì)算數(shù)據(jù)的均值和方差。

(4)對(duì)AI系統(tǒng)做與醫(yī)生相同的誤差評(píng)估。

(5)上述的評(píng)估數(shù)據(jù)可以從我們采集到的數(shù)據(jù)中來(lái),為保證公平這些數(shù)據(jù)不會(huì)用于模型的訓(xùn)練過(guò)程,這些數(shù)據(jù)可以是新采集的數(shù)據(jù),醫(yī)生與AI系統(tǒng)同時(shí)對(duì)這些數(shù)據(jù)進(jìn)行穴位定位,隨后進(jìn)行精度評(píng)估。

2.3.3評(píng)估結(jié)果 我們對(duì)多種人工智能模型精度進(jìn)行了系統(tǒng)的評(píng)估,包括基于位置回歸的RESNET、基于熱圖回歸的UNET以及基于注意力機(jī)制的DMNET網(wǎng)絡(luò)。從各個(gè)模型在測(cè)試集的精度上來(lái)講基于熱圖回歸的模型以平均誤差10個(gè)pixel的精度取得了最好的結(jié)果,但我們將該網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行實(shí)際應(yīng)用時(shí)發(fā)現(xiàn)模型的魯棒性很差,對(duì)光影遮擋、衣服褶皺、光源不穩(wěn)定等諸多情況表現(xiàn)出很明顯的精度下降。而基于位置回歸的RESNET方案魯棒性很高,能夠保留不同穴位之間的結(jié)構(gòu)相關(guān)性。應(yīng)用時(shí)即使物理光照環(huán)境復(fù)雜多樣,依舊能保持結(jié)構(gòu)的魯棒性。我們最終使用基于RESNET的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行最終的模型部署實(shí)驗(yàn),評(píng)估結(jié)果在不同的穴位上存在一定差異,對(duì)于大椎穴等頸部附近的穴位定位精度很高,對(duì)于大腸俞等臀部附近的穴位定位精度要低一些。

3 結(jié)束語(yǔ)

機(jī)器人通過(guò)大量的人體穴位標(biāo)識(shí)數(shù)據(jù)采集,不斷通過(guò)人工智能訓(xùn)練,后期可以實(shí)現(xiàn)不用人為干預(yù)機(jī)器人都可以精準(zhǔn)找到人體穴位并減少誤差的穴位定位方案,包括了協(xié)作機(jī)器人本身的機(jī)械臂自動(dòng)軌跡運(yùn)行、3D視覺(jué)相機(jī)的圖像采集與識(shí)別、六維力傳感器的柔順控制等。應(yīng)用該方法的中醫(yī)暢氣通絡(luò)機(jī)器人可實(shí)現(xiàn)名老中醫(yī)的部分特色手法。