何英春, 詹益鎬, 許桂清, 裴駿

在康復(fù)醫(yī)學(xué)中采用肢體運動進行功能評估與客觀化訓(xùn)練設(shè)計是研究熱點[1];借助非侵入式的人體運動解析來優(yōu)化康復(fù)過程與效果已成趨勢;相關(guān)研究通常采取行為捕捉與追蹤技術(shù),可分為基于視頻人形骨架點與慣性傳感器兩類,已廣泛應(yīng)用于上肢康復(fù)、平衡評估與步態(tài)分析等方面[2-5]?；趹T性傳感器的方式雖準確性高但存在交互弱、成本高、體感不適、隱私泄露等問題[6]。而視頻捕捉人體骨架點的方式恰可以解決上述問題,該方法通常采用的是Kinect或OpenPose技術(shù)。Kinect拉開了骨骼關(guān)鍵點追蹤人體運動的序幕,為人體姿態(tài)估計算法的萌生提供基礎(chǔ)。但其硬件受限且布建復(fù)雜;相比之下,基于深度學(xué)習(xí)的OpenPose技術(shù)具有實時性,使用一般相機拍攝即可,此技術(shù)應(yīng)用在康復(fù)醫(yī)學(xué)前景日益受到重視。目前,僅有總結(jié)姿勢估計算法在康復(fù)評估中應(yīng)用,尚未見從評估到訓(xùn)練的概述[7]。本文介紹OpenPose技術(shù)及其介入康復(fù)領(lǐng)域的契機,并闡述OpenPose技術(shù)在康復(fù)評定、訓(xùn)練及遠程監(jiān)測中的應(yīng)用。

1 OpenPose技術(shù)簡介

OpenPose技術(shù)是卡內(nèi)基梅隆大學(xué)感知計算實驗室開發(fā)的世界上首個基于深度學(xué)習(xí)的實時單人或多人二維姿態(tài)估計技術(shù)。OpenPose采集數(shù)據(jù)簡單,僅用手機拍攝的視頻即可獲得運動的時間序列且無須標記,它利用部分親和域(part affinity fields,PAFs)把多人姿勢檢測轉(zhuǎn)化為二分匹配的問題[8]。其優(yōu)勢一是數(shù)據(jù)量大,可同時檢測130個人體關(guān)鍵點,有效解決圖像遮擋以及復(fù)雜背景等問題[9];二是特征提取速度和檢測周期與人數(shù)無關(guān),實現(xiàn)高精度和實時性;三是首次將軀體、手部、臉部的特征整合識別[10]。

2 OpenPose技術(shù)介入康復(fù)契機

數(shù)字處理需求是目前臨床康復(fù)中亟待解的問題。一是量表評估繁雜,難以量化、主觀性強且其它評估設(shè)備有限[11-12];二是居家康復(fù)患者依從性差、動作不規(guī)范[13]。正是因此,亟待引入高效客觀且具備監(jiān)督性的數(shù)字化手段來提升康復(fù)臨床評估與訓(xùn)練的實效。相比于佩戴繁雜的傳感器與有嚴格環(huán)境限制的Kinect技術(shù),OpenPose僅需使用手機攝影就可以實時掌握肢體的位置并進行分析,可滿足某些臨床康復(fù)的數(shù)字處理需求,具有廣闊的應(yīng)用前景。以上肢訓(xùn)練為例,較之于治療師僅憑經(jīng)驗調(diào)整動作,OpenPose以深度學(xué)習(xí)程序計算影像,達到實時動作估算,更能準確指導(dǎo)康復(fù)訓(xùn)練以保障訓(xùn)練效果。Feng等[14]就是利用OpenPose判斷自閉癥兒童能否根據(jù)機器人的指令模仿抬手動作與抬手程度以收集訓(xùn)練反饋,說明OpenPose可以監(jiān)督肢體訓(xùn)練。此外,Li等[15]證實使用OpenPose可提取手部精細運動特征進行康復(fù)評估。王懷宇等[16]還首次借助OpenPose技術(shù)使用2個普通攝像頭通過三維重建,解決了側(cè)面、頭部動作難以捕捉的問題,使OpenPose更廣泛地應(yīng)用于康復(fù)醫(yī)學(xué)。Gu等[17]使用OpenPose計算成人步行的下肢角度,結(jié)果誤差≤ 10°,其精度可媲美需標記的深度相機。其它學(xué)者也指出OpenPose精度較高,可用于運動分析[18-19]。以上均說明OpenPose技術(shù)可協(xié)助解決部分康復(fù)評估訓(xùn)練中與動作相關(guān)的問題,可作為康復(fù)領(lǐng)域發(fā)展的可靠平臺,推陳出新的整合應(yīng)用更能強化OpenPose介入康復(fù)醫(yī)學(xué)的范疇。

3 OpenPose技術(shù)在康復(fù)領(lǐng)域的應(yīng)用研究

OpenPose技術(shù)在康復(fù)領(lǐng)域的應(yīng)用主要聚焦于采集康復(fù)動作,輔助進行康復(fù)評估與規(guī)范訓(xùn)練;與互聯(lián)網(wǎng)融合構(gòu)建包含咨詢與反饋的完整康復(fù)云端。

3.1 OpenPose技術(shù)在康復(fù)評定中的應(yīng)用 康復(fù)評定是評估功能障礙、制定計劃的基礎(chǔ)。但傳統(tǒng)評定存在耗時長、量化難、主觀性強的短板,OpenPose技術(shù)可在一定程度上彌補這些短板。

3.1.1 姿勢評估 進行姿勢評估時,關(guān)節(jié)角度是主要觀察指標。Kim等[20]分別使用Kinect和OpenPose技術(shù)分析10人在有/無身體遮擋,從正面/非正面視角等條件進行坐、站、伸舉姿勢的關(guān)節(jié)角度計算快速上肢評估(rapid upper limb assessment, RULA)/快速全身評估(rapid entire body assessment,REBA)等工學(xué)姿勢評估分數(shù)。以Xsens運動捕捉系統(tǒng)結(jié)果為標準,沒有遮擋時OpenPose測得角度的均方根誤差總平均值為8.4°,RULA/REBA評分平均絕對差值為0.70,Kinect系統(tǒng)的結(jié)果分別為13.4°與0.77;另外在有遮擋與非正面視角的條件下,相比于OpenPose,Kinect系統(tǒng)的角度測量與姿勢評分誤差均上升,顯示出OpenPose測量角度與姿勢更精準且受遮擋和視角的影響小,表明其在半自動人體工學(xué)姿勢評估方面很有前途。Huang[21]提出一個以功能性運動檢測診斷為依據(jù)、OpenPose技術(shù)為檢測手段的全身運動功能檢測系統(tǒng),以進行姿勢糾正。其特別之處是將關(guān)鍵點等轉(zhuǎn)化為軀干與地面夾角、腰部旋轉(zhuǎn)角等物理治療臨床指標,把每個指標的評分標準轉(zhuǎn)換成好、中、壞3個測試等級。物理治療師利用屏幕測量軟件,與肉眼測量觀察到的坐標和角度結(jié)果對比,其中Openpose檢測的弓蹲與全蹲動作指標誤差均在±2°、躺下抬腳誤差為±3°。此舉可省去傳統(tǒng)人工測角的麻煩。但研究也同時發(fā)現(xiàn)OpenPose辨識人體臥位時容易出現(xiàn)誤判,需要改進。

3.1.2 功能評估 現(xiàn)有功能評估多使用量表,主觀性強且定量難。近幾年來,OpenPose技術(shù)在功能評估中的應(yīng)用取得較大進展。Fan等[22]提出腦梗塞康復(fù)評估,定義6種康復(fù)動作(行走、抬起左臂、抬起右臂、抬起雙臂、抬起右腿、抬起左腿),利用OpenPose框架平臺,設(shè)定關(guān)節(jié)的軌跡作為神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)進行訓(xùn)練,得到可靠的評價模型;結(jié)果步行與抬腿的測試識別準確率均在95%,證實基于深度學(xué)習(xí)的運動功能評估模型的可行性。Shi等[23]利用OpenPose技術(shù)把運動功能評估轉(zhuǎn)化為關(guān)節(jié)軌跡的模式回歸問題,應(yīng)用傅里葉變換對軌跡進行歸一化,通過回歸模型來評估運動質(zhì)量,以專業(yè)人士評分為標準,誤差為0.331。Li等[24]則利用 OpenPose技術(shù)計算人體搖晃時壓力中心軌跡,與測力板的數(shù)據(jù)進行相關(guān)性和誤差比較,結(jié)果表明OpenPose可能成為臨床平衡評估的替代方式?？梢奜penPose數(shù)據(jù)可計算多種運動指標從而實現(xiàn)便捷的功能評估,解決量表評估過于主觀的問題。

3.1.3 跌倒預(yù)測與步態(tài)評估 為提升跌倒預(yù)測的準確性,不少研究聚焦于建立基于OpenPose技術(shù)的跌倒檢測模型;此類研究通常涵蓋肢體動作分類,可區(qū)分不同動作,也可定義不同的參數(shù)指標定量判斷[25-26]。例如,采取髖關(guān)節(jié)中心下降速度、人體外部矩形寬高比、偏轉(zhuǎn)角度和脊柱比例等來區(qū)分跌倒與其他狀態(tài)[27- 29]。黃展原等[25]利用OpenPose技術(shù)構(gòu)建靜態(tài)與動態(tài)數(shù)據(jù)分類模型,并在3個公共摔倒數(shù)據(jù)集上進行檢測。結(jié)果顯示動、靜態(tài)數(shù)據(jù)的檢測率分別為76.3%、84.5%,這提示OpenPose在檢測動態(tài)動作時準確度下降;而Linc等[26]的跌倒預(yù)測模型不同之處在于,把關(guān)鍵點坐標原點從左上角調(diào)至人體中心進行相對歸一化處理,使該模型的準確率達98.2%。Chen等[28]則研究跌倒后的站立情況,以判斷是否需要發(fā)出警報求助。由此,在居家康復(fù)時,醫(yī)生通過視頻就可進行個案跌倒風(fēng)險評估。

步態(tài)也是康復(fù)關(guān)注的重點。步態(tài)參數(shù)已被用于預(yù)測老年人跌倒風(fēng)險和評估康復(fù)治療效果[30],故也有諸多研究探索OpenPose技術(shù)用于步態(tài)檢測,其中第一步皆是提取步態(tài)周期。Takeda等[31]進行正常步態(tài)、固定踝關(guān)節(jié)和模擬下肢功能障礙測試;在正常步態(tài)測定髖膝踝角度一致的基礎(chǔ)上,研究穿戴踝足矯形器或拄著拐杖是否會影響OpenPose的識別能力;結(jié)果顯示整個步態(tài)周期踝關(guān)節(jié)的ICC為0.75,高于未固定狀態(tài),證實該方法適用于步態(tài)障礙患者。另有研究結(jié)合OpenPose技術(shù)與三維坐標,通過提取踏頻或步態(tài)偏差指數(shù)也可識別異常步態(tài)[32-33]。此外,Stenum等[34]利用OpenPose數(shù)據(jù),比較不同攝像機估計的步態(tài)時空參數(shù),換算參數(shù)的同步性,為自動化步態(tài)分析提供流程。以上證實OpenPose能直接從視頻中分析步態(tài)。

對于跌倒檢測,當(dāng)前研究主要通過換算OpenPose所得數(shù)據(jù),定義不同的指標以驗證跌倒預(yù)測模型的可靠性;而對于步態(tài)分析,OpenPose除了換算時空參數(shù)識別異常步態(tài),更是進階實現(xiàn)自動化步態(tài)分析流程。

3.1.4 傳統(tǒng)體育康復(fù)評估 除現(xiàn)代康復(fù)手段外,OpenPose在中醫(yī)傳統(tǒng)體育康復(fù)中也有所體現(xiàn)。蘇波等[35]為實現(xiàn)自動化評估八段錦,利用OpenPose構(gòu)造出融合位置、角度和速度的特征矢量,以動態(tài)時間規(guī)整算法的序列為對比,結(jié)果具有同步性,在KTH數(shù)據(jù)集上的動作識別準確率達到96.7%。Liu等[36]通過OpenPose萃取出太極拳關(guān)節(jié)運動軌跡特征,并以專家評分為衡量標準,結(jié)果能準確識別不同熟練程度的太極拳動作;另有研究利用OpenPose教學(xué)與評估五禽戲動作規(guī)范程度,以促進青少年體育運動熱情[37]。在傳統(tǒng)體育康復(fù)方面,OpenPose當(dāng)前集中在動作識別的準確性上,在此基礎(chǔ)上判斷熟練程度,同時也可與其它技術(shù)交互搭載,促進傳統(tǒng)運動的推廣。

3.2 康復(fù)訓(xùn)練中的應(yīng)用 OpenPose可大量擷取準確的肢體的動態(tài)軌跡,這有助于形成康復(fù)訓(xùn)練系統(tǒng)或云端平臺,使得訓(xùn)練效果更臻完善?？祻?fù)系統(tǒng)與云平臺的區(qū)別在于,系統(tǒng)聚焦于特定功能的康復(fù)訓(xùn)練或搭載少量技術(shù);而平臺則是在互聯(lián)網(wǎng)的基礎(chǔ)上連接前端與后端,除訓(xùn)練外還包括康復(fù)咨詢、評估、以及康復(fù)訊息的推薦,往往搭載多種其它技術(shù),互動性強;另外各自選取的動作搭建模型不同,但目前選取的動作皆為較偏簡單的康復(fù)動作。

3.2.1 借助康復(fù)系統(tǒng)指導(dǎo)訓(xùn)練 針對中風(fēng)康復(fù),肖琳琳[38]檢測OpenPose識別和判斷病人康復(fù)動作的能力,選擇10人完成弓步壓腿、下蹲、抬腿、曲肘抬臂、抬臂與前下腰6組動作,每個動作的識別率在90%以上,準確性最低為93%,證實可有效地識別且判斷動作準確性。王懷宇[16]針對上肢功能障礙設(shè)計的智能康復(fù)系統(tǒng)以O(shè)penPose技術(shù)先形成主動康復(fù)訓(xùn)練標準動作參數(shù),在患者訓(xùn)練時,從數(shù)據(jù)庫中讀取標準動作參數(shù),以交互的方式指導(dǎo)患者居家訓(xùn)練,此軟件主要服務(wù)于患者,更進一步針對肩部骨架研制外骨骼康復(fù)機器人讓患者自主使用手扶隨動訓(xùn)練架完成訓(xùn)練,可實現(xiàn)OpenPose技術(shù)與康復(fù)機器人的融合。Yan[39]為深入研究運動康復(fù)訓(xùn)練,在OpenPose融合康復(fù)機器人指導(dǎo)手部康復(fù)運動訓(xùn)練中搭載虛擬現(xiàn)實場景,實現(xiàn)三重融合。

3.2.2 借助康復(fù)云平臺指導(dǎo)訓(xùn)練 相對于系統(tǒng),平臺覆蓋面更廣。唐心宇[10]融合OpenPose和Kinect,綜合運用虛擬環(huán)境、機器學(xué)習(xí)、云平臺等設(shè)計情景交互式康復(fù)訓(xùn)練平臺,使用OpenPose計算運動角度、幅度進行康復(fù)評定,通過互聯(lián)網(wǎng)搭建高效的康復(fù)數(shù)據(jù)管理平臺,真正實現(xiàn)實時監(jiān)控。劉亞楠[40]將OpenPose技術(shù)同時運用在識別動作和規(guī)范患者姿勢上,設(shè)計具備康復(fù)咨詢、評估、訓(xùn)練指導(dǎo)、反饋的全套流程平臺,選取了肘關(guān)節(jié)曲伸、上抬以及腿部彎曲等動作進行系統(tǒng)測試,20次測試均評判穩(wěn)定,即可準確識別動作并測量角度。此外,還有研究可根據(jù)用戶既往的測試結(jié)果計算并提供個性化的康復(fù)方案[21]?？祻?fù)云平臺可關(guān)注康復(fù)訓(xùn)練的全過程,OpenPose技術(shù)促進了康復(fù)云平臺的形成,有助于優(yōu)化康復(fù)過程與效果。

3.3 康復(fù)遠程監(jiān)測 各種輔助治療手段在康復(fù)過程中應(yīng)用備受關(guān)注。研究顯示互動游戲可將提高康復(fù)率15%[41]。據(jù)此,Shapoval等[42]利用互動游戲平臺,為老年人提供有效康復(fù)和支持;該平臺以O(shè)penPose技術(shù)實時跟蹤訓(xùn)練者身體位置,并同時顯示相關(guān)數(shù)據(jù),實現(xiàn)監(jiān)督訓(xùn)練與數(shù)據(jù)分析同步。結(jié)果顯示,基于此平臺的訓(xùn)練效果優(yōu)于常規(guī)訓(xùn)練,提示OpenPose技術(shù)在居家康復(fù)中的使用潛力。另外,Tong等[43]根據(jù)OpenPose技術(shù)結(jié)合改進的雙流網(wǎng)絡(luò)相,提出以康復(fù)動作識別網(wǎng)絡(luò)監(jiān)測中風(fēng)康復(fù)患者訓(xùn)練行為的可行性。他們通過5個康復(fù)動作(雙手合十進行坐位、站位、坐位左右、站位左右移動、從坐到站)的幅度和角度變化,構(gòu)建了標準康復(fù)姿勢數(shù)據(jù)集,并與人類運動數(shù)據(jù)集和靜態(tài)數(shù)據(jù)集比較,結(jié)果康復(fù)動作識別準確率達100%,可監(jiān)測中風(fēng)病人康復(fù)恢復(fù)狀態(tài)。

OpenPose技術(shù)應(yīng)用于康復(fù)領(lǐng)域,多為識別人體關(guān)鍵點,通過關(guān)節(jié)軌跡、角度與步態(tài)參數(shù)等指標識別與分析運動狀態(tài)來實現(xiàn)動作評估與訓(xùn)練監(jiān)測。在康復(fù)評估方面,OpenPose技術(shù)需與其他標準評估對比,證明其可靠性;而在訓(xùn)練監(jiān)測方面,更關(guān)注的是對于康復(fù)動作的識別、學(xué)習(xí)及評價規(guī)范性,以提升患者進行自主訓(xùn)練意愿。然而在上述任務(wù)的相關(guān)研究中,應(yīng)用場景較為局限;此外,康復(fù)動作的選擇也較為貧乏,顯示這些方面仍有很大的研究空間。

4 限制與不足

盡管OpenPose技術(shù)已應(yīng)用在康復(fù)多方面,但其仍然存在許多亟待解決的問題:①自身的限制:基于大規(guī)模的數(shù)據(jù)采集,準確性雖高但計算復(fù)雜、時間長,且內(nèi)源性程序無法自主修改;②成像限制:OpenPose采集的圖像會受光線的影響而使得結(jié)果發(fā)生變化,在照明不良時可靠度降低[44];③ 相對位置限制:目前多數(shù)實驗采用固定的相對位置,距離過遠與遮擋過多會影響OpenPose識別性能,使得關(guān)節(jié)活動的定位失準,產(chǎn)生較大誤差[45];④ 精確度限制:雖可充分替代無標記式動作捕捉系統(tǒng),但在精確度上仍低于標記式動作捕捉系統(tǒng)[46];⑤實驗對象限制:目前多數(shù)研究選取健康年輕人的動作數(shù)據(jù),不具全面性,需擴充不同年齡層或功能障礙患者動作數(shù)據(jù)。

5 總結(jié)與展望

OpenPose自身的限制以及研究的不足,促使未來需要關(guān)注以下方面。首先需對運動參數(shù)以及攝像頭的配置問題進行深入研究;其次,對于OpenPose技術(shù)存在的測量誤差,需再對比黃金標準以確定誤差范圍,并且探索校準方式提高測量精度。例如,對于動態(tài)康復(fù)動作,應(yīng)開發(fā)OpenPose的校準技術(shù),以解決因相對距離變動引發(fā)關(guān)鍵點間距離變動的誤差;再次,在實際應(yīng)用場景開展利用OpenPose技術(shù)進行康復(fù)評定、指導(dǎo)的臨床試驗,需增加老年人或病患為研究對象的研究反饋;再者,目前已證實OpenPose在2D關(guān)節(jié)估計具有足夠的精度,但從物理治療的角度來看,人體的運動更傾向于3D模式,故探討OpenPose或其改進模型采集3D信息具有必要性。最后,OpenPose技術(shù)可融合其它技術(shù)開展多方面研究。如結(jié)合表面肌電觀察肌肉、足底壓力、氣體分析儀、腦電等。未來在康復(fù)發(fā)展大趨勢下,OpenPose或其進階技術(shù)將為實現(xiàn)康復(fù)全覆蓋,提升健康保障作出貢獻。