瞿 暢 丁 晨 王君澤* 高 瞻

1(南通大學(xué)機械工程學(xué)院，南通 226019)2(南通大學(xué)計算機科學(xué)與技術(shù)學(xué)院，南通 226019)

基于Kinect體感交互技術(shù)的上肢關(guān)節(jié)活動度測量方法

瞿 暢1丁 晨1王君澤1*高 瞻2

1(南通大學(xué)機械工程學(xué)院，南通 226019)2(南通大學(xué)計算機科學(xué)與技術(shù)學(xué)院，南通 226019)

體感交互技術(shù)；Kinect；人體上肢；關(guān)節(jié)活動度；測量方法

引言

在康復(fù)醫(yī)學(xué)中，為了確定有無關(guān)節(jié)活動障礙及障礙程度，為給選擇治療方法提供參考，需要進行關(guān)節(jié)活動度(range of motion，ROM)評定。關(guān)節(jié)活動度評定，是指運用一定的工具測量特定體位下關(guān)節(jié)的最大活動范圍，從而對關(guān)節(jié)的功能做出判斷。關(guān)節(jié)活動度測量是進行關(guān)節(jié)活動度評定的重要手段。

傳統(tǒng)的測量方法是采用通用量角器、方盤量角器以及電子量角器等測量工具進行測量。用傳統(tǒng)測量工具進行關(guān)節(jié)活動度測量必須嚴(yán)格操作，專業(yè)性要求高。且量角器活動臂、固定臂和旋轉(zhuǎn)中心放置位置的準(zhǔn)確性，因肢體軟組織的形態(tài)變化而受到不同程度的影響[1]。胡等利用數(shù)碼照相機拍攝關(guān)節(jié)活動姿態(tài)，直接在圖像上度量出關(guān)節(jié)活動角度[2]。由于數(shù)碼相機的存儲卡容量有限，在拍攝一定數(shù)量的照片后需要取出存儲卡將數(shù)據(jù)傳輸?shù)接嬎銠C，在測量的實時性與便捷性上存在一定問題。張等分別基于三維攝像測量系統(tǒng)[3]和電磁跟蹤系統(tǒng)[4-5]進行人體上肢運動測量。王等基于激光CCD利用激光三角法原理測量關(guān)節(jié)活動度[6]。無論是三維攝像測量系統(tǒng)、電磁跟蹤系統(tǒng)或是激光CCD系統(tǒng)，都需要在軟硬件上進行較大的投入。Antonio等通過使用便攜式傳感器(如加速度傳感器，陀螺測試儀以及磁力儀)與Kinect傳感器對人體關(guān)節(jié)運動角度進行測量，探討了各類傳感器在人體測量中的差異，初步驗證了Kinect用于人體關(guān)節(jié)角度測量的可行性[7]。

本研究提出了一種基于Kinect的上肢活動度測量方法。該方法無需使用其他設(shè)備，只需通過Kinect傳感器對人體上肢各關(guān)節(jié)進行位置捕捉，實時記錄關(guān)節(jié)節(jié)點數(shù)據(jù)并傳至計算機，通過研究運動平面檢測等相關(guān)算法，計算出相應(yīng)關(guān)節(jié)的活動度并反饋測量結(jié)果，從而自動完成測量。

1 原理與方法

1.1測量原理

Kinect體感設(shè)備共有3個攝像頭(見圖1)，中間是RGB彩色攝像頭，左右兩邊分別為紅外線發(fā)射器和紅外線CMOS攝像頭。Kinect搭配了追焦技術(shù)，底座馬達會隨著對焦物體的移動而轉(zhuǎn)動。Kinect內(nèi)置麥克風(fēng)陣列，用于語音識別。Kinect主要有3個功能：3 D影像偵測、人體骨架追蹤以及音頻處理。Kinect對用戶進行動態(tài)捕捉和語音輸入，通過影像和語音辨識，轉(zhuǎn)換到骨架追蹤系統(tǒng)，與應(yīng)用程序進行交互，從而完成整個系統(tǒng)的工作目標(biāo)。

圖1 Kinect傳感器Fig.1 Kinect Sensor

測量時，Kinect傳感器利用紅外線發(fā)射器發(fā)出的連續(xù)光照射在用戶的被測量處，通過紅外線CMOS攝像頭記錄測量空間的每一個散斑，結(jié)合這些散斑數(shù)據(jù)，對測量空間進行編碼。如圖2所示，Kinect傳感器中的感應(yīng)器讀取編碼的光線，由Kinect傳感器中的芯片運算進行解碼，生成所需的上肢關(guān)節(jié)的彩色圖像數(shù)據(jù)、骨架數(shù)據(jù)和深度圖像數(shù)據(jù)。Kinect傳感器把獲取的上肢關(guān)節(jié)彩色圖像數(shù)據(jù)、骨架數(shù)據(jù)以及深度圖像數(shù)據(jù)，通過USB接口傳遞給計算機的自然用戶界面(natural user interface，NUI)，數(shù)據(jù)庫中的應(yīng)用程序編程接口(application program interface，API)，程序通過此接口獲取這些數(shù)據(jù)，并進行判定和計算，及時反饋出上肢關(guān)節(jié)活動度信息。

圖2 測量原理Fig.2 Principle of measurement

1.2測量方法

肩部與肘部關(guān)節(jié)活動度測量，包含了肩關(guān)節(jié)屈曲/伸展、肩關(guān)節(jié)內(nèi)收/外展以及肘關(guān)節(jié)屈曲/伸展等科目。Kinect傳感器可以捕捉肩關(guān)節(jié)和肘關(guān)節(jié)的節(jié)點數(shù)據(jù)，調(diào)用NUI的API函數(shù)可以獲取手臂骨架數(shù)據(jù)，由此可以進行肩、肘部關(guān)節(jié)活動度的測量。在每個科目中，用戶根據(jù)提示確定測量的初始體位，執(zhí)行上肢運動。當(dāng)執(zhí)行動作與測量要求不符時，系統(tǒng)報錯并對用戶進行動作糾正，幫助用戶更好地完成科目測量。

1.2.1關(guān)節(jié)角度測量與計算

利用Kinect for Windows SDK中NUI的API函數(shù)可獲取骨架節(jié)點數(shù)據(jù)，得到上肢各關(guān)節(jié)的空間坐標(biāo)點。如圖3所示，Pm和Pn是相鄰關(guān)節(jié)的節(jié)點，坐標(biāo)分別為(X(Pm)，Y(Pm)，Z(Pm))和(X(Pn)，Y(Pn)，Z(Pn))。連接點Pm、Pn的矢量A在X、Y和Z方向的分量為AX、AY和AZ。

圖3 關(guān)節(jié)點空間矢量圖Fig.3 Space Vector Diagram of Joints

測量時，患者的體位一般是正對、側(cè)對或背對Kinect傳感器，而活動度通常是計算上肢所測關(guān)節(jié)部位與人體冠狀面(與XOY面平行)、矢狀面(與YOZ面平行)或軸向面(與XOZ面平行)的夾角。根據(jù)空間幾何關(guān)系，可以分別求解出A與XOY、YOZ和XOZ平面的夾角α、β和θ，即A分別與AX+AY、AY+AZ和AX+AZ矢量的夾角

(1)

肩關(guān)節(jié)與肘關(guān)節(jié)、肘關(guān)節(jié)與腕關(guān)節(jié)等相鄰節(jié)點可以視為Pm和Pn節(jié)點，由此可以進行人體上肢的關(guān)節(jié)活動度測量。

1.2.2運動平面檢測

上肢的關(guān)節(jié)活動度測量科目眾多，不同的科目都有不同的關(guān)節(jié)運動要求。在相關(guān)科目的測量過程中，肢體和關(guān)節(jié)在相應(yīng)的平面內(nèi)運動，獲得不同的關(guān)節(jié)活動角度。因此，需要針對不同的測量科目，進行相應(yīng)科目的運動平面檢測。

例如在進行肩關(guān)節(jié)外展/內(nèi)收的活動度測量時(見圖4)，理想的上肢運動平面為人體冠狀面(平面1)，其法線方向為Z軸方向，沿Z軸方向分別設(shè)置前邊界面(平面2)和后邊界面(平面3)，前邊界面和后邊界面均為人體冠狀面的平行面。對上肢關(guān)節(jié)點的深度值進行檢測，并由人機交互界面顯示檢測信息，提示受測者按規(guī)范要求測量。Kinect傳感器分別獲取肩關(guān)節(jié)點P0、肘關(guān)節(jié)點P1、腕關(guān)節(jié)點P2和中指指尖節(jié)點P3的深度值Z(P0)、Z(P1)、Z(P2)及Z(P3)，為確保實際測量時被測者上肢動作的準(zhǔn)確程度，同時又要避免產(chǎn)生明顯的測量誤差，設(shè)定平面2與平面3距平面1的距離均為L。當(dāng)Max(Z(P0)，Z(P1)，Z(P2)，Z(P3))- Min(Z(P0)，Z(P1)，Z(P2)，Z(P3))≤L時，上肢運動符合規(guī)范，可順利進行關(guān)節(jié)活動度測量；當(dāng)Max(Z(P0)，Z(P1)，Z(P2)，Z(P3))-Min(Z(P0)，Z(P1)，Z(P2)，Z(P3))>L時，上肢運動偏離規(guī)定范圍，系統(tǒng)報錯并糾正動作。為了保證測量時上肢執(zhí)行動作的精確度，平面2與平面3的距離(2L)應(yīng)不超出人體胸厚的范圍。根據(jù)中國成年人人體尺寸(GB/T 10000-1988)的人體胸厚尺寸，第一百分位的男性和女性胸厚尺寸為177 mm和159 mm，系統(tǒng)中男性的L值設(shè)定為90 mm，女性的L值設(shè)定為80 mm。

圖4 肩關(guān)節(jié)外展/內(nèi)收科目運動平面檢測Fig.4 Motion plane detection of shoulder’s abduction and adduction

1.2.3實驗方法

不同器械、不同方法測得的關(guān)節(jié)活動度值有差異，不宜互相比較[8]。為了驗證方法的準(zhǔn)確度，選擇了40位上肢活動無障礙的受測者進行試驗。受測者被隨機分為5組，分別進行肩關(guān)節(jié)外展、肩關(guān)節(jié)內(nèi)收、肩關(guān)節(jié)屈曲、肩關(guān)節(jié)伸展和肘關(guān)節(jié)屈曲這5項肩、肘活動度測量科目實驗。在各科目測量中，每組8人的測量結(jié)果取平均值為該測量組的值，該測量試驗實為對本系統(tǒng)精度的檢測試驗。在測量試驗中，設(shè)立目標(biāo)角度。受測者需按照要求將受測關(guān)節(jié)部位運動至相應(yīng)位置，與目標(biāo)角度的刻度線吻合。當(dāng)受測關(guān)節(jié)與刻度線重合時，系統(tǒng)會記錄下那一時刻計算得出的角度值，即測量角度。為了滿足該試驗的測量要求，受測者需要運動相應(yīng)的關(guān)節(jié)部位。隨著上肢的運動，通過獲取關(guān)節(jié)點數(shù)據(jù)實時獲取實際運動的角度，與目標(biāo)角度進行比較。

1.2.4統(tǒng)計分析方法

(2)

2 結(jié)果

根據(jù)上述關(guān)節(jié)活動度的測量原理與方法，開發(fā)了上肢關(guān)節(jié)活動度自動測量系統(tǒng)。圖5為右肩關(guān)節(jié)活動度測量界面，受測者正對Kinect傳感器的攝像頭，進行右肩關(guān)節(jié)活動度測量(界面顯示的是受測者的鏡像)。圖5左上方為骨架圖像窗口，顯示系統(tǒng)捕捉的受測者右臂及其肩關(guān)節(jié)點P0、肘關(guān)節(jié)點P1、腕關(guān)節(jié)點P2、中指指尖節(jié)點P3的位置。圖5右上方為彩色圖像窗口和深度圖像窗口，可以幫助受測者更好地掌握自身位置與姿態(tài)。圖5左下方為科目選項窗口，受測者可以在此窗口中自行選擇具體測量科目。測量過程中，受測者根據(jù)圖5右下方所示的提示與反饋窗口的信息，執(zhí)行符合系統(tǒng)要求的上肢運動。

圖5所示的受測者體位，適合于肩關(guān)節(jié)外展/內(nèi)收科目的測量。由于受測者的冠狀面平行于XOY平面，此時右肩關(guān)節(jié)外展活動度為連接點P0、P1的矢量與YOZ平面的夾角。若受測者按照提示與反饋窗口中的提示，變換體位或者重新勾選科目選項窗口中的科目，則可以進行其它相應(yīng)科目的測量，測量結(jié)果顯示在提示與反饋窗口中。

圖5 右肩關(guān)節(jié)活動度測量界面Fig.5 ROM measuring interface of right shoulder

表1 肩肘關(guān)節(jié)活動度各科目測量結(jié)果

3 討論

關(guān)節(jié)活動度測量臨床上多采用被動運動，但合并評價肌力時則測量主動運動角度。因此，臨床上以測量被動運動為主，必要時再測主動運動角度。本系統(tǒng)設(shè)置了被動測量和主動測量兩個模塊。由于單個Kinect傳感器可以一次識別兩人的運動，并可對人物分別進行標(biāo)定，所以在被動測量時可以方便地辨識受測者和醫(yī)療人員，滿足被動測量的要求。在主動測量中，只有受測者一人，僅需簡單地識別出受測者即可。

關(guān)節(jié)活動度的傳統(tǒng)測量中，測量工具原則上不能與人體受測部位產(chǎn)生相對偏移。但由于運動功能障礙患者在測量中常以代償運動來彌補測量部位的運動缺失，這就需要醫(yī)療人員熟悉各關(guān)節(jié)解剖和正?；顒臃秶炀氄莆諟y量技術(shù)。利用本方法測量時，當(dāng)患者關(guān)節(jié)位置因代償產(chǎn)生移動，本系統(tǒng)會自動刷新(30幀/s)骨架數(shù)據(jù)，獲取新的位置并進行角度計算，測量工作對醫(yī)療人員的專業(yè)技術(shù)水平要求較低，且測量結(jié)果較為精確可靠。

因為Kinect SDK目前尚不能捕捉手指關(guān)節(jié)點數(shù)據(jù)，所以本方法目前無法實現(xiàn)手指關(guān)節(jié)活動度測量。下一步的工作將重點研究利用Kinect傳感器獲取人體點云數(shù)據(jù)并進行處理，實現(xiàn)人體上肢全部關(guān)節(jié)、所有科目的活動度測量，并通過點云數(shù)據(jù)獲得更高的測量精度。

4 結(jié)論

本研究提出了一種利用Kinect體感交互技術(shù)進行人體上肢關(guān)節(jié)活動度測量的新方法，用戶通過Kinect傳感器和體感人機交互界面進行上肢關(guān)節(jié)活動度的測量，系統(tǒng)能實時記錄、計算及反饋關(guān)節(jié)活動度信息，并提示糾正用戶的不合理測量動作。該方法的測量精確度較高，測量操作簡便快捷，測量效率高。該方法使用設(shè)備簡單，成本低，只需一臺Kinect傳感器和個人計算機就可滿足要求，具有很好的應(yīng)用前景。

[1] 康宇華.關(guān)節(jié)活動范圍研究現(xiàn)狀[J].中國康復(fù)醫(yī)學(xué)雜志,2001,16(1):57-59.

[2] 胡海滔,李志忠,嚴(yán)京濱,等.關(guān)節(jié)活動度的照相測量方法[J].人類工效學(xué),2006,12(2):13-15.

[3] 劉龍.三維攝像測量系統(tǒng)在人體上肢運動分析中的應(yīng)用[D].天津:天津科技大學(xué),2003.

[4] 張建國,汪莉.基于電磁跟蹤系統(tǒng)的人體上肢ROM測量新方法[J].現(xiàn)代制造工程,2006,3:81-84.

[5] 汪莉,張建國.基于電磁跟蹤系統(tǒng)的人體上肢ROM測量改進研究[J].天津科技大學(xué)學(xué)報,2006,21(4):65-67.

[6] 王鑫. 基于激光CCD的人工關(guān)節(jié)測量系統(tǒng)的研究[D].重慶:重慶大學(xué),2008.

[7] Antonio PLB, Mitsuhiro H, Philippe P. Joint angle estimation in rehabilitation with inertial sensors and its integration with Kinect [C] //Proceedings of 33rd Annual International Conference of the IEEE Engineering in Medicine and-Biology Society (EMBS). Boston: IEEE, 2011:3479-3483.

[8] 成鵬,馬誠.實用社區(qū)康復(fù)指南[M].上海:第二軍醫(yī)大學(xué)出版社,2007:41-43.

[9] 李云雁,胡傳榮.試驗設(shè)計與數(shù)據(jù)處理[M].北京:化學(xué)工業(yè)出版社,2008:12-14.

[10] Alana DG, Thiago C, Lucas F,etal. Guidance and movement correction based on therapeutics movements for motor rehabilitation support systems [C] //Virtual and Augmented Reality (SVR). Rio Janiero: IEEE, 2012:191-200.

[11] Gotsis M, Lympouridis V, Turpin D,etal. Mixed reality game prototypes for upper body exercise and rehabilitation [C] //Virtual Reality Short Papers and Posters (VRW). Costa Mesa: IEEE, 2012:181-182.

[12] Tilak D. Evaluation of the Kinect sensor for 3-d kinematic measurement in the workplace [J]. Applied Ergonomics, 2011,43(4):1-5.

AMethodtoMeasuretheRangeofMotionofHumanUpperLimbsBasedonKinectSomatosensoryInteractionTechnology

QU Chang1DING Chen1WANG Jun-Ze1*GAO Zhan2

1(CollegeofMechanicalEngineering,NantongUniversity,Nantong226019,China)2(CollegeofComputerScienceandTechnology,NantongUniversity,Nantong226019,China)

somatosensory interaction technology; Kinect; human upper limbs; range of motion; measurement method

10.3969/j.issn.0258-8021. 2014. 01.003

2013-01-23，錄用日期：2013-12-13

國家自然科學(xué)基金 (61170171)；南通市科技公共服務(wù)平臺(DE2010003)；南通大學(xué)研究生科技創(chuàng)新計劃(YKC12062)

R496

A

0258-8021(2014) 01-0016-06

*通信作者。E-mail: wang.jz@ntu.edu.cn