劉 丹， 王 鑫， 片錦香

(沈陽建筑大學(xué) a. 理學(xué)院， b. 信息與控制工程學(xué)院， 沈陽 110168)

基于李代數(shù)的人體手臂慣性動作捕捉算法*

劉 丹a， 王 鑫b， 片錦香b

(沈陽建筑大學(xué) a. 理學(xué)院， b. 信息與控制工程學(xué)院， 沈陽 110168)

為了實現(xiàn)實時人體手臂動作捕捉，提出了一種利用慣性傳感器實現(xiàn)人體手臂動作捕捉的方法.利用慣性測量單元(IMU)解算出的四元數(shù)信息，得到手臂腕部、肘部和肩部關(guān)節(jié)點的位置.將慣性數(shù)據(jù)通過藍(lán)牙無線通信方法傳到上位機(jī).采用具有毫米級動作捕捉精度的OptiTrack光學(xué)動作捕捉設(shè)備，得到人體手臂的位置數(shù)據(jù)，并將其作為基準(zhǔn)位置數(shù)據(jù).將IMU坐標(biāo)系下解算出的位置信息變換到OptiTrack坐標(biāo)系下進(jìn)行對比.結(jié)果表明，該方法適用于自由活動環(huán)境下的動作跟蹤，具有較高的動作捕捉精度.

手臂動作捕捉； 李代數(shù)； 扭轉(zhuǎn)和指數(shù)映射； 慣性測量單元； OptiTrack光學(xué)動作捕捉； 運動力學(xué)鏈； 四元數(shù)； 藍(lán)牙通信

實時人體動作捕捉可以應(yīng)用到運動員的日常訓(xùn)練與相應(yīng)的生物醫(yī)療領(lǐng)域，諸如臨床步態(tài)分析、腿部關(guān)節(jié)復(fù)原和老年人活動監(jiān)測等.常見的動作捕捉方法包括機(jī)械捕捉、磁力捕捉和光學(xué)式捕捉.相對而言，利用慣性測量單元(IMU)在自由環(huán)境中進(jìn)行人體動作捕捉更為方便.隨著微機(jī)電系統(tǒng)的發(fā)展，慣性傳感器的體積越來越小，而采樣精度越來越高[1-2].IMU由三軸加速計、三軸陀螺儀和三軸磁力計構(gòu)成，具有體積小、攜帶方便、便于穿戴、功耗低、動態(tài)特性好等優(yōu)點，可在自由活動環(huán)境下進(jìn)行人體動作捕捉，因而可在日常生活環(huán)境中為使用者，尤其是老年人，提供長期且精確的活動監(jiān)測.即使在快速運動條件下，可穿戴慣性傳感器捕捉方法仍然能夠捕捉到肢體的運動信息，且可以明顯提高捕捉系統(tǒng)的性能[3].然而，慣性傳感器的內(nèi)在缺陷，諸如傳感器自身的量化噪聲、角速度和加速度隨機(jī)游走、零偏不穩(wěn)定性與表皮軟組織噪聲等，均會給傳感器的測量造成很大影響.同時，外界環(huán)境的變化(如周圍磁場強(qiáng)度的變化)也會降低IMU的測量精度.

人體由軀干、頭部、上肢、下肢等部分構(gòu)成[4].與人體其他部分相比，肢體部分動作更為復(fù)雜，自由度更高.人的上肢和下肢部分具有相似的結(jié)構(gòu)，但相對而言，上肢的動作具有更高的自由度和更復(fù)雜的動作過程[5-6].為此，本文提出一種利用慣性傳感器來捕捉上肢動作的方法.近幾年，很多學(xué)者開始研究基于慣性傳感器的人體動作捕捉方法.有學(xué)者提出利用Denavit-Hartenberg方法研究關(guān)節(jié)角度問題[7].在文獻(xiàn)[8]中，將人體手臂動作建模為運動力學(xué)鏈?zhǔn)侥Ｐ?，利用慣性傳感器可將小臂和大臂的方向信息和位置信息同時估計出來.在以往多數(shù)動作捕捉方法中，手臂的多個關(guān)節(jié)點位置信息是單獨計算出來的，鮮有考慮運動力學(xué)鏈中的鏈?zhǔn)郊s束問題，因而降低了位置估計精度，并導(dǎo)致現(xiàn)有的人體動作捕捉方法無法在自由活動環(huán)境中實現(xiàn)對人體動作的長期捕捉.

本文提出一種適合在日常環(huán)境中捕捉人體上肢動作的可穿戴IMU捕捉方法.將IMU分別綁在人體的上肢肩關(guān)節(jié)、肘關(guān)節(jié)和腕關(guān)節(jié)處，從而捕捉人體上肢運動時各關(guān)節(jié)的方向信息.在此基礎(chǔ)上，本文提出一種基于李代數(shù)的位置估計方法，利用李代數(shù)中的扭轉(zhuǎn)和指數(shù)映射，將四元數(shù)方向估計值映射為位置估計值.為了驗證本文提出的動作捕獲方法的應(yīng)用效果，利用OptiTrack光學(xué)動作捕捉設(shè)備進(jìn)行相應(yīng)的測試.

1 模型的建立

人體的上肢可以建模為運動力學(xué)鏈?zhǔn)侥Ｐ?該模型由手部、小臂和大臂3個剛體部分組成，并由肩關(guān)節(jié)、肘關(guān)節(jié)和腕關(guān)節(jié)3個關(guān)節(jié)鏈接起來.該模型共有7個自由度，其中：肩關(guān)節(jié)有3個自由度，肘關(guān)節(jié)和腕關(guān)節(jié)各有2個自由度.在動作捕捉系統(tǒng)中，3個IMU分別放置在肩部、肘部和腕部關(guān)節(jié)附近.

2 基于李代數(shù)的動作捕捉

坐標(biāo)系的旋轉(zhuǎn)可以通過旋轉(zhuǎn)矩陣、歐拉角和四元數(shù)3種方法進(jìn)行表示.與傳統(tǒng)的歐拉角表示法相比，四元數(shù)法不受奇異值的限制；與旋轉(zhuǎn)矩陣法相比，四元數(shù)法只用4個元素即可表示坐標(biāo)系的旋轉(zhuǎn)，從而可以提高計算效率，因此，本文采用四元數(shù)法來表示坐標(biāo)系的旋轉(zhuǎn).四元數(shù)是最簡單的超復(fù)數(shù)，所有的四元數(shù)都是由實數(shù)和3個復(fù)數(shù)元素構(gòu)成的.四元數(shù)代表了一個四維空間，其表達(dá)式為

q=q0+q1i+q2j+q3k

(1)

式中：i、j和k為歐式空間的標(biāo)準(zhǔn)正交基；q0為四元數(shù)中的標(biāo)量；(q1，q2，q3)T為四元數(shù)中的方向矢量.

本文中的四元數(shù)為單位四元數(shù)，可以表示為

q=(cos(θ/2)，λcos(θ/2))

(2)

式中：λ為坐標(biāo)系的旋轉(zhuǎn)軸矢量；θ為圍繞旋轉(zhuǎn)軸旋轉(zhuǎn)的角度.

通過式(2)可以推得

θ=2cos-1q0

(3)

(4)

沙勒原理[9]指出，剛體運動可以分解為旋轉(zhuǎn)和平移.假定Pab為B坐標(biāo)系原點相對于A坐標(biāo)系原點的位移矢量；rab為B坐標(biāo)系相對于A坐標(biāo)系的旋轉(zhuǎn)矩陣.B坐標(biāo)系相對于A坐標(biāo)系的位置和方向可以用二元組來表示，即

(5)

式中：I為單位矩陣；SE(3)與SO(3)為相應(yīng)的矩陣空間；R為實數(shù)空間.

如果qa、qb為Q點在坐標(biāo)系A(chǔ)和B下的坐標(biāo)，當(dāng)給定qb時，就能通過線性變換得到qa，即

qa=Pab+rabqb

(6)

在齊次坐標(biāo)系下，可以得到相應(yīng)的表達(dá)式為

(7)

每個齊次矩陣均對應(yīng)著一個扭轉(zhuǎn)矩陣，且該扭轉(zhuǎn)矩陣定義為

(8)

在齊次坐標(biāo)系下，相應(yīng)變量定義為

(9)

(10)

式中：w為四元數(shù)的投影矩陣；w1、w2和w3分別為扭轉(zhuǎn)部分在x、y、z三個軸向上的投影.可以采用扭轉(zhuǎn)指數(shù)形式來將se(3)映射到SE(3)，即

(11)

(12)

3 空間直角坐標(biāo)系的參數(shù)變換

為了驗證慣性動作捕捉的準(zhǔn)確性，采用OptiTrack光學(xué)動作捕捉設(shè)備進(jìn)行驗證.在驗證過程中，需要對慣性坐標(biāo)系和OptiTrack坐標(biāo)系進(jìn)行統(tǒng)一.本文采用的方法是將慣性坐標(biāo)系下解算出的關(guān)節(jié)點坐標(biāo)變換到OptiTrack坐標(biāo)系下所對應(yīng)的位置.需要確定的參數(shù)包括尺度因子K0、旋轉(zhuǎn)矩陣r和平移向量T.

3.1 尺度因子K0

(13)

3.2 旋轉(zhuǎn)矩陣r

定義一個新的坐標(biāo)系P1-xyz，即P1作為該坐標(biāo)系的原點，坐標(biāo)系如圖1所示.向量P1P2作為x軸方向.經(jīng)正交化后，可以得到向量P1P4=(a1，b1，c1)；向量P1P5=(a2，b2，c2).同理，可以得到向量P1P6=(a3，b3，c3).由于P1P4和P1P6是正交的單位向量，因此，二者的叉乘結(jié)果P1P5仍為正交的單位向量.在P1-xyz坐標(biāo)系中，P1P4、P1P5和P1P6分別為x、y、z方向的單位向量.

圖1 P1-xyz 坐標(biāo)系Fig.1 P1-xyz coordinate system

坐標(biāo)系P1-xyz與o-xyz坐標(biāo)系間的旋轉(zhuǎn)矩陣rop1可以表示為

(14)

(15)

3.3 平移向量T

(16)

4 結(jié)果與分析

本文采用集成了三軸加速計、三軸陀螺儀、三軸磁力計的慣性測量單元(IMU)進(jìn)行了相應(yīng)測試，采樣頻率為100Hz.在實驗過程中，利用IMU采集人體的上肢運動信息，具體包括x、y和z方向的加速度、角速度、磁場強(qiáng)度和四元數(shù).再通過藍(lán)牙將上述運動信息傳輸至上位機(jī)，通過扭轉(zhuǎn)和指數(shù)映射得到幀與幀間坐標(biāo)系的位置和方向關(guān)系.為了驗證IMU電路板采集人體姿態(tài)數(shù)據(jù)的精度，采用具有毫米級精度的OptiTrack光學(xué)動作捕捉設(shè)備進(jìn)行相應(yīng)測試，且在房間的不同角落安置了6個攝像頭.以O(shè)ptiTrack光學(xué)動作捕捉設(shè)備得到的肢體位置為基準(zhǔn)，對IMU還原的人體上肢動作進(jìn)行了誤差分析，從而驗證扭轉(zhuǎn)和指數(shù)映射用于人體動作捕捉的可行性.

在IMU的動作捕捉誤差分析中，需要對齊IMU和OptiTrack解算出的位置信息，在實現(xiàn)過程中涉及到的表達(dá)式為

(17)

式中：k=1、2、3分別為肩關(guān)節(jié)、肘關(guān)節(jié)和腕關(guān)節(jié)；P(k)i為慣性坐標(biāo)系下位置坐標(biāo)序列中點i的坐標(biāo)；P(k)j為OptiTrack坐標(biāo)系下位置坐標(biāo)序列中點j的坐標(biāo)；sk為相應(yīng)的權(quán)重系數(shù)，設(shè)定s1=0.6、s2=0.3、s1=0.1.

圖2～4分別為腕部關(guān)節(jié)、肘部關(guān)節(jié)和肩部關(guān)節(jié)的位置估計誤差.由圖2可見，腕部關(guān)節(jié)在x方向和z方向的估計誤差出現(xiàn)了一些噪點，這是由于動作過程產(chǎn)生了局部軟組織噪聲的緣故.總體而言，肩部關(guān)節(jié)的估計誤差最低，其次是肘部關(guān)節(jié)，最后是腕部關(guān)節(jié).這是因為本文采用的是運動力學(xué)鏈?zhǔn)侥Ｐ停蚨腹?jié)點的誤差會累積到子節(jié)點上.若以O(shè)ptiTrack坐標(biāo)系作為基準(zhǔn)，則肩部關(guān)節(jié)坐標(biāo)的相關(guān)系數(shù)是0.91，肘部關(guān)節(jié)坐標(biāo)的相關(guān)系數(shù)是0.79，腕部關(guān)節(jié)坐標(biāo)的相關(guān)系數(shù)是0.7.

圖2 腕部關(guān)節(jié)點的位置估計誤差Fig.2 Estimated position error of wrist joint

圖3 肘部關(guān)節(jié)點的位置估計誤差Fig.3 Estimated position error of of elbow joint

圖4 肩部關(guān)節(jié)點的位置估計誤差Fig.4 Estimated position error of of shoulder joint

5 結(jié) 論

基于李代數(shù)中的扭轉(zhuǎn)和指數(shù)映射方法，利用慣性測量單元(IMU)得到坐標(biāo)系旋轉(zhuǎn)軸和圍繞該軸旋轉(zhuǎn)的角度值，通過指數(shù)方式映射到SE(3)空間中，得到幀與幀之間的坐標(biāo)系對應(yīng)關(guān)系.利用OptiTrack光學(xué)動作捕捉設(shè)備，還原人體的動作過程，并捕捉肩部關(guān)節(jié)、肘部關(guān)節(jié)和腕部關(guān)節(jié)的位置信息.將IMU坐標(biāo)系下采集到的數(shù)據(jù)轉(zhuǎn)換到OptiTrack坐標(biāo)系下，并以O(shè)ptiTrack光學(xué)動作捕捉設(shè)備采集到的位置信息為基準(zhǔn)，驗證了IMU指數(shù)映射還原人體動作過程的精度.結(jié)果表明，慣性動作捕捉算法適用于自由活動環(huán)境下的動作跟蹤，且捕捉精度較高.

[1]Zhou H，Hu H，Harris N.Application of wearable inertial sensors in stroke rehabilitation [C]//27th Annual International Conference of the Engineering in Medicine and Biology Society.Shanghai，China，2005：6825-6828.

[2]Chen X，Zhang J，Hamel W R，et al.An inertial-based human motion tracking system with twists and exponential maps [C]//Proceedings of IEEE International Conference on Robotics and Automation.Hong Kong，China，2014：5665-5670.

[3]楊洋，楊理踐，董梅.管道地理坐標(biāo)測量中低精度 IMU初始對準(zhǔn)技術(shù) [J].沈陽工業(yè)大學(xué)學(xué)報，2013，35(6)：687-691.

(YANG Yang，YANG Li-jian，DONG Mei.Initial alignment technique for IMU with low accuracy in geographical coordinate measurement of pipeline [J].Journal of Shenyang University of Technology，2013，35(6)：687-691.)

[4]田國會，尹建芹，韓旭，等.一種基于關(guān)節(jié)點信息的人體行為識別新方法 [J].機(jī)器人，2014，36(3)：285-292.

(TIAN Guo-hui，YIN Jian-qin，HAN Xu，et al.A novel activity recognition method using joint points information [J].Robot，2014，36(3)：285-292.)

[5]王東巖，李慶玲，杜志江，等.5 DOF 穿戴式上肢康復(fù)機(jī)器人控制方法研究 [J].哈爾濱工業(yè)大學(xué)學(xué)報，2007，39(9)：1383-1387.

(WANG Dong-yan，LI Qing-ling，DU Zhi-jiang，et al.Control method of a 5 DOF wearable rehabilitation robot for upper limb [J].Journal of Harbin Institute of Technology，2007，39(9)：1383-1387.)

[6]胡曦，李喆，劉軍.移動Ad hoc網(wǎng)絡(luò)中基于鏈路穩(wěn)定性預(yù)測的按需路由協(xié)議 [J].電子與信息學(xué)報，2010，32(2)：284-289.

(HU Xi，LI Zhe，LIU Jun.A link stability prediction-based on-demand routing protocol in mobile Ad hoc networks [J].Journal of Electronics & Information Technology，2010，32(2)：284-289.)

[7]El-Gohary M，Holmstrom L，Huisinga J，et al.Upper limb joint angle tracking with inertial sensors [C]//33rd Annual International Conference of the IEEE Engineering in Medicine and Biology Society.Boston，USA，2008：1068-1071.

[8]Zhu R，Zhou Z.A real-time articulated human motion tracking using tri-axis inertial/magnetic sensors package [J].IEEE Transactions on Neural Systems and Rehabilitation Engineering，2004，12(2)：295-302.

[9]Saab L，Ramos O，Keith F，et al.Dynamic whole-body motion generation under rigid contacts and other uni-lateral constraints [J].IEEE Transactions on Robotics，2013，29(2)：346-362.

(責(zé)任編輯：尹淑英 英文審校：尹淑英)

Inertial motion tracking algorithm for human arm based on Lie algebra

LIU Dana, WANG Xinb, PIAN Jin-xiangb

(a. School of Science, b. Information & Control Engineering Faculty, Shenyang Jianzhu University, Shenyang 110168, China)

In order to realize the real time tracking of human arm motion, a method for realizing the tracking of human arm motion with an inertial sensor was proposed. With the quaternion information obtained by the inertial measurement unit (IMU), the joint positions of wrist, elbow and shoulder were obtained. The inertial data were transmitted to a host computer through bluetooth wireless communication method. Through adopting the OptiTrack optical motion tracking device with millimeter level motion tracking accuracy, the position data of human arm were obtained and taken as the reference position data. The position information in the IMU coordinate system was transformed into the information in the OptiTrack coordinate system for comparison. The results show that the proposed method is suitable for the motion tracking in the free motion environment, and has higher motion tracking accuracy.

arm motion tracking; Lie algebra; twist and exponential mapping; inertial measurement unit (IMU); OptiTrack optical motion tracking; kinematics chain; quaternion; bluetooth communication

2015-12-15.

國家自然科學(xué)基金資助項目(61440004).

劉 丹(1978-)，女，遼寧錦州人，講師，碩士，主要從事組合數(shù)學(xué)與智能算法等方面的研究.

16∶06在中國知網(wǎng)優(yōu)先數(shù)字出版.

http：∥www.cnki.net/kcms/detail/21.1189.T.20160907.1606.004.html

10.7688/j.issn.1000-1646.2017.01.14

TN 92

A

1000-1646(2017)01-0073-05