倪 濤 趙泳嘉 張紅彥 劉香福 黃玲濤

(吉林大學(xué)機(jī)械科學(xué)與工程學(xué)院, 長春 130022)

基于Kinect動(dòng)態(tài)手勢識別的機(jī)械臂實(shí)時(shí)位姿控制系統(tǒng)

倪 濤 趙泳嘉 張紅彥 劉香福 黃玲濤

(吉林大學(xué)機(jī)械科學(xué)與工程學(xué)院, 長春 130022)

基于Kinect動(dòng)態(tài)手勢識別達(dá)到實(shí)時(shí)控制機(jī)械臂末端位姿的效果。位置控制信息的獲取采用Kinect計(jì)算手部4個(gè)關(guān)節(jié)點(diǎn)在控制中的位置變動(dòng)，數(shù)據(jù)噪聲在控制中易引起機(jī)械臂誤動(dòng)作和運(yùn)動(dòng)振動(dòng)等問題，為了避免噪聲對實(shí)時(shí)控制的不利影響，采用卡爾曼濾波跟蹤降噪。姿勢控制信息通過采集手部點(diǎn)云經(jīng)濾波處理后應(yīng)用最小二乘擬合的方式獲取掌心所在平面,運(yùn)用迭代器降噪處理。系統(tǒng)通過對手部位置和姿勢信息的整合、手勢到機(jī)械臂空間坐標(biāo)映射及運(yùn)動(dòng)學(xué)求解來實(shí)時(shí)控制機(jī)械臂末端位姿。實(shí)驗(yàn)結(jié)果證明，手勢控制系統(tǒng)滿足控制要求,簡單、易于操作，機(jī)械臂實(shí)時(shí)響應(yīng)速度快、運(yùn)動(dòng)準(zhǔn)確。

手勢控制； Kinect傳感器； 卡爾曼濾波； 機(jī)械臂位姿控制； 人機(jī)交互

引言

隨著機(jī)器人相關(guān)領(lǐng)域的快速發(fā)展，人機(jī)交互形式正朝多樣化的方向發(fā)展，機(jī)器人技術(shù)受人工智能發(fā)展情況的制約，短時(shí)間內(nèi)難以達(dá)到機(jī)器人自主決策的要求，因此機(jī)器人的控制及應(yīng)用勢必離不開人的參與。為了較好地實(shí)現(xiàn)人機(jī)交互，基于機(jī)器視覺的人體動(dòng)作和手勢識別是實(shí)現(xiàn)新一代人機(jī)交互系統(tǒng)不可缺少的一項(xiàng)關(guān)鍵技術(shù)。手勢識別是一種新型的自然用戶接口[1](Natural user interface,NUI)，文獻(xiàn)[1-4]采用隱馬爾科夫模型(HMM)對人體姿勢進(jìn)行分類來控制類人機(jī)器人的姿勢。文獻(xiàn)[5-7]從深度圖中計(jì)算手部的特定屬性，能夠識別一個(gè)靜態(tài)手勢指定的對象來引導(dǎo)機(jī)器人拾取用戶所指對象。HERNANDEZ-BELMONTE等[8]提出一種多級的手勢分類器，通過基于實(shí)時(shí)變形檢測和提高訓(xùn)練的分類系統(tǒng)對特定手勢進(jìn)行有效識別。CICIRELLI等[9]通過對10種手勢用神經(jīng)網(wǎng)絡(luò)進(jìn)行分類訓(xùn)練，在室內(nèi)環(huán)境中3個(gè)Kinect相機(jī)放置在不同的位置，使用手勢控制自主移動(dòng)機(jī)器人。MA等[10]提出一種新算法，采用指尖識別建立手勢，通過無線傳輸控制六角機(jī)器人。盧曉敏[11]采用多傳感器融合方式，即Kinect和慣性測量單元采集數(shù)據(jù)，實(shí)現(xiàn)機(jī)械臂到指定位姿的運(yùn)動(dòng)控制。文獻(xiàn)[12-14]對手部信息通過輪廓提取的方式將手勢分離出來并識別，進(jìn)而控制六邊形機(jī)器人?，F(xiàn)有的研究主要是操作員根據(jù)預(yù)設(shè)的手勢來控制機(jī)器人完成指定動(dòng)作[15-19]，不容易把握操作機(jī)器人的運(yùn)動(dòng)尺度，無法提供操作員靈活控制的條件，而多數(shù)其他人體穿戴傳感器通用性不強(qiáng)且可維護(hù)性差。本文通過對手的空間位置動(dòng)態(tài)變化信息及手掌心姿態(tài)信息的采集來獲取控制指令，實(shí)時(shí)控制6-DOF機(jī)械臂完成指定的手部控制指令。

1 系統(tǒng)結(jié)構(gòu)組成

系統(tǒng)結(jié)構(gòu)組成如圖1所示，由主端和從端機(jī)械臂組成。信息采集設(shè)備采用Kinect 2體感攝像頭，通過采集的骨骼數(shù)據(jù)及手部點(diǎn)云數(shù)據(jù)完成手勢信息的采集，通過計(jì)算機(jī)算法進(jìn)行濾波、信息整合、空間映射及運(yùn)動(dòng)求解后，將數(shù)據(jù)傳輸?shù)搅杂啥葠燮丈鷻C(jī)械臂控制端實(shí)現(xiàn)控制。Kinect 2較上一代具有很大的性能提升，更寬的視角和更遠(yuǎn)的識別距離，能夠識別4個(gè)手部關(guān)節(jié)點(diǎn)信息。Kinect在傳輸數(shù)據(jù)幀時(shí)，能夠達(dá)到30 fps的數(shù)據(jù)密度。Kinect正面左側(cè)為RGB色彩攝像頭，色彩攝像頭右側(cè)為CMOS 紅外傳感器即深度攝像頭，中間部分是紅外發(fā)射器，在弱光條件下能夠保證識別精度。

圖1 系統(tǒng)結(jié)構(gòu)組成Fig.1 Structure of system

采用Kinect追蹤骨骼點(diǎn)數(shù)據(jù)，其內(nèi)部原理是基于機(jī)器學(xué)習(xí)技術(shù)，將捕獲的深度信息傳入SDK，對信息進(jìn)行處理,解算出代表骨骼信息的特征向量，將其與隨機(jī)決策庫中的數(shù)據(jù)進(jìn)行匹配，進(jìn)而得出骨骼點(diǎn)信息。通過對手部點(diǎn)云信息和關(guān)節(jié)點(diǎn)信息進(jìn)行濾波和整合處理，手勢控制指令指定控制系統(tǒng)的控制階段，將手勢信息映射到機(jī)械臂運(yùn)動(dòng)控制空間，完成手勢控制信息的運(yùn)動(dòng)學(xué)解算，進(jìn)而將其轉(zhuǎn)換為控制信號,控制機(jī)械臂對手勢控制指令做出響應(yīng)。

2 手部位置和姿態(tài)獲取

2.1 手部位置獲取

Kinect獲取手部關(guān)節(jié)點(diǎn)的實(shí)時(shí)信息，包括追蹤狀態(tài)和坐標(biāo)信息，圖2為Kinect坐標(biāo)系設(shè)定。手部追蹤的骨骼點(diǎn)分布情況如圖1所示，采集手部4個(gè)關(guān)節(jié)點(diǎn)信息，分別為：右手腕、 右手掌、 右手指、右拇指(以右手為例)。Kinect骨骼數(shù)據(jù)信息中包含每個(gè)骨骼點(diǎn)的追蹤狀態(tài)，分為：未跟蹤到、推測、跟蹤到3種狀態(tài)，是進(jìn)行手勢控制的重要數(shù)據(jù)。

圖2 Kinect坐標(biāo)Fig.2 Kinect coordinates

在手部骨骼信息采集過程中，由于人手部運(yùn)動(dòng)的模糊性、隨機(jī)性、時(shí)變性，以及攝像頭自身在采集數(shù)據(jù)過程中產(chǎn)生噪聲的共同作用下，使數(shù)據(jù)中存在大量噪聲，如果數(shù)據(jù)直接用于控制機(jī)械臂，將導(dǎo)致受控中的機(jī)械臂運(yùn)動(dòng)可能產(chǎn)生抖動(dòng)和誤動(dòng)作。機(jī)械臂運(yùn)動(dòng)抖動(dòng)會(huì)帶來控制器工作不穩(wěn)定及機(jī)械臂運(yùn)動(dòng)器件損耗，機(jī)械臂誤動(dòng)作在實(shí)際控制中會(huì)出現(xiàn)控制安全問題，因此對于手勢骨骼點(diǎn)位置信息進(jìn)行降噪很有必要。對于坐標(biāo)點(diǎn)的濾波問題是離散隨機(jī)過程屬線性問題，卡爾曼濾波對于此類問題能夠達(dá)到很好的濾波效果[20-21]?？柭鼮V波算法的濾波效果受用戶所設(shè)置的過程噪聲方差Q和測量噪聲方差RN影響。為達(dá)到預(yù)期的濾波效果，需要對Kinect采集到的數(shù)據(jù)進(jìn)行分析，查看數(shù)據(jù)的穩(wěn)定性來調(diào)整方差參數(shù)的選取。

卡爾曼濾波用于估計(jì)未知的狀態(tài)向量x∈Rn，離散時(shí)間隨機(jī)過程由隨機(jī)線性差分方程給出

xk+1=Axk+wk

(1)

其中

wk∈N(0,Q)

式中A——轉(zhuǎn)移矩陣

xk——k時(shí)刻系統(tǒng)狀態(tài)

wk——過程噪聲

測量矩陣y∈Rm，計(jì)算式為

yk=Hxk+vk

(2)

其中

vk∈n(0,R)

式中H——測量矩陣vk——測量噪聲

預(yù)測階段

(3)

Pk-1——后驗(yàn)協(xié)方差矩陣

更新階段

(4)

(5)

(6)

式中Kk——卡爾曼增益矩陣

Kk用于更新階段對卡爾曼的追蹤狀態(tài)進(jìn)行更新。

根據(jù)實(shí)際控制中降噪要求,采用如下參數(shù)設(shè)定：

狀態(tài)轉(zhuǎn)移矩陣

通過以上參數(shù)選取，融合后的手掌中心位置坐標(biāo)經(jīng)卡爾曼濾波處理達(dá)到的效果如圖3所示。

圖3 坐標(biāo)X、Y、Z分量卡爾曼效果圖Fig.3 Coordinates of point X, Y and Z component Kalman rendering

圖3表明Kalman濾波對Kinect采集到的手部位置數(shù)據(jù)能夠達(dá)到很好的濾波效果，解決由于識別結(jié)果突變和數(shù)據(jù)波動(dòng)所帶來的控制系統(tǒng)不穩(wěn)定問題。

2.2 手部姿態(tài)獲取

Kinect點(diǎn)云信息采集距離理論為0.5～8.0 m。設(shè)置參數(shù)中可以設(shè)定每米點(diǎn)云識別個(gè)數(shù)，實(shí)質(zhì)上在Kinect中識別點(diǎn)云以空間中小的立體像素(voxel)為基本單元，實(shí)驗(yàn)中設(shè)定識別密度為256體素即1 000/256=3.9 mm/體素，識別寬度設(shè)定在X、Y、Z方向上，識別單元數(shù)為384，即識別結(jié)構(gòu)寬度為384/256=1.5 m。

研究中采用Kinect采集到的點(diǎn)云信息，由骨骼信息得到手部的中心位置，以中心位置為基準(zhǔn)對點(diǎn)云信息中的點(diǎn)進(jìn)行篩選和濾波。篩選原則為在Kinect坐標(biāo)系下Z坐標(biāo)的差值在手部寬度閾值范圍內(nèi)，立體像素單元距離中心點(diǎn)小于手部寬度閾值的二分之一，通過篩選能夠得到手部點(diǎn)云信息的集合。

(7)

式中w——手掌尺寸閾值

對于得到的手掌點(diǎn)云信息，進(jìn)行處理后得到手掌所在平面，研究中采用最小二乘擬合法得到手掌點(diǎn)云的最佳擬合平面。由協(xié)方差矩陣的SVD變換可知，最小奇異值對應(yīng)的奇異向量即平面的方向。圖4所示是在某次控制中數(shù)據(jù)采集端順次采集到的手部點(diǎn)云及擬合平面。圖中能夠明顯地分辨出手部輪廓，可見手部點(diǎn)云信息在手部閾值限定下篩選準(zhǔn)確。

圖4 點(diǎn)云依順序擬合平面圖Fig.4 Point cloud fitting results for plane in order

3 基于手勢識別的機(jī)器人控制策略設(shè)計(jì)

圖5 Kinect手部啟閉狀態(tài)識別Fig.5 Kinect hand opening and closing states recognition

為能夠?qū)崟r(shí)控制機(jī)械臂完成指定動(dòng)作，要求手勢控制信號能夠?qū)崟r(shí)解算，以達(dá)到機(jī)械臂對手勢控制指令快速做出響應(yīng)。控制中，依賴采集到的手部位姿變動(dòng)來產(chǎn)生機(jī)械臂控制信號，控制啟停條件需要人為指定，控制中將手部從關(guān)閉狀態(tài)(Closed)(圖5b)過渡到開啟狀態(tài)(Open)(圖5a)視為控制啟動(dòng)，手部從開啟狀態(tài)(Open)過渡到非開啟狀態(tài)視為當(dāng)前次控制終止，控制啟動(dòng)后以200 ms間隔對手部的啟閉狀態(tài)進(jìn)行核對，若始終處于開啟狀態(tài)，則對機(jī)械臂運(yùn)動(dòng)進(jìn)行持續(xù)控制。采用手部啟合狀態(tài)判定來指定控制狀態(tài)，判定結(jié)果準(zhǔn)確，同時(shí)操作人員易于實(shí)現(xiàn)操作。

圖6 手部位置采集過程Fig.6 Hand position acquisition process

采集手部信息如圖6所示，要求lOO′≥0.5 m來保證手部信息采集效果。位置信息是手部關(guān)節(jié)點(diǎn)向量lAA′、lBB′、lCC′、lDD′在X、Y、Z軸方向上的分量，在計(jì)算位移分量前要采用卡爾曼濾波進(jìn)行處理。為減小誤差，3個(gè)方向上的4個(gè)分量計(jì)算位移應(yīng)用加權(quán)融合的方式?？刂撇呗灾胁捎脵?quán)重融合是充分考慮到手部在識別中的不穩(wěn)定性，由于識別中手部4個(gè)點(diǎn)的識別結(jié)果存在大量變動(dòng)，例如右拇指在手部沒有移動(dòng)的時(shí)候，攝像頭的隨機(jī)決策樹判定結(jié)果始終存在變動(dòng)，因此采用權(quán)重融合是解決問題的有效手段。權(quán)重的選擇依據(jù)各個(gè)關(guān)節(jié)點(diǎn)的跟蹤狀態(tài)來指定，分為6種情形，如表1所示，其中信任比重分配設(shè)定為Tracked為5、Inferred為3、NotTracked為1。對于手部4個(gè)點(diǎn)，分別求解起止點(diǎn)的位置坐標(biāo)變化，依據(jù)權(quán)重信息進(jìn)行融合，計(jì)算出手部位置變化置。

表1 跟蹤狀態(tài)及權(quán)重分配Tab.1 Tracking status and weight distribution

(8)

(9)

式中Ri——應(yīng)分配的權(quán)重

xiK1、xiK2、yiK1、yiK2、ziK1、ziK2——單次識別過程起、終點(diǎn)經(jīng)過卡爾曼濾波后的x、y、z分量

在實(shí)際試驗(yàn)中，對點(diǎn)云信息的處理是提升控制精度的有效途經(jīng)，手部姿勢控制信息通過實(shí)時(shí)求解點(diǎn)云最小二乘擬合平面，在姿勢獲取中采用手部閾值篩選出手部的有效點(diǎn)云，但是實(shí)際中發(fā)現(xiàn)點(diǎn)云依然存在大量的噪聲點(diǎn)影響擬合平面的準(zhǔn)確性，為提高求得平面精度就需要對點(diǎn)云中的點(diǎn)進(jìn)行進(jìn)一步甄選。本文設(shè)計(jì)一個(gè)迭代器來完成數(shù)據(jù)點(diǎn)除噪，原理如圖7所示。將點(diǎn)云信息求解得擬合平面I的法向量δ，求平面T與擬合平面垂直法向量γ，將點(diǎn)和面向已知平面投影，圖7中l(wèi)為點(diǎn)云所在平面的投影直線，取距直線距離閾值范圍內(nèi)的點(diǎn)，將范圍外的點(diǎn)視為離群點(diǎn)而舍棄，重復(fù)上述步驟至沒有點(diǎn)落在閾值限定線外，通過以上迭代過程能夠?qū)崿F(xiàn)很好的降噪效果，有效濾除離群點(diǎn)對手勢信息采集準(zhǔn)確性的影響。

圖7 迭代器原理示意圖Fig.7 Diagram of iterator principle

擬合后平面的法向量分別為α和β，將其視為控制始末姿勢狀態(tài)，應(yīng)用羅德里格旋轉(zhuǎn)公式，求出旋轉(zhuǎn)矩陣R。

R=I+sinθM+(1-cosθ)M2

(10)

式中M——叉積矩陣

通過Z-Y-X歐拉角來計(jì)算旋轉(zhuǎn)變換，旋轉(zhuǎn)角分別為α、β、γ，計(jì)算得

(11)

式中 atan2——雙參變量反正切函數(shù)

在實(shí)際應(yīng)用中，機(jī)械臂與手部不是在同一坐標(biāo)系下且運(yùn)動(dòng)范圍不同，因此人手與機(jī)械臂末端的空間映射關(guān)系是實(shí)現(xiàn)控制的關(guān)鍵問題。根據(jù)人手和機(jī)械臂的數(shù)學(xué)模型進(jìn)行笛卡爾空間映射，將人手位姿轉(zhuǎn)換為機(jī)械臂末端位姿，假設(shè)其映射關(guān)系函數(shù)為f，將人手和機(jī)械臂末端之間笛卡爾空間映射定義為線性關(guān)系[11]。人手運(yùn)動(dòng)空間為SH，機(jī)械臂的運(yùn)動(dòng)空間為SR，滿足關(guān)系式

Sr,k=Sr,k-1+f(ΔSh,k)=Sr,k-1+KΔSh,k

(12)

其中

式中 ΔSh——人手位姿矩陣

Sr——機(jī)械臂位姿矩陣

K——坐標(biāo)空間映射的比例矩陣

根據(jù)不同的控制環(huán)境需要人為選取機(jī)械臂的響應(yīng)靈敏度，不同的比例矩陣決定不同的映射條件及響應(yīng)靈敏度，比例因子過大會(huì)超出機(jī)械臂末端運(yùn)動(dòng)范圍，過小則響應(yīng)速度變慢，即控制效率低，空間映射的比例矩陣要根據(jù)所控制的機(jī)械臂自身屬性及工作階段共同決定。圖6中坐標(biāo)系T為機(jī)器人坐標(biāo)系，不同人機(jī)交互場合可以改變坐標(biāo)系相對布置，進(jìn)而對空間映射比例矩陣進(jìn)行變換和調(diào)整參數(shù)值以適應(yīng)控制要求，其中控制比例因子多通過機(jī)械臂的運(yùn)動(dòng)范圍和比例映射機(jī)制確定。坐標(biāo)系變換方式為

控制中往往需要在運(yùn)動(dòng)初期迅速接近目標(biāo)位置，選用快速接近的映射條件，接近運(yùn)動(dòng)終點(diǎn)時(shí)需要采用慢速靠近的機(jī)制來實(shí)現(xiàn)更為精準(zhǔn)的控制，使用微調(diào)整的映射條件，如圖8所示。因此實(shí)際控制要求在相應(yīng)的控制階段調(diào)整映射條件來達(dá)到控制要求，能夠迅速接近目標(biāo)位置，再通過手勢控制指令精準(zhǔn)完成控制，適當(dāng)選擇映射條件是實(shí)現(xiàn)高效控制的重要環(huán)節(jié)。

圖8 手勢決策控制階段Fig.8 Gestures decision control stage

通過以上討論，將手勢數(shù)據(jù)實(shí)時(shí)轉(zhuǎn)化為機(jī)械臂空間上的控制數(shù)據(jù)，通過運(yùn)動(dòng)學(xué)反解得出控制機(jī)械臂各關(guān)節(jié)的運(yùn)動(dòng)信號。對于一個(gè)確定的控制目標(biāo)，達(dá)到控制終點(diǎn)可以通過手部多次運(yùn)動(dòng)控制指令來實(shí)現(xiàn)控制?？刂铺幱诓煌A段時(shí)，通過雙手手勢信息來使用不同的控制比例因子，在人機(jī)交互界面實(shí)時(shí)顯示控制進(jìn)行狀態(tài)以及控制終端位置信息。

圖10 控制效果圖Fig.10 Rendering diagrams of control

4 實(shí)驗(yàn)

圖9 不同控制路徑對比圖Fig.9 Different control path comparison charts

控制系統(tǒng)能夠?qū)崿F(xiàn)以手部控制指令自由規(guī)劃機(jī)械臂控制末端位姿?？刂浦型ㄟ^骨骼點(diǎn)的卡爾曼濾波、點(diǎn)云信息的降噪處理以及最小二乘擬合來提高控制信號的精度及穩(wěn)定性，使得控制能夠達(dá)到很高的魯棒性。圖9為手勢控制路徑、未經(jīng)卡爾曼濾波機(jī)械臂末端運(yùn)動(dòng)路徑和經(jīng)卡爾曼濾波的機(jī)械臂末端運(yùn)動(dòng)路徑對比圖，通過路徑對比圖可以看出卡爾曼濾波對機(jī)械臂運(yùn)動(dòng)穩(wěn)定性作用效果顯著，同時(shí)可以看出控制階段中采用不同控制比例因子所產(chǎn)生的效果，紅線為采用快速接近控制因子對應(yīng)的手-機(jī)械臂末端軌跡對比，藍(lán)線為采用微調(diào)整控制因子對應(yīng)的手-機(jī)械臂末端軌跡對比，可見在不同控制階段，機(jī)械臂末端運(yùn)動(dòng)軌跡滿足控制要求。機(jī)械臂能夠在手部位置變化下，接受指令達(dá)到目標(biāo)運(yùn)動(dòng)位姿。實(shí)驗(yàn)中，機(jī)械臂對手勢控制指令響應(yīng)迅速，動(dòng)作準(zhǔn)確。

圖10為實(shí)驗(yàn)中控制機(jī)械臂實(shí)時(shí)運(yùn)動(dòng)效果圖，圖10c、10d和圖10g、10h分別為機(jī)械臂的始末姿態(tài)，圖10a、10e和圖10b、10f為手勢位置變化及控制終點(diǎn)手部點(diǎn)云擬合平面，位置和姿勢在控制中能夠按照手部指令完成相應(yīng)的響應(yīng)。通過實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，手勢對機(jī)械臂的控制能夠?qū)崿F(xiàn)位置和姿勢的雙重控制。

對以上手勢控制指令，機(jī)械臂相應(yīng)地按順序做出響應(yīng)。實(shí)驗(yàn)發(fā)現(xiàn)，控制中由于濾波效果顯著，機(jī)械臂運(yùn)動(dòng)平穩(wěn)，運(yùn)動(dòng)準(zhǔn)確且沒有誤動(dòng)作及其他控制異常。手勢控制簡單易于操作，同時(shí)機(jī)械臂響應(yīng)速度快。

5 結(jié)束語

基于Kinect動(dòng)態(tài)手勢信息對6DOF機(jī)械臂末端位姿進(jìn)行實(shí)時(shí)控制，采用卡爾曼濾波進(jìn)行數(shù)據(jù)降噪處理，對手掌點(diǎn)云進(jìn)行濾波及最小二乘處理，同時(shí)將數(shù)據(jù)信息進(jìn)行運(yùn)動(dòng)學(xué)解算作為機(jī)械臂的控制指令。實(shí)驗(yàn)中，機(jī)械臂能夠按照動(dòng)態(tài)手勢信息實(shí)時(shí)做出運(yùn)動(dòng)響應(yīng)，對于控制的不同階段，通過規(guī)劃不同的控制比例因子來提高控制效率。機(jī)械臂受控中運(yùn)動(dòng)平穩(wěn)、動(dòng)作準(zhǔn)確、實(shí)時(shí)性強(qiáng)。手勢控制指令簡單易于操作，操作員手勢操作機(jī)器人負(fù)擔(dān)輕、臨場感強(qiáng)。對于確定的機(jī)械臂末端控制要求能迅速完成，達(dá)到了位姿隨動(dòng)控制的效果。

1 DING J, CHANG C W.An adaptive hidden Markov model-based gesture recognition approach using Kinect to simplify large-scale video data processing for humanoid robot imitation[J].Multimedia Tools and Applications, 2016，75(23):15537-15551.

2 QIAN K, NIU J, YANG H.Developing a gesture based remote human-robot interaction system using kinect[J].International Journal of Smart Home, 2013, 7(4)：203-208.

3 FUJII T, LEE J H, OKAMOTO S.Gesture recognition system for human-robot interaction and its application to robotic service task[C]∥Proceedings of the International Multi-Conference of Engineers and Computer Scientists (IMECS), 2014, 1:1-6.

4 張毅, 張爍, 羅元, 等.基于 Kinect 深度圖像信息的手勢軌跡識別及應(yīng)用[J].計(jì)算機(jī)應(yīng)用研究, 2012, 29(9): 3547-3550.

ZHANG Yi, ZHANG Shuo, LUO Yuan, et al.Gesture track recognition based on Kinect depth image information and its applications[J].Aplication Research of Computers, 2012, 29(9): 3547-3550.(in Chinese)

5 CANAL G, ESCALERA S, ANGULO C.A real-time human-robot interaction system based on gestures for assistive scenarios[J].Computer Vision and Image Understanding, 2016, 149: 65-77.

6 KAURA H K, HONRAO V, PATIL S, et al.Gesture controlled robot using image processing[J].International Journal of Advanced Research in Artificial Intelligence, 2013, 2(5): 65-77.

7 GANAPATHYRAJU S.Hand gesture recognition using convexity hull defects to control an industrial robot[C]∥2013 3rd International Conference on Instrumentation Control and Automation (ICA), 2013: 63-67.

8 HERNANDEZ-BELMONTE U H, AYALA-RAMIREZ V.Real-time hand posture recognition for Human-Robot interaction tasks[J].Sensors, 2016, 16(1):36.

9 CICIRELLI G, ATTOLICO C, GUARAGNELLA C, et al.A kinect-based gesture recognition approach for a natural human robot interface[J].International Journal of Advanced Robotic Systems, 2015, 12(3):12-22.

10 MA Biao, XU Wensheng, WANG Songlin.A robot control system based on gesture recognition using Kinect[J].Indonesian Journal of Electrical Engineering and Computer Science, 2013, 11(5): 2605-2611.

11 盧曉敏.基于混合傳感器的機(jī)器人人機(jī)交互技術(shù)研究[D].廣州：華南理工大學(xué), 2014.

LU Xiaomin.The research of human-robot interaction technology based on hybrid sensors[D].Guangzhou: South China University of Technology, 2014.(in Chinese)

12 王松林.基于 Kinect 的手勢識別與機(jī)器人控制技術(shù)研究[D].北京：北京交通大學(xué), 2014.

WANG Songlin.Research on Kinect-based gesture recognition and robot control technology[D].Beijing: Beijing Jiaotong University, 2014.(in Chinese)

13 談家譜.基于指尖信息的手勢識別與人機(jī)交互應(yīng)用研究[D].北京：北京交通大學(xué)，2016.

TAN Jiapu.Research on fingertip-based gesture recognition and human-computer interaction applications[D].Beijing: Beijing Jiaotong University, 2016.(in Chinese)

14 郭小爽.人機(jī)交互中的動(dòng)態(tài)手勢識別及應(yīng)用研究[D].西安：西安電子科技大學(xué), 2014.

GUO Xiaoshuang.Research on dynamic gesture recognition and its application in human-computer interaction[D].Xi’an: Xidian University, 2014.(in Chinese)

15 QIAN K, NIU J, YANG H.Developing a gesture based remote human-robot interaction system using kinect[J].International Journal of Smart Home, 2013, 7(4): 203-208.

16 MARIN G, DOMINIO F, ZANUTTIGH P.Hand gesture recognition with leap motion and kinect devices[C]∥2014 IEEE International Conference on Image Processing (ICIP), 2014: 1565-1569.

17 POZZATO G, MICHIELETTO S, MENEGATTI E, et al.Human-robot interaction with depth-based gesture recognition[C]∥Proceedings of IAS-13 Workshops, 2014.

18 阮曉鋼, 田重陽, 李望博.基于 Kinect 視覺功能的機(jī)器人控制方法[J].北京工業(yè)大學(xué)學(xué)報(bào), 2016, 42(4): 487-491.

RUAN Xiaogang, TIAN Chongyang, LI Wangbo.Control method for robots based on the visual function of Kinect[J].Journal of Beijing University of Technology, 2016, 42(4): 487-491.(in Chinese)

19 權(quán)龍哲, 李成林, 馮正陽, 等.體感操控多臂棚室機(jī)器人作業(yè)決策規(guī)劃算法研究[J/OL].農(nóng)業(yè)機(jī)械學(xué)報(bào), 2017,48(3):14-23.http:∥www.jcsam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20170302&journal_id=jcsam.DOI：10.6041/j.issn.1000-1298.2017.03.002.

QUAN Longzhe,LI Chenglin,FENG Zhengyang, et al.Algorithm of works’ decision for three arms robot in greenhouse based on control with motion sensing technology[J/OL].Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(3):14-23.(in Chinese)

20 LOUMPONIAS K, VRETOS N, DARAS P, et al.Using Kalman filter and tobit kalman filter in order to improve the motion recorded by kinect sensor II[C]∥Proceedings of the 29th Panhellenic Statistics Conference, 2016.

21 PARK S, YU S, KIM J, et al.3D hand tracking using Kalman filter in depth space[J].EURASIP Journal on Advances in Signal Processing, 2012: 36.

Real-timeMechanicalArmPositionandPoseControlSystembyDynamicHandGestureRecognitionBasedonKinectDevice

NI Tao ZHAO Yongjia ZHANG Hongyan LIU Xiangfu HUANG Lingtao

(CollegeofMechanicalScienceandEngineering,JilinUniversity,Changchun130022,China)

The research achieved to control the mechanical arm position and pose by using real-time dynamic gesture recognition based on Kinect device.The information of the position controlling was obtained by calculating the position changes of the four hand joint points.The noise of the joints was liable to lead mechanical arm misoperation and the vibration of motion during the control of the mechanical arm.Aiming to avoid the negative impact of the noise in real-time controlling, Kalman filter was adopted to track position and reduce noise.According to the hand point cloud information, the information of the posture controlling was obtained by means of using least squares fitting to get the plane of hand mind.The end of the position and pose of the mechanical arm was controlled by integrating the position and posture information, space coordinate mapping and the resolving of kinematics in real-time.The result of the experiment indicated that the gesture control was easy to operate and mechanical arm responded at high speed.The effect of filter was so remarkable that the motion of the mechanical arm was controlled accurately and smoothly, and no mechanical arm misoperation and others controlling anomaly.Gesture control system could meet the requirement of actually controlling.System could be applied to a variety of human-computer interaction.

gesture control; Kinect sensor; Kilman filter; mechanical arm position and pose control; human-computer interaction

10.6041/j.issn.1000-1298.2017.10.053

TP241; TP311.52

A

1000-1298(2017)10-0417-07

2017-01-05

2017-02-19

國家自然科學(xué)基金項(xiàng)目(51305153、51575219)

倪濤(1978—)，男，教授，博士生導(dǎo)師，主要從事機(jī)器人遙操作、虛擬現(xiàn)實(shí)和機(jī)器人技術(shù)研究，E-mail: nitao@jlu.edu.cn

張紅彥(1973—)，女，副教授，主要從事智能車輛研究，E-mail：zhanghy@jlu.edu.cn