袁路路，張娓娓

(河南工業(yè)職業(yè)技術(shù)學(xué)院，河南 南陽(yáng) 473000)

?

遠(yuǎn)程控制采摘機(jī)器人手勢(shì)識(shí)別研究
——基于勢(shì)場(chǎng)蟻群算法

袁路路，張娓娓

(河南工業(yè)職業(yè)技術(shù)學(xué)院，河南 南陽(yáng) 473000)

采摘機(jī)器人在作業(yè)時(shí)遇到通過(guò)自主導(dǎo)航無(wú)法越過(guò)的障礙物時(shí)，或者在危險(xiǎn)的地帶無(wú)法進(jìn)行人工采摘作業(yè)時(shí)，需要借助遠(yuǎn)程方式進(jìn)行實(shí)時(shí)控制，使其成功越過(guò)障礙物，并在高危環(huán)境中有效地展開(kāi)采摘作業(yè)。為了優(yōu)化采摘機(jī)器人遠(yuǎn)程控制系統(tǒng)，提出了一種基于手勢(shì)識(shí)別的遠(yuǎn)程控制方案，并引入了勢(shì)場(chǎng)蟻群算法，提高了機(jī)器人的控制的準(zhǔn)確性和高效性。在遠(yuǎn)程控制方案中，將基于視覺(jué)的手勢(shì)識(shí)別與遠(yuǎn)程控制機(jī)械手相結(jié)合，通過(guò)深度相機(jī)采集手勢(shì)圖像并提取手勢(shì)特征，轉(zhuǎn)換為機(jī)械手舵機(jī)的控制命令，并通過(guò)無(wú)線(xiàn)網(wǎng)絡(luò)發(fā)送至采摘機(jī)器人控制單元，實(shí)現(xiàn)視覺(jué)手勢(shì)對(duì)機(jī)器人的遠(yuǎn)程控制。對(duì)采摘機(jī)器人進(jìn)行了測(cè)試，通過(guò)測(cè)試發(fā)現(xiàn)：基于蟻群算法的手勢(shì)識(shí)別系統(tǒng)可以有效地追蹤得到不同的動(dòng)態(tài)手勢(shì)，且可以準(zhǔn)確地識(shí)別手勢(shì)所代表的意義，成功實(shí)現(xiàn)了機(jī)器人遠(yuǎn)程控制的手勢(shì)識(shí)別。該方法不僅可以遠(yuǎn)程實(shí)現(xiàn)機(jī)器人避障功能，還可以將其應(yīng)用在山谷、沼澤等危險(xiǎn)地帶進(jìn)行采摘作業(yè)，實(shí)現(xiàn)其非凡的使用價(jià)值。

采摘機(jī)器人；人工勢(shì)場(chǎng)；蟻群算法；手勢(shì)識(shí)別；遠(yuǎn)程控制

0 引言

遠(yuǎn)程控制機(jī)械手臂可代替人工在極限環(huán)境下進(jìn)行作業(yè)，對(duì)提高作業(yè)效率和保障人身安全均有重要的意義。傳統(tǒng)的遠(yuǎn)程控制機(jī)器人需要利用布線(xiàn)的方式，實(shí)現(xiàn)其遠(yuǎn)程控制，由于采摘環(huán)境的限制，不允許大范圍布線(xiàn)，使傳統(tǒng)的遠(yuǎn)程控制在采摘機(jī)器人上的應(yīng)用受到了限制。而基于視覺(jué)手勢(shì)識(shí)別的機(jī)器人，采用計(jì)算機(jī)、攝像頭和通信設(shè)備，便可以完成手勢(shì)信號(hào)的采集、識(shí)別和機(jī)器人的路徑跟蹤任務(wù)，其成本低、系統(tǒng)簡(jiǎn)單、操作性較好。手勢(shì)包含了豐富的信息，是一種非常直觀的人機(jī)交互手段，利用相機(jī)和圖像分析可以識(shí)別命令信息，還原操作意圖，是完成人機(jī)交互的一種非常好的方法，對(duì)采摘機(jī)器人遠(yuǎn)程控制的設(shè)計(jì)具有重要的意義。

1 采摘機(jī)器人手勢(shì)識(shí)別遠(yuǎn)程控制方案

1981年，美國(guó)航天飛機(jī)將一套加拿大斯巴宇航公司研制的六自由度機(jī)械臂系統(tǒng)送入空間站，宇航員可以通過(guò)遠(yuǎn)程控制實(shí)現(xiàn)機(jī)械手的抓取和搬運(yùn)動(dòng)作，成為機(jī)械手遠(yuǎn)程操作系統(tǒng)的典范；后來(lái)對(duì)其進(jìn)行了改進(jìn)，使其具有了15個(gè)自由度，是迄今為止最為復(fù)雜的太空機(jī)械手臂，可以完成各種復(fù)雜的操作，其結(jié)構(gòu)如圖1所示。

圖1 加拿大第2臂遠(yuǎn)程控制機(jī)械手

為了保證采摘機(jī)器人遠(yuǎn)程控制系統(tǒng)的穩(wěn)定運(yùn)行，系統(tǒng)的設(shè)計(jì)需要滿(mǎn)足以下幾個(gè)要求：

1)算法的效率較高。利用相關(guān)算法對(duì)圖像處理算法進(jìn)行改進(jìn)，從而縮短機(jī)器人識(shí)別系統(tǒng)對(duì)每一幀圖像的處理時(shí)間，實(shí)現(xiàn)機(jī)器人遠(yuǎn)程操作、操控的實(shí)時(shí)性。

2)識(shí)別準(zhǔn)確率高。采用相關(guān)算法提高機(jī)器人手勢(shì)識(shí)別的準(zhǔn)確率，如果識(shí)別準(zhǔn)確率不達(dá)標(biāo)，會(huì)造成機(jī)器人的錯(cuò)誤操作，這就需要相關(guān)算法可在惡劣環(huán)境中正確識(shí)別有效手勢(shì)。

3)通信穩(wěn)定。穩(wěn)定的通信環(huán)境可以保證數(shù)據(jù)的有效傳輸，使用最少的指令，完成控制命令。

基于以上設(shè)計(jì)要求，機(jī)器人的手勢(shì)識(shí)別和遠(yuǎn)程控制流程設(shè)計(jì)如圖3所示。

圖2 采摘機(jī)器人遠(yuǎn)程控制總體設(shè)計(jì)方案

圖3 機(jī)器人手勢(shì)識(shí)別遠(yuǎn)程控制流程

首先，利用深度相機(jī)對(duì)手勢(shì)圖像進(jìn)行實(shí)時(shí)采集，然后通過(guò)蟻群算法對(duì)路徑進(jìn)行規(guī)劃，完成機(jī)器人的動(dòng)作控制。為了提高動(dòng)作控制和路徑的優(yōu)化，采用人工勢(shì)場(chǎng)對(duì)蟻群算法進(jìn)行改進(jìn)，提高了采摘機(jī)器人遠(yuǎn)程控制的準(zhǔn)確性和高效性。

2 基于勢(shì)場(chǎng)蟻群算法手勢(shì)識(shí)別和路徑?jīng)Q策

對(duì)于采摘機(jī)器人的動(dòng)作規(guī)劃，可以采用柵格法。柵格法簡(jiǎn)單、便于實(shí)現(xiàn)，執(zhí)行效果較好。根據(jù)采摘機(jī)器人的尺寸和體積，在二維環(huán)境內(nèi)對(duì)其移動(dòng)距離進(jìn)行規(guī)劃，而規(guī)劃的依據(jù)是手勢(shì)識(shí)別。手勢(shì)識(shí)別的3D模型如圖4所示。

新教師需求為工科新教師培訓(xùn)目標(biāo)之基石。學(xué)校培訓(xùn)總目標(biāo)與學(xué)校培訓(xùn)分目標(biāo)均以新教師需求為出發(fā)點(diǎn)，結(jié)合學(xué)校與國(guó)家之要求，高于新教師之需求，成為新教師參加培訓(xùn)的指揮棒、力量發(fā)動(dòng)機(jī)、效率生發(fā)器。

將3D模型進(jìn)行有限元?jiǎng)澐?，可以劃分出多種手勢(shì)動(dòng)作，控制機(jī)器人的各種移動(dòng)。利用柵格法，在進(jìn)行手勢(shì)識(shí)別后，機(jī)器人需要重新規(guī)劃路徑，其移動(dòng)方向?yàn)?個(gè)，將二維環(huán)境劃分為0和1二值化信息圖，柵格序號(hào)Q和坐標(biāo)(x,y)的關(guān)系為

(1)

圖4 手勢(shì)3D識(shí)別模型

為了提高采摘機(jī)器人的移動(dòng)效率，使用蟻群算法對(duì)移動(dòng)路徑進(jìn)行控制。利用柵格法，第k只螞蟻在t時(shí)刻由節(jié)點(diǎn)Pt+1(x,y)=u移動(dòng)到下一節(jié)點(diǎn)Pt+1(x,y)= ν的概率規(guī)則為

(2)

其中，Tuv(t)表示節(jié)點(diǎn)ν信息素濃度；α表示濃度的因子；β表示啟發(fā)因子；allowedk(t)表示采摘機(jī)器人下一步的選擇節(jié)點(diǎn)；ηuv(t)表示距離函數(shù)，其表達(dá)式為

ηuv(t)=1/duv

(3)

螞蟻在進(jìn)行一次循環(huán)后，利用信息濃度對(duì)路徑進(jìn)行更新，則有

Tuv(t+ζ)=(1-ρ)Tuv(t)+ΔTuv

(4)

(5)

(6)

其中，ρ(0<ρ<1)表示信息濃度所具有的揮發(fā)性；ΔTuv表示信息濃度在本次循環(huán)中的增量；Lk表示采摘機(jī)器人控制路徑的長(zhǎng)度。定義人工勢(shì)場(chǎng)的引力函數(shù)為Uatt(x)，其表達(dá)式為

(7)

其中，Katt表示人工勢(shì)場(chǎng)系數(shù)；XB和X分別表示機(jī)器人的目標(biāo)和所處的位置，其表達(dá)式為

(X,XE)=‖X-XE‖

(8)

遠(yuǎn)程控制通過(guò)手勢(shì)識(shí)別，其目標(biāo)識(shí)別的引力為場(chǎng)函數(shù)的負(fù)梯度，其表達(dá)式為

(9)

其中，ng表示目標(biāo)位置和當(dāng)前位置指向矢量。為了提高手勢(shì)識(shí)別的準(zhǔn)確率，引入了斥力場(chǎng)函數(shù)Ump(X)，從而保證了目標(biāo)點(diǎn)為全局最小，其表達(dá)式為

Ump(X)=

(10)

其中，Kmp表示斥力場(chǎng)系數(shù)；X0表示目標(biāo)手勢(shì)；X表示機(jī)器人當(dāng)前位置；λ表示手勢(shì)的影響范圍。移動(dòng)機(jī)器人所受到的斥力范圍為

(11)

(12)

(13)

其中，n0表示采摘機(jī)器人和障礙物的指向單位矢量；ng表示機(jī)器人和目標(biāo)的指向單位矢量；分力Frep1表示斥力作用；Frep2表示引力作用。于是，采摘機(jī)器受到的場(chǎng)合力F為

F=Frep1+Frep2

(14)

在場(chǎng)合力的作用下，通過(guò)手勢(shì)圖像識(shí)別，利用無(wú)線(xiàn)通信設(shè)備可實(shí)現(xiàn)采摘機(jī)器人的遠(yuǎn)程控制功能。

3 采摘機(jī)器人手勢(shì)識(shí)別遠(yuǎn)程控制測(cè)試

為了驗(yàn)證本次設(shè)計(jì)的勢(shì)場(chǎng)蟻群算法的可行性，在普通采摘機(jī)器人上安裝了手勢(shì)識(shí)別的遠(yuǎn)程控制系統(tǒng)，通過(guò)硬件編程的方式對(duì)算法進(jìn)行了測(cè)試。在測(cè)試設(shè)備中，機(jī)器人識(shí)別系統(tǒng)需要采用深度相機(jī)，為了節(jié)約實(shí)驗(yàn)成本，采用微軟推出的游戲機(jī)XBOX的外部設(shè)備Kinect，實(shí)現(xiàn)了圖像的連續(xù)抓拍和識(shí)別。采摘機(jī)器人的作用測(cè)試過(guò)程如圖5所示。本次測(cè)試使用的遠(yuǎn)程控制采摘機(jī)器人，在識(shí)別系統(tǒng)中使用了Kinect相機(jī)，該相機(jī)采用光編碼技術(shù)，與傳統(tǒng)的光測(cè)量技術(shù)不同，采用連續(xù)照明而不是脈沖照明；其芯片不許特殊制造，采用普通的CMOS感光芯片即可，成本低，而功能強(qiáng)大。

圖5 手勢(shì)識(shí)別遠(yuǎn)程控制測(cè)試使用機(jī)器人

為了測(cè)試手勢(shì)識(shí)別功能，首先定義了動(dòng)態(tài)手勢(shì)，手勢(shì)命令描述和意義如表1所示。

表1 動(dòng)態(tài)手勢(shì)定義表

不同的手勢(shì)代表了不同的機(jī)器人控制命令，令機(jī)器人進(jìn)行不同的操作，實(shí)現(xiàn)了人和機(jī)器人的交互性功能。手勢(shì)識(shí)別過(guò)程如圖6所示。

圖6 向右命令手勢(shì)示意圖

由圖6可以看出：基于蟻群算法的手勢(shì)識(shí)別系統(tǒng)可以有效地追蹤得到不同的動(dòng)態(tài)手勢(shì)，而且可以準(zhǔn)確地識(shí)別手勢(shì)所代表的意義。通過(guò)測(cè)試得到的手勢(shì)識(shí)別結(jié)果如表2所示。

表2 手勢(shì)識(shí)別實(shí)驗(yàn)結(jié)果表

由表2可以看出：本次設(shè)計(jì)的蟻群算法手勢(shì)識(shí)別系統(tǒng)的識(shí)別率較高，穩(wěn)定性較好，具有很強(qiáng)的實(shí)時(shí)性。為了驗(yàn)證人工勢(shì)場(chǎng)對(duì)蟻群算法的作用，對(duì)比了常規(guī)蟻群算法和人工勢(shì)場(chǎng)蟻群算法的結(jié)果，如圖7所示。

圖7 迷失螞蟻數(shù)量對(duì)比結(jié)果

由結(jié)果對(duì)比可以看出：使用人工勢(shì)場(chǎng)可有效降低迷失螞蟻的數(shù)量，并提高算法的準(zhǔn)確性。圖8表示通過(guò)計(jì)算得到的路徑長(zhǎng)度控制結(jié)果。

圖8 路徑長(zhǎng)度控制對(duì)比結(jié)果

通過(guò)對(duì)比常規(guī)蟻群算法和人工勢(shì)場(chǎng)蟻群算法的結(jié)果發(fā)現(xiàn)，使用人工勢(shì)場(chǎng)可以有效地縮短控制路徑的長(zhǎng)度，提高了算法的效率。

4 結(jié)論

依據(jù)人工勢(shì)場(chǎng)和蟻群算法，采用Kinect深度相機(jī)，結(jié)合手勢(shì)識(shí)別方法，設(shè)計(jì)了一種新的采摘機(jī)器人遠(yuǎn)程手勢(shì)控制系統(tǒng)，實(shí)現(xiàn)了采摘機(jī)器人的遠(yuǎn)程人機(jī)交互功能，提高了采摘機(jī)器人對(duì)惡劣環(huán)境的適應(yīng)性。

通過(guò)Kinect深度相機(jī)采集了手勢(shì)圖像并提取了手勢(shì)特征，并將其轉(zhuǎn)換成了機(jī)械手舵機(jī)的控制命令，通過(guò)無(wú)線(xiàn)網(wǎng)絡(luò)發(fā)送至采摘機(jī)器人控制單元，實(shí)現(xiàn)了視覺(jué)手勢(shì)對(duì)機(jī)器人的遠(yuǎn)程控制。

通過(guò)對(duì)基于蟻群算法的手勢(shì)識(shí)別系統(tǒng)進(jìn)行測(cè)試后發(fā)現(xiàn)：該系統(tǒng)可以有效追蹤得到不同的動(dòng)態(tài)手勢(shì)，手勢(shì)命令的識(shí)別率較高；并且使用人工勢(shì)場(chǎng)可以有效地改進(jìn)蟻群算法，提高了算法的準(zhǔn)確性，有效地縮短控制路徑的長(zhǎng)度，提高了算法的效率。

[1] 杜釗君,吳懷宇.基于激光測(cè)距與雙目視覺(jué)信息融合的移動(dòng)機(jī)器人SLAM 研究[J].計(jì)算機(jī)測(cè)量與控制, 2013, 21(1):180-183.

[2] 杜釗君,吳懷宇,韓濤，等.基于遺傳算法的移動(dòng)機(jī)械臂軌跡優(yōu)化研究[J].機(jī)械設(shè)計(jì)與制造,2013(5):133- 136.

[3] 關(guān)然,徐向民,羅雅愉，等.基于計(jì)算機(jī)視覺(jué)的手勢(shì)檢測(cè)識(shí)別技術(shù)[J].計(jì)算機(jī)應(yīng)用與軟件,2013,30(1): 155-159, 164.

[4] 梁秀波, 張順,李啟雷，等.運(yùn)動(dòng)傳感驅(qū)動(dòng)的 3D 直觀手勢(shì)交互[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2010, 22(3): 521-526, 533.

[5] 包加桐,宋愛(ài)國(guó),郭晏，等.基于 SURF 特征跟蹤的動(dòng)態(tài)手勢(shì)識(shí)別算法[J].機(jī)器人,2011,33(4): 482-489.

[7] 于美娟,馬希榮.基于 HMM方法的動(dòng)態(tài)手勢(shì)識(shí)別技術(shù)的改進(jìn)[J].計(jì)算機(jī)科學(xué), 2011,38(1): 251-252.

[8] 李忠海,王莉,崔建國(guó)，等.基于Camshift 和Particle Filter 的小目標(biāo)跟蹤算法[J].計(jì)算機(jī)工程與應(yīng)用, 2011, 47(9): 192-195, 199.

[9] 王洪光,姜勇,房立金, 等.雙足爬壁機(jī)器人壁面凹過(guò)渡步態(tài)規(guī)劃研究[J].智能系統(tǒng)學(xué)報(bào),2007(4):40-45.

[10] 薛勝雄,任啟樂(lè),陳正文,等.磁隙式爬壁機(jī)器人的研制[J]. 機(jī)械工程學(xué)報(bào), 2011,47(21): 37-42.

[11] 李志海,付宜利,王樹(shù)國(guó).四輪驅(qū)動(dòng)滑動(dòng)吸盤(pán)爬壁機(jī)器人的動(dòng)力學(xué)研究[J].機(jī)器人,2010, 32 (5): 601-607.

[12] 鐘灶生,薛方正,敬成林.分布式電源在仿人機(jī)器人控制系統(tǒng)中的應(yīng)用[J].傳感器與微系統(tǒng),2011,30(2): 139-143.

[13] 李文生,解梅,鄧春健，等. 基于多點(diǎn)手勢(shì)識(shí)別的人機(jī)交互技術(shù)框架[J].計(jì)算機(jī)工程與設(shè)計(jì),2011,32(6): 2129-2133.

[14] 張毅,張爍,羅元，等.基于Kinect深度圖像信息的手勢(shì)軌跡識(shí)別及應(yīng)用[J].計(jì)算機(jī)應(yīng)用研究,2012,29(9): 3547-3550.

[15] 馮秀軍,楊立東.2BDY-8型2壟密型高速氣吹式精密播種機(jī)簡(jiǎn)析[J].農(nóng)業(yè)機(jī)械,2007(8):85-86.

[16] 孟慶山.水源熱泵機(jī)組變流量水系統(tǒng)節(jié)能優(yōu)化探討[J].制冷與空調(diào),2010,10(1):84-89.

[17] 荊雷,馬文君,常丹華，等.基于動(dòng)態(tài)時(shí)間規(guī)整的手勢(shì)加速度信號(hào)識(shí)別[J].傳感技術(shù)學(xué)報(bào),2012,25(1):72-76.

[18] 王東,趙宇,王秀紅.一種改進(jìn)的DFT迭代的MIMO-OFDM系統(tǒng)信道估計(jì)算法[J].應(yīng)用科技，2009(3):19-22.

[19] 徐忠燕,簡(jiǎn)毅,任海洋.基于P87LPC768的小功率直流電動(dòng)機(jī)調(diào)速系統(tǒng)[J].機(jī)械與電子,2009(7):46-47.

[20] 趙慶波,趙德安,姬偉, 等.采摘機(jī)器人視覺(jué)伺服控制系統(tǒng)設(shè)計(jì)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào), 2009, 40( 1): 152-156.

[21] 于美娟,馬希榮.基于 HMM 方法的動(dòng)態(tài)手勢(shì)識(shí)別技術(shù)的改進(jìn)[J].計(jì)算機(jī)科學(xué), 2011,38(1): 251-252.

[22] 吳忠強(qiáng),張曉霞,舒杰.柔性機(jī)器人基于自適應(yīng)模糊動(dòng)態(tài)面的實(shí)用穩(wěn)定控制[J].中國(guó)機(jī)械工程,2012,23(19): 2297-2301.

[23] 過(guò)希文,王群京,李國(guó)麗.基于動(dòng)態(tài)面的機(jī)械臂軌跡跟蹤神經(jīng)網(wǎng)絡(luò)自適應(yīng)算法[J].系統(tǒng)仿真學(xué)報(bào),2011,23(11):2327-2332.

[24] 李曉剛,劉晉浩.基于反演設(shè)計(jì)的碼垛機(jī)器人神經(jīng)網(wǎng)絡(luò)自適應(yīng)控制[J].包裝工程,2012,33(1):80-85.

Research on Hand Gesture Recognition of Remote Control Picking Robot Based on Potential Field and Ant Colony Algorithm

Yuan Lulu, Zhang Weiwei

(Henan Polytechnic Institute, Nanyang 473000, China)

When the robot is unable to cross the obstacle in the operation, or when the dangerous area can not be manually picked up, it needs to use the remote method for real-time control, so that it can successfully cross the obstacles, and in the high risk environment to carry out the picking operation effectively. In order to optimize the robot remote control system, a remote control scheme based on gesture recognition is proposed, and the potential field ant colony algorithm is introduced to improve the accuracy and efficiency of the robot. In the remote control scheme, the gesture recognition combined with remote control robot arm based on the depth camera gesture image and extract the gesture features into manipulator servo control commands, and through the wireless network to the picking robot control unit, to realize the remote control of the robot visual gestures. Finally, the robot is tested. The recognition system based on ant colony algorithm can effectively track the different dynamic gestures, and can accurately identify the meaning of gestures. This method can not only realize the function of obstacle avoidance, but also can be used in the area of the valley, the swamp and so on.

picking robot; artificial potential field; ant colony algorithm; hand gesture recognition; remote control

2016-03-10

河南省自然科學(xué)基金項(xiàng)目(2015ZCB115)；南陽(yáng)市科技攻關(guān)項(xiàng)目(2012GG029)

袁路路(1982-)，女，河南南陽(yáng)人，講師，碩士。

張娓娓(1985-)，女，河南南陽(yáng)人，助教，碩士，(E-mail)wwandll80@qq.com。

S225；TP391.41

A

1003-188X(2017)05-0236-05