成孝剛,彭雅琴,謝世朋,閆靜杰,熊 健

（南京郵電大學(xué)，江蘇南京，210003；2.三江學(xué)院，江蘇南京，210012）

基于視覺傳感的無人機(jī)手勢(shì)交互研究

成孝剛1,彭雅琴2,謝世朋1,閆靜杰1,熊 健1

（南京郵電大學(xué)，江蘇南京，210003；2.三江學(xué)院，江蘇南京，210012）

手勢(shì)交互是一種未來人機(jī)交互的趨勢(shì)，目前在精確度上存在挑戰(zhàn)。無人機(jī)方面，目前主要通過遙控器進(jìn)行飛行控制，需要專業(yè)訓(xùn)練，具有一定的局限性。本文基于視覺傳感，對(duì)手勢(shì)交互進(jìn)行研究，在現(xiàn)有設(shè)備的基礎(chǔ)上，提出一種簡單易實(shí)現(xiàn)的無人機(jī)手勢(shì)交互方式，并進(jìn)行計(jì)算機(jī)仿真與硬件驗(yàn)證。本文采用兩個(gè)攝像頭同時(shí)采集手勢(shì)動(dòng)作，并建立標(biāo)準(zhǔn)手勢(shì)數(shù)據(jù)庫，通過算法識(shí)別進(jìn)行比對(duì)，將手勢(shì)識(shí)別問題轉(zhuǎn)換為一個(gè)圖形檢索問題，有效提高手勢(shì)識(shí)別的效果。數(shù)據(jù)顯示，文本所提出的方案，具有良好的可行性。

視覺傳感；無人機(jī)；手勢(shì)交互；圖像處理

0 引言

近年來，無人機(jī)的發(fā)展極為迅速，在物流、攝影、安全、農(nóng)業(yè)等方面，得到了廣泛的發(fā)展。然而，現(xiàn)有的無人機(jī)控制，普遍采用傳統(tǒng)的遙控器進(jìn)行飛行控制[1,2]。在具體應(yīng)用中，一般需要兩人進(jìn)行合作控制，以達(dá)到良好的應(yīng)用效果。不僅如此，相關(guān)人員需要接受專業(yè)訓(xùn)練，這在一定程度上限制了無人機(jī)的發(fā)展。本文將手勢(shì)交互與無人機(jī)飛行控制相結(jié)合，對(duì)手勢(shì)交互的框架與算法進(jìn)行研究，在現(xiàn)有設(shè)備基礎(chǔ)上，提出一種全新的無人機(jī)手勢(shì)交互方案，并通過計(jì)算機(jī)和相關(guān)硬件進(jìn)行驗(yàn)證[3]。

論文第二部分，闡述了無人機(jī)手勢(shì)交互的框架，給出本文的方案架構(gòu)，闡述了相關(guān)技術(shù)細(xì)節(jié)。第三部分，給出了硬件仿真與測(cè)試的結(jié)果，第四部分給出結(jié)論。

1 無人機(jī)手勢(shì)交互

1.1 系統(tǒng)架構(gòu)設(shè)計(jì)

如圖1所示，是基于視覺傳感的無人機(jī)手勢(shì)交互系統(tǒng)架構(gòu)。該架構(gòu)，不改變現(xiàn)有硬件，在無人機(jī)遙控器與人手之間增加一個(gè)“交互媒質(zhì)”。遙控器通過2.4Ghz高頻載波，將操縱桿發(fā)出的指令，發(fā)送給無人機(jī)上飛控接收端，從而實(shí)現(xiàn)無人機(jī)上下、前后、左右、旋轉(zhuǎn)等通道的飛行。

1.2 手勢(shì)交互

本文所提出的“交互媒質(zhì)”，通過攝像頭捕捉人手的具體動(dòng)作，具體細(xì)節(jié)如圖2所示。本文采用兩個(gè)攝像機(jī)采集人手動(dòng)作，為了便于方案的實(shí)現(xiàn)，在攝像機(jī)與遙控器之間，增加了ARM開發(fā)板，通過計(jì)算機(jī)編程，識(shí)別攝像頭所捕捉的手勢(shì)，并進(jìn)行識(shí)別。將這種手勢(shì)動(dòng)作，轉(zhuǎn)換為指令導(dǎo)入ARM開發(fā)板，再轉(zhuǎn)換為具體電壓或電阻的變化，從而操控遙控器。

對(duì)于手勢(shì)的識(shí)別，本文采用27個(gè)自由度描述人手關(guān)節(jié)的動(dòng)作。在進(jìn)行識(shí)別之前，通過數(shù)據(jù)建模，創(chuàng)建一個(gè)標(biāo)準(zhǔn)手勢(shì)的數(shù)據(jù)庫，一旦兩個(gè)攝像頭分別捕捉到手勢(shì)，首先通過算法，對(duì)這兩個(gè)同樣的手勢(shì)進(jìn)行不對(duì)，去其噪聲，繼而與數(shù)據(jù)庫進(jìn)行比對(duì)。這樣將手勢(shì)識(shí)別問題，轉(zhuǎn)換為圖像匹配和檢索問題，以提高手勢(shì)識(shí)別的效果。

圖1. 基于視覺傳感的無人機(jī)手勢(shì)交互系統(tǒng)架構(gòu)

圖2. 手勢(shì)交互實(shí)現(xiàn)方案

2 硬件仿真與測(cè)試

為了驗(yàn)證，本文所提的方案，論文對(duì)方案中的多個(gè)環(huán)節(jié)進(jìn)行了分別論文。其中一個(gè)環(huán)節(jié)，是筆記本與無人機(jī)之間的交互。圖3(a)所示，ARM開發(fā)板，與遙控器相連，圖3(b)是其輸出的電阻變化曲線，通過曲線可以看到，開發(fā)板臺(tái)階式的輸出不同的電阻，由高到低，這個(gè)專業(yè)操作員操控?zé)o人機(jī)遙控器的操作桿是一樣的效果。圖3(c)給出了無人機(jī)飛行的效果圖，通過本文的方案，目前已經(jīng)實(shí)現(xiàn)手勢(shì)控制無人機(jī)2個(gè)通道的飛行。

圖3. 硬件測(cè)試結(jié)果(a.關(guān)鍵模塊硬件測(cè)試;b.測(cè)試結(jié)果 c.雙通道手勢(shì)控制)

3 結(jié)論

本文在現(xiàn)有硬件的基礎(chǔ)上，提出一種簡單易行的無人機(jī)手勢(shì)交互方案，該方案采用兩個(gè)攝像頭捕捉人手動(dòng)作，并將手勢(shì)識(shí)別問題轉(zhuǎn)換為一個(gè)圖像檢索問題，并通過ARM開發(fā)板代替專業(yè)操作員對(duì)遙控器拉桿的操控。通過硬件仿真與實(shí)際測(cè)試，目前已實(shí)現(xiàn)2個(gè)通道的飛行控制，驗(yàn)證了該方案的可行性。

[1]Shahrouz Yousefi,“3D Gesture Recognition and Tracking for Next Generation of Smart Devices”PhD Thesis,School of Computer Science and Communication,Royal Institute of Technology (KTH), ISSN-1653-5723, 2014.

[2]Farid Kondori,“Bring Your Body into Action:Body Gesture Detection,Tracking,and Analysis for Natural Interaction”,PhD Thesis,Digital Media Lab,Ume? University,2014.

[3]Shahrouz Yousefi,Haibo Li,“3D Hand Gesture Analysis through a Real-time Gesture Search Engine”，International Journal of Advanced Robotic Systems，to appear in 2015.

Research on Gesture Interaction of UAV based on Vision Sensing

Cheng Xiaogang1,Peng Yaqin2,Xie Shipeng1,Yan Jingjie1,Xiong Jian1
（1.Nanjing University of Post and Telecommunication, Nanjing, 210003, China; 2.SANJIANG University, Nanjing, 210012, China）

Gesture interaction is a trend in the future, however the identification accuracy is limited. At the same time, the development of Unmanned Aerial Vehicle(UAV) is limited by remote control and professional controller. In this paper, a novel gesture interaction of UAV based on vision sensing is presented which is easy to implement. Two cameras are used to catch hand gestures, a large database of standard gesture is established. then, the problem of hand gesture recognition is converted into a graphic retrieval problem. The verification data show that the scheme proposed is feasible.

vision sensing; UAV; Gesture Interaction; Image Processing

TN911.73,V279+.2

A

國家自然科學(xué)基金青年基金(61401236)，南京郵電大學(xué)通達(dá)學(xué)院教改項(xiàng)目(項(xiàng)目名稱:在畢業(yè)設(shè)計(jì)環(huán)節(jié)中如何培養(yǎng)大學(xué)生的創(chuàng)新意識(shí)與能力研究,JG0021427)

成孝剛(1980.4－)，男，漢族，江蘇射陽人，信號(hào)與信息處理專業(yè)，南京郵電大學(xué)教師，主要研究方向?yàn)閳D像。