繆磊磊 王志偉 吳晨健

摘要：隨著人工智能的發(fā)展，具有用戶界面的空中機(jī)器人逐漸普及大眾。手勢(shì)是人類溝通的直觀方式，各研究工作都致力于利用自然的手勢(shì)控制空中機(jī)器人。但是，由于該方面的技術(shù)還未成熟，尚未解決存在的長(zhǎng)久問(wèn)題。例如從設(shè)計(jì)角度選擇手勢(shì)的原則，從硬件角度考慮硬件的要求，考慮數(shù)據(jù)的可用性以及從實(shí)際角度考慮算法的復(fù)雜性。因此本設(shè)計(jì)考慮了實(shí)際的場(chǎng)景、硬件成本以及算法的適用性，致力于建立一個(gè)經(jīng)濟(jì)的單目系統(tǒng)，設(shè)計(jì)簡(jiǎn)潔直觀的手勢(shì)，將其映射到豐富的目標(biāo)方向并實(shí)現(xiàn)微調(diào)。

關(guān)鍵詞：手勢(shì)識(shí)別；單目跟蹤；神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2018）12-0221-04

Abstract： With the development of artificial intelligence， aerial robots with user interface are becoming popular among general. Hand/arm gestures are an intuitive way to communicate for humans， and various research works have focused on controlling an aerial robot with natural gestures. However， the techniques in this area are still far from mature and many issues in this area have been poorly addressed. For example， there are the principles of choosing gestures from the design point of view， hardware requirements from an economic point of view， consideration of data availability， and algorithm complexity from a practical perspective. The work has jointly considered practical scenarios， hardware cost and algorithm applicability and focused on building an economical monocular system particularly designed for gestures. In addition， natural arm gestures are mapped to rich target directions and convenient fine adjustment is achieved.

Key words： gesture recognition； monocular tracking； neural network

1 引言

近年來(lái)，人機(jī)關(guān)系逐漸出現(xiàn)轉(zhuǎn)折點(diǎn)，即從“人適應(yīng)機(jī)器”到“機(jī)器對(duì)人的適應(yīng)”。隨著人工智能和計(jì)算機(jī)視覺(jué)的發(fā)展，大量的研究工作集中于利用手勢(shì)控制控制機(jī)器人，類似控制寵物。因此，基于空中機(jī)器人的手勢(shì)識(shí)別是一個(gè)很有前景的研究領(lǐng)域。

目前基于手勢(shì)識(shí)別的機(jī)器人研究不盡相同[1-5]。從設(shè)計(jì)角度來(lái)看，不同手勢(shì)適用于不同的控制命令。絕大部分設(shè)計(jì)將手勢(shì)識(shí)別視為分類問(wèn)題，其中只有少數(shù)設(shè)計(jì)將手勢(shì)識(shí)別后映射成控制命令。由于機(jī)器人可以在多環(huán)境下執(zhí)行多樣的操作，因此本算法專注于特定場(chǎng)景，實(shí)現(xiàn)為某些常用操作量身定制的設(shè)計(jì)。例如，設(shè)計(jì)“拍照”動(dòng)作的手勢(shì)，必須考慮系統(tǒng)可能需要處理多人緊密靠近的場(chǎng)景，并決定接收命令和和實(shí)際操作之間的適當(dāng)延遲；設(shè)計(jì)“指揮機(jī)器人轉(zhuǎn)動(dòng)方向”的手勢(shì)時(shí)，必須考慮足夠復(fù)雜的手勢(shì)以確保不會(huì)被意外觸發(fā)。

本文提出基于單目的手勢(shì)控制算法，該算法專用于駕駛空中機(jī)器人。算法設(shè)計(jì)綜合考慮飛行場(chǎng)景、人類的自然手勢(shì)、用戶期望的飛行器操作以及空中機(jī)器人不同目標(biāo)方向之間的命令轉(zhuǎn)換。該設(shè)計(jì)不僅實(shí)現(xiàn)人機(jī)如同寵物般愉快地交互，而且還幫助用戶在某些場(chǎng)景中擺脫笨重的控制器。

如圖 1所示本文手勢(shì)識(shí)別算法的流程圖。跟蹤靜態(tài)幀中的目標(biāo)，根據(jù)人體與手臂的比例，提取出固定大小的感興趣區(qū)域（Region Of Interest， ROI）。之后將ROI經(jīng)過(guò)三次高斯下采樣，利用卷積神經(jīng)網(wǎng)絡(luò)cifar10進(jìn)行手勢(shì)識(shí)別；最后總結(jié)多幀的識(shí)別結(jié)果從而產(chǎn)生可靠的命令。本文其余部分的安排如下：第2節(jié)介紹設(shè)計(jì)的手勢(shì)以及產(chǎn)生的相應(yīng)命令；第3節(jié)介紹目標(biāo)用戶的跟蹤算法；第4節(jié)介紹基于神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別；第5節(jié)展示本文的實(shí)驗(yàn)結(jié)果；最后，總結(jié)本文。

2 手勢(shì)設(shè)計(jì)

本文算法假設(shè)在人機(jī)交互期間，滿足用戶保持空中機(jī)器人對(duì)其可見(jiàn)，并且沒(méi)有其他人靠近的條件?？紤]由于用戶與空中機(jī)器人之間的距離、相機(jī)運(yùn)動(dòng)、不可控的戶外光照條件等，機(jī)載相機(jī)拍攝的視頻質(zhì)量通常不是很高，所以識(shí)別手臂手勢(shì)而不是手掌手勢(shì)。

如前所述，手勢(shì)設(shè)計(jì)的優(yōu)勢(shì)是將手臂手勢(shì)映射到豐富的目標(biāo)方向。首先檢測(cè)處于動(dòng)態(tài)位置的用戶以及用戶的手臂，然后命令空中機(jī)器人遵循用戶指定的方向飛行，如圖 2總結(jié)了設(shè)計(jì)的手勢(shì)以及相應(yīng)的命令。這種映射方式使人機(jī)之間的交互相當(dāng)直觀，并且用戶在大多數(shù)的情況下不需要記住特別設(shè)計(jì)的手勢(shì)表。

手勢(shì)設(shè)計(jì)的另一個(gè)優(yōu)勢(shì)是在良好的飛行區(qū)域中，當(dāng)用戶觀察到空中機(jī)器人偏離預(yù)期的路徑時(shí)，可以通過(guò)改變自己的手勢(shì)很容易地校正空中機(jī)器人的飛行方向。例如，當(dāng)用戶看到空中機(jī)器人比預(yù)期的飛行要高，只需要降低手臂就可以調(diào)整飛行高度，而不是回想復(fù)雜的手勢(shì)。

3 跟蹤目標(biāo)

本文的手勢(shì)識(shí)別算法，首先利用判別尺度空間跟蹤（Discriminative Scale Space Tracker，DSST）[6]算法檢測(cè)目標(biāo)用戶。典型初始化跟蹤算法的方式是通過(guò)手動(dòng)畫(huà)出僅包含目標(biāo)的邊界框（Bounding Box）?？紤]到算法設(shè)計(jì)的場(chǎng)景目標(biāo)總是人，所以利用人臉檢測(cè)自動(dòng)初始化跟蹤算法的邊界框，并且實(shí)現(xiàn)當(dāng)人臉檢測(cè)自動(dòng)初始化失敗的情況下通過(guò)手動(dòng)初始化邊界框。

3.1 臉部檢測(cè)

算法中使用OpenCV中Haar基于特征的級(jí)聯(lián)分類器（Haar feature-based cascade classifier）進(jìn)行人臉檢測(cè)[7-9]。此檢測(cè)算法有兩個(gè)主要的特征。第一特征是利用簡(jiǎn)單的特征如邊緣、線條以及中心環(huán)繞點(diǎn)[9]檢測(cè)物體（比如人臉）[8]。這些簡(jiǎn)單的特征不僅能快速計(jì)算，而且方便進(jìn)行尺度的縮放；第二特征便是級(jí)聯(lián)分類器，即簡(jiǎn)單分類器的級(jí)聯(lián)。成功的人臉樣本通過(guò)每個(gè)簡(jiǎn)單的分類器，最后通過(guò)畫(huà)出包含人臉的邊界框給出人臉檢測(cè)結(jié)果。如果在首幀中成功檢測(cè)到人臉，則可以根據(jù)預(yù)先設(shè)置的人頭-人體比例，從臉部的邊界框計(jì)算出用戶身體的邊界框。

3.2 DSST

DSST[6]將標(biāo)準(zhǔn)的判別相關(guān)濾波器擴(kuò)展到多維特征，并且利用三維濾波器進(jìn)行目標(biāo)尺度空間的定位。考慮一張圖像的[d]維特征圖，[f]表示矩形塊，[fl]表示矩形塊[f]的第[l]維度。為了找到包含每個(gè)維度的濾波器[hl]組成最優(yōu)相關(guān)濾波器[h]，則使以下的目標(biāo)函數(shù)誤差最小[10]：

計(jì)算出最大的響應(yīng)得分[y]以獲得最新的目標(biāo)狀態(tài)[z]。在當(dāng)前幀中搜索目標(biāo)時(shí)，DSST算法從前一幀的目標(biāo)位置開(kāi)始搜索。首先搜索二維位置的平移子空間，然后確定一維的尺度子空間。本文中跟蹤的結(jié)果是包含目標(biāo)用戶的邊界框，例如，用戶正在跟空中機(jī)器人交互的場(chǎng)景。

4 手勢(shì)識(shí)別

識(shí)別手勢(shì)的算法部分基于caffe平臺(tái)，利用卷積神經(jīng)網(wǎng)絡(luò)cifar10進(jìn)行手勢(shì)識(shí)別。Cifar10卷積神經(jīng)網(wǎng)絡(luò)適用普遍物體識(shí)別，應(yīng)用于多分類問(wèn)題，其網(wǎng)絡(luò)結(jié)構(gòu)如圖 3所示。

4.1 數(shù)據(jù)集

算法的圖像采集以及預(yù)處理部分基于Robot Operating System（ROS）平臺(tái)處理多模塊之間的通信，結(jié)合了Logitech攝像頭拍攝室內(nèi)圖像以及利用DJI Phantom P3P拍攝室外圖像，包含上述圖2設(shè)計(jì)的8種手勢(shì)數(shù)據(jù)集。

4.2 數(shù)據(jù)預(yù)處理

將拍攝的圖像通過(guò)DSST跟蹤算法獲得目標(biāo)所在的位置，根據(jù)跟蹤算法部分給出的邊界框[Bextend]提取出固定大?。╗320×240×3]）的ROI。將提取的ROI通過(guò)連續(xù)三次高斯金字塔下采樣，將圖像尺寸歸一化為[40×30×3]。之后將圖片數(shù)據(jù)轉(zhuǎn)換成caffe平臺(tái)支持的LMDB數(shù)據(jù)格式，并計(jì)算圖像的均值。

4.3 網(wǎng)絡(luò)訓(xùn)練

創(chuàng)建基于caffe平臺(tái)的網(wǎng)絡(luò)模型，并且編寫(xiě)超參數(shù)配置。將test_interval設(shè)置為500，每迭代500次進(jìn)行一次測(cè)試；將反向傳播階段的權(quán)值調(diào)整量度base_lr設(shè)置為0.001。在整個(gè)訓(xùn)練過(guò)程中，使用固定的學(xué)習(xí)率lr_policy。

5 實(shí)驗(yàn)結(jié)果

本算法實(shí)驗(yàn)首先測(cè)試進(jìn)行人臉檢測(cè)，之后測(cè)試DSST算法的性能，最后測(cè)試整個(gè)算法的識(shí)別正確率。利用離線的視頻采樣驗(yàn)證手勢(shì)設(shè)計(jì)、人臉檢測(cè)以及跟蹤檢測(cè)。

5.1 人臉檢測(cè)的性能

通過(guò)DJI Phantom P3P拍攝的室外視頻以及Logitech拍攝的室內(nèi)視頻檢測(cè)人臉，兩段視頻中只包含一個(gè)人。當(dāng)鏡頭距離人很遠(yuǎn)時(shí)，通常檢測(cè)人臉失??；當(dāng)鏡頭距離人越來(lái)越近，人臉檢測(cè)的效果逐漸顯著。如圖 4所示，從左到右且從上到下，人距離鏡頭越來(lái)越近。實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)人與鏡頭的距離為5米之內(nèi)時(shí)，檢測(cè)人臉才能成功；當(dāng)人與鏡頭之間的距離超過(guò)5米時(shí)，由于算法設(shè)計(jì)中的手動(dòng)初始化邊界框，使得成功跟蹤到目標(biāo)。當(dāng)然此距離也依賴于視頻的質(zhì)量，更高的視頻質(zhì)量能使人臉檢測(cè)算法工作在更遠(yuǎn)的范圍。

5.2 DSST跟蹤的性能

DSST算法通過(guò)人臉檢測(cè)成功檢測(cè)出人臉，初始化DSST算法的邊界框；當(dāng)人臉檢測(cè)失敗時(shí)，手動(dòng)畫(huà)出DSST的初始邊界框。如圖 5所示，成功跟蹤動(dòng)態(tài)的目標(biāo)并給出包含目標(biāo)的邊界框，根據(jù)預(yù)先設(shè)置的比例，拓展檢測(cè)出的邊界框，提取ROI。實(shí)驗(yàn)過(guò)程中發(fā)現(xiàn)，當(dāng)目標(biāo)移動(dòng)過(guò)快，目標(biāo)的最新位置檢測(cè)失??；當(dāng)目標(biāo)正常移動(dòng)，檢測(cè)效果明顯。

5.3 手勢(shì)識(shí)別的性能

手勢(shì)識(shí)別部分基于已訓(xùn)練完成的權(quán)重模型caffemodel，并且通過(guò)抽取8類相同的手勢(shì)進(jìn)行隨機(jī)測(cè)試。將每幀識(shí)別的結(jié)果存入狀態(tài)機(jī)中，根據(jù)多幀的識(shí)別結(jié)果給出相應(yīng)的控制命令，如圖 6所示。文獻(xiàn)[11]中手勢(shì)識(shí)別算法基于決策樹(shù)，此算法由于利用膚色檢測(cè)邊界框之外的手掌，容易將與膚色相近的物體識(shí)別成手掌，錯(cuò)誤計(jì)算實(shí)際手掌的三維坐標(biāo)，從而手勢(shì)識(shí)別失敗，降低正確率。本文提出的基于卷積神經(jīng)網(wǎng)絡(luò)cifar10的手勢(shì)識(shí)別算法，正確率達(dá)到了93.0%，優(yōu)于決策樹(shù)的識(shí)別算法的85.45%。

6 結(jié)論

本文提出基于單目跟蹤的手勢(shì)識(shí)別，可以降低硬件成本。本文設(shè)計(jì)的手勢(shì)不僅簡(jiǎn)單直觀，用戶只需要在特定距離內(nèi)伸出手臂進(jìn)行控制，而且方便用戶調(diào)整空中機(jī)器人。算法中利用人臉檢測(cè)初始化邊界框，DSST跟蹤算法定位用戶，使得每幀中都能檢測(cè)到用戶。設(shè)計(jì)的狀態(tài)機(jī)根據(jù)多幀的識(shí)別結(jié)果，產(chǎn)生可靠的控制命令，提高了安全性。本文算法中尚且將移動(dòng)距離固定，未將控制指令映射成空中機(jī)器人移動(dòng)的世界坐標(biāo)，這是之后研究的工作之一。

參考文獻(xiàn)：

[1] Urban M， Bajcsy P， Kooper R， et al. Lementec， Recognition of arm gestures using multiple orientation sensors： Repeatability assessment[J]. in Proceedings of the 7th International IEEE Conference onIntelligent Transportation Systems. IEEE， 2004：553-558.

[2] Lementec J C， Bajcsy P. Recognition of arm gestures using multiple orientation sensors： gesture classification[J].in Proceedings of the 7th International IEEE Conference on Intelligent Transportation Systems.IEEE， 2004：965-970.

[3] Ng W S， Sharlin E. Collocated interaction with flying robots[J]. in International Symposium on Robot and Human Interactive Communication. IEEE， 2011：143-149.

[4] Burke M， Lasenby J， Pantomimic gestures for human–robot interaction[J]. IEEE Transactions on Robotics，2015， 31（5）：1225-1237 .

[5] Urban M， P. Bajcsy P，Kooper R， et al. Lementec， Recognition of arm gestures using multiple orientation sensors： Repeatability assessment[J]. in Proceedings of the 7th International IEEE Conference onIntelligent Transportation Systems. IEEE， 2004：553-558.

[6] Pfeil K， Koh S L， LaViola J， Exploring 3d gesture metaphors for interaction with unmanned aerial vehicles[J].in Proceedings of the 2013 international conference on Intelligent user interfaces. ACM， 2013：257–266.

[7] Danelljan M， Hager G， Khan F， et al. Accurate scale estimation for robust visual tracking[J]. in British Machine Vision Conference， Nottingham， September 1-5， 2014. BMVA Press， 2014.

[8] Viola P， Jones M. Rapid object detection using a boosted cascade of simple features[J]. in Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR）， IEEE， 2001（1）：1-511.

[9] Lienhart R， Maydt J. An extended set of haar-like features for rapid object detection[J]， in Proceedings of International Conference on Image Processing （ICIP）， IEEE， 2002（1）：1–900.

[10] Conaire C O， OConnor N E， Smeaton A F.Detector adaptation by maximising agreement between independent data sources[J]， in Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2007：1-6.

[11] Ting Sun， Shengyi Nie， Dit-Yan Yeung， et al. Gesture-based Piloting of an Aerial Robot using Monocular Vision[J].in International Conference on Robotics and Automation（ICRA）.IEEE， 2017：5913-5920.