劉潤(rùn)萱，龍斌，關(guān)源，王二凱，張勇，王鶴

（1.遼寧科技大學(xué) 機(jī)械工程與自動(dòng)化學(xué)院，遼寧鞍山，114051；2.遼寧福鞍重工股份有限公司，遼寧鞍山，114016）

0 引言

傳統(tǒng)無人機(jī)交互控制系統(tǒng)中，通常采用的語音識(shí)別技術(shù)，以及各種傳感器信息融合技術(shù)基本是將傳感器采集來的信號(hào)轉(zhuǎn)化為較有限的指令，然后通過指令驅(qū)動(dòng)機(jī)器人執(zhí)行事先定義好的運(yùn)動(dòng)或操作[1～2]。這樣的交互方式操作較為刻板，一定程度上限制了人機(jī)交互的靈活性與直觀性。要使無人機(jī)能夠更好地工作，深度學(xué)習(xí)技術(shù)必然是其重要的研究和應(yīng)用方向[3]。

手勢(shì)識(shí)別類似于人體動(dòng)作識(shí)別，常用的基于深度學(xué)習(xí)的方法有，基于圖像序列的LSTM 動(dòng)作識(shí)別、基于3D 卷積的視頻分類以及基于關(guān)鍵點(diǎn)的動(dòng)作識(shí)別。在基于圖像序列的LSTM 動(dòng)作識(shí)別方面，楊萬鵬等[4]提出了一種特征級(jí)融合的LSTM 和CNN 方法。該方法將獨(dú)立的傳感器數(shù)據(jù)依次接入到LSTM 層和卷積組件層用于特征提取，之后匯聚起多傳感器的特征再進(jìn)行動(dòng)作分類。張儒鵬等[5]提出了O-Inception結(jié)構(gòu)，并將其與LSTM 進(jìn)行了融合，進(jìn)而提出了OI-LSTM動(dòng)作識(shí)別模型。實(shí)驗(yàn)結(jié)果表明，所提出的OI-LSTM 動(dòng)作識(shí)別模型，在WISDM 和UCI 兩個(gè)數(shù)據(jù)集上其準(zhǔn)確率比當(dāng)前最先進(jìn)的方法分別提高了約4%和1%。在基于3D 卷積的視頻分類方面，劉巖石等[6]提出一種改進(jìn)的三維卷積神經(jīng)網(wǎng)絡(luò)模型。該模型將傳統(tǒng)的3D CNN 網(wǎng)絡(luò)結(jié)構(gòu)拆分為空間流和時(shí)間流進(jìn)行數(shù)據(jù)運(yùn)算，并借鑒ResNet 網(wǎng)絡(luò)的設(shè)計(jì)思想，減少參數(shù)設(shè)置，避免梯度消失。實(shí)驗(yàn)結(jié)果表明，文中模型在保證識(shí)別精度的條件下，訓(xùn)練速度得到了大幅提升。在基于關(guān)鍵點(diǎn)的動(dòng)作識(shí)別方面，劉源[7]提出了一種基于目標(biāo)分割網(wǎng)絡(luò)的人體關(guān)鍵點(diǎn)檢測(cè)方法，以提高人體關(guān)鍵點(diǎn)的檢測(cè)精度。尹建芹等[8]提出了時(shí)序直方圖的概念用以建模關(guān)鍵點(diǎn)序列。再通過比較軌跡間關(guān)鍵點(diǎn)序列的相似性，完成動(dòng)作識(shí)別任務(wù)。

本文提出一種基于深度學(xué)習(xí)技術(shù)，即YOLOv5（You Only Look Once）的手勢(shì)指令智能識(shí)別方法。利用該方法無人機(jī)根據(jù)人的手勢(shì)指令執(zhí)行相應(yīng)的飛行動(dòng)作，為無人機(jī)的交互式控制提供技術(shù)支持。

1 YOLOv5 算法

YOLOv5 與之前的模型相比，它的識(shí)別速度和準(zhǔn)確率都有了明顯提高，成為目標(biāo)識(shí)別的最佳選擇[9]，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。主要的改進(jìn)思路如下：

圖1 YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)圖

輸入端：在模型訓(xùn)練階段，提出了一些改進(jìn)思路，主要包括Mosaic 數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算、自適應(yīng)圖片縮放；

Backbone：融合其他檢測(cè)算法中的一些新思路，主要包括：Focus 結(jié)構(gòu)與CSP 結(jié)構(gòu)；

Neck：目標(biāo)檢測(cè)網(wǎng)絡(luò)在Backbone 與最后的Head 輸出層之間往往會(huì)插入一些層，YOLOv5 中添加了FPN+PAN結(jié)構(gòu)；

Prediction：輸出層的錨框機(jī)制與YOLOv4 相同，主要改進(jìn)的是訓(xùn)練時(shí)的損失函數(shù)GIOU_Loss，以及預(yù)測(cè)框篩選的DIOU_nms。

2 手勢(shì)指令模型構(gòu)建

采用YOLOv5 算法實(shí)現(xiàn)手勢(shì)指令檢測(cè)主要有三個(gè)階段：第一階段為數(shù)據(jù)集采集，第二階段為模型訓(xùn)練，最后為模型驗(yàn)證。

2.1 數(shù)據(jù)集

本文要實(shí)現(xiàn)無人機(jī)的飛行動(dòng)作主要有：?jiǎn)?dòng)、起飛、降落、懸停，以及向上/下/左/右/前/后飛5cm。無人機(jī)的飛行動(dòng)作對(duì)應(yīng)的手勢(shì)指令分別為：OK 手勢(shì)，大拇指向上，大拇指向下，拳頭，以及手勢(shì)一/二/三/四/五/六。具體對(duì)應(yīng)關(guān)系如表1 所示。

表1 無人機(jī)飛行動(dòng)作與手勢(shì)的對(duì)應(yīng)關(guān)系

為了提高模型訓(xùn)練的效率，在訓(xùn)練前調(diào)整每張圖片大小為同一尺寸，每張圖像像素大小設(shè)置為600×600。訓(xùn)練集、驗(yàn)證集和測(cè)試集按照7:1:2 的比例隨機(jī)分配和規(guī)劃。該自制手勢(shì)行為數(shù)據(jù)集樣本數(shù)量大約有200 張圖片。在進(jìn)行正式訓(xùn)練手勢(shì)數(shù)據(jù)集前，首先通過Labelme 軟件對(duì)每張圖片進(jìn)行手勢(shì)類別標(biāo)注，生成帶有位置信息的XML 文件，標(biāo)明每張圖片所對(duì)應(yīng)的標(biāo)簽，將全部的訓(xùn)練圖片標(biāo)注完成后放入訓(xùn)練集文檔中，至此完成數(shù)據(jù)集的制作。

2.2 模型訓(xùn)練

使用YOLOv5 訓(xùn)練模型進(jìn)行訓(xùn)練，在進(jìn)行了200 次迭代后達(dá)到了收斂，訓(xùn)練結(jié)果如圖2 所示。從圖2 中可以看出，模型隨著訓(xùn)練次數(shù)的增多很快就達(dá)到了收斂狀態(tài)，Loss 值也逐漸趨于穩(wěn)定，達(dá)到了期望的數(shù)值。Precision 和Recall曲線的波動(dòng)較小表明模型訓(xùn)練的效果較好，可認(rèn)為模型具有較好的精確度和穩(wěn)定性。并且訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集的損失函數(shù)基本都減小到了0.01 以下。經(jīng)過訓(xùn)練，最終模型的準(zhǔn)確率達(dá)到了90%以上。

圖2 模型訓(xùn)練收斂曲線

2.3 模型驗(yàn)證

為了驗(yàn)證模型的性能，這里采用F1 分?jǐn)?shù)，Precision 值，Recall 值和mAP 值四個(gè)指標(biāo)來評(píng)估所訓(xùn)練的模型。四個(gè)指標(biāo)的作用和具體計(jì)算方式可參見文獻(xiàn)[10]。驗(yàn)證的結(jié)果如圖3～6 所示。從圖3 可以看到F1 曲線很“寬敞”且頂部接近1，說明在測(cè)試集上表現(xiàn)得很好（既能很好地查全，也能很好地查準(zhǔn)）的置信度閾值區(qū)間很大。從圖4 可以看出當(dāng)判定概率超過置信度閾值時(shí)，各個(gè)手勢(shì)識(shí)別的準(zhǔn)確率。當(dāng)置信度越大時(shí)，手勢(shì)檢測(cè)越準(zhǔn)確，但是這樣就有可能漏掉一些判定概率較低的真實(shí)樣本。從圖5 可以看出當(dāng)置信度越小的時(shí)候，手勢(shì)檢測(cè)的越全面，即手勢(shì)檢測(cè)不容易被漏掉，但容易誤判。從圖6 可以看出mAP 曲線的面積接近1，也就是說所訓(xùn)練出的模型在準(zhǔn)確率很高的前提下，基本能檢測(cè)到全部的手勢(shì)類別。因此通過四個(gè)指標(biāo)的曲線圖可知，所訓(xùn)練出的模型具有良好手勢(shì)識(shí)別的性能。

圖3 F1 曲線

圖4 Precision 曲線

圖5 Recall 曲線

圖6 mAP 曲線

為了進(jìn)一步驗(yàn)證模型的性能，將與原先數(shù)據(jù)集中人物、場(chǎng)景均不同的全新的100 個(gè)樣本的測(cè)試集放進(jìn)訓(xùn)練好的模型中進(jìn)行測(cè)試。結(jié)果表明，模型在測(cè)試集上表現(xiàn)良好。通過圖7 混淆矩陣分析可知，模型對(duì)這10 種手勢(shì)都達(dá)到了良好的檢測(cè)效果。一部分樣本由于圖片背景過于復(fù)雜而導(dǎo)致識(shí)別錯(cuò)誤，例如具有較強(qiáng)的反射光背景或者是圖片像素過低所造成的。

圖7 混淆矩陣

2.4 模型對(duì)比

為了進(jìn)一步驗(yàn)證Yolov5 在數(shù)據(jù)集上的性能優(yōu)越性，構(gòu)建了ResNet，VGG16 和RCNN 三個(gè)深度學(xué)習(xí)算法手勢(shì)指令檢測(cè)模型，使用上述的測(cè)試集進(jìn)行訓(xùn)練和評(píng)估，與Yolov5進(jìn)行對(duì)比測(cè)試，實(shí)驗(yàn)結(jié)果如圖8 所示。由圖8 可以直接看出，在本文構(gòu)建的手勢(shì)數(shù)據(jù)集上，RCNN，VGG16 和ResNet 分別獲得了90.6%，92.1%和93.2%的準(zhǔn)確率，而Yolov5算法的準(zhǔn)確率在對(duì)比實(shí)驗(yàn)中最高，為96.4%，能夠更好地滿足手勢(shì)指令的檢測(cè)要求，為控制無人機(jī)提供更加準(zhǔn)確的手勢(shì)指令。

圖8 不同深度學(xué)習(xí)算法的對(duì)比

3 實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)平臺(tái)采用的是大疆Tello 無人機(jī)，此無人機(jī)支持Python 編程，并提供Python API 接口。同時(shí)提供了Tello SDK，其能夠通過Wi-Fi UDP 協(xié)議與無人機(jī)連接，讓用戶可以通過文本指令控制無人機(jī)。圖9 為使用YOLOv5 作為檢測(cè)模型對(duì)手勢(shì)指令的檢測(cè)效果。從檢測(cè)結(jié)果可以明顯看出，該模型對(duì)10 種手勢(shì)指令都具有良好的識(shí)別效果，并且無人機(jī)能夠根據(jù)識(shí)別出的手勢(shì)指令執(zhí)行相應(yīng)的飛行動(dòng)作。

圖9 實(shí)際識(shí)別手勢(shì)指令的效果

4 結(jié)論

本文為了實(shí)現(xiàn)視覺識(shí)別手勢(shì)指令以控制無人機(jī)飛行運(yùn)動(dòng)，建立了基于YOLOv5 算法的識(shí)別模型。具體結(jié)論如下：第一，采用測(cè)試集對(duì)模型進(jìn)行驗(yàn)證。驗(yàn)證結(jié)果顯示所建立的模型對(duì)10 種手勢(shì)指令具有較高的識(shí)別準(zhǔn)確率；第二，在無人機(jī)應(yīng)用驗(yàn)證顯示所建立的模型對(duì)手勢(shì)指令識(shí)別準(zhǔn)確率在90%以上。