王粉花，黃超，趙波, 張強

(1.北京科技大學 自動化學院，北京 100083； 2.北京科技大學 人工智能研究院，北京 100083；3.北京市工業(yè)波譜成像工程中心，北京 100083)

手勢是聾啞人日常交流的主要方式. 據(jù)統(tǒng)計，在我國約有2 057萬的聾啞人，占全國總?cè)丝诘?.67%[1]. 手語是正常人與聾啞人交流的主要形式，手勢識別的研究對于促進手語翻譯的發(fā)展具有重大意義. 同時手勢在人機交互方面也具有巨大的應用前景，例如：Kinect3D體感攝影機、引入手勢識別功能的寶馬iDrive系統(tǒng)等.

在早期的手勢識別方法中，主要基于數(shù)據(jù)手套和視覺的手勢識別方法. 基于數(shù)據(jù)手套的手勢識別[2]其優(yōu)點是識別率高，但不足之處是需要大量傳感器輔助，佩戴繁瑣，只借助計算機無法實現(xiàn). 基于視覺的手勢識別，主要通過手勢的特征提取，如利用膚色、形態(tài)等特征將手勢分割出來，然后通過支持向量機(SVM)等分類算法進行識別. 該方法的關鍵之處在于手勢區(qū)域的提取，這是提高識別率的關鍵所在. Grobel等[3]使用基于隱馬爾可夫模型的手勢識別，對262個手語的識別達到了94 %的準確率. 識別效果很好，但是需要在測試者的手上佩戴顏色手套，輔助手勢分割. 基于膚色的手勢提取方法，成功擺脫了數(shù)據(jù)手套和顏色手套的繁瑣，但是識別率不高，泛化能力不強，依然存在很多問題. 楊紅玲等[4]使用骨架特征圖像和邊緣特征圖像進行融合，實現(xiàn)石頭、剪刀、布的識別，準確率達到98.57%. 其不足之處是識別的圖像手勢占主體，并不是一般的自然手勢圖像. Dominio等[5]提出的基于Kinect深度信息的手勢識別方法，最高可以達到99.5%的準確率，其缺點是算法復雜，距離變換性差，設備裝置要求高. 張曉燕[6]使用了基于膚色和已有的模板進行匹配的手勢識別技術. 強彥等[7]提出基于棧式稀疏自編碼多特征融合的快速手勢識別方法.

隨著目標檢測的發(fā)展，使很多學者將手勢識別的分類問題轉(zhuǎn)換成目標檢測問題. 2014年，Girshick等[8]在CVPR(computer vision and pattern recognition)大會上提出了R-CNN目標檢測網(wǎng)絡，隨后又提出了Fast R-CNN[9]、Faster R-CNN[10]等兩步檢測的算法，將識別速度和識別準確度進一步提升. 同時Redmon等[11]在2016年的CVPR大會提出了一步檢測的YOLO(you only look once)算法,其檢測速度相較以前的算法得到很大的提高，能達到45 FPS(frames per second)，從而受到更多人的青睞. Liu等[12]在ECCV2016上提出了SSD(single shot multibox detector)目標檢測算法，隨后張勛等[13]在SSD的基礎改進上使用了輕量化的ASSD模型，實現(xiàn)手勢的實時檢測. Redmon等[14]在2017的CVPR大會上提出了YOLOv2算法，將識別率進一步提升. 隨后在2018年提出了YOLOv3算法[15]，對小目標的識別率進一步得到改善，同時也發(fā)布了YOLOv3的快速版本YOLOv3-tiny算法，檢測速度可達220 FPS. Ni等[16]在改進YOLOv2算法，并且在此基礎上進行了剪枝，提出了模型只有4 M的輕量化模型. 三維卷積的出現(xiàn)，出現(xiàn)了很多基于3D -CNN的手勢識別方法，如Abavisani等[17]提出的多種模態(tài)的知識來訓練單模3D -CNN. Nguyen等[18]利用手骨骼的3D坐標，實現(xiàn)手勢識別.

1 YOLO算法模型

本文提出的YOLOv3-tiny-T算法可以到達220 FPS識別速度. 相對于其他深度學習模型具有較高的速度，這對于將手勢識別應用到嵌入設備中具有重大意義. 本文的主要工作有：①提出的YOLOv3-tiny-T網(wǎng)絡，利用不同通道的信息融合，提高了網(wǎng)絡的識別率；②YOLOv3-tiny-T網(wǎng)絡保持了YOLOv3-tiny算法識別速度；③研究為手語識別以及行為識別提供了很好的研究價值.

1.1 YOLO算法簡介

YOLO算法模型有YOLOv1、YOLOv2和YOLOv3 3個系列的版本，同時還有一些快速版本. YOLOv1網(wǎng)絡結(jié)構(gòu)是在GoogleNet網(wǎng)絡20層的基礎上添加了4個卷積層和2個全連接層. YOLOv1算法將圖像分成7×7的網(wǎng)格(grid cell)，當物體中心落入某個網(wǎng)格中，這個網(wǎng)格就負責預測這個物體，每個網(wǎng)格分配2個邊界框，最終輸出的是7×7×30的張量. 其中30是通道數(shù)，包含2個邊界框的5個坐標信息：中心點坐標x、y，預測框的長h，寬w和置信度cc，共10個通道. 中心點坐標x和y是相對每一個網(wǎng)格而言的，用坐標(0，0) 表示網(wǎng)格的左上角，用坐標(1，1)表示網(wǎng)格的右下角，寬和高是相對于整個圖片而言的，取值在0到1之間. 置信度如式(1)所示

(1)

計算式為

(2)

剩下20個通道表示20類物體在網(wǎng)格中存在物體中心的情況下，是某個物體的概率，表示為P(ci|o). 預測物體的得分如式(3)所示

式中P(ci)為20個物體中第i個物體的概率.

YOLOv1將目標檢測問題看成是回歸問題，損失函數(shù)采用均方誤差，如式(4)所示

從著作權的角度看，對非物質(zhì)文化遺產(chǎn)的保護與知識產(chǎn)權制度的契合點存在于非物質(zhì)文化遺產(chǎn)的特點。非物質(zhì)文化遺產(chǎn)所具有的獨創(chuàng)性和可復制性正切合了著作權所保護的客體，比如我們民間剪紙藝術作品，它是民間剪紙藝術家通過繁瑣的體力和智力勞動所獨家制造出的具有可復制性的智力成果。根據(jù)我國《著作權法》的規(guī)定，作品是指“文學、藝術和科學領域內(nèi)具有獨創(chuàng)性并能以某種有形形式復制的智力創(chuàng)造成果。”由此，作品應當是獨創(chuàng)性的、可復制性的，并且是存在于文學、藝術和科學領域內(nèi)的智力成果。民間剪紙藝術作品作為一種圖案，具備作品所必須具有的要素，是我國著作權法的保護客體。

(4)

YOLOv2算法模型在YOLOv1的基礎上進行了一些改進. YOLOv2使用Darknet19為基本結(jié)構(gòu). Darknet19網(wǎng)絡結(jié)構(gòu)與VGG網(wǎng)絡結(jié)構(gòu)類似，效果相當，都是采用小卷積核操作. YOLOv2中借鑒了Faster R-CNN算法，引入了錨點框(anchor boxes)，為每個網(wǎng)格生成更多的候選框. 同時在錨點框的選擇上，采用k-means聚類算法，選擇更接近對象的錨點框，使網(wǎng)絡收斂得更快，更容易學習. 其中k-means聚類算法的距離使用交并比來衡量，距離計算如式(5)所示

d(b,c)=1-U(b,c) ，

(5)

式中：c為聚類中心；U(b，c)為中心框和真實框的交并比.

YOLOv2還使用批量規(guī)范化(batch normalization)，對每一層的輸入進行處理，大大提高了訓練速度，并防止過擬合，取代了原來的Dorpout層. YOLOv2借鑒SSD中的細粒度特征，將淺層特征鏈接到深層特征中. YOLOv2在訓練的過程中，每訓練10步就會在320～608以32為間隔，在這10個尺寸里隨機更換一個尺寸，進行變換尺寸訓練，提高對不同大小圖片的泛化性能.

YOLOv3算法模型是在YOLOv2模型的基礎上進行了改進，使用更深的網(wǎng)絡結(jié)構(gòu)Darknet53. Darknet53網(wǎng)絡和ResNet101網(wǎng)絡的效果相近，但是Darknet53網(wǎng)絡的識別速度是RetinaNet101網(wǎng)絡的2倍. Darknet53網(wǎng)絡交替使用3×3、1×1的卷積和殘差結(jié)構(gòu)[19]，同時使用FPN架構(gòu)(feature pyramid networks for object detection)[20]來實現(xiàn)多尺度檢測. YOLOv3使用9個錨點框，每個尺度對應3個錨點框，小尺度使用大的錨點框，大尺度使用小的錨點框，有利于小目標的檢測.

1.2 YOLOv3-tiny算法簡介

2 YOLO算法模型改進

本文對YOLOv3-tiny算法的主要改進在于添加了1×1的卷積層. 1×1的卷積核可以將不同維度的特征融合，得到預設的通道數(shù). 當?shù)玫降耐ǖ罃?shù)增加時，就起到了升維的作用；反之就起到了降維的作用. 本文使用1×1的卷積核的目的是進行降維處理，以便減少參數(shù)、降低計算量，同時利用不同通道的信息融合提高網(wǎng)絡的識別率.

在YOLOv3算法中使用了大量的3×3和1×1的卷積核，并且使用殘差網(wǎng)絡. 3×3的卷積核負責尋找特征，1×1的卷積核負責壓縮通道數(shù). YOLOv3算法還使用步長為2，大小為3×3的卷積層，代替池化層，降低維度. 而在YOLOv3-tiny中除使用了少量的1×1的卷積核外，幾乎沒有使用其他比較好的網(wǎng)絡結(jié)構(gòu). 本實驗在YOLOv3-tiny網(wǎng)絡結(jié)構(gòu)的基礎上提出了YOLOv3-tiny-T網(wǎng)絡，YOLOv3-tiny-T是在YOLOv3-tiny的6個最大池化層后依次添加1×1×8，1×1×16，1×1×32，1×1×64，1×1×128，1×1×256的卷積層，將最大池化后的通道數(shù)縮減為原來的1/2，減少了參數(shù)量和計算量，其結(jié)構(gòu)如圖3所示.

3 實驗及結(jié)果分析

3.1 實驗平臺

實驗是在PC機上完成. PC的主要配置為Ubuntu16.04操作系統(tǒng)，CPU為 E5-2660 v4，顯卡為TITAN Xp，內(nèi)存32 G. 實現(xiàn)框架為DarkNet，并使用OpenCV進行圖像顯示.

3.2 實驗數(shù)據(jù)

提出的UST數(shù)據(jù)集是通過計算機攝像頭采集的1 203張圖片，包括5種手勢，分別定義為h0，h1，h2，h3和h4，如圖4所示. 同時每一種手勢中既有左手手勢又有右手手勢. 其中h0有231張，h1有249張，h2有240張，h3有234張，h4有249張. 利用圖像標記軟件labelimg進行人工標記，其中80%用于訓練，20%用于測試. 測試圖片一共有241張，為T1；另外又制作了122張圖片，為T2，其中h0和h1各有20張，h2有25張，h3有23張，h4有34張.

3.3 評價標準

實驗使用平均精度均值(mean average precision，mAP)作為評價標準，他綜合考慮了查準率和查全率. 平均精度均值首先需要計算每一個物體類別的平均精度(AP). 平均精度表示為

(6)

式中ρi為在這一類別的P-R曲線(查準率-查全率曲線)上的點的縱坐標. 本文使用的是11點插值法，即在P-R曲線中取出11個數(shù)值，求解平均值.

平均精度均值為每一個類別的平均精度的均值，如式(7)所示

(7)

式中n為目標的類別數(shù).

3.4 實驗結(jié)果

實驗對YOLOv1，YOLOv2，YOLOv3以及YOLOv3-tiny和YOLOv3-tiny-T算法的mAP值以及圖片的檢測時間進行對比，如表1所示. YOLOv1，YOLOv2和YOLOv3在Test2測試集上的漏檢和誤檢個數(shù)對比如表2所示. YOLOv3-tiny和YOLOv3-tiny-T 2種算法在每一種手勢的AP(average precision)值對比，如表3所示. 此外為了驗證YOLOv3-tiny-T算法的快速性，本文中與Light YOLO進行了FPS(每秒傳輸幀數(shù))對比，如表4所示.

表1 YOLO系列算法mAP對比Tab.1 Comparison of experimental mAP

3.4.1平均精度均值對比

從表1的對比中可以看出，YOLOv1算法在T1測試集中的mAP值最低，而在T2測試集中的mAP值最高.T1測試集是在1 203張圖片中隨機劃分的，與訓練數(shù)據(jù)具有很高的相似性，而T2測試集與訓練數(shù)據(jù)差異較大. 對比表明，YOLOv1的泛化能力較好. YOLOv1算法中使用2個邊界框，對于多目標的識別定位誤差較大，而本數(shù)據(jù)集一張圖片中只有一個目標，具有較高的mAP值. 而YOLOv2和YOLOv3的很多改進針對的是小目標和一個網(wǎng)格中可能出現(xiàn)多目標的情況進行改進，但對于本數(shù)據(jù)集來說，可能會增加分類誤差. YOLOv2和YOLOv3的網(wǎng)絡較深，對于單一的目標容易導致過擬合. 從表2中的誤檢和漏檢對比可以看出，YOLOv1算法存在漏檢，YOLOv2和YOLOv3不存在漏檢，但是有誤檢，證實了YOLOv1算法具有較大的定位誤差，而YOLOv2和YOLOv3具有較大的分類誤差.

3.4.2檢測時間對比

從表1的檢測時間對比表明，YOLOv1算法在本數(shù)據(jù)集上的檢測速度最慢，其次是YOLOv3算法，YOLOv3-tiny-T算法和YOLOv3-tiny算法檢測時間最快. YOLOv1算法的網(wǎng)絡結(jié)構(gòu)中使用了全連接層和大的卷積核，增加了網(wǎng)絡的計算代價. 而在YOLOv2算法和YOLOv3算法使用小卷積核，用卷積層替代全連接，使用批量規(guī)范化取代Dropout層，大大加快了運算速度，降低了計算量. YOLOv3算法比YOLOv2慢，是由于YOLOv3使用Darknet53網(wǎng)絡，具有更深的網(wǎng)絡結(jié)構(gòu). YOLOv3-tiny-T算法和YOLOv3-tiny算法識別速度最高是由于網(wǎng)絡結(jié)構(gòu)比YOLOv2簡單.

3.4.3YOLOv3-tiny-T和YOLOv3-tiny對比

從表3的對比可以看出，在T1測試集上YOLOv3-tiny-T算法和YOLOv3-tiny算法沒有差別，但在T2測試集上，除了在h2上前者的AP值比后者低以外，其他均高于后者. 綜合各項來看YOLOv3-tiny-T算法的mAP值為92.24%，YOLOv3-tiny的mAP值為87.24%. 從表2的對比可以看出，YOLOv3-tiny算法與YOLOv3-tiny-T算法的識別速度幾乎沒有什么差別. 圖5為YOLOv3-tiny-T算法在較暗、模糊圖以及近膚色背景下的檢測以及近膚色背景下的檢測效果圖. 圖6為YOLOv3-tiny-T算法檢測出現(xiàn)的重框和漏檢情況.

3.4.4YOLOv3-tiny-T和Light YOLO對比

Light YOLO模型是基于YOLOv2模型的改進，在結(jié)構(gòu)上去掉了YOLOv2模型第6個卷積塊，添加了空間增強模塊. Light YOLO模型對小目標的識別率更高，并對模型進行剪枝. Light YOLO模型的識別率較高，但是識別速度比本文的模型要慢. 而YOLOv3-tiny-T中添加的1×1的卷積旨在保持高速性，來提高性能. 表4中YOLOv3-tiny-T和Light YOLO的FPS對比可以發(fā)現(xiàn)，YOLOv3-tiny-T的FPS在速度上相當于Light YOLO模型的2倍. 在模型的實時性上具有比較大的優(yōu)勢.

4 結(jié) 論

將YOLO算法應用到手勢識別中，取得了非常不錯的效果，在模糊圖像、背景近膚色和光線較暗等多種情況下，識別的準確率都較高. 通過YOLO系列算法的對比實驗，得出了在目標比較單一的情況下，YOLOv1算法具有較高的平均精度均值，但速度較慢，YOLOv3-tiny算法和YOLOv3-tiny-T算法具有較快的速度. 同時在YOLOv3-tiny算法的基礎上提出的YOLOv3-tiny-T算法在保證了識別速度的情況下，平均精度均值獲得了5%左右的提升. 實驗表明，YOLOv3-tiny-T具有較好的綜合性能. 此外，YOLOv3-tiny-T速度上雖然可以達到Light YOLO快2倍的速度，但是在精度和小目標識別上還有研究的空間.