盧 迪 馬文強(qiáng)

(哈爾濱理工大學(xué) 哈爾濱 150080)

1 引言

在人機(jī)交互領(lǐng)域，手勢(shì)有很多種應(yīng)用場(chǎng)景，如游戲控制、智能家居、手語(yǔ)實(shí)時(shí)翻譯等[1]。因此，對(duì)于手勢(shì)的快速準(zhǔn)確檢測(cè)和識(shí)別十分重要。自20世紀(jì)末，國(guó)外就開(kāi)始了基于手勢(shì)識(shí)別交互的研究，主要分為基于外部設(shè)備的手勢(shì)識(shí)別和基于計(jì)算機(jī)視覺(jué)的手勢(shì)識(shí)別。相較于基于外部設(shè)備的手勢(shì)識(shí)別方式，基于計(jì)算機(jī)視覺(jué)的手勢(shì)識(shí)別方式更為方便靈活、降低了設(shè)備成本。傳統(tǒng)的基于計(jì)算機(jī)視覺(jué)的手勢(shì)識(shí)別方法分為手勢(shì)的檢測(cè)和分割、手勢(shì)特征提取與手勢(shì)識(shí)別3個(gè)階段。常常使用膚色分割模型分割出手勢(shì)區(qū)域，再提取尺度不變特征變換(Scale-Invariant Feature Transform, SIFT)、加速穩(wěn)健特征(Speeded Up Robust Features, SURF)、方向梯度直方圖(Histogram of Oriented Gradient, HOG)、Hu矩等特征，采用支持向量機(jī)(Support Vector Machine, SVM)、Adaboost等機(jī)器學(xué)習(xí)方法進(jìn)行分類(lèi)。該類(lèi)方法對(duì)數(shù)據(jù)集的依賴(lài)性大，算法的魯棒性不強(qiáng)，且人工提取特征的方式過(guò)程煩瑣復(fù)雜，依賴(lài)工程人員的自身經(jīng)驗(yàn)，算法的應(yīng)用局限性較大。

隨著深度學(xué)習(xí)的研究與發(fā)展，基于深度學(xué)習(xí)的方法識(shí)別速度快，準(zhǔn)確率高，成為主流的手勢(shì)識(shí)別算法。Oyedotun等人[2]將圖像二值化，利用閾值分割來(lái)獲取手勢(shì)區(qū)域，使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)和編碼器進(jìn)行手勢(shì)識(shí)別。王龍等人[3]利用膚色模型進(jìn)行手勢(shì)檢測(cè)，并將得到的手勢(shì)區(qū)域重建為灰度圖像，最終將手勢(shì)區(qū)域輸入CNN進(jìn)行特征提取和識(shí)別。Mohanty等人[4]不進(jìn)行手勢(shì)檢測(cè)處理，將原始圖像直接輸入簡(jiǎn)單的2層CNN進(jìn)行特征提取和識(shí)別。上述手勢(shì)識(shí)別分類(lèi)算法中，當(dāng)圖像中存在人體膚色等復(fù)雜背景干擾時(shí)，CNN識(shí)別率顯著下降。隨著目標(biāo)檢測(cè)算法的發(fā)展，許多學(xué)者將手勢(shì)識(shí)別的分類(lèi)問(wèn)題轉(zhuǎn)換為目標(biāo)檢測(cè)問(wèn)題，主要分為兩種：基于回歸的1階段目標(biāo)檢測(cè)方法和基于區(qū)域推薦的2階段目標(biāo)檢測(cè)方法。1階段目標(biāo)檢測(cè)算法主要有YOLO (You Only Look Once)[5-8], SSD (Single Shot multibox Detector)[9],RetinaNet[10]和CornerNet[11]等，2階段目標(biāo)檢測(cè)算法主要有R-CNN (Region-based CNN)[12],Fast R-CNN(Fast Region-based CNN)[13], Faster R-CNN (Faster Region-based CNN)[14]和R-FCN(Region-based Fully Convolutional Networks)[15]等。Soe等人[16]用Faster R-CNN算法進(jìn)行手勢(shì)識(shí)別的研究，采用ZFNet網(wǎng)絡(luò)作為特征提取的主干網(wǎng)絡(luò)，網(wǎng)絡(luò)雖然簡(jiǎn)單，但不能充分提取到手勢(shì)的特征，識(shí)別率不高，在NUS-II數(shù)據(jù)集[17]所有手勢(shì)的精確率只有90.08%，手勢(shì)c的精確率更是只有65.82%。常建紅[18]提出了一種改進(jìn)Faster R-CNN的手勢(shì)識(shí)別算法，在NUS-II手勢(shì)數(shù)據(jù)集上精確率達(dá)到99.89%，但是由于該算法先經(jīng)過(guò)RPN推薦候選框，再進(jìn)行識(shí)別，屬于2階段目標(biāo)檢測(cè)算法，速度較慢。1階段的目標(biāo)檢測(cè)方法比2階段法檢測(cè)速度快，更適用于一些實(shí)時(shí)性要求高的情況。張勛等人[19]基于SSD算法，使用輕量化的ASSD模型，fps為30，算法可以實(shí)時(shí)對(duì)手勢(shì)進(jìn)行檢測(cè)與識(shí)別，平均精度均值為93.3，識(shí)別效果不是很好。彭玉青等人[20]提出一種基于YOLO定位和CNN分類(lèi)識(shí)別的HGDR-Net算法，在復(fù)雜背景下取得不錯(cuò)的效果，在處理時(shí)間為0.065 s的情況下F1平均值達(dá)到98.43%，但算法要先通過(guò)YOLO算法定位，再進(jìn)行識(shí)別，識(shí)別過(guò)程復(fù)雜。王粉花等人[21]用改進(jìn)YOLOv3-tiny算法進(jìn)行手勢(shì)識(shí)別，fps達(dá)到220，平均精度均值為92.24%，YOLOv3-tiny-T算法識(shí)別速度雖然很快，但是平均精度均值相對(duì)較低。Jiang等人[22]提出一種改進(jìn)YOLOv4-tiny算法，該算法具有更快的目標(biāo)檢測(cè)速度，適合在移動(dòng)端和嵌入式等運(yùn)算能力不強(qiáng)的設(shè)備開(kāi)發(fā)。

經(jīng)過(guò)上述分析，以上手勢(shì)檢測(cè)識(shí)別算法都存在一定缺陷，不能在準(zhǔn)確率和速度之間取得最好的均衡?；诖藛?wèn)題，本文選取適合在移動(dòng)端部署的YOLOv4-tiny算法來(lái)進(jìn)行手勢(shì)的檢測(cè)與識(shí)別，并在此基礎(chǔ)上改進(jìn)算法實(shí)現(xiàn)準(zhǔn)確率和速度的最佳平衡。

2 相關(guān)網(wǎng)絡(luò)與模塊

2.1 YOLOv4-tiny算法

YOLOv4-tiny算法是在YOLOv4方法的基礎(chǔ)上設(shè)計(jì)的，其具有更快的目標(biāo)檢測(cè)速度，預(yù)測(cè)過(guò)程與YOLOv4相同。該算法首先調(diào)整輸入圖像的大小，使所有輸入圖像具有相同的固定大小A×A(本文為416×416)。將A×A大小的圖片分為兩個(gè)尺度的網(wǎng)格進(jìn)行預(yù)測(cè)，這兩個(gè)尺度分別為B1=A/32和B2=A/16。如果真實(shí)標(biāo)注框中某個(gè)目標(biāo)的中心坐標(biāo)落在哪個(gè)網(wǎng)格中，那么就由該網(wǎng)格來(lái)預(yù)測(cè)該目標(biāo)。網(wǎng)絡(luò)預(yù)測(cè)得到的輸出有兩個(gè)維度是提取到的特征圖的維度，還有一個(gè)維度(深度)大小為n×(5+N)，其中n 表示每個(gè)網(wǎng)格預(yù)測(cè)的邊界框的數(shù)量，YOLOv4-tiny中n為3；N表示檢測(cè)的類(lèi)別數(shù)，5表示4個(gè)坐標(biāo)信息和1個(gè)置信度。模型會(huì)輸出(B1×B1+B2×B2)×n個(gè)邊界框，最后通過(guò)預(yù)測(cè)置信度和非極大值抑制算法來(lái)排除多余的邊界框，得到模型的最終檢測(cè)框。

YOLOv4-tiny方法使用CSPDarknet53-tiny網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)來(lái)代替YOLOv4方法中使用的CSPDarknet53網(wǎng)絡(luò)。在特征融合部分，YOLOv4-tiny方法使用特征金字塔網(wǎng)絡(luò)提取不同尺度的特征并進(jìn)行融合，提高了目標(biāo)檢測(cè)精度。YOLOv4-tiny使用13×13和26×26兩種不同比例的特征圖來(lái)預(yù)測(cè)檢測(cè)結(jié)果，YOLOv4-tiny網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 YOLOv4-tiny網(wǎng)絡(luò)結(jié)構(gòu)圖

2.2 SPP空間金字塔池化

一般卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，在卷積層后面通常連接全連接層。而全連接層的特征數(shù)是固定的，所以在網(wǎng)絡(luò)輸入的時(shí)候，會(huì)固定輸入圖像的大小。在實(shí)際中，輸入的圖像尺寸不能滿(mǎn)足要求，需要裁剪和拉伸，但會(huì)使圖像失真?？臻g金字塔池化(Spatial Pyramid Pooling, SPP)是由He等人[23]提出的，用來(lái)解決計(jì)算機(jī)視覺(jué)領(lǐng)域中輸入圖像尺度不同而造成圖片失真的問(wèn)題。如圖2(a)所示，SPP空間金字塔池化使用多級(jí)大小空間窗口，在同一個(gè)特征圖的不同尺度上提取特征并做池化操作，能夠?qū)θ我獯笮≥斎雸D像產(chǎn)生相同尺度的輸出。

圖2 空間金字塔池化

借鑒SPP空間金字塔池化思想，本文使用的是如圖2(b)所示的SPP空間金字塔池化模塊，對(duì)特征圖的局部區(qū)域進(jìn)行最大池化操作。這里的多尺度空間金字塔池化模塊由3個(gè)最大池化層組成，池化窗口的大小分別為13×13, 9×9和5×5，步長(zhǎng)均為1。對(duì)輸入特征圖填充0，從而確保池化后輸出的特征圖與輸入特征圖大小相同。該空間金字塔池化模塊融合了多重感受野，同時(shí)利用局部特征和全局特征來(lái)提高目標(biāo)檢測(cè)的精度。

3 手勢(shì)識(shí)別網(wǎng)絡(luò)構(gòu)建及改進(jìn)

3.1 基于K-means++算法的先驗(yàn)框選取

原始YOLOv4-tiny算法中的先驗(yàn)框尺寸是對(duì)COCO數(shù)據(jù)集聚類(lèi)得到的，有80種檢測(cè)目標(biāo)，這些目標(biāo)物體尺寸不一。本文手勢(shì)檢測(cè)識(shí)別網(wǎng)絡(luò)的檢測(cè)目標(biāo)只有手勢(shì)，手勢(shì)目標(biāo)數(shù)據(jù)集聚類(lèi)生成的多數(shù)先驗(yàn)框大小相近、寬高比相似，為了使得改進(jìn)YOLOv4-tiny算法更加快速準(zhǔn)確地預(yù)測(cè)出目標(biāo)手勢(shì)的位置，本文利用K-means++聚類(lèi)算法對(duì)手勢(shì)數(shù)據(jù)集NUS-II進(jìn)行重新聚類(lèi)，得到更適合檢測(cè)手勢(shì)的先驗(yàn)框。K-means++算法是K-means算法的改進(jìn)版，K-means++算法逐個(gè)選取k個(gè)簇中心，離其他簇中心越遠(yuǎn)的樣本點(diǎn)越有可能成為下一個(gè)簇中心，然后計(jì)算目標(biāo)與簇中心的距離，并把它們分配給最近的簇中心成為k個(gè)簇中心，重復(fù)計(jì)算更新簇中心，直到簇中心不再改變，得到最終的聚類(lèi)結(jié)果。K-means++算法通常以歐氏距離作為計(jì)算的度量距離，但在該文算法中，利用簇類(lèi)中心先驗(yàn)框與其他先驗(yàn)框的面積交并比(Intersection Over Union，IOU)作為度量距離。對(duì)NUS-II手勢(shì)數(shù)據(jù)集重新進(jìn)行聚類(lèi)，生成6個(gè)先驗(yàn)框?yàn)?92, 165), (176, 165),(118, 256), (138, 335), (258, 284), (202, 303)。

3.2 手勢(shì)識(shí)別網(wǎng)絡(luò)改進(jìn)

本文在原始YOLOv4-tiny的基礎(chǔ)上增加SPP空間金字塔池化模塊，通過(guò)SPP模塊實(shí)現(xiàn)了局部手勢(shì)特征和全局手勢(shì)特征的融合，特征圖經(jīng)過(guò)局部手勢(shì)特征與全局手勢(shì)特征相融合后，豐富了特征圖的表達(dá)能力，所以在檢測(cè)精度上有了較好的提升。同時(shí)，本文在YOLOv4-tiny每個(gè)最大池化層和SPP空間金字塔池化模塊后添加1×1卷積模塊，減少參數(shù)量和計(jì)算量。NUS-II手勢(shì)數(shù)據(jù)集上分類(lèi)個(gè)數(shù)為10，改進(jìn)YOLOv4-tiny算法的手勢(shì)識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 改進(jìn)YOLOv4-tiny算法手勢(shì)識(shí)別結(jié)構(gòu)圖

4 手勢(shì)識(shí)別實(shí)驗(yàn)與結(jié)果分析

4.1 實(shí)驗(yàn)環(huán)境配置和訓(xùn)練參數(shù)設(shè)置

本實(shí)驗(yàn)操作系統(tǒng)為Ubuntu16.04，設(shè)備為Intel(R) Core(TM) i5-9400F和NVIDIA GeForce RTX 2080Ti，采用深度學(xué)習(xí)框架為Darknet，調(diào)用CUDA(Computer Unified Device Architecture)和英偉達(dá)神經(jīng)網(wǎng)絡(luò)庫(kù)(NVIDIA CuDNN, cuDNN)為顯卡加速，CUDA和cuDNN版本分別為10.1和7.6，同時(shí)安裝計(jì)算機(jī)視覺(jué)庫(kù)OpenCV3.4.11顯示檢測(cè)的結(jié)果。采用遷移學(xué)習(xí)思想，將YOLO官網(wǎng)在COCO數(shù)據(jù)集上預(yù)訓(xùn)練的yolov4-tiny.conv.29權(quán)重作為初始權(quán)重進(jìn)行訓(xùn)練，加快網(wǎng)絡(luò)收斂。網(wǎng)絡(luò)輸入圖像為416×416大小的RGB圖像，批量大小設(shè)置為64，subvision設(shè)置為8，動(dòng)量參數(shù)設(shè)置為0.9，權(quán)重衰減為0.0005，訓(xùn)練最大迭代數(shù)設(shè)置為40000，初始學(xué)習(xí)率設(shè)置為0.001，分別在總迭代數(shù)的80%和90%即32000次和36000次時(shí)將學(xué)習(xí)率調(diào)為0.0001和0.00001。

4.2 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)采用的是公開(kāi)手勢(shì)數(shù)據(jù)集NUS-II，這是一個(gè)10類(lèi)手勢(shì)數(shù)據(jù)集，手勢(shì)背景比較復(fù)雜，是各種自然場(chǎng)景。這些形狀不同、尺寸各異的手勢(shì)由40名不同種族人士分別在不同背景下拍攝，分別展示字母“a”到“j”總共10種手勢(shì)，每個(gè)字母手勢(shì)拍攝5次。同時(shí)，數(shù)據(jù)集中還包括帶有人類(lèi)干擾的750張圖片，數(shù)據(jù)集合計(jì)2750張。數(shù)據(jù)集貼合實(shí)際生活，可以研究不同復(fù)雜背景、不同光照、不同手勢(shì)下的識(shí)別，有很大的研究?jī)r(jià)值。將2750張數(shù)據(jù)集分為2305張訓(xùn)練集和445張測(cè)試集，數(shù)據(jù)集部分圖片如圖4所示。

圖4 NUS-II手勢(shì)數(shù)據(jù)集

4.3 模型結(jié)果與分析

訓(xùn)練過(guò)程中，每4個(gè)epoch在測(cè)試集上計(jì)算1次mAP，圖5顯示了手勢(shì)檢測(cè)識(shí)別模型在訓(xùn)練期間的損失曲線和mAP曲線變化。從圖5看出，在模型訓(xùn)練的初級(jí)階段，模型學(xué)習(xí)效率較高，訓(xùn)練曲線收斂速度快。隨著訓(xùn)練的深入，訓(xùn)練曲線的斜率逐漸減小，最后，當(dāng)訓(xùn)練迭代數(shù)到達(dá)大約8000，模型學(xué)習(xí)效率逐漸達(dá)到飽和，損失在0.006左右。mAP在迭代數(shù)2000時(shí)基本達(dá)到100%并穩(wěn)定維持。訓(xùn)練的YOLOv4-tiny算法對(duì)手勢(shì)的檢測(cè)識(shí)別效果如圖6所示，可以看出該算法能夠準(zhǔn)確檢測(cè)并識(shí)別出NUSII測(cè)試集上復(fù)雜背景、帶有膚色和人臉干擾的“a”-“j”10種手勢(shì)。

圖5 手勢(shì)檢測(cè)模型的mAP和損失曲線

圖6 手勢(shì)檢測(cè)識(shí)別結(jié)果

實(shí)驗(yàn)采用精確率、平均精度均值和每秒傳輸幀數(shù)作為評(píng)價(jià)手勢(shì)檢測(cè)識(shí)別方法的性能評(píng)價(jià)標(biāo)準(zhǔn)。精確率和召回率計(jì)算方法如式(1)和式(2)所示

其中，TP表示正樣本被正確識(shí)別為正樣本的個(gè)數(shù)，F(xiàn)P表示負(fù)樣本被錯(cuò)誤識(shí)別為正樣本的個(gè)數(shù)，F(xiàn)N表示正樣本被錯(cuò)誤識(shí)別為負(fù)樣本的個(gè)數(shù)。通過(guò)取不同的精確率和召回率值可以畫(huà)出PR曲線，PR曲線下的面積就定義為AP，取所有檢測(cè)類(lèi)別AP的均值即為mAP。性能評(píng)價(jià)指標(biāo)AP和mAP計(jì)算方法如式(3)和式(4)所示

與文獻(xiàn)[16,18]、YOLOv3-tiny和YOLOv4-tiny進(jìn)行比較，以測(cè)試該文改進(jìn)算法的性能，其中，YOLOv4-tiny1表示用K-means++聚類(lèi)算法對(duì)手勢(shì)數(shù)據(jù)集生成的先驗(yàn)框進(jìn)行的實(shí)驗(yàn)；YOLOv4-tiny2表示在K-means++聚類(lèi)的基礎(chǔ)上，添加1×1卷積模塊進(jìn)行的實(shí)驗(yàn)；YOLOv4-tiny3表示在K-means++聚類(lèi)的基礎(chǔ)上，添加SPP空間金字塔池化模塊進(jìn)行的實(shí)驗(yàn)。

結(jié)果如表1所示，文獻(xiàn)[16]精確率只有90.08%，文獻(xiàn)[18]精確率99.89%最高，但是由于文獻(xiàn)[18]使用的是2階段目標(biāo)檢測(cè)算法Faster R-CNN，因此速度很慢，不能實(shí)時(shí)檢測(cè)手勢(shì)。由于NUS-II數(shù)據(jù)集相對(duì)簡(jiǎn)單，YOLOv3-tiny, YOLOv4-tiny和本文改進(jìn)YOLOv4-tiny算法都能很容易學(xué)習(xí)到數(shù)據(jù)集手勢(shì)特征，在IOU取0.5的時(shí)候，mAP@0.5都很高，分別為99.97%, 100%, 100%。本文也選取對(duì)檢測(cè)要求更高的即IOU為0.9和IOU為0.5:0.05:0.9的均值作為衡量算法性能的標(biāo)準(zhǔn)?？梢钥闯鲭m然YOLOv3-tiny算法速度最快，F(xiàn)PS為420，但是IOU為0.9的時(shí)候，mAP@0.9僅為22.13%，說(shuō)明YOLOv3-tiny對(duì)手勢(shì)定位不準(zhǔn)，不能很好地預(yù)測(cè)出手勢(shì)的準(zhǔn)確位置。同理，IOU為0.9的時(shí)候，YOLOv4-tiny算法的mAP@0.9為61.87%，而本文改進(jìn)YOLOv4-tiny算法的mAP@0.9為71.36%，提高了9.49個(gè)百分點(diǎn)。計(jì)算在IOU取0.5到0.95時(shí)候的10個(gè)mAP均值，YOLOv3-tiny, YOLOv4-tiny和本文改進(jìn)YOLOv4-tiny算法的mAP@0.5:0.95分別為77.05%, 86.10%和88.01%，本文改進(jìn)算法提高了1.91%。綜合考慮算法的精度和速度，本文改進(jìn)算法有著最好的檢測(cè)效果。

表1 實(shí)驗(yàn)結(jié)果對(duì)比

為了更直觀地看出算法的性能，用3種算法分別對(duì)測(cè)試集中的圖片預(yù)測(cè)，結(jié)果如圖7至圖9所示，可以看出，對(duì)于手勢(shì)a，3種算法都能很好地檢測(cè)識(shí)別出手勢(shì)a；對(duì)于手勢(shì)d，YOLOv3-tiny算法定位手勢(shì)稍有偏差，YOLOv4-tiny和本文改進(jìn)算法都能準(zhǔn)確定位并識(shí)別；對(duì)于手勢(shì)c，YOLOv3-tiny和YOLOv4-tiny算法都出現(xiàn)了一定的定位偏差，本文改進(jìn)算法依然可以準(zhǔn)確定位到手勢(shì)并識(shí)別出來(lái)。本文改進(jìn)算法是以上算法中速度和準(zhǔn)確率最佳權(quán)衡的算法。

圖7 YOLOv3-tiny算法手勢(shì)檢測(cè)識(shí)別結(jié)果

圖8 YOLOv4-tiny算法手勢(shì)檢測(cè)識(shí)別結(jié)果

圖9 改進(jìn)YOLOv4-tiny算法手勢(shì)檢測(cè)識(shí)別結(jié)果

5 Android手勢(shì)識(shí)別系統(tǒng)

5.1 Android介紹

安卓(Android)是Google開(kāi)發(fā)的基于Linux平臺(tái)的開(kāi)源手機(jī)操作系統(tǒng)，主要用于智能手機(jī)與平板電腦，現(xiàn)在已經(jīng)拓展到互聯(lián)網(wǎng)電視、智能家居等。它包括操作系統(tǒng)、用戶(hù)界面和應(yīng)用程序。應(yīng)用非常廣泛，開(kāi)發(fā)環(huán)境不會(huì)受到各種條條框框的限制，開(kāi)發(fā)者任意修改開(kāi)放的源代碼來(lái)實(shí)現(xiàn)與開(kāi)發(fā)各種實(shí)用的手機(jī)APP軟件，具有高級(jí)圖形顯示、界面友好等特點(diǎn)，對(duì)人機(jī)交互有著廣泛的應(yīng)用前景。

5.2 手勢(shì)識(shí)別移動(dòng)端部署

為了方便在移動(dòng)端部署深度學(xué)習(xí)模型，出現(xiàn)了很多移動(dòng)端深度學(xué)習(xí)工具，本文使用ncnn[24]框架進(jìn)行模型部署。騰訊優(yōu)圖實(shí)驗(yàn)室的ncnn是一個(gè)為手機(jī)端極致優(yōu)化的高性能神經(jīng)網(wǎng)絡(luò)計(jì)算框架。設(shè)計(jì)初心就考慮手機(jī)端的部署和使用，手機(jī)端CPU的處理速度快于目前已知的移動(dòng)端深度學(xué)習(xí)框架。開(kāi)發(fā)者能夠?qū)⑸疃葘W(xué)習(xí)算法輕松移植到手機(jī)端并高效執(zhí)行，開(kāi)發(fā)出人工智能手機(jī)APP，將人工智能算法在手機(jī)端運(yùn)行。

首先將在darknet環(huán)境中訓(xùn)練的改進(jìn)YOLOv4-tiny手勢(shì)識(shí)別權(quán)重文件gesture.weights和網(wǎng)絡(luò)配置文件gesture.cfg文件轉(zhuǎn)成ncnn格式的gesture.param和gesture.bin文件。然后搭建Android手勢(shì)識(shí)別項(xiàng)目工程，在主程序中調(diào)用手勢(shì)識(shí)別算法進(jìn)行檢測(cè)識(shí)別。手勢(shì)識(shí)別算法在小米10手機(jī)進(jìn)行測(cè)試，如圖10所示，對(duì)拍攝手勢(shì)圖進(jìn)行檢測(cè)識(shí)別，手機(jī)APP可以正確識(shí)別出“a”-“j”10種手勢(shì)，一張手勢(shì)圖處理時(shí)間僅需4.4 ms，fps為22，可以達(dá)到移動(dòng)端實(shí)時(shí)檢測(cè)識(shí)別的效果。

圖10 移動(dòng)端手勢(shì)識(shí)別

6 結(jié)論

手勢(shì)識(shí)別算法的發(fā)展趨勢(shì)要求識(shí)別準(zhǔn)確率高，識(shí)別速度快，同時(shí)識(shí)別算法要小，可以部署在移動(dòng)端。本文提出一種改進(jìn)YOLOv4-tiny算法，通過(guò)增加SPP空間金字塔池化模塊來(lái)融合圖像全局和局部特征，增強(qiáng)算法的手勢(shì)定位準(zhǔn)確度，豐富了特征圖的表達(dá)能力；通過(guò)增加1×1卷積模塊減少網(wǎng)絡(luò)參數(shù)，同時(shí)提升網(wǎng)絡(luò)處理速度；通過(guò)K-means++聚類(lèi)算法對(duì)手勢(shì)數(shù)據(jù)集重新聚類(lèi)，得到更適合檢測(cè)手勢(shì)的先驗(yàn)框。實(shí)驗(yàn)表明，本文改進(jìn)算法在幾乎不影響處理速度的情況下提升檢測(cè)性能，mAP@0.9為71.36%，相比改進(jìn)前提高了9.49個(gè)百分點(diǎn)，mAP@0.5:0.95為88.01%，相比改進(jìn)前提高了1.91%，檢測(cè)效果得到明顯的提升。將本文算法移植到移動(dòng)端，僅需要4.4 ms即可準(zhǔn)確檢測(cè)并識(shí)別出手勢(shì)，可以在移動(dòng)端進(jìn)行實(shí)時(shí)的手勢(shì)檢測(cè)與識(shí)別，對(duì)人機(jī)交互領(lǐng)域有很大的研究意義。