劉 佳，卞方舟，陳大鵬，李為斌

南京信息工程大學(xué) 自動(dòng)化學(xué)院B-DAT&CICAEET，南京 210044

人手指尖檢測(cè)在人機(jī)交互領(lǐng)域有著十分重要的意義。指尖檢測(cè)方法主要可分為傳統(tǒng)方法和基于深度學(xué)習(xí)的方法。傳統(tǒng)的方法利用Kinect獲取深度圖像，結(jié)合凸包與曲率分析法來(lái)檢測(cè)指尖[1]，但該方法在手部有遮擋情況下的效果有待提升；王艷等[2]提出一種將Hu不變矩和指尖個(gè)數(shù)相結(jié)合的靜態(tài)手勢(shì)識(shí)別方法，該方法在識(shí)別靜態(tài)手勢(shì)上效果顯著；楊洋等[3]提出用YCbCr色彩空間來(lái)檢測(cè)膚色，以便對(duì)輸入的圖像進(jìn)行手勢(shì)區(qū)域分割，該方法易受有類膚色的背景影響；Wang等[4]提出了一種融合二維輪廓和三維深度信息來(lái)檢測(cè)指尖并利用卡爾曼濾波來(lái)跟蹤指尖的三維位置的方法；孟浩等[5]提出一種基于深度信息的指尖檢測(cè)-跟蹤-監(jiān)督的融合算法，該方法在指尖跟蹤速度上有待提高。傳統(tǒng)的方法大多利用手部特征來(lái)檢測(cè)指尖，對(duì)手部輪廓的完整性、光照強(qiáng)度、背景復(fù)雜度等都有一定的要求，因此這些方法或多或少都存在一些缺陷，指尖檢測(cè)的準(zhǔn)確率與實(shí)時(shí)性有待提高。

近些年，隨著深度學(xué)習(xí)快速發(fā)展，越來(lái)越多的研究嘗試?yán)蒙疃葘W(xué)習(xí)的相關(guān)方法來(lái)解決指尖檢測(cè)的問(wèn)題。例如，贠衛(wèi)國(guó)等[6]通過(guò)構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）來(lái)對(duì)手勢(shì)進(jìn)行分類，提出了一種基于深度學(xué)習(xí)的多特征融合的手勢(shì)識(shí)別方法；Huang等[7]提出了一種具有雙層級(jí)聯(lián)結(jié)構(gòu)的CNN模型，該模型第一層網(wǎng)絡(luò)用于生成手部區(qū)域框，第二層用于檢測(cè)指尖并返回精確位置；Nguyen等[8]提出一種把RGB-D圖像和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的指尖檢測(cè)方法，此方法可以同時(shí)處理靜態(tài)與動(dòng)態(tài)場(chǎng)景；Wu等[9]提出一種基于神經(jīng)網(wǎng)絡(luò)熱圖回歸的指尖檢測(cè)解決方案，通過(guò)構(gòu)建的YOLSE網(wǎng)絡(luò)，該方案可以從單個(gè)RGB圖像中檢測(cè)出指尖。以上方法大多需要訓(xùn)練一個(gè)單獨(dú)的模型，導(dǎo)致訓(xùn)練成本高，實(shí)用性差，并且為了追求準(zhǔn)確率將網(wǎng)絡(luò)堆疊層數(shù)加深，導(dǎo)致平均運(yùn)行時(shí)間變長(zhǎng)，實(shí)時(shí)性表現(xiàn)不佳，因此在實(shí)時(shí)性上有待優(yōu)化。

預(yù)測(cè)高斯熱圖方法主要應(yīng)用在人體姿態(tài)估計(jì)上，受到此方面研究的啟發(fā)，本文利用預(yù)測(cè)高斯熱圖與深度學(xué)習(xí)方法設(shè)計(jì)一個(gè)精確、魯棒的指尖檢測(cè)模型，以實(shí)現(xiàn)快速且準(zhǔn)確地檢測(cè)出指尖并識(shí)別手勢(shì)。該模型結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)（CNN）與全卷積神經(jīng)網(wǎng)絡(luò)（FCNN）的特點(diǎn)，是一種可以同時(shí)進(jìn)行指尖位置預(yù)測(cè)和識(shí)別手勢(shì)的統(tǒng)一卷積神經(jīng)網(wǎng)絡(luò)（unified-gesture-and-fingertip-network，UGF-Net）。

1 指尖檢測(cè)模型

如圖1所示，本文提出的指尖檢測(cè)算法主要包含以下步驟：首先使用深度學(xué)習(xí)目標(biāo)檢測(cè)算法YOLO[10-12]對(duì)輸入的原始圖像進(jìn)行檢測(cè)，并裁剪手部候選區(qū)域；將裁剪的手部區(qū)域作為UGF-Net網(wǎng)絡(luò)的輸入，利用CNN[13-14]的全連接層來(lái)預(yù)測(cè)不同手勢(shì)中可見的指尖數(shù)目以進(jìn)行手勢(shì)分類，然后利用FCNN輸出各指尖的熱圖，并根據(jù)熱圖中的高斯概率分布獲取多組指尖位置的集合，通過(guò)計(jì)算平均值來(lái)預(yù)測(cè)最終的指尖位置。

圖1 指尖檢測(cè)算法流程框圖Fig.1 Flow chart of fingertip detection algorithm

1.1 手勢(shì)區(qū)域提取

本文使用YOLO目標(biāo)檢測(cè)算法來(lái)提取手部區(qū)域。YOLO是由Joseph Redmon等提出的一種以實(shí)時(shí)性為優(yōu)先級(jí)的目標(biāo)檢測(cè)算法，它將物體檢測(cè)問(wèn)題轉(zhuǎn)換為回歸問(wèn)題來(lái)求解，直接利用輸入圖像的特征值來(lái)預(yù)測(cè)目標(biāo)對(duì)象的空間位置、范圍以及條件類別概率，檢測(cè)速度非?？臁OLOv2通過(guò)使用anchor機(jī)制、批歸一化以及維數(shù)聚類等多種優(yōu)化方式來(lái)改進(jìn)原始YOLOv1的檢測(cè)過(guò)程，在保持原有速度的同時(shí)提升了檢測(cè)精度[15]。本文提出了一種基于YOLOv2的手部區(qū)域檢測(cè)算法，如圖2所示。

圖2 手部區(qū)域檢測(cè)流程圖Fig.2 Flow chart of hand area detection

基于YOLOv2的手部區(qū)域檢測(cè)算法的具體實(shí)現(xiàn)過(guò)程如下：

（1）圖像預(yù)處理

首先將原始圖像640×480縮放為224×224的輸入圖像，然后將輸入圖像劃分為7×7個(gè)單元格，每個(gè)單元格的尺寸大小為32×32，單元格將用于預(yù)測(cè)一定數(shù)量的候選邊界框（bounding box）。尺寸縮放的目的一是為了降低計(jì)算復(fù)雜度，二是便于等比例劃分單元格且保證每個(gè)候選框中僅有一個(gè)中心單元格。

（2）先驗(yàn)框聚類

與YOLOv1直接預(yù)測(cè)邊界框的坐標(biāo)位置不同，YOLOv2引入了Faster R-CNN中的anchor機(jī)制，通過(guò)預(yù)測(cè)先驗(yàn)框（anchor box）中的偏移量和置信度來(lái)獲取手部區(qū)域的位置和類別概率。在Faster R-CNN中，先驗(yàn)框的尺寸參數(shù)均是人工設(shè)定的，這存在一定的局限性和主觀性。YOLOv2利用K-means算法來(lái)聚類分析訓(xùn)練樣本中真實(shí)邊界框的位置信息，以找出最佳的先驗(yàn)框的坐標(biāo)。由于設(shè)置先驗(yàn)框的主要目的是提高候選框和真實(shí)邊界框的“交并比”（IOU），因此采用IOU值為評(píng)價(jià)標(biāo)準(zhǔn)，即K-means的距離度量可定義為式（1），其中centroid是聚類時(shí)被選作中心的邊框，box表示為其他邊框。

（3）位置預(yù)測(cè)

經(jīng)實(shí)驗(yàn)測(cè)試，最終選取5個(gè)聚類中心作為先驗(yàn)框，并將特征圖劃分為7×7個(gè)單元格，每個(gè)單元格都將預(yù)測(cè)5個(gè)候選邊界框（對(duì)應(yīng)于先驗(yàn)框的數(shù)量），每個(gè)候選框包含5個(gè)預(yù)測(cè)值tx、ty、tw、th和Conf( )bbox。其中(tx,ty)表示候選框相對(duì)于單元格坐標(biāo)的偏移量，(tw,th)表示的是尺寸縮放。根據(jù)以下四個(gè)公式可計(jì)算出候選框的位置和范圍：

其中，(cx,cy)表示中心單元格與圖像左上角的橫縱距離、(pw,ph)表示先驗(yàn)框的尺寸大小、σ表示的是sigmoid激活函數(shù)，作用是將邊界框的中心點(diǎn)約束在當(dāng)前單元格內(nèi)。bx、by、bw、bh就是候選框的中心點(diǎn)和尺寸。如圖3所示，藍(lán)色實(shí)線矩形表示候選框，紅色虛線矩形表示先驗(yàn)框。

圖3 邊界框位置參數(shù)預(yù)測(cè)Fig.3 Prediction of boundary box location parameters

置信度Conf(bbox)由兩部分組成，一是單元格中是否存在目標(biāo)實(shí)例，二是邊界框的準(zhǔn)確率，其定義如式（6）所示。如果目標(biāo)存在，則Pr(Obj)為1，置信度Conf(bbox)等于IOU；否則，Pr(Obj)為0，置信度Conf(bbox)也等于0。

每個(gè)單元格不僅能輸出候選框的5個(gè)預(yù)測(cè)值，同時(shí)還能預(yù)測(cè)條件類別概率Pr(Classi|Object)，它表示單元格中存在目標(biāo)實(shí)例且屬于某一類別的概率。在檢測(cè)過(guò)程中，可以根據(jù)式（7）計(jì)算得到各個(gè)單元格的類別概率值：

（4）篩選邊界框

類別概率值包含了預(yù)測(cè)的類別信息和邊界框的準(zhǔn)確度。本文中候選框的總數(shù)是特征圖尺寸與先驗(yàn)框數(shù)目的乘積（即為7×7×5=245）。首先根據(jù)式（6）和式（7）過(guò)濾掉一些置信度較低的候選框，然后根據(jù)經(jīng)驗(yàn)設(shè)定一個(gè)固定閾值（本文設(shè)定為0.7），并過(guò)濾掉那些類別概率值小于該閾值的候選框，最后利用非極大值抑制（nonmaximum suppression，NMS）篩選出最佳的手部區(qū)域邊界框。如圖4所示，圖中的紫色矩形框即為篩選出的最佳手部區(qū)域邊界框。

圖4 手部區(qū)域提取結(jié)果Fig.4 Hand region extraction results

1.2 指尖檢測(cè)

手勢(shì)區(qū)域檢測(cè)完成以后，再對(duì)裁剪出的手勢(shì)區(qū)域進(jìn)行指尖檢測(cè)與手勢(shì)識(shí)別。在文獻(xiàn)[13]中，指尖的位置信息是直接從CNN的全連接層中回歸得到的，經(jīng)實(shí)驗(yàn)分析可知，該方法對(duì)單點(diǎn)指尖具有較好的識(shí)別率，但在多點(diǎn)指尖檢測(cè)任務(wù)中表現(xiàn)一般，并且它需要訓(xùn)練多個(gè)模型用于檢測(cè)不同手勢(shì)中的指尖。熱圖回歸方法最初用于人體關(guān)節(jié)點(diǎn)的預(yù)測(cè)任務(wù)，Pfister等[16]提出了一種基于關(guān)節(jié)點(diǎn)的人體姿態(tài)估計(jì)算法，首先利用FCNN輸出人體各個(gè)關(guān)節(jié)點(diǎn)的熱圖，每個(gè)熱圖中均分布了一組高斯概率，通過(guò)計(jì)算高斯峰值來(lái)預(yù)測(cè)各個(gè)關(guān)節(jié)點(diǎn)的位置。在計(jì)算復(fù)雜度和實(shí)時(shí)性等方面，該方法的表現(xiàn)結(jié)果明顯優(yōu)于直接對(duì)關(guān)節(jié)位置進(jìn)行回歸的方法。

1.2.1 高斯熱圖回歸

預(yù)測(cè)高斯熱圖這種方法主要應(yīng)用在人體姿態(tài)估計(jì)，可以輸出人體關(guān)節(jié)關(guān)鍵點(diǎn)實(shí)現(xiàn)人體姿態(tài)估計(jì)。本文受到此方面研究的啟發(fā)，將這個(gè)方法應(yīng)用在指尖檢測(cè)上，首先利用FCN輸出手部各個(gè)關(guān)節(jié)點(diǎn)的熱圖，每個(gè)熱圖中均分布了一組高斯概率，通過(guò)計(jì)算高斯峰值來(lái)預(yù)測(cè)各個(gè)指尖的位置。

文中使用argmax算法來(lái)計(jì)算關(guān)鍵點(diǎn)的坐標(biāo)，計(jì)算得出的峰值就是關(guān)鍵點(diǎn)的坐標(biāo)值。如式（8）所示，已知一個(gè)映射g:X→Y，x的取值范圍為S，argmax的結(jié)果為使得g(x)取得最大值的x的點(diǎn)集。

如圖5所示，在對(duì)高斯熱圖進(jìn)行argmax處理的時(shí)候，圖中0.8為最大值，它的位置就是關(guān)鍵點(diǎn)激活的對(duì)應(yīng)像素點(diǎn)。

圖5 高斯熱圖回歸Fig.5 Gauss thermograph regression

本文利用FCNN來(lái)得到輸出，并在全卷積特征圖后面接一個(gè)轉(zhuǎn)換模塊，將空間高斯熱圖轉(zhuǎn)換為關(guān)鍵點(diǎn)坐標(biāo)點(diǎn)集合，通過(guò)取集合的平均值來(lái)回歸指尖位置的最終輸出，如式（9）所示：

1.2.2 UGF-Net

結(jié)合兩種檢測(cè)方法的優(yōu)勢(shì)，本文設(shè)計(jì)了一種同時(shí)用于指尖檢測(cè)和手勢(shì)識(shí)別的統(tǒng)一卷積神經(jīng)網(wǎng)絡(luò)UGF-Net算法，該算法通過(guò)預(yù)測(cè)手指類別的概率來(lái)識(shí)別不同手勢(shì)，并利用FCNN回歸指尖的坐標(biāo)信息集合，然后通過(guò)取集合的平均值來(lái)回歸最終的指尖位置輸出。圖6顯示的是UGF-Net網(wǎng)絡(luò)結(jié)構(gòu)。

圖6 指尖檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 Fingertip detection network structure

由圖可知，UGF-Net網(wǎng)絡(luò)是以VGG16-Net[17-18]作為主干網(wǎng)絡(luò)，主要包含兩個(gè)部分。第一部分是卷積神經(jīng)網(wǎng)絡(luò)模塊，它含有若干卷積層和全連接層；第二部分是全卷積神經(jīng)網(wǎng)絡(luò)模塊，它只含有較少的卷積核和上采樣層。在基于UGF-Net網(wǎng)絡(luò)的指尖檢測(cè)任務(wù)中，考慮到計(jì)算復(fù)雜度和實(shí)時(shí)性等性能要求。該模型首先將網(wǎng)絡(luò)的輸入尺寸設(shè)定為128×128，然后利用VGG16的前五個(gè)Block輸出手勢(shì)圖像的特征圖，并將該特征圖用于后續(xù)的研究工作。

在指尖坐標(biāo)位置檢測(cè)任務(wù)中，在得到手勢(shì)圖像的特征圖后，通過(guò)最終層輸出大小為4×4×512的手勢(shì)特征圖。然后采用雙線性插值的上采樣方法擴(kuò)張最后卷積層輸出的特征圖的尺寸，將尺寸轉(zhuǎn)換為12×12×512，接著使用一個(gè)3×3的卷積核將新的特征圖生成一組表征指尖的熱圖集合。利用熱圖得到10組指尖的位置集合，最后通過(guò)計(jì)算指尖坐標(biāo)集合的平均值來(lái)預(yù)測(cè)最終的指尖位置。

在手勢(shì)識(shí)別任務(wù)中，本文首先將特征圖映射成一組長(zhǎng)度為8 192的特征向量。然后利用全連接層來(lái)輸出各個(gè)指尖的概率，如果概率值大于預(yù)先設(shè)定的閾值P（本文設(shè)定為0.5），則表示能檢測(cè)到對(duì)應(yīng)的指尖；如果概率值小于閾值P，則不能檢測(cè)到指尖。最后通過(guò)一組一維向量來(lái)表示不同姿態(tài)的手勢(shì)。例如日常交流中“勝利”手勢(shì)可表示為[0，1，1，0，0]，圖6中手形則表示為[1，1，1，1，1]。

2 實(shí)驗(yàn)結(jié)果

2.1 手勢(shì)分類

SCUT-Ego-Gesture數(shù)據(jù)集[9]是由華南理工大學(xué)人機(jī)智能交互實(shí)驗(yàn)室建立并公開的一組手勢(shì)數(shù)據(jù)集，它包含16種不同姿態(tài)的手勢(shì)，共收集了59 111張以自我為中心的彩色手勢(shì)圖像。該數(shù)據(jù)已預(yù)先標(biāo)注了手部區(qū)域包圍框、指尖點(diǎn)以及部分關(guān)節(jié)點(diǎn)的二維坐標(biāo)信息。本文選用前8類單手交互樣本進(jìn)行手部區(qū)域分割和指尖檢測(cè)模型的訓(xùn)練，如圖7所示。

圖7 單手手勢(shì)樣本Fig.7 Sample of one hand gesture

2.2 實(shí)驗(yàn)結(jié)果

本實(shí)驗(yàn)的硬件平臺(tái)選用高性能的英偉達(dá)GeForce GTX1080顯卡，英特爾i5-7400處理器，主頻3 GHz，16 GB顯存，32 GB內(nèi)存。軟件方面則選用了tensorflow深度學(xué)習(xí)框架，并基于并行計(jì)算架構(gòu)CUDA和CUDNN完成并行優(yōu)化。

在指尖識(shí)別模型訓(xùn)練過(guò)程中，本實(shí)驗(yàn)選用了Adam優(yōu)化算法來(lái)更新神經(jīng)網(wǎng)絡(luò)權(quán)重，其中參數(shù)初始學(xué)習(xí)率lr為1E-5，參數(shù)β1和β2分別為0.9和0.999，模糊因子ε設(shè)置為1E-8。本實(shí)驗(yàn)的迭代次數(shù)epoch為100，數(shù)據(jù)批處理大小batch_size設(shè)置為8。

2.2.1 測(cè)試集實(shí)驗(yàn)結(jié)果

圖8顯示了指尖檢測(cè)算法在手勢(shì)測(cè)試集上可視化的結(jié)果，圖（a）表示了在不同光照變化環(huán)境下的檢測(cè)結(jié)果，可以看出，本文指尖檢測(cè)算法均能夠準(zhǔn)確地裁剪出手勢(shì)圖像，并檢測(cè)出指尖點(diǎn)的二維坐標(biāo)。圖（b）表示了在不同復(fù)雜背景下的檢測(cè)結(jié)果，可以看出，本文指尖檢測(cè)算法在復(fù)雜情形中仍然表現(xiàn)出了較高的識(shí)別率和較好的魯棒性。

圖8 指尖檢測(cè)算法結(jié)果展示Fig.8 Fingertip detection algorithm results display

2.2.2 實(shí)時(shí)視頻圖像檢測(cè)結(jié)果

圖9顯示了本文指尖檢測(cè)算法在視頻圖像中的實(shí)時(shí)表現(xiàn)結(jié)果，其中紫色方框表示了基于YOLOv2的手部區(qū)域檢測(cè)的結(jié)果，彩色實(shí)心圓表示的是基于UGF-Net網(wǎng)絡(luò)所預(yù)測(cè)得到的指尖坐標(biāo)位置。

圖9（a）顯示了正常情況下用戶的手勢(shì)的檢測(cè)結(jié)果，圖片依次為手勢(shì)一到手勢(shì)八，均能檢測(cè)準(zhǔn)確；圖9（b）顯示了不同指尖角度的情況下的檢測(cè)結(jié)果，包括用戶的手勢(shì)離相機(jī)較遠(yuǎn)且有45°傾斜時(shí)、用戶手勢(shì)90°垂直于相機(jī)平面、用戶手勢(shì)離相機(jī)較遠(yuǎn)等情況。圖9（c）表示的復(fù)雜環(huán)境下的檢測(cè)結(jié)果，包括環(huán)境中有類膚色物體的出現(xiàn)。綜上所述可知，本文指尖檢測(cè)算法在不同情況中均表現(xiàn)出了較好的準(zhǔn)確性和魯棒性。此外，本文算法的平均幀率達(dá)到了34.51 frame/s，滿足實(shí)時(shí)性的要求。

圖9 實(shí)時(shí)指尖檢測(cè)算法結(jié)果展示Fig.9 Real time fingertip detection algorithm results display

2.3 實(shí)驗(yàn)分析

與傳統(tǒng)方法相對(duì)比，傳統(tǒng)的指尖檢測(cè)方法大多利用手部的特征來(lái)檢測(cè)指尖，對(duì)手部輪廓的完整性、外界光照強(qiáng)度、背景復(fù)雜度等都有一定的要求，因此檢測(cè)速度與精度都有待于提高。受到人體姿態(tài)估計(jì)方面研究的啟發(fā)，UGF-Net算法使用基于高斯熱圖的輸出方式，由于高斯熱圖輸出的特征圖較大，因此它的空間泛化能力強(qiáng)。并且使用全連接層進(jìn)行預(yù)測(cè)不同手勢(shì)中可見的指尖數(shù)目以進(jìn)行手勢(shì)分類，來(lái)提高指尖預(yù)測(cè)的精度。UGF-Net算法在保證檢測(cè)精度的情況下適當(dāng)?shù)販p少了網(wǎng)絡(luò)的堆疊層數(shù)，有效地提高了速度，因此實(shí)時(shí)性得到了改善。

UGF-Net算法通過(guò)實(shí)驗(yàn)驗(yàn)證，在上文提到的復(fù)雜情況下，指尖檢測(cè)的準(zhǔn)確率與實(shí)時(shí)性相對(duì)于傳統(tǒng)方法來(lái)說(shuō)都有了較大的提升。

為了準(zhǔn)確地評(píng)估UGF-Net算法的準(zhǔn)確性和實(shí)時(shí)性，本次實(shí)驗(yàn)選取了在SCUT-Ego-Gesture數(shù)據(jù)上表現(xiàn)結(jié)果較為突出的三種指尖檢測(cè)算法進(jìn)行比較分析，它們分別是Hand-RCNN、HF-Net、RGB-D&CNN以及YOLSE。表1描述了本文算法與其他指尖檢測(cè)算的性能比較結(jié)果，包括準(zhǔn)確率、召回率、平均誤差以及運(yùn)行速度。

表1 各指尖檢測(cè)算法性能對(duì)比Table 1 Performance comparison of fingertip detection algorithms

通過(guò)上述分析可得，本節(jié)描述的基于UGF-Net網(wǎng)絡(luò)的指尖檢測(cè)算法在準(zhǔn)確率、召回率上相對(duì)于Hand-RCNN、HF-Net、RGB-D&CNN以及YOLSE有所提高，平均誤差也所降低，運(yùn)行速度相對(duì)于YOLSE來(lái)說(shuō)有所降低，但相比于其余兩個(gè)網(wǎng)絡(luò)結(jié)構(gòu)來(lái)說(shuō)速度有所提升。因此該UGF-Net算法在整體性能上相對(duì)于其他指尖檢測(cè)算法有所提升，指尖檢測(cè)效果也更為優(yōu)異。

如圖10所示，規(guī)定檢測(cè)出指尖為“1”，沒(méi)有檢測(cè)出指尖為“0”，將選用的8種手勢(shì)分別用一維向量來(lái)表示。例如，第一個(gè)手勢(shì)可表示為[0，1，0，0，0]，第六個(gè)手勢(shì)可以表示為[1，0，0，0，1]。

圖10 各手勢(shì)的向量表示Fig.9 Vector representation of gestures

指尖檢測(cè)的準(zhǔn)確性如表2所示，分別進(jìn)行了100組實(shí)驗(yàn)，分別記錄了每組檢測(cè)到的指尖個(gè)數(shù)，根據(jù)結(jié)果可知，其中第三個(gè)手勢(shì)和第七個(gè)手勢(shì)分別出現(xiàn)了一次誤判的情況，可能是由于測(cè)試時(shí)手部比劃手勢(shì)存在晃動(dòng)的情況，以至于模糊導(dǎo)致的誤判斷，但是整體準(zhǔn)確率達(dá)到99.8%，因此該指尖檢測(cè)算法的性能可靠，可滿足要求。

表2 各指尖檢測(cè)準(zhǔn)確性結(jié)果Table 1 Accuracy results of fingertip detection

3 結(jié)語(yǔ)

本文設(shè)計(jì)了一個(gè)基于深度學(xué)習(xí)的指尖檢測(cè)系統(tǒng)，它由手部區(qū)域算法和指尖檢測(cè)算法兩部分組成。首先利用YOLOv2網(wǎng)絡(luò)訓(xùn)練一個(gè)手部區(qū)域檢測(cè)模型，用于定位二維空間內(nèi)的手勢(shì)位置信息，并將檢測(cè)到手勢(shì)區(qū)域裁剪出來(lái)用作指尖檢測(cè)部分的輸入。在指尖檢測(cè)部分，設(shè)計(jì)了一個(gè)UGF-Net網(wǎng)絡(luò)用于精細(xì)的手勢(shì)識(shí)別和指尖檢測(cè)，首先利用CNN的全連接層來(lái)預(yù)測(cè)不同手勢(shì)中可見的指尖數(shù)目以進(jìn)行手勢(shì)分類，然后利用FCNN輸出并可視化各指尖的熱圖，并根據(jù)熱圖中的高斯概率分布獲取多組指尖位置的集合，通過(guò)計(jì)算平均值來(lái)預(yù)測(cè)最終的指尖位置。該算法目前通過(guò)指尖檢測(cè)信息可判斷簡(jiǎn)單的八種手勢(shì)，接下來(lái)將研究更多的手勢(shì)姿態(tài)，以能夠更加地貼合生活實(shí)際，使其具有一定的現(xiàn)實(shí)意義。