毛騰飛，趙曙光

（東華大學信息科學與技術(shù)學院，上海 201600）

0 引言

人類在發(fā)展歷程中逐漸賦予手各種各樣的手勢含義，如聾啞人士手語交流等領(lǐng)域。人手檢測是目標檢測的一個領(lǐng)域，其準確性和實時性決定了手勢識別的質(zhì)量。隨著深度學習的發(fā)展，基于神經(jīng)網(wǎng)絡(luò)的目標檢測算法逐漸取代傳統(tǒng)目標檢測。目前主流檢測網(wǎng)絡(luò)有兩類：雙步（Two-Stage）目標檢測算法和單步（One-Stage）目標檢測算法。總體而言，由于算法原理不同，相同時期，雙步法檢測精度高，但是速度慢；單步法檢測速度更快，實時性強，但檢測準確率相對低。常見單步目標檢測算法有SSD（single shot Multibox detector）[1]相關(guān)算法、YOLO（You Only Look Once）[2]系列算法。目前YOLO 算法的第三代版本YOLOv3[3]均衡了速度和準確率兩方面指標，也是本文的算法基礎(chǔ)。

雖然YOLOv3 算法綜合表現(xiàn)好，但在人手檢測領(lǐng)域仍待提高。主要原因有：一、YOLOv3 算法是在COCO 和VOC 數(shù)據(jù)集上進行實驗的，算法中的錨（anchor）不具有普適性，需要調(diào)整。二、YOLOv3 的檢測精度特別是小目標的檢測精度不高，有待進一步改善。三、手勢數(shù)據(jù)本身的復雜性。因此，本文基于YOLOv3，以O(shè)xford Hand[4]數(shù)據(jù)集中的手作為目標，提出了一種改進算法。改進方面有：一、多尺度檢測改進，增加檢測層，并結(jié)合FPN（Feature Pyramid Networks）[5]進行特征拼接，可以得到更多特征圖（Feature Map）；通過K-means 聚類算法得到預(yù)設(shè)錨。結(jié)合這兩種方式，可以主動學習人手特征，實現(xiàn)自動、高速、精準化人手檢測。

1 YOLOv3算法介紹

YOLOv3 使用ResNet[6]的殘差思想和多尺度預(yù)測使其在一定程度上可以進行小目標識別。原始圖片在預(yù)處理階段被填充縮放至416×416 的大小，作為網(wǎng)絡(luò)輸入。YOLOv3 的特征提取網(wǎng)絡(luò)結(jié)構(gòu)DarkNet53，輸入圖片經(jīng)過DarkNet53 降采樣5 次，每次都會產(chǎn)生不同尺度的特征圖。

目標檢測階段采用多尺度融合的方式在最后3 個尺度（13×13、26×26、52×52）的特征圖上分別檢測。每個尺度上有3 個錨點框（anchor boxes）用于檢測不同規(guī)格的目標。算法按照特征圖的大?。⊿×S）將416×416的圖片劃分為S×S 個等大柵格（grid cell），每個柵格根據(jù)錨點框進行預(yù)測3 個邊界框（bounding boxes）。每個邊界框返回兩類參數(shù)：一、目標框信息，即目標框的中心位置與目標框的寬和高；二、是否存在目標的置信度，取值范圍為[0，1]。具體檢測方法是先對13×13 的特征圖進行卷積預(yù)測，得到第1 個尺度下的檢測結(jié)果；然后將13×13 的特征圖上采樣得到26×26 特征圖，與網(wǎng)絡(luò)降采樣生成的26×26 特征圖特征融合后進行卷積預(yù)測，得到第2 個尺度下的結(jié)果；同理得到第3 個尺度下的結(jié)果。將3 次檢測結(jié)果進行非極大值抑制（Non-Maximum Suppression，NMS）得到最終結(jié)果。

2 算法改進

手相對于整張圖片來說是中小目標，為了提高手的檢測精度，需要對原有網(wǎng)絡(luò)層級結(jié)構(gòu)修改。此外為匹配改進后的網(wǎng)絡(luò)結(jié)構(gòu)并獲取人手目標專用錨點框，需要對原始標注數(shù)據(jù)進行聚類獲取錨點框，從而提高網(wǎng)絡(luò)訓練時的收斂速度和檢測準確度。

2.1多尺度檢測改進

YOLOv3 引入FPN 檢測網(wǎng)絡(luò)進行淺層和深層特征融合。針對人手的遠近導致在圖像中呈現(xiàn)的大小不一，難以檢測的問題，本文結(jié)合FPN 和特征融合對YO?LOv3 模型檢測結(jié)構(gòu)進行改進，將多尺度檢測的尺度數(shù)從3 個尺度擴展到4 個，以改善小目標人手的檢測，改進后結(jié)構(gòu)如圖1 所示。

圖1 改進的YOLOv3模型

2.2 錨點框K-means聚類

YOLOv3 算法對目標進行檢測時，錨點框個數(shù)以及大小會影響收斂速度和檢測精度，所以要針對要數(shù)據(jù)集的標注框的寬和高聚類。本文采用的K-means 聚類時的距離公式如式（1）所示。

d(box,centroid)=1-IoU(box,centroid) （1）

式（1）中，box 表示數(shù)據(jù)集中標注真值；centriod 表示聚類后的簇中心；IoU（Intersection over Union）表示真值和聚類中心的交并比，越大越準確。選擇適合的IoU分數(shù)及聚類的數(shù)量可以均衡模型的復雜度和檢測的準確率。

本文采用Oxford Hand 數(shù)據(jù)集，數(shù)據(jù)制作方式參照Lam1360[7]，其中訓練集共計4807 張，測試集821 張。該數(shù)據(jù)集在收集數(shù)據(jù)時，未對人手的姿勢或可見性和環(huán)境施加任何限制。標注的人手都是可以清晰辨認的。

為了加快模型收斂和檢測的準確度，首先對數(shù)據(jù)集進行聚類。當聚12 類時，Mean IoU 值為0.8038，相比9 類的Mean IoU 值0.7811 提升了0.0227。重聚9 類的中心為（{9，11），（17，17），（22，25），（31，28），（36，39），（50，46），（63，65），（93，91），（158，156）}，總體比原始YOLO 網(wǎng)絡(luò)在COCO 數(shù)據(jù)集和VOC 數(shù)據(jù)集上聚類得到的中心尺寸小，聚類中心得到改善。聚12 類時的中心為{（8，10），（14，16），（17，27），（29，26），（21，20），（25，35），（36，36），（48，41），（50，57），（72，66），（94，97），（160，156）}。根據(jù)聚類得到的anchor 值，在DarkNet53 結(jié)構(gòu)對應(yīng)尺度進行分配，平均每個尺度分配3 個anchor。更改配置文件重新訓練可得人手檢測專用模型。

3 實驗結(jié)果與分析

3.1 實驗環(huán)境及訓練

本實驗在windows 系統(tǒng)進行，GPU 采用NVIDIA的 1070 獨 立 顯 卡，CUDA10.0、cudnn7.5 以 及OpenCV3.4。設(shè)計語言Python 3.7.2，IDE 為Pycharm，框架為Darknet53。

訓練所用的參數(shù)分別為：學習代數(shù)epochs=100，初始學習率learning_rate=0.001，批數(shù)量batch=8，沖量momentum=0.9，權(quán)重衰減decay=0.0005。改進YOLOv3重聚12 類訓練過程中損失值（train_loss）變化曲線如圖2 所示。經(jīng)過15000 次迭代后，loss 收斂至0.1附近。

圖2 改進YOLOv3 重聚12 類訓練曲線

圖3 YOLOv3（4scale）的mAP 曲線

3.2 檢測結(jié)果

（1）評價指標

本文采用目標檢測領(lǐng)域常用性能評價指標平均檢測準確率（mean Average Precision，mAP）和檢測速度（Frames Per Second，F(xiàn)PS）。mAP 值越大準確率越高。FPS 指每秒檢測的幀數(shù)，值越大檢測速度越快。

（2）多尺度檢測模型驗證結(jié)果對比

本文改進了YOLOv3 的多尺度檢測模塊，從3 個尺度擴展至4 個，在Oxford Hand 數(shù)據(jù)集進行測試，在曲線光滑度0.6 的情況下，改進YOLOv3 模型的驗證集的mAP 指標曲線分別如圖3 所示。曲線最終穩(wěn)定在0.59 左右，在13 代取得峰值0.6248。由于在訓練時每5 代保存一次模型，為獲得更高的檢測率，采用mAP 取得最大值時的臨近代第15 代保存的模型進行測試。

（3）測試集測試結(jié)果對比

為了驗證模型的泛化性，在Oxford Hand 數(shù)據(jù)集的測試集上進行測試，首先在mAP 評價指標下，選擇原YOLOv3 和改進的YOLOv3 取得最大值時的模型，其中設(shè)置相關(guān)參數(shù)IoU 閾值為0.5、置信度閾值為0.5、NMS閾值為0.5，在測試集上的實驗結(jié)果如表1 所示。

從表1 的結(jié)果可以看出，在檢測速度方面，由于改進的YOLOv3 檢測尺度增加，模型更加復雜，檢測速度達到23.8FPS，稍微下降但是仍滿足實時性需求。在檢測準確率方面，改進的模型在測試集的準確率提升3.36 個百分點。說明改進的YOLOv3 檢測精度優(yōu)于原YOLOv3。

表1 YOLOv3 與本文改進的YOLOv3 實驗對比

（4）確定NMS 最優(yōu)閾值

在多尺度檢測時，YOLOv3 在每個尺度進行3 個bounding box 的預(yù)測，可能會導致同一目標被重復檢測輸出，影響檢測結(jié)果，因此需要對輸出結(jié)果冗余窗口進行抑制。mAP 評價指標下最好的YOLOv3 和改進YO?LOv3 模型，選擇不同的非極大值閾值（NMS Thresh?old），在測試集上進行測試，從而確定模型最終的非極大值抑制參數(shù)。部分NMS 閾值實驗結(jié)果如表2 所示。

表2 不同模型的NMS 閾值檢測的準確度

從表2 可以看出，總體上改進YOLOv3 的mAP 高于原YOLOv3。原YOLOv3 在NMS 閾值為0.35 時準確率取得最大值54.03%，改進YOLOv3 在NMS 閾值為0.35 時準確率取得最大值57.61%，相比原YOLOv3 提升了3.58 個百分點。綜上說明改進YOLOv3 檢測更加準確，此外將改進YOLOv3 模型參數(shù)NMS 閾值設(shè)置為0.35 時，檢測效果最好，從而找到模型最優(yōu)NMS 閾值參數(shù)值。

（5）實際檢測結(jié)果展示

采用注重檢測率（mAP）的YOLOv3 模型（NMS 閾值為0.35）和改進模型（NMS 閾值為0.35）在測試集上進行測試，其中復雜背景圖片VOC2007_117 檢測效果如圖4 所示。

其中圖4（a）是重聚類的原YOLOv3 檢測效果圖，圖4（b）改進YOLOv3 檢測效果圖?？梢钥闯觯诓妥肋h端的人的手在原始YOLOv3 中未被檢測到，而在改進后YOLOv3 被正確檢出，說明改進后的YOLOv3 算法對小目標的檢測效果更好，達到預(yù)期效果。

圖4 測試結(jié)果圖展示

4 結(jié)語

本文提出了一種基于YOLOv3 算法進行改進的實時人手檢測算法。首先YOLOv3 的模型結(jié)構(gòu)進行改進，結(jié)合FPN 網(wǎng)絡(luò)和特征融合算法，將三尺度輸出擴展為四尺度輸出。其次針對改進后的模型結(jié)構(gòu)進行Kmeans 聚類獲得多尺度檢測的錨點框。相關(guān)實驗結(jié)果表明改進的YOLOv3 算法檢測準確率高于原YOLOv3，且實時性較好。最后確定模型檢測效果最優(yōu)情況下的NMS 參數(shù)值。最后的實際檢測效果展示表明改進的YOLOv3 的檢測效果在小目標人手檢測上效果更好。人手目標的準確、實時檢測，是實時手勢識別的重要基礎(chǔ)。未來可以根據(jù)改進YOLOv3 的人手檢測算法和確定參數(shù)后的模型做進一步工作，如手勢識別和人機交互開發(fā)應(yīng)用開發(fā)等研究。