譚立行，魯嘉淇，張笑楠，劉宇紅，張榮芬

貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院，貴州550023

近年來，隨著計算機技術(shù)的高速發(fā)展，各國紛紛制訂了各自的機器人發(fā)展戰(zhàn)略規(guī)劃，而良好的人機交互方式是人機合作的重要基礎(chǔ)。傳統(tǒng)的鍵盤、鼠標等人機交互方式只能在人與計算機之間架起一座起到交互作用的橋梁，難以滿足用戶日益增長的交互需要，因此尋求一種更自然化、便捷化的實時人機交互方式成為熱點研究方向[1]。

當前，人手已經(jīng)被用作實時輸入設(shè)備進行人機交互，人們可以通過手勢而非鍵盤或鼠標等設(shè)備來更直觀地控制機器，例如手機的觸摸屏。但是，觸摸屏一類的交互方式受限于配套設(shè)備，要求被操控的機器必須有配套的觸摸屏。經(jīng)過研究發(fā)現(xiàn)，基于攝像頭輸入的手勢交互不需要與被控設(shè)備進行直接接觸，可以在設(shè)備周圍進行交互。然而，通過攝像頭視頻輸入手勢進行手勢估計對于計算機是一個艱巨的任務(wù)，因為手的運動靈活多樣，實踐應(yīng)用中用戶背景環(huán)境也復(fù)雜多變，手勢識別的準確性、實時性以及魯棒性較差[2]，如何使計算機能夠及時、準確地識別用戶做出的手勢是這一技術(shù)亟待解決的關(guān)鍵問題。為有效地進行人機交互，本文目標是嘗試提出一種能精準、實時解決攝像頭手勢交互識別的算法模型及硬件系統(tǒng)，實現(xiàn)通過手勢交互控制小車運行。

1 相關(guān)工作

傳統(tǒng)的手勢識別主要使用基于圖像和序列圖片幀處理手工特征的算法來實現(xiàn)。這些方法首先需要檢測圖像中手部位置，常見的手部檢測方法主要分為基于形狀信息特征、基于膚色信息、形狀特征與膚色信息相結(jié)合和基于運動信息的四種方法。基于形狀特征的方法主要是基于梯度直方圖（Histogram of Oriented Gradient，HOG）、尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）、光流直方圖（Histogram of Flow，HOF）等人為指定的特征，利用支持向量機（Support Vector Machine，SVM）分類器進行分類[3]，對人工特征的依賴很強。膚色方法通過分析人體膚色與背景的特殊差異，設(shè)置閾值將不同色彩空間中的人手分離出來，然后使用形態(tài)學(xué)操作對圖形進行腐蝕膨脹處理，進而達到消除噪聲的目的。這種方法局限性大，由于各人膚色不同，在閾值設(shè)置上不能適用統(tǒng)一標準，無法全面描述人類手勢。基于運動信息的方法利用運動過程中圖像幀之間的差異進行減運算得到差異值，通過差異值分析運動信息，是一種基于序列圖片幀的方法。這種方法的缺點在于對運動圖像要求很高，要求運動圖像中背景不能變化，手勢移動不能過快，場景光照條件也不能變化，不具有廣泛適用性[4]。在機器學(xué)習出現(xiàn)以后，基于模板匹配的方法開始流行，最早出現(xiàn)的方法是利用模板匹配法進行靜態(tài)手勢識別，將輸入圖像與模板進行匹配計算圖像相似度[5]，但這種識別方法準確性較低，僅能識別簡單手勢。在深度學(xué)習方法出現(xiàn)以后，基于深度學(xué)習的識別方法開始成為主流，以Wang Nan團隊提出的基于深度學(xué)習的Faster R-CNN方法為例，F(xiàn)aster R-CNN可以通過使用深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）學(xué)習更多抽象的手勢紋理特征，避免了傳統(tǒng)手勢識別方法對人工設(shè)計特征的依賴，使得手勢識別更具準確性和魯棒性。

目前，深度學(xué)習的視覺手勢識別主要分為基于RGB-D攝像頭的方式和基于RGB攝像頭的方式兩種?；赗GB-D攝像頭的方式除了常見的三位顏色空間信息外，還能夠提取空間深度信息，以微軟公司研發(fā)的Kinect攝像頭為例，這種攝像頭可以直接應(yīng)用于捕捉人體關(guān)節(jié)點，能夠?qū)崿F(xiàn)現(xiàn)實與虛擬環(huán)境中場景間的多感知交互[6]。這種方式的優(yōu)點在于空間中的深度信息給計算機提供了一個新的數(shù)據(jù)維度用來分析手勢，在準確率、識別準確度和系統(tǒng)穩(wěn)定性上都表現(xiàn)優(yōu)秀。有很多研究者基于Kinect進行相關(guān)研究，如桑海峰團隊研究的面向人機交互的快速人體動作識別系統(tǒng)就利用Kinect捕捉人體骨骼數(shù)據(jù)流提取關(guān)鍵點形成特征[7]。但是RGB-D攝像頭價格昂貴，不利于開發(fā)。而基于RGB攝像頭的方式不需要專業(yè)的攝像頭，并且不需要特殊的設(shè)備，對于人機交互來說，是一種更為自然、通用的交互方式，也更利于成為主流的視覺手勢交互方式。

基于深度學(xué)習的手勢識別方法在靜態(tài)動作識別上可以取得很好的精確度且有較好的魯棒性，但是深度學(xué)習帶來的計算開銷往往過大，使得基于深度學(xué)習的視覺手勢交互系統(tǒng)還不能夠投入生產(chǎn)，仍停留在理論階段。為了避免分類器過載，影響算法性能，一些研究人員使用了降維方法，降低特征維數(shù)。與此思想類似，本文提出的基于輕量級OpenPose改進的手勢交互系統(tǒng)，主要針對OpenPose網(wǎng)絡(luò)中的卷積神經(jīng)網(wǎng)絡(luò)進行降維，改善OpenPose在速度上的局限。

本文降維的靈感來源于華為公司諾亞方舟實驗室的Kai Han團隊提出的幻影網(wǎng)絡(luò)GhostNet[8]。通過幻影模塊（Ghost Module）減小卷積核尺寸的同時保證識別的精度，減小深度學(xué)習對于硬件算力的需求。最后本文結(jié)合Arduino嵌入式平臺，搭建了一個基于深度學(xué)習的視覺手勢人機交互系統(tǒng)。該系統(tǒng)應(yīng)用幻影模塊針對Intel提出的輕量級OpenPose[9]進行改進，提升了實時應(yīng)用的可行性。

2 算法研究

2.1 輕量級的OpenPose

輕量級OpenPose（Lightweight OpenPose）是Intel公司基于卡耐基梅隆大學(xué)發(fā)布的開源項目OpenPose框架進行的改進。OpenPose是一個可以基于實時多人關(guān)鍵點識別讀懂人類肢體語言的開放庫和程序包[10]，它使得開發(fā)者能夠在單目攝像頭的基礎(chǔ)上獲得準確率較高的人體關(guān)鍵點坐標。OpenPose支持對手部進行21個關(guān)鍵點的檢測，將原始圖像輸入網(wǎng)絡(luò)后，最終能夠匯總得到人手關(guān)鍵點特征圖。21個手部關(guān)鍵點結(jié)構(gòu)如圖1所示。

圖1 21點人手建模Fig.1 21 points human hand model

OpenPose的結(jié)構(gòu)如圖2所示，由一個雙分支的CNN對于輸入的二維彩色圖像進行處理。

大小為W×H像素的原始圖像在經(jīng)過VGG-19前十層初始化處理后經(jīng)過微調(diào)會得到一個特征圖F，將特征圖F輸入網(wǎng)絡(luò)當中，在網(wǎng)絡(luò)中分成兩路分支。用TP表示總階段數(shù)，TC表示總置信圖階段數(shù)。分支1中的每一級都用于預(yù)測關(guān)鍵點置信圖[11]，從最新的部分親和域（Part Affinity Fields，PAF）開始重復(fù)進行置信圖檢測。

在利用式（1）和式（2）進行關(guān)鍵點置信圖檢測時，t表示第t輪迭代，其中ρt表示在第t輪迭代中進行推理的CNN，STP表示經(jīng)過TP輪迭代后的置信圖，St表示經(jīng)過TP輪迭代后，從最新的部分親和域開始重復(fù)進行檢測得到的置信圖。

分支2中每一級都用于預(yù)測關(guān)鍵點的部分親和域：

其中，φt指的是在第t階段進行推理的CNN。令φ1為第1輪迭代時用于進行推理的CNN，在每個后續(xù)階段中，來自上一階段CNN的預(yù)測結(jié)果和原始圖像的特征圖F共同作用精確地預(yù)測Lt。

部分親和域是一組二維矢量場，用于在圖像上編碼肢體像素點的位置和走向。之后的每一路循環(huán)都將上一輪兩路分支循環(huán)的輸出以及原始特征圖F作為輸入，最后利用匈牙利算法進行推理，得到人體骨骼的關(guān)鍵點和肢體對應(yīng)的二維坐標作為輸出，如圖3所示。

圖3 OpenPose流程圖Fig.3 OpenPose pipeline

為了引導(dǎo)網(wǎng)絡(luò)在迭代過程中能夠預(yù)測兩分支中的部分親和域和關(guān)鍵點置信圖，在每個階段的末尾都要應(yīng)用損失函數(shù)。在t階段的置信圖分支的損失函數(shù)和部分親和域的損失函數(shù)分別為：

為了評估fS，在網(wǎng)絡(luò)訓(xùn)練的過程中，從標注的關(guān)鍵點中生成可信度置信圖S*。每一個置信圖都是特定身體部位處于給定像素中的可信度的二維表征。令Xi,j∈?2為圖片中第k個人第j個身體部分的真實位置，則在p處的值可定義為：

其中，σ為控制峰的擴展。表示第k個人第j個身體部分的可信度。

網(wǎng)絡(luò)預(yù)測結(jié)果的可信度置信圖可表示為各個獨立置信圖通過最大算子后的集合。

而在Intel公司改進后的輕量級OpenPose中，將原始的OpenPose中用于提取特征圖F的網(wǎng)絡(luò)從VGG19換成了輕量級的網(wǎng)絡(luò)MobileNetV1。通過這樣的操作可以有效減少訓(xùn)練過程中生成的參數(shù)量，僅為原始二階OpenPose參數(shù)量的15%，減輕了程序運行時加載網(wǎng)絡(luò)參數(shù)的資源損耗，從而提升了檢測的速度。輕量級OpenPose還改進了原始OpenPose中的兩分支結(jié)構(gòu)，共享所有層使其變?yōu)閱温方Y(jié)構(gòu)，僅在最后兩層分為兩路分支分別輸出關(guān)鍵點置信圖S和親和域L。原始OpenPose中計算量耗費大的7×7卷積核也被替換為3×3，1×1，3×3結(jié)構(gòu)的卷積核，在保留了接收親和域的同時減少了計算量。輕量級OpenPose結(jié)構(gòu)改進部分如圖4所示。

圖4 輕量級OpenPose改進結(jié)構(gòu)Fig.4 Improved architecture of lightweight OpenPose

2.2 幻影姿態(tài)機

輕量級OpenPose框架在OpenPose框架檢測效果的基礎(chǔ)上通過犧牲一小部分精確度換來了可觀的速度提升，但是輕量級OpenPose框架所提供的網(wǎng)絡(luò)結(jié)構(gòu)依舊過大，在實時檢測時難以使用獨立的CPU得到較高的檢測速率。為了進一步減輕OpenPose對于硬件資源的需求，提出了幻影姿態(tài)機（Ghost Pose Machine，GPM）。

幻影姿態(tài)機是基于華為公司諾亞方舟實驗室提出的幻影模塊的思想提出的。GPM整體結(jié)構(gòu)與輕量級OpenPose識別網(wǎng)絡(luò)類似，通過將其中的卷積層從傳統(tǒng)卷積層更換為幻影卷積層來提升網(wǎng)絡(luò)性能。通過更少的卷積運算次數(shù)獲得更多的特征，以此來提高OpenPose框架的運行速度，提高實時識別速度，減輕計算機視覺深度學(xué)習對于硬件資源的需求。在基于深度學(xué)習的計算機視覺識別過程中，需要進行大量的卷積運算來產(chǎn)生特征圖，幻影模塊的核心思想在于卷積過程中產(chǎn)生的特征圖會有許多特征圖是類似的，將這樣的特征圖稱作冗余特征圖，這些冗余特征圖可由其他特征圖進行線性變換得到相似特征圖，將此類冗余特征圖稱作“幻影”特征圖[12]。因此可以通過減少卷積產(chǎn)生的通道數(shù)，利用線性乘法對卷積后的特征圖做線性變換，從而得到“幻影”特征圖產(chǎn)生高維卷積效果。本文幻影模塊結(jié)構(gòu)如圖5所示。

圖5 幻影模塊（GM）Fig.5 Ghost module（GM）

如圖6所示，給定輸入數(shù)據(jù)X∈?c×h×w。圖中c是輸入圖像的通道數(shù)，在RGB彩色圖中，共有紅、綠、藍三色通道，h和w分別是輸入圖像的高度和寬度，則生成n個特征圖的任意卷積操作層可表示為式（9）：

圖6 卷積操作Fig.6 Convolution operation

其中，*為卷積運算符號，X為輸入圖像，Y是通道數(shù)為n的輸出特征圖，Y∈?h′×w′×n，f∈?c×k×k×n既是卷積核，也是濾波器，b是偏差項，h′、w′為特征圖尺寸，k×k為卷積核尺寸。

由于在輸出圖中存在很多冗余，不必一一生成具有大量FLOP和參數(shù)的“幻影”特征圖。將原來生成n個特征圖Y的卷積操作替換為產(chǎn)生m個核心特征圖Y′的卷積操作，如式（10）所示。

其中，f′∈?c×k×k×m為所使用的卷積核，m為生成特征圖個數(shù)，且m≤n。

為了進一步獲得所需要的n個特征圖，對得到的m個核心特征圖Y′做廉價線性運算生成s個“幻影”。

其中，y′i,j是Y′的第i個核心特征值，Φi,j是生成第j個“幻影”yi,j所進行的第j個線性運算，yi,j是生成的第j個“幻影”，最終可得到n=m×s個特征圖。

通過在傳統(tǒng)的CNN中插入幻影模塊，無需進行高維度的卷積運算，能夠有效減少卷積運算所帶來的硬件設(shè)備資源消耗，提高算法的識別速度。

使用幻影模塊升級后的卷積操作與普通卷積操作理論加速比為：

其中，d×d是每個線性運算的平均核尺寸，其大小和k×k的大小近似，而s?c。

類似地，理論壓縮比可以計算為：

表明本文幻影姿態(tài)機能對整個過程中涉及到的高維度卷積層進行降維，縮小卷積核的尺寸，并通過插入幻影模塊來達到高維卷積的效果，在可以接受的精度損失內(nèi)減小了計算量。

3 系統(tǒng)結(jié)構(gòu)及軟件設(shè)計

3.1 幻影姿態(tài)機

本系統(tǒng)首次將OpenPose用于實時人機交互操作控制，并且利用輕量級OpenPose和幻影模塊對識別過程進行加速，有利于提高系統(tǒng)實時性。根據(jù)本文幻影姿態(tài)機基于輕量級OpenPose框架進行改進，只需將框架中用到的卷積層替換為幻影模塊卷積，卷積核替換結(jié)構(gòu)如圖7所示。

圖7 幻影卷積核替換結(jié)構(gòu)Fig.7 Architecture of ghost convolution kernel

即將網(wǎng)絡(luò)中原本的7×7卷積替換為3×3卷積，生成m通道核心特征圖，再進行s次線性運算得到n通道特征圖，所得特征圖與7×7卷積生成的n通道特征圖相似。替換后可實現(xiàn)卷積降維，從而對整體神經(jīng)網(wǎng)絡(luò)架構(gòu)進行加速，提高幻影姿態(tài)機識別效率。

另外，通過將普通的卷積層替換為幻影卷積層，可以使用更少的卷積運算得到相同的特征圖。本文基于幻影模塊生成冗余特征圖的方法，提出了一種新的適用于多場景的手勢識別控制方法。首先利用幻影姿態(tài)機對輸入的實時RGB圖像進行手部建模，然后使用模板匹配圖像識別方法對幻影姿態(tài)機建立的手勢模型進行識別并發(fā)出指令，從而進行人機交互控制，以滿足系統(tǒng)應(yīng)用需求。該方法適應(yīng)性強，任何人做出操作手勢均可識別，無需針對不同膚色的人重新訓(xùn)練用于進行動作識別的模型，并且相對于輕量級OpenPose，減少了卷積運算次數(shù)，能夠提高識別速率。本文幻影姿態(tài)機框架如圖8所示。

圖8 幻影姿態(tài)機框架Fig.8 Architecture of ghost pose machine

3.2 手勢識別系統(tǒng)框架

本文手勢識別交互控制系統(tǒng)結(jié)構(gòu)如圖9所示。實驗中采用搭載Arduino UNO的移動小車執(zhí)行交互響應(yīng)，將系統(tǒng)運行在PC端進行實時手勢檢測以及指令識別，并通過PC端與移動端的通信對移動端小車發(fā)出控制指令。

圖9 手勢交互系統(tǒng)框架Fig.9 Architecture of gesture interaction system

圖10 給出的是小車手勢交互控制系統(tǒng)流程。系統(tǒng)準備就緒后，使用PC端RGB攝像頭輸入實時圖像，在此過程中，調(diào)用訓(xùn)練好的“輕量級OpenPose+幻影姿態(tài)機”模型（簡稱幻影姿態(tài)機）進行人手關(guān)鍵點檢測并畫出骨架，利用模板匹配方法對畫出骨架的手勢圖像進行分類識別。

圖10 系統(tǒng)流程圖Fig.10 System pipeline

識別完成后，PC端將根據(jù)識別出的手勢通過藍牙通信向小車發(fā)出控制指令，小車上搭載的Arduino開發(fā)板通過藍牙模塊與PC進行實時通訊，接受指令并對小車的電機進行控制，從而達到控制小車交互行進的目的。

為了控制小車的移動，本文設(shè)置了五種基本手勢：握拳、手勢數(shù)字1、手勢數(shù)字2、手勢數(shù)字6和手掌打開。五種手勢分別對應(yīng)了小車的前進、左轉(zhuǎn)、右轉(zhuǎn)、倒車、停車五個指令。如圖11所示。

圖11 五種指令手勢Fig.11 Five instruction gestures

3.3 軟件設(shè)計

本系統(tǒng)的實驗平臺基于藍牙移動小車搭建。藍牙小車搭載Arduino嵌入式平臺，通過藍牙模塊與本地PC端進行通信。小車平臺用兩節(jié)18650鋰離子電池供電，搭載藍牙4.0模塊。

嵌入式平臺選用Arduino UNO平臺，該平臺搭載時鐘頻率為16 MHz ATMEGA328P內(nèi)核的微處理器，足夠進行藍牙通訊。圖像的采集和處理識別主要由本地PC機進行，嵌入式平臺作為控制傳輸中繼，通過藍牙連接小車電機和本地PC。本地PC通過攝像頭監(jiān)測控制者的手勢，生成控制指令。

4 實驗及結(jié)果

4.1 數(shù)據(jù)集與網(wǎng)絡(luò)訓(xùn)練

在訓(xùn)練幻影姿態(tài)機的過程中，本文采用微軟公司的COCO2017數(shù)據(jù)集進行訓(xùn)練實現(xiàn)關(guān)鍵點檢測，共計118 288張圖片；而對于手勢分類，用幻影姿態(tài)機采集了五種手勢各20張的關(guān)鍵點圖進行標注，用于分類識別網(wǎng)絡(luò)的訓(xùn)練。

為使得幻影姿態(tài)機能夠更快取得良好結(jié)果，本文調(diào)用了預(yù)訓(xùn)練過的MobileNetV1進行遷移訓(xùn)練，使用GPU顯卡（NVIDIA GTX 2070）對訓(xùn)練過程進行加速。軟件基于深度學(xué)習開源工具箱Pytorch實現(xiàn)，調(diào)用了pycocotools、opencv、numpy等開源庫，最終可運行在Intel?Core i5-9500F@2.90 GHz CPU，Windows 10操作系統(tǒng)上。

網(wǎng)絡(luò)中的各層權(quán)重通過Adaboost求解，訓(xùn)練中主要修改迭代次數(shù)和學(xué)習率兩項參數(shù)。每一次迭代使用256張圖片，共經(jīng)過3 700次迭代。最終在訓(xùn)練集上幻影姿態(tài)機的檢測準確率達到65.9%。

4.2 識別算法評估

實驗1人手關(guān)鍵點檢測。

為了對比驗證本文改進算法的實際檢測性能，分別針對原始OpenPose、輕量級OpenPose和本文幻影姿態(tài)機三個模型在COCO驗證集上進行了檢測人手關(guān)鍵點的測試實驗。準確率測試結(jié)果如表1所示。

表1 COCO2017驗證集上OpenPose、輕量級OpenPose、幻影姿態(tài)機的性能比較Table 1 Performance of OpenPose，lightweight OpenPose and ghost pose machine on COCO2017

從表1結(jié)果中可以看出，本文幻影姿態(tài)機算法基本上保持了原有網(wǎng)絡(luò)的關(guān)鍵點識別率。

為了測試幻影姿態(tài)機的加速效果，本文分別將OpenPose、輕量級OpenPose以及幻影姿態(tài)機三種算法在本地PC機上運行，接通RGB攝像頭進行實時檢測，經(jīng)多次測試的運行速度如表2所示。

表2 OpenPose、輕量級OpenPose、幻影姿態(tài)機的實時檢測幀率Table 2 Real-time FPS of OpenPose，lightweight OpenPose and ghost pose machine

從表2結(jié)果中可以看出，本文幻影姿態(tài)機對比原輕量級OpenPose框架明顯提高了識別速率。由式（12），理論加速比為2，根據(jù)上述結(jié)果可計算出實際加速1.18~1.57倍，低于理論加速比，猜想是因為幻影姿態(tài)機中backbone部分使用的幻影模塊參數(shù)還未達到最優(yōu)，“幻影”冗余還可進一步壓縮。

實驗2實時手勢識別。

在上述訓(xùn)練與驗證幻影姿態(tài)機的過程中，攝像頭始終正對著手勢且沒有受到其他干擾，在實際應(yīng)用中難以做到理想狀態(tài)。因此為了實時測試在更復(fù)雜情況下的識別效果，本組實驗分別做以下四種情況的識別效果對比：手勢正常面向攝像頭，手勢側(cè)面對準攝像頭，手勢背面對準攝像頭，有多只手出現(xiàn)在攝像頭中。這四種情況下幻影姿態(tài)機的識別效果如圖12所示。

圖12 復(fù)雜情況下手勢識別效果Fig.12 Recognition results on complicated background

在測試過程當中，分別在不同情況下設(shè)置五種手勢（對應(yīng)小車前進、左轉(zhuǎn)、右轉(zhuǎn)、倒車、停車）的對照實驗，用手勢正面面對攝像頭、手勢側(cè)面面對攝像頭、手勢背面面對攝像頭以及正面出現(xiàn)兩只手控制小車實現(xiàn)交互響應(yīng)。每次測試中，隨機做動作100次，每種手勢各20次。小車實時響應(yīng)結(jié)果如表3所示。

表3 五種手勢在三種情況下手勢識別精確率和召回率Table 3 Precision and recall of five gestures recognition under three cases %

文中，TP為將手勢預(yù)測為對應(yīng)手勢的數(shù)量，TN為將其他手勢預(yù)測為其他手勢的數(shù)量，F(xiàn)N為將手勢預(yù)測為其他手勢的數(shù)量，F(xiàn)P為將其他手勢預(yù)測為當前手勢的數(shù)量，則精確率計算公式為：

召回率計算公式為：

通過以上實驗結(jié)果可以看出，幻影姿態(tài)機在正面和背面的手勢識別精確率和召回率較高，正面識別精確率最高可達85.71%，召回率最高可達90%；手勢側(cè)面對準攝像頭時檢測效果最差，精確率最高僅達到72.73%，召回率僅能達到75%；特殊情況，在同時出現(xiàn)兩只手時，若兩只手的距離較近，幻影姿態(tài)機會將兩只手的關(guān)鍵點誤識別，無法判斷識別出關(guān)鍵點屬于哪只手。

另外，在實際應(yīng)用中，操作人員一般正面對準攝像頭，但系統(tǒng)很難確保操作人員在操控設(shè)備時位置不變，因此需要測試幻影姿態(tài)機在操作人員與攝像頭處于不同距離下的手勢識別效果。表4是正面識別時各種手勢的平均識別結(jié)果。

表4 不同距離下幻影姿態(tài)機的正面識別精確率Table 4 Precision of ghost pose machine for front recognition at different distances

通過實驗結(jié)果可知，在超過兩米的范圍幻影姿態(tài)機很難再對人手進行識別，這是因為OpenPose框架提供的基礎(chǔ)人手訓(xùn)練模型僅對近距離手勢數(shù)據(jù)進行訓(xùn)練，無法應(yīng)用于遠距離的手勢。解決辦法是考慮利用數(shù)據(jù)增廣技術(shù)擴充數(shù)據(jù)集，通過人工標注圖片對網(wǎng)絡(luò)進行再訓(xùn)練，提升姿態(tài)機在較大的距離范圍內(nèi)檢測復(fù)雜人手關(guān)鍵點的能力。

5 結(jié)束語

本文提出了一種改進的基于輕量級OpenPose的新型人機交互系統(tǒng)，通過構(gòu)建幻影姿態(tài)機，改善了OpenPose模型參數(shù)量大的問題，減輕了硬件負擔，在保證手勢識別準確率的基礎(chǔ)上有效提升了識別速率。該系統(tǒng)可適用于多種領(lǐng)域，包括無人機操控、遠程手術(shù)等不適合傳統(tǒng)人機交互模式操作的場景，能夠?qū)C器進行更為復(fù)雜的操控。本系統(tǒng)基于輕量級OpenPose與幻影模塊進行改進，目前的研究實現(xiàn)了幻影姿態(tài)機的基本運行，但仍然有許多可以改進和深入研究的方向，比如：如何進一步優(yōu)化模型參數(shù)設(shè)置；如何確定卷積層中哪些是核心特征，哪些是“幻影”；如何進一步簡化網(wǎng)絡(luò)結(jié)構(gòu)[13]；實現(xiàn)多人背景下的手勢識別交互；實現(xiàn)動態(tài)手勢的識別；進一步提高準確度、魯棒性等。