賀文濤， 黃學(xué)宇， 李 瑤

(空軍工程大學(xué)防空反導(dǎo)學(xué)院， 西安， 710051)

隨著模式識(shí)別和圖像處理技術(shù)的快速發(fā)展，人體分析作為該領(lǐng)域一個(gè)分支近來(lái)也受到了科研人員和工業(yè)應(yīng)用的廣泛關(guān)注，但當(dāng)前的大多數(shù)分析算法僅將人體自身作為研究點(diǎn)，通過(guò)對(duì)人體的全身姿態(tài)或動(dòng)作捕捉來(lái)進(jìn)行相關(guān)應(yīng)用，少有針對(duì)某一特定身體部位進(jìn)行的分析研究，對(duì)人體與物體的關(guān)聯(lián)研究也比較少。

現(xiàn)有的人體分析算法可按實(shí)現(xiàn)方式大致分為兩類(lèi)，自上而下(top-down)和自下而上(bottom-up)。自上而下的方式指的是在每次的檢測(cè)中首先使用人物檢測(cè)器識(shí)別圖片中的人員，然后在此基礎(chǔ)上進(jìn)行分析，如Newell[1],WEI[2]等使用的姿態(tài)估計(jì)方法。這種方式的缺點(diǎn)是需要很高的前期人員識(shí)別準(zhǔn)確率保證，一旦無(wú)法識(shí)別人物，姿態(tài)估計(jì)就會(huì)失效；另外，由于對(duì)每個(gè)人都要使用一個(gè)檢測(cè)器，隨著圖片中人物數(shù)量的增加，其計(jì)算成本會(huì)隨之成倍增加。相較之下，自下而上的方式則可以彌補(bǔ)這些缺點(diǎn)，其首先在全局進(jìn)行關(guān)節(jié)熱點(diǎn)圖的提取，然后根據(jù)向量關(guān)系進(jìn)行連通，從而為前期保證提供了高可靠性。但早期的自下而上方法，如Pishchulin[3],Insafutdinov[4]等提出的方法，由于最終的解析仍需要復(fù)雜的全局推斷，因此并未提高效率。文獻(xiàn)[5]用貪心算法將關(guān)鍵點(diǎn)連接起來(lái)，大大提升了效率，使得實(shí)時(shí)的人體分析成為現(xiàn)實(shí)。

當(dāng)前的目標(biāo)檢測(cè)器通常由三部分組成：第一部分是在擁有海量的圖片集如ImageNet上經(jīng)過(guò)預(yù)訓(xùn)練的主干網(wǎng)絡(luò)(backbone)；第二部分是用于預(yù)測(cè)類(lèi)別和物體方框位置的頭(head)，主要可分為二階檢測(cè)器(R-CNN[6-10]系列)和單階檢測(cè)器(YOLO[11-14]，SSD[15]和RetinaNet[16]等)；第三部分是Neck網(wǎng)絡(luò)，指的是在backbone和head之間插入的連接層，用于連接不同階段的特征圖。

近年來(lái)，手持物體分析正受到越來(lái)越多的關(guān)注和應(yīng)用，但大多應(yīng)用通常有著嚴(yán)格的條件和區(qū)域限制。如文獻(xiàn)[17]中駕駛員手持通話(huà)檢測(cè)，首先攝像頭需要正對(duì)駕駛員，然后進(jìn)行人臉檢測(cè)，估算耳部位置劃出感興趣區(qū)域，再根據(jù)區(qū)域內(nèi)手部存在時(shí)間加上唇部張合狀態(tài)來(lái)綜合判斷手持通話(huà)狀態(tài)，步驟相當(dāng)繁瑣且需要很高的前期識(shí)別準(zhǔn)確保證。

為補(bǔ)充專(zhuān)用于手持物體分析算法的缺失，以及更為準(zhǔn)確穩(wěn)定的識(shí)別結(jié)果，本文提出了一種可全局分析的手持物體行為分析算法。

1 OPENPOSE人體姿態(tài)估計(jì)方法

Openpose[5]是由卡耐基梅隆大學(xué)(CMU)感知實(shí)驗(yàn)室發(fā)布的一種實(shí)時(shí)多人姿態(tài)估計(jì)方法。該方法采用一種非參數(shù)的表達(dá)方式，即局部親和矢量場(chǎng)(part affinity fields，PAF)，來(lái)學(xué)習(xí)將各個(gè)身體部位與圖片中的各個(gè)人體相關(guān)聯(lián)。其體系結(jié)構(gòu)通過(guò)對(duì)全局的內(nèi)容進(jìn)行編碼，從而自下而上地用貪心算法進(jìn)行解析，無(wú)論圖片中有多少人，都能在保持高精度的同時(shí)保證實(shí)時(shí)性。其網(wǎng)絡(luò)結(jié)構(gòu)主要是通過(guò)一個(gè)連續(xù)的預(yù)測(cè)過(guò)程的兩個(gè)分支來(lái)同時(shí)學(xué)習(xí)關(guān)鍵點(diǎn)的定位以及它們之間的關(guān)聯(lián)。

Openpose的網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1所示。

圖1 多階段的雙支路網(wǎng)絡(luò)結(jié)構(gòu)圖

圖1中F是由經(jīng)過(guò)微調(diào)的VGG-19卷積網(wǎng)絡(luò)的前10層通過(guò)對(duì)輸入圖片的分析后生成的特征圖集合，然后將F作為兩個(gè)分支第一階段(Stage 1)的輸入，其中分支一(Branch 1)用于預(yù)測(cè)置信圖St,分支二(Branch 2)用于預(yù)測(cè)PAFs-Lt。在每個(gè)階段之后，兩個(gè)分支的預(yù)測(cè)結(jié)果會(huì)被合并作為下一個(gè)階段的輸入，并重復(fù)上一階段的操作。

通過(guò)上述重復(fù)操作，即可預(yù)測(cè)關(guān)鍵點(diǎn)位置及其置信圖。最后，通過(guò)貪心算法將這些關(guān)鍵點(diǎn)連接起來(lái)即可獲得人體的骨架圖。如圖2所示。

圖2 Openpose檢測(cè)結(jié)果

其中，兩個(gè)相鄰關(guān)鍵點(diǎn)dj1和dj2的關(guān)聯(lián)性的評(píng)估是通過(guò)計(jì)算相應(yīng)矢量場(chǎng)中向量間的線(xiàn)積分來(lái)實(shí)現(xiàn)的：

(1)

式中：P(u)表示dj1和dj2之間的點(diǎn)。

P(u)=(1-u)dj1+udj2

(2)

2 Yolov4目標(biāo)檢測(cè)算法

Yolov4是由Alexey Bochkovskiy[14]等人于2020年4月發(fā)布的目標(biāo)檢測(cè)算法。通過(guò)將時(shí)下最為先進(jìn)的網(wǎng)絡(luò)調(diào)優(yōu)方法，如加權(quán)殘差連接(WRC)、跨階段部分連接(CSP)、跨小批量歸一化(CmBN)、自對(duì)抗訓(xùn)練(SAT)、Mish激活函數(shù)、馬賽克數(shù)據(jù)增強(qiáng)、DropBlock正則化、CIoU Loss等，在Yolov3的基礎(chǔ)上進(jìn)行對(duì)比改進(jìn)實(shí)驗(yàn)，最終獲得了檢測(cè)速度與檢測(cè)精度的最佳平衡的目標(biāo)檢測(cè)器——Yolov4。

圖3為Yolov4與當(dāng)前其他最先進(jìn)方法在COCO數(shù)據(jù)集上的檢測(cè)速度、精度對(duì)比圖。

圖3 Yolov4檢測(cè)效果對(duì)比[11]

由圖3可知，檢測(cè)速度差不多時(shí)Yolov4的檢測(cè)精度更高；檢測(cè)精度差不多時(shí)，Yolov4則更快。最終其結(jié)構(gòu)如下：

backbone：CSPDarknet53[18]

neck：SPP[19],PAN[20]

head：Yolov3[13]

此外，網(wǎng)絡(luò)結(jié)構(gòu)針對(duì)單GPU訓(xùn)練做了優(yōu)化，不需要額外的訓(xùn)練成本即可復(fù)現(xiàn)其優(yōu)良性能，因此本文選擇Yolov4作為物體檢測(cè)器的基礎(chǔ)框架，在其基礎(chǔ)上搭建本文算法。

3 基于Openpose和Yolo的手持物體分析算法

本文的算法流程如圖4，以右手為例進(jìn)行說(shuō)明。

圖4 算法流程圖

輸入圖片首先經(jīng)過(guò)Openpose處理后，提取出圖片中的人員骨架關(guān)節(jié)點(diǎn)，其輸出如下(Body_25模型)，見(jiàn)圖5。

圖5 BODY_25輸出關(guān)節(jié)圖

Body_25檢測(cè)模型下與關(guān)節(jié)點(diǎn)的對(duì)應(yīng)關(guān)系如表1所示，共有25個(gè)關(guān)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)位置輸出(x，y，score)，分別為關(guān)節(jié)點(diǎn)橫坐標(biāo)、關(guān)節(jié)點(diǎn)縱坐標(biāo)以及置信度。

表1 輸出編號(hào)對(duì)應(yīng)關(guān)節(jié)

同時(shí)，輸入圖片經(jīng)Yolo處理，檢測(cè)出圖片中感興趣物體的類(lèi)別與位置，畫(huà)出方框。其輸出包含(Xtop_left，Ytop_left，w，h)，obj_id等，分別為方框左上角橫-縱坐標(biāo)，方框?qū)?高以及物體類(lèi)別對(duì)應(yīng)ID。

經(jīng)過(guò)上述處理，融合兩部分輸出信息，使用IOU算法進(jìn)行處理，最后進(jìn)入手持物體行為分析算法的邏輯執(zhí)行部分。實(shí)際手持場(chǎng)景中，不同尺寸大小的物體對(duì)手持位置與邏輯判定關(guān)系均有不同影響。按手持物體的尺寸大小分為小型物體和中、大型物體兩類(lèi)。

3.1 手持小型物體判定法則

小型物體的邊長(zhǎng)小于手的長(zhǎng)度(15 cm)，特點(diǎn)是尺寸較小，形狀較規(guī)則，寬高比較小，手持時(shí)通常握在物體中心，如手機(jī)、小刀等，因此當(dāng)手腕節(jié)點(diǎn)與感興趣物體中心(Xcenter，Ycenter)的距離小于手的長(zhǎng)度即可認(rèn)為該物體被手持。

如圖6所示，通過(guò)Openpose獲得右手腕(x4,y4)，右手肘(x3,y3)的位置信息，取右手腕到右手肘距離的一半作為手的長(zhǎng)度Lhand(由于手指的關(guān)節(jié)數(shù)量眾多，直接提取其關(guān)節(jié)位置信息會(huì)大大增加計(jì)算成本，增加算法復(fù)雜度)，可得：

圖6 手持物體邏輯判斷圖

(3)

使用Yolo獲得感興趣物體的類(lèi)別和位置并畫(huà)出方框，輸出方框左上角點(diǎn)坐標(biāo)(Xtop_left，Ytop_left)，方框?qū)抴，方框高h(yuǎn)，可得物體中心點(diǎn)坐標(biāo)為：

(4)

(5)

由式(3～5)可得手持小型物體的邏輯判斷條件為：

(6)

當(dāng)滿(mǎn)足式(6)時(shí)，可認(rèn)為當(dāng)前人員手持物體。

3.2 手持中、大型物體判定法則

中、大型物體指邊長(zhǎng)分別大于手的1倍(15 cm)和3倍(45 cm)以上，特點(diǎn)是尺寸較大，形狀不規(guī)則，寬高比變化多，手持中心位置浮動(dòng)較大，如書(shū)本、晾衣桿等。此時(shí)小型物體的邏輯判斷法則不再完全適用。如出現(xiàn)圖7手持狀態(tài)時(shí)，手腕位置與物體中心距離遠(yuǎn)大于Lhand，按照小物體邏輯判斷法則(6)，此時(shí)圖7是未手持狀態(tài)，因此出現(xiàn)漏檢。因此，需要對(duì)小物體邏輯判斷法則進(jìn)行擴(kuò)充。令手腕到物體中心的距離小于物體檢測(cè)框最長(zhǎng)邊長(zhǎng)的一半，即：

圖7 手持中、大型物體情況1

(7)

根據(jù)式(7)，雖然提高了圖7情況手持物體的識(shí)別準(zhǔn)確率，但對(duì)圖8所示情況的誤檢(未手持卻檢出手持)會(huì)增多。為解決圖8所示誤檢情況，需要對(duì)物體與手之間的關(guān)聯(lián)性進(jìn)行約束，因此參考圖像檢測(cè)中的交并比(IOU)算法進(jìn)行補(bǔ)充。

圖8 手持中、大型物體情況2

交并比(intersection over union)是用于目標(biāo)檢測(cè)任務(wù)中計(jì)算圖像重疊比例的算法，主要用于生成候選框的置信度排序。在本文的算法中，利用交并比來(lái)判斷手與感興趣物體的關(guān)聯(lián)性大小。

如圖9所示，A為Yolo檢測(cè)物體后生成的矩形框，B為以右手腕關(guān)節(jié)點(diǎn)(x4,y4)為中心，以手長(zhǎng)的兩倍2Lhand為邊長(zhǎng)繪制的矩形，藍(lán)色部分C為A與B的交叉部分。

圖9 交并比法則

設(shè)A左上與右下坐標(biāo)為(X11，Y11)，(X12，Y12)，設(shè)B左上與右下坐標(biāo)為(X21，Y21),(X22，Y22)，則有：

X11=Xtop_left

(8)

Y11=Ytop_left

(9)

X12=Xtop_left+w

(10)

Y12=Ytop_left+h

(11)

X21=X4-Lhand

(12)

Y21=Y4-Lhand

(13)

X22=X4+Lhand

(14)

Y22=Y4+Lhand

(15)

可得：

xA=Max(X11,X21)

(16)

yA=Max(Y11,Y21)

(17)

xB=Max(X12,X22)

(18)

yB=Max(Y12,Y22)

(19)

式中：xA，yA，xB，yB分別為交叉部分左上角與右下角點(diǎn)，故有矩形A、矩形B、交叉部分Intersection的各部分面積分別為：

SA=(X12-X11)(Y12-Y11)

(20)

SB=(X22-X21)(Y22-Y21)

(21)

Sinter=Max(xB-xA,0)Max(yB-yA,0)

(22)

則交并比為：

(23)

由式(6)～(7)和式(23)得到算法的最終邏輯判斷法則為：

(24)

其中Limit為自定義的IOU閾值。

通過(guò)手持狀態(tài)判定結(jié)果結(jié)合物體類(lèi)別識(shí)別結(jié)果即可輸出手持物體類(lèi)別結(jié)果。

4 實(shí)驗(yàn)及結(jié)果分析

首先對(duì)Yolo進(jìn)行訓(xùn)練。按照小型、中型和大型3種不同的尺寸大小，包括小刀、手機(jī)、水杯、書(shū)本、掃帚、晾衣?lián)喂?種類(lèi)別，包含了危險(xiǎn)品和日常家庭使用的各種物品，分辨率為1 280×720，采集了共計(jì)1 489張圖片制成數(shù)據(jù)集。具體組成如表2，圖片數(shù)據(jù)輸入網(wǎng)絡(luò)前統(tǒng)一縮放成512×512的尺寸大小，將訓(xùn)練集與測(cè)試集按照4∶1的比列分配。

表2 數(shù)據(jù)采集類(lèi)別及數(shù)量

為了提高網(wǎng)絡(luò)的魯棒性，對(duì)訓(xùn)練數(shù)據(jù)使用了隨機(jī)旋轉(zhuǎn)，隨機(jī)縮放，改變色相、對(duì)比度、曝光度和馬賽克數(shù)據(jù)增強(qiáng)等方法。其中馬賽克數(shù)據(jù)增強(qiáng)是一種新的數(shù)據(jù)增強(qiáng)方法，將4張圖片數(shù)據(jù)按隨機(jī)比例拼成一張，這樣就能將4張圖片的內(nèi)容混合，使得在目標(biāo)檢測(cè)時(shí)能超出原有的內(nèi)容范圍。圖10為馬賽克數(shù)據(jù)增強(qiáng)效果圖。通過(guò)這一方法與未使用該方法相比，最終物體檢出率提高了大約0.3%。

圖10 馬賽克數(shù)據(jù)增強(qiáng)

本文的實(shí)驗(yàn)環(huán)境配置為：硬件：CPU為Inter Core i5-10600KF@4.10 GHz，GPU為NVIDIA GeForce RTX3070(8G)，16 GB內(nèi)存，軟件：Windows 10操作系統(tǒng)，安裝CUDA 11.1,CUDNN 8.0.5,使用Visual Studio 2019作為編輯器，OPENCV 4.2.0用于結(jié)果顯示。

為適應(yīng)手持物體的特點(diǎn)，加快算法運(yùn)行速度以及方便后期將算法移植到輕型計(jì)算設(shè)備，對(duì)網(wǎng)絡(luò)作出適應(yīng)性調(diào)整。將Yolov4-tiny的基于Resnet的預(yù)訓(xùn)練模型yolov4-tiny.conv.29替換成了基于EfficientNet-B0的enetb0-coco.conv.132，稱(chēng)為Effinet-Yolo；同時(shí)在訓(xùn)練時(shí)將輸入網(wǎng)絡(luò)尺寸設(shè)置為416×416，在檢測(cè)時(shí)放大至512×512，以提高小目標(biāo)物體檢出率。分別使用原生的Yolov4，Yolov4-tiny，以及調(diào)整過(guò)的Effinet-Yolo進(jìn)行訓(xùn)練，預(yù)設(shè)迭代次數(shù)為12 000次，初始學(xué)習(xí)率分別設(shè)置為0.001 3，0.002 6，0.002 6，學(xué)習(xí)策略為step。當(dāng)average loss降到0.05至3.0以?xún)?nèi)，或者經(jīng)過(guò)多次迭代后average loss不再下降時(shí)，停止訓(xùn)練。

在本文實(shí)驗(yàn)中迭代至6 000次時(shí)損失函數(shù)即不再下降，停止訓(xùn)練。分別用3種模型對(duì)驗(yàn)證數(shù)據(jù)集進(jìn)行測(cè)試，其結(jié)果如表3所示。

表3 模型訓(xùn)練結(jié)果對(duì)比

由表3可知Yolov4擁有最高的準(zhǔn)確率和召回率，但由于其網(wǎng)絡(luò)層數(shù)最深導(dǎo)致其網(wǎng)絡(luò)權(quán)重也最大，運(yùn)行速度最慢；Yolov4-tiny由于削減了主干網(wǎng)絡(luò)，運(yùn)行速度最快，但準(zhǔn)確率最低，而準(zhǔn)確率較低的主要原因是小型物體的檢出率不足。Effinet-Yolo在替換了backbone后，使得網(wǎng)絡(luò)權(quán)重相對(duì)于Yolov4-tiny減少了4.8 MB，從而降低了算法的復(fù)雜度；另外通過(guò)在訓(xùn)練時(shí)減小網(wǎng)絡(luò)輸入尺寸、在檢測(cè)時(shí)增大網(wǎng)絡(luò)尺寸的方式，使得小型物體的檢出率有所提高，相較于Yolov4-tiny準(zhǔn)確率提高了3.5%左右。因此，在滿(mǎn)足檢測(cè)性能的前提下，最終選用權(quán)重最小最易部署的Effinet-Yolo網(wǎng)絡(luò)模型作為本文算法的物體檢測(cè)器。

然后對(duì)Openpose的關(guān)節(jié)點(diǎn)輸出進(jìn)行篩選，僅保留手腕和手肘的關(guān)節(jié)信息。使用C++ API進(jìn)行Openpose和Yolo的坐標(biāo)信息融合，并用IOU算法進(jìn)行處理，最后進(jìn)行識(shí)別結(jié)果驗(yàn)證。將Yolo封裝成動(dòng)態(tài)鏈接庫(kù)使用，并在VS上進(jìn)行本文算法的代碼運(yùn)行。分別使用表中所示模型搭配以及傳統(tǒng)的方法，均采集手持不同種類(lèi)的物體，交替左右手，采用單手或雙手，改變身體位姿等視頻數(shù)據(jù)集進(jìn)行驗(yàn)證結(jié)果對(duì)比實(shí)驗(yàn)。

不同模型搭配本文算法結(jié)果如表4。由第一組結(jié)果可知，Yolov4與body_25的組合，雖然準(zhǔn)確率最高，但是運(yùn)行速率只有6 fps，無(wú)法滿(mǎn)足實(shí)時(shí)性要求；由第二組與第三組結(jié)果對(duì)照可知，body_25模型運(yùn)行速度更快，這是因?yàn)橄噍^于coco模型雖然提取更多的關(guān)節(jié)點(diǎn)，但是其參數(shù)量少，并且由于使用了CUDA技術(shù)進(jìn)行加速，因此其運(yùn)行速度更快。另外，由于本文算法需要依賴(lài)于物體檢測(cè)器Yolo和關(guān)節(jié)提取器Openpose的準(zhǔn)確率，且二者同時(shí)運(yùn)行，而Openpose運(yùn)行相對(duì)較慢，因此限制了算法的運(yùn)行速率。另外，相較于表中第4組傳統(tǒng)方法即文獻(xiàn)[20]模型，本文算法的準(zhǔn)確率有所提高，且本文所提算法不需要?jiǎng)澏ǜ信d趣區(qū)域，可直接對(duì)全局進(jìn)行分析，表現(xiàn)出更好的泛用性。由表4綜合考量，Effinet-Yolo和body_25組合為最優(yōu)搭配。

表4 檢測(cè)結(jié)果對(duì)比

算法運(yùn)行效果如圖11，最終在圖片上輸出人體骨架及節(jié)點(diǎn)，物體檢測(cè)框以及左上角的手持狀態(tài)以及左右手的手持物體類(lèi)別，由圖11(a)可知算法對(duì)前文所提手持小、中、大型物體均有較好識(shí)別效果，且能區(qū)分左右手，非手持狀態(tài)也能準(zhǔn)確識(shí)別；圖11(b)在雙手持物、背面以及部分遮擋重疊時(shí)也能保持較高準(zhǔn)確率，驗(yàn)證了算法的魯棒性。

圖11 算法運(yùn)行效果圖

本文算法潛在應(yīng)用場(chǎng)景如下：在工地中，可識(shí)別工人是否佩戴安全手套；在家庭的安全監(jiān)察中，可對(duì)兒童拿起刀具等危險(xiǎn)品的行為進(jìn)行識(shí)別警告；可用于手持危險(xiǎn)品行為檢測(cè)，如在地鐵站或者火車(chē)站等閘口用監(jiān)控視頻進(jìn)行危險(xiǎn)行為檢測(cè)以補(bǔ)充安全檢測(cè)遺漏；在戰(zhàn)場(chǎng)中可通過(guò)是否手持武器來(lái)區(qū)分?jǐn)澄摇?/p>

綜上，Effinet-Yolo和Body_25組合的模型組合結(jié)合算法的判定法則，可使正確識(shí)別手持狀態(tài)同時(shí)識(shí)別出手持物體類(lèi)別的準(zhǔn)確率達(dá)到91.2%，運(yùn)行速度可達(dá)13 fps，并且總參數(shù)量最少，僅有118.1 MB。因此將其作為本文的實(shí)時(shí)手持物體行為分析算法的最終框架。相較于傳統(tǒng)手持物體識(shí)別的思路，以姿態(tài)估計(jì)和目標(biāo)檢測(cè)為基礎(chǔ)進(jìn)行手持物體識(shí)別具有更高的準(zhǔn)確度和泛用性，手持定位更為準(zhǔn)確，同時(shí)本文算法不需要嚴(yán)格的前期人員識(shí)別保證，不需要?jiǎng)澏ǜ信d趣區(qū)域即可進(jìn)行全局分析。

5 結(jié)語(yǔ)

本文針對(duì)當(dāng)前人體分析算法很少以某一特定部位作為研究點(diǎn)的問(wèn)題，提出了專(zhuān)用于手部的全局實(shí)時(shí)手持物體識(shí)別算法。通過(guò)使用Openpose和Yolo對(duì)圖片做預(yù)處理，然后使用C++ API進(jìn)行二者的坐標(biāo)信息融合。根據(jù)手持物體的尺寸大小分為小型，中型和大型兩類(lèi)情況進(jìn)行分類(lèi)，參考交并比(IOU)算法進(jìn)行處理并作為手持物體狀態(tài)的輔助判斷，最終分別設(shè)計(jì)出了判斷法則，實(shí)現(xiàn)了手持物體行為分析算法，并以提高運(yùn)行速率和方便部署為目的做了適應(yīng)性調(diào)整。在采集的手持物體視頻流數(shù)據(jù)集上，最終識(shí)別手持狀態(tài)的同時(shí)準(zhǔn)確識(shí)別手持物體類(lèi)別的準(zhǔn)確率可達(dá)到91.2%，通過(guò)插幀等方式基本可達(dá)到實(shí)時(shí)運(yùn)行的要求。相較于傳統(tǒng)思路方法，本文所提以姿態(tài)估計(jì)和目標(biāo)檢測(cè)為基礎(chǔ)的算法定位更為精準(zhǔn)，識(shí)別準(zhǔn)確率更高，算法在民用以及軍用等多種場(chǎng)景均具有良好的潛在應(yīng)用價(jià)值。

下一步的工作是使用多線(xiàn)程調(diào)度機(jī)制等方法，進(jìn)一步提高算法的運(yùn)行效率，同時(shí)將算法分析的范圍擴(kuò)展到腳部、頭部等其他身體部位，形成一套完整的人-物交互分析系統(tǒng)，最終將其應(yīng)用到無(wú)人機(jī)監(jiān)查、智能監(jiān)控等工程應(yīng)用中。