張云絢 董綿綿

（西安工業(yè)大學(xué)電子信息工程學(xué)院，陜西 西安 710021）

0 引言

隨著科技迅速發(fā)展，信息化聯(lián)合作業(yè)逐漸成為協(xié)作的基本形式，對有效偵察和監(jiān)視情報的信息智能處理能在一定程度上提高作業(yè)人員的能力和效率[1]。因此，在新技術(shù)、新產(chǎn)品的推動下，可以進一步提高系統(tǒng)整體的信息處理能力，尤其在矯正人員位姿、理解傳信員肢體語言以及訓(xùn)練機器人模仿作業(yè)人員等方面[2]。

多人姿態(tài)估計主要分為自上向下和基于構(gòu)件的框架。方法一，先定位人體區(qū)域，然后進行姿態(tài)點定位，可以應(yīng)對復(fù)雜場景下的姿態(tài)任務(wù)；方法二，先檢測圖像中所有關(guān)鍵點并組成肢體，然后對肢體構(gòu)件進行匹配，受空間約束易出現(xiàn)關(guān)鍵點重疊，導(dǎo)致檢測效果較差。同時，不同偵察設(shè)備反饋的監(jiān)測圖像不同，存在圖像多尺度問題。易對關(guān)鍵點正樣本進行檢測，將困難點檢測歸為負樣本，樣本不均衡會影響檢測結(jié)果。針對上述問題，該文提出一種多人姿態(tài)估計方法，首先，基于YOLOv4模型加入Ghost卷積模塊，減少計算參數(shù)量，提高模型的響應(yīng)速度。其次，基于高分辨率網(wǎng)絡(luò)融合不同尺度圖像的特征，結(jié)合特征金字塔融合不同層之間的特征信息。最后，使用梯度均衡機制解決關(guān)鍵點正負樣本不均衡的問題，提高人體姿態(tài)估計準(zhǔn)確率。

1 對稱空間變換網(wǎng)絡(luò)

空間變換網(wǎng)絡(luò)（STN）是1個可學(xué)習(xí)的模塊，能在網(wǎng)絡(luò)中有效增加圖像空間的不變性，空間反變換網(wǎng)絡(luò)（SDTN）將估計結(jié)果仿射變換到原始圖像數(shù)據(jù)中。二者合稱為對稱空間變換網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。其中，θ表示空間變換參數(shù)，λ表示空間反變換參數(shù)，Tθ（G）表示二維放射變換函數(shù)，Tλ（G）表示二維反變換函數(shù)，{xiS，yiS}表示原圖像第i個坐標(biāo)點，{xiT，yiT}表示仿射變換后圖像第i個坐標(biāo)點。首先，通過定位網(wǎng)絡(luò)得到回歸輸出參數(shù)θ。其次，經(jīng)過網(wǎng)格生成器對特征圖進行空間變換，將像素位置與得分進行映射。第i個輸出坐標(biāo)點位置的像素值如公式（1）所示。

圖1 對稱空間變換網(wǎng)絡(luò)結(jié)構(gòu)圖

式中：Unm為原始圖像通道中坐標(biāo)為（n，m）的像素值；Vi為第i個坐標(biāo)點的像素值； k（·）為線性插值函數(shù)；φx和φy為插值函數(shù)參數(shù)；*表示卷積運算。

該文選擇函數(shù)k（·）并采用立方卷積插值，如公式（2）所示。

2 網(wǎng)絡(luò)模型設(shè)計

該文所提出的多人姿態(tài)估計選擇了自上向下的框架，其整體結(jié)構(gòu)如圖2所示。模型主要由人體探測器、對稱空間網(wǎng)絡(luò)、姿態(tài)估計網(wǎng)絡(luò)以及姿態(tài)非極大值抑制網(wǎng)絡(luò)4個部分組成[3]。首先，采用融入Ghost模塊的輕量級YOLOv4目標(biāo)檢測模型，有效提高了人體探測器的運行速度。其次，基于高分辨率網(wǎng)絡(luò)融合不同分辨率的圖像特征，采用梯度均衡機制（GHM）解決關(guān)鍵點正負樣本不均衡的問題，在改善模型尺度泛化性的同時提高模型的準(zhǔn)確率。最后，采用歐式距離計算關(guān)鍵點的空間距離，除去冗余姿態(tài)。

圖2 多人姿態(tài)估計模型整體結(jié)構(gòu)圖

2.1 基于Ghost模塊重構(gòu)人體探測器

通過選擇使用輕量化的卷積模塊有效地對卷積神經(jīng)網(wǎng)絡(luò)中的特征冗余問題進行處理。進行卷積運算時，輸入數(shù)據(jù)為X∈Rc×h×w，c為通道數(shù)，h和w為數(shù)據(jù)的長和寬；卷積核為f∈Rc×k×k×n，k為卷積核尺寸，n為卷積核數(shù)量。由經(jīng)典卷積公式得到特征圖，如公式（3）所示。

式中：b為偏置項；Y為輸出特征圖；*表示卷積運算。

采用經(jīng)典卷積生成m個通道層的原始特征Y'，利用簡單的線性變換得到陰影特征，如公式（4）所示。

式中：yi'為Y '中第i個原始特征圖；φi，j為第j次線性運算，可以生成陰影特征yij。

最終得到m×s個特征圖作為Ghost模塊輸出，在整個YOLOv4的網(wǎng)絡(luò)中，將所有經(jīng)典卷積替換為Ghost卷積模塊，如圖3所示。

圖3 基于Ghost模塊的重構(gòu)人體探測器示意圖

2.2 姿態(tài)估計網(wǎng)絡(luò)

針對實際目標(biāo)存在多尺度識別率低、關(guān)鍵點正負樣本不均衡等問題，該文提出了姿態(tài)估計網(wǎng)絡(luò)模型。首先，骨干網(wǎng)絡(luò)選取高分辨率網(wǎng)絡(luò)HRNet-32，將圖片輸入高分辨率卷積流中，逐步增加高分辨率到低分辨率的流，形成新的階段，并將多分辨率流并行連接，即后一階段的并行流的分辨率由前一階段的分辨率和1個額外的、更低的分辨率組成。不僅可以使模型一直保持高分辨率表示，而且還融合了更多分辨率表示，有利于更加有效地從輸入圖像中提取特征，進而獲得高質(zhì)量的特征圖，將語義信息豐富為基本特征。其次，將骨干網(wǎng)絡(luò)輸出的高質(zhì)量、不同分辨率的特征圖作為特征金字塔的輸入，連接不同層特征圖后對其進行多尺度的若干特征圖聚合并輸出，再結(jié)合梯度均衡機制解決人體關(guān)鍵點正負樣本不均衡問題，實現(xiàn)單個人體的關(guān)鍵點檢測。最后，采用姿態(tài)非極大值抑制消除姿態(tài)估計網(wǎng)絡(luò)中生成的冗余姿態(tài)，以產(chǎn)生最終結(jié)果。

骨干網(wǎng)絡(luò)分為4個階段且4個階段并行連接，使采樣后的特征圖分辨率為輸入圖像的1/4，各層分辨率逐漸減少為1/2，與之對應(yīng)的通道數(shù)是上一個階段的2倍。第一階段先選取2個3×3的卷積組成子網(wǎng)，降低原始圖片的分辨率；第二階段由上一層分辨率子網(wǎng)和下采樣后的子網(wǎng)并聯(lián)組成；第三階段再次對鄰近的上一層分辨率子網(wǎng)進行下采樣，與第一階段、第二階段的分辨率子網(wǎng)并聯(lián)連接；第四階段，最近的一層分辨率子網(wǎng)繼續(xù)進行下采樣，將4個不同分辨率的子網(wǎng)并聯(lián)連接。此時，將骨干網(wǎng)絡(luò)的輸出送至特征金字塔結(jié)構(gòu)，經(jīng)由逐級采樣后的融合作為最后的輸出。涵蓋了更多的層次與尺度信息的交互，找出圖像中人的所有關(guān)鍵點（例如頭部、腕關(guān)節(jié)和腳踝等）。對于檢測受到尺度變換影響的關(guān)鍵點，可能將易檢測關(guān)鍵點轉(zhuǎn)為困難關(guān)鍵點檢測，從而增加關(guān)鍵點難例（負樣本），造成關(guān)鍵點正負樣本不均衡的現(xiàn)象，采用梯度均衡機制并根據(jù)梯度分布角度進行均衡，通過改變正負樣本的權(quán)重讓網(wǎng)絡(luò)模型多學(xué)習(xí)復(fù)雜的困難關(guān)鍵點。姿態(tài)非極大值通過標(biāo)簽歸一化的IoU預(yù)測分支來預(yù)測每個候選框的定位置信度，利用IoU所產(chǎn)生的預(yù)測值作為邊框排列的依據(jù)，以抑制與當(dāng)前選框IoU超過設(shè)定閾值的其他候選框，且采用積分的方式實現(xiàn)了更為準(zhǔn)確的感興趣區(qū)域池化，有效提升了關(guān)鍵點檢測的準(zhǔn)確度。

2.3 梯度均衡機制

考慮人體關(guān)鍵點檢測正負樣本的不均衡程度，結(jié)合梯度均衡機制（GHM）對關(guān)鍵點進行檢測。因為在逐漸加深的訓(xùn)練過程中，網(wǎng)絡(luò)會關(guān)注比例較多的正樣本，也就是易識別的關(guān)鍵點，對于負樣本即受到尺度變換影響、被遮擋等識別困難的關(guān)鍵點，網(wǎng)絡(luò)的關(guān)注會逐漸降低，所以該文根據(jù)對訓(xùn)練損失函數(shù)的重構(gòu)實現(xiàn)對關(guān)鍵點正負樣本的關(guān)注平衡，使模型訓(xùn)練更加高效和穩(wěn)健，并可以收斂到更好的結(jié)果。梯度密度函數(shù)如公式（5）～公式（7）所示。

式中：gk為第k個樣本的梯度；GD（g）為梯度落在區(qū)域的樣本數(shù)量；?為梯度值的分布間隔；g為樣本的梯度范數(shù)；δ?（x，y）為x在y鄰域內(nèi)的樣本數(shù)量；l?（g）為計算樣本量的鄰域區(qū)間長度。

再定義密度協(xié)調(diào)參數(shù)β（其中，N為樣本數(shù)量），可以保證均勻分布時損失函數(shù)不變。

3 試驗分析

該文姿態(tài)估計模型數(shù)據(jù)集為2017MS COCO數(shù)據(jù)集，試驗環(huán)境為Ubuntu 18.04操作系統(tǒng)，內(nèi)存為32 GB的Intel? CoreTM i7-8700CPU@3.20GHz，Geforce RTX 1080Ti顯卡，并分別將算法的準(zhǔn)確率與人體探測器的參數(shù)進行對比。

具體試驗結(jié)果如下：分析對比了該文模型與YOLOv4檢測模型的參數(shù)量，數(shù)據(jù)見表1；模型與其他姿態(tài)估計模型性能在驗證集的對比見表2；（其中， AP為所有10個目標(biāo)關(guān)鍵點相似性閾值的平均精確率；AP@0.5為目標(biāo)關(guān)鍵點相似性為0.5時AP值；AP@0.75為目標(biāo)關(guān)鍵點相似性為0.75時的AP值；APm為中等目標(biāo)的AP值，面積大小范圍為(322，962)；APl為大目標(biāo)的AP值，面積大小范圍為（962，-））；梯度均衡機制的作用對比見表3；部分模型可視化結(jié)果如圖4所示。

表3 梯度均衡機制的消融試驗

由表1可知，經(jīng)過Ghost模塊的操作后，模型運算量約減少了48%，模型體積縮小了46%，幀率提高了約8 f/s。

表1 人體檢測算法參數(shù)規(guī)模對比

由表2可知，在使用了高效的人體探測器后，該模型對人體關(guān)鍵點的準(zhǔn)確率相對HRNet有提高了大約1.1%，主干網(wǎng)絡(luò)HRNet的使用為模型提供了可靠的分辨率，銜接的特征金字塔進一步對提取的高質(zhì)量多尺度特征進行不同層之間的融合，最大化地使用圖像的空間信息和上下文語義信息，并盡可能平衡關(guān)鍵點正負樣本的比例，實現(xiàn)對負樣本困難關(guān)鍵點的檢測。

表2 不同模型姿態(tài)估計性能對比

為了驗證該文模型中使用的梯度均衡機制解決關(guān)鍵點樣本均衡性這一問題的有效性，該文進行了關(guān)于GHM的消融試驗。

由表3可知，通過使用梯度均衡機制，該文模型的AP提升了2.1%，該機制可以有效地提升模型的性能。

圖4（a）～圖4（c）為不同角度與距離的結(jié)果對比。圖4（d）～圖4（f）表示在多人情況下不斷改變距離的遠近進行模型對比的結(jié)果。圖4（g）～圖4（i）是在光線不明亮的情形下，由單人至多人的姿態(tài)估計結(jié)果，圖4（h）是帶有部分遮擋條件下的姿態(tài)估計結(jié)果?？梢钥闯觯撐哪軌蛟诔叨茸儞Q的影響、光照條件的改變以及帶有部分輕微遮擋的情況下，很好地完成人體關(guān)鍵點檢測工作。

圖4 部分模型可視化結(jié)果

4 結(jié)論

該文所提出的自上向下的人體姿態(tài)估計模型將Ghost卷積加入了人體探測器的YOLOv4中，有效地提高了模型關(guān)鍵點的檢測效率；基于高分辨率網(wǎng)絡(luò)結(jié)合特征金字塔網(wǎng)絡(luò)對尺度目標(biāo)的人體關(guān)鍵點進行檢測，采用梯度均衡機制的方式改善關(guān)鍵點正負樣本不均衡的問題，提高關(guān)鍵點檢測的準(zhǔn)確率。在2017COCO數(shù)據(jù)集上，該文模型關(guān)鍵點檢測的準(zhǔn)確度比CPN提高了7.2%，比Alphapose提高了5.1%，比HRNet提高了1.1%，在該文的測試環(huán)境下，模型實時運行的幀率達到了25 f/s。今后，可以逐漸加大任務(wù)難度，構(gòu)建面對密集偽裝人群也能實現(xiàn)高精度、體積小以及運行效率高的多人姿態(tài)估計模型。