胡江顥，王紅雨，喬文超，馬靖煊

（上海交通大學儀器科學與工程系，上海 200240）

0 概述

人體關(guān)鍵點檢測是計算機視覺領(lǐng)域的重要研究方向，通過檢測人體頭頂、四肢關(guān)節(jié)和頸部等關(guān)節(jié)部位得到關(guān)節(jié)點信息，并將其應(yīng)用于人體行為識別［1-2］、人機交互［3］和步態(tài)識別［4］等任務(wù)中，主要包括單人關(guān)鍵點檢測、多人關(guān)鍵點檢測［5-7］、視頻關(guān)鍵點檢測［8］和關(guān)鍵點跟蹤［9］等相關(guān)技術(shù)。近幾年，移動終端設(shè)備快速普及，但目前較先進的關(guān)鍵點檢測算法仍需較大的GPU 算力，并不能很好地滿足手機、平板、航拍無人機等日常聯(lián)網(wǎng)設(shè)備的實時檢測需求，這使得其難以在日常生活中得到廣泛應(yīng)用。

近年來，研究人員將深度學習與人體關(guān)鍵點檢測技術(shù)相結(jié)合并取得了一定的進展?，F(xiàn)有的關(guān)鍵點檢測算法多數(shù)是使用反卷積將具有高分辨率的高層特征與具有強語義信息的低層特征進行融合，提高預(yù)測特征圖的分辨率后進行關(guān)鍵點檢測。2016 年，NEWELL 等人提出Hourglass 算法［10］，該算法使用沙漏模型融合高低層特征，采用中間監(jiān)督技術(shù)進行關(guān)鍵點預(yù)測，并在MPII多人數(shù)據(jù)集上取得重大突破。同年，WEI等人提出CPM算法［11］，該算法使用多個階段的網(wǎng)絡(luò)對人體關(guān)鍵點進行檢測，并將前一個階段的預(yù)測輸出加入下一階段的輸入中，隨著階段數(shù)目的增加，檢測結(jié)果不斷得到精煉。2017 年，曠世科技的CHEN 等人提出CPN 算法［12］，該算法為COCO 人體關(guān)鍵點檢測冠軍算法，分為全局網(wǎng)絡(luò)和精煉網(wǎng)絡(luò)兩部分，創(chuàng)新性地提出先對容易關(guān)鍵點進行檢測，再在精煉網(wǎng)絡(luò)中使用在線難例挖掘?qū)W習難檢測的關(guān)鍵點。2019 年，SUN 等人提出一個始終保持高分辨率的網(wǎng)絡(luò)［13］，該網(wǎng)絡(luò)可以多次重復(fù)融合高低層特征圖，進一步提升關(guān)鍵點檢測性能。

為在算力有限的移動平臺上實現(xiàn)實時檢測任務(wù)，首要的是解決移動終端的算力瓶頸問題，因此眾多研究人員致力于輕量級［14-16］主干網(wǎng)絡(luò)的研究，這些輕量級主干網(wǎng)絡(luò)在減少計算量的同時仍具有較優(yōu)的特征提取性能，并且便于實時檢測、產(chǎn)品安裝以及后續(xù)版本升級等環(huán)節(jié)的實現(xiàn)。對于Hourglass 等多階段預(yù)測算法，雖然在對人體關(guān)鍵點的不斷優(yōu)化過程中可有效提高檢測精度，但是重復(fù)的編碼與解碼過程導(dǎo)致了巨大的計算量和參數(shù)量。此外，目前多階段檢測算法通常將最后階段的預(yù)測結(jié)果作為最終預(yù)測輸出，但是將性能指標具體量化到每一個關(guān)節(jié)點上時，最后階段的預(yù)測結(jié)果并非在每個關(guān)鍵點上都具有最優(yōu)性能，因此僅將最后階段預(yù)測結(jié)果作為網(wǎng)絡(luò)最終預(yù)測輸出的檢測算法并未有效利用多階段的預(yù)測結(jié)果。本文提出基于輕量級網(wǎng)絡(luò)的實時人體關(guān)鍵點檢測算法LWPE，使用MobileNetV2［17］作為主干網(wǎng)絡(luò)，利用編解碼過程控制網(wǎng)絡(luò)模型規(guī)模，提升LWPE 算法運行速度，在精煉網(wǎng)絡(luò)中使用特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）［18］實現(xiàn)特征融合，提高LWPE 算法關(guān)鍵點檢測精度。

1 LWPE 主干網(wǎng)絡(luò)和卷積模塊選取

當前卷積神經(jīng)網(wǎng)絡(luò)模型的設(shè)計趨勢是通過增加網(wǎng)絡(luò)深度和寬度并加大網(wǎng)絡(luò)計算量來提升網(wǎng)絡(luò)性能，但由此產(chǎn)生的龐大計算量遠超移動設(shè)備和嵌入式設(shè)備的承載能力，使得此類網(wǎng)絡(luò)模型難以應(yīng)用于日常生活中。MobileNetV2 使用深度可分離卷積模塊大幅減少了網(wǎng)絡(luò)模型規(guī)模，提高了運行速度，具有良好的網(wǎng)絡(luò)性能。表1 為MobileNetV2、ShuffleNet（1.5）［19］和MobileNetV1［20］在ImageNet 上的性能對比結(jié)果?？梢钥闯觯琈obileNetV2 在Top-1 準確率和模型規(guī)模上都具有顯著優(yōu)勢，因此LWPE 網(wǎng)絡(luò)模型采用MobileNetV2 作為主干網(wǎng)絡(luò)并對其通道數(shù)進行調(diào)整，使用MobileNetV2_S 表示調(diào)整后的網(wǎng)絡(luò)。

表1 3 種網(wǎng)絡(luò)在ImageNet 上的性能對比Table 1 Performance comparison of three networks on ImageNet

深度可分離卷積是MobileNetV2 的核心。如圖1所示，將傳統(tǒng)卷積操作分為深度可分離卷積操作和逐點卷積操作兩層因式運算。深度可分離卷積大幅減少了參數(shù)量和運算量。假設(shè)輸入的特征圖大小為D×D×M，卷積核大小為K×K×M×N，卷積步長為1 并將特征圖擴充為1，傳統(tǒng)卷積操作的運算量Otc和參數(shù)量Ptc為：

深度可分離卷積操作的運算量Odc和參數(shù)量Pdc為：

兩者運算量CO和參數(shù)量CP的比值為：

圖1 傳統(tǒng)卷積、深度可分離卷積和逐點卷積示意圖Fig.1 Schematic diagram of traditional convolution，depthwise separable convolution and point-wise convolution

由于卷積核大小一般為3 或者5，隨著網(wǎng)絡(luò)加深，特征圖的通道數(shù)不斷增加甚至可達到幾百，因此傳統(tǒng)卷積核的運算量和參數(shù)量約為深度可分離卷積的9倍或者25倍。

MobileNetV2 使用具有線性瓶頸的反向殘差模塊，其分為卷積步長為1 和2 兩種模式，如圖2 所示，其中，Conv 1×1 表示卷積核大小為1×1 的卷積操作，Dwise 3×3 表示卷積核大小為3×3 的深度可分離卷積操作，Linear 表示該卷積層之后不加非線性激活函數(shù)，stride=2 表示卷積步長為2。當卷積步長為2時進行降采樣，模塊輸入不經(jīng)過跳連加入模塊輸出中。當卷積步長為1 時，模塊輸入加入模塊輸出中。卷積步長為2 時的具有線性瓶頸的反向殘差模塊結(jié)構(gòu)與殘差模塊結(jié)構(gòu)相似，與殘差模塊不同的是：該模塊首先通過1×1 的卷積核對輸入特征進行卷積操作，使其通道數(shù)上升；然后通過激活函數(shù)Relu6 增加模型非線性；最后使用1×1 的卷積結(jié)合線性激活函數(shù)將特征通道數(shù)降低為輸入通道數(shù)。在精煉網(wǎng)絡(luò)中，LWPE 使用一系列具有線性瓶頸的反向殘差模塊對點加操作后的特征圖進行特征提取。

圖2 反向殘差模塊Fig.2 Reverse residual module

2 LWPE 算法

人體關(guān)鍵點檢測即通過檢測人體頭頂、四肢關(guān)節(jié)和頸部等主要關(guān)節(jié)部位得到關(guān)節(jié)點信息。對于一個具有k個關(guān)節(jié)點的檢測任務(wù)，假設(shè)Pk∈M，其中，Pk代表第k個關(guān)節(jié)點的位置，M表示分辨率為ω×h的圖片位置。LWPE 是一種適用于移動終端的實時人體姿態(tài)檢測算法，采用輕量級主干網(wǎng)絡(luò)提取圖片特征，并在后續(xù)網(wǎng)絡(luò)中使用深度可分離卷積進一步減少網(wǎng)絡(luò)權(quán)重并實現(xiàn)網(wǎng)絡(luò)加速。LWPE 的主要任務(wù)是從圖片中找出所有關(guān)節(jié)點{P1，P2，…，Pk}的位置。如圖3所示，LWPE由三部分組成：1）用于提取特征的輕量級主干網(wǎng)絡(luò)MobileNetV2_S；2）對預(yù)測結(jié)果不斷優(yōu)化迭代的精煉網(wǎng)絡(luò)；3）將預(yù)測結(jié)果進行融合的融合網(wǎng)絡(luò)。在精煉網(wǎng)絡(luò)中，首先使用FPN將多尺度的特征進行融合，高倍降采樣的特征圖通過上采樣疊加到相鄰的低倍降采樣特征圖上，如32 倍降采樣特征圖通過上采樣與16 倍降采樣的特征圖進行融合，并在每個特征圖上對關(guān)鍵點進行預(yù)測，所得的預(yù)測結(jié)果加入相鄰的更高分辨率的特征圖上，如在16 倍降采樣上的預(yù)測結(jié)果加入8 倍降采樣的特征圖上，從而不斷優(yōu)化預(yù)測結(jié)果。在融合網(wǎng)絡(luò)中，將精煉網(wǎng)絡(luò)中不同尺度下的預(yù)測結(jié)果f1、f2、f3進行融合，得到最終的網(wǎng)絡(luò)輸出f。

圖3 LWPE 算法結(jié)構(gòu)Fig.3 Structure of LWPE algorithm

2.1 LWPE 網(wǎng)絡(luò)結(jié)構(gòu)

LWPE 網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示，其中Bi/j表示網(wǎng)絡(luò)的第i個block，該block 內(nèi)的特征圖大小為原圖的j倍降采樣。該網(wǎng)絡(luò)由提取特征的主干網(wǎng)絡(luò)、對預(yù)測結(jié)果不斷優(yōu)化的精煉網(wǎng)絡(luò)和融合多尺度預(yù)測結(jié)果的融合網(wǎng)絡(luò)組成。特征網(wǎng)絡(luò)提取特征后，LWPE 在多尺度上對人體關(guān)鍵點部位進行檢測，在16 倍降采樣的特征圖上對身體關(guān)鍵點的位置進行粗略預(yù)測，得到一個粗略的人體關(guān)鍵點熱力圖。在得到第1 個熱力圖后不斷優(yōu)化關(guān)鍵點位置預(yù)測。為進一步提升關(guān)鍵點預(yù)測精度，LWPE 通過融合網(wǎng)絡(luò)將最后多個尺度的預(yù)測結(jié)果進行整合，得到最終的預(yù)測輸出。LWPE 網(wǎng)絡(luò)參數(shù)設(shè)置如圖5 所示，其中，IR blocks 表示具有線性瓶頸的反向殘差模塊，t表示通道膨脹因子，c表示輸出通道數(shù)，n表示重復(fù)模塊數(shù)，s表示步長，K表示卷積核大??；IR blocks_f 表示1 個卷積核大小為3×3、膨脹因子為3、步長為1 且輸出通道數(shù)與輸入通道數(shù)相同的具有線性瓶頸的反向殘差模塊；Dwise_set 表示3 個7×7 的深度卷積；Deconv，×S表示S倍的反卷積操作；Conv2di×i，j表示使用大小為i×i的卷積核對特征圖進行卷積，輸出的特征圖的通道數(shù)為j；Add 表示對特征圖進行點加操作。

圖4 LWPE 網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Network structure of LWPE

圖5 LWPE 網(wǎng)絡(luò)參數(shù)設(shè)置Fig.5 Network parameters setting of LWPE

2.1.1 精煉網(wǎng)絡(luò)

主流關(guān)鍵點檢測算法一般采用多個級聯(lián)的編解碼流程，如文獻［21］提出的CFA 算法由多個連續(xù)的級聯(lián)沙漏模型組成。CFA 算法在MPII 數(shù)據(jù)集的多級精煉階段的性能指標中，單個階段的沙漏模型僅比4 個階段的沙漏模型的檢測精度低0.69，但卻增加了巨大的計算量，對于移動終端的關(guān)鍵點檢測算法而言，為在多階段預(yù)測的同時提升實時性，需要進一步縮小提取特征的主干網(wǎng)絡(luò)，但是這樣可能會降低特征提取性能及算法精度，因此LWPE 在一個編解碼流程中完成所有精煉過程。

隨著卷積神經(jīng)網(wǎng)絡(luò)的不斷加深，多數(shù)學者采用不斷減少特征圖及增加通道數(shù)的設(shè)計模式。在該模式中，網(wǎng)絡(luò)所提取特征的語義信息不斷增加，與此同時紋理信息卻不斷丟失。LWPE 使用FPN 將高層信息與底層信息相融合，從而獲取不同尺度的特征信息并提高特征表達能力。對于主干網(wǎng)絡(luò)為MobileNetV2_S 的LWPE，需要通過訓(xùn)練學習實現(xiàn)關(guān)鍵點的精準預(yù)測。將輸入圖片用x表示，其中x∈?3，代表圖片的所有像素信息。對于檢測n個關(guān)鍵點的任務(wù)，使用高斯核將圖片中的n個關(guān)鍵點表示為n個二維熱力圖，所有關(guān)鍵點信息用y表示，其中y∈?3，y的每個通道代表一個關(guān)鍵點的熱力圖，因此人體關(guān)鍵點估計即尋找映射函數(shù)f：y=f()。圖6為精煉網(wǎng)絡(luò)結(jié)構(gòu)，其中：IR blocks 表示具有線性瓶頸的反向殘差模塊；Dconv 表示反卷積操作；Convi×i表示大小為i×i的卷積核；Heat Map 表示網(wǎng)絡(luò)預(yù)測的人體關(guān)鍵點熱力圖。

圖6 精煉網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 Structure of refining network

假設(shè)fi，i∈{4，8，16}表示每個預(yù)測尺度上的映射函數(shù)，gi，i∈{4，8，16}表示每個尺度上特征融合的映射函數(shù)，各尺度上的映射關(guān)系如式（7）所示：

其中：ai，i∈{4，8，16，32}表示主干網(wǎng)絡(luò)在i倍降采樣上的特征圖；pi，i∈{4，8，16}表示網(wǎng)絡(luò)上采樣過程中在i倍降采樣上的特征圖。

在整個精煉網(wǎng)絡(luò)檢測流程中，首先使用低分辨率特征圖檢測容易的關(guān)鍵點，然后將得到的關(guān)鍵點信息通過熱力圖的形式輸入到下一個尺度的關(guān)鍵點檢測中，對檢測出的容易關(guān)鍵點進行優(yōu)化并繼續(xù)找出未檢測出的困難關(guān)鍵點，這樣不斷迭代優(yōu)化檢測結(jié)果，最后從最高分辨率的特征圖上可得到最優(yōu)的關(guān)鍵點信息。

2.1.2 融合網(wǎng)絡(luò)

目前，多階段關(guān)鍵點檢測算法多數(shù)是直接將最后一階段的預(yù)測結(jié)果作為最終的預(yù)測輸出，本文借鑒CFA 算法思想，為結(jié)合不同階段的結(jié)果進一步提高關(guān)鍵點的預(yù)測精度，將多階段檢測的關(guān)鍵點熱力圖進行融合，計算公式為：

其中，σN-n，σN-n-1，???，σN表示最后多個階段預(yù)測的關(guān)鍵點熱力圖，在CFA 算法的檢測結(jié)果中，不同階段預(yù)測總體結(jié)果間的差距較小，在某些具體部位的預(yù)測中，低階段的預(yù)測結(jié)果甚至優(yōu)于高階段的預(yù)測結(jié)果，如第二階段的肘部、肩部和膝蓋均是所有階段中最優(yōu)的結(jié)果，而對于其他部位，不同階段間的結(jié)果差異較小，但融合后可有效提高預(yù)測精度。因此，本文在LPEW 中設(shè)計針對多尺度關(guān)鍵點預(yù)測結(jié)果的融合網(wǎng)絡(luò)。

融合網(wǎng)絡(luò)結(jié)構(gòu)如圖7 所示。對于3 個尺度上的預(yù)測輸出yi通過3 個7×7 的深度卷積操作，深度可分離卷積可單獨在熱力圖的每個通道上單獨操作，點加操作可保證不同部位關(guān)節(jié)點預(yù)測結(jié)果的融合。對于每個深度可分離卷積操作的輸出使用非線性激活函數(shù)sigmoid 增加融合函數(shù)的復(fù)雜度，得到最終的預(yù)測輸出Y，如式（9）、式（10）所示：

其中：N表示關(guān)鍵點預(yù)測的尺度總數(shù)，（N?n）～N表示關(guān)鍵點預(yù)測的最后n層；表示第i個預(yù)測尺度對第k個關(guān)鍵點的預(yù)測結(jié)果；zk表示在3 個預(yù)測尺度上第k個關(guān)鍵點的擬合函數(shù)；Yk表示融合網(wǎng)絡(luò)對第k個關(guān)鍵點的預(yù)測結(jié)果。

圖7 融合網(wǎng)絡(luò)結(jié)構(gòu)Fig.7 Structure of fusion network

2.2 LWPE 損失函數(shù)

在訓(xùn)練階段，網(wǎng)絡(luò)通過損失函數(shù)進行反向傳播，學習映射關(guān)系獲得關(guān)鍵點預(yù)測輸出的最優(yōu)解，在多個尺度上LWPE 重復(fù)生成關(guān)鍵點熱力圖yi。融合網(wǎng)絡(luò)將得到的多尺度預(yù)測的熱力圖進行融合得到輸出Y。在每個輸出處定義一個損失函數(shù)，該函數(shù)最小化該處輸出與真實關(guān)鍵點熱力圖之間的L2 距離。Gk∈M表示k個關(guān)鍵點的真實位置，M表示輸入分辨率為w×h的圖片所有位置，以每個關(guān)鍵點位置為中心使用高斯函數(shù)生成一個該關(guān)鍵點的熱力圖bk∈?2。因此，結(jié)合精煉網(wǎng)絡(luò)的損失函數(shù)Lms與融合網(wǎng)絡(luò)的損失函數(shù)Lfuse得到LWPE 的損失函數(shù)L，如式（11）～式（13）所示：

其中，(m)表示在第i個預(yù)測尺度上預(yù)測的第k個通道的熱力圖m位置上的預(yù)測值，Yk(m)表示融合階段預(yù)測的第k個通道的熱力圖m位置上的預(yù)測值，bk(m)為第k個關(guān)鍵點熱力圖m位置上的真實值。

3 實驗與結(jié)果分析

實驗采用Tensorflow 深度學習開發(fā)平臺、i7-5930K CPU、RTX2080 GPU、8 GB 顯存和Ubuntu16.04 操作系統(tǒng)。實驗輸入圖片分辨率為192 像素×192 像素，隨機使用旋轉(zhuǎn)、翻轉(zhuǎn)、縮放、裁剪、亮度調(diào)整、對比度調(diào)整和飽和度調(diào)整等圖片處理策略對輸入的訓(xùn)練圖片進行數(shù)據(jù)增強。在此基礎(chǔ)上，使用Adam 對網(wǎng)絡(luò)模型迭代220 000 次，批次大小為32，初始學習率為0.001，每萬個迭代輪次的學習率衰減為之前的95%。

3.1 數(shù)據(jù)集和評價指標

本文算法面向手機終端實現(xiàn)實時人體關(guān)鍵點檢測，與自然場景拍攝下密集且小的目標特點不同，手機自拍視頻具有一定的目的性與針對性。實驗數(shù)據(jù)集由來自AI Challenger 數(shù)據(jù)集的23 946 張單人圖片組成，其中隨機選取22 446 張圖片作為訓(xùn)練樣本，剩下1 500 張作為測試樣本。標簽使用Json 格式存儲，標簽存儲目標人體的14 個關(guān)節(jié)點信息，其中?1 表示圖片中不存在該關(guān)節(jié)點。實驗使用關(guān)鍵點正確估計的比例（Percentage of Correct Keypoints，PCK）中以頭部長度（head length）作為歸一化參考的PCKh 評價關(guān)鍵點預(yù)測精度。實驗結(jié)果均為PCKh@0.5 結(jié)果，即使用頭部長度的50%作為匹配閾值。每個關(guān)鍵點的預(yù)測位置為預(yù)測的熱力圖上相應(yīng)通道最大響應(yīng)點的位置。

3.2 多尺度預(yù)測及其結(jié)果融合實驗

3.2.1 多尺度預(yù)測實驗

LWPE 算法采用輕量級的主干網(wǎng)絡(luò)進行特征提取，在不同分辨率的特征圖上將多尺度預(yù)測結(jié)果進行不斷精煉最終輸出預(yù)測結(jié)果。本文通過實驗研究網(wǎng)絡(luò)模型的預(yù)測尺度對關(guān)鍵點預(yù)測精度的影響，如表2 所示，可以看出三尺度網(wǎng)絡(luò)模型的關(guān)鍵點預(yù)測精度整體最優(yōu)，四尺度網(wǎng)絡(luò)模型的關(guān)鍵點預(yù)測精度整體最差。由于LWPE 算法特征提取能力不強，四尺度網(wǎng)絡(luò)模型使用32 倍降采樣進行關(guān)鍵點檢測并將預(yù)測結(jié)果加入后續(xù)預(yù)測網(wǎng)絡(luò)中，預(yù)測結(jié)果的特征圖不僅分辨率極低且特征表現(xiàn)能力不夠，導(dǎo)致預(yù)測結(jié)果的誤差極大，其全身PCKh@0.5 僅為53.5%。主要原因為在32 倍降采樣上的損失函數(shù)在數(shù)值較大時就已達到飽和狀態(tài)，使后續(xù)尺度上的訓(xùn)練難度增大，并且由于32 倍降采樣所得的結(jié)果誤差較大，因此會影響后續(xù)網(wǎng)絡(luò)的預(yù)測性能。三尺度網(wǎng)絡(luò)模型的全身PCKh@0.5 從16 倍降采樣上85.9%的預(yù)測精度逐漸提升到4 倍降采樣上的89.3%，可見使用三尺度網(wǎng)絡(luò)模型在不斷對預(yù)測結(jié)果進行精煉的同時可有效提升網(wǎng)絡(luò)的檢測性能。

表2 多尺度網(wǎng)絡(luò)模型的PCKh@0.5 對比Table 2 Comparison of PCKh@0.5 of multi-scale network models %

3.2.2 多尺度預(yù)測結(jié)果融合實驗

對于三尺度預(yù)測的LWPE 算法，其不同尺度的檢測性能相差較小，在某些部位的關(guān)鍵點預(yù)測中，低尺度的預(yù)測結(jié)果甚至優(yōu)于高尺度的檢測結(jié)構(gòu)，如在8 倍降采樣上的肩部、胯部和膝蓋都是所有尺度中最優(yōu)的結(jié)果。將不同尺度上的預(yù)測結(jié)果進行融合可有效提高預(yù)測精度。如表3 所示，多尺度預(yù)測融合后的全身PCKh@0.5 較4 倍降采樣上提高了0.4 個百分點，與表2 中不加融合網(wǎng)絡(luò)的三尺度模型在4 倍降采樣上的預(yù)測結(jié)果相比全身PCKh@0.5 提高了0.5 個百分點。融合網(wǎng)絡(luò)對不同尺度之間的預(yù)測結(jié)果通過函數(shù)擬合，在不同尺度上找出各部位上的最優(yōu)關(guān)鍵點預(yù)測結(jié)果，然后融合得出綜合性能最佳的預(yù)測輸出，有效地提升了網(wǎng)絡(luò)檢測性能。圖8 為LWPE 算法在測試集圖片上的檢測結(jié)果，可見當人體關(guān)鍵點遮擋較少時，可以精準地檢測出所有關(guān)鍵點，但當人體姿態(tài)變形或遮擋嚴重時，部分關(guān)鍵點檢測效果不佳。

表3 多尺度預(yù)測結(jié)果融合的PCKh@0.5 對比Table 3 Comparison of PCKh@0.5 of the fusion of multi-scale prediction results %

圖8 LWPE 算法檢測結(jié)果Fig.8 Detection results of LWPE algorithm

3.3 不同算法性能對比

為驗證LWPE 算法的可行性，將其與CPM 和CPN算法進行比較。CPM 和CPN 算法網(wǎng)絡(luò)模型較大，無法部署在移動終端，而LWPE 算法基于輕量級關(guān)鍵點提取網(wǎng)絡(luò)，因此將CPM 和CPN 算法的主干網(wǎng)絡(luò)換成與LWPE 相同的MobileNetV2_S，并將深度可分離卷積替換標準卷積后進行對比實驗。在數(shù)據(jù)集上3 種算法的PCKh@0.5 對比結(jié)果如表4 所示。在使用相同主干網(wǎng)絡(luò)的條件下，LWPE 算法的參數(shù)量和浮點運算量分別為CPN 算法的64.3%和37.5%，PCKh@0.5 提升了1.5個百分點，單幀運行時間減少了22 ms，LWPE 算法參數(shù)量和浮點運算量分別為CPM 算法的37.1%和15%，但在單幀運行時間是其3.4 倍的情況下PCKh@0.5 僅下降了0.1 個百分點，其中單幀運行時間是網(wǎng)絡(luò)模型在華為榮耀20pro 手機上所測得數(shù)據(jù)。

表4 3 種算法的PCKh@0.5 對比Table 4 PCKh@0.5 comparison of three algorithms

4 結(jié)束語

本文提出一種基于輕量級網(wǎng)絡(luò)的實時關(guān)鍵點檢測算法，使用深度可分離卷積減少模型參數(shù)量并提升模型運行速度，并通過精煉網(wǎng)絡(luò)和融合網(wǎng)絡(luò)不斷優(yōu)化算法檢測性能。實驗結(jié)果表明，在同時使用MobileNetV2_S作為主干網(wǎng)絡(luò)的情況下，LWPE 算法相比傳統(tǒng)CPM 和CPN 算法參數(shù)量和浮點運算量均明顯減少，并具有較高的檢測精度和較好的實時性能。后續(xù)將對該輕量級網(wǎng)絡(luò)模型做進一步優(yōu)化，解決人體姿態(tài)遮擋或變形時的關(guān)鍵點檢測問題，并將其應(yīng)用于移動終端的多人關(guān)鍵點檢測中，提升其適用性與實用性。