亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于級聯(lián)特征網(wǎng)絡(luò)的人體姿態(tài)估計

        2021-02-04 06:53:20
        軟件導(dǎo)刊 2021年1期
        關(guān)鍵詞:關(guān)鍵點特征檢測

        (河北工業(yè)大學(xué)人工智能與數(shù)據(jù)科學(xué)學(xué)院,天津 300401)

        0 引言

        目前,多人姿態(tài)估計已成為人體姿態(tài)估計研究的熱點問題。現(xiàn)有的多人姿態(tài)估計方法分為兩類:自頂向下的方法和自底向上的方法。自頂向下的方法首先從圖像中定位人體位置,然后對每個人體目標使用單人姿態(tài)估計獲得最終姿態(tài)估計結(jié)果;自底向上的方法則首先直接檢測圖像中所有人體關(guān)鍵點,并根據(jù)圖像中的其它關(guān)聯(lián)信息將屬于同一人體目標的關(guān)鍵點組合成一個完整的人體姿態(tài)。

        為了提高關(guān)鍵點檢測精度,本文提出級聯(lián)特征網(wǎng)絡(luò)(Cascaded High-resolution Representation Network,CHRN),該網(wǎng)絡(luò)以HRNet[1]網(wǎng)絡(luò)為基礎(chǔ),通過構(gòu)建主體網(wǎng)絡(luò)與微調(diào)網(wǎng)絡(luò)的結(jié)構(gòu)定位人體關(guān)鍵點。主體網(wǎng)絡(luò)利用多通道、多階段模式提取深度特征,并以多尺度融合方式將多階段深度特征進行融合,獲得圖像中更加全面且綜合的信息;微調(diào)網(wǎng)絡(luò)級聯(lián)整合主體網(wǎng)絡(luò)提取的多階段深度特征,對主體網(wǎng)絡(luò)中識別率較低的人體關(guān)鍵點進行在線挖掘[2]。

        本文主要貢獻為:①提出級聯(lián)特征網(wǎng)絡(luò)的高效網(wǎng)絡(luò)模型,通過級聯(lián)深度特征并結(jié)合在線關(guān)鍵點挖掘提高不易識別關(guān)鍵點的識別率,進而提升關(guān)鍵點整體識別率;②將本文方法與其它經(jīng)典算法進行系統(tǒng)比較,在MPII[3]數(shù)據(jù)集上對人體姿態(tài)估計的直觀效果和識別精度進行評估。實驗結(jié)果證明,本文方法具有一定有效性和先進性。

        1 研究現(xiàn)狀

        隨著深度學(xué)習(xí)方法在計算機視覺領(lǐng)域的廣泛應(yīng)用,卷積神經(jīng)網(wǎng)絡(luò)(CNN Convolutional Neural Network)[4-5]在人體姿態(tài)估計方面得到了良好發(fā)展。最近研究[6-13]主要依賴于卷積神經(jīng)網(wǎng)絡(luò),韓金貴等[4]對此作了比較全面的研究綜述,本文主要關(guān)注基于卷積神經(jīng)網(wǎng)絡(luò)的多人姿態(tài)估計方法。多人姿態(tài)估計方法可分為兩類:自頂向下的方法和自底向上的方法。

        自頂向下的方法[2,14,16]通過將單人姿態(tài)估計與目標檢測相結(jié)合,以解決多人人體姿態(tài)估計問題。Fang 等[14]使用空間轉(zhuǎn)換網(wǎng)絡(luò)(Spatial Transformer Networks,STN)[15]處理不準確的邊界框,然后使用堆疊沙漏網(wǎng)絡(luò)完成關(guān)鍵點檢測;He 等[16]在Mask-RCNN 模型中結(jié)合實例分割和關(guān)鍵點檢測,將關(guān)鍵點附加在RoI 對齊的特征映射上,通過堆疊沙漏網(wǎng)絡(luò)獲得每個關(guān)鍵點的位置;Chen 等[2]在特征金字塔網(wǎng)絡(luò)[17]上開發(fā)GlobalNet 用于多尺度推理,并通過在線關(guān)鍵點挖掘重新預(yù)測。自頂向下的方法將關(guān)鍵點檢測模型的注意力集中到圖像中各人體目標上,這樣減少了圖像中其它冗余信息干擾,獲得了良好表現(xiàn)。

        自底向上的方法首先直接預(yù)測所有關(guān)鍵點,并將它們組合成所有人的完整姿勢。在Ladicky 等[18]提出使用基于HOG[19]的特征和概率方法聯(lián)合預(yù)測人體部分分割和部分位置;Pishchulin 等[20]提出DeepCut 方法,該方法將圖像中的多人人體姿態(tài)估計問題轉(zhuǎn)換為整數(shù)線性編程(Integer Linear Program,ILP)問題;Insafutdinov 等[21]使用更深層次的ResNet[22]改進DeepCut 提出DeeperCut,并采用圖像條件成對匹配獲得更好性能;Cao 等[23]使用CPM(Convolu?tional Pose Machines)將關(guān)鍵點之間的關(guān)系映射到部分親和域(Part Affinity Fields,PAF),并將關(guān)鍵點組合成不同的人體姿態(tài);Kocabas 等[24]提出MultiposeNet 在檢測人體關(guān)鍵點的同時,利用另一個分支檢測人體目標位置,為關(guān)鍵點聚類提供依據(jù)。由于目標不明確,關(guān)鍵點定位空間過大,目前自底向上的方法在精度上仍然低于自頂向下的方法。

        為提高關(guān)鍵點檢測精度,本文提出級聯(lián)特征網(wǎng)絡(luò)(CHRN),將主體網(wǎng)絡(luò)與微調(diào)網(wǎng)絡(luò)相結(jié)合,增加對不易識別關(guān)鍵點的關(guān)注度,從而提高關(guān)鍵點檢測整體精度。

        2 本文方法

        CHRN 使用HRNet 提取圖像特征,并借鑒CPN 模型思想,包含主體和微調(diào)兩個分支子網(wǎng)絡(luò)。

        在CHRN 中,主體網(wǎng)絡(luò)負責(zé)提取圖像特征并檢測容易檢測到的關(guān)鍵點,微調(diào)網(wǎng)絡(luò)使用瓶頸模塊和級聯(lián)整合主體網(wǎng)絡(luò)各階段特征,并通過關(guān)鍵點在線挖掘檢測不易識別的關(guān)鍵點。

        2.1 主體網(wǎng)絡(luò)

        主體網(wǎng)絡(luò)部分以HRNet 網(wǎng)絡(luò)模型為基礎(chǔ),通過該模型結(jié)構(gòu)中不同分辨率的深度特征輸出層構(gòu)建而得。該網(wǎng)絡(luò)共有4 個并行的深度特征提取子網(wǎng)絡(luò),網(wǎng)絡(luò)結(jié)構(gòu)如式(1)所示。

        式(1)中,Nij為HRNet 網(wǎng)絡(luò)的基本處理單元,其中橫向為分支,包括4 個分支,分支數(shù)j=1,2,3,4,縱向為階段,包括4 個階段,階段數(shù)為i=1,2,3,4。

        將4 個并行的深度特征提取子網(wǎng)中第i個階段的輸入記 為C={C1,C2,…,Ci},第i階段的輸出記為,輸出的分辨率和寬度與輸入的分辨率和寬度相同,在同一個階段的不同分支中,交換單元多尺度融合方式如式(2)所示。

        式(2)中,函數(shù)a(Cr,m)表示將Cr從分辨率r上采樣或下采樣到分辨率m,Cm’為C’包含的元素,上采樣使用最鄰近采樣,然后使用1×1 的卷積進行通道對齊,下采樣使用3×3 的卷積,當r=m,如式(3)所示。

        2.2 微調(diào)網(wǎng)絡(luò)

        本文在基于主體網(wǎng)絡(luò)生成的高分辨率特征圖上附加使用OHKM 的微調(diào)網(wǎng)絡(luò)分支,對主體網(wǎng)絡(luò)預(yù)測的關(guān)鍵點進行修正。微調(diào)網(wǎng)絡(luò)將上述構(gòu)建的主體網(wǎng)絡(luò)各階段提取的深度特征:C111、C212、C313、C414以及人體關(guān)鍵點置信度熱圖H作進一步特征提取,具體結(jié)構(gòu)如式(4)所示。

        式(4)中,C111、C212、C313、C414、H經(jīng)過進一步特征提取后分別生成F1、F2、F3、F4、F5,其中F1、F2、F3、F4、F5的寬度和分辨率都相同,C為F1、F2、F3、F4、F5的特征級聯(lián),H*為經(jīng)過人體關(guān)鍵點在線挖掘的人體關(guān)鍵點置信度熱圖。

        3 實驗

        為驗證本文方法的有效性,在公開的MPII 數(shù)據(jù)集上對本文方法進行評估,并與一些優(yōu)秀方法進行對比。

        3.1 數(shù)據(jù)集與實驗設(shè)置

        MPII 數(shù)據(jù)集包含約25 000 張圖像,其中有5 000 張圖像用于測試,其余圖像用于訓(xùn)練。評價指標為:頭部標準化概率(Percentage of Correct Keypoints According to Head Size,PCKh)。

        3.2 級聯(lián)深度特征網(wǎng)絡(luò)實驗

        為驗證級聯(lián)特征網(wǎng)絡(luò)關(guān)鍵點定位有效性,將該網(wǎng)絡(luò)應(yīng)用于單人姿態(tài)估計,表1 展示了本文方法在MPII 測試集上進行單人姿態(tài)估計PCKh@0.5 獲得的定量性能。實驗表明,HRNet+RefineNet 模型結(jié)構(gòu)加入微調(diào)網(wǎng)絡(luò)后,對于肩部、髖關(guān)節(jié)、膝關(guān)節(jié)和踝關(guān)節(jié)的平均精度比HRNet 均有所提升。加入OHKM 后的結(jié)果表明,本文提出的CHRN 人體姿態(tài)估計使HRNet 的平均精度由92.3% 提高至92.7%。

        3.3 人體姿態(tài)估計實驗效果

        為了證明級度特征網(wǎng)絡(luò)對多人姿態(tài)估計的有效性,在MPII 數(shù)據(jù)集中進行多人姿態(tài)估計對比實驗驗證。其中,對比方法相關(guān)數(shù)據(jù)來源于MPII 數(shù)據(jù)庫排行榜。實驗結(jié)果如表2 所示。

        Table 1 Performance comparison of MPII test sets(PCKh@0.5)(single-person pose estimation)表1 MPII 測試集性能比較(PCKh@0.5)(單人姿態(tài)估計)

        Table 2 Performance comparison of MPII test sets(PCKh@0.5)(multi-person pose estimation)表2 MPII 測試集性能比較(PCKh@0.5)(多人姿態(tài)估計)

        表2 展示了本文方法在MPII 測試集上進行多人姿態(tài)估計的定量性能。表2 中的對比算法為MPII 數(shù)據(jù)集排行榜前3 名的識別精度。其中,“CHRN”表明,級聯(lián)深度特征網(wǎng)絡(luò)模型使用自頂向下方法得到平均精度為80.4%,高于其它算法。同時,CHRN 模型對于踝關(guān)節(jié)、膝關(guān)節(jié)和髖關(guān)節(jié)等較難識別關(guān)鍵點的識別精度有所提升,證明CHRN 對于較難識別的關(guān)鍵點有更強的定位能力。

        4 結(jié)語

        本文提出的級聯(lián)特征網(wǎng)絡(luò)通過提升不易識別關(guān)鍵點的識別精度以提高人體姿態(tài)估計準確率。研究表明,在人體姿態(tài)估計中由于關(guān)鍵點本身特性不同,關(guān)鍵點在模型訓(xùn)練過程中應(yīng)區(qū)別對待,即為不易識別的關(guān)鍵點分配更多計算資源。下一步工作主要是對關(guān)鍵點進行分類細化,具體到各類關(guān)鍵點應(yīng)分配多少計算資源可達到最優(yōu)結(jié)果。

        猜你喜歡
        關(guān)鍵點特征檢測
        聚焦金屬關(guān)鍵點
        肉兔育肥抓好七個關(guān)鍵點
        “不等式”檢測題
        “一元一次不等式”檢測題
        “一元一次不等式組”檢測題
        如何表達“特征”
        不忠誠的四個特征
        當代陜西(2019年10期)2019-06-03 10:12:04
        抓住特征巧觀察
        小波變換在PCB缺陷檢測中的應(yīng)用
        醫(yī)聯(lián)體要把握三個關(guān)鍵點
        国产人妻熟女高跟丝袜| 亚洲VA欧美VA国产VA综合| 一区二区三区不卡免费av| 日韩精品免费视频久久| 无套内内射视频网站| 午夜福利92国语| 无码Av在线一区二区三区| 国产毛片精品一区二区色| 国产毛片av最新视频| 亚洲成人色区| 久久无码一一区| 男的和女的打扑克的视频| 国产精品亚洲第一区二区三区| 久久精品麻豆日日躁夜夜躁| 久久99精品免费一区二区| 精品人妻一区二区三区av| 色中文字幕在线观看视频| 国产青草视频在线观看| 欧美日韩区1区2区3区| 国产情侣自拍偷拍精品| 一边做一边说国语对白| 亚洲av纯肉无码精品动漫| 亚洲国产欧美久久香综合| 亚洲午夜经典一区二区日韩| 久久99国产精品久久99果冻传媒| 国产第19页精品| 国产精品日韩中文字幕| 国产乱精品女同自线免费| 又黄又硬又湿又刺激视频免费| 无遮挡网站| 日韩一区二区中文字幕视频| 四虎影在永久在线观看| 色视频www在线播放国产人成| 亚洲AⅤ樱花无码| 放荡成熟人妻中文字幕| 亚洲中文字幕无码一久久区| 久久亚洲国产中v天仙www| 亚洲一区二区三区1区2区| 蜜臀av在线观看| 小12萝8禁在线喷水观看| 亚洲国产精品第一区二区三区|