摘 要： "為了解決類別級三維可形變目標姿態(tài)估計問題，基于目標的關(guān)鍵點，提出了一種面向類別的三維可形變目標姿態(tài)估計方法。該方法設(shè)計了一種基于關(guān)鍵點的端到端深度學(xué)習(xí)框架，框架以PointNet++為后端網(wǎng)絡(luò)，通過特征提取、部位分割、關(guān)鍵點提取和基于關(guān)鍵點的姿態(tài)估計部分實現(xiàn)可形變目標的姿態(tài)估計，具有計算精度高、魯棒性強等優(yōu)勢。同時，基于ANCSH方法設(shè)計了適用于K-AOPE網(wǎng)絡(luò)的關(guān)鍵點標準化分層表示方法，該方法僅需提取目標少量的關(guān)鍵點即可表示類別物體。為了驗證方法的有效性，在公共數(shù)據(jù)集shape2motion上進行測試。實驗結(jié)果顯示，提出的姿態(tài)估計方法（以眼鏡類別為例）在旋轉(zhuǎn)角上的誤差分別為2.3°、3.1°、3.7°，平移誤差分別為0.034、0.030、0.046，連接狀態(tài)誤差為2.4°、2.5°，連接參數(shù)誤差為1.2°、0.9°，0.008、0.010。與ANCSH方法相比，所提方法具有較高的準確性和魯棒性。

關(guān)鍵詞： "關(guān)鍵點； 類別姿態(tài)估計； 可形變目標； 分層標準空間

中圖分類號： "TP391 """文獻標志碼： A

文章編號： "1001-3695（2022）02-046-0587-06

doi：10.19734/j.issn.1001-3695.2021.06.0260

Category-oriented 3D articulated objects pose estimation based on key points

Zeng Yifang， Qian Weizhong， Wang Xupeng， Yang Xi

（College of Information amp; Software Engineering， University of Electronic Science amp; Technology of China， Chengdu 610051， China）

Abstract： "To solve the problem of category-oriented 3D articulated objects pose estimation，this paper proposed a

category-oriented 3D object pose estimation method based on key points .It designed a network based on key points，which used PointNet+ + as base network and estimated the pose of the object through feature extraction，key points extraction，and pose prediction with high accuracy and robust.At the same time，based on ANCSH，it proposed a hierarchical standardized category representation "method of key points for K-AOPE，which only required a few points to describe the object category.To evaluate the method， it did some experiments on the public motion dataset shape2motion.The results show that the rotation angle errors of the proposed method are 2.3°，3.1°，3.7°，the translation errors are 0.034，0.030，0.046，the joint state error are 2.4°，2.5°，and the joint parameter error are 1.2°，0.9°，0.008，0.010.Compared with other similar methods，the proposed method has lower computational complexity and higher robust.

Key words： "key points； category-oriented pose estimation； articulated objects； standard hierarchical coordinate space

0 引言

三維目標的姿態(tài)估計能夠獲得物體在三維空間中精確的姿態(tài)，是支撐后續(xù)對物體進行的精細操作和動作識別的基礎(chǔ)，在機器人的抓握與操控、自動駕駛、增強現(xiàn)實等領(lǐng)域都有著重要的應(yīng)用。隨著技術(shù)的成熟，機器人、自動駕駛汽車等已經(jīng)能夠在空間中進行很好的定位，但如果想要和環(huán)境中的物體目標進行交互，目標的姿態(tài)估計是必需的技術(shù)。

根據(jù)目標是否為不可再分的剛體，可以將姿態(tài)估計分為剛性目標姿態(tài)估計和可形變目標姿態(tài)估計兩大類。剛性目標姿態(tài)估計指的是通過模型計算出目標在六個自由度上的姿態(tài)，包括三個自由度的平移和三個自由度的旋轉(zhuǎn)?，F(xiàn)在已有一些較為成熟的6D姿態(tài)估計的方法，如PoseCNN［1］、DenseFusion［2］、PVN3D［3］和NOCS［4］等。而可形變目標的姿態(tài)估計與剛性目標姿態(tài)估計相比具有更高的挑戰(zhàn)，其估計的參數(shù)空間更大，這使得剛性目標姿態(tài)估計方法并不能直接應(yīng)用于可形變物體。可形變目標姿態(tài)估計問題通?？醋鰟傂阅繕俗藨B(tài)估計的延伸，將可形變目標視為剛性部件通過關(guān)節(jié)部位連接而成。因此，對可形變目標進行部位分割，在剛體部位姿態(tài)估計的基礎(chǔ)上，繼續(xù)對目標關(guān)節(jié)的連接狀態(tài)和連接參數(shù)進行估計，以實現(xiàn)對可形變目標的估計。目前，有一些專門針對可形變目標設(shè)計的姿態(tài)估計算法［5，6］被提出，但需要目標精確的實時CAD模型輔助，使得這種算法的應(yīng)用范圍只能被限制為特定的目標實例，同時算法的計算復(fù)雜度比較高。若要處理類別級目標，由于沒有精確的實時CAD模型可用，需要對類別目標進行抽象表示。這種抽象的表示方式能夠適應(yīng)目標類別較大的幾何尺寸變化，連接軸位置、方向變化等，并且能夠?qū)ν活悇e的目標進行標準化的類間表示。

目標的關(guān)鍵點指的是蘊涵目標豐富幾何信息的點，能夠以有限的關(guān)鍵點來描述目標的幾何特征。在使用點云作為算法輸入時，只有少部分關(guān)鍵的點能夠幫助網(wǎng)絡(luò)的學(xué)習(xí)，其他的點對網(wǎng)絡(luò)學(xué)習(xí)的助益不大，甚至有些點是網(wǎng)絡(luò)學(xué)習(xí)中的噪點。因此，基于關(guān)鍵點的方法不僅能夠使網(wǎng)絡(luò)的計算復(fù)雜度大幅下降，甚至能夠使網(wǎng)絡(luò)免受噪點的影響，從而具有更好的魯棒性和精確度。基于關(guān)鍵點的方法在姿態(tài)估計領(lǐng)域已經(jīng)取得了一定的研究成果，如在三維剛性目標姿態(tài)估計中基于關(guān)鍵點的方法PVN3D取得了更好的性能。本文主要采用基于關(guān)鍵點的思想，將其從剛性目標姿態(tài)估計擴展到可形變目標姿態(tài)估計問題，充分利用可形變目標的幾何約束信息，提高可形變目標姿態(tài)估計算法的準確性和穩(wěn)定性。同時采用基于關(guān)鍵點的標準分層坐標空間解決面向類別的姿態(tài)估計問題。

具體而言，本文的貢獻如下：

a）提出了一種面向類別的三維可形變目標姿態(tài)估計方法，與ANCSH［7］不同的是，該方法預(yù)測基于關(guān)鍵點，并且通過設(shè)計端到端的深度學(xué)習(xí)網(wǎng)絡(luò)K-AOPE實現(xiàn)了精確的可形變目標姿態(tài)估計，能夠有效地處理類內(nèi)目標變化，實現(xiàn)面向類別的姿態(tài)估計。

b）在ANCSH基礎(chǔ)上 設(shè)計了一種適用于關(guān)鍵點的標準化分層表示方法K-ANCSH，通過三維可形變目標每個剛性部位和目標整體的少量幾何信息豐富的點標準歸一地表示在葉級標準坐標空間和根級標準坐標空間，形成分層的類別目標表示方法。此方法充分利用了關(guān)鍵點所蘊涵的幾何信息，能夠以最少的點來完整表達目標類別的結(jié)構(gòu)，實現(xiàn)類別級目標的抽象表示。

c）基于PointNet++設(shè)計了一種面向類別的三維可形變目標姿態(tài)估計的深度學(xué)習(xí)網(wǎng)絡(luò)K-AOPE，該網(wǎng)絡(luò)通過學(xué)習(xí)目標的關(guān)鍵點，并通過關(guān)鍵點預(yù)測每個剛性部位的姿態(tài)、連接部位的參數(shù)和狀態(tài)。同時通過關(guān)鍵點預(yù)測整體目標的姿態(tài)，從而協(xié)同優(yōu)化剛性部位姿態(tài)預(yù)測和連接參數(shù)預(yù)測的結(jié)果，防止網(wǎng)絡(luò)預(yù)測過程中出現(xiàn)物理上不可能的結(jié)果。這樣的網(wǎng)絡(luò)不僅簡單穩(wěn)定，具有更快的速度和更高的魯棒性，而且能夠?qū)崿F(xiàn)部位姿態(tài)、目標整體姿態(tài)與連接參數(shù)預(yù)測的協(xié)同優(yōu)化，提高姿態(tài)估計的準確性。

d）本文姿態(tài)估計方法在公共數(shù)據(jù)集shape2motion上的實驗結(jié)果顯示，在旋轉(zhuǎn)角、平移、連接狀態(tài)以及連接參數(shù)等各項評價指標均優(yōu)于現(xiàn)有方法。

1 相關(guān)研究進展

1.1 面向類別的目標表示

類別級目標的姿態(tài)估計任務(wù)，首先需要解決問題就是目標的類別級表示。在類別級姿態(tài)估計任務(wù)中，目標沒有精確的CAD模型，也沒有可以連續(xù)操控類別級目標的方法。因此，之前姿態(tài)研究方法中對于目標的表示方式就不再適用。文獻［4］提出了一種剛性目標的類別表示方式，即標準目標坐標空間（normalized object coordinate space， NOCS），通過定義一個三維單位立方體的標準空間，將給定類別的目標在標準空間中標準化。但是，NOCS僅針對剛性目標的6D姿態(tài)估計和尺度變換估計，并且對于每個部位的姿態(tài)和關(guān)節(jié)的連接關(guān)系沒有單獨表示。于是在NOCS的基礎(chǔ)上，文獻［7］提出了面向類別的可形變目標表示方式，即面向類別的標準分層坐標空間（articulation-aware normalized coordinate space hierarchy，ANCSH）。該方法通過將可形變目標分成不同的剛性部位，將剛性部位采用標準部位坐標空間（normalized part coordinate space，NPCS）表示，其表示方式類似于NOCS；同時將目標整體定義為一個初始狀態(tài)后采用標準可形變目標坐標空間（normalized articulated object coordinate space，NAOCS）表示。

1.2 可形變目標姿態(tài)估計

在目前的研究中，對于可形變目標的姿態(tài)估計主要集中在面向?qū)嵗念I(lǐng)域。其主要處理方式是通過可形變目標的精確CAD模型，從CAD模型中得到目標的實例級信息。例如，文獻［5］使用隨機森林對深度圖像中每個點的姿勢參數(shù)進行投票。文獻［6］將可形變物體的姿態(tài)估計問題表示為馬爾可夫隨機場來解決。這些方法都受到了需要目標精確模型的限制，而難以擴展到類別級目標姿態(tài)估計問題上。

此外，還有一些可形變目標姿態(tài)估計的方法通過對目標進行操控和交互，然后對目標進行姿態(tài)估計［8～11］。這些方法可以對未知的目標進行姿態(tài)估計，但是需要花費大量的時間對目標進行操控和交互，并且只能應(yīng)用于簡單的可形變目標。例如，文獻［12，13］通過概率推斷來跟蹤可形變目標，這種方法需要定義規(guī)范的幾何結(jié)構(gòu)；文獻［14］結(jié)合自然運動語言信息和計算機視覺對可形變目標進行姿態(tài)估計，但是這種方法需要自然的運動語言描述作為附加模式。

1.3 特殊可形變目標姿態(tài)估計

由于應(yīng)用的廣泛性，手部和人體這兩類特殊可形變目標受到了研究者的很大關(guān)注。對于手部姿態(tài)估計，目前的手部姿態(tài)估計方法主要分為生成方法、判別方法和混合方法。生成方法主要通過使用優(yōu)化算法，如粒子群優(yōu)化（PSO）或者迭代最近點優(yōu)化（ICP）將預(yù)定義的手部姿態(tài)模型擬合到給定圖像中［15，16］。判別方法通過學(xué)習(xí)從輸入數(shù)據(jù)到手部關(guān)鍵點參數(shù)（如坐標或關(guān)節(jié)角度等）的映射關(guān)系來進行手部姿態(tài)估計［17～20］。例如，文獻［17］根據(jù)已經(jīng)提出的區(qū)域集成網(wǎng)絡(luò)（REN）迭代出適用于手部的精細網(wǎng)絡(luò)；文獻［18］將輸入的手部點云定義在規(guī)定的邊框坐標系中，并運用PointNet+ +［21］網(wǎng)絡(luò)對其進行處理?；旌戏椒ㄍǔＪ褂蒙煞椒ㄖ械膬?yōu)化模型來優(yōu)化判別方法的估計結(jié)果［22］。對于人體姿態(tài)估計主要有自下而上和自上而下兩種研究方法。自下而上的方法主要通過預(yù)測不同的關(guān)節(jié)點熱圖，然后再輸入圖像中檢測人體關(guān)節(jié)，并分組為人體實例［23～25］。例如，OpenPose［23］建立了一個包含兩個分支的模型以預(yù)測關(guān)節(jié)點；MultiPoseNet［25］同時實現(xiàn)了人體的檢測和姿態(tài)估計，并提出了PRN對每個人體邊界框中的關(guān)節(jié)點進行分組。自下而上的方法通過先檢測人體邊界框并預(yù)測邊界框中的關(guān)節(jié)點位置來實現(xiàn)人體姿態(tài)估計［26～28］。CPN［27］和MSPN［28］是應(yīng)對關(guān)節(jié)點挑戰(zhàn)的主要方法，其主要采用級聯(lián)網(wǎng)絡(luò)來改進關(guān)節(jié)點的預(yù)測。除此之外，頭部姿態(tài)估計也是一種特殊的可形變目標姿態(tài)估計［29］。這些特殊可形變目標的姿態(tài)估計方法僅適用于特殊的目標，其很難擴展到其他可形變目標上；同時這些方法僅適用于旋轉(zhuǎn)關(guān)節(jié)，對于平移關(guān)節(jié)（如抽屜）則無法適用。

2 基于關(guān)鍵點的可形變目標姿態(tài)估計

2.1 問題描述

給定一個由深度圖生成的可形變目標3D點集 P={p i，i=1，…，N} ，其中 p i∈"Euclid Math TwoRAp

3，N表示點集P中點的數(shù)量。P k={p ki，i=1，2，…，N′} 表示目標的關(guān)鍵點，其中 N′ 表示目標關(guān)鍵點的數(shù)量。假設(shè)可形變物體由 K 個剛體部位和 M 個連接關(guān)節(jié)組成，則對于一個可形變物體，剛體部位可表示為 {G（k）|k=1，2，…，K} ，連接關(guān)節(jié)可表示為 {J（m）|m=1，2，…，M} ，本文只研究旋轉(zhuǎn)關(guān)節(jié)和平移關(guān)節(jié)。姿態(tài)是一組相對變化的量，為了表示一類目標的姿態(tài)變化， 需定義該類目標的某個狀態(tài)為初始姿態(tài) Θ 0，且Θ 0={φ 10，φ 20，…，φ M0} 。

三維可形變目標的姿態(tài)估計即將原始點云分割為剛體部位 G（k） 并通過關(guān)鍵點求各個剛體部件的姿態(tài)和連接參數(shù)。參考ANCSH［7］對可形變目標姿態(tài)估計參數(shù)的定義，可形變目標姿態(tài)估計參數(shù)包括剛體部位姿態(tài)估計參數(shù)和連接部位參數(shù)。其中，每個剛體部件的姿態(tài)包括旋轉(zhuǎn)矩陣 R （k）、平移矩陣 T （k）和尺度變換矩陣 S （k） 。連接參數(shù)包括每個關(guān)節(jié) J（m） 的參數(shù) τ（m） 和狀態(tài) θ（m） 。對于旋轉(zhuǎn)關(guān)節(jié)，關(guān)節(jié)參數(shù)包括旋轉(zhuǎn)軸的方向 u（m） r 和軸點的位置 q（m） r ，關(guān)節(jié)狀態(tài)定義為相對于初始狀態(tài) φ m0 關(guān)節(jié)旋轉(zhuǎn)的角度。對于平移關(guān)節(jié)，關(guān)節(jié)參數(shù)包括平移軸的方向 u（m） t ，關(guān)節(jié)狀態(tài)定義為相對于初始狀態(tài) φ m0 關(guān)節(jié)平移的距離。

2.2 基于關(guān)鍵點的標準分層坐標空間K-ANCSH

面向類別的三維姿態(tài)估計問題的難點之一就在于類別的抽象表示。在進行姿態(tài)估計任務(wù)之前，需要找到一種能夠表示面向類別的可形變目標的幾何特征方法，以處理類別級姿態(tài)估計任務(wù)。NOCS［4］在標準化過程中使目標方向保持一致、均以原點為中心、大小以立方體框為邊界，目標姿態(tài)通過NOCS到相機空間的相似度轉(zhuǎn)換得到的方法表示類別級的剛性目標。ANCSH通過將可形變目標表示分層的方式，在NPCS層中按照類似于NOCS的標準化方式對目標剛性部位進行標準化，在NAOCS層中對整個目標進行標準化，即對整個目標的方向、尺寸、位置進行標準化處理的方法表示類別級可形變目標。本文提出的基于關(guān)鍵點的標準分層坐標空間參照ANCSH中分層的思想將可形變目標分層表示（圖1）。但為了充分利用關(guān)鍵點所包含的幾何信息，以最少的點來完整表達目標的結(jié)構(gòu)，在后續(xù)的計算過程中降低網(wǎng)絡(luò)計算的復(fù)雜度，本文方法在ANCSH的基礎(chǔ)上采用基于關(guān)鍵點的標準分層坐標空間表示方法，將可形變目標的表示分為基于關(guān)鍵點的根級表示和基于關(guān)鍵點的葉級表示。

為了構(gòu)造基于關(guān)鍵點標準分層坐標空間，需要定義目標的一組初始標準狀態(tài)，對于每個關(guān)節(jié) J（m） ，手動設(shè)置其初始狀態(tài)為 φ m0 。

在葉級標準空間表示中，通過將處于初始狀態(tài)的目標分為 K 個剛性部件，并且分別對每個剛性部件在保持方向不變的情況下進行尺寸縮放和中心位置置零。

如圖2所示，在根級標準空間表示中，將目標的關(guān)節(jié)置于初始狀態(tài)，對其方向、尺寸進行標準化，并將其中心坐標置零。葉級標準空間表示中可形變目標的每個部位的方向、中心位置與根級標準空間表示一致，根級標準空間表示可由葉級標準空間表示中的部件經(jīng)過平移和尺度變換得到。

為了得到目標的關(guān)鍵點，一些三維目標檢測算法采用三維目標包圍盒的八個頂點作為目標的關(guān)鍵點［30～32］，由于三維目標包圍盒的頂點是虛擬的點，并不在目標的表面上，這會使得網(wǎng)絡(luò)難以學(xué)習(xí)。因此采取目標表面的點作為關(guān)鍵點是一種更好的關(guān)鍵點提取方法。本文參考文獻［33］的工作采用最遠點采樣的方法在目標表面進行關(guān)鍵點提取，這樣提取的關(guān)鍵點能夠均勻地分布在目標的表面，解決了以虛擬點作為關(guān)鍵點所帶來的網(wǎng)絡(luò)難以學(xué)習(xí)的問題。

具體而言，為了得到關(guān)鍵點的標準分層坐標空間表示，隨機選取一個相機空間中目標上的點作為第一個關(guān)鍵點，然后通過尋找與現(xiàn)有關(guān)鍵點集最遠的點作為下一個關(guān)鍵點，以此類推，直到選取足夠的關(guān)鍵點。同時，要得到基于關(guān)鍵點的標準分層坐標空間中的點 P* k （以“*”區(qū)分基于關(guān)鍵點的標準分層坐標空間中的參數(shù)和相機空間中的參數(shù)），需要將空間進行分層標準化處理，即將相機空間中的關(guān)鍵點集 P k 進行標準變換，假設(shè)原始點集 P=（P x，P y，P z） ，則有

norm factor=［（ max "P x- min "P x）2+（ max "P y- "min "P y）2+（ max "P z- min "P z）2］ 1 2 """（1）

center p= "extre "p- base "p 2norm factor """（2）

P* k=（P k-base p）×norm factor+0.5-center p ""（3）

其中： base "p=［ min "P x， min "P y， min "P z］表示由原始點集P中最小的x、y、z 組成的向量； extre "p=［ max "P x， max "P y， max "P z］表示由原始點集P中最大的x、y、z 組成的向量。

通過式（1）～（3）生成的標準分層坐標空間中的關(guān)鍵點 P* k ，即為部位姿態(tài)預(yù)測中的模板點。通過 P k與P* k 之間的對應(yīng)關(guān)系，即可計算出每個部位的姿態(tài)。

2.3 整體結(jié)構(gòu)說明

如圖3所示，姿態(tài)估計網(wǎng)絡(luò)K-AOPE的整體結(jié)構(gòu)由特征提取、關(guān)鍵點檢測、連接參數(shù)預(yù)測和姿態(tài)估計部分組成。特征提取部分對目標關(guān)鍵點的整體特征進行提取。關(guān)鍵點檢測部分由 Ω seg 預(yù)測部位分割、 Ω N 預(yù)測關(guān)鍵點葉級空間坐標K-NPCS和 {Ω N，Ω T，Ω S} 預(yù)測關(guān)鍵點根級空間坐標K-NAOCS組成。每個預(yù)測子網(wǎng)絡(luò)都是由共享參數(shù)的多層感知機組成。

由于根級標準空間中關(guān)鍵點的坐標可由葉級標準空間中關(guān)鍵點的坐標通過平移和尺度變換得到，為了保證兩次預(yù)測都是目標相同的關(guān)鍵點，故采用 Ω T 預(yù)測關(guān)鍵點的平移、 Ω S 預(yù)測關(guān)鍵點的尺度變換以及 Ω N 預(yù)測的K-NPCS計算得到根級標準空間中關(guān)鍵點的坐標K-NAOCS。

同時，由于可形變目標姿態(tài)估計中的關(guān)鍵點提取的維度更高，相對于ANCSH方法中直接預(yù)測點到關(guān)節(jié)點偏移的方法，將直接預(yù)測偏移細化為分別預(yù)測位置偏移和方向偏移具有更高的準確性。故網(wǎng)絡(luò)分別預(yù)測每個點到關(guān)鍵點的位置偏移 Ω H 和到軸方向的方向偏移 Ω U ，將對整個偏移的預(yù)測細化為位置偏移和方向偏移分別進行預(yù)測，提高預(yù)測的準確性。

姿態(tài)預(yù)測部分由6D姿態(tài)預(yù)測、連接參數(shù)預(yù)測和協(xié)同優(yōu)化組成。通過預(yù)測的各參數(shù)值，類似于ANCSH［7］和NOCS［4］分別使用基于能量函數(shù)的隨機抽樣一致性算法（RANSAC）［34］和Umeyama算法［35］計算目標的各部位6D姿態(tài)和目標的整體姿態(tài)。同時，使用最小二乘法計算目標的連接參數(shù)。

2.4 姿態(tài)估計網(wǎng)絡(luò)

如圖3所示，姿態(tài)估計網(wǎng)絡(luò)以深度圖轉(zhuǎn)換的點云作為輸入，其維度為 B×N×C 。其中， B 為batch的大小， "C 為點云的通道數(shù)， N 為點云的點數(shù)。本文只采用點云的三維空間坐標作為輸入，所以 C=3 。姿態(tài)估計網(wǎng)絡(luò)由特征提取、可形變目標關(guān)鍵點檢測、連接參數(shù)預(yù)測和姿態(tài)預(yù)測部分組成。

2.4.1 特征提取

特征提取主要實現(xiàn)對輸入的點云進行特征提取，其通過PointNet+ +網(wǎng)絡(luò)分別對輸入點云提取1 024維特征。為了防止出現(xiàn)過擬合現(xiàn)象，在特征提取部分加入了dropout操作。后續(xù)所有的子網(wǎng)絡(luò)共享相同的PointNet+ +后端網(wǎng)絡(luò)，僅在最后的全連接層中拆分。

2.4.2 可形變目標關(guān)鍵點檢測部分

可形變目標關(guān)鍵點檢測部分輸出的是預(yù)測關(guān)鍵點葉級標準坐標K-NPCS和預(yù)測的關(guān)鍵點根級標準坐標K-NAOCS，其主要由葉級標準坐標預(yù)測 Ω N 、部位分割預(yù)測 Ω seg 、關(guān)鍵點的平移預(yù)測 Ω T 和關(guān)鍵點的尺度變換預(yù)測 Ω S 四個部分組成。關(guān)鍵點葉級標準坐標K-NPCS預(yù)測的是每個部位在標準空間中的坐標， 通過預(yù)測每個點屬于對應(yīng)部位的概率對可形變目標進行部位分割，然后將部位分割信息和每個點在標準級空間中與關(guān)鍵點的偏移信息結(jié)合，得到每個剛性部位中關(guān)鍵點的坐標。這樣的網(wǎng)絡(luò)設(shè)計將每個剛性部件的幾何信息送入網(wǎng)絡(luò)中進行學(xué)習(xí)，從而能夠使網(wǎng)絡(luò)針對可形變目標的剛性部件進行特定的預(yù)測。

關(guān)鍵點根級標準坐標K-NAOCS預(yù)測的是從葉級標準空間表示到根級標準空間表示的變換量 Trans ，并通過預(yù)測的變換量 Trans 計算每個關(guān)鍵點在根級標準空間表示中的坐標。因為從葉級標準空間表示變換到根級標準空間表示，只需要將目標的剛性部位進行平移和尺度變換。假設(shè)剛性部位姿態(tài)預(yù)測部分中目標剛性部位的關(guān)鍵點在葉級標準空間中的坐標為 leaf* i ，目標在根級標準空間中的坐標為 root* i ，預(yù)測的平移和尺度變換為 t* i 、 s* i ，則 root* i=leaf* i·t* i+s* i 。

在可形變目標關(guān)鍵點檢測中，葉級標準坐標預(yù)測 Ω N 輸出的是每個點相對于關(guān)鍵點在每個葉級標準空間中的坐標偏移量，其維度為 B×N×3N′ ；部位分割預(yù)測 Ω seg 輸出的是每個點屬于對應(yīng)剛性部位的概率，其維度為 B×N×3 ；關(guān)鍵點的平移預(yù)測 Ω T 和關(guān)鍵點的尺度變換預(yù)測 Ω S 輸出的是每個點相對于關(guān)鍵點在根級標準空間中坐標的平移和尺度變換量，其維度均為 B×N×3N′ 。對于部位分割預(yù)測 Ω seg ，采用松弛IoU函數(shù)［36］計算分類損失。對于葉級標準坐標預(yù)測 Ω N ，可以看做是一個多元回歸問題，采用均方誤差作為損失函數(shù)，則關(guān)鍵點葉級標準坐標K-NPCS預(yù)測的損失函數(shù) L 1 為

L 1=L seg+ 1 N′ ∑ N i=1 ∑ N′ j=1 （off ⌒ "j* i-off ⌒ "j* i）2 ""（4）

其中： off ⌒ "j* i "表示預(yù)測的葉級標準空間中第 i 個點與第 j 個關(guān)鍵點的偏移。對于關(guān)鍵點平移變換 Ω T 和尺度變換 Ω S 的訓(xùn)練，本文采用均方誤差作為損失函數(shù)，即連接參數(shù)預(yù)測的損失函數(shù) L 2 為

L 2= 1 N′ ∑ N′ i=1 （t* ki-t ⌒ * ki）2+ 1 N′ ∑ N′ i=1 （s* ki-s ⌒ * ki）2 ""（5）

其中： t* ki 表示第 i 個關(guān)鍵點由葉級標準空間變換到根級標準空間所進行的平移變換； t ⌒ * ki 表示第 i 個關(guān)鍵點由葉級標準空間變換到根級標準空間所進行的平移變換的預(yù)測值； s* ki 表示第 i 個關(guān)鍵點由葉級標準空間變換到根級標準空間所進行的尺度變換； s ⌒ * ki 表示第 i 個關(guān)鍵點由葉級標準空間變換到根級標準空間所進行的平移變換的預(yù)測值。

2.4.3 連接參數(shù)預(yù)測部分

連接參數(shù)預(yù)測部分主要預(yù)測旋轉(zhuǎn)關(guān)節(jié)和平移關(guān)節(jié)在根級標準空間表示中的參數(shù)，其中旋轉(zhuǎn)關(guān)節(jié)的參數(shù)包括旋轉(zhuǎn)軸的方向 u（m）* r 和軸點的位置q（m）* r，平移關(guān)節(jié)參數(shù)包括平移軸的方向u（m）* t 。為了準確預(yù)測關(guān)節(jié)參數(shù)，本節(jié)在ANCSH方法的基礎(chǔ)上采用將偏移細化為位置偏移和方向偏移的方法。首先將每個關(guān)節(jié)與附近距離為 α 的點相關(guān)聯(lián)，計算每個附近點與關(guān)節(jié)的位置偏移量和方向偏移量。ANCSH中采取直接計算偏移的方法，為了得到更加準確的連接參數(shù)預(yù)測結(jié)果，本文將每個附近點與關(guān)節(jié)的偏移細化為每個附近點與軸的方向偏移和附近點與關(guān)節(jié)點的位置偏移。定義 U 為在標準坐標空間中每個附近點 p* i與關(guān)節(jié)點q（m）* r的方向偏差，定義H為在根級標準坐標空間中每個附近點p* i與關(guān)節(jié)點q（m） r* 的距離偏差，即有

U（p* i，q（m）* r）= q（m）* r-p* i ‖q（m）* r-p* i‖ "p* i∈P* ""（6）

H（p* i，q（m）* r）=‖q（m）* r-p* i‖ p* i∈P* ""（7）

每個點與關(guān)節(jié)點的距離偏差和方向偏差反映了每個區(qū)域內(nèi)的點與關(guān)節(jié)點的接近程度與方向位置。通過網(wǎng)絡(luò)分別預(yù)測每個范圍內(nèi)的點與關(guān)節(jié)點的距離偏差和方向偏差可以計算出關(guān)節(jié)點的位置。所以連接參數(shù)預(yù)測部分包括位置偏移 Ω H 和方向偏移預(yù)測 Ω U ，位置偏移和方向偏移預(yù)測是每個附近點到關(guān)節(jié)點的距離和方向偏移，其維度均為 B×N×3M 。連接參數(shù)預(yù)測層分別通過全連接層，預(yù)測關(guān)節(jié)所在軸的位置以及關(guān)節(jié)周圍點與關(guān)節(jié)點的位置偏移和方向偏移，由此預(yù)測出關(guān)節(jié)參數(shù)。

為了監(jiān)督位置偏移 Ω H 和方向偏移預(yù)測 Ω U 兩個子網(wǎng)絡(luò)的訓(xùn)練，本文采用絕對平均誤差作為損失函數(shù)，即連接參數(shù)預(yù)測的損失函數(shù) L 3 為

L 3= 1 N n ∑ N n i=1 ∑ M j=1 |h* ij-h ⌒ * ij|+ 1 N n ∑ N n i=1 ∑ M j=1 |u* ij-u ⌒ * ij| ""（8）

其中： N n 表示與關(guān)節(jié)點相距為 α 附近點的數(shù)量； h* ij 表示第 i 個附近點與第 j 個關(guān)節(jié)點的位置偏移的真實值； h ⌒ * ij表示其預(yù)測值；u* ij表示第i個附近點與第j個關(guān)節(jié)點的方向偏移的真實值；u ⌒ * ij 表示其預(yù)測值。

2.4.4 姿態(tài)預(yù)測部分

姿態(tài)預(yù)測部分由6D姿態(tài)預(yù)測、連接參數(shù)預(yù)測和協(xié)同優(yōu)化組成。在預(yù)測的關(guān)鍵點葉級空間坐標（K-NPCS）和部位分割情況的基礎(chǔ)之上，采用基于能量函數(shù)的隨機抽樣一致性算法（RANSAC）［34］和Umeyama算法［35］計算目標的每個剛性部位的6D姿態(tài)。在連接參數(shù)預(yù)測部分，采用最小二乘的方法計算目標的連接參數(shù)值。

同時，在預(yù)測的根級標準空間中關(guān)鍵點的坐標基礎(chǔ)上，采用隨機抽樣一致性算法（RANSAC）［34］和Umeyama算法［35］計算目標的每個可形變目標整體的姿態(tài)，以此來約束單獨預(yù)測每個剛性部位6D姿態(tài)以及其連接參數(shù)時出現(xiàn)的一些物理不可能的結(jié)果，形成協(xié)同優(yōu)化。

3 實驗與結(jié)果分析

為了驗證本文基于關(guān)鍵點的類別級姿態(tài)估計方法的有效性，進行了一系列實驗。首先介紹了實驗的評估結(jié)果表示方式（見3.1節(jié)）和用于實驗的公共數(shù)據(jù)集shape2motion（見3.2節(jié)）。然后測試了基于關(guān)鍵點的姿態(tài)估計網(wǎng)絡(luò)在可形變目標上的準確性，驗證了不同密度關(guān)鍵點對姿態(tài)估計網(wǎng)絡(luò)的影響，同時還驗證了基于關(guān)鍵點的分層標準空間方法的有效性。

在實驗中，學(xué)習(xí)率為0.001，衰減率為0.7，衰減步長為20 000，batch的大小為16。實驗硬件環(huán)境：CPU為Intel Core-i7（3.40 GHz），內(nèi)存為16 GB，顯卡為NVIDIA RTX2080s 16 GB。實驗軟件環(huán)境為Ubuntu 18.04操作系統(tǒng)、TensorFlow-GPU 1.15、CUDA 10.2、cuDNN 7.4.5。

3.1 評價指標

實驗結(jié)果采用以下指標對可形變目標的姿態(tài)進行評估：

a）部位姿態(tài)。對于目標的每一個剛體部位，采用旋轉(zhuǎn)誤差、平移誤差來評估目標部位的姿態(tài)。

b）連接狀態(tài)。對于旋轉(zhuǎn)關(guān)節(jié)，實驗采用角度誤差來評估目標關(guān)節(jié)的連接狀態(tài)；對于平移關(guān)節(jié)，實驗采用相關(guān)的平移誤差來評估目標的狀態(tài)。

c）連接參數(shù)。對于旋轉(zhuǎn)關(guān)節(jié)，旋轉(zhuǎn)軸誤差為計算預(yù)測方向與真實方向之間的角度差異；軸點誤差為計算預(yù)測點與真實點之間的最小直線距離。對于平移關(guān)節(jié)，連接參數(shù)誤差為計算連接軸的方向誤差。

對于魯棒性研究，采用ADD矩陣［1］作為剛性目標姿態(tài)準確率的評估標準。ADD矩陣通過評估每個點在預(yù)測的6D姿態(tài) （R，T） 矩陣中與真實的6D姿態(tài) （R g，T g） 矩陣中的平均距離來衡量剛性目標姿態(tài)預(yù)測的準確性。

ADD= 1 m ∑ x∈Ω ‖（Rx+T）-（R gx+T g）‖ ""（9）

其中： m 表示目標中參與預(yù)測的所有點 Ω 的數(shù)量； x 表示 m 中的某一點。

3.2 數(shù)據(jù)集

本文主要在公共數(shù)據(jù)集shape2motion上驗證方法的有效性。數(shù)據(jù)集shape2motion中包含了可形變目標的3D模型，并標注了每個模型的部位分割情況和關(guān)節(jié)連接情況。為了得到帶有姿態(tài)的深度圖，本文將數(shù)據(jù)集中的模型通過PyBullet隨機攝像機視角的方式對每個類別目標進行渲染，生成約40 000張圖像，并將得到的深度圖轉(zhuǎn)換為點云。其中90%的數(shù)據(jù)為訓(xùn)練集數(shù)據(jù)，剩下10%的不與訓(xùn)練集中類別實例重合的數(shù)據(jù)為測試集。

3.3 結(jié)果分析

3.3.1 算法準確性驗證

為了驗證基于關(guān)鍵點的方法在類別級可形變目標姿態(tài)估計中的有效性，本文在shape2motion上用ANCSH、NOCS和基于關(guān)鍵點的方法分別進行驗證，結(jié)果如表1、2所示。與基于類別的目標姿態(tài)估計方法NOCS相比，考慮過連接參數(shù)優(yōu)化的方法，如ANCSH方法和基于關(guān)鍵點的可形變目標姿態(tài)估計方法（K-AOPE）均使預(yù)測結(jié)果準確性得到了大幅提升。同時，與ANCSH方法相比，基于關(guān)鍵點的可形變目標姿態(tài)估計方法（K-AOPE）能夠有效地降低部位姿態(tài)估計的誤差，并且在連接參數(shù)和連接狀態(tài)的預(yù)測上也取得了更好的效果。

同時，為了驗證基于關(guān)鍵點的標準分層坐標空間在姿態(tài)估計中所起的協(xié)同優(yōu)化的作用，本文將葉級標準坐標空間方法（K-AOPE-leaf）單獨進行實驗，結(jié)果如表1所示。結(jié)果顯示，基于關(guān)鍵點的標準分層坐標空間方法在姿態(tài)估計問題中提高了對姿態(tài)估計的準確性，對可形變目標姿態(tài)估計起到了協(xié)同優(yōu)化作用。

在表2所示結(jié)果中，K-AOPE方法的連接參數(shù)預(yù)測結(jié)果明顯優(yōu)于ANCSH方法，證明直接預(yù)測偏移細化為分別預(yù)測位置偏移和方向偏移具有更高的準確性。

3.3.2 算法魯棒性驗證

關(guān)鍵點是目標中幾何信息豐富的少數(shù)點，基于關(guān)鍵點的類別級可形變目標姿態(tài)估計方法能夠為類別級可形變目標姿態(tài)估計算法提供更好的魯棒性。為了驗證本文方法的魯棒性，參考densefusion對目標姿態(tài)估計算法魯棒性評估的方法，分別對輸入數(shù)據(jù)進行隨機丟點，計算 ADDlt;0.5 時每個剛性部位的姿態(tài)估計準確率，所得預(yù)測結(jié)果如圖4、5所示。結(jié)果顯示在50%～80%丟點比例范圍內(nèi)，隨著丟點比例的增加，ANCSH方法的準確率下降得比K-AOPE方法更快。K-AOPE方法準確率顯著下降是在丟點超過80%以后，此時ANCSH方法準確率低于K-AOPE方法。

4 結(jié)束語

為了解決面向類別的三維可形變目標姿態(tài)估計問題，本文提出了一種面向類別的三維可形變目標姿態(tài)估計算法K-AOPE，主要包括 關(guān)鍵點的標準分層坐標表示空間方法和基于關(guān)鍵點的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)。相對于目前的可形變目標姿態(tài)估計方法ANCSH，本文方法具有更好效果，并且由于深度學(xué)習(xí)網(wǎng)絡(luò)基于目標的關(guān)鍵點進行設(shè)計，能夠有效提高方法的魯棒性，解決由于丟點造成的預(yù)測精度下降的問題。

可形變目標姿態(tài)估計的關(guān)鍵點之一在于對關(guān)節(jié)部位的估計，本文雖然采用了基于關(guān)鍵點的方法對關(guān)節(jié)部位的姿態(tài)進行了有效的估計，同時根據(jù)分層標準坐標空間對其進行約束，但對關(guān)節(jié)部位的姿態(tài)估計仍有優(yōu)化的空間。此外，本文采用最遠點采樣的方法能夠提取出涵蓋目標關(guān)鍵幾何信息的點，但類別級目標關(guān)鍵點的提取算法仍然具有很大的研究價值。

參考文獻：

［1］ "Xiang Y，Schmidt T，Narayanan V， et al .PoseCNN：a convolutional neural network for 6D object pose estimation in cluttered scenes［EB/OL］.（2017-11-01）.https：//arxiv.org/abs/1711.00199.

［2］ Wang Chen，Xu Danfei，Zhu Yuke， et al .DenseFusion：6D object pose estimation by iterative dense fusion［C］//Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：3338-3347.

［3］ He Yisheng，Sun Wei，Huang Haibin， et al .PVN3D：a deep point-wise 3D keypoints voting network for 6D of pose estimation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：11629-11638.

［4］ Wang He，Sridhar S，Huang Jingwei， et al .Normalized object coordinate space for category-level 6D object pose and size estimation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：2637-2646.

［5］ Pavlasek J，Lewis S，Desingh K， et al .Parts-based articulated object localization in clutter using belief propagation［C］//Proc of IEEE/RSJ International Conference on Intelligent Robots and Systems.Piscataway，NJ：IEEE Press，2020：10595-10602.

［6］ "Li Xiaolong，Wang He，Yi Li， et al .Category-level articulated object pose estimation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：3703-3712.

［7］ Michel F，Krull A，Brachmann E， et al .Pose estimation of kinematic chain instances via object coordinate regression［C］//Proc of British Machine Vision Conference.2015.

［8］ Desingh K，Lu Shiyang，Opipari A， et al .Factored pose estimation of articulated objects using efficient nonparametric belief propagation［C］//Proc of International Conference on Robotics and Automation.Piscataway，NJ：IEEE Press，2019：7221-7227.

［9］ Ye Mao，Yang Ruigang.Real-time simultaneous pose and shape estimation for articulated objects using a single depth camera［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2014：2353-2360.

［10］ Martín-Martín R，Hfer S，Brock O.An integrated approach to visual perception of articulated objects［C］//Proc of IEEE International Conference on Robotics and Automation.Piscataway，NJ：IEEE Press，2016：5091-5097.

［11］ Kumar S，Dhiman V，Ganesh M R， et al .Spatiotemporal articulated models for dynamic SLAM［EB/OL］.（2016-04-12）.https：//arxiv.org/abs/1604.03526.

［12］ Schmidt T，Hertkorn K，Newcombe R， et al .Depth-based tracking with physical constraints for robot manipulation［C］//Proc of IEEE International Conference on Robotics and Automation.Piscataway，NJ：IEEE Press，2015：119-126.

［13］ "Schmidt T，Newcombe R，F(xiàn)ox D.DART：dense articulated real-time tracking with consumer depth cameras［J］. Autonomous Robots ，2015， 39 （3）：239-258.

［14］ Daniele A F，Howard T M，Walter M R.A multiview approach to learning articulated motion models［M］//Amato N，Hager G，Thomas S， et al .Robotics Research.Cham：Springer，2020：371-386.

［15］ Romero J，Tzionas D，Black M J.Embodied hands：modeling and capturing hands and bodies together［J］. ACM Trans on Graphics ，2017， 36 （6）：DOI：10.1145/3130800.3130883.

［16］ "Tkach A，Tagliasacchi A，Remelli E， et al .Online generative model personalization for hand tracking［J］. ACM Trans on Graphics， 2017， 36 （6）：article No.243.

［17］ Chen Xinghao，Wang Guijin，Guo Hengkai， et al .Pose guided structured region ensemble network for cascaded hand pose estimation［J］. Neurocomputing ，2020， 395 ：138-149.

［18］ Ge Liuhao，Ren Zhou，Yuan Junsong.Point-to-point regression PointNet for 3D hand pose estimation［C］//Proc of European Conference on Computer Vision.Berlin：Springer，2018：489-505.

［19］ "Chang J Y，Moon G，Lee K M.V2V-PoseNet：voxel-to-voxel prediction network for accurate 3D hand and human pose estimation from a single depth map［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：5079-5088.

［20］ "Wan Chengde，Probst T，Gool L V， et al .Dense 3D regression for hand pose estimation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：5147-5156.

［21］ Qi C R，Yi Li，Su Hao， et al .PointNet+ +：deep hierarchical feature learning on point sets in a metric space［EB/OL］. （2017-06-07）.https：//arxiv.org/abs/1706.02413.

［22］ 李偉強，雷航，張靜玉，等.基于標簽分布學(xué)習(xí)的三維手部姿態(tài)估計［J］.計算機應(yīng)用，2021， 41 （2）：550-555. （Li Weiqiang，Lei Hang，Zhang Jingyu， et al .3D hand pose estimation based on label distribution learning［J］. Journal of Computers Applications， 2021， 41 （2）：550-555.）

［23］ Cao Zhe，Hidalgo G，Simon T， et al .OpenPose：realtime multi-person 2D pose estimation using part affinity fields［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2021， 43 （1）：172-186.

［24］ Newell A，Huang Zhiao，Deng Jia.Associative embedding：end-to-end learning for joint detection and grouping［C］//Advances in Neural Information Processing Systems.2017：2277-2287.

［25］ Kocabas M，Karagoz S，Akbas E.MultiPoseNet：fast multi-person pose estimation using pose residual network［C］//Proc of European Confe-rence on Computer Vision.Berlin：Springer，2018：437-453.

［26］ Chen Yilun，Wang Zhicheng，Peng Yuxiang， et al .Cascaded pyramid network for multi-person pose estimation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：7103-7112.

［27］ Xiao Bin，Wu Haiping，Wei Yichen.Simple baselines for human pose estimation and tracking［C］//Proc of European Conference on Computer Vision.Berlin：Springer，2018：472-487.

［28］ Sun Ke，Xiao Bin，Liu Dong， et al .Deep high-resolution representation learning for human pose estimation［C］//Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：5686-5696.

［29］ 肖仕華，桑楠，王旭鵬.基于深度學(xué)習(xí)的三維點云頭部姿態(tài)估計［J］.計算機應(yīng)用，2020， 40 （4）：996-1001. （Xiao Shihua，Sang Nan，Wang Xupeng.Head pose estimation of 3D point cloud based on deep learning［J］. Journal of Computer Applications， 2020， 40 （4）：996-1001.）

［30］ "Qi C R，Litany O，He Kaiming， et al .Deep Hough voting for 3D object detection in point clouds［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2019：9276-9285.

［31］ Qi C R，Liu Wei，Wu Chenxia， et al .Frustum pointnets for 3D object detection from RGB-D data［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：918-927.

［32］ Xu Danfei，Anguelov D，Jain A.PointFusion：deep sensor fusion for 3D bounding box estimation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：244-253.

［33］ Peng Sida，Liu Yuan，Huang Qixing， et al .PVNet：pixel-wise voting network for 6D of pose estimation［C］//Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：4556-4565.

［34］ Fischler M A，Bolles R C.Random sample consensus：a paradigm for model fitting with applications to image analysis and automated carto-graphy［J］. Communications of the ACM ，1981， 24 （6）：381-395.

［35］ Umeyama S.Least-squares estimation of transformation parameters between two point patterns［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 1991， 13 （4）：376-380.

［36］ Yi Li，Huang Haibin，Liu Difan， et al .Deep part induction from articulated object pairs［J］. ACM Trans on Graphics， 2018， 37 （6）：article No.209.