劉一松 高含露 蔡凱祥

摘 要：

當(dāng)前人體運(yùn)動(dòng)預(yù)測(cè)的方法大多采用基于圖卷積網(wǎng)絡(luò)的自回歸模型，沒有充分考慮關(guān)節(jié)間的特有關(guān)系和自回歸網(wǎng)絡(luò)性能的限制，從而產(chǎn)生平均姿態(tài)和誤差累積等問題。為解決以上問題，提出融合時(shí)空?qǐng)D卷積網(wǎng)絡(luò)和非自回歸的模型對(duì)人體運(yùn)動(dòng)進(jìn)行預(yù)測(cè)。一方面利用時(shí)空?qǐng)D卷積的網(wǎng)絡(luò)提取人體運(yùn)動(dòng)序列的局部特征，可以有效減少三維人體運(yùn)動(dòng)預(yù)測(cè)場(chǎng)景中的平均姿態(tài)問題和過度堆疊圖卷積層引起的過平滑問題的發(fā)生；另一方面將非自回歸模型與時(shí)空?qǐng)D卷積網(wǎng)絡(luò)進(jìn)行結(jié)合，減少誤差累計(jì)問題的發(fā)生。利用Human3.6M的數(shù)據(jù)集進(jìn)行80 ms、160 ms、320 ms和400 ms的人體運(yùn)動(dòng)預(yù)測(cè)實(shí)驗(yàn)。結(jié)果表明，NAS-GCN模型與現(xiàn)有方法相比，能預(yù)測(cè)出更精確的結(jié)果。

關(guān)鍵詞：人體運(yùn)動(dòng)預(yù)測(cè)；非自回歸；圖卷積網(wǎng)絡(luò)

中圖分類號(hào)：TP181?? 文獻(xiàn)標(biāo)志碼：A??? 文章編號(hào)：1001-3695（2024）03-048-0956-05doi： 10.19734/j.issn.1001-3695.2023.07.0323

Three-dimensional human motion prediction combining spatiotemporal graph

convolutional networks and non-autoregressive models

Liu Yisong， Gao Hanlu， Cai Kaixiang

（School of Computer Science & Communication Engineering， Jiangsu University， Zhenjiang Jiangsu 212013， China）

Abstract：

The current methods for predicting human motion mostly use autoregressive models based on graph convolutional networks， without fully considering the unique relationships between joints and the limitations of autoregressive network performance， resulting in issues such as average posture and error accumulation. To address the above issues， this paper proposed a fusion of spatiotemporal graph convolutional networks and non autoregressive models for predicting human motion. On the one hand， using a network of spatiotemporal graph convolutions to extract local features of human motion sequences could effectively reduce the occurrence of average pose problems and oversmooth problems caused by excessive stacking of graph convolutions in 3D human motion prediction scenes. On the other hand， it combined non-autoregressive models with spatiotemporal graph convolutional networks to reduce the occurrence of error accumulation problems. Conduct human motion prediction experiments using a Human3.6M dataset for 80 ms， 160 ms， 320 ms， and 400 ms. The experimental results indicate that the NAS-GCN model predicts more accurate results compared to existing methods. Key words：human motion prediction; non-autoregressive; graph convolutional network

0 引言

三維人體運(yùn)動(dòng)預(yù)測(cè)目前主要用于人機(jī)交互、運(yùn)動(dòng)分析和體育預(yù)測(cè)等領(lǐng)域，該方向由人體姿態(tài)特征提取和運(yùn)動(dòng)預(yù)測(cè)兩部分組成。由于深度學(xué)習(xí)的發(fā)展，近年來相關(guān)方法已經(jīng)使得模型預(yù)測(cè)的精確度得到很大提升。

基于圖卷積網(wǎng)絡(luò)（graphical convolutional network，GCN）的自回歸模型是目前人體運(yùn)動(dòng)預(yù)測(cè)的主流方法，該方法利用圖卷積網(wǎng)絡(luò)的模型學(xué)習(xí)人體非歐幾里德數(shù)據(jù)的特征和內(nèi)部規(guī)律，模擬關(guān)節(jié)的空間相互作用。盡管現(xiàn)有研究使用了多種方法對(duì)其進(jìn)行改進(jìn)，如人工構(gòu)造的時(shí)空?qǐng)D卷積網(wǎng)絡(luò)和結(jié)構(gòu)化預(yù)測(cè)層［1，2］、自適應(yīng)學(xué)習(xí)空間特征［3～5］等，但依舊存在以下問題：a）預(yù)測(cè)長(zhǎng)期運(yùn)動(dòng)時(shí)容易收斂到一個(gè)靜止的姿態(tài)即平均姿態(tài)；b）模型預(yù)測(cè)誤差隨時(shí)間推移累計(jì)，最終崩潰到不可信的狀態(tài)。

對(duì)于問題a）來說，由于當(dāng)前圖卷積網(wǎng)絡(luò)在提取特征過程中大多只注重相鄰關(guān)節(jié)之間的連接性，沒有充分考慮幾何分離關(guān)節(jié)之間的隱性關(guān)系，容易導(dǎo)致平均姿態(tài)問題的產(chǎn)生。為了解決這個(gè)問題，Cui等人［6］利用兩個(gè)參數(shù)化圖卷積網(wǎng)絡(luò)學(xué)習(xí)關(guān)節(jié)之間的動(dòng)態(tài)關(guān)系，捕獲關(guān)節(jié)之間的隱式關(guān)系。Liu等人［7］在其基礎(chǔ)上提出捕獲幾何分離關(guān)節(jié)之間隱藏聯(lián)系的圖卷積網(wǎng)絡(luò)和自適應(yīng)學(xué)習(xí)的圖卷積網(wǎng)絡(luò)，利用優(yōu)化的GCN學(xué)習(xí)運(yùn)動(dòng)序列的空間特征，可以緩解部分平均姿態(tài)問題。但使用GCN構(gòu)建全局關(guān)系時(shí)，過度堆疊圖卷積層會(huì)導(dǎo)致過平滑問題的發(fā)生，同時(shí)基于自回歸的模型本身具有一定的限制。

針對(duì)問題b），文獻(xiàn)［8，9］表明，人體運(yùn)動(dòng)預(yù)測(cè)過程中誤差累積產(chǎn)生的主要原因是當(dāng)前預(yù)測(cè)往往依賴于之前的時(shí)間步數(shù)據(jù)。文獻(xiàn)［10］進(jìn)一步證實(shí)由于自回歸模型自身網(wǎng)絡(luò)性能的限制，不可避免地涉及誤差累積問題。為解決該問題，Li等人比較人體運(yùn)動(dòng)序列預(yù)測(cè)與非自回歸機(jī)器翻譯模型，并驗(yàn)證非自回歸模型用于減少人體運(yùn)動(dòng)序列誤差累積問題的可行性，提出一種多任務(wù)非自回歸運(yùn)動(dòng)預(yù)測(cè)模型［9］。文獻(xiàn)［11］將基于骨架的活動(dòng)分類與非自回歸模型進(jìn)行結(jié)合，提出精度優(yōu)于自回歸方法且計(jì)算量更低的非自回歸模型，進(jìn)一步驗(yàn)證了非自回歸模型對(duì)于降低誤差累積的有效性。但基于非自回歸的方法研究重點(diǎn)大多集中于全局時(shí)間關(guān)系建模，對(duì)于關(guān)節(jié)之間的相關(guān)性即空間特征提取考慮得不夠充分。

針對(duì)上述目前研究工作中存在的問題，本文提出融合時(shí)空?qǐng)D卷積網(wǎng)絡(luò)和非自回歸模型（non-autoregressive combines spatio-temporal graphical convolutional network，NAS-GCN）的三維人體運(yùn)動(dòng)預(yù)測(cè)?？紤]到非自回歸模型對(duì)于全局提取能力較好，而對(duì)于人體運(yùn)動(dòng)序列的局部特征提取能力較差，因此在特征提取時(shí)先利用改進(jìn)GCN的局部特征編碼器，再結(jié)合非自回歸模型對(duì)數(shù)據(jù)集進(jìn)行全局特征提取與預(yù)測(cè)，使得模型對(duì)于空間特征提取進(jìn)一步優(yōu)化的同時(shí)減少誤差累積的發(fā)生。同時(shí)為了解決時(shí)間表示方面的問題，提出將最終序列編碼后輸入解碼器的策略，相對(duì)于自回歸模型準(zhǔn)確率更高，效率更快。

本文主要包括如下改進(jìn)：a）提出改進(jìn)的時(shí)空特征圖卷積網(wǎng)絡(luò)提取局部特征，充分考慮骨骼解剖學(xué)運(yùn)動(dòng)定律以減少平均姿態(tài)的發(fā)生，同時(shí)添加初始?xì)埐詈秃愕扔成浣鉀Q過平滑問題；b）利用非自回歸模型代替自回歸模型，將改進(jìn)圖卷積網(wǎng)絡(luò)和非自回歸的模型融合，提取人體運(yùn)動(dòng)的局部和全局特征。在更全面地考慮人體運(yùn)動(dòng)序列時(shí)空關(guān)系的同時(shí)進(jìn)一步提升了模型對(duì)局部和全局特征的提取能力，從而減少誤差累積問題的發(fā)生。具體來說，一方面提出了多層殘差半約束圖（multilayer residual semi constrained graph， MRSG）提取人體空間特征，該模型通過模擬骨骼解剖學(xué)的運(yùn)動(dòng)定律提取人體運(yùn)動(dòng)的空間結(jié)構(gòu)，以減少人體骨骼之間歧義，其中GCN提取人體運(yùn)動(dòng)序列特征時(shí)，過多堆疊會(huì)限制GCN，從而導(dǎo)致過平滑問題，因此在模型中添加初始?xì)埐詈秃愕扔成鋵?duì)過平滑問題進(jìn)行一定的緩解；另一方面針對(duì)誤差累積問題引入了非自回歸模型，該模型用并行預(yù)測(cè)人體運(yùn)動(dòng)序列的方法解決了自回歸模型解碼串行輸出的問題。

1 本文方法

本文提出NAS-GCN模型，由局部特征編碼器（local feature encoder，LFE）、局部特征解碼器（local feature decoder，LFD）和基于Transformer的非自回歸編-解碼器組成。其中局部特征編碼器LFE、局部特征解碼器LFD用于提取人體運(yùn)動(dòng)序列的局部特征，基于Transformer的非自回歸編-解碼器用于全局的特征提取。整體模型如圖1所示。

1.1 局部特征提取

文獻(xiàn)［12］提出當(dāng)模型對(duì)于空間特征提取不夠準(zhǔn)確時(shí)，預(yù)測(cè)往往會(huì)收斂到平均姿態(tài)，因此為了更好地獲取人體運(yùn)動(dòng)時(shí)各個(gè)關(guān)節(jié)之間的隱藏關(guān)系，提取人體運(yùn)動(dòng)序列的空間結(jié)構(gòu)特征。本文提出LFE和LFD學(xué)習(xí)人體骨骼的空間相關(guān)性，以減少平均姿態(tài)問題的發(fā)生。

1.1.1 局部特征編碼器（LFE）

局部特征編碼器LFE由MRSG和TCN組成，該模型將輸入數(shù)據(jù)分別利用MRSG和TCN進(jìn)行局部空間特征、時(shí)間特征的提取，最后將提取到的空間特征和時(shí)間特征結(jié)合，得到人體運(yùn)動(dòng)序列的局部特征。

1）局部空間特征提取MRSG

MRSG的主要模塊為GCNadd，用來提取局部空間特征，減少由于過度堆疊GCNadd帶來的過平滑問題，其中GCNadd為優(yōu)化后的GCN。GCN可以提取人體骨骼之間的關(guān)系，學(xué)習(xí)骨骼關(guān)節(jié)對(duì)之間的連接，但是該方法對(duì)人體隱藏關(guān)系的提取能力較差，例如打電話時(shí)上半身的變化可能比下半身更加豐富，走路時(shí)更加注重腿部和手臂的協(xié)調(diào)性等。因此本文提出MRSG模型模擬骨骼解剖學(xué)的運(yùn)動(dòng)定律，提取人體運(yùn)動(dòng)的空間結(jié)構(gòu)，減少人體骨骼之間歧義，以提高預(yù)測(cè)人體骨骼空間相關(guān)性。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)使用RTX2080Ti GPU，Linux操作系統(tǒng)，PyTorch深度學(xué)習(xí)框架。訓(xùn)練學(xué)習(xí)率為10-4，批量大小為16。在預(yù)訓(xùn)練過程中，學(xué)習(xí)率從0逐漸增加到10-4，從而提高了訓(xùn)練的穩(wěn)定性。模型采用50幀，輸出25幀的1 s運(yùn)動(dòng)。實(shí)驗(yàn)設(shè)置epochs為400，steps_per_epoch為200，num_heads為8，dim_ffn為2 048。編碼器輸入前需要對(duì)數(shù)據(jù)進(jìn)行歸一化操作，使得數(shù)據(jù)更加穩(wěn)定。

本文使用Human3.6 M的數(shù)據(jù)集進(jìn)行人體運(yùn)動(dòng)預(yù)測(cè)。該數(shù)據(jù)集遵循了訓(xùn)練和測(cè)試的標(biāo)準(zhǔn)協(xié)議。該數(shù)據(jù)庫(kù)采用三維的骨骼模型對(duì)人體運(yùn)動(dòng)序列進(jìn)行表示，且一個(gè)三維姿態(tài)由32個(gè)三維坐標(biāo)組成，相當(dāng)于一個(gè)96維的矢量。其中訓(xùn)練集5用于測(cè)試，其他訓(xùn)練集用于訓(xùn)練。輸入序列長(zhǎng)為2 s，對(duì)預(yù)測(cè)序列的前1 000 ms進(jìn)行測(cè)試。通過計(jì)算預(yù)測(cè)和真實(shí)值之間的歐拉角誤差評(píng)估序列。在訓(xùn)練過程中，模型采用MRSG提取空間特征，TCN提取時(shí)間特征，將兩者融合后，利用非自回歸模型對(duì)全局特征進(jìn)行提取，最后得出預(yù)測(cè)的人體運(yùn)動(dòng)序列。

為了驗(yàn)證NAS-GCN，本文根據(jù)式（12）計(jì)算損失函數(shù)，并與其他模型進(jìn)行對(duì)比，預(yù)測(cè)平均角度誤差MAE，MAE是角度空間產(chǎn)生的預(yù)測(cè)與真實(shí)值直接的平均距離損失，該值越低表示數(shù)據(jù)越好。

2.2 消融實(shí)驗(yàn)

本節(jié)在Human3.6M數(shù)據(jù)集中驗(yàn)證了不同類型LFE的效果。提出利用LFE和LFD進(jìn)行人體運(yùn)動(dòng)序列的局部特征提取，用MRSG層、TCN層或MLP層對(duì)LFE、LFD進(jìn)行實(shí)驗(yàn)。不同類型的局部特征提取的平均值如表1所示，后綴enc表示解碼器LFD為MLP，后綴full表示解碼器LFD為MRSG。

經(jīng)過實(shí)驗(yàn)發(fā)現(xiàn)，利用gcntcn_full進(jìn)行局部特征提取，即當(dāng)LFE由MRSG與TCN組成時(shí)，MAE值更加精確。綜上所述，局部空間編碼器中利用MRSG可以有效避免出現(xiàn)過擬合的情況，進(jìn)一步提高了數(shù)據(jù)精度。

2.3 與自回歸方法的比較

為了驗(yàn)證NAS-GCN非自回歸模型在長(zhǎng)期預(yù)測(cè)的效果，表2顯示了本模型與自回歸模型測(cè)試結(jié)果的對(duì)比。其中局部特征提取與POTR網(wǎng)絡(luò)的實(shí)驗(yàn)參數(shù)同文獻(xiàn)［9］。從表中數(shù)據(jù)可以觀察到，MAE值有明顯的降低，其中1 000 ms的長(zhǎng)期預(yù)測(cè)比原模型［9］的MAE降低了約4.52%。自回歸版本不使用查詢姿態(tài)，而是根據(jù)前一次的結(jié)果預(yù)測(cè)一個(gè)運(yùn)動(dòng)向量。本文的非自回歸方法在大多數(shù)時(shí)間間隔內(nèi)顯示出比同類方法更低的MAE，具體數(shù)據(jù)如表2所示。

2.4 與其他模型比較

表3比較了NAS-GCN模型與其他網(wǎng)絡(luò)在H3.6M數(shù)據(jù)集中11個(gè)活動(dòng)的誤差。加粗表示最好數(shù)據(jù)，下畫線其次。對(duì)于每個(gè)數(shù)據(jù)，從上到下分別展示了ZeroV［7］、Res-sup［7］、POTR［9］、ST-Transformer［11］、Skel-TNet［17］、DCT-GCN［18］等先進(jìn)方法與當(dāng)前NAS-GCN的預(yù)測(cè)，非自回歸模型在短期內(nèi)獲得第一和第二個(gè)較低的MAE，并且在80 ms內(nèi)最低，同時(shí)與從前的非自回歸模型相比，在長(zhǎng)期內(nèi)誤差有了很明顯的降低。使用最后一個(gè)輸入序列作為查詢姿態(tài)減少誤差累積，且該方法在長(zhǎng)期預(yù)測(cè)方面也取得了較大的進(jìn)步。

圖5對(duì)預(yù)測(cè)動(dòng)作MAE進(jìn)行比較，主要包括directions、ea-ting、taking photo與greeting四個(gè)動(dòng)作，其中灰色為ground truth，第三行為NAS-GCN的數(shù)據(jù)，在精確度上有了很大的提高。根據(jù)圖片發(fā)現(xiàn)，POTR的eating動(dòng)作沒有充分考慮上半身的變化，左臂應(yīng)該是平穩(wěn)向下的，因此使用NAS-GCN效果更好；POTR的taking photo動(dòng)作集中在左臂，與真實(shí)動(dòng)作相反，而NAS-GCN集中于右臂的變化；POTR的greeting動(dòng)作出現(xiàn)了平均姿態(tài)問題，而NAS-GCN注意到了左腿相應(yīng)的變化并作出改變。綜上，相比于POTR網(wǎng)絡(luò)，NAS-GCN更加接近真實(shí)動(dòng)作，網(wǎng)絡(luò)改善效果比較明顯。

3 結(jié)束語

NAS-GCN模型用于人體運(yùn)動(dòng)預(yù)測(cè)，首先通過人體運(yùn)動(dòng)序列局部特征提取的編碼器LFE、LFD提取局部時(shí)空特征；然后，引入非自回歸模型提取全局特征并進(jìn)行人體運(yùn)動(dòng)序列的預(yù)測(cè)。其中LFE由MRSG和TCN組成，該方法可以降低人體骨骼特征提取不準(zhǔn)確引起的平均姿態(tài)問題和過度堆疊引起的過平滑問題，提高預(yù)測(cè)精確度。非自回歸模型有助于降低誤差累積。雖然當(dāng)前預(yù)測(cè)減少了平均姿態(tài)的出現(xiàn)頻率，但在長(zhǎng)期范圍內(nèi)序列依然存在平均姿態(tài)問題，下一步將研究?jī)?yōu)化查詢序列的過程，同時(shí)針對(duì)多人和更復(fù)雜的環(huán)境進(jìn)行人體運(yùn)動(dòng)預(yù)測(cè)，以提高研究的全面性。

參考文獻(xiàn)：

［1］Jain A，Zamir A R，Savarese S，et al. Structural-RNN： deep learning on spatio-temporal graphs ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2016： 5308-5317.

［2］Aksan E，Kaufmann M，Hilliges O. Structured prediction helps 3D human motion modelling ［C］// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway，NJ： IEEE Press，2019： 7144-7153.

［3］Mao Wei，Liu Miaomiao，Salzmann M，et al. Learning trajectory dependencies for human motion prediction ［C］// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway，NJ： IEEE Press，2019： 9489-9497.

［4］Li Maosen，Chen Siheng，Zhao Yangheng，et al. Dynamic multiscale graph neural networks for 3D skeleton based human motion prediction ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2020： 214-223.

［5］Li Maosen，Chen Siheng，Zhao Yangheng，et al. Multiscale spatio-temporal graph neural networks for 3D skeleton-based motion prediction［J］. IEEE Trans on Image Processing，2021，30（23）： 7760-7775.

［6］Cui Qiongjie，Sun Huaijiang，Yang Fei. Learning dynamic relationships for 3D human motion prediction ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2020： 6519-6527.

［7］Liu Zhenguang，Su Pengxiang，Wu Shuang，et al. Motion prediction using trajectory cues ［C］// Proc of IEEE/CVF International Confe-rence on Computer Vision. Piscataway，NJ： IEEE Press，2021： 13299-13308.

［8］Martinez J，Black M J，Romero J. On human motion prediction using recurrent neural networks ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2017： 2891-2900.

［9］Martínez-González A，Villamizar M，Odobez J M. Pose Transformers （POTR）：human motion prediction with non-autoregressive Transfor-mers ［C］// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway，NJ： IEEE Press，2021： 2276-2284.

［10］Li Bin，Tian Jian，Zhang Zhongfei，et al. Multitask non-autoregressive model for human motion prediction ［J］. IEEE Trans on Image Processing，2020，30（8）： 2562-2574.

［11］Aksan E，Kaufmann M，Cao Peng，et al. A spatio-temporal Transfor-mer for 3D human motion prediction ［C］// Proc of International Con-ference on 3D Vision. Piscataway，NJ： IEEE Press，2021： 565-574.

［12］Wang He，Ho E S L，Shum H P H，et al. Spatio-temporal manifold learning for human motions via long-horizon modeling［J］.IEEE Trans on Visualization and Computer Graphics，2019，27（1）： 216-227.

［13］Chen Ming，Wei Zhewei，Huang Zengfeng，et al. Simple and deep graph convolutional networks ［C］// Proc of International Conference on Machine Learning. ［S.l.］：PMLR，2020： 1725-1735.

［14］何冰倩，魏維，張斌. 基于深度學(xué)習(xí)的輕量型人體動(dòng)作識(shí)別模型 ［J］. 計(jì)算機(jī)應(yīng)用研究，2020，37（8）： 2547-2551. （He Bingqian，Wei Wei，Zhang Bin. Lightweight human action recognition model based on deep learning ［J］. Application Research of Computers，2020，37（8）： 2547-2551.）

［15］Bai Shaojie，Kolter J Z，Koltun V. An empirical evaluation of generic convolutional and recurrent networks for sequence modeling ［EB/OL］. （2018-04-19）. https：//arxiv. org/abs/1803. 01271.

［16］戴俊明，曹陽(yáng)，沈琴琴，等. 基于多時(shí)空?qǐng)D卷積網(wǎng)絡(luò)的交通流預(yù)測(cè) ［J］. 計(jì)算機(jī)應(yīng)用研究，2022，39（3）： 780-784. （Dai Junming，Cao Yang，Shen Qinqin，et al. Traffic flow prediction based on multi-temporal graph convolutional networks ［J］. Application Research of Computers，2022，39（3）： 780-784.）

［17］Guo Xiao，Choi J. Human motion prediction via learning local structure representations and temporal dependencies ［C］// Proc of AAAI Conference on Artificial Intelligence. Palo Alto，CA： AAAI Press，2019： 2580-2587.

［18］Mao Wei，Liu Miaomiao，Salzmann M. History repeats itself： human motion prediction via motion attention ［C］// Proc of the 16th European Conference on Computer Vision.Berlin：Springer，2020：474-489.