DOI：10.16652/j.issn.1004-373x.2025.16.008

中圖分類號：TN915.04-34；TP391.4 文獻(xiàn)標(biāo)識碼：A 文章編號：1004-373X（2025）16-0045-05

Prediction of human motion sequence in projection subspace

YUEXiaoyu，ZHANGLulu （Nanjing Tech University，Nanjing211816，China）

Abstract：Inordertocomprehensivelyextractmotion features fromdiferentviewinganglesandimprove therobustnessof perspectivechanges，thepredictionmethodof human motionsequence in projectionsubspaceisproposed.Intheprojection subspace，the3DhumanmovementscapturedbyKinectcameraareconvertedinto2Dhumanmovementsequeneswithdiferent anglesof mainview，leftviewandtopview.Inthemulti-neighborhoodglobaladaptivegraphneuralnetwork，theadaptivegraph convolutionisusedastheencodertoextractthe2Dhumanactionsequencefeaturesfromthethreeviewingangles，soasto improvetherobustnessof thenetwork tothechangesof viewingangles.Thegatedrecurentunitbasedonmulti-neigborhod globaladaptivegraphconvolutionisusedasthedecoder，andcombinedwiththehumanmotionsequencecharacteristicsto obtainthehumanmotionsequencepredictionresultsunderdiferentviewingangles.Thefusionmoduleisused tofusethe predictedresultsof actionsequences fromvarious perspectives bymeansofthevoting fusion strategy，soas toobtain the final predictioresults.Theexperimentalresultsshowthattheproposedmethodcanefectivelyconvert 3Dhuman motionandobtain 2D human motionsequence.This method caneffectivelypredict humanactionsequence，andthedeterminationcoeffcientsof action sequence prediction arehigher under diferent viewing angles，thatis，the prediction accuracy is higher.

Keywords：human actionsequence prediction;projectionsubspace；2D action;feature extraction；adaptive graph convolution; gated recurrent unit

0 引言

人體動作序列預(yù)測是按照歷史人體動作序列數(shù)據(jù)，對后續(xù)動作序列的發(fā)展趨勢進(jìn)行預(yù)測。在體育訓(xùn)練場景下，預(yù)測人體動作序列可幫助教練清晰分析運(yùn)動員的動作，并按照預(yù)測結(jié)果調(diào)整訓(xùn)練計(jì)劃，增強(qiáng)運(yùn)動員的動作標(biāo)準(zhǔn)度，提升運(yùn)動成績2-3]。因此，研究人體動作序列預(yù)測方法具有重要意義。

文獻(xiàn)[4]融合處理不同時(shí)段人體動作序列的三維點(diǎn)云數(shù)據(jù)，利用時(shí)空鄰域分割數(shù)據(jù)，通過三層Meteor模塊提取人體動作特征，再結(jié)合全連接網(wǎng)絡(luò)預(yù)測人體動作序列。在視角改變情況下，三維點(diǎn)云數(shù)據(jù)的形態(tài)會發(fā)生改變，導(dǎo)致數(shù)據(jù)分割精度下降，降低特征提取精度。文獻(xiàn)[5]利用空間位置關(guān)系學(xué)習(xí)模塊統(tǒng)計(jì)關(guān)節(jié)點(diǎn)間的相對位置分布，提取空間位置特征；采用時(shí)間位置關(guān)系學(xué)習(xí)模塊統(tǒng)計(jì)相鄰幀間關(guān)節(jié)點(diǎn)的位置變動，提取時(shí)間位置特征，通過時(shí)空位置關(guān)系融合模塊加權(quán)融合空間與時(shí)間位置特征；利用時(shí)空變化特征學(xué)習(xí)模塊結(jié)合融合特征，預(yù)測人體動作序列。該方法是按照固定視角進(jìn)行動作序列預(yù)測，對視角變化的魯棒性不足。文獻(xiàn)[6]通過ResNet-50網(wǎng)絡(luò)提取人體動作特征，采用卷積塊注意力模塊優(yōu)化特征圖，使用ConvLSTM（卷積長短期記憶網(wǎng)絡(luò)）在優(yōu)化特征圖內(nèi)提取時(shí)空特征，并輸出人體動作序列預(yù)測結(jié)果。但ResNet-50網(wǎng)絡(luò)無法完全適應(yīng)視角變化帶來的圖像差異。文獻(xiàn)[7]利用圖卷積網(wǎng)絡(luò)（GCN）挖掘骨架關(guān)節(jié)點(diǎn)間的空間特征，采用LSTM提取人體動作的時(shí)間序列特征，通過融合兩個(gè)特征得到人體動作序列預(yù)測結(jié)果。但LSTM無法適應(yīng)視角變化帶來的數(shù)據(jù)差異，對視角變化的魯棒性欠佳。

在3D空間下，由于相機(jī)視角的多樣性，難以探索動作在不同視角下的綜合表征。利用投影子空間方法將3D動作投影成2D動作，可以在不同子空間視角下進(jìn)行動作表征，提升動作特征提取的全面性以及對視角變化的魯棒性。為此，本文提出一種投影子空間下人體動作序列預(yù)測方法，提高預(yù)測準(zhǔn)確性。

1人體動作序列預(yù)測

1.1投影子空間下人體動作維度轉(zhuǎn)換

令Kinect相機(jī)采集的3D人體動作序列樣本數(shù)量是M ，第 m 個(gè)3D人體動作序列樣本是 X_m ，在投影子空間下，將 X_?m 投影到主視圖、左視圖、俯視圖三個(gè)視角的2D子空間內(nèi)，獲取對應(yīng)的2D人體動作序列[9-1]。通過多維正交判別子空間投影（MDSP）方法確定投影向量集，令主視圖、左視圖、俯視圖的2D人體動作序列分別是 P_q1 、P_q2?P_q3 ，每個(gè) P_qi（i=1，2，3） 包含 N 個(gè)投影向量，即 P_qi= {p_qi^（n）T}_n=1^N ，其中 q=1，2，…，Q，Q 為投影向量集。利用張量到矢量投影方法[2]，通過 P_qi 得到投影后的向量 ρ_m1 、 ，表示為：

通過設(shè)置投影后2D人體動作序列在各視圖方向上的類間離散度 S_qi 類內(nèi)離散度 以及準(zhǔn)則函數(shù) L_qi ，搜索最佳投影向量集[13]，公式如下：

最大化 L_qi 可得到最佳投影效果，公式如下：

通過添加基向量 h_qi ，令各視角投影后的特征向量正

交，hq的第m個(gè)元素是hq（m）=Pm

約束條件為：

式中 y_m 的第 l 個(gè)元素的基向量是 表示為：

采用迭代法求解 P_qi 中的 p_qi^（n*） ，迭代時(shí)將其他 N-1 個(gè)投影向量固定，改變 p_qi^（n*） 使 L_qi 最大并滿足正交約束，此時(shí) p_qi^（n*） 的求解公式為：

式中：

通過特征分解求出 p_qi^（n*） ，不斷迭代改變 n^* ，求出 P_qi 的所有投影向量，得到 P_q1，P_q2，P_q3 ；再采用張量到矢量投影方法進(jìn)行投影，得出投影子空間下3D人體動作的2D人體動作序列 P₁，P₂，P₃ 。

1.2 人體動作序列預(yù)測的實(shí)現(xiàn)

利用多鄰域全局自適應(yīng)圖神經(jīng)網(wǎng)絡(luò)，分別處理1.1節(jié)得到的主視圖、左視圖與俯視圖三個(gè)視角的2D人體動作序列，輸出人體動作序列預(yù)測結(jié)果。該網(wǎng)絡(luò)包含三部分，其中以自適應(yīng)圖卷積為編碼器，在1.1節(jié)得到的主視圖、左視圖與俯視圖三個(gè)視角的2D人體動作序列 P₁ P₂，P₃ 內(nèi)，提取不同視角下2D人體動作序列特征；以基于多鄰域全局自適應(yīng)圖卷積的門控循環(huán)單元為解碼器，結(jié)合不同視角下2D人體動作序列特征，得到各視角下的人體動作序列預(yù)測結(jié)果 y₁?y₂?y₃ ；再采用融合模塊，通過投票融合策略融合 y₁，y₂，y₃ ，得到最終的人體動作序列預(yù)測結(jié)果y。

將1.1節(jié)投影子空間下2D人體動作序列 P= {P₁，P₂，P₃} 作為輸入，令 G_t={V_t，E_t} 表示 Φ_t 時(shí)刻幀的人體骨架信息。其中 V_t 為骨架節(jié)點(diǎn)坐標(biāo)特征集合， E_t 按人體自然結(jié)構(gòu)連接節(jié)點(diǎn)的骨骼邊集合。確定關(guān)節(jié)點(diǎn) v_ij 的鄰接點(diǎn)集合 為關(guān)節(jié)點(diǎn)間距離， D 為距離閾值。

通過鄰接點(diǎn)集合劃分策略劃分 ，得到3個(gè)子集合，分別對應(yīng)關(guān)節(jié)點(diǎn)原始位置、向心運(yùn)動關(guān)節(jié)點(diǎn)、離心運(yùn)動關(guān)節(jié)點(diǎn)。以節(jié)點(diǎn)到骨架重心的歐氏距離均值為劃分依據(jù)，公式為：

式中： r_j 為關(guān)節(jié)點(diǎn) j 至骨架重心的歐氏距離均值； r_k 為關(guān)節(jié)點(diǎn) k 至骨架重心的歐氏距離均值; g_tk（v_tj） 為 v_tj 的鄰接點(diǎn) v_tk 隸屬的標(biāo)簽。

通過圖卷積操作提取2D人體動作序列特征，公式為：

式中： W_tk（v_tj） 為 的權(quán)值總和； P（v_tj） 為2D人體動作序列內(nèi) v_ij 的關(guān)節(jié)特征; ω（g_tk（v_tj）） 為 的劃分子集的權(quán)值。

引入鄰接矩陣后，2D人體動作序列特征為：

式中： δ_Ao 為鄰接節(jié)點(diǎn)子集標(biāo)簽是 Σ_o 的節(jié)點(diǎn)空間鄰接矩陣； $＼boldsymbol { ＼itOmega }$ 為度矩陣； o 為超參數(shù)。

為實(shí)現(xiàn)自適應(yīng)圖卷積，將公式（8）改為：

式中： B_o 為參數(shù)化的鄰接矩陣； E_o 為圖鄰接矩陣； α 為平衡因子。

通過基于多鄰域全局自適應(yīng)圖卷積的門控循環(huán)單元處理，結(jié)合三個(gè)視角下的2D人體動作序列特征 u₁ 、u₂?u₃ ，得到視角對應(yīng)的人體動作序列預(yù)測結(jié)果 y₁，y₂，y₃ ，公式如下：

式中： λ_t 為重置門 ;f（?） 為激活函數(shù)； φ 為線性映射； 為權(quán)值； θ_t 為更新門。

融合模塊利用投票融合策略對每個(gè)視角人體動作序列預(yù)測的直方圖進(jìn)行計(jì)算，得出最終的人體動作序列預(yù)測結(jié)果。

2 實(shí)驗(yàn)分析

利用Kinect相機(jī)采集人體體育運(yùn)動的三維骨骼數(shù)據(jù)，該Kinect相機(jī)的基本信息如表1所示。

表1Kinect相機(jī)的基本信息

以立定跳遠(yuǎn)運(yùn)動員為例，其3D骨骼數(shù)據(jù)采集結(jié)果如圖1所示。

圖13D骨骼數(shù)據(jù)采集結(jié)果

分析圖1可知，本文方法可有效利用Kinect相機(jī)采集3D骨骼數(shù)據(jù)。為全面提取不同視角下的人體動作序列特征，利用本文方法在投影子空間下，將3D骨骼數(shù)據(jù)投影成主視圖、左視圖、俯視圖三個(gè)視角下的2D人體動作序列。以主視圖與左視圖為例，投影結(jié)果如圖2所示。

分析圖2a）與圖2b）可知，本文方法在投影空間下，可有效處理3D骨骼數(shù)據(jù)，得到不同視角的2D人體動作序列，為后續(xù)2D人體動作序列特征提取提供更為全面的數(shù)據(jù)支持。

以立定跳遠(yuǎn)運(yùn)動員為例，利用本文方法預(yù)測該名運(yùn)動員的人體動作序列，預(yù)測結(jié)果如圖3所示。

分析圖3a）與圖3b）可知，本文方法可有效依據(jù)歷史2D人體動作序列，預(yù)測該立定跳遠(yuǎn)運(yùn)動員的人體動作序列。

為驗(yàn)證本文方法的有效性，分別將文獻(xiàn)[4-7]中的4種方法作為對比方法，在不同視角下進(jìn)行人體動作序列預(yù)測，通過決定系數(shù)衡量5種方法的預(yù)測精度，決定系數(shù)越接近1，說明預(yù)測精度越高。決定系數(shù)分析結(jié)果如圖4所示。

圖22D人體動作序列的投影結(jié)果

圖3立定跳遠(yuǎn)人體動作序列預(yù)測結(jié)果

分析圖4可知，在不同視角下，上述5種方法均可完成人體動作序列預(yù)測，視角變化對本文方法的人體動作序列預(yù)測結(jié)果影響較小。在不同視角下，本文方法的決定系數(shù)均顯著高于其他4種方法，即本文方法的人體動作序列預(yù)測精度最高。

3結(jié)論

投影子空間方法能夠全面表征人體運(yùn)動，提高人體動作序列預(yù)測精度。為此，本文提出一種投影子空間下人體動作序列預(yù)測方法。在投影子空間下，將Kinect相機(jī)采集的3D人體動作轉(zhuǎn)換成主視圖、左視圖與俯視圖不同視角的2D人體動作序列；所采用的多鄰域全局自適應(yīng)圖神經(jīng)網(wǎng)絡(luò)以自適應(yīng)圖卷積為編碼器，在3個(gè)視角的2D人體動作序列內(nèi)全面提取各視角的2D人體動作序列特征，提高網(wǎng)絡(luò)對視角變化的魯棒性；再以基于多鄰域全局自適應(yīng)圖卷積的門控循環(huán)單元為解碼器，結(jié)合人體動作序列特征，得到各視角下的人體動作序列預(yù)測結(jié)果；最后采用融合模塊，通過投票融合策略融合各視角的動作序列預(yù)測結(jié)果，得到最終預(yù)測結(jié)果。

圖4決定系數(shù)分析結(jié)果

實(shí)驗(yàn)結(jié)果表明，該方法在體育運(yùn)動員動作序列預(yù)測方面的精度相比其他方法有顯著提升，可為人體動作序列預(yù)測方法的發(fā)展和應(yīng)用奠定堅(jiān)實(shí)基礎(chǔ)。

注：本文通訊作者為章璐璐。

參考文獻(xiàn)

[1]蘇本躍，郭夢娟，朱邦國，等.順序主導(dǎo)和方向驅(qū)動下基于點(diǎn)邊特征的人體動作識別方法[J].控制與決策，2024，39（9）：3090-3098.

[2]吳哲夫，閆鑫悅，施漢銀，等.基于雙流CNN-BiLSTM的毫米波雷達(dá)人體動作識別方法[J].傳感技術(shù)學(xué)報(bào)，2024，37（10）：1754-1763.

[3]王楊，許佳煒，王傲，等.基于CSI實(shí)例標(biāo)準(zhǔn)化的域泛化人體動作識別模型[J].通信學(xué)報(bào)，2024，45（6）：196-209.

[4]王輝，丁鉑.三維點(diǎn)云表示的人體動作序列預(yù)測[J].應(yīng)用科學(xué)學(xué)報(bào)，2023，41（3）：461-475.

[5]黎鑫，許聞，李瑣，等.關(guān)節(jié)點(diǎn)位置關(guān)系時(shí)空變化模型的人體姿態(tài)預(yù)測[J].微電子學(xué)與計(jì)算機(jī)，2025，42（1）：45-54.

[6]高德勇，康自兵，王松，等.利用卷積塊注意力機(jī)制識別人體動作的方法[J].西安電子科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2022，49（4）：144-155.

[7]葉典，邱衛(wèi)根，張立臣，等.基于2S-LSGCN的人體動作識別[J].計(jì)算機(jī)工程與設(shè)計(jì)，2022，43（2）：510-516.

[8]蘇本躍，張鵬，朱邦國，等.投影子空間下基于骨骼邊信息的人體動作識別[J].系統(tǒng)仿真學(xué)報(bào)，2024，36（3）：555-563.

[9]毛國君，王一錦.融合內(nèi)外依賴的人體骨架動作識別模型[J].計(jì)算機(jī)工程與應(yīng)用，2023，59（21）：132-140.

[10]路永樂，羅毅，肖軒，等.改進(jìn)TCN結(jié)合Bi-GRU的人體動作識別方法[J].重慶郵電大學(xué)學(xué)報(bào)（自然科學(xué)版），2024，36（5）：1015-1022.

[11]郭宗洋，劉立東，蔣東華，等.基于語義引導(dǎo)神經(jīng)網(wǎng)絡(luò)的人體動作識別算法[J].圖學(xué)學(xué)報(bào)，2024，45（1）：26-34.

[12]王曉路，汶建榮.基于運(yùn)動-時(shí)間感知的人體動作識別方法[J].計(jì)算機(jī)工程，2025，51（1）：216-224.

[13]劉豐平，杜遠(yuǎn)坤，侯惠芳.深度學(xué)習(xí)算法下多模態(tài)人體動作實(shí)時(shí)跟蹤仿真[J].計(jì)算機(jī)仿真，2024，41（9）：157-161.

[14]李晶晶，黃章進(jìn)，鄒露.基于運(yùn)動引導(dǎo)圖卷積網(wǎng)絡(luò)的人體動作識別[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2024，36（7）：1077-1086.

[15]馬騰，杜江.基于加權(quán)子空間投影的改進(jìn)空間平滑DOA估計(jì)算法[J].電子設(shè)計(jì)工程，2022，30（18）：46-51.

作者簡介：岳曉玉（1987—），女，山東菏澤人，博士研究生，講師，研究方向?yàn)橛?jì)算機(jī)應(yīng)用。章璐璐（1975—），女，江蘇鎮(zhèn)江人，碩士研究生，副教授，研究方向?yàn)橛?jì)算機(jī)應(yīng)用。