李昊璇，李旭濤

(山西大學(xué) 物理電子工程學(xué)院，山西 太原 030006)

人工智能(Artificial Intelligence)已被我國(guó)政府提升為國(guó)家戰(zhàn)略，推動(dòng) AI 技術(shù)進(jìn)步是我國(guó)搶占科技競(jìng)爭(zhēng)主動(dòng)權(quán)的重要舉措。人類(lèi)動(dòng)作識(shí)別是人工智能中重要的分支之一，基于深度學(xué)習(xí)的骨架動(dòng)作識(shí)別方法主要分為：基于循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)、基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)和基于圖卷積網(wǎng)絡(luò)(Graph Convolutional Network，GCN)3類(lèi)。早期基于深度學(xué)習(xí)的研究方法主要使用RNN和CNN來(lái)提取關(guān)節(jié)之間的顯式特征。如Du等[1]使用RNN并逐層融合特征來(lái)識(shí)別骨架動(dòng)作，但相近的動(dòng)作卻難以識(shí)別準(zhǔn)確；Fan等[2]設(shè)計(jì)了3階段的CNN網(wǎng)絡(luò)，通過(guò)特征提取、通道融合、多任務(wù)集成學(xué)習(xí)進(jìn)行動(dòng)作分類(lèi)，但這些方法過(guò)多地關(guān)注了周?chē)矬w及無(wú)關(guān)背景，或是使用龐大的網(wǎng)絡(luò)，同時(shí)學(xué)習(xí)到很多無(wú)關(guān)的特征，準(zhǔn)確率不能滿(mǎn)足使用的需求。

近年來(lái)，基于骨架數(shù)據(jù)的圖結(jié)構(gòu)研究多了起來(lái)，原因在于圖對(duì)骨架數(shù)據(jù)的優(yōu)質(zhì)表達(dá)，只關(guān)注對(duì)人體動(dòng)作識(shí)別有效的人體姿勢(shì)，通過(guò)對(duì)不同關(guān)節(jié)運(yùn)動(dòng)變化的學(xué)習(xí)，準(zhǔn)確地學(xué)習(xí)每一動(dòng)作的特征，使其在骨架動(dòng)作識(shí)別方面大放光彩。基于圖的結(jié)構(gòu)，Yan等[3]在2018年首先提出時(shí)空?qǐng)D卷積網(wǎng)絡(luò)(Spatial Temporal Graph Convolutional Network，ST-GCN)利用圖卷積網(wǎng)絡(luò)來(lái)識(shí)別骨架動(dòng)作。之后，在圖卷積領(lǐng)域的研究愈發(fā)多了起來(lái)，如基于GCN進(jìn)行了更加充分的研究，更多的基線(xiàn)網(wǎng)絡(luò)被提出[4-6]。

基于圖卷積的研究大多以ST-GCN為基線(xiàn)網(wǎng)絡(luò)，如多流圖卷積網(wǎng)絡(luò)(Multi-Stream Adaptive Graph Convolutional Network，MS-AAGCN)[7]，通道拓?fù)鋬?yōu)化(Channel-wise Topology Refinement Graph Convolution Network，CTR-GCN)[8]，使用10層時(shí)間空間交替的卷積來(lái)提取特征，這無(wú)疑會(huì)增加網(wǎng)絡(luò)訓(xùn)練的難度和復(fù)雜度。其中部分網(wǎng)絡(luò)，如JB-AAGCN以關(guān)節(jié)、骨骼及其各自的運(yùn)動(dòng)流分別訓(xùn)練網(wǎng)絡(luò)，然后探索不同的融合方式將其融合，增加了無(wú)形的訓(xùn)練時(shí)間，加大了訓(xùn)練難度。雙流圖卷積網(wǎng)絡(luò)(Two-Stream Adaptive Graph Convolutional Network，2s-AGCN)上的每次訓(xùn)練需要用4個(gè)GPU訓(xùn)練一天，這使得在大規(guī)模數(shù)據(jù)集上的參數(shù)調(diào)整異常艱難。

Zhang等[9]利用一階關(guān)節(jié)信息作為輸入，無(wú)法將相互聯(lián)系的關(guān)鍵點(diǎn)建模綜合考慮?；诖?，本文提出B-V模塊(Bone Velocity)在數(shù)據(jù)的預(yù)處理部分利用關(guān)節(jié)信息得到二階骨骼信息，并利用骨骼信息得到骨骼的運(yùn)動(dòng)信息，有利于識(shí)別肢體協(xié)同的動(dòng)作，增強(qiáng)數(shù)據(jù)的表達(dá)能力。

先前的網(wǎng)絡(luò)幾乎都是靜態(tài)非拓?fù)涞木W(wǎng)絡(luò)結(jié)構(gòu)，靜態(tài)即表示關(guān)節(jié)中的參數(shù)α是不可學(xué)習(xí)的，非拓?fù)浼礇](méi)有矩陣來(lái)學(xué)習(xí)關(guān)節(jié)之間的特征。本文提出拓?fù)浼?xì)化圖卷積特征融合模塊(Channel-eise Topology Feature Combination Graph Convolution，CTFC-GCN)，極大地提高了本文所提出網(wǎng)絡(luò)在空間特征上的表達(dá)。

在長(zhǎng)時(shí)間跨度的骨架視頻動(dòng)作識(shí)別上，時(shí)間流之間的聯(lián)系至關(guān)重要，雖然Zhang等[9]將空間最大池化和時(shí)間最大池化用于聚合時(shí)間流的特征，但時(shí)間流的特征聚合在池化之前是重要的，本文提出時(shí)間尺度上的時(shí)空特征注意力模塊(ST-Joint Attention,ST-ATT)，增強(qiáng)前后幀時(shí)間維度上的表達(dá)能力，能有效提高識(shí)別的準(zhǔn)確率。

針對(duì)上述問(wèn)題，本文提出了以SGN(Semantics-Guided Neural Network)為骨干網(wǎng)絡(luò)模型的骨架動(dòng)作識(shí)別網(wǎng)絡(luò)(Attention and topology-A with Semantics-Guided Neural Networks，AA-GCN)，在保證模型性能的前提下，對(duì)現(xiàn)有網(wǎng)絡(luò)進(jìn)行研究，主要貢獻(xiàn)如下：① 對(duì)數(shù)據(jù)流的輸入進(jìn)行了研究，提出二階的骨骼信息和運(yùn)動(dòng)信息同時(shí)作為輸入，高效利用數(shù)據(jù)信息; ② 將動(dòng)態(tài)非拓?fù)涞木W(wǎng)絡(luò)結(jié)構(gòu)變?yōu)榭蓪W(xué)習(xí)的動(dòng)態(tài)拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)，提出CTFC-GCN模塊; ③ 為增強(qiáng)時(shí)間維度的信息利用，探索注意力機(jī)制在圖卷積網(wǎng)絡(luò)的應(yīng)用，提出ST-ATT模塊。實(shí)驗(yàn)表明，本文所提AA-GCN能有效識(shí)別骨架動(dòng)作。

1 融合注意力機(jī)制和拓?fù)浣Y(jié)構(gòu)的語(yǔ)義圖卷積網(wǎng)絡(luò)

1.1 整體網(wǎng)絡(luò)設(shè)計(jì)

本文以SGN為baseline網(wǎng)絡(luò)，提出一種結(jié)合二階骨骼信息及運(yùn)動(dòng)信息，注意力機(jī)制和通道拓?fù)浼?xì)化模塊的骨架動(dòng)作識(shí)別網(wǎng)絡(luò)AA-SGN，網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，分別為B-V模塊，拓?fù)浼?xì)化圖卷積特征融合模塊CTFC-GCN，時(shí)空特征增強(qiáng)注意力模塊ST-ATT和時(shí)間流模塊。

圖1 AA-GCN網(wǎng)絡(luò)結(jié)構(gòu)

2-V模塊為數(shù)據(jù)處理模塊，將原始的關(guān)節(jié)信息處理成二階的骨骼信息(Bone)和運(yùn)動(dòng)流信息(Velocity)，利用兩層卷積網(wǎng)絡(luò)，把3通道的骨骼信息和運(yùn)動(dòng)流信息轉(zhuǎn)換成64通道，將其相加融合后的特征與對(duì)原始關(guān)節(jié)編碼后的高級(jí)特征進(jìn)行cat操作，送入3層通道拓?fù)浼?xì)化圖卷積CTR-GC中進(jìn)行通道的學(xué)習(xí)，并在每一個(gè)CTR-GC后加入1X1和1X3的卷積聚合通道的特征，組成CTFC-GCN模塊，在空間流模塊后加入ST-ATT注意力機(jī)制來(lái)關(guān)聯(lián)圖卷積學(xué)習(xí)到的位置及時(shí)間特征，強(qiáng)化對(duì)關(guān)節(jié)點(diǎn)特征的通道表述，為時(shí)間流模塊的特征學(xué)習(xí)提取更多信息。

在時(shí)間流模塊融入時(shí)序特征的編碼，利用全局最大池化進(jìn)行全局時(shí)間特征的提取，只剩余時(shí)間特征，送入兩層卷積網(wǎng)絡(luò)進(jìn)行時(shí)間特征的學(xué)習(xí)，然后，再次進(jìn)行全局最大池化，利用全連接層對(duì)學(xué)習(xí)到的通道特征進(jìn)行人體動(dòng)作的識(shí)別。以下對(duì)每一模塊進(jìn)行細(xì)化分析。

1.2 B-V模塊

基于先前的研究，輸入網(wǎng)絡(luò)的數(shù)據(jù)預(yù)處理是十分重要的，一階關(guān)節(jié)信息(Joint)作為輸入，網(wǎng)絡(luò)提取到的特征有限，這極大地限制了模型的表達(dá)。二階信息為一階關(guān)節(jié)信息處理后的信息，如骨骼信息(Bone)，不僅包含了關(guān)節(jié)點(diǎn)信息，更是包含了關(guān)節(jié)之間的連接關(guān)系以及長(zhǎng)度，二階運(yùn)動(dòng)信息(Velocity)包含了輸入的每一幀運(yùn)動(dòng)信息，其中第一幀的運(yùn)動(dòng)信息為0，將每一關(guān)節(jié)點(diǎn)的細(xì)微變化建模，輸入網(wǎng)絡(luò)，使網(wǎng)絡(luò)學(xué)習(xí)到細(xì)微的關(guān)節(jié)運(yùn)動(dòng)特征，本文將二階特征進(jìn)行通道的特征轉(zhuǎn)換，經(jīng)過(guò)兩層CNN，提取為高級(jí)特征，再將其相加融合。

假定輸入網(wǎng)絡(luò)的初始關(guān)節(jié)坐標(biāo)X= {x∈Rn,c,t,v}，其中N,C,T,V分別代表輸入批次的大小batch_size、輸入的通道數(shù)、輸入的幀數(shù)以及輸入的三維關(guān)節(jié)點(diǎn)的數(shù)目，通過(guò)式(1)、式(2)分別得到骨架數(shù)據(jù)的二階骨骼信息和二階運(yùn)動(dòng)信息。

Bi1=x[：,：,i1,：]-x[：,：,i2,：]，

(1)

i1,i2分別代表相連接的關(guān)鍵點(diǎn)

V=x[：,：,：,1：]-x[：,：,：,0：-1].

(2)

由于最后一個(gè)維度為關(guān)節(jié)點(diǎn)維度，運(yùn)動(dòng)信息的獲取主要是從第二幀到最后一幀，減去第一幀到最后一幀的關(guān)節(jié)點(diǎn)位置，所以在式(2)之后需要在第一幀處補(bǔ)0(即第一幀運(yùn)動(dòng)信息為0)，得到完整的運(yùn)動(dòng)信息。

1.3 拓?fù)浼?xì)化圖卷積特征融合模塊

通道拓?fù)鋱D卷積(Channel-wise Topology Refinement Graph Convolution，CTR-GC)如圖2 所示，主要分為通道細(xì)化拓?fù)淠Ｐ?、特征轉(zhuǎn)換以及通道細(xì)化聚合模塊3部分。通道拓?fù)浼?xì)化模型中首先對(duì)輸入的特征進(jìn)行轉(zhuǎn)換，使用Φ和Ψ函數(shù)進(jìn)行通道維度的轉(zhuǎn)換，M表示對(duì)兩個(gè)函數(shù)轉(zhuǎn)換后的特征進(jìn)行激活(本文使用的激活函數(shù)為tanh函數(shù))，使其成為N×N的矩陣，隱式的建模學(xué)習(xí)關(guān)節(jié)之間的相關(guān)性。本文構(gòu)建3個(gè)拓?fù)浞枪蚕淼腁矩陣，分別為每一關(guān)節(jié)不同幀的自我連接、同一幀不同關(guān)節(jié)與中心關(guān)節(jié)的連接、同一幀相連接的關(guān)節(jié)。R矩陣由式(3)得到，其中α設(shè)定為可訓(xùn)練的參數(shù)。

圖2 CTR-GC

R=A+αQ.

(3)

特征轉(zhuǎn)換部分通過(guò)二維卷積，將輸入的特征轉(zhuǎn)換成高級(jí)特征。在通道聚合部分，每一個(gè)通道的R矩陣與通道轉(zhuǎn)換后的特征使用enisum函數(shù)即愛(ài)因斯坦求和運(yùn)算，得到最終的輸出。

CTFC-GCN由上述3個(gè)拓?fù)浣Y(jié)構(gòu)的CTR-GC及1×1和3×3的特征聚合卷積模塊組成，并加入殘差連接使網(wǎng)絡(luò)的訓(xùn)練更加穩(wěn)定，如圖3 所示。

圖3 CTFC-GCN

1.4 時(shí)空注意力模塊

先前基于骨架的注意力模塊主要有SENet中的SE注意力機(jī)制，Channel注意力，Joint注意力以及Song等[6]提出的Part注意力，許多論文的研究充分證明了注意力機(jī)制在骨架動(dòng)作識(shí)別的有效性。本文的ST-Joint Attention將關(guān)節(jié)維度及時(shí)間維度分別用二維卷積來(lái)提取特征，為各通道獲得不同的權(quán)重，如式(4)，式(5)所示。

x_t_att=W2(relu(BN(W1V1+b1)))+b2，

(4)

x_v_att=W2(relu(BN(W1V2+b1)))+b2，

(5)

式中：V1，V2分別為壓縮關(guān)節(jié)維度和時(shí)間維度得到的N×C×T和N×C×V的矩陣。

x_att=x_t_att×x_v_att.

(6)

通過(guò)式(6)得到ST-Joint Attention的注意力權(quán)重，注意力機(jī)制ST-ATT模塊如圖4 所示。

圖4 ST-ATT

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集及評(píng)估標(biāo)準(zhǔn)

NTU RGB+D Dataset[10](NTU60)是一個(gè)大規(guī)模的骨架動(dòng)作數(shù)據(jù)集，該數(shù)據(jù)集是由Kinect攝像機(jī)收集，包含56 880個(gè)3D骨架序列動(dòng)作，共有60個(gè)類(lèi)。此數(shù)據(jù)集的數(shù)據(jù)劃分方式主要有兩種。一種為Cross Subject(CS)設(shè)定，按演員的不同，其中20個(gè)演員的動(dòng)作用來(lái)訓(xùn)練網(wǎng)絡(luò)，剩余的用來(lái)測(cè)試；另一種為Cross-View(CV)設(shè)定，該數(shù)據(jù)集有3個(gè)攝像機(jī)拍攝，把2，3號(hào)攝像機(jī)的數(shù)據(jù)集用來(lái)訓(xùn)練，1號(hào)的數(shù)據(jù)集用來(lái)測(cè)試。

NTU120 RGB+D Dataset[11](NTU120)在NTU60的基礎(chǔ)上，作者進(jìn)行了數(shù)據(jù)的擴(kuò)充，增加到120個(gè)動(dòng)作類(lèi)，增加57 600個(gè)視頻動(dòng)作，共114 480個(gè)視頻，為了減小演員的干擾，把人數(shù)增加到106人。對(duì)于Cross Subject(CSub)設(shè)定，一半人數(shù)的視頻用來(lái)訓(xùn)練，其余人的視頻用于測(cè)試；對(duì)于Cross Setup(CSet)設(shè)定，把一半拍攝的數(shù)據(jù)用來(lái)訓(xùn)練，其余用于測(cè)試。

2.2 實(shí)驗(yàn)細(xì)節(jié)

網(wǎng)絡(luò)設(shè)定：B-V模塊通道時(shí)C1設(shè)定為64；把時(shí)間和空間的語(yǔ)義信息分別編碼成256和64通道；3層圖卷積的通道時(shí)分別設(shè)定為128，128，256；時(shí)間模塊的兩層卷積通道設(shè)定256和512。本文選取的激活函數(shù)均為Relu。

訓(xùn)練設(shè)定：本文實(shí)驗(yàn)基于python3.6，pytorch1.3，CUDA10.2，GPU2080Ti,優(yōu)化器選擇Adam，初始的學(xué)習(xí)率設(shè)定為0.001，訓(xùn)練策略為共90epoch，分別在第60，80epoch學(xué)習(xí)率減半，權(quán)重衰減為0.0001，bitch size大小設(shè)定為64。

數(shù)據(jù)處理：將每一個(gè)完整的視頻數(shù)據(jù)處理成20個(gè)片段，每次訓(xùn)練隨機(jī)選取一幀組成20幀的序列，使網(wǎng)絡(luò)的魯棒性更強(qiáng)，較其他網(wǎng)絡(luò)的數(shù)據(jù)處理方式，此方法極大降低了網(wǎng)絡(luò)訓(xùn)練的難度，并且使用更少的圖卷積就可使網(wǎng)絡(luò)達(dá)到很好的效果，在訓(xùn)練時(shí)間上優(yōu)于目前所提出的基線(xiàn)網(wǎng)絡(luò)。

2.3 消融實(shí)驗(yàn)

本文在3D骨架數(shù)據(jù)集NTU60數(shù)據(jù)集上的CS設(shè)定上進(jìn)行消融實(shí)驗(yàn)，其中A表示B-V模塊，B表示拓?fù)浼?xì)化圖卷積特征融合模塊CTFC-GCN，C表示本文的時(shí)間維度和空間維度注意力機(jī)制ST-ATT模塊。

由表1 可以看出，通道細(xì)化級(jí)的圖卷積網(wǎng)絡(luò)對(duì)網(wǎng)絡(luò)的提升較為明顯，合適的數(shù)據(jù)處理方式能夠在原網(wǎng)絡(luò)上有所提升，注意力機(jī)制的使用使本文所提網(wǎng)絡(luò)對(duì)動(dòng)作的識(shí)別分類(lèi)有很好的聚合作用。對(duì)每一模塊的缺失比較如表2 所示。

表1 各模塊的實(shí)驗(yàn)對(duì)比

表2 移除各模塊的實(shí)驗(yàn)對(duì)比

表2 表示每一模塊缺失對(duì)本文模型的影響。其中w/o A表示移除了B-V模塊；w/o B表示移除了拓?fù)浼?xì)化圖卷積特征融合模塊；w/o C表示移除了本文的注意力機(jī)制模塊。由表1 和表2 綜合比較可得，每一模塊的改動(dòng)均對(duì)網(wǎng)絡(luò)有一定的影響，其中+B+C會(huì)有0.4%的提升，+A會(huì)有0.1%的提升，但3個(gè)綜合也即本文的模型會(huì)有1%的提升，每個(gè)模塊的綜合價(jià)值會(huì)更高。

2.4 實(shí)驗(yàn)結(jié)果與分析

本文在NTU60，NTU120兩個(gè)大數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，與近年來(lái)提出的網(wǎng)絡(luò)進(jìn)行對(duì)比，從而證明本文所提模型的有效性，如圖5、表3、表4 所示。

圖5 NTU60數(shù)據(jù)集的可視化結(jié)果

表3 NTU60數(shù)據(jù)集的實(shí)驗(yàn)精度對(duì)比

表4 NTU120數(shù)據(jù)集的實(shí)驗(yàn)精度對(duì)比

在這些方法中，文獻(xiàn)[3]提出時(shí)空?qǐng)D卷積網(wǎng)絡(luò)用于骨架動(dòng)作識(shí)別；文獻(xiàn)[6]提出使用多流的數(shù)據(jù)來(lái)提升網(wǎng)絡(luò)的準(zhǔn)確率；文獻(xiàn)[11]提出動(dòng)作結(jié)構(gòu)圖卷積網(wǎng)絡(luò)(Actional-Structural Graph Convolutional Network，AS-GCN); 文獻(xiàn)[12]提出自適應(yīng)網(wǎng)絡(luò)(View Adaptive Neural Network, VA-NN)探索了角度對(duì)動(dòng)作識(shí)別結(jié)果的影響，對(duì)視頻視角進(jìn)行調(diào)整；文獻(xiàn)[13]提出預(yù)測(cè)編碼圖卷積網(wǎng)絡(luò)(Predictively Encoded Graph Convolutional Network，PE-GCN)噪聲的大小對(duì)網(wǎng)絡(luò)的影響，作者人為地引入不同等級(jí)的噪聲，旨在訓(xùn)練魯棒性更強(qiáng)的模型；文獻(xiàn)[14]首次使用提取視頻中的某些幀來(lái)進(jìn)行一次的訓(xùn)練，多個(gè)epoch能使網(wǎng)絡(luò)獲得較為滿(mǎn)意的性能，且網(wǎng)絡(luò)易于訓(xùn)練；文獻(xiàn)[15]提出高效圖卷積(Efficient Graph Convolutional Network，EFFICIENTGCN)探索了多種注意力機(jī)制在時(shí)空?qǐng)D卷積網(wǎng)絡(luò)上的應(yīng)用，提出更加輕量穩(wěn)定的基線(xiàn)網(wǎng)絡(luò)；文獻(xiàn)[17]提出擴(kuò)展的分層時(shí)態(tài)卷積網(wǎng)絡(luò)(Dilated Hierarchical Temporal Convolutional Network，DH-TCN)對(duì)時(shí)許和骨骼點(diǎn)編碼，提取短期和長(zhǎng)期依賴(lài)關(guān)系。

表3 展示了本文提出的AA-GCN網(wǎng)絡(luò)與SGN網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果對(duì)比，4種不同的動(dòng)作可視化包括(a)手指對(duì)方、(b)擁抱、(c)給別人東西和(d)吃飯，圖5 中(1)，(2)分別為SGN和AA-GCN的預(yù)測(cè)結(jié)果，本文模型對(duì)這4類(lèi)易錯(cuò)的動(dòng)作識(shí)別有較好的準(zhǔn)確度，可以看出(d)吃飯與摘眼睛由于手臂的細(xì)微動(dòng)作，兩種模型均不能有較好的結(jié)果，在(a)手指對(duì)方、(c)給別人東西兩種動(dòng)作上，本文效果更好，證明本文模型準(zhǔn)確度高于SGN網(wǎng)絡(luò)模型。

由表3 可以看出，對(duì)準(zhǔn)確率影響最高的是拓?fù)浼?xì)化圖卷積特征融合模塊，這也是本文主要的圖卷積特征學(xué)習(xí)模塊，充分表現(xiàn)了其有效性。

通過(guò)表3 和 表4 的實(shí)驗(yàn)結(jié)果可知，二階特征的提出使模型獲得了更加豐富的信息，通道化拓?fù)渚矸e使模型在多類(lèi)動(dòng)作識(shí)別上表現(xiàn)優(yōu)異，在NTU120數(shù)據(jù)集上提升效果更加明顯，與目前先進(jìn)的基線(xiàn)如EFFICIENT相比，其準(zhǔn)確率更高，并且訓(xùn)練難度大大降低，訓(xùn)練時(shí)間更短。

3 結(jié)束語(yǔ)

本文以語(yǔ)義引導(dǎo)圖網(wǎng)絡(luò)SGN為基線(xiàn)，對(duì)原始關(guān)節(jié)信息的特征信息進(jìn)行多流的處理，得到骨骼數(shù)據(jù)流和運(yùn)動(dòng)信息流，有效地利用了數(shù)據(jù)。針對(duì)網(wǎng)絡(luò)特征學(xué)習(xí)的不足，對(duì)SGN的自注意圖卷積模塊進(jìn)行改進(jìn)，提出通道細(xì)化圖卷積特征融合模塊，使網(wǎng)絡(luò)可以針對(duì)動(dòng)作類(lèi)的不同，動(dòng)態(tài)地學(xué)習(xí)與其相符的拓?fù)渚仃嚕诙囝?lèi)動(dòng)作數(shù)據(jù)集上提升較為明顯，在NTU120數(shù)據(jù)集的CSub,CSet上達(dá)到了84.9%和86.1%的準(zhǔn)確率，提升了5.7%和4.6%的準(zhǔn)確率。在真實(shí)場(chǎng)景下，動(dòng)作的遮掩和動(dòng)作的復(fù)雜性，使得到準(zhǔn)確的關(guān)節(jié)點(diǎn)數(shù)據(jù)往往依賴(lài)于高效的姿態(tài)估計(jì)模型或姿態(tài)采集設(shè)備。對(duì)姿態(tài)估計(jì)算法有較為深入的研究，并將其與該模型結(jié)合，才能更好地發(fā)揮本文模型的作用，實(shí)現(xiàn)其應(yīng)用價(jià)值。