毛國(guó)君，王一錦

1.福建工程學(xué)院 計(jì)算機(jī)科學(xué)與數(shù)學(xué)學(xué)院，福州 350118

2.福建工程學(xué)院 福建省大數(shù)據(jù)挖掘與應(yīng)用重點(diǎn)實(shí)驗(yàn)室，福州 350118

作為計(jì)算機(jī)視覺(jué)的一個(gè)活躍分支，人體動(dòng)作識(shí)別對(duì)于視頻理解和分析起著重要作用，目前已經(jīng)被廣泛應(yīng)用于應(yīng)急檢測(cè)[1]、人機(jī)交互[2]等領(lǐng)域。人體動(dòng)作識(shí)別可以通過(guò)多種方法來(lái)完成，如RGB 圖像序列[3]、深度圖像序列[4]、人體動(dòng)態(tài)骨架[5-6]等。相比其他的方法，骨架數(shù)據(jù)對(duì)復(fù)雜背景和場(chǎng)景變化具有更好的魯棒性。因此，基于動(dòng)態(tài)骨架的人體動(dòng)作識(shí)別（簡(jiǎn)稱(chēng)骨架動(dòng)作識(shí)別）成為近年重點(diǎn)關(guān)注的研究領(lǐng)域[7-8]。

骨架動(dòng)作識(shí)別的核心是骨架節(jié)點(diǎn)的特征提取和分析。按照特征提取方式可以分為基于手工特征提取方法和基于深度學(xué)習(xí)的特征分析方法?；谑止ぬ卣魈崛》椒ㄖ饕ㄟ^(guò)物理直覺(jué)來(lái)設(shè)計(jì)節(jié)點(diǎn)特征，然后進(jìn)行骨架圖的特征分析。已有的工作包括：基于相對(duì)位置計(jì)算的關(guān)節(jié)特征提取[9]、基于平移和旋轉(zhuǎn)等評(píng)估的特征分析[10]、基于特征編碼[11]等。毋容置疑，手工特征提取方法主觀性強(qiáng)、難度大，其效果很難令人滿(mǎn)意。

隨著深度學(xué)習(xí)的不斷升溫，利用深度學(xué)習(xí)來(lái)實(shí)現(xiàn)骨架數(shù)據(jù)的自動(dòng)特征提取和分析得到充分研究，其中循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural networks，RNN）和卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）是該應(yīng)用領(lǐng)域使用最多的技術(shù)?；赗NN的方法一般將骨架數(shù)據(jù)編碼為一組特征向量（每一個(gè)特征向量對(duì)應(yīng)一個(gè)關(guān)節(jié)），然后將這些特征向量輸入RNN 網(wǎng)絡(luò)完成學(xué)習(xí)[12-14]。基于CNN 的方法通常將骨架數(shù)據(jù)編碼成偽圖像輸入到CNN網(wǎng)絡(luò)中來(lái)提取特征[15-17]。然而，這兩種技術(shù)都很少探索人體關(guān)節(jié)之間的空間依賴(lài)關(guān)系，導(dǎo)致錯(cuò)過(guò)了大量的相關(guān)信息。

事實(shí)上，人體骨架天然構(gòu)成了一個(gè)以關(guān)節(jié)為節(jié)點(diǎn)、關(guān)節(jié)間的連通性為邊的圖結(jié)構(gòu)，所以借助于圖學(xué)習(xí)手段來(lái)實(shí)現(xiàn)骨架動(dòng)作識(shí)別具有很好的研究?jī)r(jià)值。近年來(lái)，圖卷積網(wǎng)絡(luò)[18-19]（graph convolutional networks，GCN）作為一種新型的圖學(xué)習(xí)技術(shù)能夠直接輸入和處理圖結(jié)構(gòu)數(shù)據(jù)，已經(jīng)在許多領(lǐng)域獲得了不錯(cuò)的應(yīng)用效果，如圖像分類(lèi)[20]、半監(jiān)督學(xué)習(xí)[21]等。因此，利用GCN 來(lái)分析骨架數(shù)據(jù)的空間屬性具有天然的結(jié)構(gòu)優(yōu)勢(shì)。同時(shí)，在GCN 處理圖的框架下，可以將不同時(shí)刻的骨架數(shù)據(jù)看作是圖結(jié)構(gòu)的動(dòng)態(tài)數(shù)據(jù)變化，進(jìn)而通過(guò)時(shí)空?qǐng)D建模來(lái)實(shí)現(xiàn)骨架數(shù)據(jù)的動(dòng)態(tài)學(xué)習(xí)。

2018 年，Yan 等人[22]提出了一種時(shí)空?qǐng)D卷積網(wǎng)絡(luò)（spatial temporal graph convolutional networks，STGCN）。它可以自動(dòng)提取嵌入到關(guān)節(jié)間的空間特征和動(dòng)態(tài)的時(shí)間特征，是目前比較典型的利用時(shí)空?qǐng)D學(xué)習(xí)來(lái)解決骨架動(dòng)作識(shí)別的工作之一。然而，ST-GCN也存在很多問(wèn)題，主要包括：（1）ST-GCN的圖是根據(jù)人體的物理骨架預(yù)先定義的，缺乏靈活性，例如雙手在拍手、擁抱等動(dòng)作中有著很強(qiáng)的依賴(lài)關(guān)系，然而在固定的骨架圖中，這種聯(lián)系卻不存在。（2）ST-GCN只利用了骨架數(shù)據(jù)的一階信息（關(guān)節(jié)的坐標(biāo)），而忽視了二階信息（骨骼的長(zhǎng)度和方向），而二階信息對(duì)于動(dòng)作識(shí)別具有更強(qiáng)的辨別能力。（3）ST-GCN的結(jié)構(gòu)由時(shí)間卷積層和空間卷積層交錯(cuò)堆疊，這樣分解的三維結(jié)構(gòu)難以處理復(fù)雜的跨時(shí)空信息。（4）ST-GCN 的魯棒性和可擴(kuò)展性差。針對(duì)這些問(wèn)題，研究者對(duì)此進(jìn)行了深入研究。Li等人[23]引入了一個(gè)編碼器-解碼器推理模塊，該模塊可以從動(dòng)作中捕獲潛在的空間依賴(lài)關(guān)系并結(jié)合人體結(jié)構(gòu)圖組合了一個(gè)更加廣義的骨架圖結(jié)構(gòu)。Shi等人[24]提出了一種新的雙流自適應(yīng)圖卷積網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過(guò)數(shù)據(jù)驅(qū)動(dòng)的方式自動(dòng)學(xué)習(xí)圖的拓?fù)浣Y(jié)構(gòu)，增加了模型的靈活性，另外，采用雙流架構(gòu)融合了骨架數(shù)據(jù)的一階信息和二階信息，顯著提高了識(shí)別精度。針對(duì)現(xiàn)有的時(shí)空?qǐng)D僅局限于分解的三維卷積，Liu等人[25]提出了一種統(tǒng)一的時(shí)空算子G3D，該算子允許信息直接跨時(shí)空流動(dòng)，從而捕獲復(fù)雜的時(shí)空聯(lián)合依賴(lài)關(guān)系。受姿態(tài)估計(jì)算法的影響，STGCN 的魯棒性不強(qiáng)，針對(duì)這一問(wèn)題，Duan等人[26]使用3D熱圖體積來(lái)表示人體骨架，并通過(guò)3DCNN提取時(shí)空特征，該方法對(duì)姿態(tài)估計(jì)噪聲的魯棒性更好，易于與其他方法（如光流、RGB）集成，能夠處理多人場(chǎng)景而不增加額外計(jì)算成本。該方法第一次使用3DCNN來(lái)處理動(dòng)態(tài)骨架數(shù)據(jù)并達(dá)到了先進(jìn)的水平。

針對(duì)ST-GCN的圖結(jié)構(gòu)固定的缺陷，本文提出一種融合內(nèi)外依賴(lài)的時(shí)空?qǐng)D卷積網(wǎng)絡(luò)（spatial temporal graph convolutional networks integrated internal and external dependencies，IED-STGCN）。其核心思想主要是通過(guò)內(nèi)外兩個(gè)互補(bǔ)的鄰接矩陣來(lái)動(dòng)態(tài)地挖掘節(jié)點(diǎn)間的隱藏關(guān)系。值得說(shuō)明的是，IED-STGCN 是對(duì)ST-GCN 在某一方面進(jìn)行的改進(jìn)，與AS-GCN、2s-AGCN、MS-G3D、PoseConv3D這些優(yōu)秀而全面的模型相比還存在著一定的差距。但是，現(xiàn)有的模型愈發(fā)趨于復(fù)雜，實(shí)現(xiàn)難度也越來(lái)越大，因此設(shè)計(jì)更加簡(jiǎn)單有效的算法可能是未來(lái)人體動(dòng)作識(shí)別任務(wù)的一大趨勢(shì)。本文從骨架圖出發(fā)，僅通過(guò)設(shè)計(jì)鄰接矩陣來(lái)解決原有圖的局限性，思路簡(jiǎn)單，易于實(shí)現(xiàn)。另外，在現(xiàn)實(shí)世界中，圖的結(jié)構(gòu)并非總是先驗(yàn)的，動(dòng)態(tài)鄰接矩陣相比靜態(tài)鄰接矩陣具有更好的表征能力，因此本文所提的外在依賴(lài)概念可以集成到一般的圖卷積，具有較好的可擴(kuò)展性。本文的主要貢獻(xiàn)如下：

（1）將人體關(guān)節(jié)間的空間依賴(lài)關(guān)系劃分為內(nèi)在依賴(lài)和外在依賴(lài)，并分別用兩個(gè)互補(bǔ)的鄰接矩陣來(lái)表示。其中，內(nèi)在依賴(lài)代表了人體物理結(jié)構(gòu)中關(guān)節(jié)間的自然連接關(guān)系，而外在依賴(lài)代表了關(guān)節(jié)間的非物理連接關(guān)系，旨在獲取全局信息。

（2）根據(jù)兩個(gè)不同的鄰接矩陣分別構(gòu)造內(nèi)在依賴(lài)圖卷積（internal dependencies graph convolution，IGC）和外在依賴(lài)圖卷積（external dependencies graph convolution，EGC），并通過(guò)分配不同的邊權(quán)重和特征權(quán)重來(lái)進(jìn)行自主學(xué)習(xí)。其中，外在依賴(lài)對(duì)應(yīng)的鄰接矩陣通過(guò)邊權(quán)重矩陣成為一個(gè)可學(xué)習(xí)的鄰接矩陣，它能動(dòng)態(tài)地預(yù)測(cè)生成關(guān)節(jié)間的非物理連接以及連接的強(qiáng)度，而這種學(xué)習(xí)到的非局部連接可能對(duì)識(shí)別任務(wù)起著關(guān)鍵作用。

（3）融合IGC和EGC構(gòu)成內(nèi)外依賴(lài)圖卷積（internalexternal dependencies graph convolution，IEGC）作為IED-STGCN的空間卷積模塊。由于圖卷積在人體固有結(jié)構(gòu)的基礎(chǔ)上考量了外在依賴(lài)的影響，因而提高了模型對(duì)全局信息的感知能力，使提取到的特征信息更加豐富。

1 時(shí)空?qǐng)D建模

人體骨架結(jié)構(gòu)用圖來(lái)表示，其中圖的節(jié)點(diǎn)表示人體骨架中的關(guān)節(jié)，圖中的邊是關(guān)節(jié)間的連通性的表達(dá)。圖的邊被分成兩類(lèi)：一類(lèi)是關(guān)節(jié)間存在的一種自然物理連接關(guān)系，稱(chēng)之為內(nèi)在依賴(lài)；另一類(lèi)是人為設(shè)置的節(jié)點(diǎn)間的連接關(guān)系，稱(chēng)之為外在依賴(lài)。本文的骨架時(shí)空?qǐng)D建模是同時(shí)考慮內(nèi)、外依賴(lài)關(guān)系來(lái)構(gòu)造的。

圖1給出了一個(gè)行走動(dòng)作有關(guān)的骨架圖示例，其中圖的節(jié)點(diǎn)是藍(lán)色實(shí)心圓點(diǎn)，而藍(lán)色實(shí)線(xiàn)的邊代表內(nèi)在依賴(lài)，藍(lán)色虛線(xiàn)的邊代表重點(diǎn)關(guān)注的外在依賴(lài)。

圖1 行走動(dòng)作的內(nèi)外在依賴(lài)示意圖Fig.1 Example graph of internal and external dependence in walking action

如圖1 所示，在進(jìn)行人體動(dòng)作識(shí)別過(guò)程中，除了考慮人體關(guān)節(jié)的局部自然連接外（圖1中的實(shí)線(xiàn)），也重點(diǎn)關(guān)注了兩對(duì)手腳的互動(dòng)情況（圖1 中的虛線(xiàn)）。這樣擴(kuò)充后的結(jié)構(gòu)體現(xiàn)了人體活動(dòng)時(shí)手腳的聯(lián)動(dòng)以及對(duì)動(dòng)作類(lèi)型識(shí)別的影響，符合人體動(dòng)作行為學(xué)及日常經(jīng)驗(yàn)對(duì)應(yīng)的活動(dòng)規(guī)律。假設(shè)節(jié)點(diǎn)的特征用關(guān)節(jié)的3D 坐標(biāo)來(lái)表示，那么手腳聯(lián)動(dòng)規(guī)律就反映在它們相對(duì)位置的變化上。因此，融合內(nèi)、外依賴(lài)關(guān)系可以有效彌補(bǔ)的骨架圖的天然缺陷、而且也符合骨架動(dòng)作識(shí)別的行為邏輯。

定義2（骨架時(shí)空?qǐng)D）給定一個(gè)時(shí)間序列為T(mén)={1 ,2,…,M}和骨架圖結(jié)構(gòu)G={V,Ea,Eb} ，對(duì)應(yīng)的骨架時(shí)空?qǐng)D表示為STG={Gt|t∈[1 ,2,…,M]}，其中Gt表示時(shí)刻t上對(duì)應(yīng)的骨架圖，Ea和Eb分別是時(shí)刻t上內(nèi)在和外在依賴(lài)對(duì)應(yīng)的邊集。

骨架時(shí)空?qǐng)D包含了空間和時(shí)間信息。空間信息包含在骨架圖的結(jié)構(gòu)中，時(shí)間信息則體現(xiàn)在不同時(shí)刻的圖時(shí)序序列上如圖2 所示，給定一段動(dòng)作視頻，假設(shè)每幀采集一組骨架圖數(shù)據(jù)，連續(xù)M幀的骨架圖數(shù)據(jù)就可以看作是M個(gè)連續(xù)時(shí)刻的時(shí)間序列上的骨架時(shí)空?qǐng)D。這樣，接下來(lái)的問(wèn)題就是要找到合適的模型和方法來(lái)處理骨架時(shí)空?qǐng)D，完成人體骨架的動(dòng)作識(shí)別。因此，本文將采用內(nèi)外依賴(lài)融合的空間圖卷積方法來(lái)處理骨架時(shí)空?qǐng)D的空間位置信息，同時(shí)利用時(shí)間卷積方法來(lái)提取和分析隨時(shí)間演化的關(guān)節(jié)特征數(shù)據(jù)的變化。

2 模型設(shè)計(jì)與分析

本文模型主要是由時(shí)空卷積層為基本計(jì)算單元堆疊而成。每個(gè)時(shí)空卷積層又由空間卷積模塊和時(shí)間卷積模塊構(gòu)成。本章將采用自底向上的方法，首先設(shè)計(jì)空間卷積模塊和時(shí)間卷積模塊，然后在此基礎(chǔ)上設(shè)計(jì)時(shí)空卷積層，最后對(duì)學(xué)習(xí)網(wǎng)絡(luò)的總體結(jié)構(gòu)進(jìn)行闡釋。

2.1 空間卷積模塊設(shè)計(jì)

本文空間卷積模塊設(shè)計(jì)為融合了內(nèi)外依賴(lài)關(guān)系的IEGC，它是由IGC 和EGC 融合而成。內(nèi)在依賴(lài)圖卷積用于提取內(nèi)在依賴(lài)下的節(jié)點(diǎn)特征，外在依賴(lài)圖卷積通過(guò)外在依賴(lài)分析節(jié)點(diǎn)特征。

2.1.1 內(nèi)在依賴(lài)圖卷積

IGC 最簡(jiǎn)單和直接的方式是利用單標(biāo)簽圖卷積技術(shù)對(duì)其建模[21]。單標(biāo)簽圖卷積簡(jiǎn)單直接，但是所有鄰域節(jié)點(diǎn)需要共享權(quán)重向量來(lái)完成卷積計(jì)算過(guò)程。這就相當(dāng)于權(quán)重向量與平均特征向量做簡(jiǎn)單的內(nèi)積操作，很容易引起圖的局部差分性質(zhì)的丟失，導(dǎo)致鄰域節(jié)點(diǎn)的標(biāo)簽同質(zhì)化。因此，對(duì)內(nèi)在依賴(lài)的建模中采用了多標(biāo)簽圖卷積的形式。

定義3（多標(biāo)簽圖卷積）給定骨架圖G={V,Ea,Eb} ，?vi∈V，設(shè)它的內(nèi)在依賴(lài)對(duì)應(yīng)的鄰域?yàn)锽(vi)={vj|vj,vi∈Ea} 。假設(shè)存在一個(gè)映射函數(shù)li:B(vi)→{0,1,…,K-1} ，使得該鄰域內(nèi)的每個(gè)節(jié)點(diǎn)對(duì)應(yīng)且只對(duì)應(yīng)一個(gè)數(shù)字標(biāo)簽。這種鄰域節(jié)點(diǎn)設(shè)置多數(shù)字標(biāo)簽的方法被稱(chēng)為多標(biāo)簽技術(shù)，基于多標(biāo)簽技術(shù)的圖卷積通過(guò)公式（1）來(lái)完成：

當(dāng)然，多標(biāo)簽的設(shè)置方法與應(yīng)用的需要直接相關(guān)。就本文關(guān)注的人體動(dòng)作識(shí)別而言，依據(jù)關(guān)節(jié)到人體重心的距離將其鄰域劃分為三個(gè)子集：根節(jié)點(diǎn)、向心節(jié)點(diǎn)集、離心節(jié)點(diǎn)集，對(duì)應(yīng)的數(shù)字標(biāo)簽分別設(shè)為0、1、2。

定義4（根節(jié)點(diǎn)、向心節(jié)點(diǎn)集、離心節(jié)點(diǎn)集）給定骨架圖G={ }V,Ea,Eb。?vi∈V，其鄰域可以劃分為三個(gè)子集：（1）該關(guān)節(jié)本身，被稱(chēng)為根節(jié)點(diǎn)；（2）向心節(jié)點(diǎn)集，比根節(jié)點(diǎn)更靠近人體重心的所有節(jié)點(diǎn)；（3）離心節(jié)點(diǎn)集，比根節(jié)點(diǎn)更遠(yuǎn)離人體重心的節(jié)點(diǎn)。

定義4對(duì)應(yīng)的數(shù)學(xué)刻畫(huà)如公式（2）所示：

其中，li(vj)是鄰居節(jié)點(diǎn)vj的數(shù)字標(biāo)簽；c是人體重心的位置；d是兩個(gè)關(guān)節(jié)位置的距離函數(shù)。

圖3 給出了基于多標(biāo)簽圖卷積概念的人體骨架結(jié)構(gòu)示意圖，其中綠色節(jié)點(diǎn)代表根節(jié)點(diǎn)本身，對(duì)應(yīng)的數(shù)字標(biāo)簽為0；藍(lán)色節(jié)點(diǎn)代表向心節(jié)點(diǎn)，對(duì)應(yīng)的數(shù)字標(biāo)簽為1；黃色節(jié)點(diǎn)代表離心節(jié)點(diǎn)，對(duì)應(yīng)的數(shù)字標(biāo)簽為2；而黑色十字代表了人體重心。

圖3 根節(jié)點(diǎn)、向心節(jié)點(diǎn)集和離心節(jié)點(diǎn)集Fig.3 Root node，centripetal node set and centrifugal node set

定義3 和定義4 的多數(shù)字標(biāo)簽卷積方法，通過(guò)區(qū)分人體關(guān)節(jié)運(yùn)動(dòng)的向心或離心運(yùn)動(dòng)趨勢(shì)，對(duì)一個(gè)關(guān)節(jié)的鄰居節(jié)點(diǎn)實(shí)現(xiàn)了差異化卷積計(jì)算，以降低圖卷積存在的所謂“過(guò)平滑”風(fēng)險(xiǎn)。過(guò)平滑是GCN模型普遍存在的瓶頸問(wèn)題之一[27]。圖卷積和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)計(jì)算不同，它不僅需要考慮一個(gè)節(jié)點(diǎn)本身的特征，而且也聚合鄰居節(jié)點(diǎn)的特征信息。這樣，隨著迭代次數(shù)的增多，極易使相鄰節(jié)點(diǎn)趨同，出現(xiàn)所謂的過(guò)平滑現(xiàn)象。過(guò)平滑現(xiàn)象的直接危害就是使節(jié)點(diǎn)的局部區(qū)分度降低，從而相鄰的節(jié)點(diǎn)的特征難以辨別。從這個(gè)意義上說(shuō)，定義4可以有效地提升局部節(jié)點(diǎn)的區(qū)分度，使人體運(yùn)動(dòng)的識(shí)別更精準(zhǔn)。

定義5（內(nèi)在依賴(lài)圖卷積）使用定義4 的多數(shù)字標(biāo)簽技術(shù)，一個(gè)骨架圖的內(nèi)在依賴(lài)下的原始鄰接矩陣A可以分解成3個(gè)子鄰接矩陣。即：

其中，Ar、Ap和Aq分別被稱(chēng)作根鄰接矩陣、向心鄰接矩陣和離心鄰接矩陣，Q={ }r,p,f。對(duì)應(yīng)的內(nèi)在依賴(lài)圖卷積可以用公式（4）完成計(jì)算：

2.1.2 外在依賴(lài)圖卷積

對(duì)于人體動(dòng)作而言，任何兩個(gè)關(guān)節(jié)間都有可能存在聯(lián)系，而且都可能對(duì)動(dòng)作的識(shí)別存在不同程度的影響，這正是外在依賴(lài)圖卷積的主要?jiǎng)訖C(jī)。

定義6（外在依賴(lài)圖卷積）根據(jù)定義1，外在依賴(lài)關(guān)系用鄰接矩陣B表示，那么基于外在依賴(lài)的圖卷積表達(dá)式如公式（5）所示：

其中，Db是鄰接矩陣B對(duì)應(yīng)的度矩陣；Mb和Wb分別是外在依賴(lài)圖卷積的邊權(quán)重矩陣和特征權(quán)重矩陣；Fin和Fb分別代表外在依賴(lài)下的圖卷積的輸入和輸出特征。

2.1.3 內(nèi)外依賴(lài)圖卷積

內(nèi)在依賴(lài)代表了人體的局部物理結(jié)構(gòu)，而外在依賴(lài)表達(dá)了人體識(shí)別中的關(guān)節(jié)之間的非物理隱含關(guān)系。因此融合這兩種關(guān)系將會(huì)使得圖卷積提取的信息更加完整。

定義7（內(nèi)外依賴(lài)圖卷積）給定一個(gè)骨架圖的內(nèi)在依賴(lài)和外在依賴(lài)的鄰接矩陣A和B，那么內(nèi)外依賴(lài)圖卷積的數(shù)學(xué)表示如公式（6）所示：

其中，F(xiàn)out是內(nèi)外融合圖卷積的輸出特征，其他符號(hào)同公式（4）和（5）。

如圖4所示，輸入特征通過(guò)兩個(gè)不同的分支來(lái)分別處理人體骨架的內(nèi)在依賴(lài)和外在依賴(lài)，然后進(jìn)行內(nèi)外依賴(lài)融合計(jì)算獲得特征輸出。對(duì)于內(nèi)在依賴(lài)分支，通過(guò)區(qū)分人體運(yùn)動(dòng)的向心趨勢(shì)和離心趨勢(shì)，減緩了圖學(xué)習(xí)中的過(guò)平滑風(fēng)險(xiǎn)。對(duì)于外在依賴(lài)分支，通過(guò)邊權(quán)重矩陣Mb學(xué)習(xí)預(yù)測(cè)出節(jié)點(diǎn)之間的非物理連接關(guān)系以及強(qiáng)度，提高了模型對(duì)非局部信息的感知能力。為了穩(wěn)定訓(xùn)練，的初始參數(shù)設(shè)置為1，而Mb的初始參數(shù)設(shè)置為0。

圖4 IEGC的計(jì)算過(guò)程簡(jiǎn)化圖Fig.4 Simplified diagram of calculation process of IEGC

2.2 時(shí)間卷積模塊

如前面的圖2所示，把骨架時(shí)空?qǐng)D中的相鄰時(shí)刻的骨架圖連接起來(lái)，那么同一個(gè)節(jié)點(diǎn)的特征在時(shí)間軸方向上就構(gòu)成了一個(gè)時(shí)間序列，該時(shí)間序列數(shù)據(jù)就反映了關(guān)節(jié)隨時(shí)間的變化情況。因此，通過(guò)設(shè)計(jì)有效的時(shí)間卷積（temporal convolution，TC）就可以完成時(shí)空?qǐng)D的分析。

定義8（時(shí)間卷積）假設(shè)一個(gè)關(guān)節(jié)在時(shí)間軸上對(duì)應(yīng)的時(shí)間序列數(shù)據(jù)為xin∈?M（不失一般性，在此假設(shè)節(jié)點(diǎn)的特征維度為1）。設(shè)時(shí)間卷積核大小為Γ，令該節(jié)點(diǎn)的t時(shí)刻的時(shí)間鄰域?yàn)椋瑒tt時(shí)刻的時(shí)間卷積輸出值為：

其中，w代表權(quán)重函數(shù)，xout是時(shí)間卷積的輸出特征。

注：定義8 只給出單個(gè)節(jié)點(diǎn)的單維特征的計(jì)算公式。對(duì)于多個(gè)節(jié)點(diǎn)而言，最簡(jiǎn)單的方法就是對(duì)每個(gè)關(guān)節(jié)都實(shí)施公式（7）；同時(shí)，當(dāng)骨架數(shù)據(jù)為多維時(shí)，需要將公式（7）改造成多維計(jì)算，即對(duì)每個(gè)維度單獨(dú)計(jì)算后形成多維特征向量。

2.3 時(shí)空卷積層設(shè)計(jì)

前面完成了骨架時(shí)空?qǐng)D上的空間卷積和時(shí)間卷積模塊的設(shè)計(jì)。進(jìn)一步，融合骨架時(shí)空?qǐng)D中的空間特征和時(shí)間特征，利用已經(jīng)設(shè)計(jì)的空間、時(shí)間卷積模塊就可以組合成時(shí)空卷積層，形成骨架時(shí)空?qǐng)D挖掘的基本計(jì)算單元。本文的時(shí)空卷積層由IEGC、TC以及必要的連接操作構(gòu)成，如圖5。

圖5 時(shí)空卷積層Fig.5 Layer of spatial temporal convolution

圖5給出了一個(gè)時(shí)空卷積層的基本結(jié)構(gòu)，對(duì)應(yīng)的計(jì)算流程是：

（1）將初始或者上一層的骨架時(shí)空?qǐng)D數(shù)據(jù)輸入到IEGC模塊，完成內(nèi)外依賴(lài)融合的空間圖卷積。

其中，ε是一個(gè)常數(shù)，設(shè)置的目的是為了保持?jǐn)?shù)據(jù)的穩(wěn)定性，γ和β分別代表縮放參數(shù)和平移參數(shù)，這些參數(shù)與網(wǎng)絡(luò)參數(shù)一起參與訓(xùn)練，從而增加了網(wǎng)絡(luò)的表征能力。批量標(biāo)準(zhǔn)化是一種常用的數(shù)據(jù)標(biāo)準(zhǔn)化技術(shù)，它可以用來(lái)加速網(wǎng)絡(luò)的收斂。

（3）標(biāo)準(zhǔn)化后的數(shù)據(jù)通過(guò)Relu（）激活函數(shù)送入時(shí)間模塊TC，進(jìn)行時(shí)間維度上的特征卷積。

（4）對(duì)于TC 的輸出再次進(jìn)行批量標(biāo)準(zhǔn)化，并實(shí)施Dropout操作以防止模型過(guò)擬合。

（5）引入殘差機(jī)制，使用本時(shí)空卷積層的原始輸入和TC 標(biāo)準(zhǔn)化的特征輸出進(jìn)行殘差計(jì)算，并再次通過(guò)Relu（）激活函數(shù)生成本層的輸出。

2.4 IED-STGCN網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

圖6 給出了本文的骨架時(shí)空?qǐng)D挖掘模型IEDSTGCN 的結(jié)構(gòu)。如圖6 所示，IED-STGCN 網(wǎng)絡(luò)由三部分組成：數(shù)據(jù)預(yù)處理層、主干網(wǎng)絡(luò)、預(yù)測(cè)輸出層。

圖6 IED-STGCN的整體網(wǎng)絡(luò)架構(gòu)Fig.6 Overall network architecture of IED-STGCN

在數(shù)據(jù)預(yù)處理層中，輸入數(shù)據(jù)是骨架時(shí)空?qǐng)D（參考定義2）。值得注意的是，由于IED-STGCN 在不同的節(jié)點(diǎn)上需要共享權(quán)重向量，因此在進(jìn)入主干網(wǎng)絡(luò)前需要對(duì)數(shù)據(jù)進(jìn)行一次批量標(biāo)準(zhǔn)化（見(jiàn)公式（8）），以使每個(gè)節(jié)點(diǎn)的輸入數(shù)據(jù)的比例保持協(xié)調(diào)一致。

主干網(wǎng)絡(luò)由若干層的時(shí)空卷積層（參考圖5）堆積而成。時(shí)空卷積層的主要參數(shù)包括：時(shí)間卷積核的大小Γ、時(shí)間卷積的步長(zhǎng)stride、輸出通道數(shù)Cout（時(shí)空卷積層的輸出的維度）以及輸出裁剪比例dropout。

預(yù)測(cè)輸出層由全局平均池化層和分類(lèi)器組成。全局平均池化層將不同樣本的特征圖池化到相同大小，然后通過(guò)分類(lèi)器（Softmax）完成類(lèi)別的預(yù)測(cè)。

3 實(shí)驗(yàn)

將在兩個(gè)不同性質(zhì)的大型動(dòng)作識(shí)別數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)：Kinetics[28]和NTU-RGB+D[13]。Kinetics 是目前最大的無(wú)約束動(dòng)作識(shí)別數(shù)據(jù)集之一，而NTU-RGB+D則是目前最大的室內(nèi)拍攝的有約束數(shù)據(jù)集之一。

首先，在Kinetics 數(shù)據(jù)集上做了一個(gè)詳細(xì)的消融實(shí)驗(yàn)以檢驗(yàn)IED-STGCN 模型各個(gè)組件的有效性。然后，分別在Kinetics 數(shù)據(jù)集和NTU-RGB+D 數(shù)據(jù)集上，選擇目前比較典型的基準(zhǔn)模型進(jìn)行對(duì)比實(shí)驗(yàn)，用以評(píng)估IEDSTGCN的性能。

3.1 數(shù)據(jù)集

（1）Kinetics

Kinetics是研究中廣泛使用面向人體動(dòng)作識(shí)別應(yīng)用的大規(guī)模標(biāo)準(zhǔn)數(shù)據(jù)集。它包含300 000 多個(gè)視頻剪輯，標(biāo)注了400 多種的人類(lèi)動(dòng)作類(lèi)型，涵蓋了日?；顒?dòng)、體育競(jìng)賽等多種人體活動(dòng)場(chǎng)景。每個(gè)視頻大約持續(xù)10 s。

Kinetics只有原始視頻而沒(méi)有提供骨架數(shù)據(jù)。在本次工作中，利用OpenPose[29]開(kāi)源工具箱從原始視頻中生成骨架序列。其中，每個(gè)骨架圖關(guān)注人體的18 個(gè)關(guān)節(jié)點(diǎn)，節(jié)點(diǎn)特征包括關(guān)節(jié)點(diǎn)在相機(jī)坐標(biāo)系上的二維坐標(biāo)(X,Y)和置信度C?？紤]最多2個(gè)人的情況，如果畫(huà)面出現(xiàn)2 人以上，只選擇關(guān)節(jié)點(diǎn)平均置信度最高的2 人。如果畫(huà)面不足2 人，就用0 填充對(duì)應(yīng)實(shí)體。每個(gè)剪輯的幀數(shù)固定為300幀，如果不足300幀，則通過(guò)視頻重放隨機(jī)補(bǔ)充夠300 幀。這樣，基于Kinetics 公共數(shù)據(jù)集就可以生成對(duì)應(yīng)的骨架序列數(shù)據(jù)。生成了大約240 000個(gè)訓(xùn)練數(shù)據(jù)和20 000個(gè)測(cè)試數(shù)據(jù)，供本文實(shí)驗(yàn)使用。

（2）NTU-RGB+D

NTU-RGB+D 是人體動(dòng)作識(shí)別任務(wù)中迄今為止最大的3D關(guān)節(jié)標(biāo)注數(shù)據(jù)集。該數(shù)據(jù)集包含56 000多個(gè)動(dòng)作剪輯，60 個(gè)動(dòng)作類(lèi)別。所有剪輯都是由40 名志愿者在一個(gè)室內(nèi)實(shí)驗(yàn)環(huán)境中由3 個(gè)不同視角的視像頭拍攝而成。骨架序列的注釋借助于Kinect深度傳感器生成，每個(gè)剪輯最多有兩個(gè)人，每個(gè)人的人體骨架有25 個(gè)關(guān)節(jié)點(diǎn)，3D 關(guān)節(jié)點(diǎn)的特征是節(jié)點(diǎn)在攝像機(jī)坐標(biāo)系統(tǒng)中的位置(X,Y,Z)。

按照數(shù)據(jù)集劃分標(biāo)準(zhǔn)的不同，NTH-RGB+D提供了兩個(gè)不同的基準(zhǔn)：cross-subjec（t簡(jiǎn)稱(chēng)X-Sub）和cross-view（簡(jiǎn)稱(chēng)X-View）。X-Sub 數(shù)據(jù)集通過(guò)不同受試者來(lái)劃分?jǐn)?shù)據(jù)，其中訓(xùn)練集來(lái)自一部分參與者，一共包含40 320個(gè)訓(xùn)練樣本，測(cè)試集來(lái)自剩余的參與者，一共包含16 560個(gè)測(cè)試樣本。X-View數(shù)據(jù)集按照不同攝像機(jī)來(lái)進(jìn)行劃分，其中，訓(xùn)練集來(lái)自2號(hào)和3號(hào)相機(jī)，一共包含37 920個(gè)樣本；測(cè)試集來(lái)自1號(hào)相機(jī)，一共包含18 960個(gè)樣本。

3.2 評(píng)估指標(biāo)

本文使用Top-1和Top-5這兩個(gè)標(biāo)準(zhǔn)的分類(lèi)性能評(píng)估方法作為評(píng)價(jià)指標(biāo)。就是說(shuō)，對(duì)于每個(gè)測(cè)試樣本，輸出結(jié)果是所有動(dòng)作的分類(lèi)概率，并按照分類(lèi)概率從高到低的順序進(jìn)行排序輸出。對(duì)于Top-1，如果樣本的實(shí)際類(lèi)別是預(yù)測(cè)概率排名第一的類(lèi)別，則分類(lèi)正確。對(duì)于Top-5，如果樣本的實(shí)際類(lèi)別在預(yù)測(cè)概率排名前五名的類(lèi)別之中，則分類(lèi)正確。具體定義見(jiàn)公式（9）：

其中，N是樣本總數(shù)；δ是一個(gè)判斷函數(shù)，若條件為真，則δ=1，否則，δ=0；classreali代表第i個(gè)樣本的真實(shí)類(lèi)別；分別代表第i個(gè)樣本預(yù)測(cè)概率排名第一的類(lèi)別和排名前五的類(lèi)別。

3.3 實(shí)驗(yàn)設(shè)置

（1）網(wǎng)絡(luò)參數(shù)設(shè)置

IED-STGCN 的主干網(wǎng)的總層數(shù)設(shè)置為9 層。每層時(shí)空卷積層的時(shí)間卷積核大小Γ均設(shè)置為9，dropout=0.5。主干網(wǎng)絡(luò)的前三層的輸出通道數(shù)設(shè)置為64，中間三層的Cout為128，最后三層的Cout為256。這樣，隨著輸出通道數(shù)的成倍增加，獲取到的動(dòng)作特征也越來(lái)越豐富，進(jìn)而學(xué)習(xí)性能會(huì)更好。時(shí)間卷積的步長(zhǎng)stride在第4層和第7層設(shè)置為2，其余層均為1。這樣，經(jīng)過(guò)第4層和第7 層后，時(shí)間維度的總幀數(shù)就會(huì)減少一半，因而可以減少幀間的冗余信息，提高計(jì)算效率。預(yù)測(cè)輸出層中的分類(lèi)器采用Softmax分類(lèi)器。

（2）軟硬件環(huán)境設(shè)置

實(shí)驗(yàn)用的計(jì)算機(jī)的CPU 型號(hào)為Inter?Core?i7-10700 CPU@2.90 GHz，配置為RTX-3090 顯卡（顯存24 GB）提升計(jì)算。實(shí)驗(yàn)基于的軟件環(huán)境為python3.8+pytorch1.8+cuda11.1。

（3）訓(xùn)練過(guò)程設(shè)置

對(duì)于Kinetics 數(shù)據(jù)集，實(shí)驗(yàn)的總迭代次數(shù)epoch 為50 次，批量大小為16。優(yōu)化策略選用隨機(jī)梯度下降法（SGD），初始學(xué)習(xí)率為0.1，依次在第20、30、40 個(gè)epoch衰減0.1倍。

對(duì)于NTU-RGB+D數(shù)據(jù)集，實(shí)驗(yàn)的總迭代次數(shù)epoch為50次，批量大小為16。使用SGD來(lái)訓(xùn)練模型，初始學(xué)習(xí)率為0.1，依次在第30、40個(gè)epoch衰減0.1倍。

3.4 消融實(shí)驗(yàn)

本文模型主要由內(nèi)在依賴(lài)圖卷積（簡(jiǎn)稱(chēng)I）、外在依賴(lài)圖卷積（簡(jiǎn)稱(chēng)E）和時(shí)間卷積（簡(jiǎn)稱(chēng)T）等3個(gè)技術(shù)來(lái)支撐，融合了這些技術(shù)形成了本文網(wǎng)絡(luò)模型。為了說(shuō)明這些技術(shù)融合的有效性，在Kenitic 數(shù)據(jù)集上進(jìn)行了技術(shù)消融實(shí)驗(yàn)，即以T 為基準(zhǔn)模型，通過(guò)T+I、T+E 和T+I+E來(lái)進(jìn)行對(duì)比實(shí)驗(yàn)。

（1）基準(zhǔn)模型Temporal Conv[16]：Temporal Conv 是目前比較成功的基于時(shí)間序列的特征卷積方法之一。具體地說(shuō)，將每幀中的所有關(guān)節(jié)的位置信息在時(shí)間軸方向連接起來(lái)構(gòu)成一組輸入特征向量，然后輸入到Temporal Conv中進(jìn)行時(shí)間卷積計(jì)算。

（2）ST-GCN[22]：ST-GCN 僅考慮了人體骨架圖的自然連接，是采用T+I 技術(shù)的典型模型，所以選擇它作為對(duì)比模型進(jìn)行了實(shí)驗(yàn)。

（3）T+E 的融合模型：迄今為止還沒(méi)有發(fā)現(xiàn)這樣的模型。然而，T+E 模型有明確的技術(shù)含義，就是忽略所有骨架圖的自然連接，全部通過(guò)人為設(shè)置外部依賴(lài)關(guān)系來(lái)進(jìn)行空間模式學(xué)習(xí)。因此，使用本文的外在卷積計(jì)算（公式（5））替代空間圖卷積模塊計(jì)算公式（公式（6）），就得到T+E模型，供本文實(shí)驗(yàn)所用。

（4）本文模型IED-STGCN：它是T+I+E的融合模型。

表1給出了在Kinetics數(shù)據(jù)集中Top-1和Top-5性能上的消融實(shí)驗(yàn)的結(jié)果。

表1 Kinetics數(shù)據(jù)集上的消融實(shí)驗(yàn)Table 1 Ablation experiments on Kinetics dataset

從表1可以看出：

（1）相比Temporal Conv、ST-GCN 和T+E，本文模型的Top-1準(zhǔn)確率分別提升了12.9、2.5和6.9個(gè)百分點(diǎn)，而Top-5 準(zhǔn)確率分別提升了15.3、2.5 和7.8 個(gè)百分點(diǎn)。說(shuō)明本文模型明顯優(yōu)于目前在人體動(dòng)作識(shí)別中使用最多的時(shí)間卷積的模型（Temporal Conv），也比單獨(dú)考慮內(nèi)在依賴(lài)、外在依賴(lài)（ST-GCN、T+E）的時(shí)空卷積要好。

（2）IED-STGCN的Top-1和Top-5準(zhǔn)確率比ST-GCN模型分別提升了2.5 和7.8 個(gè)百分點(diǎn)。這說(shuō)明引入外在依賴(lài)是必要的，而且基于內(nèi)外融合的圖卷積是更有效的。

3.5 模型比較實(shí)驗(yàn)

在Kinetics 數(shù)據(jù)集上，選取Feature Enc[11]、Deep LSTM[13]、Temporal Conv[16]和ST-GCN[22]四種模型，進(jìn)行精度對(duì)比實(shí)驗(yàn)。表2 給出了在Top-1 和Top-5 指標(biāo)上的比對(duì)實(shí)驗(yàn)結(jié)果。

表2 Kinetics數(shù)據(jù)集上的Top-1和Top-5準(zhǔn)確率比較Table 2 Comparison of Top-1 and Top-5 accuracy on Kinetics dataset

表2 表明，在Kinetics 數(shù)據(jù)集上，IED-STGCN 模型全面優(yōu)于對(duì)比模型的準(zhǔn)確率。Kinetics是一個(gè)無(wú)約束環(huán)境的典型數(shù)據(jù)集，因此這樣的結(jié)果反映了IED-STGCN模型在無(wú)約束環(huán)境下視頻中人體動(dòng)作識(shí)別的優(yōu)勢(shì)。

表2 實(shí)驗(yàn)選取的對(duì)比模型基本代表了目前主要類(lèi)型的人體動(dòng)作識(shí)別算法類(lèi)，實(shí)驗(yàn)結(jié)果驗(yàn)證了不同類(lèi)型識(shí)別方法的有效性。首先，基于手工特征提取方法Feature Enc 效果最差，這主要是因?yàn)榛谑止ぬ卣魈崛〉闹饔^性和隨意性大，很難同時(shí)提取不同運(yùn)動(dòng)模式下的特征，導(dǎo)致學(xué)習(xí)泛化性能很差。其次，雖然基于RNN或CNN方法（Deep LSTM，Temporal Conv）可以利用深度學(xué)習(xí)技術(shù)自動(dòng)地提取動(dòng)作特征，但是都是基于單關(guān)節(jié)特征分析的，沒(méi)有利用骨架數(shù)據(jù)的圖結(jié)構(gòu)，所以準(zhǔn)確率也很難提升。相比較而言，基于圖卷積網(wǎng)絡(luò)的ST-GCN和IED-STGCN，同時(shí)利用骨架圖的圖結(jié)構(gòu)和節(jié)點(diǎn)特征數(shù)據(jù)，所以識(shí)別性能得到提升。特別地，本文引入骨架圖的外部依賴(lài)關(guān)系，有效地彌補(bǔ)了ST-GCN模型的局部物理連接的不足，取得了最佳的實(shí)驗(yàn)效果。

值得注意地是，由于Kinetics 是一個(gè)室外復(fù)雜場(chǎng)景拍攝的多種運(yùn)動(dòng)模式并存的現(xiàn)場(chǎng)視頻數(shù)據(jù)，因此表2實(shí)驗(yàn)中的精度普遍不高，這也和現(xiàn)有的類(lèi)似研究實(shí)驗(yàn)是吻合的。為了進(jìn)一步驗(yàn)證所提模型的有效性，在室內(nèi)場(chǎng)景下的3D骨架數(shù)據(jù)集NTU-RGB+D進(jìn)一步進(jìn)行了精度對(duì)比實(shí)驗(yàn)。

在NTU-RGB+D 數(shù)據(jù)集的兩個(gè)代表性子集X-Sub和X-View上，盡量選取目前流行的不同識(shí)別技術(shù)的算法完成了實(shí)驗(yàn)。共選取13個(gè)對(duì)比模型或算法：Lie Group[10]、H-RNN[12]、Deep LSTM[13]、PA-LSTM[13]、ST-LSTM+TS[14]、STA-LSTM[30]、VA-LSTM[31]、Two-Stream 3DCNN[15]、Temporal Conv[16]、C-CNN+MTLN[17]、Synthesized CNN[32]、ST-GCN[22]和DPRL+GCNN[33]。表3給出了Top-1精度的實(shí)驗(yàn)結(jié)果。

表3 NTU-RGB+D數(shù)據(jù)集上的TOP-1準(zhǔn)確率比較Table 3 Comparison of Top-1 accuracy on NTU-RGB+D Dataset

從表3不難看出：

（1）后面3 個(gè)模型ST-GCN、DPRL+GCNN、IEDSTGCN 是圖學(xué)習(xí)模型。相比于單節(jié)點(diǎn)的特征學(xué)習(xí)方法，實(shí)驗(yàn)結(jié)果表明基于圖學(xué)習(xí)的動(dòng)作識(shí)別具有顯著的技術(shù)優(yōu)勢(shì)。

（2）IED-STGCN 在X-Sub 和X-View 數(shù)據(jù)集上分別取得了84.9%和92.1%的Top-1精度，超越現(xiàn)有模型。這表明本文模型在處理有無(wú)約束環(huán)境下的骨架3D 數(shù)據(jù)上，有能力提升動(dòng)作識(shí)別的精確性和可用性。

結(jié)合表2 和表3 可以看出，無(wú)論是在有約束的Kinetics 數(shù)據(jù)集還是在無(wú)約束的NTU-RGB+D 數(shù)據(jù)集上，IED-STGCN均取得了較好的識(shí)別精度，說(shuō)明本文技術(shù)與方法可以明顯改善骨架圖的動(dòng)作識(shí)別性能。

4 結(jié)論

本文提出一種基于內(nèi)外融合圖卷積的人體骨架動(dòng)作識(shí)別模型IED-STGCN。首先，在空間圖卷積模塊中融合了內(nèi)在依賴(lài)和外在依賴(lài)關(guān)系，使得該模型能更好地捕獲和分析人體骨架圖。其次，為了區(qū)分出不同的運(yùn)動(dòng)趨勢(shì)對(duì)于動(dòng)作識(shí)別的影響，進(jìn)一步將內(nèi)在依賴(lài)劃分為根節(jié)點(diǎn)、向心節(jié)點(diǎn)集、離心節(jié)點(diǎn)集，這有效地提升了圖卷積的泛化能力，一定程度減緩了學(xué)習(xí)中過(guò)平滑的危險(xiǎn)。再次，將融合了內(nèi)外依賴(lài)的空間圖卷積模塊和時(shí)間卷積模塊應(yīng)用到骨架時(shí)空?qǐng)D中，構(gòu)建了基本的時(shí)空卷積單元，并通過(guò)多層時(shí)空卷積層的傳播實(shí)現(xiàn)對(duì)骨架時(shí)空?qǐng)D的精準(zhǔn)挖掘。最后，在兩個(gè)典型的公共數(shù)據(jù)集Kinetics 和NTU-RGB+D完成了模型對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，本文IED-STGCN 在不同環(huán)境下的Top-1 和Top-5 準(zhǔn)確率均優(yōu)于現(xiàn)有的比較模型。