楊巨成，張泉鈺，王 波，王 嫄，陳亞瑞，趙婷婷

(1.天津科技大學(xué)人工智能學(xué)院，天津 300457；2.思騰合力(天津)科技有限公司，天津 301799)

人體動(dòng)作識(shí)別旨在識(shí)別動(dòng)作信息中人體動(dòng)作的具體類別，是實(shí)現(xiàn)計(jì)算機(jī)視覺(jué)智能的重要分支。近年來(lái)，隨著計(jì)算機(jī)科學(xué)技術(shù)的不斷發(fā)展，人體動(dòng)作識(shí)別[1-2]已經(jīng)成為計(jì)算機(jī)視覺(jué)領(lǐng)域中備受關(guān)注的研究課題之一，其在各個(gè)領(lǐng)域具有很大的應(yīng)用前景和商業(yè)價(jià)值，如視頻監(jiān)控[3]、視頻檢索[4]、人機(jī)交互等[5]。智能化視頻監(jiān)控是智慧工廠衍生出的新型管理模式，在節(jié)省人力、物力的前提下，可有效加強(qiáng)對(duì)人員的直觀管理；加入人體動(dòng)作識(shí)別技術(shù)的視頻檢索任務(wù)能夠大幅提高建立索引的效率及搜索效果；人體動(dòng)作識(shí)別作為人機(jī)交互的關(guān)鍵技術(shù)，可以將其應(yīng)用到智能駕駛中，如疲勞檢測(cè)等[6]。因此，開(kāi)展人體動(dòng)作識(shí)別的研究具有重大的理論意義和較高的應(yīng)用價(jià)值。

隨著視頻采集傳感器以及骨架提取算法的發(fā)展，用于人體動(dòng)作識(shí)別任務(wù)的2D/3D 人體骨架數(shù)據(jù)集先后被提出。骨架數(shù)據(jù)比其他模態(tài)數(shù)據(jù)(如RGB 圖像、光流等)包含更豐富的信息，它既包含關(guān)節(jié)點(diǎn)之間的空間信息，又包含關(guān)節(jié)點(diǎn)之間的時(shí)間信息。骨架數(shù)據(jù)本質(zhì)上可以看作拓?fù)鋱D，屬于非歐氏空間數(shù)據(jù)，這一模態(tài)與人體動(dòng)作更加密切，屬于圖結(jié)構(gòu)。因此許多研究人員使用骨架數(shù)據(jù)進(jìn)行人體動(dòng)作識(shí)別任務(wù)。

在早期，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)[7-8]和遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)被應(yīng)用在基于骨架的人體動(dòng)作識(shí)別任務(wù)中，并取得了一定進(jìn)展。這兩種技術(shù)經(jīng)常結(jié)合起來(lái)用于骨架動(dòng)作識(shí)別，CNN 用于對(duì)原始RGB 圖像建模空間特征，RNN 的遞歸結(jié)構(gòu)用于建模時(shí)間特征。與此同時(shí)，基于CNN/RNN 的方法也面臨一些問(wèn)題，如模型大小、識(shí)別速度、遮擋情況以及視角變化等。近幾年，研究人員把卷積的思想應(yīng)用在圖拓?fù)浣Y(jié)構(gòu)上，提出圖卷積網(wǎng)絡(luò)(graph convolutional networks，GCN)。GCN 與CNN/RNN 有所不同，GCN 專注于處理圖結(jié)構(gòu)數(shù)據(jù)之間的依賴關(guān)系，擅于對(duì)非歐氏空間數(shù)據(jù)的建模。在基于骨架的人體動(dòng)作識(shí)別任務(wù)中，GCN 具有在時(shí)間維度和空間維度同時(shí)建模的能力。此外，骨架數(shù)據(jù)不易受人體外觀衣著、背景光照和拍攝視角變化等因素的影響，且能很好地避免噪聲干擾，所以基于圖卷積網(wǎng)絡(luò)的人體骨架動(dòng)作識(shí)別技術(shù)成了新的研究方向，受到學(xué)者們的高度關(guān)注。

目前已有許多學(xué)者對(duì)人體動(dòng)作識(shí)別領(lǐng)域進(jìn)行了綜述，已有文獻(xiàn)[9]側(cè)重于從深度學(xué)習(xí)方法的角度進(jìn)行總結(jié)，分為CNN、RNN 和GCN。本文聚焦圖卷積神經(jīng)網(wǎng)絡(luò)在人體骨架動(dòng)作識(shí)別領(lǐng)域的應(yīng)用，首先對(duì)人體骨架動(dòng)作識(shí)別任務(wù)和圖卷積神經(jīng)網(wǎng)絡(luò)分別進(jìn)行介紹，根據(jù)處理信號(hào)的不同(空域和頻譜)介紹現(xiàn)有圖卷積模型；對(duì)比分析不同的圖卷積神經(jīng)網(wǎng)絡(luò)模型在基于骨架人體動(dòng)作識(shí)別數(shù)據(jù)集上的表現(xiàn)；最后，文章針對(duì)現(xiàn)有基于圖卷積神經(jīng)網(wǎng)絡(luò)的人體骨架動(dòng)作識(shí)別技術(shù)，并對(duì)未來(lái)的發(fā)展方向進(jìn)行展望。

1 基于骨架的人體動(dòng)作識(shí)別

在人體動(dòng)作識(shí)別領(lǐng)域，研究人員已經(jīng)研究了多種模態(tài)，例如RGB 圖像、光流模態(tài)、骨架模態(tài)等。與其他模態(tài)相比，骨架模態(tài)是一種具有關(guān)節(jié)和骨骼的人體拓?fù)浔硎荆?dāng)面對(duì)復(fù)雜環(huán)境以及涉及光照變化、視角變化、運(yùn)動(dòng)速度變化時(shí)，該模態(tài)更穩(wěn)定。因此，基于骨架的人體動(dòng)作識(shí)別是目前研究的重點(diǎn)。

隨著深度學(xué)習(xí)的不斷發(fā)展，使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)、遞歸神經(jīng)網(wǎng)絡(luò)(RNN)和圖卷積網(wǎng)絡(luò)(GCN)進(jìn)行基于骨架的人體動(dòng)作識(shí)別的深度學(xué)習(xí)方法應(yīng)運(yùn)而生。

1.1 基于CNN的人體骨架動(dòng)作識(shí)別

卷積神經(jīng)網(wǎng)絡(luò)(CNN)已經(jīng)應(yīng)用在基于骨架的人體動(dòng)作識(shí)別任務(wù)中，主要采用兩種方式進(jìn)行人體動(dòng)作識(shí)別。第一種是將原始關(guān)鍵點(diǎn)坐標(biāo)數(shù)據(jù)信息(x、y、z坐標(biāo))看作圖像的RGB 通道，把原始骨架數(shù)據(jù)映射成三通道數(shù)據(jù)，使用CNN 模型進(jìn)行分類。Li 等[10]提出一種與數(shù)據(jù)集無(wú)關(guān)且平移尺度不變的映射方法，將三維骨架數(shù)據(jù)映射成彩色圖像，平移尺度不變的映射方法能保證圖片尺度具有不變性。為了充分提取骨架信息，Shi 等[11]提出雙流CNN 模型用于人體骨架動(dòng)作識(shí)別，同時(shí)考慮關(guān)節(jié)點(diǎn)和骨骼邊的特征，使用非對(duì)稱卷積塊減輕骨骼序列變形的負(fù)面影響。

第二種是在骨架數(shù)據(jù)上自定義動(dòng)作信息和時(shí)間信息等特征，將其映射成彩色圖像，使用CNN 模型進(jìn)行分類。Li 等[12]基于骨架數(shù)據(jù)自定義距離特征，并將其映射成彩色紋理圖像，使用AlexNet 網(wǎng)絡(luò)進(jìn)行訓(xùn)練。為了更好地引入時(shí)間信息，Wang 等[13]提出了關(guān)節(jié)軌跡圖，通過(guò)顏色編碼將關(guān)節(jié)軌跡的時(shí)空信息從主、側(cè)、俯三視圖轉(zhuǎn)化為3 個(gè)紋理圖像進(jìn)行動(dòng)作識(shí)別。

在骨架人體動(dòng)作識(shí)別任務(wù)中，基于CNN 的方法通過(guò)簡(jiǎn)單映射將骨架信息表示為圖像，導(dǎo)致只有卷積核內(nèi)的相鄰關(guān)節(jié)才會(huì)被學(xué)習(xí)共現(xiàn)特征，與所有關(guān)節(jié)相關(guān)的一些潛在相關(guān)性會(huì)被忽略。

1.2 基于RNN的人體骨架動(dòng)作識(shí)別

遞歸神經(jīng)網(wǎng)絡(luò)(RNN)能夠傳遞并提取長(zhǎng)時(shí)間的序列信息，人體骨架動(dòng)作數(shù)據(jù)作為時(shí)間序列數(shù)據(jù)，關(guān)節(jié)點(diǎn)坐標(biāo)隨著時(shí)間的推移而變化，因此RNN 及其變體也被應(yīng)用于人體骨架動(dòng)作識(shí)別任務(wù)中。Shahroudy等[14]將人體骨架分成5 部分，把骨架中的關(guān)節(jié)點(diǎn)坐標(biāo)排列為長(zhǎng)向量，輸入長(zhǎng)短期記憶網(wǎng)絡(luò)(long short term memory，LSTM)[15]進(jìn)行動(dòng)作識(shí)別。一些人體動(dòng)作只需要幾個(gè)關(guān)節(jié)的移動(dòng)或者旋轉(zhuǎn)就可以完成，基于此，Song 等[16]只考慮骨架信息中的重要幀和關(guān)鍵節(jié)點(diǎn)，提出端到端的基于RNN 的時(shí)空注意力網(wǎng)絡(luò)模型。但由于RNN 模型本身的空間建模能力較弱，所以基于RNN 的方法通常無(wú)法獲得具有競(jìng)爭(zhēng)性的結(jié)果。

1.3 基于GCN的人體骨架動(dòng)作識(shí)別

近幾年，圖卷積技術(shù)得到顯著發(fā)展，且人體骨架數(shù)據(jù)具有非歐氏數(shù)據(jù)特性，關(guān)節(jié)點(diǎn)代表人體關(guān)節(jié)，可以天然作為圖結(jié)構(gòu)的輸入。相較于CNN/RNN，圖卷積網(wǎng)絡(luò)(GCN)可以同時(shí)在空間域和時(shí)間域進(jìn)行建模，所以基于GCN 的人體骨架動(dòng)作識(shí)別技術(shù)受到越來(lái)越多學(xué)者的重視。

GCN 通過(guò)卷積不僅能夠?qū)W習(xí)關(guān)節(jié)點(diǎn)自身以及相鄰關(guān)節(jié)的特征，還能夠捕獲動(dòng)作變化的時(shí)空特征用于動(dòng)作識(shí)別任務(wù)。本文主要對(duì)基于GCN 的人體骨架識(shí)別技術(shù)從頻域和空域兩個(gè)角度進(jìn)行綜述。

2 圖卷積神經(jīng)網(wǎng)絡(luò)

研究人員成功地將卷積應(yīng)用到圖結(jié)構(gòu)數(shù)據(jù)上，提出圖卷積神經(jīng)網(wǎng)絡(luò)(GCN)，其核心思想是利用邊的信息對(duì)節(jié)點(diǎn)信息進(jìn)行聚合，從而生成新的節(jié)點(diǎn)表示。圖卷積神經(jīng)網(wǎng)絡(luò)[17]能夠直接對(duì)具有圖拓?fù)浣Y(jié)構(gòu)的數(shù)據(jù)進(jìn)行學(xué)習(xí)，善于對(duì)非歐氏空間數(shù)據(jù)進(jìn)行建模。隨著GCN 的發(fā)展，其卷積方式主要分為基于頻域卷積和基于空域卷積兩種方式。

2.1 基于頻域的圖卷積神經(jīng)網(wǎng)絡(luò)

對(duì)于經(jīng)典卷積來(lái)說(shuō)，卷積核的形狀是固定的，這意味著其感受野中心節(jié)點(diǎn)必須要有固定數(shù)量的鄰域才能使用卷積核，但圖上節(jié)點(diǎn)的鄰域節(jié)點(diǎn)是不確定的，除此之外，中心節(jié)點(diǎn)的鄰域節(jié)點(diǎn)也是沒(méi)有順序的，所以經(jīng)典卷積難以應(yīng)用在圖結(jié)構(gòu)數(shù)據(jù)上。但在頻域進(jìn)行卷積時(shí)，只需要在每個(gè)頻域分量上進(jìn)行放大或者縮小，不需要考慮空域上存在的問(wèn)題?；陬l域的圖卷積神經(jīng)網(wǎng)絡(luò)是利用圖信號(hào)理論，使用傅里葉變換將圖信號(hào)轉(zhuǎn)換為頻域信號(hào)，然后在頻域上執(zhí)行卷積操作，最后再利用傅里葉逆變換恢復(fù)到圖信號(hào)所在的空域，基于頻域的圖卷積示意圖如圖1 所示?；陬l域的方法主要有第一代GCN[18]、切比雪夫網(wǎng)絡(luò)(Chebyshev network，ChebyNet)[19]、一階近似 ChebyNet等[20]。由于第一代GCN 需要對(duì)拉普拉斯矩陣進(jìn)行特征值分解，導(dǎo)致計(jì)算開(kāi)銷非常大，所以實(shí)際應(yīng)用較少。針對(duì)第一代GCN 的不足，David 等[19]提出利用切比雪夫多項(xiàng)式近似卷積核的ChebyNet，ChebyNet不需要對(duì)拉普拉斯矩陣進(jìn)行分解，這使得計(jì)算效率大大提高。為了使ChebyNet 有更好的局部連接性，Kipf 等[20]使用一階切比雪夫公式進(jìn)行簡(jiǎn)化，切比雪夫一階近似為

圖1 頻域圖卷積過(guò)程Fig.1 Process of spectral graph convolution

2.2 基于空域的圖卷積神經(jīng)網(wǎng)絡(luò)

基于空域的圖卷積神經(jīng)網(wǎng)絡(luò)不再依靠圖譜理論[21]，其從空間角度出發(fā)，不斷聚合中心節(jié)點(diǎn)的鄰居節(jié)點(diǎn)信息以更新中心節(jié)點(diǎn)信息。該方法擺脫了對(duì)拉普拉斯矩陣的依賴，使圖卷積網(wǎng)絡(luò)能夠應(yīng)用于有向圖?；诳沼虻膱D卷積神經(jīng)網(wǎng)絡(luò)可以看作CNN 的拓展，其本質(zhì)和CNN 相同，都是對(duì)節(jié)點(diǎn)信息進(jìn)行加權(quán)求和，從而達(dá)到卷積的目的?；诳沼虻膱D卷積操作大致可以分為3 個(gè)步驟：第一，圖中的每個(gè)節(jié)點(diǎn)將自身特征信息傳遞給鄰居節(jié)點(diǎn)；第二，圖中的每個(gè)節(jié)點(diǎn)能夠聚合周圍節(jié)點(diǎn)的特征信息，實(shí)現(xiàn)特征信息更新；第三，將更新后的節(jié)點(diǎn)做線性與非線性變換提升模型的表達(dá)能力?；诳沼虻姆椒ㄓ袛U(kuò)散卷積神經(jīng)網(wǎng)絡(luò)(diffusion convolution neural network，DCNN)[22]、圖采樣聚合模型(graph sample and aggregate ，GraphSAGE)[23]、圖注意卷積神經(jīng)網(wǎng)絡(luò)(graph attention networks，GAT)等[24]。DCNN 通過(guò)設(shè)定節(jié)點(diǎn)之間的轉(zhuǎn)移概率控制節(jié)點(diǎn)之間的信息傳遞，GraphSAGE對(duì)圖中每個(gè)節(jié)點(diǎn)的鄰居節(jié)點(diǎn)進(jìn)行隨機(jī)采樣實(shí)現(xiàn)特征信息聚合，GAT 通過(guò)計(jì)算圖中相鄰節(jié)點(diǎn)之間的注意力系數(shù)實(shí)現(xiàn)更新節(jié)點(diǎn)特征信息。它們分別從信息傳遞、采樣方式、注意力角度定義圖拓?fù)浣Y(jié)構(gòu)的卷積方式。

2.3 兩種方式對(duì)比

基于頻域的圖卷積方法不適用于有向圖，這是因?yàn)楦道锶~變換是以拉普拉斯矩陣的特征向量為基底，而拉普拉斯矩陣的對(duì)稱性使其只對(duì)無(wú)向圖有意義。第一代GCN 由于需要對(duì)拉普拉斯矩陣進(jìn)行特征分解，導(dǎo)致時(shí)間復(fù)雜度很高。因此，基于頻域的圖卷積方法存在靈活性不強(qiáng)、泛化能力弱、計(jì)算開(kāi)銷大等問(wèn)題?；诳沼虻膱D卷積方法直接在空間上定義卷積操作，在降低了復(fù)雜度的同時(shí)還增強(qiáng)了泛化能力。人體動(dòng)作本身具有的空間復(fù)雜性和時(shí)間差異性，促使計(jì)算復(fù)雜度低、泛化能力好的空域圖卷積網(wǎng)絡(luò)模型成為基于人體骨架動(dòng)作識(shí)別任務(wù)的主流方法。

3 基于圖卷積的人體骨架動(dòng)作識(shí)別

基于骨架的動(dòng)作識(shí)別任務(wù)的本質(zhì)是對(duì)給定的一段動(dòng)作信息進(jìn)行分類，其不僅包含了空間信息，還包含時(shí)間信息，這增加了識(shí)別任務(wù)的難度。目前，基于圖卷積神經(jīng)網(wǎng)絡(luò)的模型大多應(yīng)用在基于骨架的人體動(dòng)作識(shí)別數(shù)據(jù)集上。根據(jù)第2 小節(jié)對(duì)圖卷積神經(jīng)網(wǎng)絡(luò)的介紹，圖卷積定義為

由式(2)可知：卷積過(guò)程主要涉及鄰接矩陣A、輸入特征X ，其中W 為可訓(xùn)練參數(shù)，因此圖卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)主要體現(xiàn)在前兩個(gè)方面。在基于骨架的人體動(dòng)作識(shí)別中，網(wǎng)絡(luò)的設(shè)計(jì)變化如圖2 所示。

圖2 圖卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)Fig.2 Design of graph convolution neural network

本節(jié)按照網(wǎng)絡(luò)設(shè)計(jì)不同，從頻域和空域兩個(gè)角度對(duì)人體骨架動(dòng)作識(shí)別任務(wù)進(jìn)行討論。

3.1 頻域圖卷積算法

目前，在基于骨架的人體動(dòng)作識(shí)別任務(wù)中，ChebyNet[19]及一階近似ChebyNet[20]被廣泛使用。本小節(jié)將按照?qǐng)D構(gòu)建方式、注意力機(jī)制以及卷積核的感受野對(duì)算法進(jìn)行分類討論。

3.1.1 圖構(gòu)建方式

人體動(dòng)作通常涉及多個(gè)關(guān)節(jié)，一些動(dòng)作則需要兩個(gè)相距較遠(yuǎn)的關(guān)節(jié)協(xié)作完成，但相距較遠(yuǎn)的關(guān)節(jié)在骨架圖中并不構(gòu)成邊，無(wú)法進(jìn)行信息傳遞，所以研究人員通常在骨架數(shù)據(jù)中手動(dòng)添加一些邊緩解此類問(wèn)題。

通常情況下，GCN 的輸入是原始骨架數(shù)據(jù)的鄰接矩陣，但Tang 等[25]提出的深度遞進(jìn)強(qiáng)化學(xué)習(xí)(deep progressive reinforcement learning，DPRL)網(wǎng)絡(luò)為了獲取距離較遠(yuǎn)關(guān)節(jié)之間的潛在關(guān)系，在物理連接的基礎(chǔ)上手動(dòng)添加邊作為外部連接。圖3[25]中以“拍手”動(dòng)作為例，其中實(shí)線代表物理連接，虛線代表外部連接。

圖3 DPRL網(wǎng)絡(luò)骨架圖構(gòu)建Fig.3 Skeleton graph construction of DPRL network

Gao 等[26]提出了基于骨架的廣義GCN 網(wǎng)絡(luò)，把節(jié)點(diǎn)的外部連接劃分為強(qiáng)邊和弱邊，利用高階切比雪夫多項(xiàng)式卷積核進(jìn)一步增強(qiáng)了對(duì)動(dòng)作的感知。以上兩種構(gòu)圖方式是人工進(jìn)行劃分的，缺乏靈活性，未來(lái)可以嘗試構(gòu)造自適應(yīng)鄰接矩陣提高模型識(shí)別精度。

3.1.2 注意力機(jī)制

注意力機(jī)制的應(yīng)用十分廣泛，其有效性已經(jīng)在各類任務(wù)中得到體現(xiàn)。在骨架人體動(dòng)作識(shí)別任務(wù)中，大多數(shù)算法考慮了骨架數(shù)據(jù)中的所有幀，并沒(méi)有將注意力集中在重要的幀上。為了尋找一段動(dòng)作信息中包含信息量最大的幀，Tang 等[25]提出的DPRL 算法使用注意力機(jī)制在全部幀中挑選出了更重要的幀，丟棄信息量小的幀。此方法既能減少網(wǎng)絡(luò)模型的參數(shù)量，又達(dá)到具有競(jìng)爭(zhēng)性的識(shí)別效果。

3.1.3 卷積核的感受野

在圖卷積的過(guò)程中，卷積核的感受野由其大小決定，不同的大小對(duì)最后的結(jié)果可能會(huì)產(chǎn)生一定影響。對(duì)于骨架數(shù)據(jù)來(lái)說(shuō)，其鄰接矩陣屬于稀疏矩陣，使用比較小的卷積核的時(shí)候可能無(wú)法表示其特征，所以研究人員嘗試擴(kuò)大卷積核感受野提升模型精度。

Peng 等[27]最先提出把神經(jīng)架構(gòu)搜索(NAS)[28-29]與圖卷積網(wǎng)絡(luò)結(jié)合進(jìn)行動(dòng)作識(shí)別任務(wù)。一階切比雪夫多項(xiàng)式不能很好地捕捉到高階信息，為了捕獲高階節(jié)點(diǎn)關(guān)系，引入了高階切比雪夫多項(xiàng)式擴(kuò)大圖卷積的感受野。然而，若各層圖卷積都采用高階多項(xiàng)式會(huì)使計(jì)算量成倍增加，同時(shí)并不確定是否每一層卷積都需要擴(kuò)大感受野，故引入了NAS 技術(shù)自動(dòng)為不同層的卷積核生成圖矩陣(embedding matrix，EM)，省去了人工調(diào)參的工作量。但隨著卷積核感受野的擴(kuò)大，圖卷積神經(jīng)網(wǎng)絡(luò)出現(xiàn)過(guò)平滑現(xiàn)象，可以引入殘差連接、添加非線性激活函數(shù)等方法緩解此類問(wèn)題。

3.2 空域圖卷積算法

Yan 等[30]創(chuàng)造性地提出時(shí)空?qǐng)D卷積網(wǎng)絡(luò)模型(spatial temporal graph convolutional networks，STGCN)，第一個(gè)把基于空域圖卷積模型應(yīng)用在人體動(dòng)作識(shí)別領(lǐng)域，通過(guò)對(duì)動(dòng)態(tài)骨骼建模，把骨架數(shù)據(jù)以2D 或3D 網(wǎng)格的方式展現(xiàn)。在此之后，越來(lái)越多的研究者在ST-GCN 模型的基礎(chǔ)上進(jìn)行改進(jìn)或提出新的基線，把骨架數(shù)據(jù)應(yīng)用在圖卷積網(wǎng)絡(luò)中完成動(dòng)作識(shí)別任務(wù)。本小節(jié)從圖構(gòu)建方式、注意力機(jī)制、不同信息融合這3 個(gè)方面對(duì)改進(jìn)模型進(jìn)行分類討論。

3.2.1 圖構(gòu)建方式

Yan 等[30]提出的時(shí)空?qǐng)D卷積網(wǎng)絡(luò)模型(ST-GCN)是第一個(gè)基于空域圖卷積的動(dòng)態(tài)骨架建模方法。該方法首先利用OpenPose[31]姿態(tài)估計(jì)算法對(duì)實(shí)驗(yàn)所用的數(shù)據(jù)集進(jìn)行姿態(tài)估計(jì)，使人工設(shè)計(jì)的工作量大大減少。如圖4[30]所示，圖上每一個(gè)節(jié)點(diǎn)都對(duì)應(yīng)人體的關(guān)節(jié)，圖中有兩種類型的邊，一種為符合關(guān)節(jié)自然連接的空間邊，另一種為跨越連續(xù)時(shí)間步長(zhǎng)連接相同關(guān)節(jié)的時(shí)間邊。

圖4 ST-GCN骨架圖構(gòu)建Fig.4 Skeleton graph construction of ST-GCN

在該圖的基礎(chǔ)上，多個(gè)時(shí)空卷積層能夠?qū)D拓?fù)湫畔⒃诳臻g和時(shí)間維度進(jìn)行融合。ST-GCN 網(wǎng)絡(luò)模型首先對(duì)輸入矩陣在時(shí)間和空間維度進(jìn)行歸一化，接著進(jìn)入ST-GCN 模塊，通過(guò)交替使用圖卷積和時(shí)域卷積完成時(shí)空卷積，最后使用全局池化操作和全連接層對(duì)動(dòng)作進(jìn)行識(shí)別分類。圖卷積學(xué)習(xí)空間中相鄰節(jié)點(diǎn)的局部特征，時(shí)序卷積的作用是為關(guān)節(jié)疊加時(shí)序特征。此外，Yan 等[30]還提出了注意力機(jī)制，根據(jù)各個(gè)關(guān)節(jié)點(diǎn)在不同動(dòng)作中的重要程度不同，將關(guān)節(jié)點(diǎn)賦予不同的權(quán)重。為了進(jìn)一步提升模型性能，根據(jù)動(dòng)作識(shí)別的特點(diǎn)，將圖上節(jié)點(diǎn)劃分為向心點(diǎn)、離心點(diǎn)和根節(jié)點(diǎn)3類，對(duì)此使用3 個(gè)不同的卷積核對(duì)其進(jìn)行卷積操作。該模型可以從骨架數(shù)據(jù)中“自主”學(xué)習(xí)空間和時(shí)間特征，使其具有很強(qiáng)的表達(dá)能力。

ST-GCN 網(wǎng)絡(luò)模型也存在一些不足：

(1)ST-GCN 中使用的骨架圖是預(yù)先人為定義好的，表示人體的物理結(jié)構(gòu)。模型所用的卷積核只能提取局部特征，所以不能保證只通過(guò)學(xué)習(xí)相鄰節(jié)點(diǎn)的信息，達(dá)到最優(yōu)的識(shí)別結(jié)果。例如，“跑步”和“跳遠(yuǎn)”對(duì)兩條腿之間的關(guān)系有較強(qiáng)依賴，但ST-GCN 無(wú)法捕獲兩條腿之間的關(guān)系，因?yàn)樵谌藶槎x的骨架數(shù)據(jù)中它們相距很遠(yuǎn)。

(2)神經(jīng)網(wǎng)絡(luò)往往具有多個(gè)層級(jí)結(jié)構(gòu)，且每個(gè)層級(jí)包含的語(yǔ)義信息不同。在ST-GCN 模型中，所有圖卷積層中圖拓?fù)浣Y(jié)構(gòu)固定不變，這導(dǎo)致其無(wú)法學(xué)到多尺度信息。

(3)單一的骨架信息輸入可能不利于網(wǎng)絡(luò)模型對(duì)不同動(dòng)作的感知，無(wú)法對(duì)具有細(xì)微運(yùn)動(dòng)差異的動(dòng)作進(jìn)行分類。

與Yan 等[30]相比，Si 等[32]認(rèn)為動(dòng)作是由人體各個(gè)部分協(xié)調(diào)完成，例如跑步不僅需要雙腿運(yùn)動(dòng)，還需要雙臂擺動(dòng)維持身體平衡，所以其在空域建模的時(shí)候把骨架圖分成K 個(gè)部分，分塊學(xué)習(xí)人體結(jié)構(gòu)的空間特征。此方法簡(jiǎn)化了關(guān)節(jié)點(diǎn)數(shù)量，提升了網(wǎng)絡(luò)推理速度。Xiong 等[33]認(rèn)為人類的動(dòng)作可以簡(jiǎn)化為人類肢體運(yùn)動(dòng)，因此手臂和腿部包含豐富的動(dòng)作特征信息，其手動(dòng)將手臂和腿部構(gòu)造出額外的邊，使得在圖卷積的過(guò)程中能夠聚合更多的特征信息，避免了使用圖卷積在進(jìn)行長(zhǎng)距離傳遞時(shí)信息丟失的問(wèn)題。Chi 等[34]認(rèn)為學(xué)習(xí)骨架圖的內(nèi)在拓?fù)湫畔⑹种匾?，因此其提出編碼器模塊推理骨架圖的內(nèi)在拓?fù)湫畔?。編碼器的架構(gòu)由用于空間建模的基于自注意力的圖卷積模塊和用于時(shí)間建模的多尺度時(shí)間卷積模塊組成。與人工手動(dòng)設(shè)置相比，此方法更加靈活，針對(duì)不同動(dòng)作會(huì)推斷出不同的內(nèi)在拓?fù)湫畔?，有利于提升?dòng)作識(shí)別的準(zhǔn)確度。Shi 等[35]用有向無(wú)環(huán)圖(圖5)表示骨架數(shù)據(jù)，方向由頂點(diǎn)與根節(jié)點(diǎn)之間的距離確定，通過(guò)引入骨骼方向，將骨骼的運(yùn)動(dòng)表示為同一骨骼在連續(xù)幀中的向量差，該方法進(jìn)一步挖掘了骨骼、關(guān)節(jié)與動(dòng)作識(shí)別之間的關(guān)系。

圖5 骨骼數(shù)據(jù)的有向無(wú)環(huán)圖Fig.5 Directed acyclic graph of skeletal data

Li 等[36]更加關(guān)注不相鄰關(guān)節(jié)點(diǎn)之間潛在的依賴關(guān)系，提出了行為結(jié)構(gòu)圖卷積網(wǎng)絡(luò)(action structural graph convolutional networks，AS-GCN)，用一種由編碼器和解碼器組成的“動(dòng)作連接”推理模塊捕獲節(jié)點(diǎn)之間的潛在聯(lián)系，其提出“結(jié)構(gòu)連接”模塊獲得節(jié)點(diǎn)長(zhǎng)距離的連接信息。這種自適應(yīng)學(xué)習(xí)的方式，能夠捕獲與動(dòng)作行為有用的高階信息，提高模型靈活性。此外，AS-GCN 不僅可以識(shí)別動(dòng)作，還可以通過(guò)多任務(wù)學(xué)習(xí)進(jìn)行姿勢(shì)預(yù)測(cè)，在同一個(gè)框架下進(jìn)行多任務(wù)學(xué)習(xí)有效提高了模型的效率。

3.2.2 注意力機(jī)制

近幾年來(lái)，注意力機(jī)制被大量應(yīng)用于深度學(xué)習(xí)模型，其不僅能夠提升模型精度，而且具有參數(shù)少、即插即用的特點(diǎn)。在一段動(dòng)作信息中，通常一些能表達(dá)動(dòng)作的關(guān)節(jié)顯得尤為重要，也有研究提出引入注意力機(jī)制讓模型更關(guān)注關(guān)鍵節(jié)點(diǎn)的時(shí)空變化，這一思想成功地提升了模型的識(shí)別精度。2s-AGCN 網(wǎng)絡(luò)模型[37]基于注意力機(jī)制提出了自適應(yīng)圖卷積層，其公式表示為

式中：kA 代表原始骨架數(shù)據(jù)的鄰接矩陣，表示人體關(guān)節(jié)物理結(jié)構(gòu)；kB 不僅表示各個(gè)關(guān)節(jié)之間是否存在連接，而且表明連接強(qiáng)度。模型對(duì)kB 中的元素進(jìn)行了參數(shù)化，與模型共同學(xué)習(xí)和更新。Ck矩陣使用歸一化的高斯函數(shù)，用來(lái)計(jì)算關(guān)節(jié)點(diǎn)之間的相似性。采用3 個(gè)矩陣相加的方式構(gòu)造輸出矩陣，每個(gè)矩陣代表不同的信息，增加了模型的靈活性。自適應(yīng)圖卷積層結(jié)構(gòu)如圖6[35]所示。

圖6 自適應(yīng)卷積層Fig.6 Adaptive convolutional layer

Song 等[38]把骨架劃分為5 個(gè)身體部位，更加關(guān)注不同身體部分對(duì)動(dòng)作識(shí)別的重要性，提出局部注意力機(jī)制，局部注意力模塊公式表述為

式中：p ool ( ·) 代表全局平均池化；δ( · )和θ( · )代表softmax 函數(shù)和ReLU 激活函數(shù)；W 和Wp都是可學(xué)習(xí)的參數(shù)，W 對(duì)所有部分共享，Wp是具體到每一個(gè)部分的注意力權(quán)重。式(5)是將式(4)中每個(gè)部分拼接起來(lái)后得到的輸出 fout。

Qian 等[39]在局部注意力的基礎(chǔ)上，又引入身體對(duì)稱軌跡注意力，提出了SA-GCN 模型。通過(guò)對(duì)身體對(duì)稱軌跡的學(xué)習(xí)，網(wǎng)絡(luò)模型獲得身體左右部分在動(dòng)作中協(xié)作的信息。通過(guò)兩種注意力的結(jié)合，使模型性能進(jìn)一步提高。

Hu 等[40]通過(guò)引入先驗(yàn)知識(shí)的方式提升模型性能。先驗(yàn)引導(dǎo)注意力模塊(BPGA)通過(guò)選擇性丟棄時(shí)空骨架關(guān)節(jié)生成不同的增強(qiáng)骨架序列，對(duì)參與動(dòng)作的特定身體關(guān)節(jié)進(jìn)行額外編碼，進(jìn)一步增強(qiáng)提取動(dòng)作特征的能力。

3.2.3 不同信息融合

ST-GCN 模型沒(méi)有充分挖掘骨架數(shù)據(jù)，為了進(jìn)一步提升識(shí)別精度，研究人員嘗試通過(guò)挖掘更多骨架信息達(dá)到更好的效果。2s-AGCN 網(wǎng)絡(luò)模型是基于STGCN 模型的改進(jìn)。Shi 等[37]認(rèn)為骨架數(shù)據(jù)的二階信息(即骨骼數(shù)據(jù))應(yīng)該被充分發(fā)掘與利用。基于此，研究人員提出了雙流架構(gòu)融合骨架的一階信息和二階信息，如圖7[35]所示。

雙流網(wǎng)絡(luò)在圖7 中分別表示為骨骼網(wǎng)絡(luò)和關(guān)節(jié)網(wǎng)絡(luò)。定義靠近骨架重心的關(guān)節(jié)為源關(guān)節(jié)，遠(yuǎn)離重心的關(guān)節(jié)為目標(biāo)關(guān)節(jié)，骨骼數(shù)據(jù)被表示為從源關(guān)節(jié)指向目標(biāo)關(guān)節(jié)的向量。將兩個(gè)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果進(jìn)行融合，有效地提升了識(shí)別精度。

Song 等[38]引入多輸入分支結(jié)構(gòu)、瓶頸結(jié)構(gòu)和殘差連接結(jié)構(gòu)，提出了PA-ResGCN 網(wǎng)絡(luò)模型。多輸入分支結(jié)構(gòu)包括骨架數(shù)據(jù)中的空間和時(shí)間信息，即關(guān)節(jié)位置、骨骼特征、運(yùn)動(dòng)速度3 個(gè)特征分支，在早期進(jìn)行特征融合時(shí)保留信息輸入的豐富性。He 等[41]提出的瓶頸結(jié)構(gòu)被應(yīng)用到模型中，有效減少了參數(shù)量，加快模型的推理速度。

Chen 等[42]在Song 等[38]提出的多分支結(jié)構(gòu)的基礎(chǔ)上額外引入姿勢(shì)信息，提出了PG-GCN 網(wǎng)絡(luò)模型。姿勢(shì)信息本身就包含了動(dòng)作識(shí)別信息和判別線索，利用姿態(tài)數(shù)據(jù)作為更新網(wǎng)絡(luò)模型的指導(dǎo)信息，提高了模型性能。隨著研究者不斷對(duì)網(wǎng)絡(luò)模型進(jìn)行創(chuàng)新，骨架信息以外的信息被引入模型，豐富了輸入信息的多樣性，為以后的工作提供了新的方向。Cai 等[43]認(rèn)為僅僅依靠于骨架信息不能夠充分得到人體運(yùn)動(dòng)特征，導(dǎo)致現(xiàn)有模型無(wú)法對(duì)有細(xì)微運(yùn)動(dòng)差異的動(dòng)作進(jìn)行分類，因而聯(lián)合骨架信息和光流對(duì)準(zhǔn)貼片(JFP)提出了一個(gè)新的雙流圖卷積網(wǎng)絡(luò)模型。在骨架數(shù)據(jù)中以每一個(gè)節(jié)點(diǎn)為中心的小范圍內(nèi)提取出運(yùn)動(dòng)光流，把兩部分信息進(jìn)行融合以此提高模型識(shí)別精度。

Zhang 等[44]提出了語(yǔ)義信息對(duì)于骨架動(dòng)作識(shí)別的重要性，把關(guān)節(jié)點(diǎn)的類型和幀索引這兩種語(yǔ)義信息加入模型中，構(gòu)建了基于語(yǔ)義引導(dǎo)的圖神經(jīng)網(wǎng)絡(luò)(SGN)。語(yǔ)義信息使該模型具有更強(qiáng)的可解釋性，與其他模型相比，該網(wǎng)絡(luò)在訓(xùn)練參數(shù)較小的情況下，取得了具有競(jìng)爭(zhēng)性的結(jié)果。

4 基于骨架的人體動(dòng)作識(shí)別數(shù)據(jù)集與模型性能評(píng)估

4.1 基于骨架的人體動(dòng)作識(shí)別數(shù)據(jù)集

隨著研究人員對(duì)人體動(dòng)作識(shí)別的不斷探索，大量與動(dòng)作識(shí)別相關(guān)的數(shù)據(jù)集被創(chuàng)建，用于評(píng)估和檢測(cè)算法的性能。主流的開(kāi)源數(shù)據(jù)集(表1)有Kinetics[45]、NTU RGB+D[46]、UT-Kinect[47]、SYSU[48]以及Florence 3D。本節(jié)將對(duì)目前應(yīng)用最為廣泛的 Kinetics 和NTU RGB＋D 數(shù)據(jù)集進(jìn)行詳細(xì)介紹，其余數(shù)據(jù)集信息見(jiàn)表1。

表1 人體動(dòng)作識(shí)別數(shù)據(jù)集匯總表Tab.1 List of human action recognition datasets

Kinetics 數(shù)據(jù)集是目前最大的無(wú)約束行為識(shí)別數(shù)據(jù)集。該數(shù)據(jù)集由Google 公司的deepmind 團(tuán)隊(duì)提供，是從視頻網(wǎng)站YouTube 上剪輯的片段，一段視頻對(duì)應(yīng)一個(gè)標(biāo)簽，每段視頻大約持續(xù)10 s。行為主要有3 類：?jiǎn)稳诵袨椤⑷伺c物之間的行為、人與人之間的行為，其分為Kinetics 400/600/700，不同的數(shù)字代表不同的動(dòng)作類別數(shù)。

NTU RGB+D 數(shù)據(jù)集是目前最大的室內(nèi)動(dòng)作捕獲三維關(guān)節(jié)的行為識(shí)別數(shù)據(jù)集，是三維骨架動(dòng)作識(shí)別的標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)集。該數(shù)據(jù)集是由南洋理工大學(xué)的RoseLab 實(shí)驗(yàn)室提出的數(shù)據(jù)集。采用Kinect v2 傳感器從3 個(gè)不同角度拍攝，由40 個(gè)不同年齡的志愿者在室內(nèi)采集得到。3D 骨架數(shù)據(jù)包含每幀25 個(gè)關(guān)節(jié)點(diǎn)的三維位置，每個(gè)片段保證最多有2 個(gè)人的人體骨架。該數(shù)據(jù)集包含兩個(gè)劃分規(guī)則，分別為按人物ID劃分(X-Sub)與按攝像頭視角劃分(X-View)，其分為NTU RGB＋D 60/120，不同的數(shù)字代表不同的動(dòng)作類別。

4.2 模型性能評(píng)估與比較

在人體動(dòng)作識(shí)別任務(wù)中，判斷一個(gè)算法的優(yōu)劣通常以動(dòng)作識(shí)別準(zhǔn)確率為標(biāo)準(zhǔn)。在Kinetics 數(shù)據(jù)集中采用top-1 和top-5 準(zhǔn)確率進(jìn)行表示。

式中：Ptop-1和 Ptop-5分別為top-1 和top-5 準(zhǔn)確率，N 為總樣本數(shù)，N1為正確分類的樣本數(shù)，N2為正確標(biāo)簽包含在前5 個(gè)分類概率中的個(gè)數(shù)。在其余數(shù)據(jù)集中均采用top-1 準(zhǔn)確率進(jìn)行表示，本文涉及的算法在各個(gè)數(shù)據(jù)集上的性能見(jiàn)表2。

表2 基于圖卷積人體動(dòng)作識(shí)別算法性能比較Tab.2 Performance comparison of human action recognition algorithms based on graph convolution

由于ST-GCN 是第一個(gè)基于圖的動(dòng)態(tài)骨骼建模方法，為后續(xù)網(wǎng)絡(luò)框架提供了指引，所以成為其他行為識(shí)別算法的基準(zhǔn)。ST-GCN 在NTU RGB+D 數(shù)據(jù)集的兩個(gè)基準(zhǔn)X-Sub 和X-View 上的識(shí)別準(zhǔn)確率為81.5% 和 88.3% 。其他算法分別對(duì)圖構(gòu)建方式(DGNN)、注意力機(jī)制(PA-ResGCN)、融合不同信息(SGN、JOLO-GCN)進(jìn)行改進(jìn)，使模型識(shí)別性能不斷提升。目前，聯(lián)合骨架數(shù)據(jù)與光流的動(dòng)作識(shí)別網(wǎng)絡(luò)(JOLO-GCN)在NTU RGB+D 數(shù)據(jù)集和Kinetics 數(shù)據(jù)集上取得了最優(yōu)結(jié)果，準(zhǔn)確率分別為 93.8%和98.1%。其原因是在提取骨架數(shù)據(jù)的基礎(chǔ)上，又引入了局部光流信息，兩種角度的信息更有助于計(jì)算機(jī)理解人體動(dòng)作。此外，ResGCN-N51 網(wǎng)絡(luò)在參數(shù)量達(dá)到最小的同時(shí)，也能取得具有競(jìng)爭(zhēng)力的結(jié)果，準(zhǔn)確率分別為89.1%和93.5%。

5 展 望

隨著圖卷積神經(jīng)網(wǎng)絡(luò)在人體動(dòng)作識(shí)別領(lǐng)域研究的不斷深入，分析現(xiàn)有模型，其發(fā)展方向主要有：

(1)圖卷積與圖池化[49-50]相結(jié)合。在模型中引入池化層可以增大節(jié)點(diǎn)間的差異性，減少過(guò)擬合的發(fā)生，使構(gòu)建深度圖卷積模型成為可能。例如，Ying等[51]提出的Diffpool 池化方法應(yīng)用在圖分類任務(wù)上提高了模型性能。未來(lái)，研究人員可以把圖卷積與圖池化相結(jié)合構(gòu)建深度網(wǎng)絡(luò)模型。

(2)多特征融合方法。多特征融合是將不同模態(tài)的信息進(jìn)行融合，其通常優(yōu)于單一數(shù)據(jù)特征方法的識(shí)別結(jié)果。在基于圖卷積網(wǎng)絡(luò)的人體動(dòng)作識(shí)別中，除骨架數(shù)據(jù)外，可以考慮引入光流、RGB 圖像、語(yǔ)義等模態(tài)信息，如JOLO-GCN[43]、SGN 等[44]。這些改進(jìn)有效地提升了模型精度，證明了多特征融合的必要性，但多特征融合的難點(diǎn)在于如何將多個(gè)模態(tài)的信息進(jìn)行有效融合。此外，多模態(tài)特征融合增大了網(wǎng)絡(luò)模型的計(jì)算復(fù)雜度，所以對(duì)于模態(tài)的選擇和特征融合方法是未來(lái)該領(lǐng)域重要的研究方向。

(3)細(xì)粒度動(dòng)作識(shí)別。隨著網(wǎng)絡(luò)模型在粗粒度數(shù)據(jù)集上的識(shí)別精度越來(lái)越高，動(dòng)作識(shí)別正在由粗粒度向細(xì)粒度進(jìn)行轉(zhuǎn)變，一些細(xì)粒度動(dòng)作識(shí)別數(shù)據(jù)集已經(jīng)被提出，如Epic-Kitchens[52]、Jester、FineGym[53]。細(xì)粒度動(dòng)作識(shí)別要求模型區(qū)分相似動(dòng)作之間的微小差異，對(duì)模型提出了更高的要求。如何區(qū)分動(dòng)作之間微小的差異是未來(lái)細(xì)粒度動(dòng)作識(shí)別的主要研究方向。

(4)小樣本學(xué)習(xí)。傳統(tǒng)深度學(xué)習(xí)模型進(jìn)行分類任務(wù)時(shí)往往需要標(biāo)注大量的數(shù)據(jù)作為支撐，小樣本學(xué)習(xí)旨在利用先驗(yàn)知識(shí)使模型快速適用于只包含少量帶有監(jiān)督信息的樣本任務(wù)中。在動(dòng)作識(shí)別任務(wù)中，數(shù)據(jù)的收集成本昂貴，數(shù)據(jù)標(biāo)注耗費(fèi)大量人力物力，研究小樣本學(xué)習(xí)的意義不言而喻。此外，人體動(dòng)作種類繁多，構(gòu)建一個(gè)包含所有種類的動(dòng)作識(shí)別數(shù)據(jù)集將面臨巨大困難，故小樣本學(xué)習(xí)研究受到了越來(lái)越多的關(guān)注。Cao 等[54]通過(guò)對(duì)齊視頻的幀，用最小路徑的代價(jià)衡量?jī)蓚€(gè)視頻的相似度，從而實(shí)現(xiàn)動(dòng)作分類。Ma等[55]同時(shí)使用基于秩最大化解耦的空間對(duì)齊和基于動(dòng)態(tài)規(guī)劃思想最優(yōu)匹配的時(shí)序?qū)R，從空域和時(shí)域兩個(gè)角度進(jìn)行動(dòng)作識(shí)別。如何充分利用好先驗(yàn)知識(shí)，是小樣本學(xué)習(xí)未來(lái)的研究方向。