摘 要：動(dòng)作識(shí)別是計(jì)算機(jī)視覺領(lǐng)域中的前沿探索，得益于圖卷積網(wǎng)絡(luò)（GCN）處理非歐幾里德數(shù)據(jù)的優(yōu)勢(shì)，該方法已成為從骨架數(shù)據(jù)中提取特征的主流方法。針對(duì)目前GCN忽視跨序列信息、對(duì)運(yùn)動(dòng)軌跡相似度高的模糊樣本難以區(qū)分等問題，提出一種結(jié)合對(duì)比學(xué)習(xí)的圖拓?fù)鋵?duì)比細(xì)化方法（graph topology contrast refinement block，GTCR-Block）。首先，根據(jù)模型的識(shí)別情況，將樣本劃分為可信樣本和模糊樣本；其次，建立樣本級(jí)記憶庫(kù)（sample-level memory bank，B_sam）和全局級(jí)記憶庫(kù)（global-level memory bank，B_glo），存儲(chǔ)跨批次圖拓?fù)?，使用?duì)比學(xué)習(xí)方法使圖拓?fù)渚哂蓄悆?nèi)聚合、類間分散的特性，將模糊樣本在特征空間中分隔開。最后，采用多層次的策略學(xué)習(xí)更多的判別特征表示。實(shí)驗(yàn)結(jié)果表明，在不增加額外參數(shù)的情況下，在NTU RGB+D數(shù)據(jù)集達(dá)到了X-Sub基準(zhǔn)93.3%和X-View基準(zhǔn)97.4%的準(zhǔn)確率，在 NTU RGB+D 120數(shù)據(jù)集達(dá)到了X-Sub基準(zhǔn)89.4%和X-set基準(zhǔn)91.2%的準(zhǔn)確率。采用GTCR-Block能夠有效提升動(dòng)作識(shí)別的效果。

關(guān)鍵詞：動(dòng)作識(shí)別；圖卷積網(wǎng)絡(luò)；對(duì)比學(xué)習(xí)；多層次；拓?fù)浼?xì)化

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1001-3695（2025）02-043-0630-06

doi：10.19734/j.issn.1001-3695.2024.04.0167

Action recognition based on multi-level graph topology comparison and refinement

Tang Yuan，Wei Wei^’，Zheng Cheng，Li Chen，Jiang Haowen

（College of Soft Engineering，Chengdu University of Information Technology，Chengdu 610225，China）

Abstract：Action recognition represents a cutting-edge exploration in the field of computer vision.Leveraging the advantages of the graph convolutional network （GCN） in handling non-Euclidean data，this method has become a mainstream approach for extracting features from skeleton data.Addressing the current issues where GCN overlooks cross-sequence information and struggles to distinguish samples with high trajectory similarity，this paper proposed a GTCR-Block combined with contrastive learning.Firstly，based on the model’s recognition results，it categorized samples into reliable samples and ambiguous samples.Secondly，it established a sample-level memory bank and a global-level memory bank to store cross-batch graph topologies.Using contrastive learning，it ensured the graph topologies exhibited intra-class aggregation and inter-class dispersion cha-racteristics，effectively separating ambiguous samples in the feature space.Lastly，it employed multi-level strategies to learn more discriminative feature representations.Experimental results demonstrate that without adding extra parameters，this approach achieves an accuracy of 93.3% on the X-Sub benchmark and 97.4% on the X-View benchmark of the NTU RGB+D dataset.For the NTU RGB+D 120 dataset，it achieves an accuracy of 89.4% on the X-Sub benchmark and 91.2% on the X-set benchmark.The adoption of the GTCR-Block significantly enhances action recognition performance.

Key words：action recognition；graph convolutional network；contrastive learning；multi-level；topology refinement

0 引言

人體動(dòng)作識(shí)別是計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)，在健身運(yùn)動(dòng)、公共安全、醫(yī)療監(jiān)護(hù)、人機(jī)交互等領(lǐng)域都具有廣泛的應(yīng)用。近年來，因低成本深度相機(jī)和優(yōu)秀的姿態(tài)估計(jì)算法相繼涌現(xiàn)，較精準(zhǔn)的骨架模態(tài)數(shù)據(jù)集也隨之出現(xiàn)，與深度、RGB、光流等模態(tài)相比，骨架模態(tài)不受復(fù)雜的背景信息影響，且信息密度高、計(jì)算量小，更具有表達(dá)能力，但同時(shí)因只有人體骨架而缺少背景中的相關(guān)物體，在模糊樣本中分類效果不佳。

傳統(tǒng)的骨架動(dòng)作識(shí)別通常使用手工特征對(duì)人體進(jìn)行建模，需要大量手動(dòng)調(diào)參以適應(yīng)特定的數(shù)據(jù)集，消耗人力大、特征提取能力和泛化能力差，難以充分利用時(shí)間和空間特征。近年來隨著硬件資源的不斷發(fā)展，深度學(xué)習(xí)自動(dòng)從視頻中提取特征的方式也展現(xiàn)出了比傳統(tǒng)方法更強(qiáng)大的能力，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）^［1］、卷積神經(jīng)網(wǎng)絡(luò)（CNN）^［2］和圖卷積網(wǎng)絡(luò)（GCN）被廣泛應(yīng)用到動(dòng)作識(shí)別中。其中RNN將關(guān)節(jié)坐標(biāo)表示為向量序列后進(jìn)行建模，CNN則將關(guān)節(jié)坐標(biāo)通過人工設(shè)計(jì)的規(guī)則表示為偽圖像，然而這兩種方法都不能完全表示骨架數(shù)據(jù)的結(jié)構(gòu)。骨架數(shù)據(jù)是一種非歐幾里德數(shù)據(jù)，并非矢量序列或二維網(wǎng)格，使用GCN提取這類數(shù)據(jù)的特征比RNN和CNN更有優(yōu)勢(shì)。Yan等人^［3］首次將圖卷積網(wǎng)絡(luò)應(yīng)用于骨架動(dòng)作識(shí)別，提出時(shí)空?qǐng)D卷積網(wǎng)絡(luò)（ST-GCN），利用人體關(guān)節(jié)之間的自然連接關(guān)系進(jìn)行動(dòng)作建模，但所有通道共享同一圖拓?fù)?，難以充分提取多種不同動(dòng)作的特征。Shi 等人^［4］為了解決上述問題，提出雙流自適應(yīng)圖卷積神經(jīng)網(wǎng)絡(luò)（2s-AGCN），學(xué)習(xí)了一個(gè)非固定的關(guān)系圖拓?fù)洌岣吡藞D拓?fù)涞谋磉_(dá)能力，但同一樣本的所有通道仍然共享同一圖拓?fù)洹hen等人^［5］則提出通道拓?fù)浼?xì)化圖卷積網(wǎng)絡(luò)（CTR-GCN），通過同時(shí)學(xué)習(xí)一個(gè)共享的拓?fù)涮卣骱屯ǖ捞囟ㄏ嚓P(guān)性的方法，獲得不同的拓?fù)浣Y(jié)構(gòu)，并有效地聚合不同通道中的聯(lián)合特征，得到逐通道的拓?fù)浣Y(jié)構(gòu)。上述研究方法都針對(duì)圖拓?fù)溥M(jìn)行了細(xì)化，最終在CTR-GCN上達(dá)到了逐通道的拓?fù)浣Y(jié)構(gòu)，在序列內(nèi)學(xué)到了豐富的聚合特征，但這種特征仍然是局部的，CTR-GCN對(duì)運(yùn)動(dòng)軌跡相似度高的模糊樣本仍難以區(qū)分。對(duì)于“戴上眼鏡”和“摘下眼鏡”，可以通過時(shí)間序列信息加以區(qū)分，但對(duì)于如“自拍”和“指向某物”、“玩平板電腦”和“在鍵盤上鍵入”這類動(dòng)作則需要更豐富的空間信息。因此本文提出一種圖拓?fù)鋵?duì)比細(xì)化方法，擴(kuò)大異類樣本之間的距離，拉近同類樣本的距離，提升GCN的模糊樣本分類能力。

1 相關(guān)工作

1.1 基于圖卷積的動(dòng)作識(shí)別

近年來，圖卷積網(wǎng)絡(luò)廣泛應(yīng)用于動(dòng)作識(shí)別中，Yan等人^［3］提出時(shí)空?qǐng)D卷積網(wǎng)絡(luò)（ST-GCN），利用人體關(guān)節(jié)之間的自然連接關(guān)系進(jìn)行動(dòng)作建模，分別從時(shí)間維度和空間維度提取時(shí)間軌跡特征和空間結(jié)構(gòu)特征，顯著提高了動(dòng)作識(shí)別的準(zhǔn)確率，也為后續(xù)研究工作提供了思路。Shi 等人^［4］提出雙流自適應(yīng)圖卷積神經(jīng)網(wǎng)絡(luò)（2s-AGCN），引入一個(gè)可學(xué)習(xí)的非固定圖拓?fù)?，與原來的固定圖拓?fù)湎嘟Y(jié)合，提高了圖拓?fù)涞撵`活性，并將一階關(guān)節(jié)信息和二階骨骼信息融合。Cheng 等人^［6］認(rèn)為傳統(tǒng)的圖卷積計(jì)算成本過于龐大，并且在空間和時(shí)間感知野上都是固定的，還需要預(yù)先人工設(shè)置，于是提出移位圖卷積網(wǎng)絡(luò)（Shift-GCN），目的是利用一種新的卷積算子Shift卷積和1×1卷積算子結(jié)合，使得1×1卷積可以同時(shí)融合空間域和通道域的信息，同時(shí)大幅度減少計(jì)算量和參數(shù)量，并在此基礎(chǔ)上進(jìn)一步引入了空間架構(gòu)搜索技術(shù)，巧妙地融合了顯式空間編碼信息，構(gòu)建了全新的Shift-GCN++模型。Liu等人^［7］提出多尺度和統(tǒng)一的時(shí)空模型（MS-G3D），多尺度有效解決了有偏權(quán)重問題，跨時(shí)空模型通過對(duì)視頻幀的選擇將不同時(shí)空域連接起來，并使用空洞卷積有效增大了感受野。Cheng等人^［8］受CNN解耦聚合機(jī)制的啟發(fā)，提出解耦圖卷積網(wǎng)絡(luò)（DC-GCN），考慮到解耦圖卷積會(huì)引入冗余的圖拓?fù)洌瑢⑼ǖ婪譃間組，組中的通道共享一個(gè)可訓(xùn)練的圖拓?fù)?，同時(shí)提出了一種注意力引導(dǎo)的DropGraph來丟棄相關(guān)節(jié)點(diǎn)中的特征以解決GCN中普遍存在的過擬合問題。Chen等人^［5］提出CTR-GCN，同時(shí)學(xué)習(xí)兩個(gè)特征：一個(gè)共享的拓?fù)涮卣骱屯ǖ捞囟ǖ南嚓P(guān)性。共享拓?fù)涮卣骶褪青徑泳仃嚕洚?dāng)所有通道的先驗(yàn)，并提供頂點(diǎn)之間的一般關(guān)系，針對(duì)每個(gè)通道的特定通道相關(guān)性對(duì)其進(jìn)行細(xì)化，得到了通道級(jí)的拓?fù)浣Y(jié)構(gòu)。然而，圖拓?fù)潆m然在不斷細(xì)化，GCN的特征表達(dá)能力也得到了加強(qiáng)，但目前仍缺乏對(duì)跨序列的全局視野的利用。

1.2 對(duì)比學(xué)習(xí)

對(duì)比學(xué)習(xí)已經(jīng)在多個(gè)研究領(lǐng)域取得了顯著的進(jìn)展，其核心思想是通過比較樣本對(duì)之間的相似性來學(xué)習(xí)表示，算法被訓(xùn)練以最大化同類樣本之間的相似度，并最小化異類之間的相似度。對(duì)比學(xué)習(xí)通常需要利用數(shù)據(jù)增強(qiáng)生成一組圖像的轉(zhuǎn)換版本，然后訓(xùn)練網(wǎng)絡(luò)以區(qū)分圖像。

Lin等人^［9］提出了一種依賴于動(dòng)作的對(duì)比學(xué)習(xí)方法，以區(qū)分的方式構(gòu)建運(yùn)動(dòng)區(qū)域和靜態(tài)區(qū)域之間的特征表示，更好地進(jìn)行動(dòng)作建模。Thoker等人^［10］提出了骨架間對(duì)比學(xué)習(xí)，以交叉對(duì)比的方式從多個(gè)不同的輸入骨架表示中學(xué)習(xí)，提出幾種特定于骨架的空間和時(shí)間增強(qiáng)，進(jìn)一步學(xué)習(xí)骨架數(shù)據(jù)的時(shí)空動(dòng)力學(xué)。Peng等人^［11］提出了在不使用標(biāo)記測(cè)試集的情況下評(píng)估經(jīng)過訓(xùn)練的機(jī)器學(xué)習(xí)模型，消除了循環(huán)中涉及訓(xùn)練集的問題，其核心思想建立在理論分析的基礎(chǔ)上，該理論分析將模型性能與對(duì)比損失聯(lián)系起來。Rao等人^［12］提出了一種基于Transformer的通用骨架圖原型對(duì)比學(xué)習(xí)（TranSG）方法，該方法具有結(jié)構(gòu)軌跡提示重建，以充分捕獲骨架圖中的骨架關(guān)系和有價(jià)值的時(shí)空語義，用于人員重新識(shí)別。但是，這些方法通常設(shè)計(jì)具有原始身體關(guān)節(jié)的骨架描述符或進(jìn)行骨架序列表示學(xué)習(xí)，很少將身體關(guān)節(jié)的細(xì)粒度表示和全局層面結(jié)合起來探索有用的語義。

2 網(wǎng)絡(luò)結(jié)構(gòu)

2.1 整體結(jié)構(gòu)

本文提出的GTCR-Block是一個(gè)即插即用的模塊，可用于ST-GCN 、2s-AGCN 、CTR-GCN等圖卷積網(wǎng)絡(luò)，現(xiàn)以CTR-GCN為例。

CTR-GCN是骨架動(dòng)作識(shí)別中經(jīng)典的圖卷積網(wǎng)絡(luò)，于2021年提出，遵循ST-GCN的大框架，分為空間維度和時(shí)間維度，其中空間維度使用的方法為通道拓?fù)浼?xì)化圖卷積（channel-wise topology refinement graph convolution，CTR-GC），其輸入可以表示為X∈?^3×T×N，其中，3表示關(guān)節(jié)點(diǎn)的三維坐標(biāo)，T表示幀數(shù)，N是每幀中關(guān)節(jié)點(diǎn)的個(gè)數(shù)，關(guān)節(jié)點(diǎn)可以表示為V={V₁，V₂，…，V_N}。CTR-GC分為三個(gè)部分，即將輸入轉(zhuǎn)換為高級(jí)特征表示的特征轉(zhuǎn)換模塊、針對(duì)每個(gè)通道的特定通道相關(guān)性對(duì)圖拓?fù)溥M(jìn)行細(xì)化的通道拓?fù)浣ＤK、將得到的高維特征通過愛因斯坦求和約定聚合起來的通道聚合模塊，如圖1所示。

時(shí)間維度基本沿用MS-G3D^［7］的方法，區(qū)別在于使用了較少的分支，因?yàn)檫^多的分支會(huì)降低推理速度。一系列時(shí)態(tài)卷積網(wǎng)絡(luò)（TCN）和圖卷積網(wǎng)絡(luò)（GCN）構(gòu)成一個(gè)基本單元，稱為TGN，具體來說，TCN 通過在時(shí)間維度上施加一維 CNN 來提取時(shí)間特征；GCN則通過CTR-GC學(xué)習(xí)逐通道的拓?fù)鋱D來提取空間特征。它們通過降低時(shí)間維度、增加通道維度來生成多尺度特征，如圖2所示。

CTR-GCN由 10 個(gè)基本單元TGN組成，然后使用池化層獲得一維高級(jí)特征向量，最后使用全連接層將特征映射到K個(gè)候選類別的概率分布中。其中第一層、第五層、第八層TGN進(jìn)行了空間通道維度的變換。本文便將GTCR-Block模塊施加在CTR-GCN方法的TGN之間，對(duì)圖拓?fù)溥M(jìn)行逐通道的對(duì)比學(xué)習(xí)細(xì)化，增強(qiáng)模型的特征提取能力。GTCR-Block僅在訓(xùn)練時(shí)調(diào)用，測(cè)試時(shí)不會(huì)使用，因此，測(cè)試不會(huì)增加任何參數(shù)。模型的整體框架如圖3所示。在不改變backbone的情況下，分別在第一層、第五層、第八層、第十層添加GTCR-Block模塊。第一層、第五層、第八層是backbone中特征維度變換的地方，添加GTCR-Block對(duì)模型增強(qiáng)的特征提取能力進(jìn)行更進(jìn)一步的優(yōu)化；第十層是backbone的最后一層，決定了模型提取的最終特征，因此添加GTCR-Block模塊。

2.2 GTCR-Block模塊

GTCR-Block主要思路是提高基于骨架的模型在模糊樣本上的分類能力，因?yàn)檫@些動(dòng)作非常相似，很容易被錯(cuò)誤分類。圖拓?fù)鋵?duì)圖卷積的特征提取能力起著至關(guān)重要的作用，它指出了每類動(dòng)作關(guān)節(jié)間的連接強(qiáng)度，決定著關(guān)節(jié)間的信息傳遞。

以往的許多研究都是在對(duì)圖拓?fù)溥M(jìn)行優(yōu)化，例如在最早提出的 ST-GCN^［3］中，后續(xù)的2s-AGCN^［4］中，g∈?^K×N×N，在CTR-GCN^［5］中，g∈?^K_S^×C′×N×N。其中g(shù)表示圖拓?fù)浼?；N表示圖拓?fù)涞拈L(zhǎng)和寬，即骨架數(shù)據(jù)中關(guān)節(jié)點(diǎn)的個(gè)數(shù)；K_S表示子圖的個(gè)數(shù)，通常設(shè)置為3；C′表示特征的維度。由此可見，在CTR-GCN已經(jīng)可以細(xì)化學(xué)習(xí)到每一個(gè)通道的圖拓?fù)?，這使得圖卷積的拓?fù)湫畔⒈碚髂芰Φ玫教嵘@種表征能力仍然是局部的，只能在序列內(nèi)學(xué)到豐富的聚合特征?；诖?，本文提出一種即插即用的模塊，用于優(yōu)化backbone中圖拓?fù)涞目缧蛄袑W(xué)習(xí)能力，稱為圖拓?fù)鋵?duì)比細(xì)化方法（GTCR-Block）。

如圖4所示，backbone輸出的圖拓?fù)錇間∈?^K_S^×C′×N×N，首先通過平均池化層沿著通道維度將圖拓?fù)鋲嚎s為g∈?^K_S^×N×N，然后扁平化為一維向量g∈?^K_S^N2，并通過g（·）投影為V∈?^C_g，最后使用對(duì)比學(xué)習(xí)方法通過兩個(gè)記憶庫(kù)計(jì)算損失函數(shù)，從而細(xì)化圖拓?fù)?，學(xué)習(xí)跨序列信息。

2.2.1 樣本分類

1）可信樣本 對(duì)于GCN能正確分類的樣本，就將其視為真陽性樣本（TP），即可信樣本。來自可信樣本的圖拓?fù)渫哂懈玫念悆?nèi)一致性，收集每一個(gè)類別的可信樣本的圖拓?fù)?，并?jì)算全局圖拓?fù)?，這些全局圖拓?fù)淇梢宰鳛橄鄳?yīng)類別的圖拓?fù)浠鶞?zhǔn)。全局圖拓?fù)淇啥x為

g^K_TP=1n^K_TP∑i∈SK_TPg_i（1）

其中：S^K_TP表示一個(gè)批次中標(biāo)簽K的真陽性樣本集；n^K_TP表示樣本集的大??；g_i表示從樣本i中提取的圖拓?fù)洹?/p>

在訓(xùn)練過程中，全局圖拓?fù)鋵⒊蔀閯?dòng)作k的基準(zhǔn)。每個(gè)樣本的圖拓?fù)涠紤?yīng)該與相對(duì)應(yīng)的全局圖拓?fù)浔M量接近，而盡量遠(yuǎn)離其他標(biāo)簽的全局圖拓?fù)?，從而達(dá)到類內(nèi)聚集、類間分散的目的。兩個(gè)特征向量之間的距離公式定義為

dis（n，v）=nv‖n‖₂‖v‖₂（2）

其中：n和v表示兩個(gè)圖拓?fù)?；‖?sub>2表示L₂范數(shù)。

2）模糊樣本 與可信樣本相對(duì)應(yīng)的是模糊樣本，這類樣本往往與其他類別非常相似，模型難以正確分類，如圖5所示。為了在訓(xùn)練階段發(fā)現(xiàn)模糊樣本，并提高模型的模糊樣本分類性能，還要收集分類錯(cuò)誤的樣本。對(duì)于動(dòng)作標(biāo)簽k，有兩種類型的模糊樣本。如果動(dòng)作k的樣本被誤判為其他類別，則稱為假陰性樣本（FN），這類樣本是因?yàn)閷W(xué)習(xí)到的圖拓?fù)渑c其真實(shí)類別k的圖拓?fù)湎嗨贫冗^低。如果其他類別的樣本被誤判為動(dòng)作k，則稱為假陽性樣本（FP），這類樣本則是因?yàn)閷W(xué)習(xí)到的圖拓?fù)渑c動(dòng)作k的圖拓?fù)湎嗨贫冗^高。

2.2.2 記憶庫(kù)

記憶庫(kù)（memory bank）的作用是在訓(xùn)練時(shí)維護(hù)大量的負(fù)樣本表示，它存儲(chǔ)每個(gè)樣本的嵌入，并在訓(xùn)練過程中不斷更新。通過記憶庫(kù)，模型可以方便地獲取和更新負(fù)樣本，進(jìn)行高效的對(duì)比學(xué)習(xí)。Wu等人^［13］描述了一種基于記憶庫(kù)來采樣負(fù)樣本，從而實(shí)現(xiàn)對(duì)比學(xué)習(xí)的方式。每個(gè)圖像都將自己本身作為正樣本，將其他圖像作為負(fù)樣本，這相當(dāng)于將每個(gè)圖像當(dāng)做一個(gè)類別。Khosla等人^［14］提出正樣本來源有兩個(gè)，一個(gè)是通過數(shù)據(jù)增強(qiáng)構(gòu)造，另一個(gè)是batch內(nèi)的同一個(gè)類別的數(shù)據(jù)，負(fù)樣本則是同一個(gè)batch內(nèi)與正樣本屬于不同類別的數(shù)據(jù)。本文為了豐富跨序列上下文，將設(shè)置兩個(gè)記憶庫(kù)來存儲(chǔ)跨批次圖拓?fù)?，分別為樣本級(jí)記憶庫(kù)（sample-level memory bank，B_sam）和全局級(jí)記憶庫(kù)（global-level memory bank，B_glo）。樣本級(jí)記憶庫(kù)B_sam∈?^C_K^×P×C_g。其中P表示B_sam中存儲(chǔ)的每個(gè)類別的圖拓?fù)鋽?shù)；C_K表示子圖的數(shù)量，通常為3；C_g是一維化的圖拓?fù)?。B_sam中以FN樣本為正樣本集N⁺_sam，F(xiàn)P樣本為負(fù)樣本集N^-_sam，目的是使FN樣本靠近其真實(shí)標(biāo)簽，F(xiàn)P樣本遠(yuǎn)離其預(yù)測(cè)標(biāo)簽。

全局級(jí)記憶庫(kù)B_glo∈?^C_K^×C_g，B_glo中以所測(cè)樣本真實(shí)標(biāo)簽的全局圖拓?fù)錇檎龢颖綨⁺_glo，其余標(biāo)簽的全局圖拓?fù)錇樨?fù)樣本集N^-_glo，目的是使樣本的圖拓?fù)淇拷湔鎸?shí)標(biāo)簽的全局圖拓?fù)?，遠(yuǎn)離其他標(biāo)簽的全局圖拓?fù)?。B_glo通過動(dòng)量更新^［15］的原則，避免全局圖拓?fù)鋭×易兓?，并充分利用歷史信息，幫助模型更好地捕捉和區(qū)分不同類別的樣本特征。全局圖拓?fù)涞膭?dòng)量更新可定義為

G_K=（1-α）·g^K_TP+α×G_K（3）

其中：，g^K_TP是標(biāo)簽K的全局圖拓?fù)洌沪翞閯?dòng)量項(xiàng)，經(jīng)過實(shí)驗(yàn)驗(yàn)證，設(shè)置為0.95。

2.2.3 損失函數(shù)

為了細(xì)化圖拓?fù)?，學(xué)習(xí)到模糊樣本中的差別，要分別計(jì)算B_sam和B_glo的局部損失。使用所測(cè)樣本V為錨點(diǎn)，局部損失函數(shù)可定義為

L_sam=-∑V⁺∈N+_samloge^{（dis（v，v+）/τ）}e^{（dis（v，v+）/τ）+∑V-∈N-}_same^{（dis（v，v-）/τ）}（4）

L_glo=-∑V⁺∈N+_glologe^{（dis（v，v+）/τ）}e^{（dis（v，v+）/τ）+∑V-∈N-}_gloe^{（dis（v，v-）/τ）}（5）

其中：V⁺表示正樣本集中的元素；V^-表示負(fù)樣本集中的元素；溫度系數(shù)（temperature）τ是超參數(shù)。將B_sam和B_glo的局部損失相加即為一個(gè)GTCR-Block模塊的損失，可定義為

L_cl=L_sam+L_glo（6）

本文將主干網(wǎng)絡(luò)分為四個(gè)階段，為了多層次地學(xué)習(xí)拓?fù)浔硎荆瑢?duì)每個(gè)階段添加一個(gè)GTCR-Block，分別位于TGN的第一層、第五層、第八層和最后一層（第十層），多層次損失函數(shù)可以定義為

L_CL=∑4i=1λ_i·Lⁱ_cl（7）

其中：L_CL是多層次GTCR-Block的損失；Lⁱ_cl是階段i計(jì)算的GTCR-Block損失；λ_i是控制階段i損失函數(shù)權(quán)重的超參數(shù)。

獲得多層次GTCR-Block損失L_CL后，再與主干網(wǎng)絡(luò)的損失加權(quán)求和，作為整個(gè)模型的全局損失。假設(shè)主干網(wǎng)絡(luò)的損失為L(zhǎng)_CE，那么模型的總體損失函數(shù)可定義為

L=λ_CL·L_CL+L_CE（8）

其中：λ_CL是超參數(shù)，用來平衡多層次GTCR-Block損失函數(shù)和主干網(wǎng)絡(luò)的損失函數(shù)。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集

1）NTU RGB+D^［16］ 該數(shù)據(jù)集通過40名受試者收集了56 880個(gè)動(dòng)作樣本，包含60個(gè)動(dòng)作類別。這些動(dòng)作分為三類：40個(gè)日常行為（如梳頭、鼓掌、閱讀）、9個(gè)與醫(yī)學(xué)健康相關(guān)（如跌倒、頭痛）、11個(gè)為雙人動(dòng)作（如擁抱、握手）。這些動(dòng)作發(fā)生在17個(gè)不同的場(chǎng)景條件下，使用三個(gè)相機(jī)從三個(gè)角度拍攝，即-45°，0°，45°，每個(gè)動(dòng)作受試者對(duì)左右兩側(cè)相機(jī)分別做一次，這樣就會(huì)得到2×3個(gè)不同角度下的樣本。每個(gè)樣本為300幀，小于 300 幀則重復(fù)序列使其達(dá)到300幀，每幀中最多有兩幅骨架，每幅骨架25個(gè)關(guān)節(jié)點(diǎn)，用三維坐標(biāo)描述關(guān)節(jié)點(diǎn)的位置。該數(shù)據(jù)集按照跨目標(biāo)（X-Sub）與跨視角（X-View）兩種方式劃分。X-Sub方式下，將40位受試者按編號(hào)分為訓(xùn)練集與測(cè)試集，訓(xùn)練集40 320個(gè)樣本，測(cè)試集16 560個(gè)樣本。X-View 方式下，按照相機(jī)ID劃分，將相機(jī)ID為2、3的作為訓(xùn)練集（2個(gè)相機(jī)），共37 920個(gè)樣本；相機(jī)ID為1的作為測(cè)試集，共18 960個(gè)樣本。

2）NTU RGB+D 120^［17］ 該數(shù)據(jù)集在NTU-RGB+D數(shù)據(jù)集上擴(kuò)充了60個(gè)動(dòng)作類別、57 600個(gè)動(dòng)作樣本，共114 480個(gè)動(dòng)作樣本，通過106名受試者收集。還使用不同的地點(diǎn)和背景，將攝像機(jī)設(shè)置的數(shù)量增加到 32 個(gè)。其中82個(gè)日常行為、12 個(gè)與醫(yī)學(xué)健康相關(guān)、26 個(gè)為雙人動(dòng)作。該數(shù)據(jù)集按照跨目標(biāo)（X-Sub）與跨視角（X-Set）兩種方式劃分，偶數(shù)設(shè)置ID的樣本用于訓(xùn)練，奇數(shù)設(shè)置 ID 的樣本用于測(cè)試。

3.2 實(shí)驗(yàn)設(shè)置

本實(shí)驗(yàn)所采用的硬件設(shè)備為1塊NVIDIA GeForce RTX 3090顯卡，軟件設(shè)置為CUDA12.1，Python3.10.13，PyTorch2.1.0。使用隨機(jī)梯度下降優(yōu)化器訓(xùn)練模型，初始學(xué)習(xí)率設(shè)置為 0.1，權(quán)重衰減率設(shè)置為 0.000 3，動(dòng)量項(xiàng)α設(shè)置為0.95，溫度系數(shù)τ設(shè)置為0.8，損失函數(shù)平衡項(xiàng)設(shè)置為λ₁=0.1，λ₂=0.3，λ₃=0.6，λ₄=1，λ_CL=0.2。批大小設(shè)置為64，所有樣本的數(shù)據(jù)幀均調(diào)整為64幀，訓(xùn)練次數(shù)為75個(gè)epoch，在前5個(gè)epoch中，使用學(xué)習(xí)率預(yù)熱策略，將第一個(gè)epoch的學(xué)習(xí)率設(shè)置為初始值的1/5，每過一個(gè)epoch增加1/5，第5個(gè)epoch恢復(fù)至初始學(xué)習(xí)率。在第35和第60個(gè)epoch時(shí)將學(xué)習(xí)率衰減為原來的1/10。

3.3 對(duì)比實(shí)驗(yàn)

3.3.1 與其他主流骨架動(dòng)作識(shí)別算法的比較

本節(jié)分別在2s-AGCN和CTR-GCN方法上添加GTCR-Block模塊，并與其他主流骨架動(dòng)作識(shí)別方法在NTU RGB+D和NTU RGB+D 120數(shù)據(jù)集上進(jìn)行了對(duì)比，其他方法的數(shù)據(jù)均使用原論文的實(shí)驗(yàn)結(jié)果。如表1所示，本文方法取得最優(yōu)的效果。2s-AGCN+GTCR-Block與基礎(chǔ)方法2s-AGCN相比，在NTU RGB+D數(shù)據(jù)集的X-Sub基準(zhǔn)上提升了3.4百分點(diǎn)，在X-View基準(zhǔn)上提升了1百分點(diǎn)；在NTU RGB+D 120數(shù)據(jù)集的X-Sub基準(zhǔn)上提升了4.6百分點(diǎn)，在X-View基準(zhǔn)上提升了4.3百分點(diǎn)。CTR-GCN+GTCR-Block與基礎(chǔ)方法CTR-GCN相比，在NTU RGB+D數(shù)據(jù)集的X-Sub基準(zhǔn)上提升了0.9百分點(diǎn)，在X-View基準(zhǔn)上提升了0.6百分比；在NTU RGB+D 120數(shù)據(jù)集的X-Sub基準(zhǔn)上提升了0.5百分點(diǎn)，在X-View基準(zhǔn)上提升了0.6百分點(diǎn)。綜上所述，GTCR-Block加入各類主流圖網(wǎng)絡(luò)中均能提升準(zhǔn)確度性能，這驗(yàn)證了GTCR-Block的有效性和泛用性。

3.3.2 與基礎(chǔ)模型的比較

本節(jié)實(shí)驗(yàn)驗(yàn)證了GTCR-Block對(duì)模型的促進(jìn)效果?！?”表示原論文沒有給出相應(yīng)的實(shí)驗(yàn)結(jié)果，本文使用其官方代碼重新訓(xùn)練的模型結(jié)果。CTR-GCN 算法采用了四類數(shù)據(jù)流：第一類使用原始骨架坐標(biāo)作為輸入，稱為關(guān)節(jié)流，即“joint”；第二類利用關(guān)節(jié)點(diǎn)的二階信息作為輸入，稱為骨骼流，即“bone”；第三類使用關(guān)節(jié)流的運(yùn)動(dòng)信息，即“joint-motion”；第四類使用骨骼流的運(yùn)動(dòng)信息，即“bone-motion”。將這四類數(shù)據(jù)流的 softmax 分?jǐn)?shù)相加以獲得最后的識(shí)別結(jié)果。本文也采用四類數(shù)據(jù)流的方法，分別使用2s-AGCN和CTR-GCN為基礎(chǔ)模型，在NTU RGB+D和NTU RGB+D 120數(shù)據(jù)集上驗(yàn)證GTCR- Block的作用。表2是在NTU RGB+D數(shù)據(jù)集上的驗(yàn)證結(jié)果，表3是在NTU RGB+D 120數(shù)據(jù)集上的驗(yàn)證結(jié)果。實(shí)驗(yàn)結(jié)果表明，GTCR-Block有助于提升人體動(dòng)作識(shí)別的準(zhǔn)確率，這也證明了GTCR-Block 的泛用性，無論使用何種數(shù)據(jù)模式作為輸入，都可以帶來顯著的改善。

本文進(jìn)一步比較了基礎(chǔ)模型CTR-GCN和CTR-GCN+GTCR-Block模型在NTU RGB+D數(shù)據(jù)集中模糊樣本上的準(zhǔn)確率，實(shí)驗(yàn)結(jié)果如圖6所示，添加GTCR-Block后，在這類樣本中識(shí)別效果均大幅提升。在“雙手交叉在前”類上提升了5.6百分點(diǎn)，“鼓掌”類提升了12.1百分點(diǎn)；“閱讀”類提升了11.8百分點(diǎn)，“寫作”類提升了8.9百分點(diǎn)；“玩平板電腦”類提升了9.3百分點(diǎn)，“在鍵盤上鍵入”類提升了8.6百分點(diǎn)；“指向某物”類提升了6.1百分點(diǎn)，“自拍”類提升了4.0百分點(diǎn)。這說明與CTR-GCN相比，本文提出的GTCR-Block能學(xué)習(xí)到更豐富的跨序列信息，使圖拓?fù)渚哂小邦悆?nèi)聚合、類間分散”的能力，因此在提升模型模糊樣本識(shí)別能力上效果顯著。

本文還采用聚類方法將模型提取到的動(dòng)作類特征可視化展示在特征空間中。首先在NTU RGB+D數(shù)據(jù)集中選擇一個(gè)類作為錨定類，然后收集錨定類的錯(cuò)誤分類樣本，并獲得頻率最高的前3個(gè)動(dòng)作。例如以“指向某物”為錨定類，與“自拍”、“胸痛”和“揮手”這三個(gè)分類錯(cuò)誤頻率最高的類構(gòu)造為一個(gè)組，可視化結(jié)果如圖7所示，不同的顏色表示不同的動(dòng)作類（參見電子版）。可以明顯觀察到，CTR-GCN+GTCR-Block方法學(xué)習(xí)到的特征在空間尺度上更加聚集，這證明了GTCR-Block模塊區(qū)分模糊樣本的能力。

同時(shí)為了更深入地驗(yàn)證GTCR-Block模塊對(duì)圖拓?fù)浼?xì)化調(diào)整的作用，本文探索了GTCR-Block模塊在具體動(dòng)作實(shí)例中的表現(xiàn)，可視化地展示了模型所判斷的人體關(guān)節(jié)之間的連接強(qiáng)度。

為了便于展示，僅可視化具有代表性的幀。如圖8所示，用關(guān)節(jié)點(diǎn)之間連線的粗細(xì)表示關(guān)節(jié)點(diǎn)的連接強(qiáng)度。上面為CTR-GCN方法的動(dòng)作實(shí)例，下面是CTR-GCN+GTCR-Block動(dòng)作實(shí)例。顯然，在具體動(dòng)作上，CTR-GCN+GTCR-Block方法所關(guān)注到的要點(diǎn)更接近動(dòng)作的真實(shí)標(biāo)簽。

3.4 消融實(shí)驗(yàn)

3.4.1 超參數(shù)的影響

為了驗(yàn)證各類超參數(shù)對(duì)模型性能的影響，本文在NTU RGB+D數(shù)據(jù)集上進(jìn)行了大量的消融實(shí)驗(yàn)，分別對(duì)溫度系數(shù)τ、動(dòng)量項(xiàng)α、各階段的損失權(quán)重λ_i以及平衡多層次對(duì)比損失函數(shù)和主干損失函數(shù)的λ_CL進(jìn)行了充分的實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表4～6所示，當(dāng)溫度系數(shù)τ=0.8 ，動(dòng)量項(xiàng)α=0.95，λ_CL=0.2，λ₁=0.1，λ₂=0.3，λ₃=0.6，λ₄=1時(shí)，準(zhǔn)確率達(dá)到最高。

上述實(shí)驗(yàn)結(jié)果表明，各類超參數(shù)均對(duì)模型性能有較大的影響，值得注意的是，盡管超參數(shù)的調(diào)整可能會(huì)導(dǎo)致模型性能出現(xiàn)波動(dòng)，但實(shí)驗(yàn)數(shù)據(jù)顯示，模型的性能都不會(huì)低于基礎(chǔ)模型的水平。

3.4.2 各模塊的影響

表7研究了GTCR-Block中g(shù)（·）的作用，g（·）在對(duì)比學(xué)習(xí)方法中早有應(yīng)用，其作用在于通過對(duì)輸入數(shù)據(jù)進(jìn)行非線性變換，可以學(xué)習(xí)到數(shù)據(jù)的本質(zhì)特征，從而提取出有用的信息。不添加g（·）時(shí)，模型性能提升了1百分點(diǎn)，添加g（·）能提升1百分點(diǎn)。這表明了g（·）在GCN中仍有助于提升其之前網(wǎng)絡(luò)層的表征質(zhì)量。

為了研究了樣本級(jí)記憶庫(kù)B_sam和B_glo全局級(jí)記憶庫(kù)的有效性，將它們分開使用。實(shí)驗(yàn)結(jié)果如表8所示，僅使用B_sam提升了0.6百分點(diǎn)，僅使用B_glo提升了0.4百分點(diǎn)，兩者同時(shí)使用可以提升1.2百分點(diǎn)，這表明B_sam和B_glo都有助于圖拓?fù)涞募?xì)化，但跨序列的B_glo提供了更多細(xì)節(jié)信息，且兩者具有互補(bǔ)的作用。

為了驗(yàn)證多層次GTCR-Block的作用，根據(jù)GTCR-Block的個(gè)數(shù)和位置在NTU RGB+D數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn)。四個(gè)GTCR-Block分別為GTCR-1、GTCR-5、GTCR-8、GTCR-10。實(shí)驗(yàn)結(jié)果如表9所示，TCN-10對(duì)性能的影響最大，提升了0.8百分點(diǎn)的準(zhǔn)確率，靠前的GTCR-Block提升得較少，這是因?yàn)樵谇懊鎸W(xué)習(xí)到的圖拓?fù)潆S著空間卷積模塊和時(shí)間卷積模塊的學(xué)習(xí)，被漸漸稀釋，第10個(gè)TGN模塊學(xué)習(xí)的是最終的圖拓?fù)?，?duì)模型的性能影響最大。

4 結(jié)束語

本文提出多層次圖拓?fù)鋵?duì)比細(xì)化的人體骨架動(dòng)作識(shí)別方法。針對(duì)主流圖卷積神經(jīng)網(wǎng)絡(luò)僅融合序列內(nèi)信息而忽視跨序列信息的問題，將所有樣本劃分為可信樣本和模糊樣本，根據(jù)樣本劃分建立樣本級(jí)記憶庫(kù)和全局級(jí)記憶庫(kù)，拉近同類樣本的距離，使異類樣本互相遠(yuǎn)離，以此提升模型在模糊樣本上的分類能力，并采用多層次的策略，學(xué)習(xí)更多的判別特征表示。分別在NTU RGB+D和NTU RGB+D 120數(shù)據(jù)集驗(yàn)證了所提方法的有效性和泛化性，實(shí)驗(yàn)表明該方法能顯著提升現(xiàn)有的主流圖卷積算法的識(shí)別效果。但本文方法即使在測(cè)試時(shí)不增加任何計(jì)算量，也難以在有限的算力下部署和應(yīng)用，后續(xù)研究將采用知識(shí)蒸餾或模型剪枝等技術(shù)來進(jìn)一步優(yōu)化模型，保持較高性能的同時(shí)實(shí)現(xiàn)模型的輕量化和高效化。

參考文獻(xiàn)：

［1］Li Shuai，Li Wanqing，Cook C，et al.Independently recurrent neural network （IndRNN）：building a longer and deeper RNN［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2018：5457-5466.

［2］Caetano C，Bremond F，Schwartz W R.Skeleton image representation for 3D action recognition based on tree structure and reference joints［C］//Proc of SIBGRAPI Conference on Graphics，Patterns and Images.Piscataway，NJ：IEEE Press，2019：16-23.

［3］Yan Sijie，Xiong Yuanjun，Lin Dahua.Spatial temporal graph convolutional networks for skeleton-based action recognition［C］//Proc of the 32nd AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2018：7444-7452.

［4］Shi Lie，Zhang Yifan，Cheng Jian，et al.Two-stream adaptive graph convolutional networks for skeleton-based action recognition［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Re-cognition.Piscataway，NJ：IEEE Press，2019：12026-12035.

［5］Chen Yuxin，Zhang Ziqi，Yuan Chunfeng，et al.Channel-wise topology refinement graph convolution for skeleton based action recognition［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：13359-13368.

［6］Cheng Ke，Zhang Yifan，He Xiangyu，et al. Skeleton-based action re-cognition with shift graph convolutional network［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2020：183-192.

［7］Liu Ziyu，Zhang Hongwen，Chen Zhenghao，et al.Disentangling and unifying graph convolutions for skeleton-based action recognition［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：140-149.

［8］Cheng Ke，Zhang Yifan，Cao Congqi，et al.Decoupling GCN with DropGraph module for skeleton-based action recognition［C］//Proc of European Conference on Computer Vision.Cham：Springer，2020：536-553.

［9］Lin Lilang，Zhang Jiahang，Liu Jiaying.Actionlet-dependent contrastive learning for unsupervised skeleton-based action recognition［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2023：2363-2372.

［10］Thoker F M，Doughty H，Snoek C G M.Skeleton-contrastive 3D action representation learning［C］//Proc of the 29th ACM International Conference on Multimedia.New York：ACM Press，2021：1655-1663.

［11］Peng Ru，Duan Qiuyang，Wang Haobo，et al. CAME：contrastive automated model evaluation［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2023：20121-20132.

［12］Rao Haocong，Miao Chunyan.TranSG：Transformer-based skeleton graph prototype contrastive learning with structure-trajectory prompted reconstruction for person re-identification［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2023：22118-22128.

［13］Wu Zhirong，Xiong Yuanjun，Yu S X，et al. Unsupervised feature learning via non-parametric instance discrimination［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2018：3733-3742.

［14］Khosla P，Teterwak P，Wang C，et al.Supervised contrastive learning ［J］.Advances in Neural Information Processing Systems，2020，33：18661-18673.

［15］Chen Xinlei，Xie Saining，He Kaiming.An empirical study of training self-supervised vision transformers［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2021：9640-9649.

［16］Shahroudy A，Liu Jun，Ng T T，et al. NTU RGB+D：a large scale dataset for 3D human activity analysis ［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2016：1010-1019.

［17］Liu Jun，Shahroudy A，Perez M，et al.NTU RGB+D 120：a large-scale benchmark for 3D human activity understanding［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2019，42（10）：2684-2701.

［18］Si Chenyang，Chen Wentao，Wang Wei，et al. An attention enhanced graph convolutional LSTM network for skeleton-based action recognition［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：1227-1236.

［19］Ye Fanfan，Pu Shiliang，Zhong Qiaoyong，et al.Dynamic GCN：context-enriched topology learning for skeleton-based action recognition［C］//Proc of the 28th ACM International Conference on Multimedia.New York：ACM Press，2020：55-63.

［20］Xu Kailin，Ye Fanfan，Zhong Qiaoyong，et al.Topology-aware convolutional neural network for efficient skeleton-based action recognition［C］//Proc of AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2022：2866-2874.

［21］Song Yifan，Zhang Zhang，Shan Caifeng，et al.Constructing stronger and faster baselines for skeleton-based action recognition［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2022，45（2）：1474-1488.

［22］Liu Dongjingdin，Chen Pengpeng，Yao Miao，et al.TSGCNeXt：dynamic-static multi-graph convolution for efficient skeleton-based action recognition with long-term learning potential ［EB/OL］.（2023-04-23）.https：//arxiv.org/abs/2304.11631.

［23］王琪，何寧.融合內(nèi)在拓?fù)渑c多尺度時(shí)間特征的骨架動(dòng)作識(shí)別 ［J/OL］.計(jì)算機(jī)工程與應(yīng)用.（2024-03-10）.http：//kns.cnki.net/kcms/detail/11.2127.TP.20240308.1634.004.html.（Wang Qi，He Ling.Skeleton action recognition by integrating intrinsic topology and multiscale time features［J/OL］.Computer Engineering and Applications.（2024-03-10）.http：//kns.cnki.net/kcms/detail/11.2127.TP.20240308.1634.004.html.）

［24］Liu Jinfu，Wang Xinshun，Wang Can，et al.Temporal decoupling graph convolutional network for skeleton-based gesture recognition［J］.IEEE Trans on Multimedia，2024，26：811-823.