袁 冠，邴 睿，劉 肖，代 偉，張艷梅，蔡 卓

（1. 礦山數(shù)字化教育部工程研究中心，江蘇徐州 221116；2. 中國礦業(yè)大學計算機科學與技術學院，江蘇徐州 221116；3. 中國礦業(yè)大學信息與控制工程學院，江蘇徐州 221116）

1 引言

近年來，感知計算、傳感器集成技術的快速發(fā)展，使得全方位感知的人機交互成為了可能. 手勢識別具有便利性、自然化和用戶友好等特點，給人機交互帶來了新機遇［1］. 利用手勢進行交互，不僅可以保留用戶原有的交互習慣，還可以豐富人機交互的內涵和形式［2，3］. 基于可穿戴多傳感器的手勢識別主要利用多傳感器融合的方法采集手部姿態(tài)及運動數(shù)據(jù)，并進行計算、分析及識別. 將其作為指令輸入，實現(xiàn)用戶與設備之間的交互，充分體現(xiàn)了交互方式的自然性、人機關系的和諧性、交互途徑的隱含性以及感知通道的多樣性.因此，基于可穿戴多傳感器的手勢識別已經(jīng)成為現(xiàn)階段人機交互研究的熱點，被廣泛地應用于虛擬現(xiàn)實［4］、健康醫(yī)療［5，6］、工業(yè)控制［7］、智能家居［8］及軍事作戰(zhàn)［9］等多個領域.

根據(jù)模型識別方法的不同，現(xiàn)有的手勢識別算法可以分為兩大類：基于統(tǒng)計模型的方法和基于深度學習的方法. 常用于手勢識別的統(tǒng)計模型有支持向量機（Support Vector Machine，SVM）［10］、隱馬爾可夫模型（Hidden Markov Model，HMM）［11］. 例如：Chen 等人［12］使用MYO 腕帶采集手勢數(shù)據(jù)，并對原始手勢數(shù)據(jù)進行預處理，降低噪聲，檢測肌肉活動區(qū)域，然后通過滑動窗口對傳感器數(shù)據(jù)進行特征提取，最后，結合SVM 完成對手勢的識別；Kumar 等人［13］借助耦合隱馬爾可夫模型，提出了多傳感器融合手勢識別方法，該方法克服了HMM 中使用觀察狀態(tài)的缺點，在狀態(tài)空間中提供信息交互，從而提高了手勢識別的性能. 統(tǒng)計模型在小樣本、小標簽的數(shù)據(jù)集上取得了良好的識別效果［14］. 但是隨著手勢數(shù)據(jù)維度的增多、手勢數(shù)據(jù)軌跡復雜化，統(tǒng)計模型識別性能大大降低，主要原因在于手動提取的統(tǒng)計特征無法表征手勢數(shù)據(jù)之間的類內相似性和類間相異性，并受限于專業(yè)領域知識差異，人工特征提取對結果影響比較大.

深度學習在手勢識別方向應用廣泛，簡化了統(tǒng)計模型的特征工程過程，避免了人工干擾，實現(xiàn)了跨領域的知識共享. 常用于手勢識別的神經(jīng)網(wǎng)絡模型有卷積神經(jīng)網(wǎng)絡［15］、循環(huán)神經(jīng)網(wǎng)絡［16］以及圖神經(jīng)網(wǎng)絡［17］. 在手勢識別過程中經(jīng)常利用不同模型的優(yōu)勢互補信息，增強手勢識別的效果. 比如Nunez 等人［18］考慮到使用長短期記憶單元（Long Short Term Memory，LSTM）提取手勢數(shù)據(jù)的時序特征時，需要依賴上一時刻的信息，無法并行執(zhí)行，導致模型訓練速度慢，首先使用卷積神經(jīng)網(wǎng)絡（Convolution Neural Network，CNN）提取手勢數(shù)據(jù)特征，再通過權值共享減少網(wǎng)絡模型訓練的參數(shù)量；Chen等人［19］為避免傳統(tǒng)機器學習方法提取手勢數(shù)據(jù)特征時的人工干擾，使用CNN 自動提取手勢數(shù)據(jù)的隱性特征，結合SVM 完成對手勢的識別，提高了手勢識別精度；劉肖等人［20］通過卷積神經(jīng)網(wǎng)絡提取手勢數(shù)據(jù)特征，結合多分類器進行決策融合，提高手勢識別的準確率；為充分融合不同模型之間的優(yōu)勢，Zhu等人［21］采用混合深度模型對手勢數(shù)據(jù)進行識別，該模型由卷積神經(jīng)網(wǎng)絡和長短期記憶單元組成.

雖然現(xiàn)有的深度學習模型在一定程度上增強了手勢識別性能，但是忽略了手勢數(shù)據(jù)的空間關聯(lián)性［22］，即相鄰關節(jié)點的手勢在空間上相互連接、相互影響. 因此本文提出了基于時空圖神經(jīng)網(wǎng)絡的手勢識別模型（Spatial-Temporal Graph Neural Network based Hand Gesture Recognition，STGNN-HGR），可以提取手勢數(shù)據(jù)的空間關聯(lián)信息與長距離依賴關系，以實現(xiàn)更優(yōu)的識別精度. 在中國手語及標準軍隊手語數(shù)據(jù)集上的實驗證明了本文方法的有效性.

2 基礎知識

2.1 問題描述

基于多傳感器融合的手勢識別可以看作多分類問題，其目的是從原始傳感器數(shù)據(jù)中提取具有強表征能力的信息，進而識別手勢的類型. 給定一系列預處理的傳感器數(shù)據(jù){Di}Ti=1，T表示手勢數(shù)據(jù)的采樣數(shù)，則t時刻的手勢數(shù)據(jù)Dt∈RN×S，如式（1）所示：

其中，N表示嵌入在人體上肢傳感器的數(shù)量；S表示每個傳感器的屬性維度. 根據(jù)人體自然連接性和傳感器的空間位置，將傳感器數(shù)據(jù)D轉換為圖結構數(shù)據(jù)G=(V，E，F(xiàn))，其中V表示人體關節(jié)點，E表示人體上肢自然連接性，F(xiàn)表示各關節(jié)點處傳感器特征，轉換如式（2）所示：

其中，H為轉換矩陣，其功能為將傳感器數(shù)據(jù)構造為圖結構數(shù)據(jù). 假設φ表示特征提取模型，給定t時刻預處理后的圖結構Gt，則特征向量Xt可以按式（3）的方式提取：

使用手勢識別模型φ，計算每個手勢Y={y1，y2，…，yc}的置信度得分P，即條件概率分布，如式（4）所示：

其中，θ表示手勢識別模型φ中所有的參數(shù)；c為手勢種類的數(shù)量. 已知手勢的置信度得分P，則識別模型的預測值為概率最大的手勢數(shù)據(jù)標簽，計算方式如式（5）所示：

2.2 基于空間關聯(lián)的手勢圖構建

為了描述嵌入在關節(jié)點處傳感器的空間分布信息，STGNN-HGR 引入圖結構G=(V，E，F(xiàn))對嵌入在人體上肢傳感器的空間位置進行建模，即對上臂、前臂、手掌以及五指進行關節(jié)點抽象建模［23］. 圖的頂點表示各個關節(jié)點，頂點集V={v1，v2，…，vM}，M表示關節(jié)點數(shù)量. 圖的邊表示肢體連接特性，邊集E={e1，e2，…，en}，n表示邊的數(shù)量. 圖的輸入特征為各關節(jié)點處的傳感器數(shù)值，組成特征集合F={f1，f2，…，fT}，T表示采樣數(shù). 手勢建模如圖1所示.

圖1 手勢建模

傳感器的空間信息由鄰接矩陣和特征矩陣組成.鄰接矩陣A∈RM×M表示傳感器空間關聯(lián)特性，鄰接矩陣aij∈A描述如式（6）：

其中，當不同關節(jié)點vi和vj存在自然連接時，鄰接矩陣aij的取值為1，aij=1 的數(shù)量為2n；否則，鄰接矩陣aij的取值為0.

特征矩陣F∈RM×S由嵌入在人體上肢關節(jié)點的傳感器數(shù)據(jù)組成，M表示關節(jié)點數(shù)量，S表示關節(jié)點的特征維度.表示關節(jié)點vi的特征屬性表示不同關節(jié)點處特征fj的傳感器數(shù)值.

3 基于時空圖神經(jīng)網(wǎng)絡的手勢識別

本文提出的基于時空圖神經(jīng)網(wǎng)絡的手勢識別模型（STGNN-HGR）主要包含以下三部分：數(shù)據(jù)建模、特征提取、手勢識別. 圖2 展示了STGNN-HGR 的框架. 首先，為了充分利用關節(jié)點之間的連通性，STGNN-HGR使用圖結構表示嵌入在人體上肢的傳感器空間信息.空間信息主要由鄰接矩陣和特征矩陣組成，鄰接矩陣表示人體上肢關節(jié)點的自然連接性，特征矩陣表示手部運動及姿態(tài)信息即各關節(jié)點處的傳感器數(shù)值. 然后，STGNN-HGR 結合圖卷積神經(jīng)網(wǎng)絡（Graph Neural Networks，GCN）聚合相互連通關節(jié)點的運動信息. 最后，按照時序信息，將同一關節(jié)點不同采樣的空間特征轉換為時間序列，并借助入門控制循環(huán)單元（Gated Recurrent Unit，GRU）提取手勢數(shù)據(jù)的時序特征，解決動態(tài)手勢的時序性和長期依賴問題，從而完成對手勢動作的識別.

圖2 STGNN-HGR框架

3.1 圖卷積神經(jīng)網(wǎng)絡

為了解決非歐氏空間數(shù)據(jù)的特征提取問題，STGNN-HGR 采用圖卷積經(jīng)神經(jīng)網(wǎng)絡聚合相互連通關節(jié)點的手勢姿態(tài)信息. 首先，為了聚合各關節(jié)點的自身運動特征，形成自環(huán)，將鄰接矩陣A與單位矩陣I∈RM×M相加，即A+I. 然后，由于各個節(jié)點的度的差異性會導致梯度消失或梯度爆炸現(xiàn)象，因此，為了加強模型學習時的數(shù)值穩(wěn)定性，需要將A+I進行歸一化處理，即Λ-1/2(A+I)Λ-1/2. 最 后，t∈T時 刻 的 空 間 特 征由式（7）提?。?/p>

其中，W表示權重矩陣；Λ表示節(jié)點的對角度矩陣；LeakyReLU（·）為非線性激活函數(shù)，用來解決常用的ReLU（·）激活函數(shù)由于單側抑制導致神經(jīng)元無法有效更新的問題，如式（8）所示：

其中，參數(shù)λ為取值在［0，1］上的超參數(shù)，用于控制變量x為負值時映射函數(shù)的斜率大小，避免在變量x小于0時梯度消失的情況.

3.2 門控循環(huán)單元

動態(tài)手勢數(shù)據(jù)不僅具有時序性，而且存在著長距離依賴問題，這意味著手勢數(shù)據(jù)不僅隨時間不斷變化，還受到之前某一時刻輸入數(shù)據(jù)的影響. 為了充分提取手勢數(shù)據(jù)的時序信息，STGNN-HGR 將同一關節(jié)點不同采樣處的空間特征轉化為時間序列，如圖3所示.已知手勢數(shù)據(jù)空間特征表示為且表示采樣數(shù). 按照時間序列，將同一關節(jié)點vi不同采樣的空間特征轉化為時間特征序列轉化過程如式（9）所示：

圖3 手勢時序特征

其中，H為轉化矩陣，用于將空間特征按照時間流順序轉化為時序信息.

傳統(tǒng)機器學習模型（如HMM）能夠有效地識別序列數(shù)據(jù)，但無法解決手勢數(shù)據(jù)的長距離依賴關系，即在較長手勢序列中，當前位置的手勢類別可能依賴輸入開始時的數(shù)據(jù). 為了表征節(jié)點時序信息，解決動態(tài)手勢數(shù)據(jù)的長距離依賴問題，STGNN-HGR采用GRU利用門控機制控制輸入與記憶等信息，不僅解決了循環(huán)神經(jīng)網(wǎng)絡的梯度消失問題，又簡化了長短期記憶單元的計算機制，提高了手勢識別的效率和精度.GRU 的結構如圖4所示.

圖4 GRU結構圖

首先，時間序列特征ftime與上一時刻隱層狀態(tài)ht-1構成更新門，得到更新狀態(tài)zt，用于控制前一刻時間步和當前時間步傳遞信息量，其計算如公式（10）所示：

其中，Wz與Uz分別為更新門中對特征和上一時刻隱層狀態(tài)的權重矩陣，bz為偏置量. 然后，設置重置門決定當前時刻遺忘多少上一時刻的手勢信息，如式（11）所示：

其中，Wr與Ur分別為重置門中對特征和上一時刻隱層狀態(tài)的權重矩陣，br為偏置量. 接著，計算新記憶狀態(tài)，其得到的上一時刻手勢信息量由重置門rt決定，如式（12）所示：

與式（10）、式（11）類似，Wh與Uh分別為新記憶狀態(tài)計算中對特征和上一時刻隱層狀態(tài)的權重矩陣，bh為偏置量. 最后，得到當前時間步的最終信息量，即保留當前單元的信息量并傳遞到下一個單元，如式（13）所示：

其中，⊙表示數(shù)乘，主要用于計算不同時刻信息的保留與傳遞情況.

3.3 時空圖神經(jīng)網(wǎng)絡手勢識別

本文提出的STGNN-HGR 模型將關節(jié)點處的傳感器數(shù)據(jù)轉化圖結構數(shù)據(jù)，結合圖卷積神經(jīng)網(wǎng)絡聚合鄰接節(jié)點信息，解決了手勢數(shù)據(jù)的空間關聯(lián)性問題. 此外，STGNN-HGR通過GRU提取手勢數(shù)據(jù)的時間序列信息，解決了動態(tài)手勢的時序性和長距離依賴問題.STGNN-HGR的算法流程如算法1所示.

算法1 時空圖神經(jīng)網(wǎng)絡手勢識別STGNN-HGR輸入:手勢數(shù)據(jù)集D={d1，d2，…，dT}與對應標簽Y={y1，y2，…，yT}輸出:手勢識別的精確度acc創(chuàng)建手勢鄰接矩陣A ∈RM×M;創(chuàng)建特征矩陣{Ft}T t=1 ∈RM×S;FOREACH dt ∈D={d1，d2，…，dT}:Ft=reshape(dt); //將傳感器數(shù)據(jù)轉化為特征矩陣END FOR FOREACH 采樣數(shù)t ∈T:f t space=LeakyReLu(Λ-1 2(A+I)Λ-1 2 FtW); //提取手勢數(shù)據(jù)的空間特征END FOR{f i time}M i=1=H{f t space}T t=1; //空間特征轉換時間序列FOREACH vi ∈V={v1，v2，…，vm}: //對于每個節(jié)點時間流f i ts=GRU(f i time); //提取手勢數(shù)據(jù)的時序特征END FOR fts=concat{f 1 ts，f 2 ts，…，f M ts }; //特征融合y?=softmax(fts); //獲得手勢數(shù)據(jù)預測值loss=-∑i=1 Tyi log(⌒yi); //使用損失函數(shù)訓練模型acc=STGNN(Dtest); //計算模型測試集識別準確率RETURN acc //返回準確率

4 實驗與性能分析

為了驗證本文方法的有效性，在中國手語數(shù)據(jù)集與標準軍隊動態(tài)手勢數(shù)據(jù)集上設計對比實驗. 選擇由基于統(tǒng)計模型與基于深度學習模型組成的5 種不同的手勢識別算法進行對比分析.

4.1 實驗數(shù)據(jù)分析

本文設計實現(xiàn)了集成雙手臂環(huán)的數(shù)據(jù)手套作為數(shù)據(jù)采集平臺，創(chuàng)建了中國手語數(shù)據(jù)集（Chinese Sign Language，CSL）.CSL由6名志愿者（3名男性和3名女性）完成，他們按照日常中國手語的動作協(xié)議［24］采集了的手勢數(shù)據(jù). 所有的志愿者在實驗過程中佩戴數(shù)據(jù)手套.以20Hz 的固定頻率，利用嵌入在數(shù)據(jù)手套中的彎曲傳感器、陀螺儀以及加速度計，采集手指的彎曲信息、手掌以及大小臂的姿態(tài)信息，并對手勢數(shù)據(jù)進行手動標記.CSL 被隨機分為兩組，其中70%的數(shù)據(jù)用作訓練集，30%用作測試集.CSL 數(shù)據(jù)集主要包含復合動態(tài)手勢（如“你好”復合手勢由“你”和“好”兩個基本手勢組成）和基本動態(tài)手勢（如再見、驚訝等手勢）.

公開數(shù)據(jù)集選用標準軍隊動態(tài)手勢數(shù)據(jù)集［25］（Standardized Hand Signals for Close Range Engagement Operations，CRE）. CRE 包含6 類動態(tài)手勢，每類采集81次，每次采樣數(shù)據(jù)是可變長度的時間序列. 采樣過程中，彎曲傳感器采集手指、手腕以及肘部的彎曲信息，使用慣性測量單元（IMU-MPU-9250）捕捉手臂的姿態(tài)信息. 圖5 為“Come”手勢和“I don’t understand”手勢采集過程中的傳感器數(shù)值.

圖5 CRE傳感器數(shù)據(jù)圖

CRE與CSL兩種數(shù)據(jù)集的統(tǒng)計如表1所示.

表1 實驗數(shù)據(jù)集

4.2 評價指標

評價標準是衡量模型魯棒性、泛化性的主要方式.手勢識別作為典型的多分類問題，在本文中使用準確率作為評價指標對識別結果做出評價. 混淆矩陣是一個N×N矩陣，N表示手勢類別標簽數(shù)量，行表示識別模型的預測值，列表示實例對應的真實值，單元格Cij則表示真實值yj被識別為yi的次數(shù).

手勢識別過程中會出現(xiàn)以下情況：真實的手勢種類被正確預測為正手勢種類的情況，記為TP（True Positive）；不相關的手勢種類被正確地預測為負手勢種類的情況，記為TN（True Negative）；不相關的手勢種類被錯誤地預測為正手勢種類的情況，記為FP（False Positive）；真實的手勢數(shù)據(jù)被錯誤預測為負手勢種類的情況，記為FN（False Negative）.

準確率（Accuracy）是指對于給定的測試手勢數(shù)據(jù)集，識別模型正確分類器的樣本數(shù)占總樣本數(shù)的比值.準確率的計算如式（14）所示：

4.3 實驗結果與分析

為了驗證STGNN-HGR 能夠自動提取具有強表征能力的深度特征，STGNN-HGR 與基于統(tǒng)計模型的識別方法進行對比，包含K 最近鄰（K-Nearest Neighbor，KNN）［26］、SVM［27］等. 此外，為了驗證STGNN-HGR 能夠提取手勢數(shù)據(jù)的空間關聯(lián)信息，解決動態(tài)手勢的時序性以及長距離依賴問題，將STGNN-HGR 與CNN［28］，GRU［29］，CNN-LSTM［18］進行對比. 對比算法的具體描述如表2所示.

表2 對比算法

4.3.1 參數(shù)分析

（1）圖卷積神經(jīng)網(wǎng)絡層數(shù)分析

圖卷積神經(jīng)網(wǎng)絡能夠聚合相互連通關節(jié)點的手部運動信息，借助不同粒度的空間特征來表征不同層次的語義信息. 淺層特征包含更多的原始信息，但語義歧義的問題突出；深層特征具有較高的語義性，能夠有效表征原始數(shù)據(jù)，但會丟失原始數(shù)據(jù)的特性. 因此圖卷積神經(jīng)網(wǎng)絡的層數(shù)影響著手勢識別的性能. 經(jīng)過多次實驗，圖6 給出了不同網(wǎng)絡層數(shù)下的手勢識別精度. 隨著圖卷積神經(jīng)網(wǎng)絡層數(shù)增加，識別準確率也越高；但當層數(shù)增加到3 層時，準確率逐漸趨于平穩(wěn)，甚至出現(xiàn)下降趨勢. 因此本文使用深度為3 的圖卷積神經(jīng)網(wǎng)絡提取手勢的空間特征.

圖6 圖卷積層數(shù)分析

（2）維度填充方式分析

本文的數(shù)據(jù)集是基于異構多傳感器融合的數(shù)據(jù)集，在構建圖特征矩陣過程中，手臂、手掌的特征維度和手指的特征維度出現(xiàn)不一致現(xiàn)象（如慣性測量單元的特征維度與彎曲傳感器的特征維度不一致），影響了圖的構造. 本文采用3 種方法對傳感器缺失的特征維度進行填充.

（a）0 填充. 為了減少負相關特征對識別精度的影響，每次經(jīng)過圖卷積運算迭代更新后，得到的空間圖特征中缺失的運動信息用0填充.

（b）統(tǒng)計特征填充. 為了充分挖掘動態(tài)手勢數(shù)據(jù)的空間特征，將彎曲傳感器缺少的特征信息，用統(tǒng)計特征進行填充，包含均值特征、最值特征、方差特征等，具體描述如表3所示.

表3 常用統(tǒng)計特征

（c）自由填充. 為了聚合相互連通關節(jié)點的動態(tài)特征信息，使用自由填充方法對缺失的特征值進行填充.首先將彎曲傳感器處缺少的特征信息用0 填充的方式填充. 經(jīng)過每次圖卷積運算迭代更新后，得到的圖特征向量數(shù)值維持不變，此時缺失的彎曲傳感器特征值為周邊關節(jié)點特征的聚合值.

圖7給出了在不同維度填充方法下，時空圖神經(jīng)網(wǎng)絡模型的識別精度圖.

圖7 維度填充方式分析

從圖7 可知，自由填充的識別準確率最高，主要原因在于0 填充方法和統(tǒng)計填充方法帶來了人工干擾問題，從而影響手勢識別的精度；而自由填充的方法充分聚合周邊各關節(jié)點傳感器運動特征，從而增強了動態(tài)手勢識別的性能. 因此，本文采用自由填充方式填充空缺維度值.

（3）超參數(shù)分析

經(jīng)過多次實驗，將模型參數(shù)設置為以下參數(shù)值時，模型具有最優(yōu)效果：中國手語數(shù)據(jù)集訓練過程中，學習率設為0.005，批次大小設為100，迭代次數(shù)設為100；標準軍隊動態(tài)手勢數(shù)據(jù)集訓練過程中，學習率設為0.001，批次大小設為100，迭代次數(shù)設為250. 結果如圖8所示.

圖8的損失和正確率具有相同的坐標量綱，其中圖8（a）為中國手語基于以上參數(shù)設置的訓練過程，圖8（b）為標準軍隊動態(tài)手勢基于以上參數(shù)設置的訓練過程. 從圖8 中可以看出，模型訓練過程收斂速度較快，且收斂平穩(wěn). 因此，訓練出來的模型具有強魯棒性、高適應性的優(yōu)點.

圖8 參數(shù)選擇

4.3.2 實驗結果分析

中國手語數(shù)據(jù)集數(shù)據(jù)由手臂姿態(tài)信息、手掌姿態(tài)信息以及手指彎曲信息構成，能夠實現(xiàn)全面描述手勢的變化軌跡. 而標準軍隊動態(tài)手勢數(shù)據(jù)集關注手指、腕部、肘部彎曲信息以及手臂姿態(tài)信息. 圖9 為對比算法實驗結果圖.

圖9 對比算法準確率分析

從圖中看出，基于深度學習的方法手勢識別效果高于基于統(tǒng)計模型的方法，主要原因為深度特征解決了統(tǒng)計特征的人工干擾問題，更能夠精確地表征手勢數(shù)據(jù). 此外，由于中國手語數(shù)據(jù)集更具動態(tài)性、時序性，因此GRU 識別效果優(yōu)于其他對比算法. 而標準軍隊動態(tài)手勢數(shù)據(jù)集主要關注手勢的空間特性，因此，CNN 的識別準確率略優(yōu)于其他算法. 整體上，STGNNHGR的識別效果優(yōu)于其他對比算法，中國手語數(shù)據(jù)集的識別準確率為97.20%，平均高于對比算法5%. 標準軍隊動態(tài)手勢數(shù)據(jù)集識別準確率為98.63%，平均高于對比算法4%.

同時，為了精確評價手勢識別模型的性能，圖10給出了CSL 數(shù)據(jù)集和CRE 手勢數(shù)據(jù)集識別過程中的混淆矩陣，其中各手勢標簽含義如表4 所示. 基于混淆矩陣，結合基于加權特征增強的手勢識別結果，可以發(fā)現(xiàn)時空圖神經(jīng)網(wǎng)絡模型和加權特征增強模型識別精度相似，易混淆的高層次復雜手勢相同，即分別從數(shù)據(jù)特征和傳感器空間分布角度，實現(xiàn)了對動態(tài)復雜手勢的有效識別.

圖10 混淆矩陣

此外，表4還給出了兩種數(shù)據(jù)集中各個手勢的識別準確率. 從表4 可以看出，STGNN-HGR 對中國手語數(shù)據(jù)集和標準軍隊動態(tài)手勢數(shù)據(jù)集的每個手勢都達到了良好的識別效果. 其中，在中國手語數(shù)據(jù)集識別過程中，“再見”手勢、“翻”等手勢識別準確率達到了100%；在標準軍隊動態(tài)手勢數(shù)據(jù)集識別過程中，“I don’t understand”等手勢識別準確率也達到了100.00%.

通過深入分析表4 和圖10 發(fā)現(xiàn)，在中國手語的識別過程中，一部分標簽為“驚訝”的手勢數(shù)據(jù)被誤識別為標簽為“誰”的手勢. 可能原因在于使用歐拉角描述手部的姿態(tài)變化信息存在一定的局限性，即當手勢數(shù)據(jù)發(fā)生小角度變化時，傳感器數(shù)據(jù)耦合性降低，導致三軸的傳感器數(shù)值相互獨立，無法協(xié)同全方位表示現(xiàn)實手勢的運動軌跡，從而影響了手勢識別的效果.

表4 標簽信息

圖11 展示了“驚訝”手勢和“誰”手勢的歐拉角數(shù)據(jù)圖.

圖11（a）和圖11（b）分別為“驚訝”手勢與“誰”手勢的大臂關節(jié)點的歐拉角變化圖，圖11（c）和圖11（d）分別為“驚訝”手勢與“誰”手勢的前臂關節(jié)點的歐拉角變化圖，圖11（e）和圖11（f）分別為“驚訝”手勢與“誰”手勢的手掌關節(jié)點的歐拉角角變化圖. 從圖11 可以看出，“驚訝”手勢和“誰”手勢的歐拉角變化具有一定的相似性，導致手勢識別的精度下降.

圖11 CSL數(shù)據(jù)集手勢歐拉角

此外，在軍隊手勢識別過程中，“Vehicle”手勢和“Hurry up”手勢容易產生混淆. 從數(shù)據(jù)采集的過程可知，軍隊手勢主要關注的是手臂的姿態(tài)信息. 因此，導致“Vehicle”手勢和“Hurry up”手勢混淆的可能原因在于佩戴在手臂上的慣性測量單元捕捉到的手勢數(shù)據(jù)具有很高的相似度，包含加速度計數(shù)值、陀螺儀數(shù)值、磁力計數(shù)值等.

圖12 為“Vehicle”手勢和“Hurry up”手勢的手臂姿態(tài)與運動信息. 從圖12 中可以看出，兩個手勢的運動軌跡具有一定的重疊性，手臂擺動的幅度和變化的頻率存在一定的相似性.

圖12 CRE數(shù)據(jù)集

4.4 模型消融實驗

本文提出的STGNN-HGR 模型主要包括了時空圖神經(jīng)網(wǎng)絡與GRU 模塊. 其中，時空圖神經(jīng)網(wǎng)絡用于提取手臂、手掌上關節(jié)點的空間連接特征；GRU 用于捕獲手勢數(shù)據(jù)的時序特征. 為了驗證STGNN-HGR 模型的表征能力與動作識別的有效性，本節(jié)設計了消融實驗來分析模型組成對手勢識別結果的影響，在CRE 與CSL 兩種數(shù)據(jù)集上進行了驗證，在消融實驗中，設置學習率為0.001，迭代次數(shù)為200. 實驗結果如表5 所示，STGNN-HGR-w/o GCN 表示在STGNN-HGR 基礎上去除GCN 模塊，只保留GRU 模塊用于手勢識別，用于驗證GCN 模塊是否能提升手勢識別的準確率. 由于本文識別的手勢還擁有長距離依賴的特征，無法直接去除GRU 模塊進行分析，因此，采用長短時記憶單元（LSTM）替 換STGNN-HGR 中 的GRU 模 塊，表 示 為STGNN-HGR-LSTM，通過這種方式驗證GRU 模塊是否能更好地提取時序化手勢數(shù)據(jù)特征.

手勢空間具有連接關系，圖結構能夠更好地表達這種空間連接關系，借助圖卷積網(wǎng)絡能夠更好地識別這種復雜手勢. 因此，在手勢識別模型STGNN-HGR 中將用于空間連接關系計算的GCN 消除以后，會導致明顯的精度降低，如表5 中的第一行所示，在兩種數(shù)據(jù)集上均有顯著的識別精度損失. 盡管LSTM 也能夠表達復雜手勢的時序信息，但是在使用LSTM 替換GRU 時也帶來了輕微精度損失，如表5 的第二行所示，其主要原因為GRU 單元中的參數(shù)相比于LSTM 更少，在長時序的手勢數(shù)據(jù)上訓練得到的模型泛化能力更優(yōu)，因此在未知的測試集上識別效果高于LSTM.

表5 消融實驗結果

此外，GRU 相比于LSTM，具有待學習參數(shù)少、訓練時間短的特性，因此本文還比較了GRU 與LSTM 在模型參數(shù)量以及訓練時間上的差異，實驗結果如圖13所示.

圖13（a）與圖13（b）分別給出了STGNN-HGR 使用GRU 與LSTM 進行手勢識別時，待學習參數(shù)量與訓練時間上的差異. 從圖13（a）中可以看出，相比于LSTM，在手勢識別中使用GRU 可以有效地減少模型中待學習的參數(shù)以提升模型的泛化能力. 此外，由圖13（b）中的訓練時間對比可知，使用GRU 去捕獲時序手勢特征可以顯著降低模型訓練所需的時間.

圖13 GRU與LSTM性能對比

綜上所述，由于STGNN-HGR 的手勢識別準確率均高于兩種消融對比方法，證明了本文綜合考慮復雜手勢的空間連接性以及手勢的時序特征，利用圖結構、圖神經(jīng)網(wǎng)絡提取手勢的空間特征信息，且使用GRU 捕獲手勢動作的時序特征，并將兩種特征信息用于手勢識別，能有效地提升手勢識別的準確率，取得了較好的識別效果.

5 結論

本文提出了基于時空圖神經(jīng)網(wǎng)絡的手勢識別模型STGNN-HGR，通過將關節(jié)點建模為圖結構并使用時空圖神經(jīng)網(wǎng)絡，有效地提取手勢數(shù)據(jù)的空間關聯(lián)信息，表征了人體關節(jié)點的空間關聯(lián)性，充分挖掘關節(jié)點之間的依賴關系. 此外，STGNN-HGR 利用門控循環(huán)單元解決了手勢的時序性和長距離依賴問題. 實驗結果表明，STGNN-HGR 能夠有效地識別手勢，在中國手語數(shù)據(jù)集識別準確率為97.2%，在標準軍隊動態(tài)手勢數(shù)據(jù)集上的識別準確率為98.63%，均優(yōu)于對比算法的識別效果.