張家波 高 潔 黃鐘玉 徐光輝

(重慶郵電大學通信與信息工程學院 重慶 400065)

1 引言

人類情緒在日常生活中發(fā)揮著至關重要的作用，對思考、行為和社交關系產生深遠影響。因此，準確識別人類情緒至關重要，它能更深入地理解自身以及他人的情感狀態(tài)，從而增進彼此的理解[1,2]。在早期的研究中，情緒識別主要依賴于面部表情的識別。然而，隨著 步態(tài)分析在外科研究中的應用[3]，研究人員開始意識到步態(tài)在情緒識別中的廣泛應用可能性[4]。

然而，在早期步態(tài)研究中，獲取和分析步態(tài)數據的方法主要依賴于人工收集和分析，這給步態(tài)數據的獲取和分析帶來了巨大挑戰(zhàn)。隨著人工智能技術的快速發(fā)展，近年來越來越多的研究開始探討如何利用神經網絡架構從步行視頻中提取人體姿態(tài)信息[5]。通過精心設計的人工智能算法和精確的損失函數，可以從視頻和圖片數據中提取出基于人體骨骼的姿態(tài)特征數據。文獻[6]提出一種基于自動編碼器的半監(jiān)督學習方法，本方法將人體姿態(tài)編碼映射，并通過自上而下的方式完成對人類步態(tài)情緒的分類。為了從步態(tài)中更準確地感知人類情緒，文獻[7]提出一種新的基于時空圖卷積網絡架構的方法。更進一步地，文獻[8]提出一種將人體空間骨骼特征與原始視覺特征融合的方法，以實現(xiàn)更準確的情緒識別。此外，為了實現(xiàn)更廣泛的識別功能，文獻[9]提出一種多任務步態(tài)識別方法，不僅可以進行步態(tài)情緒識別，還可以同時進行步態(tài)動作預測與身份識別。為了在獲取步態(tài)數據時保護被研究者的隱私，文獻[10]提出一種利用步態(tài)特征識別來保護隱私的方法。

然而，由于步態(tài)特征的復雜性，步態(tài)特征的提取仍然是一個具有挑戰(zhàn)性的問題?，F(xiàn)有文獻[8-14]使用的方法僅使用空間或時間模塊提取特征，忽略不同幀節(jié)點之間的關聯(lián)性。因為步態(tài)中的不同時間節(jié)點之間存在強相關性，例如腿部和臀部的運動。因此，為了更好地反映步態(tài)的結構和動態(tài)信息，一個節(jié)點的特征應該包含其相關時間節(jié)點的信息[15,16]。此外，在特征提取時，文獻[9,17-19]只考慮整體人體姿態(tài)的變化，而沒有進行局部到整體的層次分析。實際上，步態(tài)中不同部位的運動具有不同的規(guī)律和重要性。所以，通過先提取局部區(qū)域的特征變化，再綜合多個區(qū)域的特征變化來獲取全局動作的特征變化，實現(xiàn)步態(tài)情緒的識別。因此，本文提出多尺度分區(qū)有向自適應時空圖卷積神經網絡(Multi-scale Partition Directed Adaptive Spatio-Temporal Graph Convolutional Neural network,MPDAST-GCN)方法。首先對人體步態(tài)數據按照人體部位進行分區(qū)處理，構建分區(qū)有向時空圖，并使用圖深度學習將每幀節(jié)點特征按照分區(qū)進行聚合和更新。然后通過多尺度自適應圖卷積模塊，更新的特征數據能夠自適應地學習每個圖的特征。最后并且使用分區(qū)融合模塊，融合更新后的局部特征。綜上所述，本文的主要貢獻如下：

(1) 提出一種分區(qū)有向時空圖構建方法。本方法將人類步態(tài)分割為5個部分，并在時間維度上將所有幀節(jié)點打破原有的拓撲結構，重新構建成一張分區(qū)有向時空圖。由于采用分區(qū)有向時空圖，所有節(jié)點之間都是1跳或多跳鄰居，能夠獲取任意兩個幀節(jié)點之間的聯(lián)系，有序地提取特征，避免特征信息的冗余。

(2) 提出一種多尺度分區(qū)聚合和分區(qū)融合的方法。本方法利用圖深度學習技術對構建的分區(qū)有向時空圖進行特征更新。將分區(qū)劃分為5個部分，將每個分區(qū)內的節(jié)點與其前面1幀或多幀的鄰居節(jié)點進行有向連接。更新特征后，進行分區(qū)融合，將1個或多個節(jié)點的特征自適應地融合成1個節(jié)點特征，從而減小網絡復雜度。

(3) 提出多尺度分區(qū)有向自適應時空圖卷積神經網絡(MPDAST-GCN)方法，本方法不僅考慮每幀節(jié)點之間的相互影響和相鄰幀節(jié)點之間相互影響，還同時考慮局部和整體時間的關系，讓網絡自適應地學習它們之間聯(lián)系的重要程度，并利用有向時空圖更新每幀節(jié)點的特征。通過多尺度自適應圖卷積模塊，更新的特征數據能夠自適應地學習多跳鄰居的特征。

2 本文方法

本文模型由3個部分組成：分區(qū)聚合更新模塊、多尺度自適應圖卷積塊和分區(qū)融合模塊。首先，將每個樣本數據的所有節(jié)點構建為1張分區(qū)有向時空圖。然后，通過分區(qū)聚合更新模塊獲取每個分區(qū)更新后的節(jié)點數據。接著，通過多尺度自適應圖卷積塊自適應地學習每個節(jié)點特征數據之間的相關性，并根據相關性自適應地更新這些節(jié)點特征。最后，進行分區(qū)內1個或多個相似特征節(jié)點的融合。如圖1所示，模型共有5層。在前兩層中，每經過1層，節(jié)點都會進行1次融合。而在后3層中，節(jié)點并不會進行融合。學習到的特征數據經過全局池化后，將情緒數據分成4種類型：高興、傷心、憤怒和平常。

圖1 多尺度分區(qū)有向聚合自適應圖卷積網絡

2.1 分區(qū)聚合

2.1.1 分區(qū)方式

本算法使用的是最新的數據集Emotion-Gait[7]，它是將視頻形式的步態(tài)數據轉化為每幀21個節(jié)點的圖結構數據。在進行分區(qū)時，將步態(tài)圖結構數據分為左手、右手、左腿、右腿、軀干5個部分，如圖2。一般而言，行走時，手的擺幅比較大，腿的擺幅比較小，而軀干的運動變化則更加細微，此外，手和腿的運動方向也是相反的。因此，把步態(tài)圖結構數據分為5個部分，可以更加準確地捕捉到行走過程中每個部位的變化，從而更好地解讀行走動作。

圖2 兩次節(jié)點分區(qū)方式和融合方式

2.1.2 多尺度分區(qū)聚合

在以前的工作中，絕大部分算法都是直接從全局特征入手，沒有考慮到人體不同位置的差異。在人類步態(tài)序列中，不同節(jié)點的特征數據屬性因空間位置變化而異。考慮到上述問題，提出一種分區(qū)有向聚合方法，本方法為整個樣本時間序列構建一個分區(qū)有向時空圖，打破原來節(jié)點間的拓撲結構，圖的節(jié)點數量是所有幀節(jié)點的總和。考慮到時間流逝的方向，邊的連接方式是，前一幀或幾幀的k跳鄰居節(jié)點指向當前節(jié)點，這是一個有向邊，如圖3所示。分區(qū)有向時空圖使用鄰接矩陣表示，如式(2)。圖神經網絡對整張分區(qū)有向時空圖節(jié)點進行更新。如式(3)所示

圖3 多幀節(jié)點之間的連接關系

式(1)表示一幀圖結構k跳鄰居節(jié)點間的連接關系，邊的權重始終為1，d(vi,vj) 代表節(jié)點vi到節(jié)點vj的距離。式(2)表示分區(qū)有向時間圖中節(jié)點之間的連接關系，當k=1時，表示正常一跳鄰居節(jié)點的連接關系。τ表示與每幀相連幀的數量，本文中設置為1或2。NT表示整張圖中所有節(jié)點數量，其值為N×T，N是每幀圖節(jié)點數量，T是所有幀數量。在圖神經網絡的第l層中，輸出特征被表示為∈RCout×T×N,Cout表示輸出特征圖數量。節(jié)點輸入特征表示為∈RCin×T×N，Cin表示輸入特征圖數量。δ為歸一化函數，用于歸一化更新后的節(jié)點特征值。Θl為有向圖神經網絡抽象函數，包含3個函數：更新函數，以及兩個特征提取函數，如式(4)、式(5)

其中Θl的兩個特征提取函數用于從原始節(jié)點屬性提取特征，更新函數來對任意節(jié)點i屬性進行更新。

(1) 對于每個目標節(jié)點，使用 gvt(·)提取每個目標節(jié)點的目標節(jié)點的特征。

(2) 對于每個源節(jié)點，使用 gvs(·)用于提取每個源節(jié)點的特征。

(3) 通過函數hv(·)更新所有的節(jié)點，使用輸入節(jié)點特征提取出和，最后輸出更新后的節(jié)點特征。

需要引入兩個矩陣來提取它們的特征聯(lián)系。對于每個節(jié)點，通過指定的可學習參數矩陣As對源節(jié)點特征進行提取。類似地，采用設定的另一個可學習參數矩陣At對每個節(jié)點的目標節(jié)點特征提取。進一步，可以將式(4)中關于目標節(jié)點和源節(jié)點特征提取的方程更新為式(7)

對每個節(jié)點的源節(jié)點和目標節(jié)點進行特征提取后，利用提取到的特征數據，更新每個節(jié)點。更新函數hv的過程可以分為兩個主要步驟，首先對數據Vs,Vt和進行拼接，而后將拼接后的數據通過全連接層，將網絡自適應學習3種特征數據權重，得到更新后的節(jié)點特征數據。其節(jié)點更新方程式(5)可以更新為式(8)

其中，X是更新后的節(jié)點特征。W是一個大小為(3×lchannel,lchannel) 的權重矩陣， 3×lchannel是輸入神經元的數量，lchannel是輸出神經元的數量，也是輸入數據X的輸入特征圖數量，方便輸入后續(xù)模塊，并使用服從正態(tài)分布的隨機數初始化W參數。b內的每個元素初始化為1。

2.2 多尺度分區(qū)有向聚合自適應圖卷積網絡

在2.1節(jié)中，構建分區(qū)有向時空圖，用于描述人體姿態(tài)局部特征之間的聯(lián)系。每個分區(qū)包含多個節(jié)點和有向邊，實現(xiàn)多級特征提取和表示多級關系。此外，通過圖神經網絡對分區(qū)有向時空圖中節(jié)點特征進行更新，可以有效提高模型的魯棒性和準確率。然而，在討論中沒有提到如何處理聚合更新后的特征。因此，在本節(jié)中，引入多尺度時空分區(qū)有向聚合自適應圖卷積網絡，以完成對每一幀圖內的特征提取，從而實現(xiàn)對整體特征的表達。

2.2.1 自適應圖卷積網絡

自適應圖卷積網絡[15]是一種改進過的圖卷積[11]，它為每一幀圖添加一個自適應學習結構?？梢杂檬?9)和式(10)來描述它

其中，X是第l層的有向更新后輸出特征，Y是第l層的輸出特征，Wn是每層網絡可學習的權重矩陣，An是表示采用分層策略的圖結構，但不進行參數更新。Bn是一個N×N的圖結構，Bn的每個元素都是可以學習的參數。Cn表示所有數據的連接相關圖，也是可以學習的參數，Wθn和Wφn分別是θ和φ兩個圖神經網絡嵌入函數的參數。通過自適應圖卷積網絡，可以更有效地提取每一幀圖像的特征，此外，還可以通過學習參數Wn,Bn和Cn來調整網絡的結構，使模型更加適應不同的場景。

2.2.2 多尺度時空分區(qū)有向聚合自適應圖卷積塊

考慮到按分區(qū)提取相鄰幀節(jié)點特征，卻沒有考慮每幀多跳節(jié)點特征之間的聯(lián)系。比如仰頭大笑動作和拍手動作代表高興的情緒，頭部節(jié)點的空間特征應該和拍手動作有很強的關聯(lián)性。為了能夠有效提取多跳節(jié)點之間的特征聯(lián)系，提出多尺度時空分區(qū)有向聚合自適應圖卷積塊，來對長距離鄰居特征信息進行提取和更新。輸入數據通過多尺度時空分區(qū)有向聚合自適應圖卷積塊中，將所有樣本節(jié)點合并到同一張圖中構建分區(qū)有向時空圖，而后使用圖深度學習方法對節(jié)點特征進行更新，設計一個分區(qū)有向聚合模塊來實現(xiàn)該功能。該圖卷積塊由以下幾個步驟組成：首先，對所有節(jié)點按設定的分區(qū)方式進行分區(qū)，并構建為分區(qū)有向時空圖。使用圖神經網絡提取分區(qū)內的節(jié)點特征聯(lián)系；其次，使用多尺度自適應圖卷積塊，提取每幀內多跳節(jié)點間的聯(lián)系，形成一個更加精細的節(jié)點特征表達；最后，對每個分區(qū)的特征進行融合，將每個分區(qū)的相似特征的節(jié)點融合聚合成一個新的特征節(jié)點表示。采用多尺度分層策略如圖4，式(9)和式(10)可以更新為式(11)，式(12)

圖4 多尺度分區(qū)策略

其中，An,m是多尺度分層策略為m時的構造圖的子圖，Bn,m與An,m的形狀大小相同，初始值為0。通過多尺度學習的方式，對每個節(jié)點的不同距離的鄰居節(jié)點進行特征提取和更新。由于采用分層策略，可以針對不同類型的鄰居采用不同的聚合方式來進行特征提取。

在圖4中，綠色代表向心節(jié)點，黑色代表人體姿態(tài)重心位置，藍色代表離心節(jié)點，紅色代表采用策略的目標節(jié)點，3條虛線代表3個節(jié)點到重心的歐氏空間距離。

2.2.3 多尺度信息自適應融合

通過式(14)和式(15)，對每幀圖結構節(jié)點的m跳鄰居節(jié)點特征提取學習，但是沒有對不同尺度提取到的特征進行整合，考慮到每個節(jié)點不同跳的鄰居集特征對每個節(jié)點的影響是有差異的。所以，通過對不同尺度的特征信息進行拼接，通過一個1×1大小的卷積塊對不同尺度的信息進行融合。如式(16)

其中，M代表最大鄰居距離，本文設置為4。Conv1×1第l層 1×1 大小的卷積塊參數。σ(·)代表激活函數。式(13)可以自適應地融合不同尺度的鄰居的特征，動態(tài)地學習不同尺度的特征權重。

2.3 分區(qū)融合

2.3.1 節(jié)點融合

為了減少信息冗余和增強特征表達，采用自上而下的分區(qū)融合方法，將初始圖結構中的21個節(jié)點進行合并。初始圖結構中的節(jié)點特征有不同的相似度，例如手指和手腕兩個位置，在局部特征變化上有較大的差異，而在整體特征變化上有較小的差異。根據節(jié)點特征的相似度，逐步融合特征相近的節(jié)點。融合方式如式(14)所示

其中，D是融合矩陣，進行兩次特征融合操作，分別使用融合矩陣D1∈R21×12和D2∈R12×7。融合矩陣D1的第1維表示源節(jié)點，數量為21個節(jié)點，第2維表示融合后節(jié)點，數量為12。融合矩陣D2的第1維，同樣表示源節(jié)點，數量為12，第2維表示融合后節(jié)點，數量為7。兩次融合時，源節(jié)點和融合后的節(jié)點對應關系如圖2所示，數字代表對節(jié)點標號，大括號左邊代表被融合節(jié)點，大括號右邊代表融合后新的節(jié)點。是輸入數據。

本算法的兩次融合以滿足兩個不同的目的。第1次融合的目的在于將相似的特征融合在一起。網絡就可以更加關注特征之間的差異，以便更好地分類輸入樣本。第2次融合的目的是讓網絡的注意力更多地集中在全局特征之間的聯(lián)系上，因此可以通過1次融合就獲得多跳鄰居節(jié)點之間的聯(lián)系，無需再進行多次疊加操作。

2.3.2 自適應融合

對源節(jié)點進行聚合和融合時，不同節(jié)點擁有的節(jié)點屬性有所差異，對目標節(jié)點的影響也會有所不同，為了進一步提高源節(jié)點對目標節(jié)點聚合的魯棒性，讓所有融合節(jié)點的參數權重動態(tài)地增強和減弱該節(jié)點對目標的節(jié)點的影響，自適應地調節(jié)目標節(jié)點的特征強度。并且通過添加掩碼mask，讓節(jié)點融合時，根據節(jié)點特征強度表達的不同，自適應地學習融合權重，式(14)可以更新為式(15)。通過自適應的方式，可以讓模型具有更強的魯棒性，以適應不同節(jié)點的特征表達，提高模型的準確率。

3 實驗

3.1 數據集

本算法使用最新的Emotion-Gait[7]數據集，包括經典數據集 BML[18], Human3.6M[20], ICT[21],CMU-MoCap，以及新采集的步態(tài)數據。Emotion-Gait對各種步態(tài)數據進行全面處理，將視頻、圖片和圖序列步態(tài)數據都轉化為圖序列步態(tài)數據。此外，該數據集使用文獻[22]的算法，將所有模型統(tǒng)一為ELMD[23]中使用的21關節(jié)姿勢模型，具有更高的標準化程度和可比性。數據集共有1 835個步態(tài)，其中10個注釋者提供情感標簽。標簽數據中，大約58%的步態(tài)為快樂情感，32%的步態(tài)為悲傷情感，23%的步態(tài)為憤怒情感，只有14%的步態(tài)為中性情感。

3.2 實驗環(huán)境

本次實驗使用Python語言編寫，Python版本為3.7.12。實驗代碼基于PyTorch 1.4.0實現(xiàn)，使用Adam優(yōu)化器進行網絡優(yōu)化，學習率設置為5E-4。網絡的參數設置如下：第1層網絡k=3,m=3；第2層網絡k=2,m=2； 第3層網絡k=4,m=4；第4層網絡k=4,m=4 ；第5層網絡k=4,m=4，并且使用Dropout因子來降低過擬合風險，設置為0.3。網絡迭代次數為500，數據集劃分為90%訓練集，10%測試集，每層網絡構建兩個分區(qū)有向時空圖，所以τ的值分別設置為1,2。實驗設備為配備NVIDIA服務器顯卡V100的計算機。

3.3 實驗結果比較與分析

本文將比較7種算法在步態(tài)情緒數據集上的表現(xiàn)，所有方法都基于Emotion-Gait數據集[7]進行展示：(1) 文獻[24]將長短期記憶(Long Short Term Memory, LSTM)與步態(tài)情緒識別結合，利用步態(tài)關節(jié)空間位置數據作為輸入，將其轉換為用于分類任務的向量。(2) 文獻[7]采用時空圖卷積網絡作為基本網絡，以步態(tài)姿態(tài)數據為輸入訓練網絡。同時，構建基于時空圖卷積網絡的變分自編碼器，并通過精調時空圖卷積網絡參數提高性能。(3) 文獻[6]使用基于自編碼器的半監(jiān)督學習，輸入為4維數據，包括3維空間運動數據和1維關節(jié)旋轉數據。編碼器中，關節(jié)運動數據自下而上分層匯聚；解碼器自上而下從潛在嵌入重建每個時間步的關節(jié)運動。訓練分類器將嵌入數據映射到情感標簽。(4) 文獻[11]提出分層策略，根據3D骨架結構計算每個關節(jié)點的圖卷積，依據不同時間步的相同關節(jié)點實例計算時間鄰域，執(zhí)行卷積操作。(5) 文獻[25]根據運動學依賴性計算骨結構的有向無環(huán)圖，利用圖神經網絡和隨機游走方法更新節(jié)點特征，使用輸入人體姿勢空間特征數據訓練DGNN網絡。(6) 文獻[17]在空間維度執(zhí)行多尺度圖卷積，時間維度添加跳躍連接，學習各種動作的長程依賴關系。(7) 文獻[12]將輸入的3D空間姿態(tài)數據分為多個通道維度特征，通過堆疊時空圖卷積網絡進行批處理，學習圖節(jié)點間的長距離特征。

本文所提出的算法相對于以前的方法提高所有情緒類別的識別性能，如表1所示。具體來說，本文使用的方法在快樂、悲傷、憤怒和正常類別上的準確率相對于分層注意力池化(Hierarchical Attention Pooling, HAP)[6]的方法分別提高1%, 3%,10%和7%。

表1 與其他算法對比(%)

從表1的數據可以看出，網絡對于高興和悲傷情緒的識別精度提升較小，而對于憤怒和平常情緒的提升較大。通過在小樣本上提高精度，可以驗證所提出方法的有效性。

圖5分別表示網絡對步態(tài)情緒識別精度的變化和網絡損失值的變化。從圖5(a)中可以看出，隨著迭代次數的增加，網絡的識別精度逐漸提高，并在迭代次數到達250時趨于穩(wěn)定，識別率也保持在90%。而從圖5(b)中可以看出，當迭代次數到達250時，網絡損失值也不再變化，表明網絡具有較好的魯棒性。

圖5 網絡的精度損失值變化

網絡對4種情緒(快樂、悲傷、憤怒、平常)的識別精度變化如圖6所示。從如圖6(a)可見，經過幾輪迭代后，網絡對快樂情緒的識別率超過90%，這是因為數據集中快樂情緒樣本數量超過50%，同時也說明網絡對步態(tài)情緒識別的有效性。從圖6(b)可知，網絡對悲傷情緒的精度提升較慢，當迭代次數達到350時，識別率趨于穩(wěn)定，達到92%。從圖6(c)可見，網絡對憤怒情緒的精度提升較緩慢，當識別精度達到80%后，識別精度波動較大，說明網絡更傾向于宏觀特征和全局特征。當迭代次數達到350后，識別精度趨于穩(wěn)定，說明網絡有效地提取局部特征，并將其融合入全局特征。從圖6(d)可看出，對于平常情緒，識別精度一開始波動較大，這是因為平常情緒樣本數量最少，網絡更傾向于擬合樣本數量較多的類別。另一部分原因是平常情緒的特征變化不明顯，人體姿態(tài)在各個位置上的聯(lián)系不強，更多地人體局部位置的變化。當迭代次數達到300后，網絡有效地提取到局部特征，對平常情緒的識別也趨于穩(wěn)定，達到78%。

圖6 網絡對4種識別精度變化

3.4 消融實驗

為驗證本研究所提出的分區(qū)聚合、分區(qū)融合和多尺度自適應圖卷積塊的有效性，分別設計消融實驗。

3.4.1 分區(qū)聚合

為了研究分區(qū)聚合模塊的性能，本研究將多尺度自適應圖卷積塊的學習尺度設置為m=1，并且不使用分區(qū)聚合方法，每層模塊的輸入樣本都是21個節(jié)點的圖數據，分析在使用分區(qū)聚合的情況下不同的分區(qū)尺度k的性能。實驗結果如表2所示。在基準實驗中，采用有向聚合方法，但未使用分區(qū)聚合。實驗結果表明，當使用分區(qū)聚合時，相比于基準實驗，精度提高1.1個百分點，這表明分區(qū)聚合方法能夠有效提取局部特征。同時，隨著聚合尺度k的增加，精度也不斷提升，說明多跳節(jié)點特征之間的聯(lián)系也可以被有效地提取。有向聚合尺度k的設置不斷變大，雖然整體精度有提升，當設置k=3時，4種情緒精度相比k=1時，對傷心情緒下降4.4個百分點，對于憤怒情緒提升4.4個百分點，平常情緒提升2.6個百分點。而與這是因為不同情感類別所依賴的時間尺度和空間特征尺度不同。悲傷情緒的特征表達更加依賴近鄰結構，過于擴大聚合尺度會使這些特征被過度平滑，從而識別率下降。相比之下，憤怒和平常情緒則更加依賴較大范圍的空間特征，因此增大聚合尺度有利于這兩類情緒的識別。綜上，分區(qū)聚合方法可以根據不同類別的特征來調整聚合尺度，當輸入訓練數據中，憤怒和平常情緒占比較低時，可以適當增加k值，當悲傷情緒占比較低時，可以適當減少k，提高網絡對于小樣本的識別能力，從而在整體上提高網絡的表征能力。

表2 是否使用分區(qū)聚合算法以及不同聚合尺度 k對網絡性能影響

3.4.2 分區(qū)融合

為了分析分區(qū)融合對整體網絡性能的影響，本研究將分區(qū)聚合尺度和多尺度自適應圖卷積塊的學習尺度均設置為1，探究分區(qū)融合模塊在步態(tài)情緒識別中的作用。為了進行對比實驗，還設計一個不使用分區(qū)融合模塊的網絡模型，其性能見表3。實驗結果表明，相比于不使用分區(qū)融合模塊的模型，使用分區(qū)融合模塊的模型整體性能提升2.1個百分點。這表明分區(qū)融合模塊能夠有效地將局部特征融合成全局特征，從而提高對步態(tài)情緒的識別精度。使用分區(qū)融合時整體精度提升較大，其中悲傷、憤怒、平常情緒類別都有較大提升，但快樂情緒的識別精度稍微有所降低。這是因為快樂情緒在步態(tài)表達上較難以識別和區(qū)分，局部特征的融合使得快樂情緒的細微差別被一定程度上平滑掉，增加混淆的可能性，導致識別率下降。總體而言，分區(qū)融合模塊對提高模型的泛化能力和整體性能有非常重要的作用，但在某些類別上可能會出現(xiàn)一定的識別率降低，需要在未來的研究中進一步優(yōu)化。

表3 是否使用分區(qū)融合方法對網絡性能影響

3.4.3 多尺度自適應圖卷積塊

為了分析不同的圖卷積學習尺度對整體網絡性能的影響，本研究設置分區(qū)聚合尺度k為1，并添加分區(qū)融合的方法，探究多尺度自適應圖卷積塊在步態(tài)情緒識別中的作用。表4顯示在不同學習尺度m(分別為1,2,3)下的網絡性能效果。實驗結果表明，當自適應學習尺度從1設置為2時，精度提高0.8個百分點，當m設置為3時，相比于m=2時，精度提升0.5個百分點?？梢钥闯?，多跳鄰居之間存在較強聯(lián)系，隨著學習尺度的擴大，遠距離鄰居之間的聯(lián)系逐漸減弱。使用多尺度自適應圖卷積塊進行步態(tài)情緒識別時，m設置為3相比于m設置為1時，在快樂情緒上只有細微波動，但在悲傷情緒上下降2.2個百分點，而在憤怒情緒上提升3個百分點，平常情緒上提升4.7個百分點。出現(xiàn)這種情況的原因主要是因為不同情感類別在步態(tài)表達上所體現(xiàn)的空間結構特征不同?？鞓非榫w的步態(tài)特征整體較為穩(wěn)定，擴大學習尺度對其影響不大，而悲傷情緒的特征表達則更加依賴近鄰結構，擴大學習尺度會使這些特征被過度平滑，從而導致識別率下降。相比之下，憤怒和平常情緒則更加依賴較大范圍的空間特征，因此學習尺度的擴大有利于這兩類情緒的識別。

表4 不同尺度下的圖卷積塊對網絡性能影響

4 結論

本文提出一種新的算法，本算法從整個時間維度和人體姿態(tài)局部特征出發(fā)，使用分區(qū)聚合、分區(qū)融合和多尺度自適應圖卷積塊來提取人體姿態(tài)特征，以提高所有情緒類別的識別性能。消融實驗表明分區(qū)聚合、分區(qū)融合和多尺度自適應圖卷積塊對算法的有效性具有重要作用。其中，分區(qū)聚合的方法用于在人體姿態(tài)的不同位置提取特征，并獲取不同位置之間的特征聯(lián)系。分區(qū)融合的方法對相似特征進行融合，將局部特征融合入全局特征。多尺度自適應圖卷積塊可以獲取人體姿態(tài)遠距離位置之間的特征聯(lián)系。本方法在Emotion-Gate數據集上進行實驗，結果表明對于憤怒和平常情緒的提升較大，驗證本方法的有效性。