王志佳，藍雯飛*，張瀟，侯志濤，金寧

（1 中南民族大學 計算機科學學院，武漢430074；2 中南民族大學 體育學院，武漢430074）

蹴球是全國少數(shù)民族傳統(tǒng)體育運動會的正式比賽項目之一，因為比賽規(guī)則與臺球比賽類似，蹴球被喻為“用腳踢的斯諾克”［1］.蹴球運動歷史悠久，并且包含顯著的民族文化特征，是中國傳統(tǒng)體育中的瑰寶［2］.在蹴球基本技術的日常訓練中，教練和運動員都需要清晰地掌握技術動作的實際完成情況，并避免運動過程中錯誤動作造成身體上的損傷.目前還沒有專門的技術對蹴球運動的技能動作進行識別與評估，主要依賴教練員的個人經(jīng)驗，缺乏數(shù)據(jù)化的科學訓練手段［3］.因此，用一種簡便的方式來精準識別蹴球運動員的技能動作有著重要的應用需求.

在人體動作識別領域，目前主要有基于視頻分析的人體運動識別方法和基于傳感器數(shù)據(jù)的人體運動識別方法.基于視頻分析的人體運動識別方法應用較為成熟［4］，是體育科學家和專業(yè)教練用來研究運動中各種動作生物力學的主要方法.DU 等［5］提出了一個雙層網(wǎng)絡體系結構，通過將光流作為運動信息附加到輸入通道，提升了網(wǎng)絡模型在人體動作識別上的準確性.李元祥等［6］提出一種基于深度運動圖和密集軌跡的人體行為識別算法，利用卷積神經(jīng)網(wǎng)絡訓練深度運動圖數(shù)據(jù)并提取靜態(tài)特征表示，使用密集軌跡作為動態(tài)特征信息，最后將靜態(tài)和動態(tài)特征串聯(lián)作為整體特征行為表示，取得了良好的識別結果.上述基于視頻分析的人體運動識別方法雖然取得了較好的效果，但缺點是識別結果受光線影響較大，并且設備昂貴、計算成本高，在感知范圍上也有一定的局限.

隨著技術的發(fā)展，集成多傳感器的智能穿戴設備在人體動作識別領域已經(jīng)成為一個新的研究熱點，它能有效解決計算機視覺技術上的不足，避免了環(huán)境對動作識別的影響，廣泛應用于羽毛球［7］、高爾夫、足球和排球［8］等運動.JAIN 等［9］使用智能手機內置的傳感器獲取加速度和角速度信號，采用梯度直方圖和傅立葉變換從這些信號中進行特征提取，通過支持向量機和K最近鄰算法進行運動行為的識別.ZHANG 等［10］采用支持向量回歸機模型對人體步行和跑步任務期間步距、步幅、速度和間隔等特征進行分析，提出了一種基于步態(tài)參數(shù)的狀態(tài)估計方法.上述傳統(tǒng)的機器學習方法需要人工提取特征，非常依賴于專家的體育背景和研究經(jīng)驗.隨著深度學習技術的發(fā)展，神經(jīng)網(wǎng)絡逐漸取代了傳統(tǒng)的人工提取特征，它可以自動從原始的非線性數(shù)據(jù)中獲得高維特征，具有良好的泛化性，并已經(jīng)開始應用于人 體 動 作 識 別 領 域.ORDó?EZ 等［11］提 出 了DeepConvLSTM 模型，是動作識別領域最流行的深度學習模型之一，該模型融合了卷積神經(jīng)網(wǎng)絡和LSTM 循環(huán)神經(jīng)網(wǎng)絡，其中的卷積單元對傳感器中的原始數(shù)據(jù)進行高維特征提取，LSTM 單元進一步對提取后的特征進行時間依賴關系建模.通過在公開數(shù)據(jù)集OPPORTUNITY 和SKODA 上與其他傳統(tǒng)機器學習模型和同類神經(jīng)網(wǎng)絡模型進行對比實驗，證 明 了 該 模 型 性 能 的 優(yōu) 越 性.XI 等［12］在DeepConvLSTM 模型的基礎上進行了改進，提出了一種新的人類動作識別深度學習框架D2CL，該模型由擴張卷積神經(jīng)網(wǎng)絡和遞歸神經(jīng)網(wǎng)絡組成，在公開數(shù)據(jù)集OPPORTUNITY 和PAMAP2 上的平均準確率達到了92.59%.

針對現(xiàn)有網(wǎng)絡模型對于傳感器數(shù)據(jù)中重要特征表達能力不強、時間信息利用不充分的問題，本文結合注意力機制和空洞卷積提出了CBAM-DCNNBiLSTM 網(wǎng)絡模型.通過引入空洞卷積來替代傳統(tǒng)的池化與上采樣操作，避免部分信息丟失，然后利用CBAM 注意力模塊對提取到的重要特征進行加權，以提升在蹴球動作識別與評估任務中的檢測性能.

1 數(shù)據(jù)采集與處理

1.1 數(shù)據(jù)采集

本文采集蹴球動作信號所使用的傳感器主要由板面開關、電源、無線電收發(fā)器DA14583 以及運動傳感芯片BMI160 構成，如圖1 所示.整個慣性傳感器的尺寸為10.3 mm×8.7 mm×2 mm，重量為2 g，采集頻率為50 Hz，通過佩戴在腳踝上方來獲取擊球動作過程中產(chǎn)生的三軸加速度和角速度數(shù)據(jù).

圖1 傳感器構造及佩戴位置Fig.1 The structure of sensor and the wearing position

按照蹴球的動作方式，蹴球動作可分為蹴擊和擠壓兩種動作［13］：

（1）蹴擊球.蹴球腳以腳跟先著地，由腳掌觸及球面，穩(wěn)定后髖關節(jié)做屈、膝關節(jié)做伸的運動，用力向前蹴動，蹴出的球為前滾球.蹴擊球技術常在攻擊遠距離目標球時使用；

（2）擠壓球.蹴球腳以腳跟先著地，由腳掌觸及球面，穩(wěn)定后前腳掌向前下方擠壓球將球蹴出，蹴出的球為回旋球.擠壓球技術常在攻擊近距離的目標球時或攻擊邊線目標球而且需要保證本球不出界時使用.

數(shù)據(jù)采集在圖2 所示的標準蹴球體育場進行，共8名參與者，包含4名蹴球專業(yè)運動員以及4名蹴球業(yè)余愛好者.8 名參與者按圖1（c）方式將傳感器佩戴于右腳腳踝內側，每人分別進行150 次蹴擊球動作和擠壓球動作，參與者信息如表1所示.

圖2 蹴球場地及擊球路徑Fig.2 The court and hitting path of Cuqiu

表1 參與者信息Tab.1 Participant information

通過對擊球動作規(guī)范進行介紹后，開始進行數(shù)據(jù)采集，圖2 展示了數(shù)據(jù)采集過程中的擊球點和目標點，每名參與者都必須以場地中心的停球區(qū)為擊球點朝著中心圓上的x 位置以直線方式向前擊球，否則認定當次擊球為無效擊球.將無效擊球數(shù)據(jù)刪除后，最終從8 人中采集到兩種動作共2030 條有效樣本數(shù)據(jù)，如表2所示.

表2 各動作對應有效樣本數(shù)Tab.2 Number of effective samples for each action

1.2 數(shù)據(jù)處理

通過傳感器獲取的動作信號通常含有一定的噪聲干擾，這些干擾信號主要來源于實驗者自身晃動、傳感器硬件固有噪聲以及信號數(shù)據(jù)傳輸過程中產(chǎn)生的噪聲.在信號分析前，需要對采集到的信號進行濾波處理，減小噪聲對實驗的干擾.

本文實驗選擇常用的滑動均值濾波法對信號進行預處理，該方法的原理是用某時刻窗口內信號的均值來表示該時刻的信號，通過使用該方法可以有效解決異常信號干擾的問題，該方法在本文的應用如下.

給定原始時序信號F=｛f1，f2，…，fn｝，設滑動窗口大小為ws，經(jīng)滑動均值濾波后的數(shù)據(jù)F"=｛x1，x2，…，xn｝，xm為窗口內所有數(shù)據(jù)的平均值，即：

本實驗中，滑動窗口大小ws設為7，其中d=3.傳感器數(shù)據(jù)經(jīng)過滑動濾波處理后，對每個通道進行歸一化處理，最后用1.2 s 的固定寬度窗口對數(shù)據(jù)進行分割（窗口大小為70），并對標簽進行標注.

由于傳感器信號為一維結構，通過傳統(tǒng)的一維卷積可以獲取一定的時間依賴性，但對于不同傳感器以及同一傳感器不同時間節(jié)點的空間依賴性則無法充分利用.因此，本文將每個窗口內的六軸傳感數(shù)據(jù)轉換為一張六維動作圖，以更加充分地利用不同軸之間的時空依賴性來提高識別性能，如圖3所示.

圖3 動作圖構造流程Fig.3 Construction process of activity image

2 DCNN-BiLSTM與CBAM結構

2.1 DCNN-BiLSTM

本文提出的網(wǎng)絡模型主要由空洞卷積神經(jīng)網(wǎng)絡和雙向長短期記憶循環(huán)神經(jīng)網(wǎng)絡串聯(lián)構成，其中空洞卷積單元用來初步提取動作圖中的高維特征，然后輸入至循環(huán)單元獲取特征中的雙向時間依賴關系，其網(wǎng)絡結構如圖4所示.

為實現(xiàn)湖區(qū)社會經(jīng)濟又好又快發(fā)展，2014年湖南、湖北省政府聯(lián)合報請國務院批復了《洞庭湖生態(tài)經(jīng)濟區(qū)規(guī)劃》。2015年以來，根據(jù)新的形勢和要求，湖南省會同湖北省編制了《洞庭湖生態(tài)經(jīng)濟區(qū)水環(huán)境綜合治理實施方案》，突出將生態(tài)環(huán)境整治作為洞庭湖區(qū)生態(tài)經(jīng)濟區(qū)建設的重中之重。

圖4 DCNN-BiLSTM網(wǎng)絡結構Fig.4 DCNN-BiLSTM network structure

網(wǎng)絡的輸入為6 張7×10 大小的動作圖，每個卷積層包含64 個尺寸為3×3 卷積核，步長為1，采用修正線性單元（Rectified Linear Unit，ReLU）作為卷積層的非線性激活函數(shù)來抑制模型的過擬合問題.由于使用池化層可能會使動作圖中的部分信息丟失，CHEN 等［14］在2018 年提出了用空洞卷積替代池化層，在保留圖像細節(jié)的同時增大感受野.因此，本文采用空洞卷積替換常用的全卷積神經(jīng)網(wǎng)絡結構，從而在動作圖中獲取更多的信息.如圖5所示，從左至右是擴張率分別為1、2、3 的空洞卷積核，在3×3 的卷積核下獲得大小分別為3×3、5×5、7×7的感受野.

圖5 空洞卷積示意圖Fig.5 Schematic of dilated convolution

通過空洞卷積單元提取的高維特征圖進一步輸 入 至BiLSTM 層，BiLSTM 由 前 向LSTM 與 后 向LSTM 結合而成，屬于LSTM［15］的變體算法，對數(shù)據(jù)中的前后依賴關系利用得更加充分，其結構如圖6所示.前向層負責對輸入數(shù)列的正向時間依賴進行建模，表達為：

圖6 BiLSTM結構Fig.6 The structure of BiLSTM

反向層對輸入數(shù)列的逆向時間依賴進行建模，表達為：

BiLSTM 最終的輸出向量由兩層LSTM 輸出的狀態(tài)向量進行拼接而得，表達為：

其中：xt為時刻t的輸入量，ht與rt為前向層與反向層在時刻t的輸出量，W1與W3為輸入層向前向層與反向層計算的權重矩陣，W2與W5為前向層與反向層上一時刻向當前時刻計算的權重矩陣，W4與W6為前向層與反向層向輸出層計算的權重矩陣，σ為前向層與反向層的激活函數(shù)，γ為輸出層的激活函數(shù)，yt為輸出層在時刻t的輸出.

本文提出的模型中，BiLSTM 層包含128 個神經(jīng)元，同時設置失活率為0.5 的Dropout［16］來增加模型的泛化能力.

2.2 CBAM

在基于傳感器的動作識別中，不同的軸向以及同一軸向中不同的時刻對于動作識別的重要性是不同的，為了使模型能更好地關注動作信號中的重要信息，通過引入注意力機制來對模型進行改進.注意力機制最先應用于圖像識別領域，通過模仿人類注意力的特點，對研究對象的重要特征給予更多的關注，減少其他信息的干擾.在本文模型中，采用了WOO 等［17］在2018 年提出的卷積塊注意力模塊（Convolutional Block Attention Module，CBAM），該模塊是一種由空間注意力機制和通道注意力機制混合而成的注意力模型.CBAM 目前是一種通用的輕量級模塊，可以方便地在各種網(wǎng)絡中進行添加，能有效提升模型的性能.如圖7 所示，CBAM 模塊首先對輸入的特征圖F進行通道注意力建模，對各通道賦予不同的權重得到F"；然后進一步對特征圖F"的空間注意力建模，使模型對各特征圖感興趣的區(qū)域給予更多關注，得到F"".將特征圖F與得到的權重系數(shù)F""相乘得到最終的輸出特征.

圖7 CBAM注意力機制模塊Fig.7 CBAM attention mechanism module

為了測試CBAM模塊的插入位置對模型性能的影響，本文測試了4 種添加方式：在輸入層插入CBAM 模塊（Input）以及在不同卷積層（Conv-1、Conv-2、Conv-3）插入CBAM 模塊，將這4種方式與未插入CBAM 模塊的模型（Baseline）進行性能對比，以得到網(wǎng)絡模型的最優(yōu)性能.

3 實驗與結果分析

3.1 實驗設置

實驗使用的GPU 配置為Tesla V100，32 GB 顯存，編程語言為Python 3.7，機器學習框架為PaddlePaddle 2.2.1.實驗數(shù)據(jù)集使用傳感器收集的2030 條蹴球動作有效樣本，按6∶2∶2 的比例劃分為訓練集、驗證集和測試集.在模型訓練時，每一輪會從訓練集中取出12條樣本作為模型的輸入，模型采用ADAM優(yōu)化算法，學習率設置為0.0001，最大迭代輪次為100.

實驗中分別對原始CNN-BiLSTM 模型、加入CBAM 注意力模塊的模型、加入空洞卷積的模型以及同時加入注意力機制和空洞卷積的模型進行訓練.實驗過程中使用精確率Pre、召回率Rec、F1 分數(shù)F1_score以及計算速度CS（Calculation Speed）作為評估模型性能優(yōu)劣的指標，各評價指標均采用重復10次實驗后得到的平均值.精確率、召回率、F1分數(shù)的定義如下：

其中，TP代表真陽性，F(xiàn)P代表假陽性，TN代表真陰性，F(xiàn)N代表假陰性，計算速度表示模型每訓練一輪的平均消耗時間.

3.2 實驗結果及分析

為了驗證CBAM模塊及空洞卷積對網(wǎng)絡模型性能的影響，首先進行一系列的消融實驗.模型消融實驗結果如表3 所示，首先可以看出引入注意力機制后的模型在精確率、召回率以及F1分數(shù)均有不同程度的提升，而計算速度則因為引入額外的網(wǎng)絡結構有所減慢；其次，由于使用空洞卷積可以提升感受野的大小，減少信息的損失，對各模型性能均有一定的改善；最后，相比于只添加注意力機制或空洞卷積，兩者相結合時性能有顯著提升.在第二層卷積單元（Conv-2）后添加CBAM 模塊的DCNNBiLSTM 模型，相比原始CNN-BiLSTM 模型，精確率提升至99.05%，召回率提升至99.04%，F(xiàn)1 分數(shù)提升至99.04%.

表3 模型消融實驗Tab.3 Model ablation experiment

本文進一步將其與動作識別領域廣泛使用的其他模型進行對比實驗，包括DeepConvLSTM 和D2CL，實驗結果如表4 所示.從表4 可以看出，現(xiàn)有的動作識別算法在蹴球動作識別與評估任務中均有不錯的分類效果，與DeepConvLSTM 和D2CL 相比，本文提出的模型具有更高的識別性能，在精確率上分別提升了0.60%和0.44%，在召回率上分別提升了0.62%和0.45%，在F1 分數(shù)上分別提升了0.62%和0.44%.

表4 改進后的模型與其他動作識別模型的對比Tab.4 Comparison between the improved model and other motion recognition models

為了能更直觀地定量分析實驗結果，本文根據(jù)模型在測試集上的實驗結果分別繪制了DeepConvLSTM、D2CL 以及CBAM-DCNN-BiLSTM 的混淆矩陣圖，如圖8所示.

圖8 3種模型的混淆矩陣Fig.8 Confusion matrix of three models

圖8中，橫軸表示模型預測的標簽值，縱軸表示實際標簽值（KA表示業(yè)余蹴擊球動作，KP表示專業(yè)蹴擊球動作，SA 表示業(yè)余擠壓球動作，SP 表示專業(yè)擠壓球動作）.在蹴球動作識別與評估任務中，目的是盡量準確地識別出擊球動作的技術類型，由圖可知，對于正例樣本，DeepConvLSTM 模型預測正確個數(shù)為400，D2CL 模型預測正確個數(shù)為401，而本文提出的CBAM-DCNN-BiLSTM 模型預測正確個數(shù)為403，比前述兩者分別多出3 個和2 個，表明CBAMDCNN-BiLSTM 在蹴球數(shù)據(jù)集上的識別性能優(yōu)于其他同類模型.

綜合來看，本文提出的CBAM-DCNN-BiLSTM網(wǎng)絡模型對數(shù)據(jù)中的時空信息利用得更加充分，相較于現(xiàn)有算法擁有更高的識別性能，證明了該網(wǎng)絡模型在蹴球動作識別與評估任務上有著更好的表現(xiàn).

4 總結

本文提出了CBAM-DCNN-BiLSTM 網(wǎng)絡模型用于對蹴球動作進行識別與評估，首先通過DCNNBiLSTM 獲取數(shù)據(jù)中的高維特征以及雙向時間依賴關系，然后通過CBAM 注意力模塊對重要特征進行加權處理.在蹴球動作數(shù)據(jù)集上與其他同類模型進行對比實驗，結果表明：本文提出的網(wǎng)絡模型在蹴球動作識別與評估任務中的精確率、召回率、F1 分數(shù)評價指標上分別達到了99.05%、99.04% 和99.04%，均好于其他同類模型，表明在蹴球運動訓練領域可以實現(xiàn)由經(jīng)驗驅動到數(shù)據(jù)驅動的轉變，并且未來可以擴展到分析其他與腳相關的運動上.