周升儒,陳志剛,鄧伊琴

(中南大學(xué)計(jì)算機(jī)學(xué)院,湖南 長(zhǎng)沙 410083)

1 引言

隨著中國(guó)經(jīng)濟(jì)的不斷發(fā)展，人民群眾的生活水平不斷提高，網(wǎng)球運(yùn)動(dòng)逐漸從貴族運(yùn)動(dòng)演變成了普通群眾的運(yùn)動(dòng)。由于網(wǎng)球運(yùn)動(dòng)在中國(guó)的熱度與關(guān)注度不斷地上升，許多高校將網(wǎng)球運(yùn)動(dòng)作為基礎(chǔ)的體育教學(xué)課程。目前高校的網(wǎng)球教學(xué)依賴(lài)于體育教師的主觀觀測(cè)與指導(dǎo)，國(guó)內(nèi)的主流網(wǎng)球教學(xué)方式有快易教學(xué)法、漸進(jìn)法及異步教學(xué)法，國(guó)外的有多元智慧法和游戲教學(xué)法等[1]。以上方法雖然能夠有效地提升網(wǎng)球教學(xué)質(zhì)量，但是這些方法嚴(yán)重依賴(lài)于網(wǎng)球教師的專(zhuān)業(yè)能力，其標(biāo)準(zhǔn)嚴(yán)重依賴(lài)于教師的主觀評(píng)價(jià)，客觀性較差。而且通過(guò)個(gè)人的視覺(jué)觀測(cè)來(lái)對(duì)網(wǎng)球動(dòng)作進(jìn)行評(píng)價(jià)和教學(xué)需要花費(fèi)大量的時(shí)間成本和人力成本。因此，提出一種量化的、自動(dòng)化的網(wǎng)球動(dòng)作識(shí)別及評(píng)價(jià)方法具有重要的應(yīng)用價(jià)值和現(xiàn)實(shí)意義。

隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展[2,3]，已有許多研究嘗試通過(guò)基于計(jì)算機(jī)視覺(jué)的方法[4]來(lái)對(duì)人體運(yùn)動(dòng)進(jìn)行分類(lèi)與評(píng)價(jià)。目前主流的動(dòng)作分類(lèi)與行為識(shí)別方法主要有動(dòng)作識(shí)別模型、時(shí)序動(dòng)作檢測(cè)模型、時(shí)空動(dòng)作監(jiān)測(cè)模型和基于骨骼關(guān)鍵點(diǎn)的動(dòng)作識(shí)別模型[5 - 7]。劉凱源[5]使用了基于C3D(Convolutional 3D network)的方法來(lái)對(duì)實(shí)驗(yàn)室人員的不安全動(dòng)作進(jìn)行識(shí)別，雖然C3D模型的計(jì)算效率高且推斷速度快，但是計(jì)算顆粒度方面不如其他動(dòng)作識(shí)別模型細(xì)致，并不適用于細(xì)粒度的網(wǎng)球動(dòng)作分類(lèi)與評(píng)價(jià)。毛堃等[6]使用了Kinect傳感器獲取人體姿態(tài)的深度圖形數(shù)據(jù)，對(duì)人體的上肢康復(fù)運(yùn)動(dòng)進(jìn)行了評(píng)價(jià)，但由于來(lái)自陽(yáng)光直射的紅外線(xiàn)強(qiáng)度高于Kinect的紅外發(fā)射器強(qiáng)度，極大地影響了傳感器的紅外線(xiàn)，從而導(dǎo)致深度流計(jì)算失準(zhǔn)，并不符合網(wǎng)球動(dòng)作評(píng)價(jià)所限定的戶(hù)外場(chǎng)景。Ren等[7]提出了一種基于三維骨架的深度學(xué)習(xí)動(dòng)作識(shí)別模型，但三維的人體姿態(tài)估計(jì)對(duì)設(shè)備和機(jī)器的性能要求十分高，無(wú)法滿(mǎn)足網(wǎng)球動(dòng)作的識(shí)別與評(píng)價(jià)的實(shí)時(shí)性要求。

基于網(wǎng)球動(dòng)作識(shí)別與評(píng)價(jià)的需求，本文采用ResNet-50[8]來(lái)獲取人體骨骼關(guān)鍵點(diǎn)數(shù)據(jù)和檢測(cè)網(wǎng)球動(dòng)作，然后將獲取到的人體骨骼關(guān)鍵點(diǎn)序列輸入PoseC3D(Pose Convolutional 3D network)[9]。將網(wǎng)球動(dòng)作分為6類(lèi)：發(fā)球、正手擊球、反手擊球、高壓球、削球和網(wǎng)前截?fù)簟?duì)分類(lèi)完的相應(yīng)動(dòng)作使用動(dòng)態(tài)時(shí)間規(guī)整DTW(Dynamic Time Warping)算法進(jìn)行評(píng)價(jià)，建立姿態(tài)估計(jì)與動(dòng)作分類(lèi)和評(píng)價(jià)的混合模型對(duì)網(wǎng)球?qū)W員的網(wǎng)球動(dòng)作進(jìn)行評(píng)價(jià)，極大地降低了網(wǎng)球教師的工作量與工作難度，有效地提升了網(wǎng)球教學(xué)的質(zhì)量，使網(wǎng)球教學(xué)更為量化和自動(dòng)化。

2 網(wǎng)球動(dòng)作識(shí)別和評(píng)價(jià)的理論及方法

2.1 基于ResNet-50的姿態(tài)估計(jì)

人體姿態(tài)估計(jì)是通過(guò)深度學(xué)習(xí)方法對(duì)RGB圖像或視頻進(jìn)行處理，從而估計(jì)出人體骨骼關(guān)鍵點(diǎn)對(duì)應(yīng)的位置。人體姿態(tài)估計(jì)的方法主要分為自頂向下的方法和自底向上的方法。自頂向下的方法先識(shí)別出人體，然后對(duì)每個(gè)識(shí)別出的人體進(jìn)行姿態(tài)估計(jì)。自底向上方法是先識(shí)別出人體的骨骼關(guān)鍵點(diǎn)，然后根據(jù)算法與模型對(duì)人體骨骼關(guān)鍵點(diǎn)進(jìn)行連接，例如OpenPose[10]使用人體骨骼關(guān)鍵點(diǎn)親和場(chǎng)(Part Affinity Fields)與人體骨骼關(guān)鍵點(diǎn)置信圖(Part Confidence Maps)進(jìn)行關(guān)鍵點(diǎn)的連接，從而得到最終的人體骨骼關(guān)鍵點(diǎn)識(shí)別結(jié)果。

本文采用基于COCO數(shù)據(jù)集訓(xùn)練的ResNet-50姿態(tài)估計(jì)模型來(lái)識(shí)別和提取網(wǎng)球運(yùn)動(dòng)視頻的人體骨骼關(guān)鍵點(diǎn)坐標(biāo)。COCO數(shù)據(jù)集[11]全稱(chēng)為Microsoft Common Objects in COntext,簡(jiǎn)稱(chēng)MS COCO，由32.8萬(wàn)幅圖像組成，是一個(gè)集目標(biāo)檢測(cè)、實(shí)例分割、人體骨骼關(guān)鍵點(diǎn)估計(jì)和字幕生成于一體的大規(guī)模數(shù)據(jù)集?；贑OCO數(shù)據(jù)集的人體骨骼關(guān)鍵點(diǎn)如圖1所示，人體骨骼關(guān)鍵點(diǎn)與人體各部位的對(duì)應(yīng)關(guān)系如表1所示，對(duì)人體骨骼關(guān)鍵點(diǎn)序列進(jìn)行處理從而獲得最終的網(wǎng)球動(dòng)作分類(lèi)與評(píng)價(jià)。

Figure 1 Keypoints of human skeleton圖1 人體的骨骼關(guān)鍵點(diǎn)

表2列出了各開(kāi)源人體姿態(tài)估計(jì)模型在COCO數(shù)據(jù)集上的平均性能和平均精度，模型的輸入大小均為(3,192,256)，其中3表示紅色、藍(lán)色、綠色3個(gè)顏色通道，192表示圖像的寬，256表示圖像的長(zhǎng)。模型的平均性能是在NVIDIA GeForce GTX 1660 SUPER GPU，Intel? CoreTM i7-8700CPU@3.20 GHz CPU上測(cè)出的。從表2可以看出，ResNet-50的平均精度比ResNet-101的低1%，但是在平均性能上比ResNet-101的要高21 fps/s；與性能最差的OpenPose相比，ResNet-50不僅平均精度高了8%，平均性能更是其6倍多。在各開(kāi)源模型中，權(quán)衡模型的精度與性能之后可知，ResNet-50相比較其他模型都更具有優(yōu)勢(shì)。因此，本文采用ResNet-50人體姿態(tài)估計(jì)模型。

Table 1 Correspondence between keypoints of human skeleton and parts of human body

Table 2 Performance of open source human pose estimation models

2.2 基于PoseC3D的動(dòng)作識(shí)別模型

基于姿態(tài)估計(jì)的人體動(dòng)作識(shí)別方法具有較強(qiáng)的魯棒性和穩(wěn)定性，近年來(lái)出現(xiàn)了許多基于姿態(tài)估計(jì)的動(dòng)作識(shí)別方法。ST-GCN(Spatial Temporal Graph Convolutional Network)[12]的原理是將時(shí)序卷積網(wǎng)絡(luò)與圖卷積網(wǎng)絡(luò)相結(jié)合，將人體姿態(tài)識(shí)別所獲取的骨骼點(diǎn)序列構(gòu)造成時(shí)空?qǐng)D的方式來(lái)提取特征，然后進(jìn)行動(dòng)作分類(lèi)。AGCN(two-stream Adaptive Graph Convolutional Network)[13]總結(jié)了ST-GCN的相關(guān)缺點(diǎn)，提出了一種自適應(yīng)的圖神經(jīng)網(wǎng)絡(luò)，而對(duì)不同的動(dòng)作時(shí)，骨架點(diǎn)中所關(guān)注的部位也會(huì)發(fā)生變化，從而提高了整體模型的魯棒性。但基于GCN(Graph Convolutional Network)的方法既不能很好地處理人體骨骼點(diǎn)序列中的噪聲，也不具備較好的泛化性。

Duan等[9]提出的PoseC3D是一種基于CNN(Convolutional Neural Network)的動(dòng)作識(shí)別模型。該模型首先選擇二維的人體姿態(tài)估計(jì)作為模型的輸入，然后將提取好的二維人體姿態(tài)信息生成為三維熱圖堆疊作為3D-CNN輸入，最終由3D-CNN輸出動(dòng)作的分類(lèi)結(jié)果。PoseC3D網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，其中,C為關(guān)鍵點(diǎn)個(gè)數(shù)，T為時(shí)序維度，即連續(xù)幀熱圖的數(shù)量，H和W分別為熱圖的高度和寬度。網(wǎng)絡(luò)的輸入為17×32×56×56大小的三維熱圖，經(jīng)過(guò)若干層卷積操作后輸出大小為32×32×56×56的特征，經(jīng)過(guò)ResNet Layer2、ResNet Layer3、ResNet Layer4輸出大小為512×32×7×7的特征，再經(jīng)過(guò)池化得到512維的特征向量，最后輸入到全連接層執(zhí)行動(dòng)作的分類(lèi)。

Figure 2 Network structure of PoseC3D圖2 PoseC3D的網(wǎng)絡(luò)結(jié)構(gòu)

2.3 基于動(dòng)態(tài)時(shí)間規(guī)整的動(dòng)作評(píng)價(jià)算法

正文動(dòng)態(tài)時(shí)間規(guī)整DTW是一種衡量2個(gè)長(zhǎng)度不同的時(shí)間序列相似度的方法[14]，是一種基于動(dòng)態(tài)規(guī)劃的算法，近年來(lái)主要應(yīng)用在時(shí)間序列的匹配中。

在時(shí)間序列相似性度量中，點(diǎn)對(duì)點(diǎn)匹配的相似度計(jì)算極易受到序列的移位、錯(cuò)位的影響。使用動(dòng)態(tài)時(shí)間規(guī)整的方法避免了這一問(wèn)題。動(dòng)態(tài)時(shí)間規(guī)整使用了動(dòng)態(tài)規(guī)劃的方法，即使2個(gè)動(dòng)作序列的長(zhǎng)度不一，也可以將2組序列進(jìn)行對(duì)齊和匹配，從而得出動(dòng)作的評(píng)分。如圖3所示,2個(gè)長(zhǎng)度相同的時(shí)間序列A={a1,a2,…,a16}與時(shí)間序列B={b1,b2,…,b16}進(jìn)行匹配，A與B長(zhǎng)度相等，但在實(shí)際的匹配中2個(gè)時(shí)間序列的長(zhǎng)度可以不相等。時(shí)間序列之間的虛線(xiàn)表示這2個(gè)時(shí)間序列相似的點(diǎn)，動(dòng)態(tài)時(shí)間規(guī)整算法通過(guò)相似點(diǎn)之間的和來(lái)計(jì)算2個(gè)時(shí)間序列之間的相似度。

Figure 3 Time warping of two time series圖3 2個(gè)時(shí)間序列的規(guī)整匹配

在相似度計(jì)算中，A與B之間的相似度計(jì)算如式(1)所示:

dij=

(1)

其中，17為通過(guò)ResNet-50姿態(tài)估計(jì)模型所獲得的人體骨骼關(guān)鍵點(diǎn)數(shù)，每個(gè)關(guān)鍵點(diǎn)通過(guò)二維坐標(biāo)來(lái)記錄；dij表示A中的第i幀與B中的第j幀中的人體17個(gè)骨骼關(guān)鍵點(diǎn)之間的總距離。根據(jù)式(1)可以得出2個(gè)人體骨骼關(guān)鍵點(diǎn)序列之間的DTW距離，如式(2)所示：

(2)

其中,n為時(shí)間序列A的長(zhǎng)度，m為時(shí)間序列B的長(zhǎng)度。通過(guò)式(2)可以計(jì)算出時(shí)間序列A與時(shí)間序列B之間的規(guī)整距離。在DTW距離與網(wǎng)球教練對(duì)該動(dòng)作的評(píng)分之間建立起映射關(guān)系，映射關(guān)系公式如式(3)所示：

Score=100-ρ×DTW(A,B)β

(3)

其中，分?jǐn)?shù)Score的計(jì)算為百分制，DTW距離經(jīng)過(guò)歸一化處理后為一個(gè)0～1的浮點(diǎn)數(shù)，ρ和β為確定DTW距離與分?jǐn)?shù)之間映射關(guān)系的參數(shù)。

2.4 網(wǎng)球動(dòng)作識(shí)別及評(píng)價(jià)模型

網(wǎng)球動(dòng)作識(shí)別及評(píng)價(jià)模型由人體姿態(tài)識(shí)別模型、PoseC3D模型與動(dòng)作評(píng)分算法3個(gè)部分組成，如圖4所示。

Figure 4 Tennis action recognition and scoring model圖4 網(wǎng)球動(dòng)作識(shí)別及評(píng)分模型

在人體姿態(tài)識(shí)別模型中，程序首先調(diào)用YOLOv3生成人體檢測(cè)框，對(duì)檢測(cè)框中的人體使用ResNet-50姿態(tài)估計(jì)模型生成人體骨架(.json)文件；然后，將(.json)文件通過(guò)數(shù)據(jù)預(yù)處理轉(zhuǎn)化為PoseC3D模型可以讀取的(.pickle)文件并將(.pickle)文件輸入PoseC3D模型中得到網(wǎng)球動(dòng)作的類(lèi)別和置信度；最后，根據(jù)網(wǎng)球動(dòng)作的類(lèi)別通過(guò)DTW算法來(lái)對(duì)該類(lèi)別的網(wǎng)球動(dòng)作進(jìn)行評(píng)價(jià)。

3 實(shí)驗(yàn)驗(yàn)證

3.1 數(shù)據(jù)集

本文實(shí)驗(yàn)所采用的數(shù)據(jù)集是在網(wǎng)球場(chǎng)采集的視頻。視頻分辨率為1920×1080，幀速率為30 fps/s。為了保證人體姿態(tài)估計(jì)模型所輸出的人體二維骨骼關(guān)鍵點(diǎn)的準(zhǔn)確性，拍攝的角度為網(wǎng)球中線(xiàn)旁45度角，其中發(fā)球、反手、削球和正手動(dòng)作中運(yùn)動(dòng)員居于網(wǎng)球底部中線(xiàn)位置；高壓球動(dòng)作中運(yùn)動(dòng)員居于攝像頭所拍攝的網(wǎng)球場(chǎng)的中間位置；削球動(dòng)作中運(yùn)動(dòng)員居于攝像頭所拍攝的右半部分網(wǎng)球場(chǎng)的中間位置。將國(guó)家二級(jí)網(wǎng)球運(yùn)動(dòng)員作為拍攝的對(duì)象采集標(biāo)準(zhǔn)動(dòng)作；將網(wǎng)球初學(xué)學(xué)員作為拍攝對(duì)象采集不標(biāo)準(zhǔn)動(dòng)作。

3.2 網(wǎng)球動(dòng)作分類(lèi)及處理

3.2.1 網(wǎng)球動(dòng)作分類(lèi)

根據(jù)網(wǎng)球運(yùn)動(dòng)的基本技術(shù)動(dòng)作，本文將此模型的網(wǎng)球動(dòng)作主要分為6類(lèi)：發(fā)球、正手擊球、反手擊球、高壓球、削球和網(wǎng)前截?fù)簦瑘D5給出了這6類(lèi)網(wǎng)球動(dòng)作的標(biāo)準(zhǔn)姿勢(shì)示意圖。

Figure 5 Six types of standard postures of tennis action圖5 6類(lèi)網(wǎng)球動(dòng)作標(biāo)準(zhǔn)姿勢(shì)示意圖

3.2.2 網(wǎng)球動(dòng)作視頻細(xì)粒度處理

動(dòng)態(tài)時(shí)間規(guī)整算法能對(duì)2個(gè)長(zhǎng)度不同的時(shí)間序列進(jìn)行匹配，但是時(shí)間序列的起始點(diǎn)和終止點(diǎn)對(duì)動(dòng)態(tài)時(shí)間規(guī)整算法的準(zhǔn)確度有很大的影響。為了保證網(wǎng)球動(dòng)作視頻序列首尾的一致性，本文對(duì)網(wǎng)球動(dòng)作視頻數(shù)據(jù)集進(jìn)行了細(xì)粒度的劃分，按照網(wǎng)球教練對(duì)網(wǎng)球技術(shù)動(dòng)作的要求對(duì)網(wǎng)球動(dòng)作的起始點(diǎn)與終止點(diǎn)制定了規(guī)則，如表3所示。

Table 3 Rules of tennis action division

將網(wǎng)球原始動(dòng)作視頻輸入ResNet-50人體姿態(tài)估計(jì)模型中，將獲取到的人體骨骼關(guān)鍵點(diǎn)按照網(wǎng)球動(dòng)作劃分規(guī)則來(lái)計(jì)算細(xì)粒度動(dòng)作的起始點(diǎn)與終止點(diǎn)，得到了更為準(zhǔn)確的網(wǎng)球子動(dòng)作數(shù)據(jù)集。

3.3 PoseC3D模型訓(xùn)練

3.3.1 輸入數(shù)據(jù)預(yù)處理

PoseC3D模型的輸入是為(.pickle)數(shù)據(jù)格式的文件，所以需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理并劃分出訓(xùn)練集和測(cè)試集。

本文使用pose_extraction.py對(duì)網(wǎng)球動(dòng)作視頻進(jìn)行預(yù)處理。該程序中集成了ResNet-50姿態(tài)估計(jì)模型與YOLOv3目標(biāo)檢測(cè)模型，將原始的(.mp4)文件生成為(.pickle)文件。(.pickle)文件的部分參數(shù)如表4所示。

Table 4 Parameters of pickle file

將生成的包含6個(gè)網(wǎng)球子動(dòng)作的221個(gè)視頻生成為(.pickle)文件，并按照7∶3的比例劃分出訓(xùn)練集和測(cè)試集，將訓(xùn)練集和測(cè)試集按照劃分比例分別生成為.pickle文件。

3.3.2 模型訓(xùn)練

為了提高模型在復(fù)雜的網(wǎng)球運(yùn)動(dòng)環(huán)境中對(duì)動(dòng)作分類(lèi)的魯棒性和性能，本文采用Windows 11操作系統(tǒng)，處理器采用Intel? CoreTM i9-12900K CPU@3.90 GHz，顯卡采用雙路NVIDIA GeForce RTX 3090Ti，64 GB DDR5內(nèi)存，采用Python3.7編程設(shè)計(jì)語(yǔ)言完成應(yīng)用模型的設(shè)計(jì)與搭建和應(yīng)用程序的開(kāi)發(fā)。為了使模型的人體姿態(tài)估計(jì)更加地穩(wěn)定和準(zhǔn)確，YOLOv3檢測(cè)框的置信度閾值設(shè)置為0.8。

在動(dòng)作分類(lèi)的實(shí)驗(yàn)中，Top1準(zhǔn)確率與Top5準(zhǔn)確率是極其重要的指標(biāo)，如式(4)所示：θ為所有的動(dòng)作種類(lèi)，action為此次預(yù)測(cè)所預(yù)測(cè)的種類(lèi)，P1,P2,…,Pφ為此次預(yù)測(cè)的分類(lèi)結(jié)果對(duì)應(yīng)的概率。如果P1～Pφ中所預(yù)測(cè)的概率最大的動(dòng)作為action,則此次Top1預(yù)測(cè)是準(zhǔn)確的。

P(action|θ)=arg max{P1,P2,…,Pφ}

(4)

Top5準(zhǔn)確率是判定該動(dòng)作分類(lèi)概率最大的前5個(gè)結(jié)果，如果前5個(gè)結(jié)果包含了預(yù)測(cè)正確的結(jié)果，則Top5的該次預(yù)測(cè)是準(zhǔn)確的。如式(5)所示，首先將預(yù)測(cè)的動(dòng)作種類(lèi)按概率進(jìn)行排序，排序后的結(jié)果為Pr。如式(6)所示，如果預(yù)測(cè)的前5類(lèi)動(dòng)作中包含action，則此次Top5預(yù)測(cè)是準(zhǔn)確的。

Pr=sort{P1,P2,…,Pφ}

(5)

P1≤P(action|θ)≤P5

(6)

用預(yù)處理后的數(shù)據(jù)訓(xùn)練PoseC3D網(wǎng)絡(luò)，設(shè)置輪次數(shù)為150，批大小為16，初始學(xué)習(xí)率為0.2。在模型的訓(xùn)練過(guò)程中自適應(yīng)調(diào)整學(xué)習(xí)率，以獲得更好的訓(xùn)練效果。

Top1準(zhǔn)確率、Top5準(zhǔn)確率、平均類(lèi)別準(zhǔn)確率和學(xué)習(xí)率伴隨迭代次數(shù)的變化如圖6和圖7所示。

Figure 6 Accuracy rates of Top1 and Top5圖6 Top1準(zhǔn)確率和Top5準(zhǔn)確率

Figure 7 Average category accuracy and learning rate圖7 平均類(lèi)別準(zhǔn)確率和學(xué)習(xí)率

從圖6可知，隨著迭代次數(shù)的增加，Top1準(zhǔn)確率與Top5準(zhǔn)確率均上升。大概在迭代次數(shù)為140次的時(shí)候，Top1準(zhǔn)確率收斂至0.937 5，Top5準(zhǔn)確率收斂至0.984 5。

從圖7可知，隨著迭代次數(shù)的增加，平均類(lèi)別準(zhǔn)確率上升。在迭代次數(shù)為140次的時(shí)候，平均類(lèi)別準(zhǔn)確率收斂至0.944 4。

3.3.3 模型對(duì)比實(shí)驗(yàn)與結(jié)果分析

將預(yù)處理后的數(shù)據(jù)用于基于骨骼關(guān)鍵點(diǎn)的人體動(dòng)作識(shí)別模型ST-GCN與AGCN中。在目標(biāo)檢測(cè)模型為YOLOv3,人體姿態(tài)估計(jì)模型為ResNet-50的條件下，對(duì)比實(shí)驗(yàn)測(cè)試了3種模型在網(wǎng)球動(dòng)作分類(lèi)中的效果，測(cè)試集為6類(lèi)網(wǎng)球基本技術(shù)動(dòng)作，其中每類(lèi)動(dòng)作20個(gè)視頻，共120個(gè)網(wǎng)球動(dòng)作視頻，對(duì)比實(shí)驗(yàn)繪制了3種基于人體骨骼關(guān)鍵點(diǎn)動(dòng)作識(shí)別模型在測(cè)試集上識(shí)別6類(lèi)網(wǎng)球動(dòng)作的混淆矩陣，如圖8～圖10所示，動(dòng)作預(yù)測(cè)的Top1準(zhǔn)確率與Top5準(zhǔn)確率如圖11所示。

Figure 8 Confusion matrix of PoseC3D model 圖8 PoseC3D模型混淆矩陣

Figure 9 Confusion matrix of AGCN model 圖9 AGCN模型混淆矩陣

Figure 10 Confusion matrix of ST-GCN model 圖10 ST-GCN模型混淆矩陣

Figure 11 Comparison of three models圖11 各模型效果對(duì)比

從圖11可以看出，PoseC3D模型的Top1準(zhǔn)確率為0.908 1，Top5準(zhǔn)確率為0.978 0;AGCN模型的Top1準(zhǔn)確率為0.825 0，Top5準(zhǔn)確率為0.956 6;ST-GCN模型的Top1準(zhǔn)確率為0.766 7,Top5準(zhǔn)確率為0.929 6。在基于網(wǎng)球動(dòng)作數(shù)據(jù)集的動(dòng)作識(shí)別模型中，使用3D-CNN的PoseC3D模型在網(wǎng)球動(dòng)作分類(lèi)效果上優(yōu)于使用GCN模型的ST-GCN與AGCN。

3.4 基于動(dòng)態(tài)時(shí)間規(guī)整的網(wǎng)球動(dòng)作評(píng)分算法

3.4.1 實(shí)驗(yàn)步驟

根據(jù)動(dòng)作的分類(lèi)結(jié)果和動(dòng)作的人體骨骼關(guān)鍵點(diǎn)數(shù)據(jù)，本文使用DTW算法來(lái)對(duì)動(dòng)作進(jìn)行評(píng)價(jià)。算法設(shè)置動(dòng)作評(píng)價(jià)的滿(mǎn)分為100分，具體的算法流程如算法1所示。算法的輸入序列A為待評(píng)價(jià)的人體骨骼關(guān)鍵點(diǎn)序列，B為標(biāo)準(zhǔn)網(wǎng)球動(dòng)作子動(dòng)作的模板序列。算法的第1步是建立A={a1,…,an}的矩陣d。算法的第2步是計(jì)算矩陣d的值d(i,j),即序列A第i幀與序列B第j幀之間各個(gè)骨骼關(guān)鍵點(diǎn)之間的距離和，本文使用歐氏距離來(lái)計(jì)算2個(gè)關(guān)鍵點(diǎn)之間的距離。算法的第3步是在矩陣中尋找一條規(guī)整路徑D(n,m)使A與B之間的距離最小，該路徑的起點(diǎn)是(1,1)，終點(diǎn)是(n,m)。算法的第4步是計(jì)算動(dòng)作的最終評(píng)價(jià)得分，通過(guò)建立DTW距離與網(wǎng)球教練對(duì)該動(dòng)作的評(píng)分之間的映射關(guān)系，本文設(shè)置式(3)中的α值為92.4，β值為0.97。

在實(shí)際的使用當(dāng)中，如果PoseC3D判定該網(wǎng)球動(dòng)作為某類(lèi)動(dòng)作，則會(huì)用相應(yīng)動(dòng)作的模板序列與之進(jìn)行比對(duì)。

算法1DTW算法

輸入：待評(píng)分序列A={a1,…,an}，模板序列B={b1,…,bm}。

輸出：動(dòng)作評(píng)價(jià)分值。

Step1建立n×m的矩陣d。

Step2根據(jù)歐氏距離公式求得d(i,j)，d(i,j)為骨骼關(guān)鍵點(diǎn)序列A第i幀與骨骼關(guān)鍵點(diǎn)序列B第j幀各點(diǎn)之間的距離和。

FORiINrange(n)

FORjINrange(m)

d(i,j)=EuclideanDistance(ai,bj);

ENDFOR

ENDFOR

Step3通過(guò)動(dòng)態(tài)規(guī)劃的思想求得從矩陣起點(diǎn)位置(1,1)到矩陣終點(diǎn)位置(n,m)的最短路徑D(n,m)。

D(1,1) =d(1,1);

FORiINrange(n)

FORjINrange(m)

∥狀態(tài)轉(zhuǎn)移方程

D(i,j)=min(D(i-1,j),D(i,j-1),D(i-1,j-1))+d(i,j);

ENDFOR

ENDFOR

Step4將最短路徑D(n,m)進(jìn)行百分制轉(zhuǎn)化,得到最終的動(dòng)作評(píng)分分?jǐn)?shù)。

Score= 100-92.4*D(n,m)0.97

接下來(lái)，本文選用了3.2節(jié)中的6類(lèi)網(wǎng)球基本技術(shù)動(dòng)作中的高壓球動(dòng)作作為動(dòng)態(tài)時(shí)間規(guī)整算法的測(cè)試項(xiàng)，采用算法1對(duì)高壓球動(dòng)作進(jìn)行評(píng)分，得到的評(píng)分結(jié)果如圖12所示，得分為61.86分。

Figure 12 Scoring result of high pressure ball圖12 高壓球動(dòng)作評(píng)分結(jié)果

3.4.2 評(píng)分算法實(shí)驗(yàn)結(jié)果及分析

本節(jié)對(duì)基于動(dòng)態(tài)時(shí)間規(guī)整的網(wǎng)球動(dòng)作評(píng)分算法的有效性進(jìn)行驗(yàn)證。如表5所示，算法對(duì)學(xué)員1～學(xué)員10共10位學(xué)員的6類(lèi)網(wǎng)球基本技術(shù)動(dòng)作進(jìn)行測(cè)試，并通過(guò)教練和評(píng)分算法對(duì)其進(jìn)行打分，得分結(jié)果向上取整。教練評(píng)分為3位專(zhuān)業(yè)網(wǎng)球教練對(duì)學(xué)員的網(wǎng)球動(dòng)作打分的平均值。

Table 5 Scoring results

根據(jù)表5的評(píng)分結(jié)果，以教練評(píng)分與算法評(píng)分作為樣本變量來(lái)進(jìn)行獨(dú)立樣本T檢驗(yàn)。首先建立假設(shè)檢驗(yàn)來(lái)判斷算法評(píng)分與教練評(píng)分是否存在差異:H0:μ1=μ2，表示教練評(píng)分與算法評(píng)分無(wú)顯著差異。H1:μ1≠μ2，表示教練評(píng)分與算法評(píng)分有顯著差異；顯著性水平α=0.05。獨(dú)立樣本T檢驗(yàn)的分析結(jié)果如表6所示。

Table 6 Analysis results of independent sample T test

由表6可知，教練評(píng)分與算法評(píng)分的均值分別為70.483與69.400，F(xiàn)檢驗(yàn)的結(jié)果P值為0.619≥0.05，因此統(tǒng)計(jì)結(jié)果不顯著，說(shuō)明教練評(píng)分樣本與算法評(píng)分樣本不存在顯著差異，其差異幅度的Cohen’sd值為0.091，表明差異幅度非常小。

通過(guò)對(duì)教練評(píng)分與算法評(píng)分的數(shù)據(jù)分析可知，2類(lèi)評(píng)分方法在對(duì)6類(lèi)網(wǎng)球基本技術(shù)動(dòng)作的評(píng)分上差異并不明顯，算法對(duì)學(xué)員的評(píng)分符合教練對(duì)動(dòng)作的評(píng)分要求，能夠滿(mǎn)足網(wǎng)球教學(xué)的要求。

4 結(jié)束語(yǔ)

本文提出了一個(gè)姿態(tài)估計(jì)、動(dòng)作識(shí)別和評(píng)分模塊的混合模型，首先通過(guò)基于ResNet-50的人體姿態(tài)估計(jì)模型從網(wǎng)球運(yùn)動(dòng)視頻中提取人體骨骼關(guān)鍵點(diǎn)，基于網(wǎng)球動(dòng)作數(shù)據(jù)集PoseC3D模型將網(wǎng)球動(dòng)作進(jìn)行分類(lèi)，最后通過(guò)DTW算法來(lái)對(duì)子動(dòng)作進(jìn)行評(píng)分。模型中的PoseC3D的訓(xùn)練結(jié)果和DTW的評(píng)分結(jié)果表明了該方法具有一定的可行性。且基于骨骼關(guān)鍵點(diǎn)的動(dòng)作識(shí)別模型能夠在運(yùn)動(dòng)速度快、粒度較細(xì)的網(wǎng)球動(dòng)作分類(lèi)中達(dá)到不錯(cuò)的效果。但是在網(wǎng)球動(dòng)作的識(shí)別中，無(wú)論是基于GCN或是基于CNN的方法，均仍有部分局限性，其準(zhǔn)確性極其依賴(lài)數(shù)據(jù)集的規(guī)模，下一步的研究會(huì)擴(kuò)充數(shù)據(jù)集，并將強(qiáng)化學(xué)習(xí)的方法[16 - 18]融合進(jìn)PoseC3D模型中以提高其分類(lèi)的準(zhǔn)確性。