敬 倩，陶青川

（四川大學(xué)電子信息學(xué)院，成都 610065）

0 引言

人工智能、深度學(xué)習(xí)和計(jì)算機(jī)視覺(jué)等技術(shù)在體育行業(yè)的應(yīng)用日趨成熟和廣泛，極大地促進(jìn)了學(xué)生體測(cè)測(cè)評(píng)系統(tǒng)的研究［1］。深度學(xué)習(xí)在運(yùn)動(dòng)分析領(lǐng)域中已經(jīng)取得了長(zhǎng)足的進(jìn)步，它在預(yù)測(cè)能力和應(yīng)用效果方面都表現(xiàn)出色［2］。Jian等［3］通過(guò)使用卷積神經(jīng)網(wǎng)絡(luò)來(lái)逐幀分析運(yùn)動(dòng)員的訓(xùn)練過(guò)程，并從中提取出關(guān)鍵幀來(lái)估算姿態(tài)，最終建立起一種能夠根據(jù)感知變化來(lái)調(diào)整姿態(tài)的算法。Grunz 等［4］對(duì)足球比賽使用人工神經(jīng)網(wǎng)絡(luò)的分層結(jié)構(gòu)進(jìn)行了深入的分析，并且在較短時(shí)間完成了較多數(shù)據(jù)的處理，還發(fā)現(xiàn)該方法可以對(duì)比賽策略進(jìn)行更有效的優(yōu)化，針對(duì)當(dāng)前情況給出有效戰(zhàn)術(shù)。

仰臥起坐是體測(cè)項(xiàng)目中的通用考核項(xiàng)目，有一定難度。在完成仰臥起坐動(dòng)作時(shí)，動(dòng)作標(biāo)準(zhǔn)與否以及改進(jìn)之處基本上依靠人腦的主觀經(jīng)驗(yàn)性的評(píng)價(jià)，存在效率低下和打分誤差大的問(wèn)題［5］，無(wú)法在不同環(huán)境、不同時(shí)刻、不同測(cè)試人員之間保證考核和指導(dǎo)相一致，也比較難具體、細(xì)致、專(zhuān)業(yè)地指導(dǎo)學(xué)生。

綜上，本文設(shè)計(jì)了一種基于計(jì)算機(jī)視覺(jué)的仰臥起坐計(jì)數(shù)算法，在解決傳統(tǒng)問(wèn)題的基礎(chǔ)上，減輕了監(jiān)考人員和成績(jī)錄入的壓力，具有較高的理論研究?jī)r(jià)值和實(shí)用性。首先通過(guò)攝像頭采集動(dòng)作信息，將其輸入到改進(jìn)后的YOLOv7?Pose［6］網(wǎng)絡(luò)中檢測(cè)出人體的關(guān)鍵點(diǎn)坐標(biāo)，根據(jù)關(guān)鍵點(diǎn)坐標(biāo)計(jì)算當(dāng)前動(dòng)作和標(biāo)準(zhǔn)動(dòng)作之間的相似度，并對(duì)符合要求的動(dòng)作進(jìn)行計(jì)數(shù)。

1 關(guān)鍵點(diǎn)檢測(cè)算法

1.1 關(guān)鍵點(diǎn)檢測(cè)算法介紹

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于二維人體關(guān)鍵點(diǎn)預(yù)測(cè)的方法在各個(gè)領(lǐng)域風(fēng)靡，通過(guò)該技術(shù)，我們可以更好地提取圖像和視頻的特征，并且比傳統(tǒng)方法更準(zhǔn)確地估算人體姿態(tài)［7］。從RGB 圖像中確定所含的人體，并定位人體的各個(gè)關(guān)鍵點(diǎn)坐標(biāo)是二維姿態(tài)估計(jì)的基本任務(wù)。基于二維人體姿態(tài)研究目標(biāo)數(shù)量的差異，可分為單人以及多人方法。單人姿態(tài)估計(jì)是多人姿態(tài)估計(jì)的基礎(chǔ)［8］。單人姿態(tài)估計(jì)分為基于直接預(yù)測(cè)人體坐標(biāo)點(diǎn)的坐標(biāo)回歸方法，以及基于預(yù)測(cè)人體坐標(biāo)點(diǎn)的高斯分布的熱圖檢測(cè)方法?；诜椒ㄕ摰牟煌?，多人姿態(tài)估計(jì)的主要研究方法可以分為基于關(guān)鍵點(diǎn)的方法和基于實(shí)例的方法這兩種［9］。基于實(shí)例的方法先從圖像中檢測(cè)出所有人體目標(biāo)，接著單獨(dú)對(duì)每個(gè)目標(biāo)進(jìn)行姿態(tài)估計(jì)。而基于關(guān)鍵點(diǎn)的方法首先檢測(cè)當(dāng)前場(chǎng)景內(nèi)人體的全部坐標(biāo)點(diǎn)，然后再將對(duì)應(yīng)的關(guān)鍵點(diǎn)連接成圖，最后通過(guò)圖優(yōu)化的方法剔除錯(cuò)誤的連接，構(gòu)成人體的姿態(tài)骨架。

與傳統(tǒng)姿態(tài)估計(jì)算法不同，YOLOv7?Pose是一個(gè)單級(jí)多人關(guān)鍵點(diǎn)檢測(cè)器。它具有自頂向下和自底向上兩種方法的優(yōu)點(diǎn)，是基于YOLO目標(biāo)檢測(cè)框架提出的新穎的、無(wú)熱力圖的方法，類(lèi)似于谷歌使用回歸計(jì)算關(guān)鍵點(diǎn)的思想，YOLOv7?Pose既不使用檢測(cè)器進(jìn)行二階處理，也不使用熱力圖拼接，是一種暴力回歸關(guān)鍵點(diǎn)的檢測(cè)算法，且在處理速度上具有一定優(yōu)勢(shì)。

1.2 算法模型

YOLOv7?Pose 由兩個(gè)組件組成：Backbone和Head。Backbone 是一種用于提取圖像特征的卷積神經(jīng)網(wǎng)絡(luò)。Backbone 主要包含了CBS、ELAN 等模塊，CBS 操作其實(shí)是由三個(gè)操作組合而成：Conv、BN 和Silu 激活函數(shù)；ELAN 模塊是一個(gè)高效的網(wǎng)絡(luò)結(jié)構(gòu)，也是YOLOv7的主要貢獻(xiàn)之一，由多個(gè)CBS 構(gòu)成，它通過(guò)控制最短和最長(zhǎng)的梯度路徑，使網(wǎng)絡(luò)能夠?qū)W習(xí)到更多的特征，并且具有更強(qiáng)的魯棒性。

YOLOv7?Pose的Head相當(dāng)于融合了YOLOv5的Neck 和Head 的功能，主要包含SPPCSPC、ELAN?W 等模塊，作用是對(duì)圖像進(jìn)行預(yù)測(cè)。SPPCSPC 用SPP 空間金字塔池化操作代替了卷積層后的常規(guī)池化層，可以增加感受野，使得算法適應(yīng)不同的分辨率圖像；CSP 模塊首先將特征分為兩部分，其中的一個(gè)部分進(jìn)行常規(guī)的處理，另外一個(gè)部分進(jìn)行SPP 結(jié)構(gòu)的處理，最后把這兩部分合并在一起，從而減少一半的計(jì)算量，速度得到有效提升。ELAN?W 跟ELAN模塊非常相似，略有不同的就是它在第二條分支的時(shí)候選取5個(gè)輸出進(jìn)行相加。

YOLOv7?Pose 首先將輸入的圖片轉(zhuǎn)換為640 × 640 大小，輸入到Backbone 網(wǎng)絡(luò)中，然后經(jīng)Head 層輸出四個(gè)特征圖，再分別經(jīng)過(guò)Rep 和Conv 輸出20 × 20，40 × 40，80 × 80 和160 ×160這四種不同尺度的未經(jīng)處理的預(yù)測(cè)結(jié)果。

YOLOv7?Pose 在公開(kāi)數(shù)據(jù)集上有著一流的表現(xiàn)，模型的特征提取和預(yù)測(cè)能力都得到了認(rèn)可，但是其模型YOLOv7?w6 的參數(shù)量過(guò)大導(dǎo)致無(wú)法在邊緣設(shè)備上運(yùn)行，因此，本文對(duì)其進(jìn)行了輕量化改進(jìn)，以適用于本文的體能計(jì)數(shù)場(chǎng)景。

1.3 改進(jìn)的算法模型

本文提出的算法應(yīng)用在單人體能訓(xùn)練場(chǎng)景，攝像頭采集的人體目標(biāo)較大，因此針對(duì)YOLOv7?Pose進(jìn)行了一系列改進(jìn)，改進(jìn)策略如下：

（1）YOLOv7?Pose 采用4 層特征融合的方式主要是為了解決小尺寸目標(biāo)難以檢測(cè)的問(wèn)題，但是這對(duì)算法的檢測(cè)速度也會(huì)有影響。特征圖像的尺寸越小，它們就越能夠檢測(cè)到大體積的物體，反之亦然［10］?？紤]到實(shí)際場(chǎng)景下的人體目標(biāo)較大，因此刪除YOLOv7?Pose 針對(duì)小目標(biāo)檢測(cè)的兩個(gè)分支80 × 80 和160 × 160，只保留20 × 20 以及40 × 40 這兩個(gè)針對(duì)較大尺寸的目標(biāo)的獨(dú)立預(yù)測(cè)分支。

（2）由于仰臥起坐計(jì)數(shù)只需要檢測(cè)較為簡(jiǎn)單的人體目標(biāo)，只有這一個(gè)類(lèi)別且場(chǎng)景簡(jiǎn)單，最重要的是對(duì)實(shí)時(shí)性的要求較高，因此本文對(duì)原網(wǎng)絡(luò)的ELAN和ELAN?W 模塊的特征提取層進(jìn)行刪減，從而大幅度降低了網(wǎng)絡(luò)參數(shù)，提高了姿態(tài)估計(jì)的實(shí)時(shí)性。改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

（3）由于仰臥起坐的計(jì)數(shù)不需要關(guān)注頭部的信息，比如眼睛和耳朵，因此將YOLOv7?Pose原本的17 個(gè)關(guān)鍵點(diǎn)縮減至13 個(gè)，主要關(guān)注四肢及軀干等重點(diǎn)部分的關(guān)鍵點(diǎn)，從而加快推理速度，進(jìn)一步提高了姿態(tài)估計(jì)的實(shí)時(shí)性。

使用改進(jìn)后的網(wǎng)絡(luò)對(duì)自制仰臥起坐數(shù)據(jù)集進(jìn)行訓(xùn)練，在幾乎不降低精度的前提下，模型的計(jì)算量從153.7 M 下降到30.7 M，即降低到原來(lái)的1/5，證明了本文輕量化方法的有效性。

2 實(shí)驗(yàn)與分析

2.1 動(dòng)作計(jì)數(shù)算法

人體骨骼是人類(lèi)運(yùn)動(dòng)的基礎(chǔ)，所以，我們能夠通過(guò)觀察人體骨骼來(lái)更好地理解身體行為和活動(dòng)方式。本文提出的動(dòng)作計(jì)數(shù)方法首先通過(guò)YOLOv7?Pose 檢測(cè)出人體關(guān)鍵點(diǎn)坐標(biāo)，再用坐標(biāo)信息表征人體運(yùn)動(dòng)姿態(tài)，改進(jìn)后的模型可以對(duì)視頻進(jìn)行實(shí)時(shí)檢測(cè)，滿足算法實(shí)時(shí)性需求。由于仰臥起坐動(dòng)作的特殊性，每個(gè)動(dòng)作都會(huì)帶來(lái)上下半身的折疊角度的變化，因此本文根據(jù)仰臥起坐不同關(guān)節(jié)角度變化自定義了檢測(cè)方式，只需要判斷人體肩關(guān)節(jié)、髖關(guān)節(jié)和踝關(guān)節(jié)三個(gè)部位的角度變化來(lái)區(qū)分動(dòng)作是否標(biāo)準(zhǔn)［11］。對(duì)姿態(tài)估計(jì)獲得的人體關(guān)鍵點(diǎn)坐標(biāo)進(jìn)行處理，得到上述角度值，當(dāng)角度大于160°時(shí)認(rèn)為躺下，角度小于100°時(shí)認(rèn)為坐起，當(dāng)兩個(gè)條件同時(shí)滿足時(shí)，方可認(rèn)為是一個(gè)合格的仰臥起坐，從而計(jì)數(shù)一分鐘內(nèi)學(xué)生所做的仰臥起坐個(gè)數(shù)，停止計(jì)數(shù)，期間若有動(dòng)作不滿足以上條件，則視為不規(guī)范且不計(jì)數(shù)。

計(jì)算公式如下：設(shè)肩膀，髖及腳踝的點(diǎn)位分別為A(x1,y1)，B(x2,y2)和C(x3,y3)，可得到待測(cè)角度為

2.2 性能評(píng)價(jià)指標(biāo)

（1）平均準(zhǔn)確度（average precision, AP）。單人姿態(tài)估計(jì)AP 的計(jì)算公式基于OKS，OKS 表示了真實(shí)關(guān)鍵點(diǎn)和預(yù)測(cè)關(guān)鍵點(diǎn)之間的相似性［12］，AP的計(jì)算公式為

式（2）中，T為給定的閾值。

（2）平均準(zhǔn)確度均值（mean average preci?sion, mAP）。平均精度均值是常用的指標(biāo)之一，其計(jì)算方式為先求出所有關(guān)節(jié)點(diǎn)的AP，再對(duì)其求均值［12］，計(jì)算公式如下：

（3）計(jì)數(shù)準(zhǔn)確率（count accuracy, CA）。CA是本文提出的評(píng)價(jià)指標(biāo)，記實(shí)際仰臥起坐數(shù)量TrueNum，測(cè)得仰臥起坐數(shù)量為T(mén)estNum，則計(jì)數(shù)準(zhǔn)確率公式為

基于以上評(píng)價(jià)指標(biāo)，表1給出了改進(jìn)前后的兩個(gè)網(wǎng)絡(luò)相關(guān)參數(shù)的對(duì)比。

表1 改進(jìn)前后網(wǎng)絡(luò)各參數(shù)對(duì)比

2.3 結(jié)果與分析

本文的實(shí)驗(yàn)環(huán)境為Ubuntu16.04LTS，處理器為Intel（R）Xeon（R）Platinum 8255C，主頻2.50 GHz，基于64 位操作系統(tǒng)，使用的GPU 型號(hào)為GeForce RTX 2080 Ti，單卡，顯存為11 GB，模型的訓(xùn)練和測(cè)試基于PyTorch 1.8.2框架。

現(xiàn)有的二維數(shù)據(jù)集，如MS COCO、MPⅡ等，圖像中大部分是站立的正面的人體，但是本文關(guān)注的場(chǎng)景基于側(cè)面的橫向的人體，因此公開(kāi)數(shù)據(jù)集并不能完全適配當(dāng)前動(dòng)作場(chǎng)景。因此本文是基于自制的數(shù)據(jù)集。首先是在不同光照、拍攝距離和背景下拍攝了80 個(gè)仰臥起坐動(dòng)作的視頻，然后進(jìn)行人工打標(biāo)，再通過(guò)鏡像、旋轉(zhuǎn)和裁剪等數(shù)據(jù)增強(qiáng)方式擴(kuò)充數(shù)據(jù)集，最終達(dá)到10000個(gè)樣本。

本文以仰臥起坐計(jì)數(shù)的準(zhǔn)確率為評(píng)價(jià)指標(biāo)，選取50 個(gè)時(shí)長(zhǎng)1 分鐘的視頻進(jìn)行測(cè)試，使用本文的方法最終的計(jì)數(shù)準(zhǔn)確率CA（count accuracy）達(dá)到98.8%，可以部署在邊緣設(shè)備。相比于傳統(tǒng)的計(jì)數(shù)方法，本文方法計(jì)數(shù)的精度更高，且更便捷?；诒疚姆椒ǖ挠?jì)數(shù)效果圖如圖2所示。

圖2 計(jì)數(shù)效果圖

3 結(jié)語(yǔ)

本文針對(duì)仰臥起坐計(jì)數(shù)任務(wù)，對(duì)YOLOv7?Pose網(wǎng)絡(luò)進(jìn)行輕量化改進(jìn)，對(duì)ELAN模塊刪減部分特征提取層，減少關(guān)鍵點(diǎn)預(yù)測(cè)量，并刪減針對(duì)小目標(biāo)的檢測(cè)分支。在自制數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果證明，以上改進(jìn)在少量精度損失下，大大減少了模型大小，提高了關(guān)鍵點(diǎn)提取速度，有利于后續(xù)基于關(guān)鍵點(diǎn)坐標(biāo)進(jìn)行體能計(jì)數(shù)。但是本文的算法是采用人工設(shè)計(jì)的輕量化網(wǎng)絡(luò)，更注重降低網(wǎng)絡(luò)的參數(shù)量和檢測(cè)的實(shí)時(shí)性，缺乏了一定的人體結(jié)構(gòu)約束帶來(lái)的先驗(yàn)知識(shí)，后續(xù)將進(jìn)一步完善。