余鵬，劉蘭，蔡韻，何煜，張松海

基于單目攝像頭的自主健身監(jiān)測(cè)系統(tǒng)

余鵬，劉蘭，蔡韻，何煜*，張松海

（清華大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)系，北京 100084）

隨著在線健身資源的日益豐富，自主健身已成為新的運(yùn)動(dòng)趨勢(shì)。然而由于缺少專業(yè)健身教練的動(dòng)作指導(dǎo)與糾正，自主健身通常無法保障健身效果且容易造成運(yùn)動(dòng)損傷，因此需要對(duì)健身動(dòng)作準(zhǔn)確性進(jìn)行實(shí)時(shí)監(jiān)測(cè)?，F(xiàn)有的健身監(jiān)測(cè)設(shè)備往往依托大屏幕、深度攝像頭或傳感器等硬件，存在設(shè)備昂貴、安裝不便、使用場景受限等問題，較難滿足大眾健身的需求。隨著人體關(guān)鍵點(diǎn)檢測(cè)技術(shù)的不斷成熟，通過手機(jī)單目攝像頭即可實(shí)現(xiàn)對(duì)人體姿態(tài)的識(shí)別，且有較高的準(zhǔn)確度和速度，使得在手機(jī)端實(shí)現(xiàn)低成本、多場景的健身監(jiān)測(cè)成為可能?；谝陨媳尘?，設(shè)計(jì)了三維場景下基于角度閾值的健身動(dòng)作評(píng)估算法，依托于手機(jī)單目攝像頭和3D人體關(guān)鍵點(diǎn)檢測(cè)技術(shù)，實(shí)時(shí)檢測(cè)用戶健身動(dòng)作是否標(biāo)準(zhǔn)并通過語音給出相應(yīng)提示。同時(shí)，在安卓手機(jī)上實(shí)現(xiàn)了原型系統(tǒng)，通過一系列用戶實(shí)驗(yàn)驗(yàn)證了系統(tǒng)的可用性與實(shí)時(shí)性，通過與近年相關(guān)工作的對(duì)比實(shí)驗(yàn)，驗(yàn)證了動(dòng)作評(píng)估方法的準(zhǔn)確性。結(jié)果表明，本文方法與系統(tǒng)被用戶所認(rèn)可，健身動(dòng)作評(píng)估準(zhǔn)確率較高、響應(yīng)速度滿足實(shí)時(shí)性要求。

自主健身；虛擬健身教練；動(dòng)作監(jiān)測(cè)；人體關(guān)鍵點(diǎn)檢測(cè)

近年來，互聯(lián)網(wǎng)健身擁有較好的宏觀環(huán)境。政策方面，政府的一系列措施，使得互聯(lián)網(wǎng)與體育健身進(jìn)一步融合；經(jīng)濟(jì)方面，投資融資情況良好，增強(qiáng)了互聯(lián)網(wǎng)健身行業(yè)的信心；需求方面，用戶需求的不斷發(fā)展，對(duì)互聯(lián)網(wǎng)健身產(chǎn)品市場的成型起推動(dòng)作用。移動(dòng)網(wǎng)絡(luò)的普及，既使得在線健身變得可能，也促使了在線健身需求的增加。

虛擬健身教練應(yīng)運(yùn)而生。在傳統(tǒng)健身房，私人健身教練的業(yè)務(wù)包括健身前的運(yùn)動(dòng)項(xiàng)目推薦、健身中的動(dòng)作指導(dǎo)和糾正、健身后的跟進(jìn)和督促等。其中，動(dòng)作指導(dǎo)和糾正是必要環(huán)節(jié)，可以保證運(yùn)動(dòng)效果、有效減少運(yùn)動(dòng)損傷。然而，現(xiàn)有的虛擬教練產(chǎn)品，如樂刻、超級(jí)猩猩、KEEP、火辣健身、小米手環(huán)等，功能主要集中在健身教學(xué)、健身數(shù)據(jù)記錄、健身社交等，少有實(shí)時(shí)動(dòng)作指導(dǎo)和糾正功能。

市場上也有一些產(chǎn)品具備動(dòng)作監(jiān)測(cè)功能，然而其大多依托特定硬件設(shè)備，仍有較大改進(jìn)空間。據(jù)調(diào)研，健身動(dòng)作監(jiān)測(cè)產(chǎn)品可大致分為健身房中的大型裝置如EuMotus-BodyWatch、可穿戴設(shè)備如小米手環(huán)及家庭場景下的大屏設(shè)備如華為智慧電視。這些產(chǎn)品或支持功能局限，或設(shè)備成本高，或使用場景局限。

人體關(guān)鍵點(diǎn)檢測(cè)技術(shù)的不斷更新，使低成本、高精度的健身監(jiān)測(cè)功能的實(shí)現(xiàn)成為可能。人體關(guān)鍵點(diǎn)檢測(cè)即預(yù)測(cè)人體的重要關(guān)節(jié)點(diǎn)，進(jìn)而估計(jì)其動(dòng)作姿勢(shì)，或?qū)?dòng)作姿勢(shì)進(jìn)行再編輯。手機(jī)端的人體關(guān)鍵點(diǎn)檢測(cè)技術(shù)，在實(shí)現(xiàn)效果方面，可在保證速度的同時(shí)，不損失準(zhǔn)確度，在成本方面，僅需要普通手機(jī)的單目攝像頭，成本低廉，適合大規(guī)模部署。

基于以上背景，本文設(shè)計(jì)了三維場景下基于角度閾值的健身動(dòng)作評(píng)估算法，并在安卓手機(jī)上實(shí)現(xiàn)了原型系統(tǒng)，實(shí)時(shí)監(jiān)測(cè)和反饋在線健身人群健身動(dòng)作是否標(biāo)準(zhǔn)，重點(diǎn)關(guān)注其高準(zhǔn)確性和高實(shí)時(shí)性。在平板支撐、Y字俯身伸展及靠墻靜蹲3個(gè)動(dòng)作上進(jìn)行了測(cè)試。結(jié)果表明，本文算法具有高準(zhǔn)確性，本文原型系統(tǒng)的功能可用性、交互可用性和實(shí)時(shí)性均得到了認(rèn)可。

綜上所述，本文的主要貢獻(xiàn)為：基于手機(jī)單目攝像頭，使用人體關(guān)鍵點(diǎn)技術(shù)實(shí)現(xiàn)了用戶健身監(jiān)測(cè)，解決自主健身場景下的健身監(jiān)測(cè)缺失問題，滿足成本低、場景多樣的用戶需求。同時(shí)本文提出了基于3D人體關(guān)鍵點(diǎn)的健身動(dòng)作標(biāo)準(zhǔn)評(píng)估的可計(jì)算模型，提高了動(dòng)作標(biāo)準(zhǔn)評(píng)估的準(zhǔn)確度；提出了依托語音提示的交互模式，能夠很好地對(duì)健身動(dòng)作進(jìn)行實(shí)時(shí)糾正。

1　相關(guān)工作

早期“健身”產(chǎn)業(yè)的主要形式為“大眾健身俱樂部”［1］，多依賴于健身教練的指導(dǎo)，而互聯(lián)網(wǎng)時(shí)代的新型健身不再局限于健身房，人們可以在住宅等地隨時(shí)隨地開展健身活動(dòng)。本文將非健身房，如家庭、宿舍、辦公場所、戶外操場等環(huán)境下開展的無教練監(jiān)督的健身活動(dòng)稱為自主健身。

健身監(jiān)測(cè)主要基于人體動(dòng)作識(shí)別技術(shù)，相關(guān)研究可參考XIA等［2］的綜述。健身監(jiān)測(cè)通常通過傳統(tǒng)傳感器、深度攝像機(jī)和人體關(guān)鍵點(diǎn)檢測(cè)3種方法實(shí)現(xiàn)，研究內(nèi)容大致分為動(dòng)作分類和動(dòng)作質(zhì)量評(píng)估［3］。

基于傳統(tǒng)傳感器的方法通常與可穿戴設(shè)備、智能手機(jī)終端結(jié)合在一起。無氧運(yùn)動(dòng)的監(jiān)測(cè)內(nèi)容，早期主要有運(yùn)動(dòng)識(shí)別、運(yùn)動(dòng)分類和動(dòng)作計(jì)數(shù)，后來逐漸補(bǔ)充了運(yùn)動(dòng)質(zhì)量評(píng)估、及時(shí)提供有效反饋等功能。早期的研究，如CHANG等［4］用運(yùn)動(dòng)手套中的三軸加速度計(jì)識(shí)別用戶在做的自由重量訓(xùn)練，并記錄重復(fù)次數(shù)。CREMA等［5］用慣性測(cè)量單元（IMU）自動(dòng)檢測(cè)運(yùn)動(dòng)類型，并進(jìn)行分類與計(jì)數(shù)。提供運(yùn)動(dòng)質(zhì)量評(píng)估和反饋的研究，如“FEMO”系統(tǒng)［6］在啞鈴上粘貼RFID標(biāo)簽，ZHOU等［7］提出一種在健身房監(jiān)控腿部鍛煉的新型可穿戴設(shè)備。此外，也有一些圍繞有氧運(yùn)動(dòng)展開的研究，以“RunBuddy”［8］為典型，提出使用智能手機(jī)及藍(lán)牙耳機(jī)，通過手機(jī)內(nèi)置加速度計(jì)和外部麥克風(fēng)測(cè)量呼吸和步幅監(jiān)控跑步節(jié)奏。

基于深度攝像機(jī)的方法通常具備同時(shí)獲得深度圖像及彩色圖像的能力。VELLOSO等［3］提出使用Kinect進(jìn)行舉重運(yùn)動(dòng)的識(shí)別和系統(tǒng)評(píng)估，包括動(dòng)作分類、錯(cuò)誤動(dòng)作識(shí)別以及提供反饋，并定義了評(píng)價(jià)動(dòng)作質(zhì)量的標(biāo)準(zhǔn)，研究了及時(shí)反饋對(duì)運(yùn)動(dòng)員的影響。JIN等［9］提出了用Kinect監(jiān)測(cè)健身動(dòng)作的虛擬健身教練，從應(yīng)用和人機(jī)交互層面，進(jìn)一步支持檢測(cè)舉重、舞蹈、拳擊等動(dòng)作。KUMAR等［10］也提出類似的基于Kinect的實(shí)時(shí)反饋虛擬教練，用于如側(cè)彎等9種日常鍛煉的交互式輔助系統(tǒng)，并用隨機(jī)森林進(jìn)行運(yùn)動(dòng)分類。

基于人體關(guān)鍵點(diǎn)檢測(cè)的方法通常具備使用成本低、安裝方便、場景多樣等優(yōu)勢(shì)，但與實(shí)時(shí)監(jiān)測(cè)健身動(dòng)作結(jié)合的研究卻相對(duì)較少。部分研究基于Openpose，能實(shí)時(shí)捕捉用戶姿勢(shì)并通過與預(yù)設(shè)標(biāo)準(zhǔn)動(dòng)作匹配進(jìn)行打分。如QIAO等［11］對(duì)太極手勢(shì)進(jìn)行了分類、評(píng)分；DEB等［12］設(shè)計(jì)了跳舞機(jī)人機(jī)交互系統(tǒng)，用戶跳一套內(nèi)置的舞蹈動(dòng)作，系統(tǒng)持續(xù)評(píng)估用戶動(dòng)作；HackNYU2018項(xiàng)目設(shè)計(jì)的系統(tǒng)支持對(duì)下蹲、啞鈴肩壓、二頭肌卷曲動(dòng)作計(jì)數(shù)，以及評(píng)估是否有夸張彎曲和伸展。

人體關(guān)鍵點(diǎn)檢測(cè)技術(shù)大致可分為2D人體關(guān)鍵點(diǎn)檢測(cè)和3D人體關(guān)鍵點(diǎn)檢測(cè)，2D人體關(guān)鍵點(diǎn)檢測(cè)可分為單人關(guān)鍵點(diǎn)檢測(cè)和多人關(guān)鍵點(diǎn)檢測(cè)，3D人體關(guān)鍵點(diǎn)檢測(cè)可分為2D+人體關(guān)鍵點(diǎn)檢測(cè)和3D人體關(guān)鍵點(diǎn)檢測(cè)，根據(jù)輸入的圖像是RGB-D還是RGB進(jìn)行區(qū)分。

2D人體關(guān)鍵點(diǎn)檢測(cè)的研究包括單人關(guān)鍵點(diǎn)檢測(cè)和多人關(guān)鍵點(diǎn)檢測(cè)。其中，單人關(guān)鍵點(diǎn)檢測(cè)已有較好的準(zhǔn)確度，如CPM［13］、Hourglass［14］等。多人關(guān)鍵點(diǎn)檢測(cè)按思路可分為自上而下和自下而上2種。一般而言，自上而下的方法檢測(cè)準(zhǔn)確度較高，自下而上的方法檢測(cè)速度較快。

自上而下的關(guān)鍵點(diǎn)檢測(cè)包括目標(biāo)檢測(cè)和單人骨骼關(guān)鍵點(diǎn)檢測(cè)兩部分。代表性工作包括Mask-RCNN［15］、CPN［16］、MSPN［17］、RMPE［18］、HRNet［19］等。自下而上的關(guān)鍵點(diǎn)檢測(cè)的思路為，先檢測(cè)出所有關(guān)鍵點(diǎn)，再對(duì)關(guān)鍵點(diǎn)進(jìn)行聚類。如2016年COCO關(guān)鍵點(diǎn)比賽的冠軍OpenPose［20］；NEWELL等［21］用高維空間向量編碼不同人的關(guān)鍵點(diǎn)。此外，還有幾種經(jīng)典的檢測(cè)算法［22］，利用身體部位的分割、關(guān)鍵點(diǎn)之間的關(guān)系建模。

3D人體關(guān)鍵點(diǎn)檢測(cè)的任務(wù)，即輸入圖像或視頻數(shù)據(jù)，輸出3D人體骨骼關(guān)鍵點(diǎn)位置坐標(biāo)。輸入的數(shù)據(jù)可分為RGBD和RGB 2種。

基于RGBD圖像數(shù)據(jù)的3D人體關(guān)鍵點(diǎn)檢測(cè)方式較傳統(tǒng)。始于SHOTTON等［23］的研究，利用隨機(jī)森林算法從單一深度信息圖中提取三維人體骨架關(guān)鍵點(diǎn)。HAQUE等［24］采用CNN+RNN網(wǎng)絡(luò)結(jié)構(gòu)獲取人體骨骼關(guān)鍵點(diǎn)。

RGB作為一種輸入的方法，也被稱作2D+方法。如CHEN等［25］基于CPM估計(jì)2D人體姿態(tài)，將預(yù)測(cè)得到的3D人體骨架投影到2D空間，用與2D骨架最相近的對(duì)應(yīng)3D骨架作為結(jié)果。2007年，MARTINEZ等［26］提出基于Hourglass的方法。2018年出現(xiàn)的Densepose［27］，提出DensePose-RCNN模型，其結(jié)果不再是十幾個(gè)的3D關(guān)鍵點(diǎn)，而是很高密度的人體關(guān)鍵點(diǎn)。較新的工作為VideoPose3D［28］，提出了一種時(shí)間空洞卷積的全卷積模型。

相較傳統(tǒng)傳感器和深度攝像機(jī)，基于人體關(guān)鍵點(diǎn)檢測(cè)技術(shù)的自主健身系統(tǒng)對(duì)硬件設(shè)備的依賴更少，更適合推廣與普及，部署成本低，更符合本文對(duì)家用健身監(jiān)測(cè)技術(shù)的需求。3D關(guān)鍵點(diǎn)檢測(cè)技術(shù)較2D關(guān)鍵點(diǎn)檢測(cè)技術(shù)在速度上有所降低，但檢測(cè)更精確，也更具操作性。已有研究側(cè)重于監(jiān)測(cè)效果的魯棒性，較少從人機(jī)交互的角度進(jìn)行探究。本文基于3D人體關(guān)鍵點(diǎn)檢測(cè)技術(shù)，注重系統(tǒng)的實(shí)時(shí)性、準(zhǔn)確性、可用性與交互性，探究如何更好地反饋錯(cuò)誤動(dòng)作，并做出提示指導(dǎo)。

2　基于單目攝像頭的動(dòng)作檢測(cè)與質(zhì)量評(píng)估

系統(tǒng)的總體框架包括前端與后端2個(gè)模塊。以用戶手機(jī)端的攝像頭采集的視頻數(shù)據(jù)為輸入，以手機(jī)端的實(shí)時(shí)語音提示為輸出，通過前端實(shí)時(shí)采集用戶健身動(dòng)作視頻數(shù)據(jù)，由后端服務(wù)器運(yùn)行算法，對(duì)輸入的視頻進(jìn)行一系列處理，輸出動(dòng)作評(píng)估結(jié)果和提示內(nèi)容，再由前端展示為語音提示、用戶界面及頁面跳轉(zhuǎn)等交互。系統(tǒng)框架如圖1所示。

圖1　系統(tǒng)框架

2.1　算法流程

算法為系統(tǒng)實(shí)現(xiàn)的重點(diǎn)。主要包括3D人體關(guān)鍵點(diǎn)獲取、骨架完整性識(shí)別、動(dòng)作分類、動(dòng)作評(píng)估4大模塊。其中，動(dòng)作評(píng)估模塊為該部分的重點(diǎn)，由本文提出并加以驗(yàn)證。算法流程如圖2所示，算法步驟如下：

輸入 用戶動(dòng)作的實(shí)時(shí)視頻流。

輸出 評(píng)估結(jié)果及提示內(nèi)容。

Step1 調(diào)用VideoPose3D模型，該模型首先獲得17個(gè)2D人體關(guān)鍵點(diǎn)坐標(biāo)，然后恢復(fù)得到17個(gè)3D人體關(guān)鍵點(diǎn)坐標(biāo)。

Step2 利用2D人體關(guān)鍵點(diǎn)信息，判斷人的四肢是否在屏幕內(nèi)。

Step3 將輸入的動(dòng)作骨骼信息與動(dòng)作骨骼數(shù)據(jù)庫匹配，輸出相似度最高的動(dòng)作類型。

Step4 將評(píng)估動(dòng)作是否標(biāo)準(zhǔn)的要點(diǎn)轉(zhuǎn)化為可計(jì)算模型。對(duì)原始相機(jī)坐標(biāo)進(jìn)行旋轉(zhuǎn)和平移變換，生成新坐標(biāo)系下的人體關(guān)鍵點(diǎn)坐標(biāo)，基于傳入動(dòng)作變換后的3D人體關(guān)鍵點(diǎn)坐標(biāo)，計(jì)算動(dòng)作的關(guān)節(jié)角度，制定標(biāo)準(zhǔn)角度閾值，并據(jù)此進(jìn)行判斷。

圖2　算法流程

2.2　3D人體關(guān)鍵點(diǎn)獲取模塊

VideoPose3D［28］模型是本健身動(dòng)作監(jiān)測(cè)系統(tǒng)實(shí)現(xiàn)的算法基礎(chǔ)，用以解決視頻中3D人體姿態(tài)預(yù)測(cè)問題，通過其提出的用于3D人體姿態(tài)預(yù)測(cè)的時(shí)間空洞卷積的全卷積模型，用2D關(guān)鍵點(diǎn)執(zhí)行時(shí)間卷積，實(shí)現(xiàn)對(duì)視頻中的人體進(jìn)行精準(zhǔn)的3D姿態(tài)預(yù)測(cè)。此方法能兼容多種2D關(guān)鍵點(diǎn)檢測(cè)，本文2D人體關(guān)鍵點(diǎn)檢測(cè)器選擇AlphaPose［18］模型，此模型采用自上而下方法，精度和速度較高。準(zhǔn)確度方面，該模型平均關(guān)節(jié)誤差為6 mm，在Human 3.6 M［29］數(shù)據(jù)集上可將誤差降低11%。速度方面，此模型基本可達(dá)到實(shí)時(shí)，在顯卡為1080Ti、處理器為i7-6850K的服務(wù)器中測(cè)試，平均幀率為20 FPS。

2.3　骨架完整性識(shí)別模塊

骨架完整性識(shí)別模塊利用2D人體關(guān)鍵點(diǎn)信息，判斷人的四肢是否在屏幕內(nèi)。當(dāng)人的四肢不在屏幕內(nèi)時(shí)，隱藏關(guān)節(jié)的估計(jì)值不準(zhǔn)確，導(dǎo)致算法的誤差較大。通過分析VideoPose3D模型中的2D關(guān)鍵點(diǎn)置信度，可正確區(qū)分四肢是否在相機(jī)視野內(nèi)。2D人體關(guān)鍵點(diǎn)檢測(cè)的數(shù)據(jù)集為MSCOCO，共17個(gè)關(guān)鍵點(diǎn)，每個(gè)關(guān)鍵點(diǎn)均有置信度，代表關(guān)鍵點(diǎn)預(yù)測(cè)準(zhǔn)確的概率，數(shù)值為0～1。

為驗(yàn)證算法的準(zhǔn)確率，針對(duì)實(shí)際使用中可能出現(xiàn)的視野問題：（1）四肢完全在視野內(nèi)；（2）頭不在視野內(nèi)；（3）頭、肩部不在視野內(nèi)；（4）腳不在視野內(nèi)；（5）腳、膝蓋不在視野內(nèi)。分別拍攝Y字俯身伸展、平板支撐、靠墻靜蹲3個(gè)動(dòng)作在這5種視野情況下的視頻動(dòng)作，分析其2D關(guān)鍵點(diǎn)和置信度的分布。結(jié)論為，當(dāng)置信度≥0.4、關(guān)鍵點(diǎn)個(gè)數(shù)≥12時(shí)，可判斷四肢在屏幕內(nèi)。用10個(gè)隨意暴露部分關(guān)節(jié)在視野內(nèi)的視頻進(jìn)行驗(yàn)證，準(zhǔn)確率為80%。故將判斷規(guī)則定為：關(guān)鍵點(diǎn)置信度閾值為0.4、合格關(guān)鍵點(diǎn)個(gè)數(shù)閾值為12、錯(cuò)誤率閾值為0.2。

2.4　動(dòng)作分類模塊

2.4.1動(dòng)作分類方法

動(dòng)作分類分為預(yù)存動(dòng)作骨骼數(shù)據(jù)庫和骨骼對(duì)比2個(gè)步驟。其中，動(dòng)作骨骼數(shù)據(jù)庫包含Y字俯身伸展、平板支撐、靠墻靜蹲3個(gè)動(dòng)作標(biāo)準(zhǔn)姿勢(shì)下的所有關(guān)節(jié)角度。第1步，錄制3個(gè)動(dòng)作的標(biāo)準(zhǔn)姿勢(shì)，抽取其中一幀，輸出由相連人體關(guān)鍵點(diǎn)組成的關(guān)節(jié)角度，共14個(gè)，如由左肩膀、左肘、左手腕組成的左肘關(guān)節(jié)。第2步，基于實(shí)時(shí)輸入的動(dòng)作關(guān)鍵點(diǎn)，計(jì)算相連關(guān)節(jié)角度，與動(dòng)作骨骼數(shù)據(jù)庫一一比對(duì)，輸出相似度最高的動(dòng)作。計(jì)算式為

其中，A表示輸入動(dòng)作的相連人體關(guān)鍵點(diǎn)的關(guān)節(jié)角度，A'表示動(dòng)作庫中相應(yīng)關(guān)節(jié)角度?？烧{(diào)整與3個(gè)動(dòng)作相關(guān)性最強(qiáng)的關(guān)節(jié)角度的權(quán)重，如身體和軸的夾角。

2.4.2動(dòng)作分類準(zhǔn)確度驗(yàn)證

錄制從完全不標(biāo)準(zhǔn)到標(biāo)準(zhǔn)再到完全標(biāo)準(zhǔn)的序列視頻，將其逐幀與動(dòng)作骨骼數(shù)據(jù)庫比對(duì)，輸出分類結(jié)果。如靠墻靜蹲動(dòng)作，序列視頻即為從站立到蹲下的全過程，看每幀的分類是否準(zhǔn)確。

最終平板支撐、靠墻靜蹲的分類準(zhǔn)確度均為100%，Y字俯身伸展的分類準(zhǔn)確度為96%，出錯(cuò)處為直身站立時(shí)，將其判斷為平板支撐。

2.5　動(dòng)作評(píng)估模塊

2.5.1動(dòng)作質(zhì)量評(píng)估模型

本文提出一種健身動(dòng)作質(zhì)量評(píng)估模型，能夠?qū)∩韯?dòng)作是否標(biāo)準(zhǔn)進(jìn)行監(jiān)測(cè)和評(píng)價(jià)。目前已完成對(duì)Y字俯身伸展、平板支撐、靠墻靜蹲3個(gè)動(dòng)作的支持。通過訪談健身教練，獲知其常通過觀察幾個(gè)要點(diǎn)關(guān)節(jié)的位置判斷動(dòng)作是否標(biāo)準(zhǔn)，因此，本文以關(guān)節(jié)角度范圍作為主要評(píng)估依據(jù)。動(dòng)作評(píng)估模塊主要包含3個(gè)核心步驟。

第1步為坐標(biāo)變換，由于原算法中的坐標(biāo)系位置有偏差，人的位置不平行于地面坐標(biāo)系的任何一個(gè)平面，而在動(dòng)作評(píng)估模塊，部分關(guān)節(jié)角度的計(jì)算依賴于軸平行于地面，軸垂直于地面，軸垂直于平面右手坐標(biāo)系，如靠墻靜蹲，大腿與地面呈角，不僅需要計(jì)算關(guān)節(jié)角度，還需要以軸作為豎直基準(zhǔn)線，判斷上下的方向。原始相機(jī)由于坐標(biāo)系位置偏差，只能計(jì)算關(guān)節(jié)角度，不能判斷方向。因此，在VideoPose3D模型坐標(biāo)系及關(guān)鍵點(diǎn)數(shù)據(jù)基礎(chǔ)上，本文首先對(duì)其進(jìn)行旋轉(zhuǎn)變換。在原始坐標(biāo)系下，選取人的頭、鼻子、臀部中點(diǎn)3個(gè)關(guān)節(jié)點(diǎn)構(gòu)成平面，將垂直于它的法線作為軸，構(gòu)建三維坐標(biāo)系，且使原始平面與地面坐標(biāo)系的平面平行，對(duì)原始坐標(biāo)系做旋轉(zhuǎn)變換。坐標(biāo)變換前后人體關(guān)鍵點(diǎn)位置對(duì)比如圖3所示。

圖3　坐標(biāo)變換前后人體關(guān)鍵點(diǎn)位置對(duì)比

第2步為關(guān)節(jié)角度計(jì)算，核心計(jì)算公式為反余弦函數(shù)，根據(jù)具體動(dòng)作，公式細(xì)節(jié)也有所改變。VideoPose3D算法輸出的骨骼信息為骨骼關(guān)鍵點(diǎn)的空間坐標(biāo)，先將其轉(zhuǎn)化為空間向量，再求向量夾角：

以平板支撐為例，評(píng)判動(dòng)作是否標(biāo)準(zhǔn)的要點(diǎn)有2個(gè)：臀部是否上提或下榻、膝蓋是否伸直。評(píng)判臀部的高度，既要看動(dòng)作是否標(biāo)準(zhǔn)，也要看臀部的方向，計(jì)算公式為

圖4為根據(jù)式（2）～式（4）求得的平板支撐的臀部角度序列，其中，X軸為截取視頻的第70至250幀，Y軸代表對(duì)應(yīng)幀的臀部角度。由圖4可知，大腿向量與X軸相反，隨著臀部變低，角度越來越大。

第3步為關(guān)節(jié)角度標(biāo)準(zhǔn)閾值的制定，由健身教練對(duì)每幀健身動(dòng)作視頻做標(biāo)準(zhǔn)、不標(biāo)準(zhǔn)標(biāo)注，通過角度計(jì)算得到結(jié)果。具體方法為：被試分別針對(duì)3個(gè)動(dòng)作中的要點(diǎn)部位動(dòng)作，模擬現(xiàn)實(shí)情況中可能出現(xiàn)的各種角度，做出動(dòng)作并對(duì)其進(jìn)行視頻錄制。健身教練通過目測(cè)，區(qū)分標(biāo)準(zhǔn)和不標(biāo)準(zhǔn)的視頻幀。同時(shí)將其代入動(dòng)作角度計(jì)算模塊，得到各要點(diǎn)部位關(guān)節(jié)的標(biāo)準(zhǔn)閾值。如平板支撐動(dòng)作，分別做出：（1）臀部從最高點(diǎn)到最低點(diǎn)的動(dòng)作，（2）膝蓋從不直到直的動(dòng)作。臀部，當(dāng)∈［4，7］時(shí)，動(dòng)作標(biāo)準(zhǔn)，當(dāng)>7時(shí)，臀部偏高，當(dāng)<4時(shí)，臀部偏低。膝蓋，當(dāng)∈［174，180］時(shí)，動(dòng)作標(biāo)準(zhǔn)，當(dāng)<174時(shí)，膝蓋未伸直。對(duì)于Y字俯身伸展動(dòng)作，為頸部到臀部的向量與軸的夾角，當(dāng)∈［114，125］時(shí)，動(dòng)作標(biāo)準(zhǔn)，當(dāng)<114時(shí)，身體偏低，當(dāng)>125時(shí)，身體偏高。對(duì)于靠墻靜蹲動(dòng)作，為左膝到左臀的向量與軸的夾角，當(dāng)∈［72，82］時(shí)，動(dòng)作標(biāo)準(zhǔn)，當(dāng)<72時(shí)，大腿偏高，當(dāng)>82時(shí)，大腿偏低。

2.5.2動(dòng)作質(zhì)量評(píng)估模型驗(yàn)證

本文采取用戶實(shí)驗(yàn)方法，邀請(qǐng)專業(yè)人士驗(yàn)證動(dòng)作評(píng)估模塊的可用性。實(shí)驗(yàn)方法為：從3個(gè)健身動(dòng)作的序列視頻中，分別隨機(jī)抽取10張圖片，邀請(qǐng)3位健身教練、1位有8年健身經(jīng)歷的資深達(dá)人，主觀評(píng)價(jià)動(dòng)作是否標(biāo)準(zhǔn)、如何不標(biāo)準(zhǔn)，并與此模塊的輸出結(jié)果做比對(duì)。分別統(tǒng)計(jì)4名被試的動(dòng)作質(zhì)量結(jié)果與系統(tǒng)結(jié)果一致的概率，比較平均概率。實(shí)驗(yàn)結(jié)果如表1所示。

表1　動(dòng)作質(zhì)量評(píng)估準(zhǔn)確率

動(dòng)作質(zhì)量評(píng)估模型的評(píng)估結(jié)果與專業(yè)人士的判斷基本一致，準(zhǔn)確度在90%以上。誤差出現(xiàn)在標(biāo)準(zhǔn)動(dòng)作的臨界值，這與專業(yè)人士的個(gè)人經(jīng)驗(yàn)有較大關(guān)系，此模塊的評(píng)估標(biāo)準(zhǔn)相對(duì)寬松，對(duì)錯(cuò)誤動(dòng)作有更高的包容度。

3　實(shí)驗(yàn)

主要采用用戶實(shí)驗(yàn)和對(duì)比實(shí)驗(yàn)2種形式驗(yàn)證系統(tǒng)的準(zhǔn)確性與可用性。通過與近年的動(dòng)作評(píng)估標(biāo)準(zhǔn)對(duì)比，希望探討基于3D人體關(guān)鍵點(diǎn)數(shù)據(jù)的動(dòng)作評(píng)估標(biāo)準(zhǔn)相對(duì)于基于2D人體關(guān)鍵點(diǎn)數(shù)據(jù)的動(dòng)作評(píng)估標(biāo)準(zhǔn)有哪些優(yōu)勢(shì)；通過用戶實(shí)際使用，反饋測(cè)試系統(tǒng)的可用性，包括功能可用性和交互可用性。功能可用性測(cè)試的重點(diǎn)為驗(yàn)證語音提示準(zhǔn)確度、響應(yīng)速度是否滿足用戶的實(shí)際使用要求。交互可用性測(cè)試的重點(diǎn)為語音指導(dǎo)能否替代私人健身教練。用戶實(shí)驗(yàn)在前端為高通驍龍660處理器的安卓手機(jī)、后端為i7-6850K處理器以及2張1080Ti顯卡的服務(wù)器上進(jìn)行。對(duì)比實(shí)驗(yàn)在i5-4200H處理器、960M顯卡的Windows10系統(tǒng)下進(jìn)行。

在正式用戶實(shí)驗(yàn)前，先進(jìn)行預(yù)實(shí)驗(yàn)。

在預(yù)實(shí)驗(yàn)中，邀請(qǐng)4名被試，1男3女，其中1名為健身教練（曾為系統(tǒng)設(shè)計(jì)提供過指導(dǎo)），2名為在校大學(xué)生，1名為互聯(lián)網(wǎng)公司產(chǎn)品經(jīng)理。在正式用戶實(shí)驗(yàn)中，另邀請(qǐng)了8名被試，均為KEEP健身App用戶，4女4男，其中2名為在校學(xué)生，5名為在職職工，1名為退休職工。

在對(duì)比實(shí)驗(yàn)中，與DEB等［12］基于2D關(guān)鍵點(diǎn)數(shù)據(jù)提出的動(dòng)作評(píng)估標(biāo)準(zhǔn)進(jìn)行了對(duì)比，以驗(yàn)證本文算法的準(zhǔn)確性。

3.1　預(yù)實(shí)驗(yàn)與系統(tǒng)迭代

邀請(qǐng)被試體驗(yàn)本系統(tǒng)，并訪談其主觀感受。由被試自行安裝并體驗(yàn)系統(tǒng)，隨后，對(duì)被試進(jìn)行在線訪談。

基于用戶建議，系統(tǒng)的語音提示流程和內(nèi)容在初版的基礎(chǔ)上進(jìn)行了迭代，集中調(diào)整了語音提示流程及內(nèi)容的特征，包括：（1）去掉不必要的語音提示，如糾正不到位的反饋提示、去掉動(dòng)作準(zhǔn)備提示；（2）降低提示頻率，糾錯(cuò)提示由5次降為4次；（3）降低鼓勵(lì)性語音的頻率；（4）修改部分容易產(chǎn)生歧義的語音；（5）增加語言的多樣性，如動(dòng)作正確時(shí)用“非常完美”“很不錯(cuò)”“保持住”等不同的鼓勵(lì)語言。

3.2　功能可用性測(cè)試

功能可用性測(cè)試的指標(biāo)為準(zhǔn)確度、流暢度。請(qǐng)被試將系統(tǒng)安裝在個(gè)人手機(jī)上，選擇其中1個(gè)動(dòng)作進(jìn)行體驗(yàn)。

準(zhǔn)確度測(cè)試，請(qǐng)被試評(píng)價(jià)健身過程提示的準(zhǔn)確度。客觀記錄被試對(duì)每次提示準(zhǔn)確度的評(píng)價(jià)，計(jì)算準(zhǔn)確度概率；訪談被試，準(zhǔn)確度是否達(dá)到預(yù)期。

流暢度測(cè)試，客觀記錄每次語音提示的延遲時(shí)間，計(jì)算平均值；訪談被試提示是否及時(shí)及主觀感受。

經(jīng)測(cè)試，健身監(jiān)測(cè)的準(zhǔn)確度在90.6%以上，在32次監(jiān)測(cè)中，有3次判斷錯(cuò)誤，其中2次出現(xiàn)在平板支撐動(dòng)作的臀部位置，被試認(rèn)為臀部過低，但系統(tǒng)判斷為標(biāo)準(zhǔn)。還有1次是在靠墻靜蹲時(shí)，被試認(rèn)為大腿還未與身體平行，系統(tǒng)卻給出標(biāo)準(zhǔn)判斷。關(guān)于對(duì)健身監(jiān)測(cè)的準(zhǔn)確度的主觀評(píng)價(jià)，7人認(rèn)為即便判斷有錯(cuò)誤，但對(duì)動(dòng)作標(biāo)準(zhǔn)的整體識(shí)別程度仍超出預(yù)期，1人認(rèn)為還有改進(jìn)空間。被試提出的問題主要集中在希望系統(tǒng)可以支持提醒更多的身體部位。

健身監(jiān)測(cè)的速度平均約延遲1 s，在32次監(jiān)測(cè)中，最大延遲1.2 s，最小延遲0.7 s。關(guān)于被試對(duì)延遲的實(shí)際感受，8人均認(rèn)為提示足夠及時(shí)，沒有感覺到延遲，尤其是提示糾正到位的反饋非常及時(shí)，不會(huì)出現(xiàn)糾正過頭的情況。但也有2人提出，在幾處動(dòng)作不標(biāo)準(zhǔn)時(shí)沒有給出糾正提示。其實(shí)，此處是有意設(shè)計(jì)的，語音提示的間隔出現(xiàn)，是模擬健身教練的指導(dǎo)，因提示頻率太高會(huì)打擾用戶，特別是在被試力竭時(shí)不宜過多提示。

3.3　交互可用性測(cè)試

交互可用性測(cè)試從兩方面進(jìn)行：（1）整體對(duì)比本系統(tǒng)的語音提示和健身教練的指導(dǎo)；（2）本系統(tǒng)的語音提示特征是否自然友好。為得到有效的結(jié)論，實(shí)驗(yàn)采取A/B測(cè)試方法，由被試分別體驗(yàn)對(duì)比方案，并對(duì)被試進(jìn)行訪談，了解其主觀感受。實(shí)驗(yàn)內(nèi)容如表2所示。

表2　交互可用性測(cè)試實(shí)驗(yàn)內(nèi)容

實(shí)驗(yàn)1，被試挑選一個(gè)動(dòng)作，在健身教練指導(dǎo)和語音指導(dǎo)2種方式下進(jìn)行體驗(yàn)，訪談被試更喜歡哪一種方式，并闡述理由。實(shí)驗(yàn)2，主要對(duì)比2種語音特征：（1）主動(dòng)性與被動(dòng)性，包括特別主動(dòng)、適中、特別被動(dòng)3檔。特別主動(dòng)，即幾乎每秒都有語音提示；適中，即平衡語音提示的頻率和無用信息；特別被動(dòng)，即只有動(dòng)作不標(biāo)準(zhǔn)時(shí)才提示。（2）正反饋與負(fù)反饋，分為完全負(fù)反饋、正/負(fù)反饋摻半2檔。完全負(fù)反饋即沒有鼓勵(lì)性語音；正/負(fù)反饋摻半即糾錯(cuò)提示與鼓勵(lì)性語音均有。被試挑選一個(gè)動(dòng)作，分別體驗(yàn)2種對(duì)比語音特征，訪談被試更喜歡哪一種，并闡述理由。

實(shí)驗(yàn)1結(jié)論：語音指導(dǎo)在居家健身場景下，可以替代健身教練指導(dǎo)，但仍有改進(jìn)空間。請(qǐng)8名被試綜合考慮健身教練的花銷，對(duì)2種方式進(jìn)行評(píng)價(jià)。5人更傾向語音指導(dǎo)，2人認(rèn)為各有千秋，1人傾向健身教練指導(dǎo)。選擇語音指導(dǎo)的原因?yàn)榈统杀尽⑻崾緶?zhǔn)確、提示頻率自然、符合當(dāng)下的健身目標(biāo)等。選擇健身教練指導(dǎo)的原因集中在專業(yè)知識(shí)水平高、值得信賴。選擇各有千秋的認(rèn)為既有在家健身的需求，也有去健身房健身的需求，認(rèn)為2種方式不沖突。

被試普遍認(rèn)可健身教練指導(dǎo)有優(yōu)勢(shì)，包括動(dòng)作糾正的精細(xì)度、肢體輔導(dǎo)的直觀性、提示頻率的定制化。動(dòng)作糾正的精細(xì)度，如平板支撐動(dòng)作，健身教練的指導(dǎo)會(huì)考量肌肉發(fā)力，先提示腰、背部，再提示臀部。肢體輔導(dǎo)的直觀性，如健身教練會(huì)將學(xué)員身體擺到正確的位置，可以很直觀地感受正確的發(fā)力，在最后階段力竭時(shí)，健身教練也會(huì)用肢體語言鼓勵(lì)堅(jiān)持。提示頻率的定制化，即對(duì)于在最后堅(jiān)持不住的被試，會(huì)密集鼓勵(lì)，對(duì)于身體素質(zhì)較好的被試，則提示較少。

實(shí)驗(yàn)2結(jié)論：被試認(rèn)為本系統(tǒng)的語音提示較自然友好。相比特別主動(dòng)、特別被動(dòng)以及完全負(fù)反饋的語音提示，用戶基本上更喜歡本系統(tǒng)——語音提示主動(dòng)性適中、正/負(fù)反饋摻半。主動(dòng)性特征方面，6人喜歡本系統(tǒng)主動(dòng)性適中的語音提示，認(rèn)為很自然、有陪伴感、與真人輔導(dǎo)較相似，其中，訓(xùn)練階段目標(biāo)提示是他們普遍認(rèn)為最有用的部分；2人喜歡特別被動(dòng)的提示，認(rèn)為提示少，訓(xùn)練更加專心。正負(fù)反饋比例特征方面，7人喜歡本系統(tǒng)正/負(fù)反饋摻半的提示，認(rèn)為鼓勵(lì)性反饋令他們更有訓(xùn)練熱情；1人喜歡完全負(fù)反饋的提示，提示頻次低，更能專心訓(xùn)練。

在大多數(shù)情況下，被試在一次語音提示后即可將動(dòng)作調(diào)整至標(biāo)準(zhǔn)，即使部分被試某些動(dòng)作調(diào)整幅度不夠或者過大導(dǎo)致動(dòng)作依舊錯(cuò)誤，也可在第二次語音提示時(shí)將動(dòng)作糾正到位。由此可見，本系統(tǒng)的語音提示能夠及時(shí)有效地幫助用戶糾正錯(cuò)誤動(dòng)作。

最后，被試對(duì)本系統(tǒng)語音提示提出了建議，主要有：（1）動(dòng)作質(zhì)量評(píng)估標(biāo)準(zhǔn)更細(xì)節(jié)，如評(píng)價(jià)單個(gè)動(dòng)作是否標(biāo)準(zhǔn)的要點(diǎn)部位更多，以達(dá)到更高的專業(yè)度；（2）語音提示的頻率可依據(jù)用戶力竭情況，進(jìn)一步定制化，如對(duì)堅(jiān)持得較好的用戶，提示頻率相對(duì)較低，從而更人性化；（3）對(duì)部分語音輔以音效，如將“糾正到位”的語音設(shè)置為音效提示，以提高用戶的心理愉悅感。

3.4　動(dòng)作評(píng)估準(zhǔn)確度對(duì)比實(shí)驗(yàn)

DEB等［12］提出的動(dòng)作評(píng)估方法基于2D關(guān)鍵點(diǎn)數(shù)據(jù)，除去面部特征后，選取了14個(gè)人體關(guān)節(jié)，將其表示為高維空間中的向量，并使用L2范數(shù)歸一化對(duì)向量進(jìn)行預(yù)處理，從而消除人的高矮胖瘦差異對(duì)預(yù)測(cè)結(jié)果的影響。對(duì)每個(gè)預(yù)處理好的數(shù)據(jù)計(jì)算其與數(shù)據(jù)庫中每個(gè)數(shù)據(jù)的相似度，選取與最相似的數(shù)據(jù)對(duì)應(yīng)的動(dòng)作標(biāo)準(zhǔn)作為對(duì)該數(shù)據(jù)的判斷結(jié)果。以每個(gè)關(guān)節(jié)與數(shù)據(jù)庫中對(duì)應(yīng)關(guān)節(jié)的歐氏距離的加權(quán)和作為相似度，其權(quán)值為2D關(guān)鍵點(diǎn)數(shù)據(jù)中關(guān)節(jié)的置信度。

DEB等［12］的動(dòng)作評(píng)估方法與本文方法的對(duì)比實(shí)驗(yàn)結(jié)果如表3所示，實(shí)驗(yàn)數(shù)據(jù)包括3個(gè)動(dòng)作的訓(xùn)練視頻和測(cè)試視頻，總共有679幀訓(xùn)練數(shù)據(jù)和525幀測(cè)試數(shù)據(jù)。

表3　基于不同方法的動(dòng)作評(píng)估準(zhǔn)確率

可見2種方法下靠墻靜蹲動(dòng)作評(píng)估準(zhǔn)確率均較高，而Y字俯身伸展動(dòng)作評(píng)估準(zhǔn)確率均較低；本文方法3種動(dòng)作的評(píng)估準(zhǔn)確率均較高。主要原因?yàn)椋罕疚姆椒ɑ?D關(guān)鍵點(diǎn)數(shù)據(jù)，能在對(duì)關(guān)鍵點(diǎn)進(jìn)行旋轉(zhuǎn)變換后判斷其與地面的關(guān)系，且本文方法涉及的許多動(dòng)作判斷標(biāo)準(zhǔn)均引入了地面這一參考系，如大腿是否與地面平行、身體與地面是否成30°～45°等。本文方法基于關(guān)節(jié)角度的評(píng)估標(biāo)準(zhǔn)相對(duì)于基于相似度的評(píng)估標(biāo)準(zhǔn)更符合健身教練的指導(dǎo)習(xí)慣，不僅具有更高的準(zhǔn)確度，而且方便系統(tǒng)給出具體的動(dòng)作指導(dǎo)。更重要的是，本文方法能保證無論輸入怎樣的數(shù)據(jù)，只要其不符合關(guān)節(jié)角度標(biāo)準(zhǔn)，就會(huì)被當(dāng)作不合格動(dòng)作。而使用基于相似度的方法進(jìn)行評(píng)估時(shí)，如果數(shù)據(jù)庫中沒有對(duì)應(yīng)的錯(cuò)誤動(dòng)作，則可能由于錯(cuò)誤動(dòng)作與正確動(dòng)作相似度極高，而被誤判為正確動(dòng)作，影響評(píng)估準(zhǔn)確率。表3中平板支撐動(dòng)作的數(shù)據(jù)恰好證明了這一點(diǎn)。正確的動(dòng)作只有一個(gè)標(biāo)準(zhǔn)，錯(cuò)誤的動(dòng)作卻有多種可能，無法保證數(shù)據(jù)庫中包含所有可能的錯(cuò)誤動(dòng)作。基于相似度的動(dòng)作評(píng)估方法相比基于關(guān)節(jié)角度的評(píng)估方法顯然存在巨大缺陷。

4　總結(jié)與展望

4.1　總結(jié)

設(shè)計(jì)了三維場景下基于角度閾值的健身動(dòng)作評(píng)估算法，并在安卓手機(jī)上實(shí)現(xiàn)了原型系統(tǒng)，該系統(tǒng)基于最普通的手機(jī)單目攝像頭，即可實(shí)時(shí)評(píng)估和糾正健身中的不標(biāo)準(zhǔn)動(dòng)作，并通過語音提示進(jìn)行全程輔導(dǎo)。目前僅支持平板支撐、Y字俯身伸展、靠墻靜蹲3個(gè)動(dòng)作。

基于對(duì)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，本文首先通過詳盡的用戶調(diào)研，提出一種AI模擬私人健身教練的交互模式。同時(shí)，以VideoPose3D人體關(guān)鍵點(diǎn)檢測(cè)模型為核心算法，提出一種健身質(zhì)量評(píng)估模型，設(shè)計(jì)和實(shí)現(xiàn)了算法流程和系統(tǒng)搭建，并用大量算法實(shí)驗(yàn)進(jìn)行驗(yàn)證。隨后，通過一系列用戶實(shí)驗(yàn)，對(duì)系統(tǒng)功能可用性、交互可用性進(jìn)行了測(cè)試和評(píng)估。通過動(dòng)作評(píng)估模塊的對(duì)比實(shí)驗(yàn)，測(cè)試了動(dòng)作評(píng)估方法的準(zhǔn)確率。

實(shí)驗(yàn)證實(shí)了本文方法和系統(tǒng)具有較好的準(zhǔn)確度、較實(shí)時(shí)的響應(yīng)速度以及被用戶認(rèn)可的自然交互，能在居家健身場景下替代私人健身教練。

4.2　工作展望

本文設(shè)計(jì)的系統(tǒng)功能較為簡單，雖然交互相對(duì)自然但也較為基礎(chǔ)，結(jié)合被試的建議和系統(tǒng)的實(shí)際使用情況，可從以下幾個(gè)方向進(jìn)行優(yōu)化：

（1）單個(gè)動(dòng)作更精準(zhǔn)的糾錯(cuò)提示：目前系統(tǒng)的動(dòng)作標(biāo)準(zhǔn)評(píng)估仍較基礎(chǔ)，一方面，未來可以針對(duì)單個(gè)動(dòng)作，設(shè)計(jì)更多要點(diǎn)部位的評(píng)估；另一方面，隨著人體關(guān)鍵點(diǎn)檢測(cè)技術(shù)的進(jìn)步，可采用更密集的關(guān)鍵點(diǎn)檢測(cè)算法模型，提高檢測(cè)關(guān)節(jié)部位的精度。

（2）系統(tǒng)支持動(dòng)作更豐富：目前系統(tǒng)可支持的為常見的訓(xùn)練動(dòng)作，且只支持靜態(tài)動(dòng)作，未來可增加支持動(dòng)作的多樣性。

（3）實(shí)現(xiàn)交互的多樣性：如加入游戲化的交互設(shè)計(jì)，設(shè)計(jì)關(guān)卡、積分、打卡等游戲化的機(jī)制，使用戶獲得更多激勵(lì)，增加用戶使用興趣。

［1］刁在箴，馬更娣，張瑩，等.中國體育健身俱樂部發(fā)展概況之研究［J］.北京體育大學(xué)學(xué)報(bào)，2002（6）：744-745，750. DOI： 10.3969/j.issn.1007-3612.2002. 06.009

DIAO Z Z， MA G D， ZHANG Y， et al. Research on general situation of clubs for body-building in China［J］. Journal of Beijing University of Physical Education， 2002（6）：744-745，750. DOI： 10.3969/j.issn.1007-3612.2002.06.009

［2］XIA S H， GAO L， LAI Y K， et al. A survey on human performance capture and animation［J］. Journal of Computer Science and Technology， 2017， 32： 536-554. DOI： 10.1007/s11390-017-1742-y

［3］VELLOSO E， BULLING A， GELLERSEN H， et al. Qualitative activity recognition of weight lifting exercises［C］//Proceedings of 4th Augmented Human International Conference. New York： Association for Computing Machinery， 2013： 116-123. DOI： 10.1145/2459236.2459256

［4］CHANG K H， CHEN M Y， CANNY J. Tracking free-weight exercises［C］//Proceedings of the 9th International Conference on Ubiquitous Computing. Berlin/Heidelberg： Springer-Verlag， 2007： 19-37. DOI： 10.5555/1771592.1771594

［5］CREMA C， DEPARI A， FLAMMINI A， et al. IMU-based solution for automatic detection and classification of exercises in the fitness scenario［C］//2017 IEEE Sensors Applications Symposium （SAS）. Piscataway： IEEE， 2017： 1-6. DOI： 10. 1109/SAS.2017.7894068

［6］DING H， SHANGGUAN L F， YANG Z， et al. FEMO： A platform for free-weight exercise monitoring with RFIDS［C］//Proceedings of the 13th ACM Conference on Embedded Networked Sensor Systems. New York： Association for Computing Machinery， 2015： 141-154. DOI： 10.1145/2809695. 2809708

［7］ZHOU B， SUNDHOLM M， CHENG J Y， et al. Never skip leg day： A novel wearable approach to monitoring gym leg exercises［C］//2016 IEEE International Conference on Pervasive Computing and Communications. Piscataway： IEEE， 2016： 1-9. DOI： 10.1109/PERCOM.2016. 7456520

［8］HAO T， XING G L， ZHOU G. RunBuddy： A smartphone system for running rhythm monitoring［C］// Proceedings of the 2015 ACM International Joint Conference on Pervasive and Ubiquitous Computing. New York： Association for Computing Machinery， 2015： 133-144. DOI： 10.1145/2750858. 2804293

［9］JIN X， YAO Y， JIANG Q L， et al. Virtual personal trainer via the Kinect sensor［C］//2015 IEEE 16th International Conference on Communication Technology （ICCT）. Piscataway： IEEE， 2015： 460-463. DOI：10.1109/icct.2015.7399879

［10］KUMAR P， SAINI R， YADAVA M， et al. Virtual trainer with real-time feedback using kinect sensor［C］//2017 IEEE Region 10 Symposium （TENSYMP）. Piscataway： IEEE， 2017： 1-5. DOI： 10.1109/TENCONSpring.2017.8070063

［11］QIAO S， WANG Y L， LI J. Real-time human gesture grading based on OpenPose［C］//2017 10th International Congress on Image and Signal Processing， BioMedical Engineering and Informatics （CISP-BMEI）. Piscataway： IEEE， 2017： 1-6. DOI： 10.1109/CISP-BMEI.2017.8301910

［12］DEB S， SHARAN A， CHATURVEDI S， et al. Interactive dance lessons through human body pose estimation and skeletal topographies matching［J］. International Journal of Computational Intelligence & IoT， 2018， 2（4）：711-716.

［13］WEI S E， RAMAKRISHNA V， KANADE T， et al. Convolutional pose machines［C］//2016 IEEE conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 4724-4732. DOI： 10.1109/CVPR.2016.511.

［14］NEWELL A， YANG K Y， DENG J. Stacked hourglass networks for human pose estimation［C］// European Conference on Computer Vision （ECCV）. Cham： Springer， 2016： 483-499. DOI： 10.1007/978-3-319-46484-8_29

［15］HE K， GKIOXARI G， DOLLáR P， et al. Mask RCNN［C］// 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2961-2969. DOI： 10.1109/tpami.2018.2844175

［16］CHEN Y L， WANG Z C， PENG Y X， et al. Cascaded pyramid network for multi-person pose estimation［C］// 2018 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7103-7112. DOI： 10.1109/CVPR.2018.00742.

［17］LI W B， WANG Z C， YIN B Y， et al. Rethinking on multi-stage networks for human pose estimation［Z/OL］. （2019-01-01）.https：//arXiv.org/abs/1901. 00148.

［18］FANG H S， XIE S Q， TAI Y W， et al. RMPE： Regional multi-person pose estimation［C］// 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2353-2362. DOI： 10.1109/ICCV.2017.256.

［19］SUN K， XIAO B， LIU D， et al. Deep high-resolution representation learning for human pose estimation［C］//2019 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 5686-5696. DOI： 10.1109/CVPR.2019.00584.

［20］CAO Z， SIMON T， WEI S E， et al. Realtime multi-person 2D pose estimation using part affinity fields［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE， 2017： 1302-1310. DOI： 10.1109/CVPR. 2017.143.

［21］NEWELL A， HUANG Z， DENG J. Associative embedding： End-to-end learning for joint detection and grouping［C］// 31st International Conference on Neural Information Processing Systems. New York： Curran Associates Inc，2017： 2274-2284.

［22］XIA F T， WANG P， CHEN X J， et al. Joint multi-person pose estimation and semantic part segmentation［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE， 2017： 6780-6789. DOI： 10.1109/CVPR. 2017.644.

［23］SHOTTON J， FITZGIBBON A， COOK M， et al. Real-time human pose recognition in parts from single depth images［C］//2011 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE， 2011： 1297-1304. DOI： 10.1109/CVPR.2011.5995316.

［24］HAQUE A， PENG B Y， LUO Z L， et al. Towards viewpoint invariant 3D human pose estimation［C］//European Conference on Computer Vision. Cham： Springer， 2016： 160-177. DOI： 10.1007/978-3-319-46448-0_10

［25］CHEN C H， RAMANAN D. 3D human pose estimation = 2D pose estimation + matching［C］// 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE， 2017： 5759-5767. DOI： 10.1109/CVPR.2017.610.

［26］MARTINEZ J， HOSSAIN R， ROMERO J， et al. A simple yet effective baseline for 3D human pose estimation［C］// 2017 IEEE International Conference on Computer Vision （ICCV）. Piscataway： IEEE， 2017： 2659-2668. DOI： 10.1109/ICCV.2017.288.

［27］GüLER R A，NEVEROVA N，KDKKINOS I.DensePose：Dense human pose estimation in the wild［C］//IEEE/CVF Corference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：7297-7306.

［28］PAVLLO D， FEICHTENHOFER C， GRANGIER D， et al. 3D human pose estimation in video with temporal convolutions and semi-supervised training［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE， 2019： 7745-7754. DOI： 10.1109/CVPR.2019.00794

［29］IONESCU C， PAPAVA D， OLARU V， et al. Human 3.6m： Large scale datasets and predictive methods for 3D human sensing in natural environments［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 36（7）： 1325-1339. DOI： 10.1109/TPAMI.2013.248

Home fitness monitoring system based on monocular camera

YU Peng, LIU Lan, CAI Yun, HE Yu, ZHANG Songhai

(100084)

With the increasing richness of online fitness resources, autonomous fitness has become a new sporting trend. However, due to the lack of action guidance and correction by professional fitness coaches, autonomous fitness usually cannot guarantee the fitness effect and is easy to cause sports injuries, so real-time monitoring of fitness actions is required. Existing fitness monitoring equipment usually relies on professional hardware such as big screens, stereo camera and other sensors. As a result, they fail to satisfy common needs for virtual fitness due to high cost, complexity of installation and limited application scenario. With gradual maturing of human pose estimation technique, identification of human face and movements of limbs can be realized through easily accessible cell phone camera with high accuracy and speed. Low cost, multi-scenario virtual fitness monitoring on mobile terminal thus it made possible. Based on the background above, this work designs a fitness action evaluation algorithm based on angle thresholds in 3D scenes which relies on cell phone monocular camera and 3D human key point detection technology. The algorithm can detect whether the user's fitness actions are standard in real time and give corresponding responses through voice. The work has implemented a prototype system on an Android phone. This work verifies the usability and real-time performance of the algorithm and the system through a series of user experiments. It also verifies the accuracy of the action evaluation algorithm through comparative experiments with relevant work in recent years. Results shows that the algorithm and functions of the prototype system were greatly recognized by the users with high accuracy, reasonable responding speed for real time usage.

autonomous fitness; virtual personal trainer; exercise monitoring; human pose estimation

10.3785/j.issn.1008-9497.2021.05.001

TP 391.41

A

1008?9497（2021）05?521?10

2020?12?09.

國家自然科學(xué)基金資助項(xiàng)目（61772298，61832016）；可視媒體智能處理與內(nèi)容安全北京市高等學(xué)校工程研究中心項(xiàng)目；清華-騰訊互聯(lián)網(wǎng)創(chuàng)新技術(shù)聯(lián)合實(shí)驗(yàn)室項(xiàng)目.

余鵬（1997—），ORCID：https：//orcid.org/0000-001-6286-0186，男，碩士，主要從事圖像/視頻處理研究，E-mail：anicca97@163.com.

，ORCID：https：//orcid.org/0000-0002-0357-681X，E-mail：hooyeeevan2511@gmail.com.