摘 要：近年人們的健康意識(shí)不斷提高，全民健身熱潮也隨之來(lái)臨，然而大量因運(yùn)動(dòng)姿勢(shì)和運(yùn)動(dòng)習(xí)慣不當(dāng)引起的損傷令人擔(dān)憂(yōu)。臨床研究表明，不合理的健身動(dòng)作會(huì)造成關(guān)節(jié)磨損、肌肉拉傷，甚至跟腱永久性損傷。因此開(kāi)發(fā)一款能夠幫助人們進(jìn)行運(yùn)動(dòng)姿態(tài)輔助識(shí)別的設(shè)備具有深遠(yuǎn)意義。該設(shè)備通過(guò)Retinaface技術(shù)識(shí)別使用者身份，并通過(guò)Alphapose姿態(tài)識(shí)別技術(shù)和DTW技術(shù)，利用“設(shè)備+手機(jī)+服務(wù)器”的架構(gòu)模式，將跑者的運(yùn)動(dòng)姿態(tài)與數(shù)據(jù)庫(kù)中標(biāo)準(zhǔn)姿態(tài)進(jìn)行對(duì)比，實(shí)時(shí)監(jiān)測(cè)運(yùn)動(dòng)狀態(tài)并給予對(duì)應(yīng)的語(yǔ)音提示和建議。

關(guān)鍵詞：Alphapose姿態(tài)識(shí)別；DTW算法；跑步運(yùn)動(dòng)；機(jī)器人設(shè)備；人像識(shí)別技術(shù)；運(yùn)動(dòng)健康

中圖分類(lèi)號(hào)：TP39 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2024）03-000-04

0 引 言

根據(jù)人民數(shù)據(jù)研究院發(fā)布的《2022全民跑步運(yùn)動(dòng)健康報(bào)告》顯示，經(jīng)常參加體育鍛煉的人已達(dá)4.4億人，經(jīng)常參加體育鍛煉人數(shù)比例為31.2%。然而跑步作為最受人們歡迎的運(yùn)動(dòng)，卻暗藏危機(jī)，據(jù)調(diào)查曾有23.2%的人因?yàn)椴磺‘?dāng)?shù)呐懿阶藙?shì)而引發(fā)傷病[1]。

人體姿態(tài)識(shí)別技術(shù)作為當(dāng)前計(jì)算機(jī)視覺(jué)技術(shù)方面的重點(diǎn)領(lǐng)域，被廣泛應(yīng)用于虛擬現(xiàn)實(shí)、視頻健康和醫(yī)療康復(fù)中。許志豪等[2]通過(guò)Openpose進(jìn)行滑雪動(dòng)作分析；劉蘭淇等[3]通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）提取區(qū)域候選集，經(jīng)過(guò)池化層獲得單目視覺(jué)的感興趣目標(biāo)集；Qiao等[4]提出一種基于單目圖像的人體姿態(tài)分級(jí)系統(tǒng)，通過(guò)計(jì)算標(biāo)準(zhǔn)與實(shí)時(shí)姿勢(shì)間的離散弗雷歇距離來(lái)進(jìn)行動(dòng)作相似度的比較。近年來(lái)隨著網(wǎng)絡(luò)通信和設(shè)備算力的提升，在移動(dòng)設(shè)備和小型機(jī)器人上部署新式的人工智能圖像識(shí)別算法成為可能。我們擬通過(guò)將新的Alphapose技術(shù)應(yīng)用于個(gè)人運(yùn)動(dòng)健身指導(dǎo)領(lǐng)域，能夠及時(shí)地捕捉人體運(yùn)動(dòng)姿勢(shì)，并基于Kinect的人體關(guān)節(jié)點(diǎn)識(shí)別技術(shù)將其和標(biāo)準(zhǔn)姿勢(shì)對(duì)比，實(shí)現(xiàn)如跑步和各類(lèi)形體運(yùn)動(dòng)等方面的識(shí)別，同時(shí)結(jié)合我們的軟件給予相應(yīng)的語(yǔ)音激勵(lì)與提示。

1 產(chǎn)品描述

1.1 設(shè)計(jì)思路

本產(chǎn)品采用運(yùn)動(dòng)機(jī)器人的承載方式，在健身房中可以通過(guò)設(shè)置來(lái)選擇自動(dòng)運(yùn)動(dòng)方式和手動(dòng)運(yùn)動(dòng)方式。自動(dòng)運(yùn)動(dòng)：本產(chǎn)品可以通過(guò)掃描最近的運(yùn)動(dòng)人群，自動(dòng)運(yùn)動(dòng)到合適的位置，將其與標(biāo)準(zhǔn)動(dòng)作進(jìn)行比對(duì)并糾正。在家庭中，本產(chǎn)品將攝像頭置于一個(gè)運(yùn)動(dòng)型機(jī)器人之上，使機(jī)器人可以運(yùn)用人體檢測(cè)技術(shù)和人體跟蹤技術(shù)，自動(dòng)識(shí)別和掃描主人位置并跟隨。同時(shí)，也可以將其帶出戶(hù)外，在戶(hù)外運(yùn)動(dòng)時(shí)進(jìn)行指導(dǎo)。

在運(yùn)動(dòng)過(guò)程中，如圖1所示，設(shè)備通過(guò)深度攝像機(jī)和Kinect 傳感裝置識(shí)別人體關(guān)節(jié)并計(jì)算關(guān)節(jié)角度和位置信息[5]，同時(shí)將雷達(dá)掃描得出的距離和方位數(shù)據(jù)進(jìn)行數(shù)據(jù)處理和計(jì)算，得出步長(zhǎng)、步數(shù)等關(guān)鍵運(yùn)動(dòng)信息。將關(guān)節(jié)角度和位置信息等與標(biāo)準(zhǔn)姿勢(shì)進(jìn)行比對(duì)分析，通過(guò)語(yǔ)音提醒使用者進(jìn)行動(dòng)作修正。

本產(chǎn)品命名為“YG”，取自YOUNG的首尾字母，寓意通過(guò)健身運(yùn)動(dòng)永遠(yuǎn)保持年輕的身體和心理狀態(tài)，中文名“漁歌”，取自“授人以魚(yú)不如授人以漁”，希望運(yùn)動(dòng)者能夠通過(guò)我們的幫助掌握正確的跑步方式，奏響生命贊歌。

1.2 產(chǎn)品介紹

機(jī)器人產(chǎn)品對(duì)人體動(dòng)作相似度的評(píng)估流程如圖2所示，基于Alphapose識(shí)別技術(shù)[6]和DTW算法對(duì)跑者進(jìn)行運(yùn)動(dòng)評(píng)估，并通過(guò)Retinaface技術(shù)進(jìn)行額外監(jiān)督與自監(jiān)督結(jié)合的多任務(wù)學(xué)習(xí)，對(duì)跑步者的人臉進(jìn)行精準(zhǔn)定位[7]，以實(shí)現(xiàn)對(duì)跑者的自動(dòng)跟隨技術(shù)。該產(chǎn)品不僅可通過(guò)遙控器遙控，也可以通過(guò)語(yǔ)音與其進(jìn)行交流進(jìn)而控制其運(yùn)動(dòng)；同時(shí)還添加了諸多語(yǔ)音包，可與主人進(jìn)行不同類(lèi)型的語(yǔ)音交流?？梢愿鶕?jù)回復(fù)信息設(shè)置自己的狀態(tài)，即用戶(hù)可以通過(guò)語(yǔ)音控制機(jī)器人。

除此之外，本產(chǎn)品可以與運(yùn)動(dòng)手環(huán)連接，可以實(shí)時(shí)監(jiān)測(cè)記錄主人心率、運(yùn)動(dòng)狀態(tài)，在心率不正常、運(yùn)動(dòng)不健康時(shí)將及時(shí)提醒主人，會(huì)將運(yùn)動(dòng)全程的信息記錄并存儲(chǔ)起來(lái)；在運(yùn)動(dòng)結(jié)束時(shí)可以對(duì)其進(jìn)行評(píng)估并給予最專(zhuān)業(yè)的指導(dǎo)，可以說(shuō)是家庭版的健身教練。

1.3 產(chǎn)品設(shè)計(jì)

本產(chǎn)品以ROS開(kāi)源機(jī)器人為主體，如圖3所示，加裝改造后的型體為類(lèi)似汽車(chē)中存在一個(gè)駕駛小人，較好地隱藏了機(jī)器人的內(nèi)部零件。通過(guò)調(diào)用Kinect深度傳感裝置獲取運(yùn)動(dòng)者的深度數(shù)據(jù)，識(shí)別與使用者的距離關(guān)系；通過(guò)Retinaface技術(shù)鎖定使用者位置后，利用麥克奈姆萬(wàn)向輪進(jìn)行調(diào)節(jié)，實(shí)現(xiàn)360°自動(dòng)跟隨。如圖3、圖4所示，我們的團(tuán)隊(duì)已經(jīng)完成Ubuntu系統(tǒng)內(nèi)ROS3.0的調(diào)試，通過(guò)連接手機(jī)進(jìn)行局域網(wǎng)輔助，并與中繼服務(wù)器連接，完成了APP與機(jī)器人設(shè)備之間的聯(lián)通。

與本產(chǎn)品配套的APP如圖5所示，有成熟的應(yīng)用界面與功能，可以查看之前的運(yùn)動(dòng)記錄，并提醒進(jìn)行何種運(yùn)動(dòng)是最有益于身心健康的，可以通過(guò)設(shè)置鬧鐘來(lái)提醒主人進(jìn)行運(yùn)動(dòng)，同時(shí)具有查找設(shè)備的功能。當(dāng)無(wú)法找到該產(chǎn)品時(shí)，可以通過(guò)APP上一鍵返回，該產(chǎn)品將自動(dòng)回到主人所在的位置，完全不用擔(dān)心丟失問(wèn)題。

2 產(chǎn)品分析

2.1 產(chǎn)品創(chuàng)新點(diǎn)分析

當(dāng)前的人像識(shí)別技術(shù)主要應(yīng)用于安防、考勤等領(lǐng)域[8]，往往限制在一臺(tái)固定的機(jī)器設(shè)備中，難以主動(dòng)識(shí)別人員并跟隨移動(dòng)。同時(shí)在運(yùn)動(dòng)健身領(lǐng)域缺乏智能的機(jī)器人設(shè)備，往往只有固定的健身器材，很難滿(mǎn)足使用者便攜、多功能的需求。我們的產(chǎn)品能夠通過(guò)Retinaface技術(shù)識(shí)別用戶(hù)，自主跟隨使用者，通過(guò)Alphapose和DTW算法對(duì)其進(jìn)行姿態(tài)識(shí)別，同時(shí)將識(shí)別結(jié)果傳輸至服務(wù)器；經(jīng)過(guò)大量深度學(xué)習(xí)后，結(jié)合醫(yī)療專(zhuān)家的建議，給出專(zhuān)業(yè)的動(dòng)作糾正意見(jiàn)和個(gè)性化的運(yùn)動(dòng)方案。

2.2 產(chǎn)品技術(shù)分析

過(guò)去常規(guī)多人姿態(tài)識(shí)別是首先檢測(cè)出環(huán)境中的所有肢體節(jié)點(diǎn)，然后進(jìn)行拼接得到多人的骨架（自底向上的方法），當(dāng)兩人離得十分近時(shí)，容易出現(xiàn)模棱兩可的情況，而且由于是依賴(lài)兩個(gè)部件之間的關(guān)系，也失去了對(duì)全局的信息獲取。Alphapose作為一種新方案，采用自頂向下的方法，提出了RMPE（區(qū)域多人姿態(tài)檢測(cè)）框架，使用了自創(chuàng)的姿態(tài)距離度量方案比較姿態(tài)之間的相似度。用數(shù)據(jù)驅(qū)動(dòng)的方法優(yōu)化姿態(tài)距離參數(shù)。通過(guò)PGPG強(qiáng)化訓(xùn)練數(shù)據(jù)，學(xué)習(xí)輸出結(jié)果中不同姿態(tài)的描述信息，進(jìn)而模仿人體區(qū)域框的生成過(guò)程，進(jìn)一步產(chǎn)生一個(gè)更大的訓(xùn)練集。

DTW時(shí)間序列數(shù)據(jù)處理方法被廣泛應(yīng)用于語(yǔ)音識(shí)別領(lǐng)域。與HMM算法相比，由于其不需要額外計(jì)算已獲得模型參數(shù)的優(yōu)點(diǎn)，在孤立詞識(shí)別領(lǐng)域仍占據(jù)著重要地位。我們將該時(shí)間序列數(shù)據(jù)處理方法引入到對(duì)視頻中人體關(guān)節(jié)點(diǎn)數(shù)據(jù)處理之中，能夠較好地提高運(yùn)算效率，以實(shí)現(xiàn)實(shí)時(shí)運(yùn)算處理。

3 軟件架構(gòu)

3.1 軟件功能模塊

在當(dāng)今社會(huì)，隨著5G技術(shù)的廣泛運(yùn)用，在智能手機(jī)上運(yùn)行高速數(shù)據(jù)傳輸成為了可能。在此基礎(chǔ)上我們提出了以已有的便攜電子設(shè)備為載體，通過(guò)數(shù)據(jù)傳輸至云服務(wù)進(jìn)行實(shí)時(shí)運(yùn)算的軟件服務(wù)。在應(yīng)用程序上采用了新式上下式設(shè)計(jì)，在YG主頁(yè)可以點(diǎn)擊各按鈕迅速開(kāi)始運(yùn)動(dòng)記錄并給出相應(yīng)的語(yǔ)音糾正和激勵(lì)。

“YG主頁(yè)”模塊下，主要有四大分模塊，分別為運(yùn)動(dòng)模塊、推薦模塊、活動(dòng)模塊和設(shè)備模塊，主要包含了軟件對(duì)運(yùn)動(dòng)者的運(yùn)動(dòng)健康建議，對(duì)各賽程跑步以及配套的運(yùn)動(dòng)設(shè)備進(jìn)行管理。APP界面如圖6所示。

“社區(qū)模塊”下，主打設(shè)備交友和運(yùn)動(dòng)團(tuán)功能，既可以通過(guò)線上的虛擬運(yùn)動(dòng)設(shè)備寵物化交友，也可以通過(guò)組織活動(dòng)與線下跑團(tuán)進(jìn)行交流。

“我的”模塊下，可以查看今日運(yùn)動(dòng)時(shí)長(zhǎng)、飲水、睡眠等健康數(shù)據(jù)，并提供個(gè)性化分析，給出健康簡(jiǎn)報(bào)，指導(dǎo)運(yùn)動(dòng)設(shè)備使用者改進(jìn)生活方式。

3.2 基于Alphapose的人體運(yùn)動(dòng)關(guān)節(jié)點(diǎn)獲取

人體檢測(cè)技術(shù)能夠?qū)θ梭w姿勢(shì)進(jìn)行識(shí)別，將圖像或者視頻中的人提取出來(lái)進(jìn)行分析處理。主要的方法有以下兩種：時(shí)域差分法、光流法，其中時(shí)域差分法主要分為背景差分法（背景減法）和連續(xù)幀間幀差法（相鄰幀差法）。

運(yùn)用Alphapose對(duì)設(shè)備采集的圖像進(jìn)行關(guān)節(jié)點(diǎn)的實(shí)時(shí)提取，在MSCOCO數(shù)據(jù)集里將15個(gè)關(guān)鍵人體節(jié)點(diǎn)進(jìn)行標(biāo)記，通過(guò)建立的坐標(biāo)系了解各個(gè)節(jié)點(diǎn)位置。已有的Alphapose在姿態(tài)估計(jì)（Pose Estimation）標(biāo)準(zhǔn)測(cè)試集 MSCOCO上mAP達(dá)到 72.3%，是首個(gè)mAP超過(guò)70%的開(kāi)源系統(tǒng)，比Mask-RCNN提高8.2%，比OpenPose（CMU）提高17%[9-10]。模型的骨架網(wǎng)絡(luò)使用ResNet101，在下采樣部分添加SE模塊作為attention模塊。除此之外，使用PixelShuffle進(jìn)行3次上采樣，輸出關(guān)鍵點(diǎn)的熱度圖，在提高分辨率的同時(shí)，保持特征信息不丟失。如圖7所示，對(duì)人體骨骼關(guān)鍵件進(jìn)行了識(shí)別，并按照量綱歸一化方法，將單幀圖像的動(dòng)作進(jìn)行對(duì)比。我們采用余弦相似度做對(duì)比，首先輸入標(biāo)準(zhǔn)動(dòng)作作為基準(zhǔn)向量，再輸入測(cè)試跑步動(dòng)作作為對(duì)比向量，最終結(jié)果中余弦相似度越大代表動(dòng)作越相似。其余弦相似度的轉(zhuǎn)化方法如式（1）和式（2）所示：

（1）

（2）

3.3 基于DTW算法的跑步動(dòng)作相似度評(píng)估

運(yùn)用Alphapose識(shí)別技術(shù)獲取各個(gè)關(guān)節(jié)點(diǎn)坐標(biāo)，進(jìn)行范數(shù)歸一化后，可將各個(gè)關(guān)節(jié)點(diǎn)坐標(biāo)輸入DTW算法進(jìn)行動(dòng)作序列的歐氏距離輸出與整體相似度評(píng)估，本文選取了跑步過(guò)程中主要運(yùn)動(dòng)關(guān)節(jié)點(diǎn)進(jìn)行分析比較。

動(dòng)態(tài)時(shí)間規(guī)整（Dynamic Time Warping， DTW）算法是按照距離最近原則，構(gòu)建兩個(gè)長(zhǎng)度不同的序列元素的對(duì)應(yīng)關(guān)系，評(píng)估兩個(gè)序列的相似性。在構(gòu)建兩個(gè)序列元素對(duì)應(yīng)關(guān)系時(shí)，需要對(duì)序列進(jìn)行延伸或壓縮[11]。我們選取一組跑步標(biāo)準(zhǔn)動(dòng)作為對(duì)照組，并通過(guò)操場(chǎng)實(shí)錄的方式取得另一組自測(cè)動(dòng)作為實(shí)驗(yàn)組，如圖8所示。

臨床研究認(rèn)為，超過(guò)60%的跑步損傷可歸因于訓(xùn)練錯(cuò)誤[12]。當(dāng)跑步姿勢(shì)不正確時(shí)會(huì)引起多種危害，如肌肉拉傷、頸椎損傷、關(guān)節(jié)損傷等。不正確的跑步姿勢(shì)不但達(dá)不到健身效果，還會(huì)損傷身體。比如，有些人跑步時(shí)采用全腳掌著地的步伐，缺乏緩沖和過(guò)渡。長(zhǎng)期可刺激小腿肌肉，造成運(yùn)動(dòng)損傷，還有可能震傷頸椎。有些人跑步時(shí)步伐過(guò)大，導(dǎo)致重心起伏較大，落地時(shí)對(duì)人體產(chǎn)生較大的沖擊力，可能損傷跟腱、髂腰肌等。

因此我們選擇對(duì)左手、右手、左腿、右腿在移動(dòng)中的X軸數(shù)據(jù)進(jìn)行運(yùn)動(dòng)軌跡分析，可以分析出本算法的有效性，且從本次實(shí)驗(yàn)里X軸的特征點(diǎn)變化能夠看出跑步動(dòng)作的擺動(dòng)幅度較大。運(yùn)動(dòng)過(guò)程的關(guān)節(jié)點(diǎn)DTW距離見(jiàn)表1所列。

由以上結(jié)果可知，在運(yùn)動(dòng)過(guò)程中，標(biāo)準(zhǔn)序列與基準(zhǔn)序列的DTW距離較為相似，驗(yàn)證了本文算法的有效性。

4 結(jié) 語(yǔ)

目前健身領(lǐng)域的智能設(shè)備中缺少能夠360°自主跟隨，并對(duì)運(yùn)動(dòng)者進(jìn)行動(dòng)作識(shí)別的產(chǎn)品，僅有的固定設(shè)備難以滿(mǎn)足使用者便攜舒適的要求。為此設(shè)計(jì)了“漁歌”智能動(dòng)作識(shí)別機(jī)器人來(lái)解決以上問(wèn)題。該設(shè)備利用Alphapose識(shí)別技術(shù)對(duì)使用者進(jìn)行實(shí)時(shí)動(dòng)態(tài)監(jiān)測(cè)，通過(guò)藍(lán)牙與應(yīng)用程序軟件進(jìn)行連接，將處理后的數(shù)據(jù)與數(shù)據(jù)庫(kù)標(biāo)準(zhǔn)動(dòng)作數(shù)據(jù)進(jìn)行比對(duì)，及時(shí)給出用戶(hù)運(yùn)動(dòng)姿態(tài)糾正的建議，減少用戶(hù)受傷情況的發(fā)生。后續(xù)可以進(jìn)一步拓展設(shè)備的識(shí)別范圍，將其應(yīng)用于瑜伽、羽毛球、養(yǎng)生功法等領(lǐng)域的動(dòng)作識(shí)別，并給出相應(yīng)的動(dòng)作調(diào)整建議。

參考文獻(xiàn)

[1]周葉子，王梅. 不同跑步訓(xùn)練方式對(duì)大學(xué)生運(yùn)動(dòng)功能的影響[C]//第十一屆全國(guó)體育科學(xué)大會(huì)論文摘要匯編.[出版地不詳]：[出版者不詳]，2019：2.

[2]許志豪，高銘，殷紹軒，等. 基于OpenPose的滑雪動(dòng)作分析[J]. 智能計(jì)算機(jī)與應(yīng)用，2022，12（4）： 101-103.

[3]劉蘭淇，劉鐘濤. 基于單目視覺(jué)與深度神經(jīng)網(wǎng)絡(luò)的行為識(shí)別研究[J]. 無(wú)線電工程，2022，52（11）：2072-2080.

[4] QIAO S，WANG Y L，LI J. Real-time human gesture grading based on OpenPose [C]// 2017 10th International Congress on Image and Signal Processing，BioMedical Engineering and Informatics.Shanghai，China：IEEE，2017.

[5]查晶晶. 基于Kinect視頻的圖像增晰與檢測(cè)算法研究[J].太原學(xué)院學(xué)報(bào)（自然科學(xué)版），2022，40（3）：65-70.

[6]劉立名，馬傳香.基于AlphaPose的行人重識(shí)別姿態(tài)評(píng)價(jià)方法[J].湖北大學(xué)學(xué)報(bào)（自然科學(xué)版），2023，45（5）：702-711.

[7]王鵬，尹勇，宋策. 基于改進(jìn)RetinaFace和YOLOv4的船舶駕駛員吸煙和打電話(huà)行為檢測(cè)[J].上海海事大學(xué)學(xué)報(bào)，2022，43（4）： 44-50.

[8]陳志宏，王明曉.計(jì)算機(jī)視覺(jué)在智慧安防中的應(yīng)用[J].電信科學(xué)，2021，37（8）：142-147.

[9] FANG H S，XIE S Q，TAI Y W，et al. RMPE：regional multi-person pose estimation [C]// 2017 IEEE International Conference on Computer Vision. Venice，Italy：IEEE，2017.

[10]馬子越，彭瑞陽(yáng)，孫曉晗，等. 基于OpenPose的人體姿態(tài)估計(jì)技術(shù)研究綜述[J]. 軟件導(dǎo)刊，2022，21（11）：247-252.

[11]呂佳朋，史賢俊，肖支才.基于DTW時(shí)序距離的故障可診斷性評(píng)估方法[J/OL].兵工學(xué)報(bào)：1-14[2024-01-18]. http：//kns.cnki.net/kcms/detail/11.2176.tj.20221213.1200.004.html.

[12]楊一卓，矯瑋，袁紹婷. 業(yè)余馬拉松跑者跑步損傷調(diào)查及影響因素分析[J]. 山東體育學(xué)院學(xué)報(bào)，2020，36（3）：91-97.

作者簡(jiǎn)介：王 甬（2001—），男，四川宜賓人，本科在讀，主要研究領(lǐng)域?yàn)槿梭w動(dòng)作識(shí)別。

魏少文（2000—），男，福建寧化人，本科在讀，主要研究領(lǐng)域?yàn)檐浖こ獭?/p>

伍程成（2001—），男，四川成都人，本科在讀，主要研究領(lǐng)域?yàn)槲锫?lián)網(wǎng)工程。

李 騰（1986—），女，黑龍江哈爾濱人，博士，副教授，主要研究領(lǐng)域?yàn)榇髷?shù)據(jù)分析。