徐 淵 劉志剛 王 卅 包云崗

(*中國科學院計算技術(shù)研究所 北京 100190)

(**中國科學院大學 北京 100049)

0 引言

反饋在人們運動鍛煉過程中扮演著十分重要的角色,因為它可以識別出運動中身體姿勢的正確性并糾正錯誤。但在多數(shù)情況下,人們幾乎無法獲取系統(tǒng)性的反饋來幫助他們糾正身體姿勢,他們獲取反饋的唯一信息來源可能是一面無法提供任何專業(yè)指導(dǎo)的鏡子,他們需要分散注意力來觀察鏡中的自己,這進一步地降低了運動質(zhì)量。

盡管近幾年有很多運動糾正相關(guān)的研究來幫助經(jīng)驗不足的用戶提高運動質(zhì)量,但是它們提供的方法既不便捷、也不精確。一方面,一些現(xiàn)有的工作通過基于深度信息的光學傳感器獲取骨骼信息,并根據(jù)這些信息估計不同部位的關(guān)節(jié)角度[1-2]。這種方法通常只能提取人體骨骼正視圖,并測量運動涉及到的關(guān)節(jié),因此它們不夠精確。另一方面,一些基于傳統(tǒng)光學跟蹤系統(tǒng)[3-4]和基于慣性測量單元(inertial measurement units,IMU)的跟蹤系統(tǒng)[5-6]通過在重要的人體解剖位置附加光學標記或者IMU 傳感器,從而提供精確的運動信息。但是,這些方法需要使用的傳感器價格昂貴,很難在普通用戶中普及。

實現(xiàn)利用智能商用設(shè)備上的傳感器糾正運動錯誤姿勢的挑戰(zhàn)在于運動糾正應(yīng)用的計算需求與商用移動設(shè)備硬件資源的計算能力之間的不匹配。智能手機和平板電腦等移動設(shè)備依靠單目相機只能生成不帶有深度數(shù)據(jù)的2D 圖像,而從這些2D 圖像中提取骨架信息需要應(yīng)用深度神經(jīng)網(wǎng)絡(luò)(deep neural networks,DNN),這導(dǎo)致在精確性和響應(yīng)性的約束下,骨架信息提取過程對硬件資源的需求很高。然而,移動設(shè)備為了滿足功耗和成本的約束,計算能力往往非常有限,只能進行輕量級的運算。因此,研究人員對在商用移動設(shè)備中運行此類人工智能應(yīng)用程序的性能提出了擔憂[7]。

為了應(yīng)對這一挑戰(zhàn),本文證明了可以通過構(gòu)建物端云端協(xié)同計算環(huán)境來滿足上述約束。具體而言,基于云服務(wù)商提供的強大的服務(wù)器,可以將計算密集型的骨架提取任務(wù)卸載到云端服務(wù)器中,從而獲得實時分析結(jié)果。本文的實驗進一步表明,盡管本地設(shè)備和遠程服務(wù)器之間的數(shù)據(jù)傳輸會引入網(wǎng)絡(luò)延遲,但是這些額外的開銷是可以接受的,并不會打破端到端實時性的約束。

基于上述觀察,本文設(shè)計了一個基于端云協(xié)同的GymBeats 運動糾正系統(tǒng),該系統(tǒng)可以為沒有經(jīng)驗的用戶提供專業(yè)的運動糾正反饋。首先將縮放后的2D 圖像從智能手機傳輸?shù)皆品?wù)器,然后從每個圖像中提取身體關(guān)鍵點。為了驗證動作的正確性,設(shè)計了一種新穎的上下文感知運動糾正方法,將從身體關(guān)鍵點獲取的特征與本文動作庫中每個動作的狀態(tài)進行匹配。該方法包括2 個階段,即狀態(tài)識別階段和錯誤識別階段。狀態(tài)識別階段用于估計練習中每個動作的狀態(tài),包括站立、下蹲、底部、站起。錯誤識別階段用于檢查用戶動作與標準規(guī)則是否匹配。

受GymSoles[8]和FEMO 啟發(fā)[6],本文提供了2種反饋機制,即基于語音的實時反饋和基于可視化報告的運動后反饋。本文訪問了大學校園內(nèi)的一群健身愛好者來確定用戶需求,并通過咨詢一些專業(yè)教練來設(shè)計不同運動的匹配規(guī)則。

1 研究動機

本文建議使用商用設(shè)備來進行動作糾正,主要是因為當前的動作糾正方案并不能完全滿足用戶的需求。本節(jié)首先通過調(diào)研確定了用戶對于運動反饋系統(tǒng)的真實需求,然后逐個分析現(xiàn)有解決方案的問題,最后介紹了本文的GymBeats 方案。

1.1 用戶需求

為了解用戶在運動時的實際需求,在大學校園內(nèi)對一群健身愛好者進行了半結(jié)構(gòu)化訪談,讓他們說出理想的運動糾正設(shè)備應(yīng)當具備的功能,最終總結(jié)了3 個最主要的功能如下。

便攜的廉價設(shè)備(portable cheap device,PCD)。在收到的所有回復(fù)中,最關(guān)心的問題就是設(shè)備的便攜性和價格。首先是設(shè)備價格不能太貴,假如設(shè)備太貴的話,受訪人通常情愿花錢請私教,這樣可以獲取更人性化的指導(dǎo)。此外,他們希望設(shè)備具有便攜性,以便他們可以在任何地方使用,例如健身房或家里。

豐富的運動庫(rich exercises benchmark,REB)。考慮到單一鍛煉對肌肉刺激的局限性以及鍛煉種類的多樣性,受訪人希望隨著他們的需求變化,系統(tǒng)可以隨之不斷豐富鍛煉動作類型。因此該軟件應(yīng)當可以識別各種運動類型并提供糾正建議,從而指導(dǎo)用戶。

專業(yè)的反饋(professional feedback,PF)。本文的目標用戶是非專業(yè)的初學者,他們往往需要專業(yè)的反饋意見,這樣可以幫助他們提高動作質(zhì)量。因此,該軟件應(yīng)當能夠準確識別每個錯誤并提供實時反饋。

1.2 相關(guān)工作

先前關(guān)于運動糾正的方法主要包括使用光學跟蹤相機、基于慣性測量單元(inertial measurement unit,IMU)的傳感器和壓敏設(shè)備。如表1 所示,本小節(jié)根據(jù)上述3 個要求進一步討論當前技術(shù)存在的問題。

表1 本文方法與其他運動糾正相關(guān)工作比較

1.2.1 光學運動跟蹤

光學運動跟蹤系統(tǒng)根據(jù)傳感源不同可以分為2類。第1 類是基于光學標記的系統(tǒng),例如Vicon[3]和OptiTrack[4]。這些商業(yè)系統(tǒng)通過將光學標記安裝在用戶的重要解剖位置(例如關(guān)節(jié))來提供高精確的跟蹤結(jié)果。但是,這種高精度的反饋需要一套昂貴的配件[9],包括鏡頭、光學標記及其配套軟件。普通用戶通常負擔不起這么高昂的價格。第2 類是基于光學深度信息的系統(tǒng)。這些系統(tǒng)使用基于深度信息的設(shè)備(例如ASUS Xtion[1]和Microsoft Kinetic[2])從獲取的深度圖像中檢測骨骼位置,并推斷每個像素的身體部位的分布[10]?；诠趋佬畔?這些系統(tǒng)可以提取與關(guān)節(jié)角度有關(guān)的信息,并用這些信息匹配標準運動姿勢。開源和無需使用光學標記的特性使此類系統(tǒng)廣泛用于各種訓(xùn)練的糾正[11]。然而基于光學深度的系統(tǒng)具有3 個問題。首先,無論是Kinetic 還是Xtion 都尚未廣泛普及,并且由于用戶需要將其連接到筆記本電腦上使用,所以并不便攜。其次,僅憑借正面測量出的角度信息不足以識別一些運動錯誤,例如后仰。最后,這種系統(tǒng)提供的是視覺的實時反饋,這會在用戶運動時分散注意力。

1.2.2 基于IMU 的運動跟蹤

基于IMU 的運動跟蹤系統(tǒng)提供了基于商用可穿戴設(shè)備(例如智能手表和手環(huán))的便攜式廉價解決方案。通過分析多軸加速度計的測量數(shù)據(jù),這些系統(tǒng)能執(zhí)行活動識別[12-13]、步態(tài)分析[14-15]和健康監(jiān)測[16-17]等任務(wù)。此外,一些工作著重于使用IMU 數(shù)據(jù)來檢測和協(xié)助運動[18-19]。例如,FEMO 使用附著在啞鈴上的無源RFID 標簽的反射后向散射信號的多普勒頻移曲線來識別現(xiàn)場的自由重量訓(xùn)練,評估動作質(zhì)量,并向用戶提供有用的反饋。與光學運動跟蹤系統(tǒng)不同,基于IMU 的運動跟蹤系統(tǒng)要實現(xiàn)高精度,就需要在身體上部署多個IMU 傳感器,并進行一些額外的工作,包括廣泛的校準以及精確地將每個傳感器安放到身體的特定部位。通常,只從智能手表獲取到的IMU 的數(shù)據(jù)不足以準確跟蹤身體姿勢[20]。

1.2.3 壓力數(shù)據(jù)跟蹤

壓力數(shù)據(jù)跟蹤系統(tǒng)通過測量地面反作用力和壓力中心(center of pressure,CoP)的位移來分析平衡性和腳部動力學信息。這些數(shù)據(jù)從壓敏設(shè)備(如測力板和支撐智能鞋墊)中采集得到。由于成本昂貴和缺乏便攜性,壓力數(shù)據(jù)跟蹤系統(tǒng)主要用于實驗室的康復(fù)研究[21]和步態(tài)分析[22]。文獻[8]提出了一種基于智能鞋墊的運動糾正系統(tǒng)GymSoles,該系統(tǒng)基于腳部CoP 提供震動和視覺反饋,從而糾正下蹲和舉重時的身體姿勢。盡管壓力數(shù)據(jù)跟蹤系統(tǒng)可以實現(xiàn)準確的CoP 跟蹤數(shù)據(jù),但此跟蹤系統(tǒng)只能用于某些與壓力有關(guān)的特定運動,例如下蹲和硬拉。然而,大部分其他運動都無法通過CoP 進行分析,例如啞鈴前舉、啞鈴側(cè)舉和杠鈴臥推。

2 系統(tǒng)概述

本節(jié)簡單介紹了GymBeats 及其總體設(shè)計架構(gòu)和運行時的工作流程。

2.1 GymBeats

隨著計算機視覺技術(shù)的飛速發(fā)展,越來越多的研究工作開始關(guān)注如何利用卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network,CNN)算法從沒有深度信息的2D 圖片中檢測出姿勢信息[23-24]。2D 圖片可以通過智能手機和筆記本電腦等商用設(shè)備輕松獲取?；谶@些工作,本文提出了GymBeats 系統(tǒng)(見圖1),這是一種使用商用設(shè)備的運動糾正系統(tǒng),并為用戶提供專業(yè)的反饋。智能手機可以通過將圖像發(fā)送到云端進行動作分析。GymBeats 系統(tǒng)首先識別運動類型,從2D 圖像中提取骨骼信息。接著,它在豐富的運動動作庫中搜索該運動類型的規(guī)則信息,并與實時骨骼信息進行匹配。最后,用戶可以通過系統(tǒng)中2 個反饋機制(實時語音反饋和可視化運動報告反饋)進行身體姿勢的糾正。

圖1 使用智能手機的相機進行動作糾正應(yīng)用程序?qū)嵗?/p>

2.2 GymBeats 總體架構(gòu)

GymBeats 框架是一個端-云協(xié)同系統(tǒng)(圖2),其數(shù)據(jù)和代碼分布在云端服務(wù)器(灰色虛線方塊)和用戶移動設(shè)備(灰色實線方塊)上。框架中包含3個基礎(chǔ)處理階段:骨架提取階段、上下文感知識別階段和評估反饋階段。在骨骼提取階段,系統(tǒng)會處理傳感器數(shù)據(jù),提取出鍛煉者的身體關(guān)鍵點位置以及一些基本運動特征。上下文感知識別階段會通過提取出的信息驗證動作的正確性,并將兩種不同形式的反饋結(jié)果反饋到用戶的移動端設(shè)備上。

2.3 GymBeats 工作流程

圖2 顯示了GymBeats 框架的工作流程。本文詳細描述執(zhí)行的每個步驟(下列數(shù)字與圖2 中的數(shù)字一一對應(yīng))。

圖2 GymBeats 框架總體架構(gòu)

①用戶在鍛煉過程中通過固定的智能手機或筆記本電腦對運動過程中每一個動作進行錄制。GymBeats 會將視頻中的每一幀從移動端設(shè)備發(fā)送到云端服務(wù)器中進行處理。

②GymBeats 在云服務(wù)器中利用OpenPose[25]框架識別出用戶每一個動作的姿勢,并在每一幀中生成一組用戶身體的關(guān)鍵點。OpenPose 是一套基于深度神經(jīng)網(wǎng)絡(luò)DNN 的實時多人2D 姿勢估計框架,集成了許多先進的視覺技術(shù)。本文選擇該框架出于以下2 個原因。第一,相較于Alpha-Pose[26]和Mask R-CNN[27]等復(fù)雜高精度模型,OpenPose 對多人目標檢測進行了優(yōu)化。這使得OpenPose 不會像其他復(fù)雜模型一樣其計算開銷會隨著場景中人數(shù)的增多而呈線性增長,這對于健身房這種頻繁有人在鏡頭前走動的開放場景提供了實時性保障。第二,雖然針對移動端深度優(yōu)化的TensorFlow Lite[28]框架可以在手機芯片中提供實時的檢測信息,但是由于模型精度不高,在本文的實驗中發(fā)現(xiàn)無法用該模型成功檢測出人體側(cè)面和背面的關(guān)鍵點,因此并不適用于本文的需求。綜上,本文發(fā)現(xiàn)只有OpenPose 可以在提供高精度的前提下保障實時性。

③由于用戶在拍攝過程中可能會存在噪聲和遮擋,例如一幀中存在其他目標或者器械擋住用戶,因此GymBeats 對每一幀目標用戶的身體關(guān)鍵點進行預(yù)處理操作,從而保證運動糾正過程的精確性。

④GymBeats 會從預(yù)處理后的身體關(guān)鍵點中提取運動相關(guān)的特征值并發(fā)送給識別模塊。這些特征值與運動的類別相關(guān),例如膝蓋角度和髖骨角度等。

⑤GymBeats 通過在云端建立一個運動基準庫存儲每一個類型的動作及其與該動作相應(yīng)的正確性匹配規(guī)則。這些從每幀中提取的特征會與運動基準庫中的正確性動作規(guī)則進行匹配,從而驗證每個動作的正確性。匹配過程包含特定運動的狀態(tài)識別和錯誤識別。

⑥對于每一幀,GymBeats 都會提供實時的語音反饋,從而幫助用戶及時糾正其動作,防止運動造成的身體損傷。

⑦在用戶完成所有動作后,GymBeats 還會把一份可視化運動報告發(fā)送到用戶的移動端設(shè)備上。該報告包含該運動鍛煉過程中的各個性能的指標,幫助用戶系統(tǒng)性地了解自己每個動作的規(guī)范性。

3 系統(tǒng)實現(xiàn)

本節(jié)詳細描述GymBeats 框架的系統(tǒng)設(shè)計和各個模塊面臨的挑戰(zhàn)和解決方案。3.1 節(jié)重點展示預(yù)處理組件如何處理實際環(huán)境中噪聲和遮擋問題。3.2節(jié)通過深蹲實例介紹本文的狀態(tài)識別和錯誤識別組件如何利用基準庫中的規(guī)則進行匹配。3.3 節(jié)將介紹運動評估反饋模塊如何實現(xiàn)實時語音反饋和運動后的可視化報告反饋。

3.1 骨架提取模塊

骨架提取模塊負責從用戶上傳的視頻中的每一幀提取目標身體的關(guān)鍵點并轉(zhuǎn)換為特征值。在這個過程中最大的挑戰(zhàn)就是噪聲和遮擋問題。

(1)噪聲問題。在真實運動環(huán)境中,GymBeats通過商用設(shè)備獲取到的數(shù)據(jù)可能存在兩種噪聲干擾。第1 種噪聲是多用戶干擾。因為在健身房中經(jīng)常會有大量人群來回走動,本文必須要能夠從這些運動的人中識別出目標用戶,并在整個過程中跟蹤目標的運動動作。第2 種噪聲是運動方向干擾。由于不同運動匹配的規(guī)則依賴于運動的方向(例如正面或者側(cè)面相機),因此,必須可以自動地確定用戶運動的方向并提取相應(yīng)的身體關(guān)鍵點。

針對多用戶干擾噪聲,本文通過估計用戶的相對相機的位置來識別出目標用戶。這是由于目標用戶不同于來回走動的噪聲人群,其通常在一個地方相對靜止地完成一系列動作。因此,目標用戶相對相機的距離也基本沒有太大變化。針對運動方向噪聲,本文通過分析提取到的身體關(guān)鍵點的分布來確定目標相對相機的方向。例如,相比于正面,側(cè)面方向識別出雙肩關(guān)鍵點的距離要小得多。

(2)遮擋問題。遮擋是現(xiàn)實中最常見的問題。例如,當用戶左側(cè)面向相機錄制視頻時,可以從目標用戶的右肩和右膝蓋處提取到身體關(guān)鍵點。但是,當用戶下蹲時,杠鈴片會遮蓋用戶的小腿,這大大降低該部位關(guān)鍵點提取的準確性。

針對遮擋干擾,本文采用自適應(yīng)關(guān)鍵點的預(yù)測方法解決。該方法是基于提取到的關(guān)鍵點置信度、特定運動的先驗信息和用戶方向這3 個信息。具體來說,當身體關(guān)鍵點模糊或不可見時,DNN 模型生成的置信度將會變得很小,甚至為零。因此,當置信度降至某個閾值以下時,可以認為關(guān)鍵點無效。由于杠鈴只覆蓋部分身體關(guān)鍵點(例如下蹲時的肩膀關(guān)鍵點),因此可以利用其他高置信度的關(guān)鍵點來預(yù)測被遮擋的關(guān)鍵點位置。此外,本文還選擇與用戶方向相同的身體關(guān)鍵點作為主要參考依據(jù)。例如,當智能手機位于用戶左側(cè)時,可以認為從身體左側(cè)部位提取的關(guān)鍵點更為可信。

3.2 上下文感知識別模塊

上下文感知識別模塊負責將骨架提取模塊識別出來的特征值與云端基準庫中相應(yīng)運動的規(guī)則進行匹配,從而識別出用戶動作的正確性。本文以杠鈴深蹲為例來描述此前相關(guān)工作的缺陷并介紹如何解決這些問題。選擇該運動的原因有兩個。首先,杠鈴深蹲是一種全方位的力量運動,可以直接訓(xùn)練核心和背部肌肉群,包括脊柱直肌、繩肌、臀大肌、內(nèi)收肌、股四頭肌和斜方肌[29]。由于杠鈴深蹲非常復(fù)雜,可以借此對本文的方法進行全面的描述。其次,杠鈴深蹲是一種危險的力量運動,動作錯誤和杠鈴重量過大都會對鍛煉者造成嚴重損傷。因此,杠鈴深蹲是最近的工作中主要關(guān)注的鍛煉之一[8,11]。

盡管有許多書籍介紹杠鈴深蹲的動作規(guī)范,但是本文遵循權(quán)威的杠鈴訓(xùn)練書籍,即《Starting Strength Basic Barbell Training》[30]。在描述需求規(guī)范之前,首先對負重下的身體運動系統(tǒng)做一個必要介紹。當把用戶和杠鈴視為同一個系統(tǒng)時,系統(tǒng)的重心(center of mass,COM)將從髖骨的中部位置移動到背部負重杠鈴中部。當用戶本身負載更重的杠鈴時,用戶-杠鈴系統(tǒng)的COM 可以近似為杠鈴自身的中點。因此,本文要對杠鈴進行很大范圍的移動時,考慮杠鈴本身的平衡性就非常重要。

腳中點位于足弓下方,是身體保持平衡的關(guān)鍵位置。圖3顯示了在用戶-杠鈴系統(tǒng)中背部杠鈴和腳中點之間的關(guān)系,其中,Rh和Rk分別表示運動員的髖骨角度和膝蓋角度。顯然,當腳中點位于COM的垂直線上時,系統(tǒng)將達到平衡。此外,任何杠鈴運動的本質(zhì)都是抵抗重力的向下做功。因此,最高效的杠鈴移動姿勢是保持COM 與腳中點形成一條直線,僅垂直移動杠鈴。

圖3 杠鈴系統(tǒng)的診斷信息

杠鈴深蹲本文在圖4 中總結(jié)了4 個杠鈴深蹲的基本要求規(guī)范。其中,虛線表示COM,黑色實心圓圈表示杠鈴。

圖4 杠鈴深蹲的基本要求規(guī)范

(1)平背。深蹲最大危險是腰部受傷。這些損傷是由于椎骨在負重作用下運動不當,向前或者向后擠壓椎間盤造成的。用戶應(yīng)當保證背部平坦,因為平坦的背部可以防止腰椎在負重過程中過度伸展或彎曲,并確保力在椎間盤上正確分布。

(2)動作到位。深蹲的深度是影響關(guān)節(jié)穩(wěn)定性與安全性的重要因素。正確的下蹲動作要求臀部下降到膝蓋骨頂端以下的位置,從而使股四頭肌產(chǎn)生向前力與腘繩肌產(chǎn)生的向后力保持平衡。在此深度以上的深蹲稱為部分深蹲。該動作不會給臀大肌、內(nèi)收肌或腘繩肌施加壓力,而是給膝蓋和四頭肌施加壓力。此外,由于運動范圍短,部分深蹲會讓用戶負載更大的重量,從而增大脊柱過度負重導(dǎo)致的背部損傷風險。

(3)不能前傾。在下蹲過程中,用戶的膝蓋會向前彎曲,目光前視。因此,當身體失去平衡時,用戶會本能地前傾。失衡會使COM(杠鈴)和腳中點之間的水平偏移產(chǎn)生力矩(旋轉(zhuǎn)力)。用戶必須提供一定的力來抵消旋轉(zhuǎn)力的影響并重新獲得平衡性。因此,在整個負載運動中,用戶必須確保COM始終與腳中點在一條垂直線上。

(4)膝蓋腳趾共線。杠鈴深蹲過程中和膝蓋相關(guān)的錯誤類型通常有兩種:膝蓋內(nèi)扣和前伸。本文著重于第1 類錯誤類型。因為第2 類錯誤類型取決于用戶的股骨、脛骨和軀干尺寸。對于一些股骨短而脛骨長的人,膝蓋是可以在腳趾的前面。而對于第1 類錯誤類型,當膝蓋彼此向內(nèi)移動時,股骨內(nèi)側(cè)和外側(cè)的肌肉功能會減弱,這會導(dǎo)致用戶失去平衡并磨損膝蓋軟骨。因此,正確的動作應(yīng)是將膝蓋保持與腳趾在一條直線上。

基準庫動作規(guī)則盡管此前有相關(guān)工作[11]通過考慮髖骨角度、膝蓋角度以及這兩個角度之間的比率來分析運動姿勢錯誤。但是這些粗粒度方法無法準確識別出所有動作錯誤。例如,針對膝蓋腳趾共線的錯誤識別,則需要考慮膝蓋之間的距離而不是角度。此外,很多動作在不同狀態(tài)下匹配的規(guī)則也是不同的。例如,動作到位錯誤的識別首先需要檢查用戶是否已經(jīng)蹲到底部。為了解決這些問題,本文設(shè)計了一種新穎的上下文感知運動糾正方法(參見圖5)。如表2 所示,除了傳統(tǒng)的膝蓋角度Rk和髖骨角度Rh外,本文還提出了一些新的識別指標,包括膝蓋角速度Vk、深度角Rd、杠鈴距離Db和膝蓋距離Dk。這些指標在被提取后會與基準庫中相應(yīng)動作的規(guī)則進行匹配。整個匹配過程包含兩個階段:狀態(tài)識別和錯誤識別。

表2 上下文感知運動糾正方法的度量值

狀態(tài)識別仍然以杠鈴深蹲為例。通常在整個運動過程中,用戶可能處于以下4 種狀態(tài)之一:站立、下蹲、底部、站起。本文同時使用膝蓋角度和膝蓋角速度來識別負重過程中的每個狀態(tài)。具體而言,Vk為正值表示用戶處于站起狀態(tài),為負值表示處于下蹲狀態(tài)。當用戶開始/結(jié)束下蹲并處于站立狀態(tài)時,Vk和Rk分別接近0 rad/s 和180 °。如果在上述條件下Rk遠小于180 °,則意味著用戶處于底部狀態(tài)。

錯誤識別對于每一種錯誤類型,采用以下糾正方法。

(1) 平背。通過追蹤底部狀態(tài)下髖骨角Rh識別。如果髖骨角接近40 °或更大,則認為該動作符合平背要求。當背部向內(nèi)彎曲時,脛骨平面的高度將會低于標準高度,使得髖骨角明顯減小。

(2) 動作到位。通過追蹤底部狀態(tài)下深度角Rd識別。如果深度角接近10 °或更小,本文認為該動作滿足動作到位要求。這里選擇10 °而非負值,是因為相對真實髖關(guān)節(jié)位置,從2D 圖像中提取的髖關(guān)節(jié)關(guān)鍵點存在一定的偏移。

(3) 不能前傾。通過追蹤站起狀態(tài)下杠鈴距離指數(shù)Ib識別。如果杠鈴距離指數(shù)在-0.05～0.05范圍內(nèi)波動,本文認為該動作滿足不能前傾的要求。正如3.2 節(jié)討論的那樣,杠鈴和腳中點之間距離偏移會導(dǎo)致用戶失去平衡。由于杠鈴距離Db會隨著相機和用戶之間的距離發(fā)生變化,因此需要用該距離與用戶身高的比值。

(4) 膝蓋腳趾共線。通過追蹤用戶全程狀態(tài)下膝蓋距離指數(shù)Ik識別。如果膝蓋距離指數(shù)達到0.05或者更大,本文認為該動作滿足膝蓋腳趾共線的要求。這里不直接使用膝蓋距離Dk來估計該誤差的原因與Ib相同。

3.3 運動評估反饋模塊

運動評估反饋模塊是向用戶的移動端設(shè)備提供運動的正確性匹配結(jié)果。根據(jù)3.2 節(jié)中討論的需求調(diào)查,本文發(fā)現(xiàn)專業(yè)的運動評估反饋是幫助用戶改善運動姿勢的關(guān)鍵要素之一。因此,GymBeats 提供2 種反饋。

(1)語音反饋。GymBeats 會將上下文感知識別階段的生成結(jié)果轉(zhuǎn)化為語音指令并發(fā)送到用戶的移動端設(shè)備中。例如,當識別出運動動作不到位時,GymBeats 會發(fā)送一條語音指令到用戶手機,從而提醒其需要再向下再蹲一點。收到指令后,本地智能手機上的應(yīng)用程序?qū)⒄{(diào)用文本語音引擎(android text to sound,TTS)接口來發(fā)出語音提示。

在運動期間,為了確保安全性和人機交互的友好性,GymBeats 需要能夠?qū)崟r識別錯誤并對錯誤做出足夠迅速的反應(yīng)。假如用戶在杠鈴深蹲時接收到過時的語音命令,并按照命令指示進行動作,則很可能會導(dǎo)致受傷?；贒NN 的2D 姿態(tài)提取模型需要的強大計算能力,但是智能手機中有限的硬件資源并不能予以支撐。如圖6 所示,在本地智能手機上處理一幀時,端到端延遲高達15.7 s。此外,分辨率為1920×1080 的原始RGB 圖像的大小為5.93 MB,在每秒30 FPS 的處理頻率下會浪費過多的帶寬。

圖6 從發(fā)送一個視頻幀到接收到一條語音反饋的端到端延遲

為了實現(xiàn)實時語音看反饋,需要減少每幀的處理時間并縮短兩幀之間的間隔時間(即提高幀速率)。一方面,GymBeats 將姿勢提取的所有計算工作轉(zhuǎn)移到功能強大的遠程服務(wù)器上,并將端到端的等待時間顯著減少到93.2 ms。另一方面,姿勢提取模型所需的圖像分辨率固定為300×300。在此基礎(chǔ)上,GymBeats 首先使用OpenCV 庫將原始圖像尺寸從1920×1080 調(diào)整為300×300 分辨率,然后將原始圖像壓縮為40.76 kB jpeg 格式的圖像。如圖7所示,GymBeats 在本地智能手機上以30 FPS的速率發(fā)送視頻幀,并測量手機發(fā)送幀的帶寬和在遠程服務(wù)器中接收幀的速率。從圖中可以看出,調(diào)整大小操作可以將帶寬從28.1 Mbps(三角點)顯著減少到7.4 Mbps(圓點),并將幀率從4.3 FPS(三角點線)增加到24.5 FPS(圓點線)。

圖7 本地手機發(fā)送視頻幀帶寬和在云端服務(wù)器接收幀率

(2) 可視化反饋。本文的可視化反饋以視頻報告的形式生成,并在用戶運動完后可以下載。具體而言,在處理完每個視頻幀并在上下文感知識別階段生成結(jié)果之后,本文將結(jié)果附加到每個視頻幀上,并將其存儲在云中。圖8 顯示了視頻報告中的2 個幀,在每幀左上角1/4 處顯示用戶當前運動狀態(tài)和錯誤識別結(jié)果。本文還添加了輔助線,以幫助用戶糾正錯誤姿勢,例如標準的重心COM 線和杠鈴的真實軌跡。用戶可以瀏覽包含這些診斷信息的完整視頻以及動作明顯出錯的關(guān)鍵視頻幀。

圖8 可視化視頻報告反饋

4 實驗

本節(jié)通過一項用戶研究來評估2 種反饋機制在深蹲運動中的作用。

4.1 實驗配置

本文使用商用智能手機和遠程功能強大的服務(wù)器進行實驗(實驗視頻發(fā)布在網(wǎng)站https://www.bilibili.com/video/BV1q54y1t7FQ)。智能手機是配備高通驍龍845 CPU@2.8 GHz、6 GM RAM 和超光敏AI 后置攝像頭的Android 手機,該攝像頭可以在120 FPS 的速率下錄制1080p 視頻。本文使用的無線耳機是Sumsang Galaxy Buds,用于發(fā)出語音指令。智能手機通過無源5 GHz 頻段無線網(wǎng)絡(luò)連接到實驗室中功能強大的遠程服務(wù)器(英特爾Xeon Silver 4114 CPU@2.20 GHz,31 G RAM 和Titan X Pro GPU)。

選擇15 位年齡分布在18～35 歲之間的志愿者,在填寫同意書后,使用GymBeats 系統(tǒng)錄制他們的運動視頻。由于GymBeats 旨在幫助初學者用戶提高運動表現(xiàn),因此本文選擇的所有志愿者都沒有足夠的杠鈴深蹲經(jīng)驗。其中10 名志愿者幾乎沒有去過健身房,而其中5 名志愿者每周去健身房花費3～5 h 進行有氧運動。所有的15 名志愿者從未練習過杠鈴深蹲,但讓一位經(jīng)驗豐富的教練在鍛煉前進行了標準動作示范。志愿者將在以下3 種情況進行杠鈴深蹲訓(xùn)練:(1)無反饋(no feedback,NF);(2)實時語音反饋(real-time voice feedback,RVF);(3)運動后可視化反饋(post-exercise visual feedback,PVF)。在確保所有其他條件相同的前提下,每個志愿者在每種情況下都必須重復(fù)杠鈴深蹲5組。在動作結(jié)束后,給每位志愿者一份問卷,詢問他們關(guān)于這3 種類型的反饋的有用性和偏好。此外,還將要求他們提供有關(guān)當前GymBeats 系統(tǒng)設(shè)計和交互模式的其他建議。

4.2 狀態(tài)和錯誤識別

本實驗重點是測試3.2 節(jié)中討論的狀態(tài)和錯誤識別閾值的有效性。如圖9 所示,本文進行了一組對照實驗,觀察在運動過程中標準動作和錯誤動作的指標數(shù)據(jù)分布。首先收集了示范教練的指標數(shù)據(jù),作為基本事實對照組。然后跟蹤了15 名志愿者的指標數(shù)據(jù),并選擇了不符合這4 個標準要求的動作數(shù)據(jù)。

圖9 錯誤識別流程

圖10 展示了狀態(tài)識別的指標結(jié)果。從圖10 中可以觀察到5 個虛線灰色方形中的數(shù)據(jù)具有相同的分布,這表明志愿者進行了5 次重復(fù)的深蹲運動。本文在第1 個數(shù)據(jù)波形中標記了深蹲運動的4 個狀態(tài)。志愿者蹲下時膝蓋角速度為負,而志愿者站起時,膝蓋的角速度為正值。當膝蓋角速度接近于0 rad/s時,如果膝蓋角接近于180 °,說明志愿者處于站立狀態(tài)。如果膝蓋角遠小于180 °,則說明志愿者處于底部深蹲狀態(tài)。

圖10 狀態(tài)識別度量值測量

圖11 分別展示了錯誤動作的指標值分布,這些動作分別無法滿足平背、動作到位、不能前傾以及膝蓋腳趾共線的要求。三角組成的波形表示志愿者的標準指標分布,而圓形組成的波形表示志愿者的錯誤分布。本文是用虛線表示每個指標中的閾值,從而識別動作是否滿足要求。可以清晰地看到,志愿者背部向后彎曲時,髖部角低于60 °(圖11(a))。當志愿者深蹲不到位時,深度角則超過了10 °(圖11(b))。當志愿者前傾時,杠鈴距離指數(shù)超過0.05 或者低于-0.05(圖11(c))。當志愿者膝蓋和腳趾不處于一條直線時,膝蓋距離指數(shù)超過0.05(圖11(d))。

圖11 錯誤識別度量值測量

發(fā)現(xiàn)1上下文感知方法對于杠鈴深蹲細粒度的狀態(tài)識別和錯誤識別來說十分必要。這種運動糾正方法也可以很好地應(yīng)用到其他運動類型中。

4.3 運動質(zhì)量提高

為了驗證GymBeats 在深蹲運動中改善身體姿勢的效果,本文統(tǒng)計了15 名志愿者在無反饋、實時語音反饋和運動后可視化報告反饋條件下的動作指標。具體來說,每位志愿者總共進行9 次深蹲運動。其中前3 次運動在無反饋下進行,中間3 次運動在語音反饋下進行,最后3 次運動在可視化報告反饋下進行。本文僅關(guān)注特定狀態(tài)下的指標數(shù)據(jù),例如平背錯誤識別中深蹲底部狀態(tài)的髖部角度量,因為這些數(shù)據(jù)對于準確分析身體姿勢的改善至關(guān)重要。

圖12 展示了本文深蹲實驗中的指標分布,虛線表示每個度量值的閾值。對于平背錯誤識別(圖12(a)),本文觀察到實驗數(shù)據(jù)分布分別是無反饋(M=[34.2,33,32.8])、實時語音反饋(M=[56,56.4,53.6])和運動后可視化反饋(M=[36.2,43.3,52.7])。對于動作到位錯誤識別(圖12(b)),本文觀察到實驗數(shù)據(jù)分布分別是無反饋(M=[6.9,7.5,13.6])、實時語音反饋(M=[3.4,1.2,1.2])和運動后可視化反饋(M=[10.4,5.1,1.4])。對于不能前傾錯誤識別(圖12(c)),本文觀察到實驗數(shù)據(jù)分布分別是無反饋(M=[0.06,0.04,0.09])、實時語音反饋(M=[0.02,0.03,0.01])和運動后可視化反饋(M=[0.11,0.03,0.01])。最后,對于膝蓋腳趾共線錯誤識別(圖12(d)),本文觀察到實驗數(shù)據(jù)分布分別是無反饋(M=[0.05,0.06,0.06])、實時語音反饋(M=[0.03,0.04,0.04])和運動后可視化反饋(M=[0.06,0.05,0.04])。

圖12 無經(jīng)驗志愿者在無反饋、實時語音反饋和運動后可視化反饋3 種情況下的上下文感知度量值分布

通過對比每個度量值與虛線所表示的閾值,可以發(fā)現(xiàn)實時語音反饋RVF 是糾正無經(jīng)驗志愿者錯誤身體姿勢的最佳方法。這是因為志愿者在發(fā)現(xiàn)錯誤后可以立即糾正。另一方面,運動后可視化反饋PVF 在每次運動結(jié)束后起到作用。志愿者在看過報告后可以找到姿勢錯誤的地方,并在下一組運動中更正錯誤。但即使志愿者從PVF 意識到了自己所有的姿勢錯誤,也不一定能在下一組中全部糾正。

發(fā)現(xiàn)2志愿者可以從GymBeats 中的實時語音反饋和運動后可視化反饋中受益。這兩個反饋之間的區(qū)別在于志愿者是否實時獲取到運動糾正信息。

4.4 反饋偏好

本文分別對5 位教練和15 位志愿者進行主觀評價偏好的問卷調(diào)查。問卷的形式為針對每個反饋的5 分李克特量表(1 分表示非常低,5 分表示非常高),該調(diào)查表的結(jié)果如圖13 所示。

圖13 教練與無經(jīng)驗志愿者對不同反饋的主觀評價

對于教練,就有效性而言,3 種反饋中均值最高的是運動后可視化反饋(M=4.6,SD=0.5),其次分別是實時語音反饋(M=4.2,SD=0.4)和無反饋(M=2.2,SD=0.4)。單項方差分析測試顯示主要影響數(shù)據(jù)為F2,12=35.43,p＜0.00001。本文通過Tukey’s HSD 測試分別識別RVF-NF 和PVF-NF 的差異性。數(shù)據(jù)顯示有經(jīng)驗的教練更喜歡PVF 而不是RVF,這是因為他們熟悉標準的深蹲動作,因此RVF 幾乎沒有幫助。而更直觀的運動后可視化報告反饋PVF 對于他們而言更為有效。

對于無經(jīng)驗志愿者而言,結(jié)果卻并不一樣。3種反饋中均值最高的是實時語音反饋(M=4.4,SD=0.8),其次分別是運動后可視化反饋(M=4,SD=0.6)和無反饋(M=2.8,SD=0.8)。同時,單項方差分析測試顯示主要影響數(shù)據(jù)為F2,42=18.2,p＜0.00001。與教練數(shù)據(jù)相似,Tukey’s HSD 測試表明,與NF 相比,RVF 和PVF 都被認為有效。

顯然,教練和無經(jīng)驗志愿者對于不同反饋的主觀性偏好各有不同。首先,由于無經(jīng)驗志愿者缺乏深蹲練習的經(jīng)驗,他們希望GymBeats 可以實時糾正他們的錯誤,因此更喜歡RVF 而不是PVF。其次,志愿者的3 種反饋的標準差和無反饋的均值都大于教練。這是因為志愿者缺乏專業(yè)知識,并沒有意識到深蹲運動中非標準動作的危害性。最后,志愿者之間的個體差異比教練之間的個體差異數(shù)值更顯著,這導(dǎo)致3 種反饋的接受范圍變化幅度更大。

發(fā)現(xiàn)3對于無經(jīng)驗志愿者,實時反饋對于改善運動表現(xiàn)更為有效,而運動后反饋對于有經(jīng)驗的教練而言更為有效。與無反饋情況相比,另兩種類型反饋都認為是有效的。

5 結(jié)論

本文提出了一種新穎的基于端云協(xié)同的運動糾正框架GymBeats,該框架可以使用智能手機和筆記本電腦等商用設(shè)備進行運動糾正。具體來說,本文描述了現(xiàn)有解決方案存在的不足,并提出了一種細粒度的上下文感知運動糾正方法,包括狀態(tài)識別和錯誤識別。在此基礎(chǔ)上,設(shè)計了基于端云協(xié)同的概念驗證原型,可以生成實時語音和運動后的可視化反饋。GymBeats 共有3 個處理階段,包括骨骼提取、上下文感知識別和評估反饋階段。本文與15 位志愿者一起評估了GymBeats。結(jié)果表明,實時語音和運動后的可視化反饋都顯著改善了用戶在深蹲運動中的身體姿勢。下一步,GymBeats 將在智能手機上建立一個有前景的健身生態(tài)系統(tǒng),并為人們的整體運動和健康做出貢獻。