林浩翔 黃靖敏 李萬益 鄔依林 黃用有

摘要：人體運動形態(tài)估計技術(shù)是目前國內(nèi)外研究的熱點方向，該技術(shù)主要用于體育、音樂、舞蹈等運動形體化教學;制作角色動畫、3D人物的立體電影;人體運動形態(tài)識別、檢測及跟蹤監(jiān)控;醫(yī)學保健和無人駕駛;AR體育賽事運動追蹤以及輔助評分系統(tǒng)等很多領域。文章以人體運動形態(tài)估計為主題，對該技術(shù)的應用和發(fā)展做一個綜述，供相關(guān)方向讀者了解。

關(guān)鍵詞：人體運動形態(tài);三維可視化;技術(shù)應用和發(fā)展

中圖分類號：TP18? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）16-0003-05

1 前言

人體運動形態(tài)估計也稱人體運動形態(tài)三維可視化，是目前國內(nèi)外研究的熱點方向。其可以把二維圖像的人體運動形態(tài)進行三維化展示，該技術(shù)主要用于體育、音樂舞蹈等運動三維形體化教學[1- 2];制作角色動畫、3D人物的立體電影[3-5];醫(yī)療保健、無人駕駛、AR、智能評審輔助系統(tǒng);人體運動形態(tài)識別，檢測，跟蹤監(jiān)控[6- 7]等很多領域。該技術(shù)發(fā)展已經(jīng)有一段時間，國內(nèi)外許多學者都在研究，并且所研究的成果都能在各個領域成功運用，發(fā)揮了關(guān)鍵作用。下面本文就運動形體化教學、角色動畫制作、無人駕駛、智能評審輔助系統(tǒng)、人體運動跟蹤、運動形態(tài)識別與檢測監(jiān)控幾個方面技術(shù)發(fā)展和缺陷進行綜述。

2 三維形體化教學

形體運動教學[1-2]是大多數(shù)教學機構(gòu)開設的必備課程，其涉及體育、音樂舞蹈的學習，可以為參與教學的人提供一套立體的姿態(tài)進行參考學習、矯正動作。其可以在各個角度去查看正確的姿態(tài)動作，并可以通過所錄視頻還原自己三維運動形態(tài)進行對比，是形體運動教學良好的教學材料。國內(nèi)外目前形體運動三維可視化這類教學材料比較少，需要更穩(wěn)定技術(shù)進行制作和開發(fā)，該技術(shù)應用如圖1所示。

形體運動的三維可視化的案例如圖1所示，其均為單視角人體運動形態(tài)的三維估計。該三維可視化效果比較真實，其姿態(tài)表示清晰，可以供使用者參考標準姿態(tài)，并且對照自己的訓練姿態(tài)進行矯正，在形體化教學上有巨大的促進作用。教學3D可視化結(jié)合深度學習會取得比較理想的教學效果。

運動形態(tài)視頻三維可視化過程中的2D關(guān)鍵點檢測，對于高速運動圖像和模糊圖像要適當?shù)靥幚?，保證2D關(guān)鍵點檢測的位置準確，以此確保估計出的3D人體運動立體模型的準確。目前，一些姿態(tài)檢測技術(shù)還要進行不斷完善，才能還原出更準確三維運動形態(tài)。

3 角色動畫制作

制作角色動畫及3D人的立體電影通常用于媒體發(fā)布、游戲開發(fā)。這類技術(shù)應用很廣[3-5]，比如騰訊視頻中的3D國漫，在國漫中人物打斗、人物一些運動姿態(tài)展、動物角色場景合成現(xiàn)等都可以運用本項目的技術(shù);還有一些大型游戲中游戲角色的模型設計，角色的動作設計及相關(guān)配套的連貫性姿態(tài)表示也可以用本項目的技術(shù)，如圖2所示。目前，國內(nèi)外相關(guān)基礎研究還在進行中，技術(shù)還存在很多地方需要提升，比如多人姿態(tài)估計、角色間的姿態(tài)交互設計，以及姿態(tài)和語音匹配的設計等問題仍需進一步解決。

圖2為形體運動可視化的3D角色模型生成的一些應用。圖2（a）顯示單視角圖像進行輪廓提取預處理，然后場景分割，再生成場景深度圖，利用深度學習的神經(jīng)網(wǎng)絡模型預測出3D角色模型，該模型可以在此基礎上進行細節(jié)修改。圖2（b）顯示了3D角色模型可以用于場景融合，融入生活的場景中，該應用用于電影制作和游戲過場動畫制作也比較常見，較難拍攝的動作姿態(tài)和場景都可以通過3D角色模型與視頻場景進行融合。圖2（c）展示了所計算3D角色模型與相應視角的匹配程度，如果模型在相應視角的投影能和該視角的人物基本重合，就說明該模型大小與真實人物大小基本匹配，同時也說明了形體運動的三維可視化的真實性可以達到比較高的精確水平。

視頻或圖像三維可視化時，如何實現(xiàn)多或單角色模型互動的三維人體運動估計，并且所生成人體運動立體模型（骨架）換算成3D角色模型細節(jié)的計算和生成方法需要得出，其中有身高、體重、皮膚、肢體粗細等細節(jié)計算和生成。3D角色模型如何自然地融入真實世界的視頻和場景，并且實現(xiàn)和場景的物品或環(huán)境進行交互，比如打電話、丟垃圾等。該技術(shù)涉及的圖像預處理技術(shù)比較多，非常依賴于圖像預處理技術(shù)的好壞。

4 運動形態(tài)識別、檢測與監(jiān)控

形體運動的三維可視化可以很好地實現(xiàn)人體運動形態(tài)識別、檢測及跟蹤監(jiān)控[6-7]，可以對人的一些設定的高危動作進行識別，并進行實時監(jiān)控。比如乘坐地鐵或其他交通工具，站立乘客需要扶好車內(nèi)扶手欄桿，若乘客疏忽時，可以語音提示乘客，此時姿態(tài)識別的應用就派上用場，形體運動可視化就可以計算站立乘客的3D姿態(tài)，判斷是否拉好扶好的姿態(tài)。部分檢測樣例如圖3所示。目前這個方向的研究，國內(nèi)外也還是在進行，也是一個熱點方向，技術(shù)拓展也需要大幅度提升。同時也存在一些問題，比如，多人物的動作識別和分類如何進行建模。其可通過形體運動的三維可視化形成多個人體運動立體模型，并對多個立體模型的肢體位置進行建模計算，做約束模型并實現(xiàn)最后分類，把分類結(jié)果輸出到原二維視頻。此外，姿態(tài)的多分類問題，姿態(tài)相互遮擋識別問題等都需要進一步去解決。

從圖3可以看出，運動形態(tài)識別在運動形態(tài)三維可視化的基礎上進行判斷，在還原出三維運動形態(tài)的同時，進行較完善的數(shù)學建模，根據(jù)數(shù)學模型判斷姿態(tài)的類型。

5 無人駕駛

無人駕駛同樣可以運用到3D人體姿態(tài)估計技術(shù)[8]，倘若車內(nèi)有人，可以根據(jù)人體的姿態(tài)判斷合理的車速和更加平緩的路線。如圖4 （a）所示，人在看書，前方有車輛，無人自動駕駛系統(tǒng)會自動降速并選擇安全路線，就可以在行駛時減少意外發(fā)生的可能。

隨著社會的發(fā)展進步，智能汽車、無人駕駛技術(shù)逐漸成為近幾年汽車行業(yè)研究和發(fā)展的重點，而行人檢測作為智能汽車外部環(huán)境感知中的核心技術(shù)之一，也一直是研究的熱點。人體三維姿態(tài)估計技術(shù)的實時性和高精確度性可有效提升無人駕駛汽車智能化水平。如圖4（b）所示能實時檢測到行人3D姿態(tài)，并對人體姿態(tài)信息進行快速判斷識別（如行人打車、揮手等典型動作、交警指揮動作等），則能有效提升無人駕駛汽車的智能化水平。運用面向無人駕駛的交通行人三維姿態(tài)檢測和估計方法，可實現(xiàn)分層式優(yōu)化，實時計算求解行人的3D姿態(tài)，可以達到實時準確檢測行人的要求。

6 訓練機器人

人體姿態(tài)估計技術(shù)亦可運用到機器人的訓練中，既可以給機器人提供大量的數(shù)據(jù)參考，也可以按照比例將動作還原，讓機器人的自我學習速度大幅增加，也可根據(jù)數(shù)據(jù)去糾正錯誤。在醫(yī)療保健領域，可以通過機器人實施康復訓練。運用傷患以往的姿態(tài)估計數(shù)據(jù)，更快地配合機器人實施康復訓練，讓傷患的恢復效果更好。

康復機器人目前是一個新興的研究領域，隨著社會老齡化和肢體殘疾患者康復意識的崛起，康復機器人產(chǎn)業(yè)越來越受到重視。通過康復機器人，患者可以進行重復運動，重新學會控制運動系統(tǒng)。此外，機器人可以幫助物理治療師進行工作輔助，設定康復目標，將物理治療師從繁重的工作中解脫。

如圖5（a）所示，上肢康復機器人[9]和老年人互動樣例，上肢運動功能障礙是腦卒中、創(chuàng)傷性腦損傷、脊髓損傷、多發(fā)性硬化癥的常見后遺癥，嚴重影響患者的日常生活能力。研究人員希望這種機器人系統(tǒng)能夠優(yōu)化患者大腦運動功能神經(jīng)的重塑，恢復大腦對上肢運動的有效控制，從而提高患者的日常生活能力。

下肢康復機器人的研發(fā)，一直是國際康復醫(yī)學的難點、熱點和痛點。主要適應于有腦卒中病人、脊髓損傷病人、高齡老人等引起下肢功能站立無力、肌肉萎縮、關(guān)節(jié)僵硬等癥狀。可以幫助病人重新站立、恢復行走的功能，很多國家都在探索這個領域。

康復機器人還配有顯示器，病人在使用機器人進行鍛煉恢復時，顯示器上會顯示騎馬、跑步、走路等游戲，通過游戲建立的虛擬場景，能幫助病人激活腦部重塑，幫助他們更好地康復。圖5（b）所示為下肢康復機器人訓練樣例。

隨著人類衰老，人形機器人將會在中風和癡呆等老年病的治療中越來越普遍地應用。而人形機器人中社交輔助機器人的使用案例較多。不久的將來，社交輔助機器人能夠幫助嚴重功能障礙患者提高生存率，對患者進行更細致地照顧。機器人將成為病人康復中的伴侶，鼓勵患者完成康復訓練，并詳細記錄康復數(shù)據(jù)。

7 體育競賽評審輔助系統(tǒng)

人體運動形態(tài)三維可視化可用于體育競賽評審輔助系統(tǒng)[10]，如圖5（a）所示上肢康復機器人，該評分系統(tǒng)可通過向選手的身體及其周邊投射紅外線，完成動作追蹤，AI技術(shù)根據(jù)動作的三維立體圖像進行分析，結(jié)合歷史表演數(shù)據(jù)，按照打分標準判斷該技術(shù)的完成度。裁判在此類技術(shù)的協(xié)助下，可以提供更加準確的分數(shù)。不僅如此，AI評分系統(tǒng)還可捕捉運動員的瞬間動作和身體扭轉(zhuǎn)角度（三維立體圖像舉例），并清晰展現(xiàn)給觀眾，讓觀眾通過畫面了解更多的比賽細節(jié)，提高比賽的娛樂性。在系統(tǒng)功能實現(xiàn)的過程中，可以依靠深度特征和骨骼關(guān)節(jié)數(shù)據(jù)實現(xiàn)特征數(shù)據(jù)提取，然后利用傅里葉算法完成特征融合和動作分類識別。從系統(tǒng)功能測試結(jié)果來看，能夠用于準確識別各組難度動作，滿足競賽評審輔助需求。

體操競技的動作華麗炫目、動態(tài)感十足，且技術(shù)難度大，對于裁判而言，評分也愈發(fā)困難，歷屆奧運會上質(zhì)疑裁判員評分不公的情況多有發(fā)生。為了讓賽事評分更加公正，此次東京奧運會在體操項目上引進了由日本富士通公司開發(fā)的AI評分輔助系統(tǒng)，在本屆東京奧運會運動員的最終得分，就是結(jié)合AI和裁判的判斷，再經(jīng)裁判綜合判斷后，最終打出的分數(shù)。總而言之用AI技術(shù)協(xié)助評判，可以大大降低判罰不公之類的情況。一些關(guān)于AI評分系統(tǒng)的應用如圖6所示。

綜上所述，開發(fā)的體育競賽評審輔助系統(tǒng)能夠幫助人員從繁重的評審處理工作中解脫出來，在節(jié)省賽事管理人力、物力的同時，保證比賽結(jié)果公平、公正。實際在系統(tǒng)開發(fā)與實現(xiàn)過程中，需要加強計算機智能算法應用，通過與標準動作比較，完成運動員3D動作識別，輔助人員合規(guī)開展評審工作，繼而使競賽評審技術(shù)水平得到有效提升。

8 運動員追蹤功能

人體運動三維可視化技術(shù)被應用在英特爾開發(fā)的3DAT（3D Athlete Tracking，3D運動員追蹤）技術(shù)，該技術(shù)可通過攝像機捕捉和AI智能算法把計算機視覺和AI技術(shù)結(jié)合在了一起，再結(jié)合阿里巴巴的云計算技術(shù)，構(gòu)建3D網(wǎng)格并捕捉運動員的多個關(guān)鍵骨骼點，并在幾秒鐘內(nèi)提供運動員速度、身體角度、加速度、步長等方面的數(shù)據(jù)，實現(xiàn)對運動員3D形態(tài)的數(shù)據(jù)提取，這是過去運動員和教練員用肉眼無法捕捉到的信息。

因此在平時訓練中，3D運動員跟蹤技術(shù)可以作為運動員的“隱形教練”，借助3DAT技術(shù)，記錄運動員的歷史數(shù)據(jù)還能夠?qū)崿F(xiàn)對訓練趨勢的追溯，在精準分析運動姿態(tài)、聚合運動數(shù)據(jù)的基礎上，教練員可以整理并提出科學訓練計劃和專家策略，有效提升訓練效率，可以極大地幫助運動員通過更科學的手段實現(xiàn)運動表現(xiàn)的突破。

在2021東京奧運會的田徑賽場上首次出現(xiàn)的“3D運動員跟蹤技術(shù)”，成為賽事轉(zhuǎn)播的新亮點。例如在田徑短跑項目中，通過3DAT技術(shù)觀眾可以看到每個運動員的實時奔跑速度，并在即時回放中對比賽亮點進行分析、解讀和復核，能為奧運會觀眾帶來全新的體驗。該技術(shù)的一些應用如圖7所示。

9 結(jié)束語

人體運動形態(tài)估計技術(shù)是一項比較前沿的技術(shù)，計算機視覺熱點的研究技術(shù)，也是人工智能發(fā)展的關(guān)鍵技術(shù)之一。人體運動形態(tài)估計技術(shù)涉及的應用遠遠不止本文提及的幾個方面，其還涉及遙控遙感技術(shù)、AR人機交互和罪犯追蹤等研究領域，是一項應該廣泛的核心技術(shù)。人體運動形態(tài)估計的研究目前仍然在繼續(xù)中，只要不斷完善該項技術(shù)，就能使得計算機視覺乃至人工智能領域有本質(zhì)上的突破。該項技術(shù)的研究還依賴于計算機硬盤的配置，必須配置高端性能的計算機才能很好地完成計算任務?？傮w來說，該技術(shù)是一項值得重點發(fā)展的技術(shù)。

參考文獻：

[1] Zhen J N，F(xiàn)ang Q，Sun J M，et al.SMAP： Single-Shot Multi-person Absolute 3D Pose Estimation[C].Proceedings of the ECCV 2020， Glasgow， United kingdom， Springer Science and Business Media Deutschland GmbH，2020：550-566.

[2] Benzine A，Luvison B，Pham Q C，et al.Single-shot 3D multi-person pose estimation in complex images[J].Pattern Recognition，2021，112：107534.

[3] Ionescu C，Papava D，Olaru V，et al.Human3.6M：large scale datasets and predictive methods for 3D human sensing in natural environments[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，36（7）：1325-1339.

[4] Pe?a-Tapia E，Hachiuma R，Pasquali A，et al.LCR-SMPL：toward real-time human detection and 3D reconstruction from a single RGB image[C]// Recife，Brazil：2020 IEEE International Symposium on Mixed and Augmented Reality Adjunct. IEEE，2020：211-212.

[5] Bogo F， Kanazawa A， Christoph Lassner， Gehler P， et al. Black. Keep it SMPL： Automatic estimation of 3D human pose and shape from a single image[C]. Scottsdale，AZ，United States：Proceedings of the 21st ACM Conference on Computer and Communications Security， CCS 2014.Springer Verlag， 2016： 561-578.

[6] Bagautdinov T，Alahi A，F(xiàn)leuret F，et al.Social scene understanding：end-to-end multi-person action localization and collective activity recognition[C]// Honolulu，HI，USA：2017 IEEE Conference on Computer Vision and Pattern Recognition. IEEE，2017：3425-3434.

[7] Zhu K J，Wang R X，Cheng J，et al.A novel skeleton-based action recognition method via cuboid rearranging[C]// Wuyishan，China：2018 IEEE International Conference on Information and Automation.IEEE，2018：286-292.

[8] 徐彬，鄭燕萍，曹高興.面向無人駕駛的行人三維姿態(tài)估計方法[J].科學技術(shù)與工程，2018，18（34）：85-91.

[9] 吳炳堅.基于互聯(lián)網(wǎng)的上肢康復機器人[J].機械制造，2021，59（7）：6-10.

[10] 尹霞.基于計算機智能算法下的體育競賽評審輔助系統(tǒng)開發(fā)與實現(xiàn)研究[J].現(xiàn)代科學儀器，2020（1）：50-53.

【通聯(lián)編輯：唐一東】