宗立波，宋一凡，王熠明，馬 波，王東洋，李英杰，張 鵬

(寧夏大學 信息工程學院，銀川 750021)E-mail:pengzhang123@nxu.edu.cn

1 引 言

體育視頻分析技術在體育比賽中有著廣泛的應用，是當前計算機視覺研究的一個熱點.它是體育賽事中分析和建模的過程.通過分析可以給運動員、教練員或是體育愛好者提供一定的參考，對運動員個體和團隊的表現進行系統(tǒng)評價.隨著近年計算機視覺技術的發(fā)展，計算機視覺和圖像分析在體育應用中扮演越來越重要的角色.

對體育比賽視頻進行智能分析主要集中在技術分析和戰(zhàn)術分析兩方面.技術分析主要針對個人能力、動作規(guī)范性和體能等方面；戰(zhàn)術分析是針對指導和進行比賽的方法.利用視頻對體育運動的技戰(zhàn)術進行分析，是一種有效的提高運動員的競技水平的技術手段.基于體育視頻的內容分析的主要問題可分為：面向場景的分析、針對視頻結構的分析、對目標進行檢測與跟蹤、檢測感興趣的事件、分析和理解高級語義、戰(zhàn)術策略[1]、動作分析等方面.近年來，隨著深度神經網絡在姿態(tài)估計和動作識別領域的應用，姿態(tài)估計在人體動作識別和推理方面取得了不錯的效果，基于姿態(tài)估計的體育視頻分析快速發(fā)展.對運動員的比賽視頻進行高分辨率的錄制，將錄制的動作經過多維度的分解，得到運動員真實的動作數據，運用分析視頻的算法，科學的分解微小的動作，對其進行對比和綜合，進而對比賽的表現進行評估；可以將同一動作的不同運動員的圖像進行對比，輔助運動員找到與標準動作的差距，從而加速相應動作的改進和提升，降低訓練的重復率，提高教學的直觀性和反饋的快速性；另外，還減少了不規(guī)范的動作造成的運動損害.這樣可以促進訓練和比賽的水平提高.

姿態(tài)估計的研究進展發(fā)展迅速，算法由原來的基于傳統(tǒng)方法的研究，逐步轉化為基于深度學習的方法.傳統(tǒng)方法在分析時耗費的時間較少，但是提取的特征不充分，在人體姿態(tài)有較大變化時，估計的誤差較大.而深度學習的方法可以利用神經網絡提取出圖像的深層次特征，在復雜的條件下，對姿態(tài)的預測更為準確，這也促進了基于深度學習方法的進一步研究.

2 體育視頻分析系統(tǒng)與關鍵技術進展

國外專業(yè)運動組織和國家運動隊使用視頻對運動進行分析，并將其作為科學訓練的必備手段.在個人項目中，視頻分析可以在運動員的軌跡和運動力學方面提供直觀的分析，在運動成績的提升方面效果突出；在團隊項目中，視頻分析系統(tǒng)可以對本隊和比賽對手的運用戰(zhàn)術進行分析，輔助教練選擇合適的戰(zhàn)術，最大程度上提高本隊的比賽成績.體育視頻分析系統(tǒng)應運而生，不同的分析系統(tǒng)使用的技術差異較大，因此首先介紹一下國內外的商用系統(tǒng).

2.1 體育視頻分析系統(tǒng)應用現狀

基于體育視頻分析的訓練、比賽輔助系統(tǒng)應用于職業(yè)體育的各個方面.TechSmith Corporation公司開發(fā)的Coach′s Eye(1)https：//www.coachseye.com/應用，使用移動設備或相機記錄運動員的狀態(tài)，以慢動作播放視頻并逐幀分析，并排分析對比動作，使用秒表等高級分析工具標注時間，高亮顯示動作細節(jié)，通過角度測量，為運動員提供個性化的反饋，系統(tǒng)由于采用慢動作分析動作，在分析效率上需要提高；美國STATS的SportVU(2)https：//www.stats.com/sportvu-football/(球員追蹤分析系統(tǒng))是最早將視頻分析技術應用于體育比賽的系統(tǒng)之一，現在發(fā)展到2.0版本.它利用4K攝像頭采集比賽圖像，基于先進的光學跟蹤技術和主動學習框架，使用統(tǒng)計算法提取球員和球的坐標，利用AI分析跟蹤數據和事件數據，以整體的視角制定比賽策略，將比賽的數據和場外訓練數據結合，減少錯誤動作對運動員造成的傷害.系統(tǒng)適用于團隊項目，在追蹤多名球員的時候，需要較長的時間進行分析.相較于國外的體育視頻分析系統(tǒng)，國內的系統(tǒng)大多關注于對球員的數據分析和比賽數據的統(tǒng)計.國內的體育視頻分析系統(tǒng)中，創(chuàng)冰DATA(3)http：//data.champdas.com/將每場比賽進行秒級數據切片，并采用分布式計算平臺對云端的數據進行多維度統(tǒng)計，在比賽數據統(tǒng)計方面比較準確，但是缺乏球員的動作分析；靈信體育賽事數據采集與分析系統(tǒng)(4)http：//www.listensport.com/采用高速攝像機提供的足球和球員軌跡數據，采集球員運動信息，運用基于靈信體育系統(tǒng)模板匹配方法，對球員進行跟蹤，實現球員運動數據的統(tǒng)計，系統(tǒng)記錄了球員運動相關數據，通過數據分析球員的表現，在足球比賽中，對單個球員動作分析準確性有待提高.目前主流商用系統(tǒng)中主要是對運動員的數據進行統(tǒng)計和運動員個人表現的分析上，自動化程度需進一步提高，操作效率和分析的準確度有待提高.

2.2 體育視頻分析技術研究進展

隨著體育視頻應用需求日益旺盛，對分析技術的精度要求越來越高，促進了體育視頻分析技術的發(fā)展，研究的對象也由低層次的特征轉向高層次的特征.Hanna等[2]研究了視頻內容的自動分類，使用視頻中的顏色特征，通過隱馬爾可夫模型(HMM)分類視頻序列.Ouyang等[3]在跳水視頻語義分析中采用本體推理的方法，利用高級語義挖掘體育視頻信息.Hua等[4]對棒球進行了分析，驗證了識別投球速度對事件檢測和視頻內容檢索的作用，它可以提取感興趣的視頻，在檢測事件方面具有良好的效果.Wang等[5]針對足球視頻中的注釋采用高級語義粗時間限制語義匹配，利用圖像處理將視頻和文本事件同步，結合高級特征分析視頻.Stein等[6]提出可視化系統(tǒng)，使用軌跡和運動分析技術對足球視頻中的區(qū)域、事件和球員進行相關分析，增加了分析的準確性.Yoon等[7]對籃球比賽的視頻剪輯進行自動分類，同時跟蹤籃球的運動，利用上下文信息跟蹤球員，設計球隊的戰(zhàn)術策略，結合多模特征強化了視頻中球員的跟蹤分析和比賽分析.表1展示了當前研究的進展.

表1 體育視頻關鍵技術對比

近年來，在團隊運動中對戰(zhàn)術水平的研究逐步發(fā)展.Suzuki等[8]利用深度極限學習機(DELM)，在足球比賽視頻中對球隊戰(zhàn)術進行分析，引入球隊雙方戰(zhàn)術相關性，提高了戰(zhàn)術估計的準確性；Decroos等[9]探討了足球中戰(zhàn)術分析的不足，使用專業(yè)足球比賽收集的事件流的數據，利用空間和時間信息，實現了自動戰(zhàn)術識別；Andrienko等人[10]通過將多種信息綜合分析足球比賽中的戰(zhàn)術，利用動態(tài)聚合方法，結合靈活的查詢技術，取得了不錯的效果.

在單人運動中，對運動員的分析主要集中在動作分析上.Chen等[11]提出了一個瑜伽訓練系統(tǒng)，通過集成計算機視覺技術，系統(tǒng)通過提取身體輪廓，骨架，主導軸和特征點，從前視圖和側視圖分析訓練者的姿勢.然后，根據瑜伽訓練的領域知識，提出了可視化的姿勢矯正指令，在糾正訓練者的姿勢方面具有較高的準確性.Meng等[12]為了監(jiān)督和分析職業(yè)運動中的運動員訓練的運動姿勢，使用一種深度關鍵幀提取方法，用于分析舉重運動訓練視頻，并且所提出的DKFE在關鍵姿態(tài)概率估計和關鍵姿態(tài)提取方面優(yōu)于對比方法.姿態(tài)估計已成為體育視頻分析中的研究熱點，下一節(jié)將介紹人體姿態(tài)的研究進展.

3 體育視頻分析中的人體姿態(tài)估計

在體育視頻分析中，通過慢動作播放視頻并逐幀分析，在分析效率上需要提高.近幾年，人體姿態(tài)估計的研究不斷發(fā)展，在評估人體動作準確性方面有了優(yōu)秀的表現.現在從基于整體部件、基于特征模型和基于單目/多目/多傳感器等方面，回顧現在的人體姿態(tài)估計算法研究現狀.

3.1 基于整體的方法

基于整體/部件的人體姿態(tài)估計方法可以分為基于整體的方法和基于部件的方法.其中主要使用深度學習方法對圖像中的人體姿態(tài)進行映射關系的處理.

在基于整體的方法中，Alexander等[13]提出了一種基于深度神經網絡(DNN)的人體姿態(tài)估計方法，作者將姿態(tài)估計表示為針對身體關節(jié)的基于DNN的回歸問題，通過一系列的DNN回歸量，得到了高精度的姿態(tài)估計值.與其他方法相比，該方法具有以整體方式推理姿態(tài)的優(yōu)點，網絡架構如圖1所示；Fan等[14]使用雙源深度卷積神經網絡(DS-CNN)從單張圖像中估計2D人體姿態(tài)，整合局部部分外觀和每個局部部分的整體視圖，通過聯合檢測確定圖像塊是否包含身體關節(jié)，借助聯合定位，找到在圖像塊中關節(jié)的確切位置，該方法利用整體視角進行學習，如圖2所示；Yang等[15]將領域先驗知識納入框架，并且結合DCNN和可變形混合部分實現了端到端的人體姿態(tài)估計，可以應用于循環(huán)模型或樹形結構模型.基于整體的方法在關節(jié)點定位上，受歸一化的距離影響較大，需要選擇合適的歸一化距離，強化定位關節(jié)點的準確性.

圖1 基于DNN的姿態(tài)回歸的示意圖[13]

圖2 DS-CNN架構[14]

3.2 基于部件的方法

由于基于整體的方法需要領域先驗知識的支持，具有一定的局限性，而基于部件的方法可以不需要先驗知識，通過將部件整合連接成人體姿態(tài)，增加姿態(tài)估計的準確度.最先進的基于部件的方法在它們的關聯方法上是不同的.cao等人[16]將關節(jié)與部分親和力場和貪婪算法聯系起來，該方法使用非參數表示(部分親和字段(PAF))來學習將身體部位與圖像中的個體相關聯.該體系結構對全局上下文進行編碼，允許貪婪的自下而上解析步驟，無論圖像中的人數如何，都能保持高精度，同時實現實時性能，見圖3；Papandreou等人[17]檢測個別關節(jié)并預測關聯的相對位移，生成一種基于單鏡頭模型的無框自底向上的多人圖像姿態(tài)估計和實例分割方，方法中的PersonLab模型使用基于部件的建模處理語義級推理和對象-部件關聯，基于全卷積架構，并允許有效的推理，對出現在場景中多人姿態(tài)估計具有較好的效果；kocabas等人[18]將多任務和MultiPoseNet結合可以聯合處理人員檢測、關鍵點檢測、人員分割和提出的估計問題，并且通過姿勢殘差網絡為檢測到的人分配關節(jié)，形成自底向上的多個體姿態(tài)估計體系結構，在多人場景中效果超過MPII MultiPerson基準的方法.基于部件的方法中，容易丟失跟蹤的人體信息，并且自底向上方法會誤檢關節(jié)點，采用將視頻幀間的時間順序與部件模型結合方法，可以有效提高檢測的準確率，進而提高人體姿態(tài)估計的精度.

圖3 雙分支多級CNN的體系結構[16]

3.3 基于特征的方法

在基于特征/模型中，傳統(tǒng)的方法分為基于人體特征和基于模型的方法.基于人體特征的方法不需要明確的身體模型，也不需要標記身體部位，可以通過圖像輪廓恢復人體姿勢.

在基于人體特征的方法中，Taylor等[19]采用一種基于鄰域分量分析(NCA)框架學習非線性嵌入的方法，每張圖片是由兩個卷積、子采樣層和一個全連接層處理，見圖4，通過卷積擴展到真實大小的圖像，解決了視覺上匹配相似姿勢但具有不同衣服，背景和其他外觀變化的人的復雜問題；Arjun等[20]提出了一個兩階段的過濾方法，改進低層次特征檢測器，結合全局定位改善了不受約束的人體姿態(tài)估計效果；Rodrigo等[21]在RGB圖像上使用2D多層次的外觀特征表示，利用基于CNN的身體部位檢測器可以檢測不同層次的部位，提高了自下而上部位檢測器的性能.基于人體特征的方法，需要選擇合適的人體特征，同時需要大量的人體關節(jié)點的標注，在網絡訓練的時間上花費較大，采用弱監(jiān)督的訓練方式可以提升訓練效率，減少訓練時間.

圖4 卷積NCA回歸(C-NCAR)[19]

3.4 基于模型的方法

由于人體是非剛性的，運動比較靈活、復雜，具有不規(guī)則性，基于模型的方法被提出，解決基于特征的不穩(wěn)定性.Yang等[22]采用基于零件模型表示的靜態(tài)圖像中的人體姿態(tài)估計方法，使用每個部分的模板混合捕獲零件之間的上下文共現關系，增強了編碼空間關系的標準彈簧模型，提高了姿態(tài)估計的準確率和速度；Chen等[23]將深度卷積神經網絡(DCNN)和圖形模型結合，由于局部圖像測量既可用于檢測部分(或關節(jié))以及預測它們之間的空間關系(圖像依賴成對關系)，采用DCNN來學習圖像塊內部件的存在及其空間關系的條件概率，提升了在LSP和FLIC數據集上的準確度；chu等[24]等使用雙向樹結構模型判斷人體各關節(jié)在特征層面的關系.基于模型的方法可以對人體關節(jié)出現的位置進行限制，減少將背景檢測出關節(jié)點的幾率，提升關節(jié)位置檢測的準確性.然而卻解決不了關節(jié)間的遮擋問題，可以引入先驗知識和關節(jié)點的統(tǒng)計信息，提高遮擋的關節(jié)點檢測率.

3.5 基于單目/多目/多傳感器融合的方法

根據采集視頻的方式可以分為單目、多目、多傳感器融合的方法，單目采集的視頻是彩色圖像；多目采集的視頻是3D圖像；多傳感器融合采集的視頻包含彩色圖像和深度圖像.不同的輸入圖像采用了不同的姿態(tài)估計算法.

3.5.1 基于單目的方法

在基于單目的方法中，將單目視頻作為輸入進行人體姿態(tài)估計.代欽等[25]使用單目靜態(tài)圖像作為輸入，對相鄰像素中類似的圖像進行整合，在人體部位搜索時通過超像素完成，利用可變形部位模型實現部位識別，有效降低了在部位識別中背景的干擾，在姿態(tài)估計中獲得了較好的結果；肖澳文等[26]采用的實驗模型使用單目視頻輸入源，通過改進的順序化卷積神經網絡提取人體空間信息和紋理特征，確定頭部和四肢關節(jié)點的位置，將節(jié)點投影到三維空間，降低了人體姿態(tài)估計的誤差；Pavlakos等[27]使用人體關節(jié)提供的序數深度提供的監(jiān)督訓練卷積網絡，利用單幅圖像的輸入，有效的提高了準確度.基于單目的視頻輸入的方法，雖然取得了較好的效果，但是在光照、顏色、紋理的變化中，單目視頻缺少足夠的信息解決問題，尤其是在體育運動中，運動員之間由于劇烈運動，造成的遮擋比較嚴重，對多人之間的姿態(tài)估計產生影響，而基于多目的方法可以較好的解決問題.

3.5.2 基于多目的方法

在基于多目的方法中，Steven等[28]提出了一個用于多個人的多視圖3D姿態(tài)估計的管道，其結合了最先進的2D姿勢檢測器和利用信任傳播優(yōu)化的3D肢體約束的因子圖.該系統(tǒng)明顯優(yōu)于先前的最新技術，具有更簡單的肢體依賴模型，增加了人體姿態(tài)估計的魯棒性；Fang等[29]使用多個攝像機的2D姿勢利用姿勢語法解決3D姿態(tài)估計的泛化問題.Dong等[30]使用多路匹配算法在所有視圖中聚類檢測到的2D姿勢，將得到的聚類在不同視圖上編碼同一人的2D姿勢及關鍵點的一致對應，進而推斷出每個人的3D姿勢，通過實驗驗證了所提出的方法的有效性；Wei等[31]給定一組不同視角的2D關節(jié)位置，利用視圖一致性的約束提高3D人體姿態(tài)估計性能；Qiu等[32]結合多視圖幾何先驗的跨視圖融合方案，從多視圖中高性能的恢復3D人體姿態(tài).基于多目的視頻輸入方法，可以解決輕微遮擋、形變、人體尺度和采集角度等干擾問題，提供較為準確的3D信息.但是，在體育運動中，存在的嚴重遮擋和球員衣服的干擾，使基于多目的人體姿態(tài)估計效果變差.可以引入如紅外傳感器等的多種傳感器，減少遮擋和干擾，提高體育運動中的人體姿態(tài)估計精度.

3.5.3 基于多傳感器的方法

近年來，隨著多傳感器的技術發(fā)展，提供更加精確的人體姿態(tài)信息的多傳感器技術應用于人體姿態(tài)估計領域.韓麗等[33]使用運動捕捉系統(tǒng)通過基于特征平面相似性匹配的方法計算模型各關節(jié)的運動數據參數，在人體姿態(tài)分析中具有較高的準確性和魯棒性；Yang等[34]使用圖像、集合描述符、彩色圖和深度圖等多個輸入源通過對抗性學習框架預測的3D的人體姿態(tài)估計，提高僅具有2D姿勢注釋的野外圖像的姿態(tài)估計；Tang等[35]使用基于稀疏特征點校準彩色圖和深度圖，得到三維關節(jié)點的信息恢復人體姿態(tài).在基于多傳感器方法中，受室外環(huán)境的影響較大，對環(huán)境的要求較高，可以應用于室內體育運動，減少光照條件的干擾.

4 姿態(tài)估計數據集及算法性能對比分析

在本節(jié)中，首先介紹用于姿態(tài)估計的數據集和評價指標.然后將近年比較主流的方法的性能結果進行了對比分析.

4.1 姿態(tài)估計相關的數據集

目前研究所用的主流人體姿態(tài)數據集包括2D和3D兩類.其中2D人體姿態(tài)數據集如表2所示[36].常見數據集包括MSCOCO[37]，MPII[38]，LSP[39]，FLIC[40]，PoseTrack[41]和AI Challenger[42].

表2 2D人體姿態(tài)數據集[36]

現有的3D人體姿態(tài)數據集大多來自于室內采集，一般對拍攝環(huán)境有較高的要求，包括 Human3.6 M[43]和MPI-INF-3DHP[44]等，如表3所示.

表3 3D人體姿態(tài)數據集

4.2 評價指標

在2D姿態(tài)估計中，使用的評價指標是正確估計的身體部位百分比(PCP)和mAP.

PCP選擇肢體長度作為基準，評估頭部，軀干，上臂，下臂，大腿和小腿的檢測精度.PCK選擇歸一化距離作為基準，評估七個關節(jié)的檢測精度，包括頭部，肩部，肘部，腕部，髖部，膝部和踝部.PCKh@0.5意味著在頭部尺寸的0.5的閾值內認為關節(jié)的檢測是成功的.mAP反映了所有關節(jié)的平均PCKh檢出率.

與2D姿態(tài)估計的評價指標不同，3D姿態(tài)估計的評價指標采用MPJPE(關節(jié)平均誤差)，它以毫米為單位測量預測和真實關節(jié)位置之間的平均距離.MPJPE的值越小，3D姿態(tài)估計越準確.

4.3 性能比較分析

從2D和3D方面分別比較了各個方法的性能.表4中列出的方法顯示了在MPII和LSP數據集上通過PCP和mAP評估的所有關節(jié)的平均準確度.

基于表4，在PCP評價指標下，基于整體的方法，Fan等[14]提出的DS-CNN方法取得了最高的準確度；在基于模型的方法中，Chen等[23]提出的方法利用圖像依賴成對關系，提升了在LSP上的準確率；在mAP的評價指標下，Cao等[16]采用多分支的CNN取得了優(yōu)秀的準確度.在2D姿態(tài)估計中，使用多分支的CNN可以提升檢測的準確度.

表4 2D人體姿態(tài)估計方法的比較

雖然基于2D的姿態(tài)估計算法取得了不錯的效果，但是在體育運動中，由于人體的身高、衣服和背景遮擋的影響，降低了姿態(tài)估計的準確性.基于3D的姿態(tài)估計可以有效減少上述問題的影響.

3D姿態(tài)估計的算法性能對比如表5所示.在基于單目的方法中，Pavlakos等[27]提出的方法在數據集上實現56.2%的MPJPE，由于大多數的3D數據集是在室內環(huán)境下采集，不能實現2D人體數據集的可變性，而在體育運動中，人體的形變更加劇烈，作者使用2D人體姿勢數據集上的序數深度的附加注釋，減少了對精確3D真實值的需求；在基于多目的方法中，Wei等[31]使用視圖不變的3D人體姿態(tài)估計的方案實現了56.6%的MPJPE，在體育運動中，捕捉視角的多樣性和人體姿態(tài)的靈活性對于姿態(tài)估計來說是一些挑戰(zhàn)，作者通過視圖不變判別網絡強化對身體關節(jié)的約束，顯著提高3D人體姿態(tài)估計的性能；在基于多傳感器的方法中，Yang等[34]實現了58.6%的MPJPE，雖然深度卷積神經網絡(DCNN)在受約束的實驗室環(huán)境中的數據集上取得了顯著進步，但是在體育運動中很難獲得3D姿勢注釋，作者使用對抗性學習框架，它將完全注釋的室內數據集中學習的3D人體姿勢結構提煉為2D姿勢注釋的室外圖像，可以有效提高室外體育運動中的姿態(tài)估計性能.特別值得一提的是Qiu等[32]提出的跨視圖融合方法大幅度改進了MPJPE，實現了26.21%的MPJPE，在室內數據集上利用可見視圖的特征融合和RPSM，改進獨立計算的2D姿態(tài)，雖然在室外的體育運動中環(huán)境影響較大，仍然可以將多視圖融合改進2D姿態(tài)估計的思路運用在體育運動中的3D姿態(tài)估計.

表5 3D人體姿態(tài)估計方法的比較

5 結束語

本文對最近幾年的體育視頻分析系統(tǒng)和人體姿態(tài)估計算法進行了較全面的綜述.最后給出了未來的研究方向.由于體育運動的連續(xù)性，姿態(tài)分析與時間的關系越來越密切，引入時序可以有效解決遮擋；體育姿態(tài)數據集需求明顯增加，準確注釋的數據集將會是提升人體姿態(tài)估計準確性的重要基礎；基于多模態(tài)信息和將幾何先驗知識加入到網絡特征融合中，促進網絡結構的改進，提升3D姿態(tài)估計的準確率，這是未來體育運動中3D姿態(tài)估計的重要方向，為以后體育視頻分析性能的提升提供了新的方法.