王向東， 張靜文， 毋立芳， 徐文泉

（1．國家體育總局體育科學(xué)研究所，北京 100061；2．北京工業(yè)大學(xué)電控學(xué)院，北京 100124；3．北京航空航天大學(xué)體育部，北京 100191）

一種運(yùn)動軌跡引導(dǎo)下的舉重視頻關(guān)鍵姿態(tài)提取方法

王向東1， 張靜文2， 毋立芳2， 徐文泉3

（1．國家體育總局體育科學(xué)研究所，北京 100061；2．北京工業(yè)大學(xué)電控學(xué)院，北京 100124；3．北京航空航天大學(xué)體育部，北京 100191）

該文研究并提出了一種軌跡引導(dǎo)下的舉重視頻關(guān)鍵姿態(tài)自動提取方法。針對舉重訓(xùn)練，首先提取穩(wěn)定的杠鈴軌跡，進(jìn)一步分析杠鈴軌跡和關(guān)鍵姿態(tài)之間的關(guān)系，將杠鈴軌跡和基于姿態(tài)集的方法相結(jié)合進(jìn)行關(guān)鍵姿態(tài)檢測。根據(jù)運(yùn)動軌跡的曲線極值點(diǎn)提取關(guān)鍵視頻畫面，而對于其他非軌跡極值點(diǎn)處的關(guān)鍵畫面采用基于姿態(tài)集的姿態(tài)估計和目標(biāo)檢測方法，對每個關(guān)鍵姿態(tài)分別訓(xùn)練了一個線性的支持向量機(jī)分類器，建立圖像的多尺度掃描模式，并提出了統(tǒng)計計算相似度的方法來處理幀間相似度問題，實(shí)驗表明該文方法在姿態(tài)檢測的準(zhǔn)確性和效率方面都有很大改善。

軌跡；姿態(tài)；關(guān)鍵幀；支持向量機(jī)

競技體育比賽越來越激烈，為了提高體育訓(xùn)練的效率，有必要在體育訓(xùn)練中引入科學(xué)、定量的方法。許多競技體育訓(xùn)練中，需要對運(yùn)動員動作的準(zhǔn)確性進(jìn)行分析，這就需要提取關(guān)鍵的動作姿態(tài)，并進(jìn)一步根據(jù)人體關(guān)節(jié)位置，提取相應(yīng)訓(xùn)練參數(shù)。

關(guān)鍵姿態(tài)提取本質(zhì)上是姿態(tài)估計或姿態(tài)識別問題，國內(nèi)外有許多學(xué)者對這一問題進(jìn)行了研究，這些方法可以分為基于特征的方法和基于人體模型的方法?；谔卣鞯姆椒ㄖ苯訌膱D像中提取人體的姿態(tài)特征，并通過機(jī)器學(xué)習(xí)建立不同類型姿態(tài)的分類器用于姿態(tài)識別和估計。常用的人體姿態(tài)特征有輪廓統(tǒng)計特征[1-2]、圓形方向直方圖特征[3]、姿態(tài)集[4-5]等等。前兩種特征需要根據(jù)對象的輪廓邊緣來提取，要求精確的人體分割，而背景、環(huán)境的影響使得精確度的人體分割面臨很大的挑戰(zhàn)。姿態(tài)集[6]是一個給定視角下的人體姿態(tài)的一部分，每個姿態(tài)集都是由圖像的梯度直方圖[7]HOG特征訓(xùn)練學(xué)習(xí)的一個分類器，圖像的 HOG[8]特征對圖像局部出現(xiàn)的方向梯度次數(shù)進(jìn)行計數(shù)，這種特征計算是基于空間一致性的密度矩陣來提高準(zhǔn)確率，因此被廣泛采用?；谀Ｐ偷姆椒ㄊ紫冉⑷梭w姿態(tài)空間表示，用圖像特征描述人體的各個部分，通過圖像特征推斷求解所對應(yīng)的空間姿態(tài)，確定人體姿態(tài)。在文獻(xiàn)[9]中采用了人體的棍狀模型，通過數(shù)據(jù)庫，多角度、多姿態(tài)訓(xùn)練得來的運(yùn)動先驗樹模型，確定姿態(tài)的空間表示，身體部分模型采用密集采樣的形狀上下文描述符子并用 AdaBoost訓(xùn)練得到顯著分類器。文獻(xiàn)[10]擴(kuò)展了最初圖形結(jié)構(gòu)的模型，加入了人體半肢顏色對稱的限制，通過兩次迭代過程，最終確定了人體姿態(tài)。

本文針對舉重運(yùn)動員訓(xùn)練，提取關(guān)鍵姿態(tài)。舉重運(yùn)動一般分六個階段[11]：預(yù)備提鈴、伸膝提鈴、引膝提鈴、發(fā)力、下蹲支撐和起立，相鄰兩個階段的切換幀為關(guān)鍵幀。如圖1所示，其中有些姿態(tài)對應(yīng)于杠鈴運(yùn)動軌跡的極點(diǎn)位置，有些則不然，這就說明有些關(guān)鍵姿態(tài)可以通過杠鈴軌跡來確定，有些就需要用其他的方法來提取關(guān)鍵幀。

圖1 舉重運(yùn)動過程及關(guān)鍵字姿態(tài)幀

針對上述現(xiàn)象，我們提出了一種軌跡引導(dǎo)下的關(guān)鍵姿態(tài)提取方法。首先用一種點(diǎn)相關(guān)統(tǒng)計特性的目標(biāo)跟蹤方法[7]跟蹤杠鈴的中心點(diǎn)，得到運(yùn)動軌跡。根據(jù)運(yùn)動軌跡的曲線極值點(diǎn)提取關(guān)鍵視頻畫面，而對于其他非軌跡極值點(diǎn)處的關(guān)鍵畫面采用基姿態(tài)集的姿態(tài)估計和目標(biāo)檢測方法，主要利用圖像的HOG特征，訓(xùn)練每個姿態(tài)的支持向量機(jī)分類器，建立圖像的多尺度掃描模式，根據(jù)統(tǒng)計結(jié)果確定最佳關(guān)鍵幀。

1 舉重訓(xùn)練視頻中杠鈴運(yùn)動軌跡與關(guān)鍵姿態(tài)的關(guān)系分析

圖2為一段舉重視頻對應(yīng)的杠鈴運(yùn)動軌跡，運(yùn)動過程中的關(guān)鍵姿態(tài)如圖3所示，為了方便后續(xù)分析，為圖2建立圖像坐標(biāo)系。原點(diǎn)位于圖像左下角，水平向右為x 軸正方向，豎直向上為y軸正方向，可以看出，在運(yùn)動員舉重過程中，杠鈴在x方向運(yùn)動不明顯，主要表現(xiàn)為y方向的運(yùn)動，因此我們描繪舉重過程中，杠鈴的y坐標(biāo)隨時間變化的情況，如圖4所示，并且在圖中順序的標(biāo)注相應(yīng)的5關(guān)鍵姿態(tài)幀，其中圖3中的5個關(guān)鍵姿態(tài)幀分別對應(yīng)了圖4運(yùn)動軌跡的5個點(diǎn)。

圖2 杠鈴中心點(diǎn)的運(yùn)動軌跡和圖像坐標(biāo)系

圖3 舉重視頻中的5個關(guān)鍵姿態(tài)

圖4 舉重視頻杠鈴中心點(diǎn)y值變化和5個關(guān)鍵姿態(tài)幀

分析對應(yīng)的 5個關(guān)鍵姿態(tài)與杠鈴運(yùn)動軌跡的關(guān)系，從圖中可以看出，關(guān)鍵姿態(tài)幀中的下蹲和起立的姿態(tài)正好在曲線的極值點(diǎn)處，根據(jù)運(yùn)動軌跡，第4、5個關(guān)鍵姿態(tài)可由曲線的極值點(diǎn)提取出來，而前 3個關(guān)鍵姿態(tài)則不能根據(jù)運(yùn)動軌跡提取。

綜上分析，直接根據(jù)杠鈴運(yùn)動軌跡可以確定兩個關(guān)鍵姿態(tài)，另外3個關(guān)鍵姿態(tài)與軌跡極點(diǎn)無關(guān)，需要引入另外的特征，因此我們設(shè)計了一種關(guān)鍵姿態(tài)檢測方案，該方案綜合杠鈴軌跡和姿態(tài)集特征，能夠穩(wěn)定地提取關(guān)鍵姿態(tài)。

2 軌跡和姿態(tài)集相結(jié)合的關(guān)鍵姿態(tài)自動提取方案

2.1 方案框架

我們的方案結(jié)合了杠鈴運(yùn)動軌跡和姿態(tài)集訓(xùn)練方法。首先跟蹤杠鈴運(yùn)動，這里采用武文斌等[7]提出的基于點(diǎn)相關(guān)統(tǒng)計特性的目標(biāo)跟蹤方法，進(jìn)一步跟蹤結(jié)果描繪杠鈴運(yùn)動軌跡，然后，根據(jù)杠鈴運(yùn)動軌跡確定第4和第5關(guān)鍵姿態(tài)，同時確定前3個關(guān)鍵姿態(tài)的搜索范圍，采用基于姿態(tài)集的方法依次提取3個關(guān)鍵姿態(tài)，方案框圖如圖5所示。

圖5 方案框圖

2.2 基于姿態(tài)集的關(guān)鍵姿態(tài)提取算法

基于姿態(tài)集的關(guān)鍵姿態(tài)提取算法屬于機(jī)器學(xué)習(xí)方法，也包括模型訓(xùn)練和姿態(tài)提取兩部分，算法的框架如圖6所示。

圖6 基于姿態(tài)集的關(guān)鍵姿態(tài)檢測算法框架

對于一種姿態(tài)，我們收集同類姿態(tài)對應(yīng)樣本作為訓(xùn)練集，其他姿態(tài)和背景作為負(fù)樣本，圖7為一組正負(fù)樣本示例。提取所有樣本的HOG特征[8]，一種姿態(tài)訓(xùn)練一個分類器，每一個分類器都是一個線性的 SVM，由于我們采用了整個人體的姿態(tài)特征，因此訓(xùn)練的模型的穩(wěn)定性較好。

圖7 發(fā)力姿態(tài)的訓(xùn)練集樣本示例

為了進(jìn)一步提高算法的魯棒性，我們設(shè)計了二次訓(xùn)練的框架，即用初次訓(xùn)練的結(jié)果對訓(xùn)練樣本進(jìn)行測試，把姿態(tài)不符合要求的檢測窗口作為hardnegtives加入負(fù)樣本中重新進(jìn)行SVM分類器訓(xùn)練。

2.3 基于多尺度統(tǒng)計相似度的姿態(tài)檢測算法

為了保證姿態(tài)檢測的尺度不變性，我們對一幀圖像在不同尺度上進(jìn)行姿態(tài)檢測。圖8是多尺度檢測金字塔示意圖，在同一尺度下，將檢測窗口以一定步長在圖像平面滑動，提取對應(yīng)窗口的HOG特征輸入到相應(yīng)姿態(tài)的分類器，即可判定該窗口是否為相應(yīng)關(guān)鍵姿態(tài)。

設(shè)p(x,y,li,FK)代表某幀視頻的一尺度下的某個位置， φ( w ,h,p,Fk)表示該幀畫面中點(diǎn)在 p的位置窗口為w×h的HOG特征向量，W為姿態(tài)分類器的支持向量機(jī)的權(quán)重，定義：

則定義在第K幀上分類器的檢測點(diǎn)數(shù)為：

圖8 多尺度掃描金字塔

在姿態(tài)檢測階段，由于空間姿態(tài)的漸變特性，可能會在連續(xù)多幀圖像中檢測到某一姿態(tài)的相似姿態(tài)，針對這一問題，文獻(xiàn)[5-6]都是對檢測結(jié)果進(jìn)行聚類，最后給出物體的所在位置，而我們的方法則不是對檢測結(jié)果進(jìn)行聚類。我們提出了統(tǒng)計相似度的概念。將全部尺度下，相應(yīng)姿態(tài)對應(yīng)分類器輸出相加，即得到該姿態(tài)的統(tǒng)計相似度ScoreK，統(tǒng)計相似度最大的視頻幀的姿態(tài)，即為對應(yīng)的關(guān)鍵姿態(tài)。

3 實(shí)驗結(jié)果分析

3.1 實(shí)驗數(shù)據(jù)

我們收集了 30段舉重視頻作為實(shí)驗數(shù)據(jù)，這些視頻有的是比賽視頻、有的是訓(xùn)練視頻，采集環(huán)境、背景都有很大不同，圖9為實(shí)驗訓(xùn)練集的幾個視頻。

隨機(jī)選取其中的 22段視頻作為訓(xùn)練集，8個視頻序列作為測試集，每個姿態(tài)提取 30個正樣本，然后將每個樣本進(jìn)行水平鏡像操作，這樣每個姿態(tài)包含 60個正樣本，隨機(jī)抽取視頻中的300～400個窗口作為負(fù)樣本。

圖9 實(shí)驗視頻示例

3.2 二次訓(xùn)練的作用

為了對比一次訓(xùn)練的分類器和二次訓(xùn)練的分類器的性能，對相同的視頻序列，用某一個關(guān)鍵姿態(tài)對應(yīng)的兩個分類器進(jìn)行姿態(tài)檢測，其統(tǒng)計相似度值如圖10所示。

從圖10可以看出，雖然兩個分類器得到的統(tǒng)計相似度峰值相同，但顯然一次訓(xùn)練的分類器有許多較大的干擾值，這也大大增加了誤檢的概率。相比之下，二次訓(xùn)練的分類器干擾值就少很多，也小很多，這也在一定程度上保證了檢測結(jié)果的穩(wěn)定性。

3.3 對比實(shí)驗

對比了本文提出的方法和基于姿態(tài)集的方法，對比實(shí)驗結(jié)果見表1?；谧藨B(tài)集的方法對姿態(tài)4的檢測結(jié)果并不好，這是由于不同運(yùn)動員下蹲姿態(tài)變化較大，因此很難提取穩(wěn)定的結(jié)果。而本文提出的方法，利用軌跡極點(diǎn)提取姿態(tài)4和5，準(zhǔn)確度非常高。在本文中基于姿態(tài)集提取姿態(tài)1, 2, 3時，也采用了基于姿態(tài)集的方法，因此檢測結(jié)果沒有變化。

圖10 兩次訓(xùn)練的分類器檢測結(jié)果對比

圖11給出了一組檢測結(jié)果示例圖，圖中前3個姿態(tài)用矩形框標(biāo)出了關(guān)鍵姿態(tài)的準(zhǔn)確位置，這是根據(jù)姿態(tài)及訓(xùn)練的樣本得到的，后面兩個姿態(tài)直接由軌跡極點(diǎn)得到，因此沒有標(biāo)出關(guān)鍵姿態(tài)的準(zhǔn)確位置，這并不影響后續(xù)應(yīng)用。

表1 實(shí)驗檢測結(jié)果

圖11 一組檢測結(jié)果示例

4 總 結(jié)

針對舉重訓(xùn)練的應(yīng)用，本文提出了一種杠鈴運(yùn)動軌跡與姿態(tài)集方法相結(jié)合的人體關(guān)鍵姿態(tài)提取方法，分析了關(guān)鍵姿態(tài)和杠鈴運(yùn)動軌跡的關(guān)系，對于和杠鈴軌跡極點(diǎn)直接相關(guān)的姿態(tài)，直接由運(yùn)動軌跡確定，對于其他非軌跡關(guān)鍵姿態(tài)，則通過姿態(tài)集學(xué)習(xí)方法進(jìn)行姿態(tài)檢測。試驗結(jié)果表明：①本文方法在姿態(tài)檢測的準(zhǔn)確性和效率方面都有很大改善。②本文結(jié)果可以應(yīng)用于舉重訓(xùn)練中訓(xùn)練參數(shù)的提取，手工確定關(guān)鍵幀中關(guān)節(jié)位置，則可提取定量訓(xùn)練參數(shù)。③本文進(jìn)一步研究工作將集中在人體關(guān)節(jié)位置的自動提取方面，以待全面實(shí)現(xiàn)訓(xùn)練參數(shù)的自動提取。

[1] Cheema S, Eweiwi A, Thurau C, Bauckhage C. Action recognition by learning discriminative key posese [C]//ICCV, Barcelona, 2011: 1302-1309.

[2] Wang Yang, Jiang Hao, Drew M S, Li Zenian, Mori G. Unsupervised Discovery of Action Classes [C]//CVPR, 2006: 1654-1661.

[3] Ikizler N, Cinbis R G, Pehlivan S. Recognizing human actions from still images [C]//CVPR, Haspolat, 2008: 1-4.

[4] Bourdev L, Maji S, Brox T, Malik J. Detecting people using mutually consistent poselet activations [C]// ECCV city: Heraklion, Crete, Greece, 2010: 168-181.

[5] Yang Weilong, Wang Yang, Mori G. Recognizing human actions from still images with latent poses [C]// CVPR, 2010: 2030-2037.

[6] Bourdev L, Malik J. Poselets: body part detectors training using 3D human pose annotations [C]// ICCV, 2009: 1365-1372.

[7] 武文斌, 毋立芳, 王曉芳, 王向東. 一種點(diǎn)相關(guān)統(tǒng)計特性的目標(biāo)跟蹤方法[J]. 中國科技論文, 2012, 7(1): 28-32.

[8] Dalal N, Triggs B. Histograms of oriented gradients for human detection [C]//CVPR, 2005: 886-893.

[9] Andriluka M, Roth S, Schiele B. Pictorial structures revisited: People detection and articulated pose estimation [C]//CVPR, 2009:1014-1021.

[10] Ramanan D. Learning to parse images of articulated bodies [C]//NIPS, 2007: 1129 -1136.

[11] 王向東, 毛 勇, 劉夢飛, 尚 健. 優(yōu)秀女子舉重運(yùn)動員抓舉技術(shù)的運(yùn)動學(xué)研究[J]. 成都體育學(xué)院學(xué)報, 2009, 35(2): 51-53.

[12] Wu Lifang, Zhang Jingwen, Yan Fenghui. A poselet based key frame searching approach in sports training videos [C]//APSIPA ASC, Hollywood, 2012: 1-4.

A Key Pose Frame Extraction Approach Combined with Trajectory from Weightlifting Video

Wang Xiangdong1, Zhang Jingwen2, Wu Lifang2, Xu Wenquan3
(1. Sports Research Center, General Administration of Sport of China, Beijing 100061, China; 2. Department of Electronic Information and Control Engineering, Beijing University of Technology, Beijing 100124, China; 3. Institute of Physical Education, Beihang University, Beijing 100191, China)

In this paper, a trajectory guided scheme is proposed to extract the key poses frame automatically. First, the barbell trajectory is extracted from the weight lifting sport video. Then the barbell trajectory and poselet are combined for pose extraction. Some key poses are extracted from the extreme point of the barbell trajectory. But the other poses are extracted by using the poselet based algorithm. SVM(Support Vector Machine) classifiers based HOG(Histogram of Gradient) is trained for each pose. Then the pose is detected in the multi-scale images. Statistical similarity is computed in multi-scale to measure the possibility and determine which is the best key frame. It resolves the problem of higher inter-frame similarity. The experimental results show that the proposed scheme can improve both the precision and performance of pose extraction.

trajectory; pose; key frame; support vector machine

TP 391

A

2095-302X (2014)02-0256-06

2013-10-28；定稿日期：2014-01-14

國家自然科學(xué)基金資助項目（61040052）；北京市優(yōu)秀人才資助項目（2009D005015000010）

王向東（1973-），男，山西太原人，研究員，博士。主要研究方向為運(yùn)動生物力學(xué)與運(yùn)動技術(shù)診斷。E-mail：wxd219@gmail.com

徐文泉（1969-），男，北京人，副教授，碩士。主要研究方向為運(yùn)動訓(xùn)練學(xué)與心理學(xué)。E-mail：1969110@sina.com