【摘要】對(duì)視頻流中運(yùn)動(dòng)員肘關(guān)節(jié)進(jìn)行檢測(cè)和跟蹤。本文主要對(duì)肘關(guān)節(jié)的跟蹤算法做了詳細(xì)的研究，利用光流特征匹配算法完成了對(duì)肘關(guān)節(jié)特征點(diǎn)的跟蹤。胳膊肘運(yùn)動(dòng)幅度不是很大時(shí)，該算法能有一個(gè)很好的跟蹤效果，并且給出了運(yùn)動(dòng)員從拉滿弓到箭出靶這段時(shí)間內(nèi)肘關(guān)節(jié)的運(yùn)動(dòng)曲線。得到視頻中射箭運(yùn)動(dòng)員在箭射出的瞬間，運(yùn)動(dòng)員肘關(guān)節(jié)運(yùn)動(dòng)軌跡和運(yùn)動(dòng)速度。

【關(guān)鍵詞】跟蹤算法;光流特征匹配算法;運(yùn)動(dòng)軌跡;運(yùn)動(dòng)速度

引言

在體育競(jìng)技和訓(xùn)練當(dāng)中，常常需要不接觸運(yùn)動(dòng)員任何身體部位，對(duì)運(yùn)動(dòng)員的位置、動(dòng)作、姿態(tài)進(jìn)行檢測(cè)和跟蹤，獲取運(yùn)動(dòng)員自身的動(dòng)作參數(shù)，以便對(duì)運(yùn)動(dòng)員的姿態(tài)進(jìn)行規(guī)范，達(dá)到更好的訓(xùn)練效果和比賽成績(jī)。肘關(guān)節(jié)檢測(cè)和跟蹤算法是基于特征點(diǎn)的檢測(cè)和跟蹤算法?；谔卣鼽c(diǎn)的目標(biāo)檢測(cè)和跟蹤算法主要分為特征點(diǎn)提取和特征點(diǎn)匹配兩個(gè)部分，特征點(diǎn)檢測(cè)可以用Harris算子對(duì)肘關(guān)節(jié)進(jìn)行了特征提取。本文則詳細(xì)介紹肘關(guān)節(jié)的跟蹤算法。在特征跟蹤過(guò)程中，主要對(duì)特征匹配階段進(jìn)行分析。匹配技術(shù)如何滿足實(shí)時(shí)系統(tǒng)的需求同時(shí)又能保證匹配后得到特征點(diǎn)具有較好的穩(wěn)定性，是本文研究的關(guān)鍵。因此就射箭運(yùn)動(dòng)員射箭的視頻對(duì)其肘關(guān)節(jié)檢測(cè)算法進(jìn)行研究。

1.基于特征匹配的肘關(guān)節(jié)跟蹤算法

本文所選的視頻是一組運(yùn)動(dòng)員射箭過(guò)程的視頻。迄今為止，針對(duì)不同的應(yīng)用場(chǎng)合及需求，研究人員已經(jīng)研發(fā)了許多的目標(biāo)檢測(cè)和跟蹤方法。一般情況下目標(biāo)跟蹤方法被分為以下幾類：（1）基于目標(biāo)區(qū)域的跟蹤。該方法利用高斯分布建立目標(biāo)模型和背景模型，目標(biāo)的像素點(diǎn)被分配于不同的區(qū)域部分，通過(guò)跟蹤各個(gè)小塊區(qū)域的匹配來(lái)完成對(duì)整個(gè)目標(biāo)的跟蹤[1]。（2）基于變形輪廓的跟蹤。該方法通過(guò)跟蹤目標(biāo)的輪廓信息在圖像中找出感興趣的部分，缺點(diǎn)是跟蹤的效果受系統(tǒng)初始化和局部噪聲地影響[2]。（3）基于特征匹配的跟蹤。該方法通過(guò)提取圖像中的特征元素，在連續(xù)幀圖像上對(duì)這些特征進(jìn)行匹配從而實(shí)現(xiàn)目標(biāo)跟蹤。圖像特征是圖像中呈現(xiàn)的特有屬性。與其他類的目標(biāo)跟蹤方法相比，基于特征匹配的目標(biāo)跟蹤原理簡(jiǎn)單易懂，在跟蹤過(guò)程中對(duì)目標(biāo)物的定位比較準(zhǔn)確，并且對(duì)遮擋也有一定的適應(yīng)能力。同時(shí)該方法只利用了目標(biāo)上的局部特征進(jìn)行計(jì)算，因此計(jì)算量比較小。

2.特征點(diǎn)匹配技術(shù)概述

在基于特征點(diǎn)的目標(biāo)跟蹤系統(tǒng)中，特征點(diǎn)的匹配就是尋找兩幅圖像的特征點(diǎn)之間某種映射關(guān)系或者特征點(diǎn)坐標(biāo)之間的某種變換矩陣。目前，特征點(diǎn)匹配技術(shù)可以大概分為兩類：一類為基于窮盡搜索的特征點(diǎn)匹配技術(shù)，該技術(shù)是較為經(jīng)典的匹配技術(shù)，即分別獲取兩幅圖像的特征點(diǎn)以及特征描述子，根據(jù)一定的搜素策略對(duì)這些特征點(diǎn)和描述符進(jìn)行計(jì)算，最終獲得最優(yōu)極值點(diǎn)即為匹配結(jié)果，典型的如SIFT和SURF特征點(diǎn)的匹配就是采用的窮盡搜索的特征點(diǎn)匹配策略。這種基于窮盡搜索的特征的匹配準(zhǔn)則的計(jì)算量很大，不適合實(shí)時(shí)目標(biāo)跟蹤系統(tǒng)。另外一類匹配技術(shù)是基于最優(yōu)估計(jì)的特征點(diǎn)匹配技術(shù)，這種匹配技術(shù)只需要獲取參考幀圖像的特征點(diǎn)信息，并利用它在當(dāng)前幀上的一個(gè)搜索范圍內(nèi)尋找其最優(yōu)值，估計(jì)匹配點(diǎn)的最優(yōu)位置，這種匹配準(zhǔn)則的最大的優(yōu)點(diǎn)是只需要提取參考幀的特征點(diǎn)，節(jié)約了一半的特征點(diǎn)提取的時(shí)間。其中基于最優(yōu)估計(jì)的特征點(diǎn)匹配技術(shù)最經(jīng)典的算法是KLT光流匹配算法，本文就是采用了KLT光流匹配算法[3]完成對(duì)視頻流中肘關(guān)節(jié)進(jìn)行跟蹤。

3.KLT光流匹配算法原理

KLT光流匹配技術(shù)[4]由Lucas Kanade等人提出，是一種典型的利用幀間連續(xù)的特征點(diǎn)信息并且采用最優(yōu)估計(jì)策略實(shí)現(xiàn)幀間特征點(diǎn)的匹配。其中該匹配技術(shù)采用了圖像灰度差的平方和（Sum of squared intensity Differences，SSD）作為特征點(diǎn)的匹配準(zhǔn)則。該匹配技術(shù)由于原理相對(duì)較簡(jiǎn)單、耗時(shí)量少，被廣泛的應(yīng)用于實(shí)時(shí)目標(biāo)跟蹤系統(tǒng)中。

該算法定義了一種不相似準(zhǔn)則，在仿射變化模式下通過(guò)這種準(zhǔn)則來(lái)量化序列圖像相鄰兩幀的差值，將所得的差值用牛頓迭代法進(jìn)行迭代來(lái)跟蹤選好的特征點(diǎn)。與傳統(tǒng)的匹配技術(shù)相比，該匹配算法不需要分別全局提取參考幀和當(dāng)前幀的特征點(diǎn)，只需要提取參考幀的特征點(diǎn)，對(duì)其采用最優(yōu)估計(jì)策略實(shí)現(xiàn)參考幀上的特征點(diǎn)匹配，這樣大大減少了匹配過(guò)程中的搜索范圍，降低了匹配算法的耗時(shí)量。

在視頻圖像序列中，用一個(gè)平移模型來(lái)描述特征窗口內(nèi)（設(shè)特征窗口為W）的像素點(diǎn)變化，則在特征窗口W內(nèi)，t時(shí)刻對(duì)應(yīng)的圖像序列表示為時(shí)刻對(duì)應(yīng)的圖像序列表示為，根據(jù)第一條目標(biāo)物的亮度不隨時(shí)間變化的假設(shè)，則它們的位置滿足式（1）：

（1）

根據(jù)第二條空間鄰近點(diǎn)相似的假設(shè)，即特征窗口W內(nèi)所有點(diǎn)的運(yùn)動(dòng)偏移量一致，則在的每個(gè)像素點(diǎn)，都可以由中特征窗口W的像素點(diǎn)平移得到。設(shè)兩幅圖像分別為I和J，該算法的核心是尋找使相鄰兩幀在特征窗口W上SSD（用表示）最小化的d，則表示為：

（2）

式（2）寫(xiě)成積分的形式為：

（3）

（2）式中，W為視頻序列中既定的特征窗口，是不同像素點(diǎn)的加權(quán)函數(shù)?？梢允歉咚狗植己瘮?shù)，這樣可以強(qiáng)調(diào)從窗口的中心區(qū)域。為了最小化則應(yīng)對(duì)式（3）求導(dǎo)，使得極值點(diǎn)導(dǎo)數(shù)為零。即：

（4）

對(duì)式（4）中的進(jìn)行泰勒級(jí)數(shù)展開(kāi)，根據(jù)第三條假設(shè)目標(biāo)運(yùn)動(dòng)是連續(xù)的“小運(yùn)動(dòng)”，即d要比X小的多，因此可以去掉高次項(xiàng)，只保留前三項(xiàng)得：

（5）

將式（5）代入式（4）得：

（6）

其中：

（7）

則令式（6）為零，得到：

（8）

上式等式可以寫(xiě)成的形式，則：

（9）

（10）

為了使d能得到解，要求矩陣Z為可逆矩陣，一般情況下特征點(diǎn)滿足這樣的特點(diǎn)。這樣，將參考幀中的特征點(diǎn)代入式進(jìn)行牛頓迭代，直到迭代滿足一定的精度就可以找到當(dāng)前幀的最優(yōu)匹配特征點(diǎn)，求得最終解，實(shí)現(xiàn)特征點(diǎn)的跟蹤。

（11）

式（11）中，d表示特征窗口中心的平移，表示第k次牛頓迭代法計(jì)算得到的d的值。迭代計(jì)算d需要一個(gè)初始估計(jì)值。Lucas 使用了最簡(jiǎn)單的估計(jì)。

本文的基于特征點(diǎn)的目標(biāo)跟蹤算法流程做一個(gè)介紹。特征點(diǎn)跟蹤算法的流程圖如圖1所示。

4.實(shí)驗(yàn)結(jié)果

本文對(duì)一組運(yùn)動(dòng)員射箭過(guò)程的視頻圖像進(jìn)行肘關(guān)節(jié)的檢測(cè)和跟蹤，把運(yùn)動(dòng)員擺好拉弓姿勢(shì)的那一幀圖像作為首幀圖像，用本文所用的算法對(duì)視頻圖像進(jìn)行肘關(guān)節(jié)的檢測(cè)和跟蹤，圖2所示是對(duì)幾幅視頻幀圖像的檢測(cè)和跟蹤結(jié)果進(jìn)行了截圖。

圖1 基于Harris角點(diǎn)特征點(diǎn)的目標(biāo)跟蹤算法基本流程圖

a.1494作為首幀的特征檢測(cè)結(jié)果 ? ?b.1495幀圖像的特征跟蹤結(jié)果

c.1496作為首幀的特征檢測(cè)結(jié)果 ? ?d.1497幀圖像的特征跟蹤結(jié)果

e.1498作為首幀的特征檢測(cè)結(jié)果 ? ?f.1499幀圖像的特征跟蹤結(jié)果

圖2 用KLT光流匹配算法對(duì)肘關(guān)節(jié)特征點(diǎn)的跟蹤結(jié)果

圖3 運(yùn)動(dòng)員箭射出瞬間肘關(guān)節(jié)運(yùn)動(dòng)軌跡

5.肘關(guān)節(jié)運(yùn)動(dòng)軌跡

本文通過(guò)研究視頻流中人體肘關(guān)節(jié)檢測(cè)和跟蹤算法，想要得到視頻中射箭運(yùn)動(dòng)員在箭射出的瞬間，運(yùn)動(dòng)員肘關(guān)節(jié)運(yùn)動(dòng)軌跡和運(yùn)動(dòng)速度，因此需要重點(diǎn)分析射箭運(yùn)動(dòng)員從拉滿弓開(kāi)始到箭出靶的這段時(shí)間內(nèi)肘關(guān)節(jié)的運(yùn)動(dòng)情況，通過(guò)本文的檢測(cè)和跟蹤算法可以得到這段時(shí)間內(nèi)肘關(guān)節(jié)的運(yùn)動(dòng)軌跡的坐標(biāo)，通過(guò)對(duì)這些坐標(biāo)進(jìn)行擬合，得到了箭出靶瞬間肘關(guān)節(jié)的運(yùn)動(dòng)曲線，如圖3所示。

圖3所示為運(yùn)動(dòng)員肘關(guān)節(jié)的運(yùn)動(dòng)曲線圖，視頻流每秒有25幀圖像，所以兩幀圖像之間的間隔是0.04s，如果知道視頻圖像中運(yùn)動(dòng)員的身高與運(yùn)動(dòng)員實(shí)際身高的比例，就可以計(jì)算出運(yùn)動(dòng)員射箭瞬間肘關(guān)節(jié)的運(yùn)動(dòng)速度。

6.總結(jié)

本文主要對(duì)肘關(guān)節(jié)的跟蹤算法做了詳細(xì)的研究，利用光流特征匹配算法完成了對(duì)肘關(guān)節(jié)特征點(diǎn)的跟蹤。胳膊肘運(yùn)動(dòng)幅度不是很大時(shí)，該算法能有一個(gè)很好的跟蹤效果，并且給出了運(yùn)動(dòng)員從拉滿弓到箭出靶這段時(shí)間內(nèi)肘關(guān)節(jié)的運(yùn)動(dòng)曲線。當(dāng)運(yùn)動(dòng)員肘關(guān)節(jié)運(yùn)動(dòng)幅度很大時(shí)，將不能很好的進(jìn)行跟蹤，本文用的光流匹配肘關(guān)節(jié)跟蹤算法還有很大的局限性，對(duì)此還有待進(jìn)一步的研究。

參考文獻(xiàn)

[1]王劍，王敬東，李鵬.一種基于主動(dòng)輪廓模型的自適應(yīng)模板更新算法[J].光電子技術(shù)，2009，29（1）：42-46.

[2]Kass M，Witkin A，Terzopoulos D.Snakes：active contour models[J].International Journal of Computer Vision，1988，1（4）：321-332.

[3]Bruce D.Lucas，Takeo Kanade.An Iterative Image Registration Technique with an Application to Stereo Vision[C].Proc.IJCA181，Vancouver B.C.Canada：1981：674-679.

[4]Shi J B，Tomasi C.Good feature to track[C].IEEE Conference on Computer Vision and Pattern Recognition，Seattle USA：IEEE Press，1994：21-23.

[5]Zhou S K，Chelappa R，Moghaddam B.Visual tracking and recognition using appearance adaptive models in particle filters[J].IEEE Trans on Image Processing，2004，13（11）：1491-150.

作者簡(jiǎn)介：劉曉榮，女，碩士研究生，主要從事圖像處理、無(wú)損檢測(cè)的研究。