孔 秀 史金龍 高 璐

（江蘇科技大學(xué)計算機(jī)學(xué)院 鎮(zhèn)江 212003）

1 引言

近年來，計算機(jī)科學(xué)發(fā)展迅猛，視覺圖像［1］作為人類接收信息的主要途徑受到了諸多關(guān)注。隨著發(fā)展的進(jìn)步，基于立體視覺技術(shù)［2］的研究也越來越深入，并廣泛地應(yīng)用到了生活的各個領(lǐng)域。如體育競技、數(shù)字化城市與三維地圖、醫(yī)療中的影像分析、航空中的衛(wèi)星圖片、古代建筑三維數(shù)字化保護(hù)、VR&AR游戲、電影等［3］。

在球類比賽中，僅僅利用肉眼觀測和經(jīng)驗(yàn)推斷，已經(jīng)不能滿足于體育競技的現(xiàn)階段要求。利用數(shù)字圖像技術(shù)檢測球類運(yùn)動，并對運(yùn)動軌跡進(jìn)行跟蹤，能輔助教練與運(yùn)動員進(jìn)一步了解球的運(yùn)動趨勢、速度和落點(diǎn)，從而制定改進(jìn)的技術(shù)策略和訓(xùn)練方案，進(jìn)一步提升訓(xùn)練效果。運(yùn)動檢測與軌跡跟蹤［4］是計算機(jī)視覺中的研究重點(diǎn)，其過程是利用兩臺攝像機(jī)得到運(yùn)動視頻序列，根據(jù)目標(biāo)的特征來檢測匹配，從而獲取運(yùn)動目標(biāo)的三維運(yùn)動序列，實(shí)現(xiàn)軌跡跟蹤。近些年，研究人員對于球類運(yùn)動軌跡的跟蹤提出了一些觀點(diǎn)。文獻(xiàn)［5］利用斯諾克的顏色特征跟蹤彩球的運(yùn)動軌跡，顏色特征是體育視頻分析中運(yùn)用廣泛的特征之一。除此之外，國防科技大學(xué)提出基于語義單元（BSU）的視頻分割方法［6］，利用顏色特征進(jìn)行場景檢測；而文獻(xiàn)［7］則通過分析視頻對象的運(yùn)動軌跡和相互運(yùn)動關(guān)系分割足球比賽視頻［8］。

通過上述分析可以看出，體育視頻的內(nèi)容復(fù)雜又多樣，目前體育視頻分析結(jié)果還不很理想，整個體育視頻分析仍處于初步研究階段。本文旨在提出一種針對于球狀物體運(yùn)動的檢測識別和軌跡跟蹤的研究方法。以乒乓球?yàn)閷?shí)驗(yàn)對象，建立一套雙目運(yùn)動捕捉系統(tǒng)［9］，對運(yùn)動中的乒乓球進(jìn)行檢測和軌跡跟蹤，獲取球體的運(yùn)動軌跡、落地點(diǎn)和不同時刻的運(yùn)動速度，從而進(jìn)行下一步的軌跡預(yù)測。利用標(biāo)定好的兩臺攝像機(jī)拍攝乒乓球的運(yùn)動過程，獲取視頻序列并將視頻逐幀分解，通過橢圓擬合方法從不同幀中檢測到乒乓球的位置?？紤]到類似于斯諾克中球類顏色的多樣性，本文提出利用顏色來區(qū)分不同乒乓球目標(biāo)。除此之外，當(dāng)球類不存在明顯的紋理特征或者顏色特征時，利用物理特征［10］進(jìn)行跟蹤的方式將不再適用，而傳統(tǒng)光流［11］不能夠?qū)\(yùn)動速度較快的乒乓球進(jìn)行捕捉跟蹤。本文利用改進(jìn)的大尺度光流跟蹤［12］的方法對運(yùn)動目標(biāo)進(jìn)行軌跡跟蹤，避免了由于位移過大產(chǎn)生的跟蹤錯誤和丟失問題。最后將不同時刻的目標(biāo)位置信息整合，利用非線性曲線擬合技術(shù)得到目標(biāo)運(yùn)動軌跡。結(jié)合三維軌跡數(shù)據(jù)，對目標(biāo)的運(yùn)動進(jìn)行分析，從而獲取更多有效的物理信息。

2 目標(biāo)檢測與匹配

如圖1（a）所示，實(shí)驗(yàn)器材為兩臺索尼FDR-AX30 相機(jī)。實(shí)驗(yàn)環(huán)境選在具有充分光源的室內(nèi)，三腳架間距約20cm 平行放置，高度與焦距校準(zhǔn)。如圖1（b）、圖1（c）所示，實(shí)驗(yàn)對象分為彩色組與白色組，每組各有6只大小均勻的乒乓球。

圖1 實(shí)驗(yàn)器材及實(shí)驗(yàn)對象

實(shí)驗(yàn)進(jìn)行前，需要對兩臺相機(jī)進(jìn)行標(biāo)定，這里采用張正友標(biāo)定法［13］。標(biāo)定獲得相機(jī)的內(nèi)外參數(shù)矩陣KL,KR,R,T，以及畸變系數(shù)DL,DR，以左相機(jī)為世界坐標(biāo)系的原點(diǎn)，標(biāo)定結(jié)果如下所示：

2.1 目標(biāo)檢測

由于乒乓球在二維平面上呈現(xiàn)為圓形，且快速運(yùn)動過程中會產(chǎn)生一定的形變，傳統(tǒng)的特征檢測算法不易獲取有效特征。本文采用最小二乘法擬合橢圓［14］對乒乓球進(jìn)行目標(biāo)檢測，擬合后獲取乒乓球的球心坐標(biāo)。

橢圓方程是一種特殊形式的二次曲線，可以使用式（1）表述為

在式（1）中，a，b，c，d，e 是橢圓系數(shù)，(xi,yi)(i=1,2,3,…,n)為橢圓輪廓上的n（n≥5）個測量點(diǎn)坐標(biāo)。最小二乘法的原理是使得測量擬合誤差的平方和最小化，由此所擬合的目標(biāo)函數(shù)為式（2）：

利用奇異值分解法解出方程系數(shù)a，b，c，d，e的值。根據(jù)橢圓的相關(guān)幾何知識，可以獲得橢圓的各個位置參數(shù)，包括二維圖像上的圓心坐標(biāo)。

圖2 橢圓擬合前后對比

圖2 為彩色實(shí)驗(yàn)組橢圓擬合前后對比效果?？梢钥闯?，該方法能夠精準(zhǔn)地對目標(biāo)乒乓球進(jìn)行檢測擬合，滿足實(shí)驗(yàn)要求。表1 為橢圓擬合檢測到的本幀上6顆乒乓球的球心位置。

表1 乒乓球球心二維坐標(biāo)

2.2 匹配左右圖像圓心

完成目標(biāo)檢測之后，需要進(jìn)行目標(biāo)點(diǎn)在左右視圖上的匹配。使用立體校正將非共面行對準(zhǔn)的兩幅圖像校正成共面行對準(zhǔn)。利用極線約束［15］將左右匹配由二維搜索降為一維搜索以減少匹配搜索范圍。

本文提出一種將立體校正與歐氏距離相結(jié)合對左右圖像上的球心進(jìn)行匹配的方法。假設(shè)三維空間中存在點(diǎn)C（x，y，z），其在投影在左視圖上為Cl（xl，yl），投影在右視圖上為點(diǎn)Cr（xr，yr）。經(jīng)過立體校正，Cl與Cr處于同一極線，尋找左視圖上點(diǎn)Cl在右視圖上的匹配點(diǎn)Cr，只需在對應(yīng)極線上進(jìn)行搜索。已知左右視圖在水平方向上的坐標(biāo)差值為Δx，推算出Cl在右圖上的映射點(diǎn)Cl-r（xl+Δx，yl）。同一行上存在部分備選匹配點(diǎn)P1，P2，…，Pn，使用式（3）所示的歐氏距離方法剔除噪聲點(diǎn)，找出正確匹配點(diǎn)Cr。

分別計算點(diǎn)Cl-r與各個備選點(diǎn)之間的歐氏距離d，d 值最小者為最優(yōu)匹配點(diǎn)Cr。連接左右匹配點(diǎn)，效果如圖3所示。

由匹配結(jié)果可以看出，本文提出的立體校正與歐氏距離相結(jié)合的匹配方法，匹配精準(zhǔn)度較高。

經(jīng)過橢圓擬合進(jìn)行目標(biāo)檢測、立體校正與歐氏距離結(jié)合進(jìn)行左右球心匹配后，左右圖像上對應(yīng)球心的二維坐標(biāo)均可獲得。由標(biāo)定時得到的相機(jī)內(nèi)外參數(shù)，經(jīng)三角測量法［16］可以將二維圖像坐標(biāo)轉(zhuǎn)化為三維空間坐標(biāo)。完成球心在空間上的重建，能夠立體的看到每顆乒乓球在不同幀上的不同位置。如圖4 所示，不同時刻6 顆球在同一幀上的運(yùn)動位置。圖4（a）為該時刻攝像機(jī)拍攝到的乒乓球運(yùn)動位置，圖4（b）為通過三維重建獲取的空間球心點(diǎn)在三維坐標(biāo)中的位置。

3 目標(biāo)跟蹤

對左右視圖中各個目標(biāo)圓心點(diǎn)匹配后，為了獲取動態(tài)目標(biāo)的運(yùn)動軌跡，還要在前后幀時間序列上對目標(biāo)進(jìn)行跟蹤。

3.1 基于顏色特征的目標(biāo)跟蹤

由于實(shí)驗(yàn)環(huán)境具有較為穩(wěn)定光源，當(dāng)實(shí)驗(yàn)對象為具有顏色特征的彩色乒乓球時，可以利用顏色特征對前后幀圖像上的球心進(jìn)行目標(biāo)跟蹤。前文通過橢圓擬合獲得左右圖像上的球心序列。取前一幀圖像上某一顆乒乓球的球心坐標(biāo)，并得出該坐標(biāo)點(diǎn)在圖像上呈現(xiàn)的RGB 值，由此判斷該球的顏色類別。考慮到光照和周圍環(huán)境對乒乓球色彩的影響，不同顏色的乒乓球RGB 值在一定的范圍內(nèi)波動。通過后一幀圖像上的球心坐標(biāo)序列，在后一幀圖像上尋找與之最為接近的RGB 值，即顏色特征相似，跟蹤成功。如組圖5 所示，連續(xù)30 幀中左圖像上跟蹤的彩色乒乓球的RGB值變化趨勢。

圖5 連續(xù)30幀球心的RGB變化

從組圖5 中數(shù)據(jù)可以看出，連續(xù)幀之間乒乓球顏色的RGB值差距甚微。在進(jìn)行跟蹤時，先利用R值進(jìn)行判斷色彩，當(dāng)球心的R值不足以區(qū)分顏色時結(jié)合G 值和B 值，可以準(zhǔn)確地對球心色彩進(jìn)行分類。由此可以完成彩色乒乓球的目標(biāo)跟蹤。如圖6所示為基于顏色特征所跟蹤到的6顆彩色乒乓球在連續(xù)兩幀間的運(yùn)動方向示意圖。

圖6 連續(xù)兩幀乒乓球運(yùn)動示意圖

3.2 基于光流法的目標(biāo)跟蹤

當(dāng)乒乓球不具有明顯的顏色特征作為跟蹤根據(jù)時，本文融合了大尺度光流算法和SIFT 方法，在傳統(tǒng)變分光流模型［17］中加入相似描述符的約束，結(jié)合使用前后幀對應(yīng)點(diǎn)最小位移差，從而有效地跟蹤目標(biāo)。

設(shè)待跟蹤的連續(xù)兩幀圖像分別為第I、I+1 幀，跟蹤步驟如圖7所示。

圖7 獲取光流值過程圖

重復(fù)以上過程，直至獲得I 幀和I+1 幀圖像的最后一層的光流值為止。令數(shù)組F 存有圖像上每個像素點(diǎn)的光流值。以獲得的I幀圖像上某個圓心坐標(biāo)PI（px，py）為計算值，經(jīng)光流數(shù)組F 在I+1 幀圖像上找到其對應(yīng)點(diǎn)PI+1坐標(biāo)為（F［px］［py］［1］，F(xiàn)［px］［py］［2］）。繼而以點(diǎn)PI+1跟蹤到I+2幀上的點(diǎn)PI+2……由此完成連續(xù)幀之間目標(biāo)圓心點(diǎn)的跟蹤。

由于實(shí)驗(yàn)環(huán)境復(fù)雜且跟蹤的目標(biāo)對象為物理特征不明顯的乒乓球，實(shí)驗(yàn)過程中有可能會出現(xiàn)部分跟蹤失誤。本文所用相機(jī)幀率為25幀/s，則目標(biāo)乒乓球在連續(xù)的前后兩幀之間的運(yùn)動極其微小，同一個乒乓球在連續(xù)兩幀之間的球心位移變化波動微弱，所以在連續(xù)前后幀之間運(yùn)用最小歐氏距離進(jìn)行點(diǎn)的跟蹤判斷。

假設(shè)第N 幀上i個圓心點(diǎn)均跟蹤到N+1幀上的圓心點(diǎn)（xn+1，yn+1），定義N 幀上i 個點(diǎn)的坐標(biāo)為（xin，yin）（1≤i≤6），在N+1 幀上進(jìn)行跟蹤搜索。利用式（4），i個疑似點(diǎn)中與點(diǎn)（xn+1，yn+1）距離Δd最小的即為正確跟蹤點(diǎn)。

由基于光流法跟蹤到一顆乒乓球在連續(xù)17 幀間的運(yùn)動情況如圖8 所示，由跟蹤圖可以明顯看出乒乓球的下落彈跳運(yùn)動。

4 軌跡重建與分析

由目標(biāo)跟蹤獲得乒乓球運(yùn)動過程中球心的三維坐標(biāo)序列，可以利用Matlab 中的plot3 函數(shù)擬合出其運(yùn)動軌跡。

如圖9所示為6只球在空間中的運(yùn)動軌跡。實(shí)驗(yàn)中，乒乓球上拋后自由下落，觸及水平桌面后進(jìn)行彈跳運(yùn)動，直至停止。從圖中可以明顯看出乒乓球的彈跳運(yùn)動軌跡。

圖8 乒乓球在連續(xù)17幀間的運(yùn)動示意圖

圖9 乒乓球運(yùn)動軌跡

根據(jù)運(yùn)動軌跡和相關(guān)數(shù)據(jù)，獲得乒乓球運(yùn)動下落點(diǎn)、速度的變化，由此得知乒乓球的運(yùn)動狀態(tài)。一顆乒乓球在30 幀圖像內(nèi)落點(diǎn)3 次的空間位置分析結(jié)果如表2所示。

表2 乒乓球的落點(diǎn)位置變化

相機(jī)幀率為25幀/s，則連續(xù)兩幀之間的時間間距為0.04s。利用式（5）可以求出乒乓球球心在不同幀的瞬間速度v。

乒乓球在不同幀的瞬時速度為表3所示。

表3 乒乓球的瞬時速度變化

5 結(jié)語

本文基于圖像三維重建系統(tǒng)，研究球狀物體運(yùn)動的軌跡追蹤。使用橢圓擬合檢測獲取圖像上的球心，將立體校正和歐氏距離相結(jié)合完成左右視圖上對應(yīng)球心的匹配。分別利用色彩特征和光流算法對乒乓球進(jìn)行跟蹤，繼而重建各個目標(biāo)點(diǎn)的三維數(shù)據(jù)，形成球狀物體的運(yùn)動軌跡。經(jīng)過實(shí)驗(yàn)驗(yàn)證，該方法復(fù)雜度低、穩(wěn)定可靠，在今后仍有很好的研究和應(yīng)用價值，適用于球類體育競技比賽及相關(guān)行業(yè)中。