劉苗苗，李增男，張永生

（東北石油大學(xué)，黑龍江 大慶 163318）

隨著計(jì)算機(jī)視覺(jué)技術(shù)和圖像處理技術(shù)的飛速發(fā)展，基于視頻的運(yùn)動(dòng)目標(biāo)檢測(cè)及跟蹤技術(shù)在排球等體育項(xiàng)目中應(yīng)用越來(lái)越廣泛.針對(duì)排球比賽技術(shù)分析和指導(dǎo)的應(yīng)用需求，本文以排球的檢測(cè)跟蹤及運(yùn)動(dòng)軌跡為研究對(duì)象，將計(jì)算機(jī)視覺(jué)技術(shù)、圖像處理技術(shù)相結(jié)合，提出基于視頻的排球檢測(cè)、跟蹤、軌跡獲取整體解決方案，采用Intel OpenCV及matlab開(kāi)發(fā)一套排球智能分析系統(tǒng).系統(tǒng)采用雙攝像機(jī)同步讀取兩個(gè)攝像頭實(shí)時(shí)捕獲的視頻，獲取不同方位的排球運(yùn)動(dòng)圖像信息.通過(guò)標(biāo)定兩臺(tái)攝像機(jī)的內(nèi)外參數(shù)獲得排球的三維坐標(biāo).從系統(tǒng)實(shí)時(shí)性和魯棒性要求出發(fā)，使用背景差分法實(shí)現(xiàn)對(duì)排球的快速檢測(cè).同時(shí)結(jié)合排球的形狀、顏色、亮度等特性實(shí)現(xiàn)對(duì)排球的識(shí)別與空間定位.利用排球的運(yùn)動(dòng)特性，建立并修正其運(yùn)動(dòng)軌跡方程.通過(guò)兩個(gè)攝像頭同步獲得的軌跡曲線實(shí)現(xiàn)排球三維運(yùn)動(dòng)軌跡的曲線合成.該曲線不僅可以記錄每一時(shí)刻球體的位置信息，而且包含球體的運(yùn)動(dòng)方向、運(yùn)動(dòng)速度、輪廓參數(shù)等信息.最后，分析球體軌跡曲線特征，并將軌跡模型包含的信息作為智能分析系統(tǒng)的輸入，用于戰(zhàn)略戰(zhàn)術(shù)分析、隊(duì)員動(dòng)作分析等，為排球運(yùn)動(dòng)研究提供準(zhǔn)確依據(jù)和決策支持，進(jìn)而提高了比賽研究人員的工作效率.

1 關(guān)鍵技術(shù)分析實(shí)現(xiàn)

基于視頻的排球智能分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)主要涉及視頻幀處理、運(yùn)動(dòng)目標(biāo)檢測(cè)識(shí)別、運(yùn)動(dòng)軌跡提取等幾方面技術(shù).整個(gè)系統(tǒng)的工作流程如下：

(1)進(jìn)行攝像機(jī)標(biāo)定和場(chǎng)地標(biāo)定，獲得攝像機(jī)內(nèi)外參數(shù)以及場(chǎng)地邊界數(shù)據(jù)，同時(shí)將圖像的像素坐標(biāo)映射成實(shí)際場(chǎng)地坐標(biāo).

(2)接收由攝像機(jī)和圖像采集卡等視頻設(shè)備獲取的數(shù)字信號(hào)，并將采集到的每幀數(shù)據(jù)保存為靜態(tài)圖像.

(3)比賽開(kāi)始后啟動(dòng)系統(tǒng)，利用運(yùn)動(dòng)目標(biāo)檢測(cè)算法檢測(cè)是否有運(yùn)動(dòng)目標(biāo).

(4)通過(guò)特定的運(yùn)動(dòng)目標(biāo)跟蹤識(shí)別算法從圖像中分割并提取出運(yùn)動(dòng)目標(biāo).

(5)根據(jù)雙目攝像機(jī)所獲取的目標(biāo)質(zhì)心坐標(biāo)得到排球的三維坐標(biāo)值，記錄其運(yùn)動(dòng)軌跡數(shù)據(jù)和軌跡特征，建立運(yùn)動(dòng)軌跡方程.

(6)將軌跡曲線特征作為智能分析系統(tǒng)的輸入，用于比賽訓(xùn)練等的裁判決策和智能分析.

1.1 視頻信息的獲取

本系統(tǒng)要根據(jù)采集到的視頻信息獲得排球的運(yùn)動(dòng)軌跡曲線圖，因此要通過(guò)攝像機(jī)標(biāo)定實(shí)現(xiàn)從視頻設(shè)備中獲得的二維圖像到運(yùn)動(dòng)目標(biāo)三維坐標(biāo)信息的對(duì)應(yīng)轉(zhuǎn)換[1].系統(tǒng)首先采用線性標(biāo)定或張正友標(biāo)定等傳統(tǒng)標(biāo)定法對(duì)攝像機(jī)進(jìn)行標(biāo)定，獲取攝像機(jī)的內(nèi)外參數(shù)以及雙目攝像機(jī)的位姿關(guān)系[2].完成攝像機(jī)和場(chǎng)地的標(biāo)定后，接收由視頻設(shè)備獲取的數(shù)字信號(hào)，按一定的采樣間隔進(jìn)行采樣，得到時(shí)變序列圖像集，并將采集到的每幀數(shù)據(jù)保存為靜態(tài)圖像.系統(tǒng)通過(guò)雙目攝相機(jī)可同時(shí)從不同角度獲取兩幅圖像，然后基于視差原理恢復(fù)運(yùn)動(dòng)目標(biāo)的三維幾何信息[3].視頻在生成以及傳輸過(guò)程中，會(huì)因外界環(huán)境的影響產(chǎn)生一些噪聲，預(yù)處理階段可采用圖像濾波方法等對(duì)圖像幀進(jìn)行去噪處理，提高視頻幀的質(zhì)量，便于后期的分析處理.

1.2 運(yùn)動(dòng)目標(biāo)檢測(cè)

由于攝像機(jī)和運(yùn)動(dòng)場(chǎng)地背景處于相對(duì)靜止?fàn)顟B(tài)，而當(dāng)前在靜止背景下常用的運(yùn)動(dòng)目標(biāo)檢測(cè)方法有背景差分法、幀間差分法、光流法和運(yùn)動(dòng)能量法等[4].背景差分法是基于圖像序列和參考背景模型相減實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測(cè)的，是當(dāng)前最常用的運(yùn)動(dòng)目標(biāo)檢測(cè)方法之一.它首先抓取圖像作為背景圖像，之后利用當(dāng)前圖像與背景圖像差分從而檢測(cè)出運(yùn)動(dòng)物體.該方法能夠較完整地提取出運(yùn)動(dòng)目標(biāo)，位置精確，實(shí)時(shí)性好，因此本系統(tǒng)設(shè)計(jì)中采用了背景差分法來(lái)提取排球運(yùn)動(dòng)模型，使用Intel公司提供的計(jì)算機(jī)視覺(jué)函數(shù)庫(kù)OpenCV進(jìn)行圖像處理和計(jì)算機(jī)視覺(jué)方面的算法.首先采集圖像，然后統(tǒng)計(jì)特征點(diǎn)，檢測(cè)當(dāng)前系統(tǒng)狀態(tài)下是否有運(yùn)動(dòng)目標(biāo).若有，則采集視頻數(shù)據(jù)，并保存成序列圖像.若無(wú)運(yùn)動(dòng)目標(biāo)則保存背景繼續(xù)檢測(cè)判斷.得到背景圖像和含有目標(biāo)的一幀圖像后，利用圖像減運(yùn)算可得到背景差分圖像.之后進(jìn)行噪音去除、連通區(qū)域標(biāo)記、基于排球亮度形狀顏色等的特征匹配，對(duì)連續(xù)圖像中的排球目標(biāo)進(jìn)行檢測(cè)，通過(guò)分析排球?qū)ο笤诒荣愐曨l中的面積、形態(tài)等屬性范圍目標(biāo)區(qū)域邊緣提取等篩選出候選排球?qū)ο?，最終將目標(biāo)識(shí)別出來(lái).

1.3 運(yùn)動(dòng)目標(biāo)跟蹤識(shí)別

國(guó)內(nèi)外相關(guān)研究人員已經(jīng)在球體的檢測(cè)與識(shí)別方面做了相應(yīng)的研究.劉斐等人提出一種混合顏色空間查找表的顏色分類方法，用于對(duì)圖像進(jìn)行顏色分割，并建立顏色查找表，依據(jù)顏色信息實(shí)現(xiàn)在線快速分類，識(shí)別球體.也有依據(jù)形狀進(jìn)行邊緣信息提取來(lái)識(shí)別球體的.常用的邊緣提取方法有Prewitt算子、Sobel算子、Laplacian算子和Canny算子等，其中Canny算子能很好地提取出圖像的單邊緣信息，具有較快的速度.賽場(chǎng)上常用的“鷹眼”技術(shù)已經(jīng)發(fā)展得比較成熟，主要用于體育賽事的即時(shí)回放，但回放時(shí)間的長(zhǎng)度有限，且需要多個(gè)高速攝像機(jī)，價(jià)格比較昂貴.Lipton等使用空間差減法在真實(shí)的視頻流中檢測(cè)并跟蹤運(yùn)動(dòng)目標(biāo).此外，有一種改進(jìn)方法是使用三幀差分代替兩幀差分.該算法計(jì)算非?？?，在圖像序列中檢測(cè)運(yùn)動(dòng)對(duì)象非常有效.

1.4 軌跡曲線提取

近年來(lái)，在眾多學(xué)者的努力下，多種軌跡提取方法得以誕生.清華大學(xué)劉曉東等人成功研制了一種基于計(jì)算機(jī)系統(tǒng)的運(yùn)動(dòng)目標(biāo)檢測(cè)、目標(biāo)跟蹤及目標(biāo)分類的智能監(jiān)控系統(tǒng).湖南大學(xué)萬(wàn)琴等人提出一種針對(duì)固定監(jiān)控場(chǎng)景的運(yùn)動(dòng)檢測(cè)與目標(biāo)跟蹤方法，利用運(yùn)動(dòng)預(yù)測(cè)技術(shù)實(shí)現(xiàn)目標(biāo)匹配，但該方法在復(fù)雜環(huán)境下對(duì)多個(gè)目標(biāo)進(jìn)行跟蹤時(shí)算法精確度大幅度降低[5].北航郝久月等人研究了監(jiān)控場(chǎng)景中運(yùn)動(dòng)目標(biāo)軌跡聚類算法.浙江大學(xué)的肖俊等人利用單個(gè)攝像機(jī)對(duì)人體未被遮擋部位的動(dòng)作進(jìn)行跟蹤.熊榮炎等人通過(guò)分析視頻序列圖像的灰度特征，結(jié)合背景差分減法，提出一種靜止攝像機(jī)條件下，基于特征值快速檢測(cè)與跟蹤目標(biāo)的方法.

本文著重研究排球比賽視頻中球體檢測(cè)與軌跡提取的精確性、魯棒性以及實(shí)時(shí)性等方面的問(wèn)題.系統(tǒng)針對(duì)實(shí)際需要建立了基于球體運(yùn)動(dòng)方向、運(yùn)動(dòng)速度、輪廓參數(shù)等信息的多元組軌跡模型.分析并總結(jié)了經(jīng)典的軌跡提取算法的優(yōu)缺點(diǎn)，有針對(duì)性地研究如何利用候選球體的X、Y坐標(biāo)值分布建立排球軌跡方程，并利用軌跡方程輔助、矯正排球的檢測(cè)和跟蹤，將識(shí)別出的球體的運(yùn)動(dòng)軌跡提取出來(lái)，提升算法運(yùn)行速度，實(shí)現(xiàn)運(yùn)動(dòng)軌跡魯棒提取，并將跟蹤結(jié)果及運(yùn)動(dòng)軌跡以視頻幀的形式展示出來(lái).

1.5 智能分析模塊

智能分析模塊可依據(jù)對(duì)排球運(yùn)動(dòng)軌跡變化情況的分析，研究排球比賽中運(yùn)動(dòng)員擊球行為的檢測(cè)、擊球動(dòng)作的分類、識(shí)別與分析技術(shù)等.

2 基于視頻的排球智能分析系統(tǒng)

2.1 系統(tǒng)軟硬件架構(gòu)

基于視頻的排球智能分析系統(tǒng)的硬件組成主要是由兩個(gè)攝像機(jī)和計(jì)算機(jī)組成的雙目視覺(jué)系統(tǒng).兩臺(tái)智能攝像機(jī)與上位機(jī)組成一個(gè)局域網(wǎng)，其中PC機(jī)作為服務(wù)器，兩臺(tái)智能相機(jī)作為客戶端，系統(tǒng)主要的運(yùn)算任務(wù)如視頻圖像的采集處理等都在兩臺(tái)攝像機(jī)中并行完成，極大地分擔(dān)了上位機(jī)的運(yùn)算負(fù)荷，起到了平衡負(fù)載的作用，解決了常規(guī)兩目視覺(jué)中的運(yùn)算瓶頸問(wèn)題.本系統(tǒng)中上位機(jī)不進(jìn)行圖像處理，只進(jìn)行簡(jiǎn)單的運(yùn)算如三維坐標(biāo)計(jì)算、曲線擬合等.

軟件部分使用Intel公司支持的開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù)OpenCV提供的函數(shù)進(jìn)行計(jì)算機(jī)視覺(jué)算法方面的開(kāi)發(fā)，采用VC++編程實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的檢測(cè)跟蹤算法，完成了攝像機(jī)及場(chǎng)地的標(biāo)定、圖像序列的獲取、排球目標(biāo)的檢測(cè)、排球運(yùn)動(dòng)軌跡的提取、軌跡特征信息的分析等.

2.2 系統(tǒng)實(shí)現(xiàn)

系統(tǒng)深入研究雙攝像頭下排球的識(shí)別檢測(cè)跟蹤與軌跡提取方法，為裁判輔助智能分析系統(tǒng)提供有效的數(shù)據(jù)輸入和決策支持，同時(shí)滿足系統(tǒng)的精確性、魯棒性、實(shí)時(shí)性等方面的問(wèn)題.

本系統(tǒng)采用張氏標(biāo)定法對(duì)攝像機(jī)進(jìn)行標(biāo)定，分別獲取兩個(gè)攝像機(jī)的內(nèi)外參數(shù)，進(jìn)而用于排球三維坐標(biāo)的獲取.排球視頻的采集采用高性能視頻采集卡，采集方式有多種，常用的是采用VFW(Video For Windows)硬件驅(qū)動(dòng)開(kāi)發(fā)包提供的接口或源代碼開(kāi)發(fā).VFW使用簡(jiǎn)單方便，但可控性差.因此，系統(tǒng)采用基于源碼的DirectX完成視頻采集，它是微軟開(kāi)發(fā)的基于Windows的一組API，通過(guò)DirectShow對(duì)象創(chuàng)建視頻端口，可以靈活方便地操作硬件并獲得各種所需的視頻數(shù)據(jù)，實(shí)現(xiàn)視頻流的壓縮傳輸.系統(tǒng)使用Intel公司支持的開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù)OpenCV提供的函數(shù)進(jìn)行計(jì)算機(jī)視覺(jué)算法方面的開(kāi)發(fā)[6]，排球檢測(cè)與跟蹤模塊采用VC++編程實(shí)現(xiàn)，運(yùn)行于Windows操作系統(tǒng)上.背景差分法的實(shí)現(xiàn)過(guò)程中結(jié)合了排球的形狀顏色等特征信息，及時(shí)更新背景圖像，提高了排球的檢測(cè)精度.運(yùn)用形態(tài)學(xué)濾波去除噪音，并進(jìn)行高斯濾波平滑圖像，實(shí)現(xiàn)了排球的檢測(cè)識(shí)別.最后通過(guò)卡爾曼預(yù)測(cè)原理對(duì)排球運(yùn)動(dòng)軌跡進(jìn)行跟蹤預(yù)測(cè)，得到排球運(yùn)動(dòng)軌跡曲線方程，并將軌跡曲線作為特征信息輸入智能分析系統(tǒng).整個(gè)智能分析系統(tǒng)的人機(jī)交互界面中可以設(shè)定攝像機(jī)的幀速率、場(chǎng)地信息等參數(shù).攝像機(jī)控制區(qū)可控制兩個(gè)雙目攝像機(jī)的啟動(dòng)、關(guān)閉、捕獲和載入視頻等.同時(shí)，運(yùn)用Matlab在人機(jī)交互界面還可以顯示通過(guò)雙目攝像機(jī)得到的排球運(yùn)動(dòng)軌跡曲線圖[7].

3 小結(jié)

由于排球比賽視頻背景復(fù)雜，鏡頭切換頻繁，排球運(yùn)動(dòng)過(guò)程中其顏色、大小等特征信息會(huì)經(jīng)常變化，且運(yùn)動(dòng)目標(biāo)提取容易受到背景、光線變化、陰影、運(yùn)動(dòng)速度等因素影響，因此很難以單個(gè)球?yàn)閷?duì)象建立一個(gè)有效的模型來(lái)檢測(cè)運(yùn)動(dòng)球體.且許多運(yùn)動(dòng)對(duì)象或者某些區(qū)域在外形上與排球很相似，當(dāng)球與球員和球場(chǎng)線接觸或被球員遮擋時(shí)，會(huì)給球的檢測(cè)造成很大的困難.因此，為了提高排球跟蹤算法的精確性和魯棒性，降低算法復(fù)雜性，必須提出新的目標(biāo)識(shí)別檢測(cè)跟蹤算法，并保證系統(tǒng)的實(shí)時(shí)、準(zhǔn)確、穩(wěn)定等.此外，由于排球運(yùn)動(dòng)中存在自旋以及外界不確定因素的干擾，難以建立準(zhǔn)確的運(yùn)動(dòng)學(xué)方程.因此，如何對(duì)一些經(jīng)典的濾波算法進(jìn)行改進(jìn)，提出魯棒性更高的軌跡獲取方法，根據(jù)視頻幀信息獲得排球每時(shí)每刻的位置坐標(biāo)和瞬時(shí)速度值等生成排球運(yùn)動(dòng)軌跡，也是系統(tǒng)的一個(gè)技術(shù)關(guān)鍵難題.結(jié)合排球軌跡信息，對(duì)視頻進(jìn)行更高層的語(yǔ)義分析是下一步需要研究的內(nèi)容.

〔1〕張虎.機(jī)器視覺(jué)中二維圖像的三維重建[D].北京:北方工業(yè)大學(xué),2006.

〔2〕田原嫄,張?jiān)戚x,譚慶昌.CCD攝像機(jī)標(biāo)定的研究[J],微計(jì)算機(jī)信息,2008,5(3):06-207.

〔3〕牟雅丹.基于雙目立體視覺(jué)系統(tǒng)的攝像機(jī)標(biāo)定技術(shù)[J],SCIENCE&TECHNOLOGY INFORMATION,2009,33.