(商洛學院，陜西 商洛 726000)

足球比賽視頻中的目標檢測與跟蹤算法研究

楊斌

(商洛學院，陜西商洛726000)

為在足球視頻中有效的檢測與跟蹤運動目標，需要對足球比賽視頻中目標檢測與跟蹤算法進行研究；當前采用的算法，在動態(tài)場景中，存在運動目標檢測與跟蹤效果不佳的問題；為此，提出一種基于OpenCV的足球比賽視頻中目標檢測與跟蹤算法；該算法結(jié)合平均背景算法將足球比賽視頻中目標圖像分割為前景區(qū)與背景區(qū)，計算足球比賽視頻每一幀目標圖像和背景圖像之間差值的絕對差值，同時計算每一個目標圖像中像素點的平均值與標準值來建立目標圖像背景統(tǒng)計模型，利用TMHI算法對足球比賽視頻中目標初始圖像進行閾值分割，得到初始分割圖像，對分割圖像進行中值濾波和閉運算，再使用卡爾曼濾波對分割后的目標圖像進行處理，得到鏡頭中目標的質(zhì)心位置和目標外界矩形框，然后對足球比賽視頻中目標進行跟蹤；實驗證明，該算法有效的檢測與跟蹤足球視頻中運動目標。

足球比賽；視頻；目標檢測；目標跟蹤

0 引言

近幾年，隨著科技的發(fā)展及人們對生活質(zhì)量要求的提高，對視頻目標檢測與跟蹤技術(shù)的需求越來越廣泛[1]。作為觀眾喜愛的體育視頻之一，足球比賽視頻中檢測與跟蹤算法的研究受到研究人員的關(guān)注[2]。然而當前使用的算法，在動態(tài)場景中，存在運動目標檢測與跟蹤效果不佳的問題[3]。在這種情況下，如何在足球視頻運動背景畫面較為復雜的情況下，精準的檢測與跟蹤運動目標，成為當前研究的重點[4]。該算法結(jié)合平均背景算法將足球比賽視頻中目標圖像分割為前景區(qū)與背景區(qū)，計算足球比賽視頻每一幀目標圖像和背景圖像之間差值的絕對差值，同時計算每一個目標圖像中像素點的平均值與標準值來建立目標圖像背景統(tǒng)計模型，利用TMHI算法對足球比賽視頻中目標初始圖像進行閾值分割，得到初始的分割圖像，并對分割圖像進行中值濾波和閉運算，再使用卡爾曼濾波對分割后的目標圖像進行處理，得到鏡頭中目標的質(zhì)心位置和目標外界矩形框，然后對足球比賽視頻中目標進行跟蹤。在足球視頻中，有效的目標檢測與跟蹤，對足球視頻的上層分析有著重要意義，因此成為業(yè)內(nèi)人士研究的焦點話題，受到廣泛關(guān)注，同時也取得一定研究成果[5-7]。

現(xiàn)有的足球比賽視頻中目標檢測和跟蹤的算法有：文獻[8]提出一種基于高斯模型的足球比賽視頻中目標檢測與跟蹤算法，利用背景分差法分割足球比賽視頻中目標圖像，分割出前景目標，以Kalman濾波為目標運動模型，對運動目標進行實時跟蹤，當跟蹤目標時有遮擋的情況發(fā)生，該算法將對引起遮擋原因進行分析，并引入足球比賽視頻中目標的可靠性度量，以增強該算法目標跟蹤的可靠性和穩(wěn)定性。該算法具有良好的性能，外界因素對其影響不大，但該算法檢測目標沒有持續(xù)性，經(jīng)常發(fā)生目標丟失的情況。文獻[9]提出一種基于粒子濾波的足球比賽視頻中目標檢測與跟蹤算法，該算法解決了足球比賽視頻中目標檢測與跟蹤的非線性問題和非高斯問題，積極目標圖像幀觀測數(shù)據(jù)以提高圖像信噪比，以最快的速度檢測到視頻中運動目標的存在，選擇合理的圖像樣本長度，可以保證目標檢測的連續(xù)性，該算法具有良好的檢測與跟蹤性能，但背景較為復雜的情況下，檢測的性能下降。文獻[10]提出一種基于背景匹配的足球比賽視頻中目標檢測與跟蹤算法，該算法通過相關(guān)匹配算法將足球比賽視頻中背景圖像對齊，并與幀間差分算法相結(jié)合，提取出足球比賽視頻中運動目標，再使用卡爾曼預(yù)測器對足球比賽視頻中目標位置進行預(yù)測，該算法具有檢測目標速度快、效果穩(wěn)定的優(yōu)點，但該算法的檢測與跟蹤結(jié)果容易受到外界的干擾，出現(xiàn)檢測圖像模糊不清。

針對上述問題，提出一種基于OpenCV的足球比賽視頻中目標檢測與跟蹤算法。實驗證明，所提算法有效的檢測與跟蹤足球視頻中運動目標。

1 足球比賽視頻中的目標檢測與跟蹤算法研究現(xiàn)狀況及問題

足球比賽視頻中目標檢測就是使用恰當?shù)乃惴▽δ繕诵畔⒁曨l序列進行處理，將運動目標圖像前景區(qū)與背景區(qū)分開的過程，是實現(xiàn)足球比賽視頻中目標檢測與跟蹤算法高層次視頻分析的基礎(chǔ)，也是計算機視覺信息提取的重要問題。目前比較成熟的視頻中目標檢測算法有以下三種：幀間差分算法、背景差分算法和光流算法。

幀間算差分算法是視頻中目標檢測常見方法之一，幀間算差分算法對足球比賽視頻中連續(xù)的兩幀或三幀目標視頻序列圖像進行差分操作，使用計算結(jié)果來檢測足球比賽視頻中目標的位置，幀間算差分算法具有計算量小、實時檢測的優(yōu)點，但對足球比賽視頻中目標運動的方式比較敏感，檢測結(jié)果經(jīng)常產(chǎn)生空洞和虛影現(xiàn)象。背景差分算法是這三種方中最為有效的視頻中目標檢測算法，背景差分算法是對足球比賽視頻中目標圖像的前景圖像與背景圖像進行差分操作，同樣利用計算結(jié)果來檢測足球比賽視頻中目標的位置。背景差分算法的計算難度適中、實時檢測的效果好、抗干擾性強的特點，并且背景差分算法檢測足球比賽視頻中目標位子的準確度較高，背景差分算法對光照長時間變化敏感，不適合長時間在光照下進行檢測工作。光流算法賦予足球比賽視頻中目標圖像里每一個像素點一個速度矢量，在目標運動的過程中，目標視頻圖像上的像素點會與三維目標物體上的點一一對應(yīng)，根據(jù)對應(yīng)像素點的速度矢量特征，可以檢測出目標的三維形狀以及位置信息，但光流算法計算量較大、實時檢測能力較差，而且需要在特定的軟件系統(tǒng)上才可以使用。

足球比賽視頻中目標跟蹤算法的基本原理為：在足球比賽視頻中目標檢測結(jié)果上，分析跟蹤目標外在信息，計算視頻中連續(xù)的兩幀圖像信息相似度較大的區(qū)域，并記錄足球比賽視頻中目標質(zhì)心(質(zhì)量中心)位置和運動軌跡。

想要良好的檢測和跟蹤足球比賽視頻中目標檢測和跟蹤目標，必須精準的檢測出視頻中目標的位置，并且要快速、穩(wěn)定、實時的對目標進行跟蹤，在目標跟蹤時出現(xiàn)遮擋或跟丟的情況時，要有一定的自我恢復能力。想要同時滿足實時檢測、準確檢測和可靠性三個條件并不容易。當前足球比賽視頻中的目標檢測與跟蹤算法研究遇到背景復雜干擾、遮擋、陰影和實時性與魯棒性比平衡等問題。

許多學者在上文中提到的視頻目標檢測技術(shù)的基礎(chǔ)上，提出了許多優(yōu)化算法，提高足球比賽視頻中目標檢測的準確性。本文提出了一種基于OpenCV的足球比賽視頻中目標檢測與跟蹤算法。

2 基于OpenCV的足球比賽視頻中的目標檢測與跟蹤算法

2.1 足球比賽視頻中目標檢測算法

常用的足球比賽視頻中目標檢測與跟蹤算法有幀間差分算法、背景差分算法和光流算法這三種，背景差分算法這三種算法中最常用的算法，但背景差分算法算法不足之處，一些學者提出結(jié)合對稱差分算法和背景減法。本文在背景差分法的基礎(chǔ)上，提出了OpenCV平均背景法。背景差分算法將足球比賽視頻中每一幀目標圖像的前景區(qū)與背景區(qū)進行差分操作，假設(shè)足球比賽視頻中前景幀圖像為f(x,y)，背景幀圖像為B(x,y)，則前景區(qū)與背景區(qū)的差分圖像表達式為：

D(x,y)=|f(x,y)-B(x,y)|

(1)

式中,D(x,y)為前景區(qū)與背景區(qū)的差分圖像；將得到的目標差分圖像進行二值化處理，當目標差分圖像中像素點大于給定的閾值時，則像素點為前景區(qū)像素點，反之為背景區(qū)像素點。

背景差分算法對光照長時間變化敏感，會因此產(chǎn)生許多偽目標運動點，影響足球比賽視頻中目標檢測的效果。此問題可以用平均背景算法來解決，通過平均背景算法技術(shù)目標圖像中每一個像素點的平均值和標準值，以計算結(jié)果構(gòu)建目標圖像的背景模型，并用該模型描述足球比賽視頻中目標圖像每一個像素點的變化，當目標圖像像素點的平均值與標準差都大于給定的閾值，那么該像素點位于目標圖像的前景區(qū)。

OpenCV平均背景算法為平均背景算法在OpenCV中的應(yīng)用，則給算法的計算步驟與平均背景法相同。平均背景法的計算步驟為：

1)計算目標圖像平均像素值：累積足球比賽視頻每一幀目標圖像和背景圖像，計算兩者之間絕對差值，一般情況下，需要累積50～1500幀目標圖像，利用平均背景算法計算目標圖像中每一個像素點的平均值和標準值，為構(gòu)建目標圖像背景統(tǒng)計模型打下基礎(chǔ)。足球比賽視頻中目標圖像平均像素公式為：

(2)

式中,fk(x,y)和fk-1(x,y)為足球比賽視頻中兩幀相鄰的目標圖像；n為足球比賽視頻中目標圖像的總幀數(shù)；k表示足球比賽視頻中第k個目標圖像。在OpenCV中利用cvAcc函數(shù)累積足球比賽視頻中目標圖像的每一幀前景圖像和背景圖像。足球比賽視頻中目標圖像像素的標準值公式為：

(3)

在OpenCV中利用cvAbsDiff函數(shù)計算足球比賽視頻每一幀目標前景圖像和背景圖像之間的絕對差圖像。

2)建立目標圖像背景統(tǒng)計模型：一旦累積到足夠多的足球比賽視頻每一幀目標圖像和背景圖像，計算每一個目標圖像中像素點的平均值與標準值，將計算結(jié)果轉(zhuǎn)化為目標圖像背景統(tǒng)計模型。在目標圖像背景統(tǒng)計模型中設(shè)置一個高閾值8和一個低閾值5，將每一幀目標前景圖像和背景圖像之間的絕對差值，當兩者之間的絕對差值大于8或小于5時，該目標圖像像素點都被認為是目標圖像前景。在OpenCV中利用cvInRange函數(shù)分割目標圖像，將目標圖像分割成前景區(qū)與背景區(qū)。

3)建立目標背景統(tǒng)計模型后，后續(xù)的圖像幀進入前景判定模塊，即可以檢測出足球比賽視頻中運動目標。

2.2 足球比賽視頻中目標跟蹤算法

在OpenCV中提出全局目標運動模型的TMHI算法對足球比賽視頻中目標進行跟蹤。通過該模型計算可以得出全局運動目標矢量，并計算出足球比賽視頻中目標實際的運動矢量與全局的目標運動矢量之差，利用計算結(jié)果獲取足球比賽視頻中目標圖像中目標運動的局部矢量，但是直接使用TMHI算法計算足球比賽視頻中目標實際的運動矢量，需要經(jīng)過多次迭代計算，而且全局目標運動模型的幅值較大，導致計算結(jié)果誤差增大，所以先對全局目標運動模型進行補償，再使用TMHI算法進行迭代計算，計算出目標運動的局部矢量。

根據(jù)全局目標運動模型計算出足球比賽視頻中目標圖像中每一個像素點的全局運動矢量(ug,vg)，假設(shè)由足球比賽視頻中目標運動引起的全局運動矢量(u1,v1),并初始化為0。對全局目標運動模型等式(4)和等式(5)成立：

u-n=ug+u1

(4)

v-n=vg+v1

(5)

根據(jù)TMHI算法的迭代方程對局部目標運動區(qū)域進行迭代計算，可以準確的計算出目標圖像局部目標運動區(qū)域的矢量場。TMHI算法的迭代方程為：

(6)

(7)

計算出足球比賽視頻中目標運動的局部運動區(qū)域矢量場后，對局部運動區(qū)域矢量場的目標圖像進行分割，獲得足球比賽視頻中運動目標的運動區(qū)域，根據(jù)矢量場局部圖像的均值確定其閾值。再對目標圖像進行閾值分割，得到初始的分割圖像，對已分割的初始圖像進行中值濾波和閉運算。使用卡爾曼濾波對分割后的目標圖像進行處理，選擇鏡頭中目標的質(zhì)心位置和目標外界矩形框，并對其進行跟蹤，假設(shè)足球比賽視頻中目標質(zhì)心的位置為(r,c)，目標質(zhì)心的運動矢量為(vx,vy)，足球比賽視頻中目標外界矩形框的高度與寬度為(h,w),則足球比賽鏡頭中目標的運動狀態(tài)的狀態(tài)矢量可以表示為：

x=(r,c,h,w,vx,vy)T

(8)

卡爾曼濾波根據(jù)最小均方差估計目標圖像狀態(tài)矢量與預(yù)測值之間的均方誤差，使其達到最小值。則足球比賽視頻中目標圖像的狀態(tài)方程和觀測方程可以定義為：

xn=Axn-1+wn-1

(9)

zn=Hzn-1+vn

(10)

式中,xn為足球比賽視頻中目標在n時刻的狀態(tài)向量；zn為足球比賽視頻中目標在n時刻的觀測向量；A為目標狀態(tài)轉(zhuǎn)移矩陣；H為視頻中目標的觀測矩陣；wn-1和vn兩個互不相關(guān)的高斯白噪聲，且兩者的均值為零。如果足球比賽視頻中兩個相鄰幀的目標外界矩形框的變化較小，說明目標的運動恒定。當目標矢量為公式(11)時，則足球比賽視頻中目標的狀態(tài)轉(zhuǎn)移矩陣和觀測矩陣可以用公式(12)和公式(13)表示：

z=(r,c,h,w)T

(11)

(12)

(13)

經(jīng)過公式(8)～(13)的計算可以估計出足球比賽視頻中目標質(zhì)心的位置以及外界矩形的高度與寬度，從而確定視頻中目標的運行軌跡，并對其進行跟蹤。

3 仿真實驗結(jié)果與分析

為了證明本文所提出的OpenCV的足球比賽視頻目標檢測與跟蹤算法的有效性，需要進行一次實驗研究。實驗視頻為納什基金會今年的公益足球比賽現(xiàn)場視頻，實驗視頻中目標運動員由運動到靜止再到運動，視頻中每一幀圖像的分辨率為720×576，幀率為每秒5幀。首先對本文算法的檢測效果進行測試，圖1給出足球比賽視頻中運動目標圖像，圖2、圖3、給出本文算法分別與經(jīng)常使用的背景差分算法和幀間差分算法目標檢測效果對比圖，圖2顯示本文算法與背景差分算法目標檢測結(jié)果，從圖中可以看出在長時間光照下背景差分算法的檢測輪廓不完整，檢測的效果一般，本文算法完全不受光照的影響。

圖1 足球比賽視頻中目標圖像

圖2 光照下幀間差分算法與本文算法檢測結(jié)果

圖3顯示本文算法與幀間差分算法目標檢測結(jié)果，從圖中可以看出幀間差分算法可以檢測出目標的基本輪廓，但邊緣部分有缺失，本文算法檢測結(jié)果雖然也有部分缺失，但相較于背景差分算法檢測的邊緣輪廓信息完整。

圖3 背景差分算法與本文算法檢測結(jié)果

本文算法將目標圖像分為前景區(qū)與背景區(qū)，在分割的過程中，當目標圖像中像素點的閾值大于8或小于5時，說明該像素點為前景圖像，更好的檢測目標，假設(shè)閾值單位為ep,前景圖像隨閾值增長像素點的密度變大，檢測結(jié)果越精準。

圖4 前景圖像檢測效果

接下來對本文提出的卡爾曼濾波器跟蹤算法的跟蹤性能進行測試，當α=0.6、β=0.6、ε=6時，表1中給出卡爾曼濾波器的跟蹤結(jié)果。

表1 卡爾曼濾波器跟蹤結(jié)果

從上述實驗中可以看出，所提方法可以解決目標檢測算法中多種不精確檢測目標的問題，并對已檢測到的目標實時跟蹤。

4 結(jié)束語

采用當前的算法，在動態(tài)場景中，存在運動目標檢測與跟蹤效果模糊的情況。提出一種基于OpenCV的足球比賽視頻中目標檢測與跟蹤算法。并通過實驗證明，所提算法能夠?qū)ψ闱蛞曨l中運動目標進行高效的檢測與跟蹤。

[1] 丁曉娜,孟祥艷.基于仿生系統(tǒng)的雙視角運動目標檢測方法[J].電子設(shè)計工程,2016,24(11):18-20.

[2] 權(quán) 巍,包鐵壯,白寶興,等.SURF與RANSAC算法結(jié)合的圖像跟蹤方法[J].計算機仿真,2016,33(9):268-272.

[3] 邵萬開,石澄賢.動態(tài)背景下運動目標檢測與跟蹤研究[J].計算機測量與控制,2016,24(8):52-55.

[4] 聞 凱.基于復雜融合特征與灰度-紋理直方圖描述子的紅外弱小目標檢測追蹤算法[J].科學技術(shù)與工程,2016,16(34):83-91.

[5] 黃 斌.基于自適應(yīng)觀測粒子濾波的運動跟蹤算法[J].科技通報,2016,32(3):145-148.

[6] 胡子軍,張林讓,房嘉奇.多站無源雷達多起伏目標檢測前跟蹤算法[J].電子與信息學報,2015,37(3):651-657.

[7] 柳 超,李秀友,黃 勇.優(yōu)化的多模型粒子濾波機動微弱目標檢測前跟蹤方法[J].信號處理,2015,31(9):1131-1137.

[8] 尹宏鵬,陳 波,柴 毅,等.基于視覺的目標檢測與跟蹤綜述[J].自動化學報,2016,42(10):1466-1489.

[9] 陳唯實.基于時域特性的非相參雷達目標檢測與跟蹤[J].系統(tǒng)工程與電子技術(shù),2016,38(8):1800-1807.

[10] 劉紅亮,周生華,劉宏偉,等.一種航跡恒虛警的目標檢測跟蹤一體化算法[J].電子與信息學報,2016,38(5):1072-1078.

GreyNeuralNetworkModelforPredictionofCarbonEmissions

Yang Bin

(Shangluo University,Shangluo 726000,China)

In order to target motion detection and tracking effectively in the soccer video, need to study object in soccer video detection and tracking algorithm. The algorithm in dynamic scenes, are moving target detection and tracking problems. Therefore, this paper proposed an algorithm for detection and tracking of target OpenCV in soccer video based on this algorithm. Combining the average background algorithm will target image segmentation for soccer video in the foreground area and background area, calculates the difference between the absolute difference of soccer video each frame of target image and background image, and calculate the average value of each pixel in the target image and the standard value. The establishment of the target image background statistical model, the initial target of soccer video image segmentation using TMHI algorithm to obtain the initial image segmentation, median filtering and closed operation of image segmentation, and then use the Calman filter to process the target image after segmentation, target centroid position and get outside rectangular shots target in the frame. Then the goal in soccer video tracking. The experimental results show that the moving target detection and tracking algorithm for soccer video effectively.

football match; video; object detection; target tracking

2017-05-15；

2017-06-28。

陜西省體育局項目(16063)；陜西省體育局項目(16071)；商洛學院教改項目(15jyjx104)；商洛學院教改項目(16jyjx133)； 商洛學院科研項目(16SKY0011)；陜西省教育學會2016年度課題項目(SJHYBKT2016068)。

楊 斌(1983-)，男，陜西商洛人，碩士研究生，主要從事體育教學理論與運動訓練實踐方向的研究。

1671-4598(2017)09-0286-03

10.16526/j.cnki.11-4762/tp.2017.09.068

TP391

A