李 寧，汪利慶，李 迅

(武漢工程大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，湖北 武漢 430205)

基于顏色直方圖概率分布的目標(biāo)跟蹤算法研究

李 寧，汪利慶，李 迅*

(武漢工程大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，湖北 武漢 430205)

針對(duì)復(fù)雜場(chǎng)景中存在受目標(biāo)相似物干擾造成的跟蹤錯(cuò)誤問(wèn)題，改進(jìn)了基于顏色直方圖概率分布的跟蹤算法，首先利用卡爾曼濾波器預(yù)估目標(biāo)狀態(tài)所在區(qū)域，可避免目標(biāo)被遮擋時(shí)Cam-shift算法陷入局部最大值，以及目標(biāo)速度過(guò)快時(shí)導(dǎo)致跟蹤失敗的問(wèn)題。然后利用馬爾科夫模型加入方向預(yù)測(cè)器，在背景干擾下實(shí)現(xiàn)顏色特征離散時(shí)的目標(biāo)狀態(tài)估計(jì)，增強(qiáng)檢測(cè)器對(duì)相似目標(biāo)的辨識(shí)能力。通過(guò)對(duì)多組場(chǎng)景下的目標(biāo)跟蹤實(shí)驗(yàn)，結(jié)果表明，改進(jìn)后的跟蹤算法提高了跟蹤準(zhǔn)確度和目標(biāo)的檢測(cè)速度，并且很大程度上提高了復(fù)雜背景中辨識(shí)相似目標(biāo)的準(zhǔn)確度。

目標(biāo)跟蹤；卡爾曼濾波；遮擋；處理速度；目標(biāo)預(yù)估

在跟蹤算法研究過(guò)程中，目標(biāo)的不定向運(yùn)動(dòng)會(huì)產(chǎn)生目標(biāo)遮擋、非剛性目標(biāo)結(jié)構(gòu)等變化，使得跟蹤算法受到各種程度的影響，甚至?xí)霈F(xiàn)目標(biāo)丟失的情況。當(dāng)圖像的特征信息相對(duì)穩(wěn)定時(shí)，目標(biāo)不發(fā)生形變，不管物體怎么移動(dòng)或怎樣旋轉(zhuǎn)，其顏色直方圖概率分布相對(duì)中心的距離在縮放比例下是確定的。因此，文獻(xiàn)中的方法廣泛利用顏色直方圖和物體特征進(jìn)行目標(biāo)跟蹤。常用的特征匹配算法有SIFT[1]、KLT[2]，等等，將KTL和SIFT特征結(jié)合的匹配算法[3]可提高跟蹤過(guò)程中的匹配精度，但無(wú)法解決光照和相似特征物體的干擾。利用SIFT特征與Mean-Shift結(jié)合[4]，由SIFT特征點(diǎn)提供的特征位置信息校正Mean-Shift向量，但匹配特征點(diǎn)與相對(duì)位置之間的變化對(duì)跟蹤結(jié)果的影響較大，而且背景區(qū)域的特征點(diǎn)對(duì)跟蹤結(jié)果也會(huì)產(chǎn)生干擾。顏色直方圖特征在目標(biāo)顏色特征描述略顯匱乏，缺少空間信息等，導(dǎo)致跟蹤結(jié)果精度降低。改進(jìn)的mean-shift算法[5]是利用目標(biāo)的顏色概率信息達(dá)到連續(xù)跟蹤目標(biāo)的效果，時(shí)間復(fù)雜度低，在簡(jiǎn)單背景下跟蹤結(jié)果更精準(zhǔn)，能自動(dòng)調(diào)節(jié)搜索窗口大?。坏艿綑z測(cè)器檢測(cè)范圍的限制，改進(jìn)的mean-shift算法對(duì)移動(dòng)速度過(guò)快的目標(biāo)跟蹤效果較差；并且，由于主要處理顏色直方圖反投影形成的二值圖像，以獲取圖像顏色的概率分布信息，對(duì)背景復(fù)雜和紋理特征豐富的目標(biāo)跟蹤效果較差，很容易受背景中與目標(biāo)相似的物體的干擾導(dǎo)致跟蹤失敗。該算法忽略了目標(biāo)的空間分布特征，所以在背景復(fù)雜情況下跟蹤算法中需要對(duì)目標(biāo)信息進(jìn)行預(yù)處理。

Cam-shift算法只考慮顏色直方圖概率分布，忽略了目標(biāo)空間特性和背景相似顏色特征的干擾。針對(duì)該算法存在的問(wèn)題，本文在原跟蹤算法的基礎(chǔ)上進(jìn)行改進(jìn)，利用卡爾曼濾波器，建立了目標(biāo)當(dāng)前狀態(tài)的模型，預(yù)估目標(biāo)運(yùn)動(dòng)速度，對(duì)目標(biāo)中心點(diǎn)所在區(qū)域預(yù)估，縮小檢測(cè)器搜索范圍，提高目標(biāo)局部遮擋時(shí)的跟蹤精度。針對(duì)紋理特征較為豐富的目標(biāo)檢測(cè)問(wèn)題，加入基于馬爾科夫模型的方向預(yù)測(cè)器，實(shí)現(xiàn)顏色特征離散情況下的狀態(tài)估計(jì)，能夠增強(qiáng)檢測(cè)器對(duì)相似目標(biāo)的辨識(shí)能力，解決背景中復(fù)雜的特征相似問(wèn)題。

1 算法介紹

1.1卡爾曼濾波器

在顏色直方圖概率分布的目標(biāo)跟蹤算法中，加入卡爾曼濾波器[6]，對(duì)目標(biāo)狀態(tài)區(qū)域進(jìn)行預(yù)估，預(yù)測(cè)目標(biāo)在下幀圖像序列中的位置，再由Cam-shift算法測(cè)量反饋，對(duì)卡爾曼濾波器預(yù)測(cè)以目標(biāo)位置為中心的區(qū)域進(jìn)行搜索目標(biāo)，能有效降低檢測(cè)器搜索范圍并提高算法的抗干擾性和準(zhǔn)確性。利用卡爾曼濾波器預(yù)估目標(biāo)下一幀的狀態(tài)是在誤差協(xié)方差最小準(zhǔn)則中的最佳方法，其實(shí)時(shí)性高，計(jì)算量小，利用實(shí)際的目標(biāo)運(yùn)動(dòng)參數(shù)對(duì)目標(biāo)狀態(tài)估計(jì)值更新修正。根據(jù)算法的檢測(cè)器搜索區(qū)域大小和位置，卡爾曼濾波的狀態(tài)方程為：

Xk=Ak,k-1Xk-1+WK-1

(1)

式中Xk為在離散時(shí)刻K的一個(gè)不可觀測(cè)12×1維狀態(tài)向量，WK-1為k-1時(shí)刻的狀態(tài)噪聲干擾，是獨(dú)立的零均值高斯白噪聲序列，由運(yùn)動(dòng)模型可得到的A(K,K-1)是兩個(gè)時(shí)刻之間的狀態(tài)轉(zhuǎn)移矩陣。利用卡爾曼濾波器得出狀態(tài)預(yù)測(cè)方程。Kalman預(yù)測(cè)器狀態(tài)預(yù)測(cè)方程為：

X′(k+1│k)=AX′(k│k-1)+AKk[Zk-HkX′(k│k-1)]

(2)

利用卡爾曼濾波器預(yù)測(cè)當(dāng)前目標(biāo)狀態(tài)中心位置，以該位置為中心，設(shè)定比上一幀輸出的目標(biāo)邊界框大4倍的矩形區(qū)域，判定該區(qū)域?yàn)槟繕?biāo)出現(xiàn)的區(qū)域，再由檢測(cè)器檢測(cè)該幀的子窗口中是否有目標(biāo)。由此來(lái)增強(qiáng)對(duì)目標(biāo)運(yùn)動(dòng)速度過(guò)快和目標(biāo)被遮擋的跟蹤能力，并提高檢測(cè)器的速度。圖1為該過(guò)程示意圖，C框是由卡爾曼濾波器預(yù)估并結(jié)合上一幀輸出目標(biāo)邊界框給出的當(dāng)前幀目標(biāo)所在范圍。子窗口A和B與C窗口有重疊，該范圍將被檢測(cè)器檢測(cè)，子窗口D無(wú)重疊范圍，將被忽略不再檢測(cè)。

圖1利用卡爾曼濾波器減小檢測(cè)范圍示意圖

1.2馬爾科夫模型預(yù)測(cè)

利用馬爾科夫模型對(duì)目標(biāo)運(yùn)動(dòng)方向預(yù)估，有效解決背景中存在兩個(gè)或兩個(gè)以上與目標(biāo)相似情形時(shí)的干擾，增強(qiáng)對(duì)目標(biāo)在運(yùn)動(dòng)過(guò)程中出現(xiàn)遮擋后的辨識(shí)能力。馬爾科夫模型預(yù)測(cè)[7]具有時(shí)域空間一致性，通過(guò)計(jì)算上一時(shí)刻目標(biāo)運(yùn)動(dòng)方向，有效預(yù)測(cè)下一時(shí)刻的目標(biāo)運(yùn)動(dòng)狀態(tài)和位置。

在視頻幀數(shù)據(jù)中，目標(biāo)運(yùn)動(dòng)可理解為二維空間中的平面運(yùn)動(dòng)，簡(jiǎn)單劃分為垂直方向和水平方向上的運(yùn)動(dòng)。分別設(shè)計(jì)馬爾科夫模型預(yù)測(cè)兩個(gè)方向上的目標(biāo)運(yùn)動(dòng)趨勢(shì)。在水平維度上，定義空間狀態(tài)為0和1,0代表向左方向，1代表向右方向。設(shè)定馬爾科夫模型當(dāng)前預(yù)測(cè)狀態(tài)只和上一時(shí)刻狀態(tài)及狀態(tài)轉(zhuǎn)移矩陣相關(guān)。目標(biāo)在t時(shí)刻的運(yùn)動(dòng)方向狀態(tài)量和轉(zhuǎn)移矩陣，預(yù)測(cè)t+1時(shí)刻的目標(biāo)方向?yàn)椋?/p>

(4)

式中p(St=1)和p(St=0)表示目標(biāo)在t時(shí)刻的向右和向左的概率。p(St+1=1)和p(St+1=0)表示預(yù)測(cè)目標(biāo)在下一時(shí)刻的運(yùn)動(dòng)方向的概率。預(yù)測(cè)目標(biāo)在下一時(shí)刻的運(yùn)動(dòng)方向選擇概率較大的方向。根據(jù)馬爾科夫模型預(yù)測(cè)判定跟蹤人體目標(biāo)的運(yùn)動(dòng)方向，根據(jù)上一時(shí)刻跟蹤目標(biāo)的中心點(diǎn)位置標(biāo)定當(dāng)前幀中的一個(gè)區(qū)域，在下一幀中目標(biāo)出現(xiàn)在劃定的區(qū)域內(nèi)，則符合馬爾科夫模型對(duì)目標(biāo)方向的預(yù)測(cè)。圖2為馬爾科夫模型對(duì)跟蹤目標(biāo)運(yùn)動(dòng)方向預(yù)測(cè)判定，標(biāo)定檢測(cè)區(qū)域示意圖，圖2中矩形框表示運(yùn)動(dòng)目標(biāo)在上一時(shí)刻的位置區(qū)域，在該時(shí)刻由馬爾科夫模型預(yù)測(cè)得出運(yùn)動(dòng)目標(biāo)在水平方向向右的趨勢(shì)。因此，在虛線右側(cè)的區(qū)域?yàn)闄z測(cè)器檢測(cè)區(qū)域。

圖2目標(biāo)運(yùn)動(dòng)方向預(yù)測(cè)和檢測(cè)區(qū)域示意圖

2 改進(jìn)的CamShift跟蹤算法

Cam-Shift算法是改進(jìn)的mean-shift算法，不斷迭代計(jì)算均值漂移矢量，直至收斂到概率密度最大的過(guò)程，其計(jì)算量較小，是顏色特征的非參數(shù)核密度估計(jì)算法，即連續(xù)自適應(yīng)目標(biāo)的跟蹤算法。原算法對(duì)目標(biāo)快速移動(dòng)的跟蹤，會(huì)造成目標(biāo)與當(dāng)前搜索區(qū)域窗口無(wú)法連接，影響目標(biāo)跟蹤，造成跟蹤錯(cuò)誤甚至目標(biāo)丟失。本文加入卡爾曼濾波器和卡爾曼模型，對(duì)目標(biāo)狀態(tài)區(qū)域的進(jìn)行預(yù)估，能夠使 Cam-Shift算法更容易處理背景復(fù)雜的情況下的跟蹤問(wèn)題，對(duì)每幀圖像序列得到的目標(biāo)區(qū)域位置的預(yù)測(cè)和更新修正，能有效縮小檢測(cè)器檢測(cè)范圍，提高檢測(cè)器處理速度，可得到對(duì)目標(biāo)快速移動(dòng)更精準(zhǔn)的跟蹤結(jié)果。

跟蹤目標(biāo)出現(xiàn)大面積的遮擋時(shí)，利用卡爾曼濾波器計(jì)算目標(biāo)所在區(qū)域的預(yù)估值，得到目標(biāo)位置，直到目標(biāo)不被遮擋。通過(guò)Bhattachryya距離d(y)計(jì)算不同顏色直方圖之間的相似程度，以判斷跟蹤目標(biāo)目標(biāo)被遮擋的時(shí)間和程度，計(jì)算出的值越小，表示兩個(gè)顏色直方圖越匹配。

利用Bhattachryya距離判斷目標(biāo)是否被遮擋，Bhattacharyya系數(shù)ρ(y):

(5)

式中pu(y)是目標(biāo)模型顏色直方圖，qu是當(dāng)前幀目標(biāo)子圖顏色直方圖。

計(jì)算Bhattacharyya距離公式d(y):

(6)

設(shè)定閾值Tb(本文取Tb=0.5)，若d(y)

針對(duì)動(dòng)態(tài)環(huán)境中存在與目標(biāo)相似物體干擾和快速的運(yùn)動(dòng)目標(biāo)跟蹤問(wèn)題，加入卡爾曼濾波器，改進(jìn)了卡爾曼模型對(duì)目標(biāo)狀態(tài)區(qū)域的預(yù)估算法，縮小運(yùn)動(dòng)目標(biāo)檢測(cè)的空間區(qū)域范圍來(lái)提高運(yùn)算處理速度，增強(qiáng)目標(biāo)跟蹤的準(zhǔn)確性和算法魯棒性。

圖3 改進(jìn)的自適應(yīng)跟蹤算法框架圖

3 實(shí)驗(yàn)結(jié)果及分析

本文實(shí)驗(yàn)是基于Visual Tracking Benchmark[8]的數(shù)據(jù)基準(zhǔn)，采用背景影響較大和運(yùn)動(dòng)目標(biāo)速度快的多組圖像系列。對(duì)各種場(chǎng)景變化干擾和目標(biāo)發(fā)生形變、遮擋的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)測(cè)試，列出具有代表性的兩組實(shí)驗(yàn)圖像序列結(jié)果圖對(duì)比。在原始的Cam-shift算法基礎(chǔ)上改進(jìn)，利用卡爾曼濾波器對(duì)當(dāng)前時(shí)刻目標(biāo)位置所在的區(qū)域預(yù)估，再由馬爾科夫模型預(yù)測(cè)運(yùn)動(dòng)目標(biāo)下一時(shí)刻的運(yùn)動(dòng)方向。針對(duì)檢測(cè)器增加的檢測(cè)區(qū)域改進(jìn)，排除不符合卡爾曼濾波器和馬爾科夫模型預(yù)測(cè)結(jié)果區(qū)域的范圍。實(shí)驗(yàn)對(duì)多組場(chǎng)景下的目標(biāo)跟蹤驗(yàn)證，增強(qiáng)了算法跟蹤結(jié)果準(zhǔn)確性和處理速度，并且提高了對(duì)場(chǎng)景中的相似目標(biāo)的辨識(shí)能力。

3.1實(shí)驗(yàn)結(jié)果對(duì)比

在足球(football)數(shù)據(jù)測(cè)試中，復(fù)雜背景中存在多個(gè)人物與目標(biāo)相似造成干擾，圖像序列中目標(biāo)快速移動(dòng)和大尺度的形變?cè)斐傻挠绊?。原跟蹤算法?duì)目標(biāo)發(fā)生少許形變跟蹤較為準(zhǔn)確，但是目標(biāo)發(fā)生大尺度的形變，造成目標(biāo)跟蹤錯(cuò)誤(如#186在背景中受相似目標(biāo)干擾造成目標(biāo)跟蹤錯(cuò)誤)。本文改進(jìn)后的跟蹤算法處理速度較快，對(duì)目標(biāo)發(fā)生大尺度形變的跟蹤結(jié)果準(zhǔn)確，利用馬爾科夫模型預(yù)測(cè)目標(biāo)運(yùn)動(dòng)方向的必要性，減小了背景相似目標(biāo)干擾和運(yùn)動(dòng)目標(biāo)較快的影響，跟蹤過(guò)程中跟蹤邊界框沒(méi)有出現(xiàn)偏離中心點(diǎn)和目標(biāo)丟失等錯(cuò)誤情況。圖4中#001是圖像序列的初始幀和算法跟蹤結(jié)果圖對(duì)比。

在Skating2圖像序列測(cè)試中，運(yùn)動(dòng)目標(biāo)移動(dòng)速度快，并且目標(biāo)發(fā)生很大程度的形變，原Cam-shift算法出現(xiàn)跟蹤錯(cuò)誤和丟幀，其中#329跟蹤結(jié)果遠(yuǎn)離目標(biāo)中心點(diǎn)，本文利用卡爾曼濾波器預(yù)測(cè)目標(biāo)位置區(qū)域的改進(jìn)，對(duì)目標(biāo)快速移動(dòng)有很好的跟蹤結(jié)果，并且容易適應(yīng)目標(biāo)形變的跟蹤。在部分圖像序列跟蹤結(jié)果偏離中心點(diǎn)(如#251，#268)，但是在目標(biāo)迅速移動(dòng)并且被遮擋，發(fā)生形變的復(fù)雜情況下能夠更準(zhǔn)確的完成跟蹤。

3.2算法定量評(píng)估

表1 圖像序列測(cè)試結(jié)果

4 結(jié)語(yǔ)

Cam-shift跟蹤算法由于計(jì)算量較小，得到了廣泛應(yīng)用，但無(wú)法在復(fù)雜的場(chǎng)景下跟蹤。本文針對(duì)背景顏色和相似目標(biāo)的影響因素較大，以及運(yùn)動(dòng)目標(biāo)速度過(guò)快導(dǎo)致目標(biāo)無(wú)法在搜索范圍內(nèi)檢測(cè)的問(wèn)題，利用卡爾曼濾波和馬爾科夫模型預(yù)測(cè)下一時(shí)刻目標(biāo)的位置區(qū)域，以該位置為中心的搜索區(qū)域，有效減小檢測(cè)器檢測(cè)范圍，由卡爾曼濾波器的預(yù)測(cè)值作為目標(biāo)當(dāng)前位置，以解決目標(biāo)被大面積嚴(yán)重遮擋問(wèn)題，提高跟蹤精度和速度。通過(guò)多個(gè)視頻圖像序列測(cè)試，在實(shí)驗(yàn)結(jié)果比較中，本文改進(jìn)的跟蹤算法有效地提高了目標(biāo)檢測(cè)的準(zhǔn)確性，由馬爾卡夫模型預(yù)測(cè)，增強(qiáng)算法對(duì)復(fù)雜場(chǎng)景中相似目標(biāo)的辨識(shí)能力，更加準(zhǔn)確的跟蹤目標(biāo)。后續(xù)工作將會(huì)在更復(fù)雜的環(huán)境下進(jìn)行實(shí)驗(yàn)，采用數(shù)據(jù)集相結(jié)合訓(xùn)練的方法，更好地實(shí)現(xiàn)目標(biāo)物體的跟蹤。

[1] 侯志強(qiáng), 黃安奇, 余旺盛,等. 利用SIFT特征聯(lián)合匹配的非剛體目標(biāo)跟蹤算法[J]. 系統(tǒng)工程與電子技術(shù), 2015, 37(6):1417-1423.

[2] Qadri M T, Tayyab M. Real time object tracking using FPGA development Kit[J].International Journal of Information Technology & Computer Science, 2014, 6(11):54-58.

[3] Jabar F,Farokhi S,Sheikh U U.Object tracking using SIFT and KLT tracker for UAV-based applications[C]//IEEE International Symposium on Robotics and Intelligent Sensors. IEEE, 2016:65-68.

[4] 王智軍, 王建華. 基于SIFT驗(yàn)證的Mean Shift跟蹤運(yùn)動(dòng)目標(biāo)新算法[J].電光與控制, 2016(11):93-96.

[5] 丁業(yè)兵, 李敬仕, 方國(guó)濤,等. 多特征連續(xù)自適應(yīng)均值漂移人臉跟蹤算法[J]. 計(jì)算機(jī)應(yīng)用, 2014(s2):276-279.

[6] Jia B, Blasch E, Pham K D, et al. Space object tracking and maneuver detection via interacting multiple model cubature Kalman filters[C]//Aerospace Conference. IEEE, 2015:1-8.

[7] Bashir F I, Khokhar A A, Schonfeld D. Object trajectory-based activity classification and recognition using hidden Markov models[J]. IEEE transactions on Image Processing, 2007, 16(7): 1912-1919.

[8] Wu Y, Lim J, Yang M H. Online object tracking: a benchmark[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2013: 2411-2418.

(責(zé)任編輯：熊文濤)

TargetTrackingAlgorithmBasedontheColorHistogramProbabilityDistribution

Li Ning, Wang Liqing, Li Xun*

(SchoolofComputerScienceandEngineering,WuhanInstituteofTechnology,Wuhan,Hubei430205,China)

Aiming at the problem of tracking errors is caused by interference with objects similar to object in complex scenes, the tracking algorithm is improved based on color histogram probability distribution. In the first place, Kalman filter is used to estimate the target state area in order to avoid the problem of Cam-shift algorithm's falling into local maximum when the target is blocked and the problem of target tracking failure when the target moves too quickly. Then the direction predictor based on the Markov model is added to realize the target state estimation under the condition of background color interference and to enhance the ability of the detector to identify similar objects. The experimental results show that the new algorithm can improve the accuracy of target tracking as well as the target testing speed, and the accuracy of identifying similar targets in complex scenes in a great sense.

target tracking； Kalmanfilter； occlusion; processing speed； target estimation

TP391.4

A

2095-4824(2017)06-0102-05

2017-07-16

武漢工程大學(xué)研究生創(chuàng)新基金項(xiàng)目(CX2016071)

李 寧(1992- )，男，河南周口人，武漢工程大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院碩士研究生。

李 迅(1980- )，男，湖北黃石人，武漢工程大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院副教授,博士，本文通信作者。