戴文君，常天慶，蘇奎峰，王全東，黃捷音

(1.裝甲兵工程學(xué)院 控制工程系，北京 100072; 2.北京軍代局駐四四七廠軍事代表室，北京 104030)

一種結(jié)合ORB特征匹配的均值漂移目標(biāo)跟蹤算法

戴文君1，常天慶1，蘇奎峰1，王全東1，黃捷音2

(1.裝甲兵工程學(xué)院 控制工程系，北京 100072; 2.北京軍代局駐四四七廠軍事代表室，北京 104030)

針對(duì)傳統(tǒng)的mean-shift跟蹤算法基于單一顏色特征空間，在復(fù)雜背景下難以對(duì)目標(biāo)進(jìn)行準(zhǔn)確跟蹤這問(wèn)題，提出了一種結(jié)合ORB特征匹配的mean-shift目標(biāo)跟蹤算法;該算法在mean-shift算法的基礎(chǔ)上利用改進(jìn)的ORB特征匹配算法修正目標(biāo)跟蹤窗口并實(shí)時(shí)更新目標(biāo)特征模板，通過(guò)計(jì)算前后兩幀圖像中目標(biāo)中心的歐式距離與色彩模板的巴氏距離來(lái)判定跟蹤是否失敗，當(dāng)目標(biāo)跟蹤失敗時(shí)，不改變目標(biāo)模板，繼續(xù)搜索下一幀圖像中的目標(biāo);實(shí)驗(yàn)結(jié)果表明，與均值漂移算法和基于其他同類特征的改進(jìn)算法相比，該算法提高了在復(fù)雜背景下目標(biāo)跟蹤的精度，并能滿足實(shí)時(shí)性要求。

ORB特征；色彩模型；目標(biāo)跟蹤

0 引言

目標(biāo)跟蹤作為計(jì)算機(jī)視覺(jué)研究的一個(gè)重要內(nèi)容，其目的是通過(guò)對(duì)序列圖像的處理，從而獲取目標(biāo)在序列圖像中的位置、軌跡等信息[1]。針對(duì)目標(biāo)的屬性以及所處環(huán)境差異，研究人員提出了諸多目標(biāo)跟蹤算法，常見(jiàn)的跟蹤算法有：光流法[2]、粒子濾波[3]、均值漂移[4]等方法。光流法適用范圍廣，但計(jì)算量較大，實(shí)時(shí)性較差；粒子濾波將復(fù)雜的跟蹤問(wèn)題轉(zhuǎn)化為狀態(tài)估計(jì)問(wèn)題，但存在一定的退化現(xiàn)象等問(wèn)題；均值漂移算法是一種非參數(shù)核密度估計(jì)算法，通過(guò)構(gòu)建代價(jià)函數(shù)，利用Mean Shift迭代快速求解代價(jià)函數(shù)的極大值確定目標(biāo)的位置，計(jì)算速度快，且對(duì)目標(biāo)形狀、姿態(tài)、旋轉(zhuǎn)有一定的魯棒性，因此得到了廣泛了關(guān)注。然而，傳統(tǒng)的均值漂移算法只考慮了目標(biāo)的顏色分布信息，忽視了目標(biāo)像素在空間位置的分布信息，也沒(méi)有考慮目標(biāo)紋理、形狀等特征，使得算法在復(fù)雜環(huán)境下難以準(zhǔn)確跟蹤目標(biāo)。

針對(duì)這一問(wèn)題，文獻(xiàn)[5]提出了一種融合顏色特征和局部特征SIFT特征的跟蹤算法，通過(guò)融合mean-shift和SIFT的跟蹤結(jié)果，提高了復(fù)雜背景下目標(biāo)跟蹤的準(zhǔn)確性。文獻(xiàn)[6]根據(jù)目標(biāo)的面積和型心坐標(biāo)對(duì)Mean Shift跟蹤結(jié)果進(jìn)行修正，解決了跟蹤目標(biāo)尺度變化的問(wèn)題。文獻(xiàn)[7]將紋理特征與顏色特征相結(jié)合對(duì)均值漂移算法改進(jìn)，增加了mean-shift跟蹤算法的可靠性。這些改進(jìn)算法在一定程度上提高了mean-shift算法的跟蹤能力，但還存在跟蹤精度不高、實(shí)時(shí)性不強(qiáng)等問(wèn)題。由Ethan Rublee等人提出ORB(Oriented Brief)特征[8]是一種基于二進(jìn)制特征描述符的局部特征，具有計(jì)算速度快、旋轉(zhuǎn)不變性、噪聲不敏感等特點(diǎn)，在復(fù)雜環(huán)境中也能夠?qū)崿F(xiàn)精確匹配。因此，本文提出一種結(jié)合ORB特征匹配的均值漂移目標(biāo)跟蹤算法，介紹了ORB特征以及相關(guān)的匹配算法，并對(duì)跟蹤過(guò)程中ORB特征匹配結(jié)果對(duì)mean-shift跟蹤算法的修正方法進(jìn)行了研究，并與幾種常見(jiàn)的特征修正的mean-shift跟蹤算法進(jìn)行了實(shí)驗(yàn)對(duì)比。實(shí)驗(yàn)結(jié)果表明，本文算法充分利用了ORB特征匹配精度高、計(jì)算速度快的優(yōu)點(diǎn)，提高了mean-shift跟蹤算法在復(fù)雜背景下目標(biāo)跟蹤的魯棒性與準(zhǔn)確性。

1 ORB特征

1.1 特征點(diǎn)檢測(cè)

ORB算法在通過(guò)FAST特征算法獲取關(guān)鍵點(diǎn)。FAST (features from accelerated Segment test)特征[9]其定義為：若某像素點(diǎn)與其周圍鄰域內(nèi)足夠多的像素點(diǎn)處于不同的區(qū)域，則該像素點(diǎn)可能是角點(diǎn)?？紤]在灰度圖像中，若一個(gè)像素點(diǎn)的灰度值比周圍鄰域內(nèi)足夠多的像素點(diǎn)的灰度值高或低，則該點(diǎn)可能是FAST特征點(diǎn)。由于FAST特征點(diǎn)只比較灰度值的大小，其優(yōu)點(diǎn)是計(jì)算速度快，但不具有旋轉(zhuǎn)不變性與尺度不變性。

為了使ORB特征具有旋轉(zhuǎn)不變性，需要為每一個(gè)FAST特征點(diǎn)確定一個(gè)方向。ORB使用了灰度質(zhì)心法為FAST特征點(diǎn)選取方向，灰度質(zhì)心法假設(shè)角點(diǎn)的灰度和質(zhì)心之間存在一個(gè)偏移，則這個(gè)偏移向量可以表示一個(gè)方向。以特征點(diǎn)為中心和坐標(biāo)原點(diǎn)，在其鄰域S內(nèi)計(jì)算質(zhì)心位置，然后以特征點(diǎn)為起點(diǎn)、質(zhì)心為終點(diǎn)構(gòu)造方向向量，這個(gè)向量的方向即表示特征點(diǎn)的方向。定義區(qū)域S的矩：

mpq=∑x,yxpyqI(x,y)

(1)

則區(qū)域質(zhì)心可以表示為：

(2)

特征點(diǎn)與質(zhì)心的夾角定義為FAST特征點(diǎn)的方向：

θ=atan2(m01,m10)

(3)

1.2 特征點(diǎn)描述

ORB算法使用二進(jìn)制的BRIEF描述子對(duì)檢測(cè)得到的特征點(diǎn)進(jìn)行描述，并針對(duì)BRIEF描述子不具備旋轉(zhuǎn)不變性和對(duì)噪聲敏感的問(wèn)題，進(jìn)行了改進(jìn)。對(duì)于給定的圖像，從圖像中選取一塊大小為S*S的局部區(qū)域P，在圖像塊P上進(jìn)行二值測(cè)試。二值測(cè)試τ準(zhǔn)則如下:

(4)

其中:X和Y是兩個(gè)像素點(diǎn)的位置，即二維坐標(biāo)。P(X)和P(Y)是像素點(diǎn)位置X和Y的灰度值。圖像塊P中共選取nd對(duì)像素點(diǎn)進(jìn)行二值測(cè)試(nd一般選取256)，則圖像塊P的BRIEF特征描述子為nd維的二進(jìn)制比特串：

fbd(p)=∑isisnd2i-1τ(p;xi,yi)

(5)

所有特征點(diǎn)中選取N對(duì)特征點(diǎn)，得到一個(gè)N*2的描述矩陣S：

(6)

利用特征點(diǎn)檢測(cè)得到的特征點(diǎn)方向θ確定相應(yīng)的旋轉(zhuǎn)矩陣Rθ,得到新的描述矩陣Sθ:

Sθ=RθS

(7)

也就可以得到修正后的Steered BRIEF描述子:

gn(p,θ)=fnd(p)|xi,yi∈Sθ

(8)

同時(shí)ORB算法采用了在特征點(diǎn)鄰域的31*31像素區(qū)域內(nèi)隨機(jī)選擇5*5的子窗口，通過(guò)比較子窗口的灰度積分代替點(diǎn)對(duì)的像素值以達(dá)到消除噪聲的效果。

1.3 特征點(diǎn)匹配

假設(shè)d1,d2是ORB算法構(gòu)造的二進(jìn)制描述子:

d1=x0x1…x255,d2=y0y1…y255

通過(guò)漢明距離的異或計(jì)算得到兩個(gè)ORB特征描述子的相似度，用D(d1,d2)表示：

⊕yi

(9)

圖1 特征點(diǎn)匹配結(jié)果

圖1中(a)～(b)兩組圖中左側(cè)為最初的匹配結(jié)果，右側(cè)為優(yōu)化后的匹配結(jié)果。表1為不同的特征點(diǎn)匹配數(shù)量及耗時(shí)。通過(guò)特征點(diǎn)匹配實(shí)驗(yàn)可以看出，F(xiàn)REAK雖然在運(yùn)算速度上與ORB相差無(wú)幾，但提取的特征點(diǎn)對(duì)數(shù)量遠(yuǎn)低于ORB，且最小漢明距離遠(yuǎn)高于ORB，匹配的效果相對(duì)較差。相對(duì)于FREAK算法，ORB算法在針對(duì)復(fù)雜場(chǎng)景下的實(shí)時(shí)跟蹤方面更勝一籌。

2 改進(jìn)型算法

2.1 均值漂移算法

MS理論[10]由于其計(jì)算速度快，在視覺(jué)跟蹤領(lǐng)域得到

表1 特征點(diǎn)匹配數(shù)量及耗時(shí)

了大量應(yīng)用。mean-shift跟蹤算法首先選定所要跟蹤的目標(biāo)，將其位置作為初始目標(biāo)位置，通過(guò)計(jì)算跟蹤窗口所在區(qū)域的顏色直方圖與顏色直方圖模板之間的相似度，使得相似度最大的跟蹤窗口作為目標(biāo)在當(dāng)前幀圖像目標(biāo)的位置。采用均值漂移算法實(shí)現(xiàn)目標(biāo)跟蹤的步驟如下：

1)選取目標(biāo)模板；

2)均值漂移算法確定搜索窗口；

3)當(dāng)前幀的目標(biāo)區(qū)域作為下一幀輸入迭代計(jì)算，直到跟蹤結(jié)束。

2.2 色彩模型

為促進(jìn)國(guó)內(nèi)生豬養(yǎng)殖行業(yè)的不斷發(fā)展，還需要我國(guó)加強(qiáng)各種生物安全措施的落實(shí)力度，做好入境口岸的檢疫以及檢測(cè)工作，并構(gòu)建重大外來(lái)動(dòng)物疫病的預(yù)警機(jī)制，從傳播途徑上有效限制ASF疫病的發(fā)生，對(duì)于我國(guó)的生豬養(yǎng)殖行業(yè)也有非常重要的意義。

(10)

其中:bf:R2→{1,2,…，m}是將其顏色特征映射到直方圖的映射函數(shù)，δ( )是Kronecker函數(shù)，K( )為核剖面函數(shù)，h是核剖面半徑，C為歸一化系數(shù)。

2.3 目標(biāo)重定位與模板修正

由于ORB特征匹配算法與Mean-Shift算法可以得到兩個(gè)目標(biāo)區(qū)域，這兩個(gè)目標(biāo)區(qū)域的寬度與高度相同且不改變，但目標(biāo)區(qū)域中心點(diǎn)可能不同，通過(guò)ORB特征得到的目標(biāo)區(qū)域?qū)ean-shift算法得到的目標(biāo)區(qū)域進(jìn)行修正，得到最接近目標(biāo)實(shí)際位置的輸出以及重新確定圖像特征模板。算法整體流程如下：

Step 1:算法開(kāi)始；

Step 2:在初始幀選取所要跟蹤的目標(biāo)并提取其ORB特征與色彩模型；

Step 3:通過(guò)ORB特征匹配和Mean-Shift算法分別定位目標(biāo)區(qū)域；

Step 4:通過(guò)ORB特征得到的目標(biāo)區(qū)域?qū)ean-shift算法得到的目標(biāo)區(qū)域進(jìn)行修正，確定跟蹤目標(biāo)的ORB特征與顏色直方圖模板，輸出跟蹤目標(biāo)的位置；

Step 5:重復(fù)Step3-Step4，直到結(jié)束讀取連續(xù)視頻圖像；

Step 6:算法結(jié)束。

其中目標(biāo)區(qū)域修正的規(guī)則如下：

1)計(jì)算兩個(gè)目標(biāo)候選區(qū)域的重合度，重合度計(jì)算公式如下所示：

(11)

其中:area1是Mean-Shift得到的目標(biāo)框區(qū)域，area2是ORB得到的目標(biāo)框區(qū)域，若重合度大于0.9，則以重合區(qū)域的中心作為目標(biāo)的中心，修正目標(biāo)區(qū)域的ORB特征模板與顏色直方圖模板。若不滿足此條件，進(jìn)行下一步的融合修正。

2)計(jì)算目標(biāo)候選區(qū)域中心與上一幀圖像目標(biāo)所在區(qū)域中心的歐式距離。若二者的歐式距離都小于閾值A(chǔ)，則進(jìn)入下一步；若其中一個(gè)歐式距離大于閾值，則以距離較小者的輸出作為最終輸出；若二者的距離皆大于閾值，則繼續(xù)進(jìn)行下一步目標(biāo)位置的融合修正。

3)計(jì)算兩個(gè)區(qū)域歸一化的色彩模型直方圖與跟蹤目標(biāo)的色彩模型直方圖的相關(guān)相似度，該相似度用巴氏系數(shù)距離表示。若二者的巴氏系數(shù)都小于閾值B，則進(jìn)入下一步，本文中B取值0.85；若二者有其一巴氏距離小于閾值，則以系數(shù)較大者的輸出作為最終輸出；若二者的距離皆小于閾值，則繼續(xù)進(jìn)行下一步的融合修正。

4)若都不滿足上述條件，則判定目標(biāo)跟蹤失敗，但不改變目標(biāo)模板，并將其作為下一幀圖像的目標(biāo)模板。

3 實(shí)驗(yàn)仿真

為檢驗(yàn)算法的有效性，本文選擇了一段視頻進(jìn)行復(fù)雜環(huán)境下的目標(biāo)跟蹤實(shí)驗(yàn)，并與Mean-Shift算法作進(jìn)行比較。實(shí)驗(yàn)的硬件環(huán)境為Intel(R)Core(TM)i3-2100@3.10 GH與3.09 GHz CPU，4 GB內(nèi)存，Windows 7操作系統(tǒng)的PC機(jī)，軟件環(huán)境為Visual studio 2010和Opencv2.43運(yùn)行庫(kù)。測(cè)試視頻分辨率為860*480。

圖2 跟蹤效果圖

圖2中，三組圖從左至右分別是第14幀、第26幀、第42幀。通過(guò)跟蹤結(jié)果可以看出，跟蹤目標(biāo)在沒(méi)有受到遮擋之前，由于環(huán)境復(fù)雜，背景顏色與目標(biāo)顏色相差不大，即使跟蹤目標(biāo)在沒(méi)有受到遮擋，基于FREAK的改進(jìn)算法也出現(xiàn)了一定的窗口漂移現(xiàn)象，但漂移現(xiàn)象尚不嚴(yán)重，而mean-shift圖2中三組圖從左至右分別是第14幀、第26幀、第42幀。通過(guò)跟蹤結(jié)果可以看出，跟蹤目標(biāo)在沒(méi)有受到遮擋之前，由于環(huán)境復(fù)雜，背景顏色與目標(biāo)顏色相差不大，即使跟蹤目標(biāo)在沒(méi)有受到遮擋，基于FREAK的改進(jìn)算法也出現(xiàn)了一定的窗口漂移現(xiàn)象，但漂移現(xiàn)象尚不嚴(yán)重，而mean-shift算法漂移現(xiàn)象嚴(yán)重，而本文的改進(jìn)算法都能較好的跟蹤目標(biāo)。當(dāng)目標(biāo)受到樹(shù)木的遮擋時(shí)，基于FREAK的改進(jìn)算法出現(xiàn)了嚴(yán)重的窗口漂移現(xiàn)象，mean-shift算法跟蹤失敗，而本文算法可以對(duì)目標(biāo)特征模板不斷更新，從而達(dá)到降低目標(biāo)跟蹤的誤差，實(shí)現(xiàn)對(duì)目標(biāo)精確定位。

表2為不同算法跟蹤實(shí)時(shí)性與誤差率對(duì)比，通過(guò)對(duì)比數(shù)據(jù)可以看出，由于mean-Shift算法僅考慮目標(biāo)的顏色信息，處理速度上最快，但誤差最大；本文算法于基于FREAK特征的改進(jìn)算法相比，在保證實(shí)時(shí)性的要求的同時(shí)提高目標(biāo)蹤精度。并與同類特征FREAK算子相比，本文算法具有明顯的優(yōu)勢(shì)，實(shí)驗(yàn)結(jié)果證明了本文算法的實(shí)時(shí)性和準(zhǔn)確性。

表2 不同算法跟蹤實(shí)時(shí)性與誤差率對(duì)比

4 結(jié)束語(yǔ)

針對(duì)傳統(tǒng)的Mean-shift跟蹤算法只考慮顏色信息，在復(fù)雜背景下目標(biāo)跟蹤準(zhǔn)確度不高的問(wèn)題，本文提出一種結(jié)合ORB特征的mean-shift目標(biāo)跟蹤算法。通過(guò)ORB特征匹配的跟蹤窗口對(duì)mean-shift算法跟蹤結(jié)果進(jìn)行修正及時(shí)修正目標(biāo)模板，可以減少目標(biāo)跟蹤誤差，提高了背景顏色信息與目標(biāo)顏色信息相近的情況下目標(biāo)跟蹤的精度，在目標(biāo)部分遮擋的情況下能實(shí)現(xiàn)準(zhǔn)確跟蹤，并且具有較高的魯棒性和準(zhǔn)確性。

[1] 戴淵明. 視頻序列圖像中目標(biāo)跟蹤技術(shù)研究[M].杭州: 浙江大學(xué)，2012.

[2] Lin C K, Wolf M. Detecting moving objects using a camera on a moving platform [A]. IEEE International Conference on Pattern Recognition[C]. 2010: 460-063.

[3] Chen Z M, Bo Y M, Wu P L, et al. Novel particle filter algorithm based on adaptive particle swarm optimization and its application to radar target tracking[J]. Control and Decision, 2013, 28 (2):193-200.

[4] Beyan C, Temizel A. Adaptive mean Shift for automated multi object tracking[J]. IET Computer Vision, 2012, 6(1):1-12.

[5] 杜 凱. 關(guān)于均值偏移算法的運(yùn)動(dòng)目標(biāo)跟蹤算法的研究[D]. 西安:長(zhǎng)安大學(xué), 2012.

[6] 劉 晴，唐林波，趙保軍. 跟蹤窗自適應(yīng)的Mean Shift目標(biāo)跟蹤算法[J]. 系統(tǒng)工程與電子技術(shù), 2012,34(2):409-412.

[7] 戴淵明,韋 巍,林亦寧. 基于顏色紋理特征的均值漂移目標(biāo)跟蹤算法[J]. 浙江大學(xué)學(xué)報(bào)(工學(xué)版), 2012, 46(2), 212-217.

[8] Rublee E. Rabaud V. Konolige K, et al. An Efficient Alternative to SIFT or SURF[A].Proc of the IEEE International Conference on Computer Vision[C]. Barcelona. Spain.2011:2564-2571.

[9] Rosten E,Porter R,Drummond T. Faster and better: a machine learning approach to corner detection[J]. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2010.32(1):105-119.

[10] Alahi A, Ortiz R, Vandergheynst P. FREAK: fast retina keypoint [A]. Computer Version and Pattern Recognition[C]. 2011: 510-51.

A Kind of Mean-shift Target Tracking Algorithm Combined with ORB Feature Matching

Dai Wenjun1, Chang Tianqing1, Su Kuifeng1, Wang Quandong1, Huang Jieyin2

(1.Department of Control Engineering, Academy of Armored Forces Engineering, Beijing 100072, China; 2.No.447 Factory Military Representative Office of Beijing Military Bureau, Beijing 104030, China)

In view of the traditional mean-shift tracking algorithm based on single color feature space, and it is difficult to accurately track the target in complex background, and a mean-shift target tracking algorithm based on ORB feature matching is putt forward. The algorithm on the basis of mean shift algorithm and using the improved ORB feature matching algorithm to modified object tracking window and update the target feature template timely. Determination tracking failure through calculate Euclidean distance of the center of the target and color template Bhattacharyya distance of the target in adjacent two frames. When the target tracking failure, it does not change the target template and continue to search for target in the next frame image. The experimental results show that, compared with mean shift algorithm and other improved algorithms based on similar features, the proposed algorithm can improve the accuracy of target tracking in complex background, and can meet the requirement of real time

ORB feature; color model; target tracking

2016-06-27；

2016-07-22。

戴文君(1993-)，男，湖南衡陽(yáng)人，碩士研究生，主要從事目標(biāo)跟蹤方向研究。

常天慶(1963-)，男，河南鄭州人，教授，博士生導(dǎo)師，主要從事火控系統(tǒng)及其智能化方向的研究。

1671-4598(2016)12-0143-04

10.16526/j.cnki.11-4762/tp.2016.12.041

TP391.4

A