葛山峰，于蓮芝，謝 振

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093)

基于ORB特征的目標(biāo)跟蹤算法

葛山峰，于蓮芝，謝 振

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093)

為提高基于特征點(diǎn)目標(biāo)跟蹤的速度，提出一種基于ORB特征的跟蹤算法。通過對目標(biāo)的ORB特征不斷進(jìn)行實(shí)時(shí)更新，去除過時(shí)的信息，以保證目標(biāo)特征的準(zhǔn)確與穩(wěn)定，提高匹配準(zhǔn)確度。實(shí)驗(yàn)結(jié)果表明，同基于SIFT和SURF特征的跟蹤算法相比，在匹配表現(xiàn)相似的情況下，匹配速度大幅提高，基本滿足了實(shí)時(shí)性的要求。

目標(biāo)跟蹤；ORB；特征匹配；實(shí)時(shí)性

目標(biāo)跟蹤算法是計(jì)算機(jī)視覺應(yīng)用中關(guān)鍵技術(shù)，在醫(yī)療診斷、視頻監(jiān)控、軍事視覺制導(dǎo)等領(lǐng)域有著非常重要的實(shí)用價(jià)值[1]。跟蹤技術(shù)主要分為4大類：基于模型的跟蹤方法，基于主動輪廓的跟蹤方法，基于運(yùn)動估計(jì)的跟蹤方法和基于特征點(diǎn)的跟蹤方法[2]。本文主要研究基于特征的目標(biāo)跟蹤算法，其步驟主要有兩個步驟：特征提取和特征匹配。2004年，David Lowe提出的尺度不變換SIFT算法[3]，2006年，Bay在SIFT的基礎(chǔ)上提出基于積分圖像的特征描述方法SURF算法[4]，2011年Ethan Rublee等人提出ORB特征算法[5]。通過對比三個算法提出基于ORB特征的目標(biāo)跟蹤算法。首先利用幀間差分法對運(yùn)動目標(biāo)進(jìn)行分割，并對分割后的目標(biāo)進(jìn)行ORB特征變換，最后利用目標(biāo)的特征值進(jìn)行運(yùn)動分析。實(shí)驗(yàn)證明，在實(shí)時(shí)性方面ORB特征有著較大的優(yōu)勢，基本實(shí)現(xiàn)了跟蹤系統(tǒng)的實(shí)時(shí)性。

1 目標(biāo)檢測

運(yùn)動目標(biāo)檢測常用方法：幀間差分法，背景減除法和光流法[6]。幀間差分法能夠快速得從每幀中檢測出運(yùn)動的目標(biāo)，其最大的特點(diǎn)檢測速度快，對整體光照不敏感，缺點(diǎn)是不能提取出對象的完整區(qū)域[7]。背景減除法速度較快，但是對光照和外來無關(guān)事物特別敏感，影響檢測的準(zhǔn)確性[8]。光流法計(jì)算復(fù)雜，難以滿足實(shí)時(shí)性的要求[9]。綜合考慮采用幀間差分法對運(yùn)動目標(biāo)進(jìn)行檢測。

幀間差分法思想：檢測出相鄰兩幀圖像中發(fā)生變化的區(qū)域。該方法是用圖像序列中的連續(xù)兩幀圖像進(jìn)行差分，然后二值化該灰度差分圖像來提取運(yùn)動信息，其公式如下所示

(1)

2 目標(biāo)跟蹤

2.1 特征提取

ORB的實(shí)現(xiàn)是基于oFAST檢測算子和rBRIEF描述算子[5]。oFAST是指有方向的FAST[10]檢測算子，rBRIEF是指能夠識別旋轉(zhuǎn)的BRIEF[11]描述算子，通過這兩個方面的改進(jìn)，使得ORB算法在匹配性能方面同SIFT和SURF算法相似，但在實(shí)時(shí)性上優(yōu)于前兩種算法。

FAST角點(diǎn)定義為：若某像素點(diǎn)與其周圍領(lǐng)域內(nèi)足夠多的像素點(diǎn)處于不同的區(qū)域，則該像素點(diǎn)可能為角點(diǎn)。

圖1 特征點(diǎn)檢測示意圖

如圖1所示，任取一像素點(diǎn)p，以其為中心形成一個半徑為3的圓形區(qū)域(也可以取其他值)，圓上總共有16個像素點(diǎn)，如果存在n個像素點(diǎn)的灰度值都>Ip+t或者

在進(jìn)行特征點(diǎn)的篩選時(shí)無需每次將圓周上所有的像素點(diǎn)與中心像素點(diǎn)相比較，通過以下算法能夠快速剔除大量非特征點(diǎn)。具體算法如下：

(1)首先計(jì)算p像素1和9的灰度差值，若ΔI1和ΔI9的絕對值都小于閾值t，則p非特征點(diǎn)，若大于則繼續(xù)執(zhí)行；

(2)再計(jì)算p與像素5和13的灰度差值，若ΔI1，ΔI9，ΔI5，ΔI13，其中至少3項(xiàng)都>t或<-t，則p為候選點(diǎn)，算法繼續(xù)執(zhí)行，否則p不是特征點(diǎn)；

(3)按照步驟(1)和步驟(2)的判準(zhǔn)繼續(xù)執(zhí)行，直到完成圓周上的16個像素點(diǎn)[12]。

FAST本身不產(chǎn)生多尺度特征，所以利用金字塔圖像，在每一級上都產(chǎn)生FAST特征，以滿足多尺度的特性。為了解決旋轉(zhuǎn)不變性，通過灰度質(zhì)心來解決這個問題?；叶荣|(zhì)心法假設(shè)角點(diǎn)的灰度與質(zhì)心之間存在一個偏移，這個向量可以用于表示一個方向，對于任意一個特征點(diǎn)p來說，定義p的鄰域像素的矩為

(2)

式中，I表示x，y坐標(biāo)上的灰度值，可知質(zhì)心c為

(3)

θ=arctan(m01,m10)

(4)

ORB描述子建立在BRIEF特征描述子的基礎(chǔ)之上，相比于BRIEF具備了旋轉(zhuǎn)不變性，是一種二進(jìn)制碼形式的描述子。提取描述子過程為：在圖像某點(diǎn)的鄰域內(nèi)隨機(jī)選取n個點(diǎn)對，對于每一個點(diǎn)對形成一個二值τ測試，定義如下

(5)

式中，P(x)指的是x點(diǎn)的灰度值。BRIEF描述子定義為N個τ測試組成的一個向量，如式(6)，其中N一般取256，構(gòu)成256 bit的二值特征描述子

(6)

ORB根據(jù)FAST特征點(diǎn)的主方向提取BRIEF描述子，稱為steered BRIEF。但加入主方向后，steered BRIEF的方差變小了，導(dǎo)致其判別性能下降。

為了解決這個問題，ORB采用貪婪算法[13]選出具有高反差和低相關(guān)性的steered BRIEF。

2.2 特征匹配

因?yàn)锽RIEF描述子是一個256 bit的二值特征描述子，所以應(yīng)用漢明距離來對其進(jìn)行匹配是個不錯的方式，漢明距離表示兩個相同長度字對應(yīng)位不同的個數(shù)[14]。用Ds1,s2來表示兩個ORB特征的相似程度，公式如下

Ds1,s2=s1⊕s2

(7)

式中，Ds1,s2越小，表示相似程度越高，反之相似程度越低。通過漢明距離實(shí)現(xiàn)目標(biāo)與前景的匹配。

2.3 目標(biāo)定位

提取了目標(biāo)特征點(diǎn)之后需要在前景上對目標(biāo)進(jìn)行定位。定位方式很簡單，從選出的特征點(diǎn)中分別找出x軸，y軸上最小最大的點(diǎn)，這樣就可以對目標(biāo)進(jìn)行定位[15]，公式如下

(8)

2.4 特征更新

隨著場景的變換的，目標(biāo)也在不斷的變化，對其的特征點(diǎn)提取也需要不停的更新，以提高特征匹配的適應(yīng)能力。通過一個簡單的更新算法來實(shí)現(xiàn)：第一幀的目標(biāo)特征點(diǎn)總是存儲在特征點(diǎn)集中，然后由當(dāng)前幀的目標(biāo)特征點(diǎn)集組成一個新的特征集，以此來匹配目標(biāo)。該算法描述為如下

Vnew=Vfirst+Vcur

(9)

這里Vnew指最新的目標(biāo)特征集；Vfirst指的是第一幀目標(biāo)特征；Vcur指當(dāng)前目標(biāo)特征集；“+”指的是兩個集合的融合。

根據(jù)之前講訴的內(nèi)容，本文設(shè)計(jì)了目標(biāo)特征跟蹤的流程圖，包括目標(biāo)提取，特征提取，特征匹配，目標(biāo)定位，特征更新部分[15]，如圖2所示。

圖2 特征匹配流程圖

3 實(shí)驗(yàn)結(jié)果及分析

本文實(shí)驗(yàn)的計(jì)算機(jī)系統(tǒng)為Windows 10，處理器為Intel(R)Core(TM)i5CPU M460，主頻為2.53 GHz，內(nèi)存為6 GB，實(shí)驗(yàn)是基于Visual Studio 2013的開發(fā)平臺，使用C++編程語言，并結(jié)合計(jì)算機(jī)視覺庫OpenCV2.4.11完成。視頻采集是由小米手機(jī)拍攝，為了減小數(shù)據(jù)的處理，對視頻進(jìn)行了壓縮，壓縮后視頻分辨率為856×480。實(shí)驗(yàn)過程中分別對目標(biāo)檢測，特征點(diǎn)提取，目標(biāo)跟蹤進(jìn)行了驗(yàn)證。

3.1 目標(biāo)檢測

通過幀間差分法對運(yùn)動目標(biāo)進(jìn)行檢測，效果如圖3～圖6所示。

圖3 第34幀檢測結(jié)果

圖4 第52幀檢測結(jié)果

圖5 第62幀檢測結(jié)果

圖6 第74幀檢測結(jié)果

結(jié)果檢測出了運(yùn)動目標(biāo)，但幀間差分法的缺點(diǎn)也體現(xiàn)出來，目標(biāo)“空洞”現(xiàn)象明顯，針對這一情況可以采用圖像處理中形態(tài)學(xué)的膨脹來修飾完善，具體不再贅述。

3.2 特征點(diǎn)提取匹配

基于ORB特征匹配的結(jié)果如圖7所示?；旧蠈⒛繕?biāo)的特征匹配出來，但還有不少誤匹配，有待進(jìn)一步的改善。

圖7 特征提取匹配

同時(shí)也對3種不同的特征點(diǎn)提取算法的提取速度進(jìn)行了實(shí)驗(yàn)，結(jié)果如表1所示。

表1 特征提取速度對比

由表1可以看出在特征提取速度上ORB算法有明顯的優(yōu)勢，這主要得益于FAST檢測算子，所以采用ORB算法來進(jìn)行特征提取是一個不錯的想法。

3.3 目標(biāo)定位

目標(biāo)定位的效果如圖8所示。

圖8 目標(biāo)跟蹤結(jié)果

4 結(jié)束語

本文研究基于ORB特征的跟蹤算法，采用高效的ORB算法基本可以實(shí)現(xiàn)實(shí)時(shí)跟蹤。但還有很多不足的地方需要改進(jìn)，解決幀間差分法的“空洞”問題，特征匹配方面要去除誤匹配，提高匹配的正確率，讓跟蹤更加精準(zhǔn)。

[1] Yilmaz A，Javed O，Shah M.Object tracking：a survey[J]. ACM Computing Surveys，2006，38(4):229-240.

[2] 謝成明.基于ORB特征的目標(biāo)檢測與跟蹤的研究[D]. 合肥:合肥工業(yè)大學(xué),2013.

[3] David G Lowe.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[4] Bay B H,Ess A,Tuytelaars T,et al.Speeded-up robust features(SURF)[J].European Journal on Computer Vision,2010,110(3):346-359.

[5] Rublee E, Rabaud V, Konolige K, et al. ORB: An efficient alternative to SIFT or SURF[C].MA,USA:International Conference on Computer Vision,IEEE Computer Society, 2011.

[6] 付朝霞.基于視頻流的人體目標(biāo)檢測與行為識別研究[D].太原:中北大學(xué),2013.

[7] 朱明旱,羅大庸.基于幀間差分背景模型的運(yùn)動物體檢測與跟蹤[J].計(jì)算機(jī)測量與控制,2006,14(8):1004-1006.

[8] 紀(jì)青華,禹素萍.基于Surendra背景減除法和四幀差分法的目標(biāo)檢測算法[J].計(jì)算機(jī)應(yīng)用與軟件,2014(12):242-244.

[9] 周建鋒.基于光流的運(yùn)動目標(biāo)檢測方法研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2009.

[10] Rosten E,Drummond T.Machine learning for high-speed corner detection[C].Italy:Conference on Computer Vision,2006.

[11] Calonder M,Lepetit V,Strecha C. BRIEF:binary robust independent elementary features [C].Span:Conference on Computer Vision,2010.

[12] 丁尤蓉,王敬東,邱玉嬌.基于自適應(yīng)閾值的FAST特征點(diǎn)提取算法[J].指揮控制與仿真,2013,35(2):47-52.

[13] 趙永嘉,戴樹嶺.基于圖像骨架和貪婪算法的無人機(jī)航路規(guī)劃[J].北京航空航天大學(xué)學(xué)報(bào),2010,36(4):474-477.

[14] Kolpakov R,Kucherov G.Finding approximate repetitions under hamming distance[J].Theoretical Computer Science,2001,303(1):170-181.

[15] Meng F,You F.A tracking algorithm based on ORB[C].Shenyang:International Conference on Mechatronic,Elgineering and Computer,2013.

A Target Tracking Algorithm Based on ORB

GE Shanfeng, YU Lianzhi, XIE Zhen

(School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China)

A tracking algorithm based on the ORB features is proposed to improve the speed of tracking based on feature keypoints. The obsolete information is removed through real-time update of the ORB features of the object to ensure the accuracy and stability of the object feature. The experimental results show a greatly improved matching speed over those by the tracking algorithm based on the SIFT and SURF features in the case of similar performance, meeting the real-time requirements.

object tracking; ORB; feature matching; real-time

2016- 04- 05

葛山峰(1992-)，男，碩士研究生。研究方向：圖像處理。于蓮芝(1966-)，女，副教授。研究方向：檢測技術(shù)與自動化裝置。

10.16180/j.cnki.issn1007-7820.2017.02.026

TN953;TP391.41

A

1007-7820(2017)02-098-04