劉亞偉，李小民

(軍械工程學(xué)院 無人機(jī)工程系，河北 石家莊 050003)

二值特征匹配跟蹤算法的快速性和魯棒性比較

劉亞偉，李小民

(軍械工程學(xué)院 無人機(jī)工程系，河北 石家莊 050003)

針對(duì)目標(biāo)跟蹤實(shí)時(shí)性和魯棒性問題，提出了基于二值特征匹配的目標(biāo)跟蹤算法。將二值特征匹配算法應(yīng)用于目標(biāo)跟蹤過程中，對(duì)特征匹配算法的實(shí)時(shí)性進(jìn)行比較，并在目標(biāo)被遮擋的情況下對(duì)算法的魯棒性進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果表明，基于二值特征匹配的目標(biāo)跟蹤算法比SIFT(Scale Invariant Feature Transform)和SURF(Speeded Up Robust Feature)快將近3～4倍，而BRISK(Binary Robust Invariant Scalable Keypoint)對(duì)目標(biāo)遮擋問題的魯棒性最好。

二值特征；遮擋；快速性；魯棒性

0 引言

隨著計(jì)算機(jī)視覺領(lǐng)域的快速發(fā)展，目標(biāo)跟蹤技術(shù)受到了各領(lǐng)域的重視并廣泛應(yīng)用于視覺監(jiān)控、醫(yī)學(xué)和航空等領(lǐng)域。目前常用的目標(biāo)跟蹤算法有MeanShift跟蹤算法[1]、Kalman濾波跟蹤算法[2]和基于特征點(diǎn)匹配的跟蹤算法[3]等?；谔卣鼽c(diǎn)匹配的目標(biāo)跟蹤算法由于其獨(dú)特的性能，受到了廣泛的關(guān)注。基于特征匹配的目標(biāo)跟蹤算法(例如SIFT、SURF、ORB(Oriented FAST and Rotated BRIEF)[4]、BRISK[5]和FREAK(Fast Retina Keypoint)[6]等)具有對(duì)尺度縮放和旋轉(zhuǎn)的不變性，對(duì)視角、光照和遮擋具有良好的穩(wěn)定性。文獻(xiàn)[3]將SIFT算法應(yīng)用到了運(yùn)動(dòng)目標(biāo)的檢測(cè)和跟蹤中；文獻(xiàn)[7]將SURF算法應(yīng)用到了目標(biāo)跟蹤過程中。但是由于SIFT和SURF算法分別采用64維特征向量和32維特征向量進(jìn)行特征描述，計(jì)算復(fù)雜，所以導(dǎo)致在跟蹤過程中實(shí)時(shí)性較差[8-9]。而ORB、BRISK和FREAK等基于二值特征的目標(biāo)匹配算法，由于其采用二進(jìn)制字符串進(jìn)行特征描述并使用漢明距離進(jìn)行特征匹配，使得其運(yùn)算速度和運(yùn)算過程中內(nèi)存占有量都有了明顯改善[10-11]。

本文將二進(jìn)制特征匹配算法應(yīng)用于目標(biāo)跟蹤過程中，分別對(duì)ORB[4]、BRISK[5]和FREAK[6]等目標(biāo)跟蹤算法性能進(jìn)行測(cè)試和對(duì)比，并與SIFT和SURF等非二進(jìn)制特征匹配跟蹤算法進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果表明，基于二值特征描述的特征匹配跟蹤算法在保證魯棒性的前提下，具有較好的實(shí)時(shí)性。

1 二值特征匹配算法

二值特征描述是指將圖像中的特征點(diǎn)用二進(jìn)制字符串(0和1)進(jìn)行描述的特征描述方法。采用二進(jìn)制字符串進(jìn)行特征描述的描述符需要用漢明距離進(jìn)行特征匹配。

1.1 ORB算法

ORB特征匹配算法采用改進(jìn)的FAST算子作為特征檢測(cè)算法，并通過多層圖像金字塔來獲得尺度信息。ORB算法采用亮度中心來計(jì)算特征點(diǎn)的主方向，并在此基礎(chǔ)上采用BRIEF對(duì)每個(gè)特征點(diǎn)建立由(0,1)組成的二進(jìn)制字符串組成的n維二進(jìn)制描述符，n一般情況下取值256，因此每個(gè)特征點(diǎn)會(huì)得到一個(gè)256 bit的描述符。對(duì)于二進(jìn)制描述符的相似性判別，可以用漢明距離來表示(特征匹配)。漢明距離是指將一個(gè)字符串轉(zhuǎn)化成另一個(gè)字符串所需要替換的字符個(gè)數(shù)，其計(jì)算采用按位“異或”來實(shí)現(xiàn)。

1.2 BRISK算法

BRISK算法采用基于特征點(diǎn)為中心的40×40像素塊構(gòu)建同心圓方法的自定義鄰域采樣模式，如圖1所示。

圖1 BRISK鄰域采樣模式

采用長(zhǎng)距離采樣點(diǎn)對(duì)集和短距離采樣點(diǎn)對(duì)集的形式計(jì)算角點(diǎn)的特征方向，最終形成512 bit的二值化特征描述。BRISK算法同樣采用漢明距離進(jìn)行特征匹配。

1.3 FREAK算法

FREAK算法是基于人類視網(wǎng)膜而提出的一種特征檢測(cè)和描述算法，F(xiàn)REAK描述符的采樣點(diǎn)分布如圖2所示。

圖2 FREAK算子的采樣點(diǎn)結(jié)構(gòu)

特征點(diǎn)分布在以特征點(diǎn)為中心的同心圓上，離中心特征點(diǎn)越近，采樣點(diǎn)越密集，離中心特征點(diǎn)越遠(yuǎn)，采樣點(diǎn)越稀疏。FREAK生成的二進(jìn)制字符串由采樣點(diǎn)對(duì)的強(qiáng)度比較結(jié)果級(jí)聯(lián)而成。最終通過漢明距離進(jìn)行特征匹配。

2 基于特征匹配的目標(biāo)跟蹤算法性能測(cè)試

特征點(diǎn)匹配算法在目標(biāo)跟蹤[12-13]過程中的實(shí)現(xiàn)過程為：讀取視頻的一幀圖像與模板進(jìn)行匹配，通過RANSAC進(jìn)行特征點(diǎn)篩選剔除錯(cuò)誤匹配點(diǎn)，根據(jù)正確匹配點(diǎn)畫出目標(biāo)區(qū)域方框，這樣循環(huán)進(jìn)行讀取視頻幀并進(jìn)行匹配就實(shí)現(xiàn)了目標(biāo)的跟蹤。具體流程如圖3所示。

圖3 特征匹配目標(biāo)跟蹤流程

由此可以看出，在基于特征點(diǎn)匹配的目標(biāo)跟蹤中，對(duì)特征檢測(cè)子、描述子和匹配算法的性能要求非常高，尤其是在快速性方面要求更加嚴(yán)格。

2.1 基于二進(jìn)制特征匹配的目標(biāo)跟蹤算法快速性測(cè)試

本文將SIFT、SURF算法和ORB、BRISK、FREAK等二進(jìn)制特征匹配算法應(yīng)用于HERO運(yùn)動(dòng)相機(jī)拍攝的目標(biāo)跟蹤視頻過程中。視頻幀頻率為25幀/s，分辨率為“1 920×1 080”。 實(shí)驗(yàn)是在VS2010開發(fā)平臺(tái)上，利用VC++語(yǔ)言和開源代碼OpenCV聯(lián)合編程實(shí)現(xiàn)。其中硬件系統(tǒng)：處理器為Inter(R)Core(TM) i3 CPU M390@2.67GHz，內(nèi)存為4.00GB，硬盤為500G，操作系統(tǒng)為Windows 7。實(shí)驗(yàn)對(duì)跟蹤視頻中的前20幀的檢測(cè)、匹配時(shí)間進(jìn)行測(cè)試，并取其平均值，具體測(cè)試結(jié)果如表1所示。

表1 特征匹配算法快速性測(cè)試表

測(cè)試結(jié)果表明，ORB、BRISK和FREAK等二進(jìn)制特征匹配算法普遍比SIFT快近6倍，比SURF算法快近3倍。而ORB算法與BRISK和FREAK算法相比速度較快。

2.2 基于二進(jìn)制特征匹配的目標(biāo)跟蹤算法對(duì)遮擋情況的魯棒性測(cè)試

本文采用上述拍攝的視頻，通過測(cè)試目標(biāo)在經(jīng)過遮擋帶時(shí)的跟蹤效果，來測(cè)試算法對(duì)目標(biāo)被遮擋情況下的跟蹤魯棒性。

2.2.1 ORB算法

基于ORB特征匹配算法的目標(biāo)跟蹤效果如圖4所示。

圖4 ORB特征匹配目標(biāo)跟蹤

圖4中，第69幀為目標(biāo)正常情況下的跟蹤效果圖；第193幀為目標(biāo)頭部進(jìn)入遮擋區(qū)域時(shí)的跟蹤效果圖，跟蹤正常；第207幀為目標(biāo)進(jìn)入一半時(shí)的目標(biāo)跟蹤效果圖，跟蹤仍然正常；目標(biāo)運(yùn)動(dòng)到第209幀時(shí)，開始出現(xiàn)了錯(cuò)誤匹配點(diǎn)；到213幀時(shí)，跟蹤框發(fā)生了變化；第223幀為目標(biāo)被全部遮擋情況下的跟蹤效果圖；第228幀時(shí)跟蹤框恢復(fù)正常；第234幀時(shí)特征匹配點(diǎn)恢復(fù)正常。

2.2.2 BRISK算法

基于BRISK特征匹配算法的目標(biāo)跟蹤效果如圖5所示。

圖5 BRISK特征匹配目標(biāo)跟蹤

圖5中，第69幀為目標(biāo)正常情況下的跟蹤效果圖；第193幀為目標(biāo)頭部進(jìn)入遮擋區(qū)域時(shí)的跟蹤效果圖，跟蹤正常；第207幀為目標(biāo)進(jìn)入一半時(shí)的目標(biāo)跟蹤效果圖，跟蹤仍然正常；當(dāng)目標(biāo)運(yùn)動(dòng)到第215幀時(shí)，開始出現(xiàn)錯(cuò)誤匹配點(diǎn)；第217幀時(shí)跟蹤框發(fā)生明顯變化；第223幀為目標(biāo)全部被遮擋情況下的跟蹤效果圖；第228幀時(shí)跟蹤框恢復(fù)正常；第230幀時(shí)特征匹配點(diǎn)恢復(fù)正常。

2.2.3 FREAK算法

基于FREAK特征匹配算法的目標(biāo)跟蹤效果如圖6所示。

圖6 FREAK特征匹配目標(biāo)跟蹤

圖6中，第69幀為目標(biāo)正常情況下的跟蹤效果圖；第193幀為目標(biāo)頭部進(jìn)入遮擋區(qū)域時(shí)的跟蹤效果圖，這是開始出現(xiàn)了錯(cuò)誤匹配點(diǎn)；第207幀為目標(biāo)進(jìn)入一半時(shí)的目標(biāo)跟蹤效果圖，跟蹤窗口開始出現(xiàn)明顯變化；第223幀為目標(biāo)被全部遮擋情況下的跟蹤效果圖；第235幀時(shí)跟蹤框恢復(fù)正常；第242幀時(shí)特征匹配點(diǎn)恢復(fù)正常。

基于二值特征匹配的目標(biāo)跟蹤算法對(duì)遮擋的魯棒性能測(cè)試結(jié)果如表2所示。

表2 性能測(cè)試結(jié)果

由表2可知，跟蹤過程中錯(cuò)誤匹配點(diǎn)出現(xiàn)的前后順序?yàn)镕REAK、ORB、BRISK；跟蹤框出現(xiàn)錯(cuò)誤的順序?yàn)镕REAK、ORB、BRISK;跟蹤框恢復(fù)的順序?yàn)镺RB、BRISK、FREAK；匹配點(diǎn)恢復(fù)的順序?yàn)锽RISK、ORB、FREAK。綜上所述，BRISK對(duì)目標(biāo)被遮擋跟蹤的魯棒性最強(qiáng)，其次是ORB和FREAK。

3 結(jié)束語(yǔ)

二進(jìn)制特征匹配算法作為視頻跟蹤領(lǐng)域一個(gè)新方法，其速度明顯快于傳統(tǒng)的SIFT和SURF算法，具有較好的實(shí)時(shí)性。在對(duì)目標(biāo)被遮擋的魯棒性方面，仍然保持著較高的魯棒性。實(shí)驗(yàn)結(jié)果表明，BRISK算法無論是在實(shí)時(shí)性方面和對(duì)遮擋魯棒性方面都表現(xiàn)出了很好的性能，能夠應(yīng)用于目前的跟蹤領(lǐng)域，具有較強(qiáng)的應(yīng)用價(jià)值。

[1] 田 莘.基于MeanShift算法的目標(biāo)跟蹤問題研究[D].西安：西安科技大學(xué)，2010:16-41.

[2] 瞿衛(wèi)欣,程承旗.基于Kalman濾波的Camshift運(yùn)動(dòng)跟蹤算法[J].北京大學(xué)學(xué)報(bào)(自然科學(xué)版),2015,51(5):799-803.

[3] 章菲菲.基于改進(jìn)SIFT算法的目標(biāo)識(shí)別與跟蹤技術(shù)研究背景[D].北京:北京理工大學(xué),2015.

[4] 李小紅,謝成鵬,賈易臻.基于ORB特征的快速目標(biāo)檢測(cè)算法[J].電子測(cè)量與儀器學(xué)報(bào)，2013,27(5):455-458.

[5] LEUTENEGGER S,CHLI M,Siegwart R.BRISK:Binary Robust Invariant Scalable Keypoints[C]∥Proceedings of the IEEE International Conference on Computer Vision (ICCV) ,2011:2 548-2 555.

[6] ALAHI A，ORTIZ R，PVANDERGHEYNST P.FREAK:Fast Retina Keypoint[C]∥IEEE Cnference on Computer Vision and Pattern Recognition (CVPR),2012:510-517.

[7] 彭 欣,劉富強(qiáng),劉華軍.基于SURF目標(biāo)跟蹤算法研究[J].長(zhǎng)春理工大學(xué)學(xué)報(bào),2011(6):138-141.

[8] 夏曉霞,劉 欣.基于改進(jìn)ASIFT的可見光圖像拼接研究[J].綜合電子信息技術(shù)，2014,40(5):73-75.

[9] 張?jiān)粕?鄒崢嶸.基于改進(jìn)ORB算法的遙感圖像自動(dòng)配準(zhǔn)方法[J].國(guó)土資源遙感，2013,25(3):20-23.

[10]王燦進(jìn),孫 濤,陳 娟.基于FREAK特征的快速景象匹配[J].電子測(cè)量與儀器學(xué)報(bào)，2015,29(2):204-212.

[11]索春寶,楊東清,劉云鵬.多角度比較SIFT、SURF、BRISK、ORB、FREAK算法[J].北京測(cè)繪，2014(4):23-26.

[12]曹 建,謝曉方,付霖宇,等.基于兩步位操作匹配的實(shí)時(shí)目標(biāo)識(shí)別跟蹤算法[J].彈箭與制導(dǎo)學(xué)報(bào),2013,33(2):125-128．

[13]藺海峰,馬宇峰,宋 濤.基于SIFT特征目標(biāo)跟蹤算法研究[J].自動(dòng)化學(xué)報(bào),2010,36(8):1 204-1 208.

劉亞偉 男，(1991—)，碩士研究生。主要研究方向：無人機(jī)目標(biāo)識(shí)別與跟蹤。

李小民 男，(1968—)，博士生導(dǎo)師。主要研究方向：無人機(jī)模擬仿真技術(shù)。

Comparison of Rapidity and Robustness of Tracking Algorithms Based on Binary-feature Matching

LIU Ya-wei，LI Xiao-min

(DepartmentofUAVEngineering，OrdnanceEngineeringCollege，ShijiazhuangHebei050003，China)

A Tracking algorithm based on binary-feature has been proposed to solve the problems of rapidity and robustness in the process of target tracking.The matching algorithms of binary-feature are used in object tracking，and the real-time performances are compared.Moreover，a series of experiments with occluded targets are conducted to test the robustness of the algorithms.Experiment results show that the matching speed of the tracking algorithm based on binary-feature matching is 3～4 times faster than SIFT (Scale Invariant Feature Transform) and SURF (Speeded up Robust Feature).And for occluded targets，BRISK (Binary Robust Invariant Scalable Keypoint) has the strongest robustness.

binary-feature;occlusion;rapidity;robustness

10.3969/j.issn.1003-3106.2016.11.08

劉亞偉，李小民.二值特征匹配跟蹤算法的快速性和魯棒性比較[J].無線電工程,2016,46(11):30-33.

2016-07-21

“十二五”裝備預(yù)研基金資助項(xiàng)目(51325050101)。

TP391.9

A

1003-3106(2016)11-0030-04