閆興亞，薛紅紅，李 樂

（西安郵電大學(xué) 計(jì)算機(jī)學(xué)院，陜西 西安 710061）

基于ORB與光流法的增強(qiáng)現(xiàn)實(shí)注冊(cè)算法研究

閆興亞，薛紅紅，李 樂

（西安郵電大學(xué) 計(jì)算機(jī)學(xué)院，陜西 西安 710061）

針對(duì)增強(qiáng)現(xiàn)實(shí)現(xiàn)有注冊(cè)算法速度較慢和實(shí)時(shí)性較弱的問題，提出一種新的基于ORB與光流法相結(jié)合的增強(qiáng)現(xiàn)實(shí)局部跟蹤注冊(cè)方法。采用光流法對(duì)移動(dòng)對(duì)象區(qū)域進(jìn)行跟蹤，同時(shí)利用ORB對(duì)該區(qū)域進(jìn)行特征點(diǎn)提取和匹配，改善了移動(dòng)三維注冊(cè)算法中的實(shí)時(shí)性能。通過跟蹤點(diǎn)失效檢測(cè)，確保了跟蹤的準(zhǔn)確度。最后利用相鄰幀之間特征點(diǎn)的匹配關(guān)系求得三維注冊(cè)矩陣，完成注冊(cè)。實(shí)驗(yàn)結(jié)果表明該方法達(dá)到了實(shí)時(shí)跟蹤與準(zhǔn)確注冊(cè)的效果，并且在環(huán)境變化時(shí)保持了較好的魯棒性。

增強(qiáng)現(xiàn)實(shí)；局部跟蹤；光流法；跟蹤失效檢測(cè)；實(shí)時(shí)注冊(cè)

增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）技術(shù)[1]是虛擬現(xiàn)實(shí)技術(shù)的擴(kuò)展，它將計(jì)算機(jī)產(chǎn)生的虛擬信息（如：三維物體、文字、圖像視頻等）與人們所看到的真實(shí)世界相疊加，給人以視覺增強(qiáng)的效果[2]。因此，增強(qiáng)現(xiàn)實(shí)是對(duì)真實(shí)世界的增強(qiáng)而非取代[3]。增強(qiáng)現(xiàn)實(shí)具有3大特點(diǎn)：虛實(shí)結(jié)合、實(shí)時(shí)交互和三維注冊(cè)，其中三維注冊(cè)是增強(qiáng)現(xiàn)實(shí)的核心技術(shù)，已成為當(dāng)今研究的熱點(diǎn)之一。當(dāng)前三維注冊(cè)技術(shù)一般可以分為：基于特殊標(biāo)識(shí)的注冊(cè)和基于自然特征的注冊(cè)[4]。由于人工放置的標(biāo)識(shí)圖像在一定程度上破壞了用戶對(duì)現(xiàn)實(shí)世界的感知體驗(yàn)，從而限制了其在現(xiàn)實(shí)中的應(yīng)用范圍[5]。近年來，隨著計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺技術(shù)的發(fā)展，基于標(biāo)識(shí)平面的自然特征注冊(cè)方法利用場(chǎng)景中的物體作為標(biāo)識(shí)平面，不受場(chǎng)合的限制，已成為增強(qiáng)現(xiàn)實(shí)發(fā)展的趨勢(shì)。

我們熟悉的特征點(diǎn)檢測(cè)與匹配算法有Sift[6]、Surf[7]等。它們可以提取具有尺度不變的特征點(diǎn)，且匹配性能良好，但是它們的計(jì)算復(fù)雜度高，實(shí)時(shí)性弱。近些年來，雖然關(guān)于Sift、Surf改進(jìn)的算法層出不窮[8-12]，但是它們?cè)趯?shí)時(shí)性方面的表現(xiàn)卻不盡人意。而ORB算法，在速度方面，比SIFT要快兩個(gè)數(shù)量級(jí)，比SURF快了一個(gè)數(shù)量級(jí)。光流法是通過跟蹤特征點(diǎn)坐標(biāo)的方式來對(duì)移動(dòng)區(qū)域進(jìn)行跟蹤，運(yùn)算簡(jiǎn)單快速，但持續(xù)的跟蹤會(huì)積累一定的誤差[13]。

針對(duì)以上出現(xiàn)的問題，本文的解決方案為：在跟蹤方面采用光流法對(duì)移動(dòng)對(duì)象（標(biāo)識(shí)平面）進(jìn)行跟蹤，這樣可以減小特征點(diǎn)提取與匹配的區(qū)域，再加上對(duì)跟蹤點(diǎn)的失效檢測(cè)來解決跟蹤容易失敗的問題；在特征點(diǎn)檢測(cè)和匹配方面采用ORB算法對(duì)光流法跟蹤出的移動(dòng)對(duì)象區(qū)域?qū)ふ姨卣鼽c(diǎn)，并進(jìn)行匹配，最后利用相鄰幀之間的匹配關(guān)系求得三維注冊(cè)矩陣，最后完成三維注冊(cè)。

1 ORB算法特征點(diǎn)提取

1.1 特征點(diǎn)檢測(cè)

ORB是由ERublee[14]等人提出的一種局部不變特征檢測(cè)算法。它采用FAST作為特征點(diǎn)檢測(cè)算子，引入圖像尺度金字塔，在圖像尺度金字塔每層檢測(cè)FAST特征。FAST特征不具有主方向，通過獲取特征點(diǎn)鄰域的重心確定方向參數(shù)[15]。文獻(xiàn)[15]中定義通過矩計(jì)算來獲得主方向，圖像中任意一小塊區(qū)域圖像I（x，y）的（p+q）階矩定義為式（1）：

其中 x，y∈[-r，r]，R 為圓形鄰域半徑。

圓形鄰域重心計(jì)算式：

特征點(diǎn)的方向，如式（3）示：

由此，可為候選特征點(diǎn)確定主方向θ，有了θ就可以提取BRIEF描述子。此外，由于FAST邊緣響應(yīng)嚴(yán)重的特點(diǎn)，ORB采用Harris角點(diǎn)檢測(cè)算法對(duì)其排序，然后根據(jù)特征點(diǎn)數(shù)目的需求篩取排名靠前的點(diǎn)作為特征點(diǎn)。

1.2 特征點(diǎn)描述

ORB算法利用的是rBRIEF，核心思想是利用少量的強(qiáng)度來表示圖像的鄰域。BRIEF算法獲得描述子的步驟如下：首先在一個(gè)S×S大小的圖像區(qū)域p上定義一個(gè)測(cè)試集合

其中 p（x）是經(jīng)高斯平滑后在像素點(diǎn) x=（u，v）T的灰度值。選定一個(gè)有確定位置關(guān)系的像素點(diǎn)對(duì)測(cè)試集 nd（x，y），生成的描述子如下：

nd可以取128或256或512?？紤]到魯棒性本文設(shè)定nd為256。

隨機(jī)點(diǎn)對(duì)生成的描述子對(duì)噪聲比較敏感，為此ORB在FAST特征點(diǎn)31×31像素領(lǐng)域內(nèi)隨機(jī)選取5×5的像素塊對(duì)，使用積分圖對(duì)若干對(duì)像素塊進(jìn)行比較，得到二進(jìn)制串這樣使用像素塊灰度總和比較的方法有效地降低了隨機(jī)噪聲的干擾。

另外，BRIEF本身是無向的，不具有旋轉(zhuǎn)不變性，ORB的解決方法是嘗試給BRIEF添加一個(gè)方向。在位置處（xi，yi），對(duì)于任意n個(gè)二進(jìn)制準(zhǔn)則特征集，定義一個(gè)2n矩陣如式（6）：

使用鄰域方向θ和對(duì)應(yīng)的旋轉(zhuǎn)矩陣Rθ，構(gòu)建S的一個(gè)校正版本 Sθ：Sθ=RθS 于是 Steered BRIEF 描述子就為式（7）：

得到Steered BRIEF后，接著執(zhí)行一個(gè)貪婪搜索，從所有可能的像素塊對(duì)中找256個(gè)相關(guān)性最低的像素塊對(duì)，即得到最終的rBRIEF。

2 跟蹤與匹配

2.1 移動(dòng)對(duì)象跟蹤

在進(jìn)行特征匹配時(shí)，如果對(duì)匹配圖像全局提取特征點(diǎn)再與目標(biāo)圖像特征點(diǎn)一一匹配，會(huì)比較耗時(shí)，因此不能保證注冊(cè)的實(shí)時(shí)性。若縮小圖像大小，匹配時(shí)間會(huì)相對(duì)減少，但是檢測(cè)到的特征點(diǎn)也會(huì)隨之減少，不利于后續(xù)跟蹤匹配。由于光流法對(duì)小幅度的移動(dòng)有很好的跟蹤效果，故結(jié)合光流法（本文采用金字塔L-K光流法）來跟蹤移動(dòng)對(duì)象區(qū)域，這樣既可以縮短匹配時(shí)間，又不會(huì)減少匹配點(diǎn)。

2.2 跟蹤點(diǎn)失效檢測(cè)

SSD錯(cuò)誤檢測(cè)方法是最常用的跟蹤錯(cuò)誤檢測(cè)方法之一，實(shí)現(xiàn)方法如下：在t時(shí)刻，用目標(biāo)跟蹤點(diǎn)周圍的圖像塊R，描述目標(biāo)跟蹤點(diǎn)。跟蹤目標(biāo)點(diǎn)至t+1時(shí)刻，并得到它在t+1時(shí)刻的描述R′，錯(cuò)誤檢測(cè)算法的跟蹤誤差則表示為（8）：

SSD值越高，表示兩個(gè)圖像塊之間越不相似。SSD值高于某個(gè)閾值時(shí)，則跟蹤錯(cuò)誤。

由于SSD錯(cuò)誤檢測(cè)方法無法排除被錯(cuò)誤跟蹤的點(diǎn)，而Forward-Backward錯(cuò)誤檢測(cè)方法的引入正好可以解決這個(gè)問題，具體實(shí)現(xiàn)方法如圖2所示：

Pt為其中一個(gè)被跟蹤點(diǎn)在t時(shí)刻的位置。首先追蹤器追蹤點(diǎn)Pt，經(jīng)過正向追蹤k步后生成點(diǎn)Pt的軌跡。然后令，反向追蹤點(diǎn)，同樣生成追蹤k步后的軌跡。

圖1 Forward-Backward

最后，比較兩條軌跡，如果它們相差太遠(yuǎn)，則跟蹤錯(cuò)誤。反之，差距小于一定的閾值，則認(rèn)為目標(biāo)點(diǎn)已被正確地跟蹤到。

2.3 ORB特征匹配

對(duì)當(dāng)前幀的跟蹤區(qū)域進(jìn)行ORB特征點(diǎn)檢測(cè)，特征點(diǎn)選取以后，便可進(jìn)行特征點(diǎn)匹配。由于生成的特征點(diǎn)描述子為二進(jìn)制碼串形式，因此使用Hamming距離對(duì)特征點(diǎn)匹配較為簡(jiǎn)單。

通過上述方法進(jìn)行特征點(diǎn)匹配后，往往存在許多誤匹配的點(diǎn)對(duì)，因此，使用PERANSAC來剔除誤匹配點(diǎn)對(duì)。

3 基于單應(yīng)性三維注冊(cè)矩陣計(jì)算

虛實(shí)注冊(cè)是利用計(jì)算機(jī)視覺技術(shù)實(shí)時(shí)地檢測(cè)出攝像頭在真實(shí)環(huán)境中的相對(duì)位置和角度，從而進(jìn)行虛擬物體的疊加，世界坐標(biāo)系的點(diǎn) Xw=（xw，yw，zw，1）與其在像平面上的投影 Xi=（xi，yi，1）的關(guān)系可用下式表示：

其中，λ表示比例因子，矩陣K為攝像機(jī)的內(nèi)部參數(shù)矩陣，矩陣M為模型視點(diǎn)矩陣，當(dāng)Xw在標(biāo)識(shí)平面上時(shí)Zw=0式（9）可以轉(zhuǎn)換為

由（10）、（11）可得：

4 實(shí)驗(yàn)結(jié)果與分析

4.1 運(yùn)算時(shí)間對(duì)比與分析

分別使用ORB全局跟蹤注冊(cè)方法，SIFT局部跟蹤注冊(cè)方法和本文的ORB局部跟蹤注冊(cè)方法對(duì)同一段大小為640×480的視頻進(jìn)行基于特征點(diǎn)的跟蹤注冊(cè)，將跟蹤注冊(cè)耗時(shí)進(jìn)行對(duì)比。視頻采用事先錄制的視頻，對(duì)象采用3.1節(jié)實(shí)驗(yàn)中所使用的對(duì)象，測(cè)試平臺(tái)為個(gè)人PC，操作系統(tǒng)為Windows7，處理器為Intel（R） Celeron（R） 2957U@1.40 GHz，內(nèi)存為2G。每隔50幀圖像進(jìn)行一次平均計(jì)算，測(cè)試時(shí)間對(duì)比結(jié)果如表1所示。

表1 注冊(cè)跟蹤平均耗時(shí)/ms

從表1中可以看出，本文方法在系統(tǒng)處于穩(wěn)定狀態(tài)時(shí)，注冊(cè)平均耗時(shí)維持在103.26 ms左右，較ORB全局跟蹤注冊(cè)方法運(yùn)算時(shí)間119.08 ms縮短了近13%，較SIFT局部跟蹤注冊(cè)方法運(yùn)算時(shí)間481.12 ms縮短了近3/4，因此更適合應(yīng)用在實(shí)時(shí)增強(qiáng)現(xiàn)實(shí)系統(tǒng)中。

4.2 運(yùn)行結(jié)果

圖 2（a）～（d）為本文方法實(shí)驗(yàn)運(yùn)行結(jié)果。從（a）到（d）圖像幀數(shù)逐漸增加，（a）、（b）分別為對(duì)象正面和旋轉(zhuǎn)180°后的注冊(cè)結(jié)果，（c）為系統(tǒng)在對(duì)象部分遮擋的情況下完成的注冊(cè)結(jié)果，（d）為在一定幅度視角變化情況下的注冊(cè)結(jié)果。

圖2 本文方法運(yùn)行結(jié)果

實(shí)驗(yàn)結(jié)果表明，文中方法在在一定幅度視角變化與標(biāo)識(shí)部分遮擋的情況以及光照下都可以完成注冊(cè)?？梢詫?shí)時(shí)地對(duì)圖像進(jìn)行跟蹤與注冊(cè)，同時(shí)較好地解決了注冊(cè)誤差累積的問題。

5 結(jié)束語

提出了一種準(zhǔn)確、快速的增強(qiáng)現(xiàn)實(shí)跟蹤注冊(cè)方法，該方法采用ORB與光流法相結(jié)合的跟蹤注冊(cè)策略，利用光流法跟蹤移動(dòng)對(duì)象區(qū)域并結(jié)合跟蹤點(diǎn)失效檢測(cè)保證了跟蹤的穩(wěn)定性與精確性，采用ORB特征提取與匹配算法在對(duì)旋轉(zhuǎn)、尺度縮放、亮度、視角及仿射等保持不變性的同時(shí)，確保了運(yùn)算速度，實(shí)驗(yàn)結(jié)果表明，文中方法較好的滿足了增強(qiáng)現(xiàn)實(shí)跟蹤注冊(cè)方法對(duì)實(shí)時(shí)性和精確性的要求。

[1]羅斌，王涌天，沈浩，等.增強(qiáng)現(xiàn)實(shí)混合跟蹤技術(shù)綜述[J].自動(dòng)化學(xué)報(bào)，2013，39（8）：1185-1201.

[2]劉莉.增強(qiáng)現(xiàn)實(shí)中基于輪廓深度恢復(fù)的虛實(shí)遮擋方法研究[J].計(jì)算機(jī)應(yīng)用與軟件，2011，28（1）：220-222.

[3]陳靖.增強(qiáng)現(xiàn)實(shí)研究進(jìn)展與核心技術(shù)（上）[J].信息技術(shù)與標(biāo)準(zhǔn)化，2012，6（6）：35-37.

[4]李揚(yáng)，孫超，張明敏，等.跟蹤與匹配并行的增強(qiáng)現(xiàn)實(shí)注冊(cè)方法[J].中國(guó)圖象圖形學(xué)報(bào)，2011，16（4）：680-685.

[5]饒玲珊，林寅，楊旭波，等.增強(qiáng)現(xiàn)實(shí)游戲的場(chǎng)景重建和運(yùn)動(dòng)物體跟蹤技術(shù) [J].計(jì)算機(jī)工程與應(yīng)用，2012，48（9）：198-200.

[6]LOWE D G.Distinctive image features from scaleinvariantkeypoints [J].InternationalJournalof Computer Vision，2004，60（2）：91-110.

[7]BAY H，TUYTELAARS T，Van GOOLI L.Speededup robust features（SURF） [J].Computer Vision and Image Understanding，2008，110（3）：346-389.

[8]Dl N，L1 G J，CHEN CH N.Image matching technology research based on normalized DOG features[J].Journal of Electronic Measurement and Instrumentation，2014，28（6）：585-560.

[9]閆鈞華，杭誼青，許俊峰，等.基于CUDA的高分辨率數(shù)字視頻圖像配準(zhǔn)快速實(shí)現(xiàn)[J].儀器儀表學(xué)報(bào)，2014，35（2）：380-386.

[10]衛(wèi)星，樊紹勝，高山.基于BRISK的圖像快速匹配與變換算法田[J].電子測(cè)量技術(shù)，2015，38（3）：43-47.

[11]LU M M，ZHAO F J，LI N.Feature extraction of high-resolution SAR images based on bag-of-word model [J].Foreign Electronic Measurement Technology，2015，34（6）：62-69.

[12]劉松松，張輝，毛征，等.基于HRM特征提取和SVM的目標(biāo)檢測(cè)方法 [J].國(guó)外電子測(cè)量技術(shù)，2014，33（10）：38-41.

[13]Samsudin W S，Sundaraj K，Ahmad A，et al.Initial assessment of facial nerve paralysis based on motion analysis using an optical flow method[J].Technology&Health Care Official Journal of the European Society for Engineering&Medicine，2015.

[14]Rublee E，Rabaudv，Konolige K，et al.ORB：an efficient alternative to SIFT or S-URF [C]//IEEE InternationalConference on Computer Vision 2011：2564-2571.

[15]Ren J，Zhou Y，Yu Y，et al.Real time augmented reality based on ORB[J].Application Research of Computers，2012，29（9）：3594-3596.

Research on augmented reality registration algorithm based on ORB and optical flow method

YAN Xing-ya，XUE Hong-hong，LI Le
（School of Computer Science and Technology，Xi’an University of Posts and Telecommunications，Xi’an 710061，China）

Aiming at the problem that existing registration algorithm is weak on speed and real-time，A tracking and registration method based on ORB and optical flow in the AR is proposed.Using optical flow method to track the moving object region，and using ORB to extract and match the feature points of the region，improve the real-time performance of the mobile 3D registration algorithm.By tracking point failure detection，to ensure the accuracy of the tracking.Finally，using the matching relationship between the characteristic points of adjacent frames to get the 3D registration matrix.Experimental results show that the proposed method can achieve the effect of real-time tracking and accurate registration，and the robustness of the proposed method is better when the environment changes.

Augmented Reality （AR）；region-based tracking；optical flow method；tracking failure detection；real-time registration

TN919.82

：A

：1674－6236（2017）13-0040-04

2016-05-05稿件編號(hào)：201605041

閆興亞（1974—），男，遼寧鞍山人，博士，教授。研究方向：數(shù)字媒體理論與應(yīng)用和增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用。