王小紅

(青海民族大學(xué))

基于TLD與SIFT的增強(qiáng)現(xiàn)實(shí)三維注冊(cè)方法

王小紅

(青海民族大學(xué))

針對(duì)目前增強(qiáng)現(xiàn)實(shí)三維注冊(cè)易受復(fù)雜環(huán)境以及算法復(fù)雜度高的影響，提出一種基于TLD與SIFT的增強(qiáng)現(xiàn)實(shí)三維注冊(cè)方法.該方法分為4步：(1)采用TLD目標(biāo)跟蹤算法對(duì)目標(biāo)區(qū)域進(jìn)行跟蹤；(2)采用SIFT特征檢測(cè)算法對(duì)跟蹤的目標(biāo)區(qū)域進(jìn)行特征點(diǎn)的提取與匹配；(3)利用特征點(diǎn)的匹配關(guān)系計(jì)算出三維注冊(cè)矩陣；(4)根據(jù)計(jì)算出的三維注冊(cè)矩陣完成注冊(cè)，從而完成對(duì)現(xiàn)實(shí)世界的增強(qiáng).仿真實(shí)驗(yàn)結(jié)果表明，當(dāng)標(biāo)識(shí)可見、不可見以及待注冊(cè)圖像發(fā)生旋轉(zhuǎn)變換、尺度變換時(shí)，基于TLD與SIFT的增強(qiáng)現(xiàn)實(shí)三維注冊(cè)方法都能成功完成注冊(cè)，該三維注冊(cè)方法有效提高了AR系統(tǒng)的實(shí)時(shí)性、穩(wěn)定性和魯棒性.

SIFT；TLD；增強(qiáng)現(xiàn)實(shí)；三維注冊(cè)

0 引言

增強(qiáng)現(xiàn)實(shí)(Augmented Reality，AR)是將真實(shí)世界和虛擬信息相疊加的一種技術(shù)，從而給人以視覺增強(qiáng)的效果.三維注冊(cè)技術(shù)是實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)系統(tǒng)的關(guān)鍵，該技術(shù)的好壞直接影響增強(qiáng)現(xiàn)實(shí)系統(tǒng)性能的優(yōu)劣[1].目前主流的三維注冊(cè)技術(shù)主要有基于標(biāo)識(shí)(marker)的注冊(cè)、基于標(biāo)識(shí)(marker)與自然紋理的注冊(cè)以及基于自然紋理的注冊(cè)[2].基于marker的三維注冊(cè)由于marker實(shí)時(shí)可見，在現(xiàn)實(shí)世界中應(yīng)用起來(lái)非常不便[3].因此，隨著今年來(lái)機(jī)器視覺技術(shù)的不斷發(fā)展，基于自然紋理的三維注冊(cè)方法已逐漸成為AR技術(shù)發(fā)展的主流趨勢(shì).

目前，增強(qiáng)現(xiàn)實(shí)三維注冊(cè)技術(shù)大多數(shù)基于自然紋理的注冊(cè)方法都是基于特征點(diǎn)的跟蹤與匹配策略，但這些算法復(fù)雜度高且易受復(fù)雜環(huán)境的影響，使得AR系統(tǒng)三維注冊(cè)的精確度、實(shí)時(shí)性相對(duì)較差.

Lowe在2004年提出的尺度不變特征變換(Scale Invariant Feature Transform，SIFT)[4]特征檢測(cè)與匹配算法，相比與一些較成熟的特征檢測(cè)與匹配算法相比，檢測(cè)出的特征點(diǎn)具有尺度不變性，而且特征點(diǎn)的提取與匹配精度得到了較大提高[5].目前主流的的目標(biāo)跟蹤算法中，雖然光流法跟蹤相對(duì)簡(jiǎn)單、訊速，但持續(xù)跟蹤會(huì)導(dǎo)致誤差的積累，而且長(zhǎng)時(shí)間跟蹤會(huì)導(dǎo)致跟蹤不成功[6].而基于跟蹤、檢測(cè)和學(xué)習(xí)的TLD(Tracking-Learning-Detection)目標(biāo)跟蹤算法具備很強(qiáng)的學(xué)習(xí)恢復(fù)能力，跟蹤結(jié)果具有較強(qiáng)的穩(wěn)定性和魯棒性[7].

通過以上的分析和研究，該文提出一種基于TLD與SIFT的增強(qiáng)現(xiàn)實(shí)三維注冊(cè)方法.首先采用TLD跟蹤對(duì)目標(biāo)區(qū)域進(jìn)行跟蹤，并使用TLD算法跟蹤、檢測(cè)和學(xué)習(xí)的策略來(lái)解決持續(xù)的跟蹤導(dǎo)致誤差積累的問題，然后利用SIFT算法對(duì)目標(biāo)區(qū)域進(jìn)行特征點(diǎn)的提取與匹配，最后根據(jù)特征點(diǎn)的匹配計(jì)算出三維注冊(cè)矩陣來(lái)完成對(duì)現(xiàn)實(shí)世界的增強(qiáng).為了提高目標(biāo)跟蹤和特征匹配的速度，該文對(duì)采集的圖像按照公式(1)進(jìn)行色彩轉(zhuǎn)換[8]，使得計(jì)算維度降低且提高了運(yùn)算的效率.

I=0.299×R+0.587×G+0.114×B

(1)

1 TLD目標(biāo)跟蹤

TLD目標(biāo)跟蹤算法將目標(biāo)跟蹤分為了跟蹤、學(xué)習(xí)以及檢測(cè)三個(gè)部分.跟蹤目標(biāo)的任務(wù)主要由跟蹤器完成，對(duì)檢測(cè)到的目標(biāo)區(qū)域進(jìn)行處理主要由檢測(cè)器完成，并在此過程中不斷的矯正跟蹤器跟蹤的目標(biāo)區(qū)域，而檢測(cè)器的錯(cuò)誤發(fā)現(xiàn)和實(shí)時(shí)更新主要由學(xué)習(xí)器來(lái)完成，以上三個(gè)部分相互制約，相互合作，最后使得能正確、有效的完成對(duì)目標(biāo)區(qū)域的跟蹤.在此我們需要注意的就是跟蹤器中采用的NCC算法去除特征匹配效果較差的特征點(diǎn)的方法.

假設(shè)F為大小M1×N1需進(jìn)行特征匹配的圖像，T為大小M2×N2的模板圖像，選取的基準(zhǔn)點(diǎn)為需進(jìn)行特征匹配的圖像F的左上角，在F中移動(dòng)模板T后所得位于(m,n)處以及搜索子圖的像素分別為T(m,n)和Fij(i+m,j+n).其中，0≤i≤N1-N2，0≤i≤M1-M2.而經(jīng)典去均值NCC算法為[9]：

(4)

可以看出，相比于傳統(tǒng)的目標(biāo)跟蹤算法，在復(fù)雜環(huán)境下，TLD目標(biāo)跟蹤算法具有更強(qiáng)的實(shí)時(shí)性和穩(wěn)定性.

2 SIFT特征檢測(cè)與匹配

該文主要檢測(cè)了目標(biāo)跟蹤中目標(biāo)圖形的特征點(diǎn)，并用于后面的匹配.該文采用SIFT特征提取算法進(jìn)行特征點(diǎn)提取與匹配.SIFT特征檢測(cè)與匹配分為以下三步.

2.1特征點(diǎn)檢測(cè)

SIFT特征檢測(cè)算法主要是在DOG尺度空間下來(lái)完成特征點(diǎn)的檢測(cè)，而且檢測(cè)出的特征點(diǎn)具有很好的魯棒性[10-12].圖像在(x,y)圖像的像素值為用I(x,y)(表示，而且待檢測(cè)圖像的尺度空間用一般用L表示.因此，為了更加準(zhǔn)確的定位特征點(diǎn)，需要先利用判斷該點(diǎn)是否為偽特征點(diǎn)，同時(shí)得到特征點(diǎn)的擬合函數(shù).若不是，那么計(jì)算出檢測(cè)出特征點(diǎn)的法向量并用于特征匹配，使得減少誤匹配的特征點(diǎn).相反則需要?jiǎng)h除特征表現(xiàn)較弱的偽特征點(diǎn).

2.2特征點(diǎn)描述

特征點(diǎn)描述主要是為了能夠更加準(zhǔn)確的進(jìn)行特征匹配.假設(shè)特征點(diǎn)位于中心，對(duì)于梯度運(yùn)算需要從4個(gè)方向進(jìn)行，設(shè)檢測(cè)窗口為3×3，4個(gè)方向的梯度的計(jì)算描述用3×3=9點(diǎn)，且每個(gè)點(diǎn)有4個(gè)方向，因此，方向的信息量為3×3×4=36個(gè).其中，梯度計(jì)算公式為：

(5)

(6)

(7)

其中，θi和ri為時(shí)間點(diǎn)為i時(shí)的檢測(cè)強(qiáng)度，且λi為檢測(cè)誤差.采用上述方法，提取的特征點(diǎn)如圖1所示，不同區(qū)域間的特征匹配都將采用圖1中提取的特征點(diǎn)[13].

圖1 檢測(cè)方向

2.3特征點(diǎn)匹配

對(duì)目標(biāo)跟蹤的區(qū)域進(jìn)行SIFT特征點(diǎn)匹配，首先要保證高質(zhì)量特征點(diǎn)[14]有足夠的數(shù)量，且判斷依據(jù)是：

hi>H

(8)

其中，Hessian值為hi，H=1000[15].在提取特征點(diǎn)后需進(jìn)行特征匹配[4]，由于噪聲、目標(biāo)移動(dòng)、運(yùn)動(dòng)物體等因素的存在易導(dǎo)致誤匹配的特征點(diǎn)[16]，因此，該文后續(xù)采用RANSAC算法[17]去除匹配錯(cuò)誤的特征點(diǎn).最后，基于上述的TLD目標(biāo)跟蹤和SIFT特征點(diǎn)提取與匹配結(jié)果計(jì)算出增強(qiáng)現(xiàn)實(shí)三維注冊(cè)矩陣[18-20]，從而根據(jù)計(jì)算出的注冊(cè)矩陣完成對(duì)現(xiàn)實(shí)世界的增強(qiáng).

3 實(shí)驗(yàn)結(jié)果及分析

3.1實(shí)驗(yàn)軟硬件平臺(tái)

該文通過一臺(tái)PC機(jī)、一個(gè)19寸液晶顯示器和一個(gè)攝像頭進(jìn)行注冊(cè)實(shí)驗(yàn).首先在Windows7操作系統(tǒng)下，使用VS平臺(tái)，通過Vuforia開發(fā)庫(kù)生成的虛擬物體并對(duì)畫面進(jìn)行處理，最終將生成的虛擬物體注冊(cè)后顯示在顯示器上.具體實(shí)驗(yàn)平臺(tái)見表1.

表1 實(shí)驗(yàn)平臺(tái)

3.2三維注冊(cè)實(shí)驗(yàn)結(jié)果及分析

圖2所示為初始幀圖像，其中注冊(cè)圖形和自然紋理特征都可見，基于TLD與SIFT的增強(qiáng)現(xiàn)實(shí)三維注冊(cè)方法通過對(duì)待注冊(cè)區(qū)域的自然紋理處理，并使用注冊(cè)圖形計(jì)算三維注冊(cè)矩陣，從而生成特征模板進(jìn)行匹配.圖3所示為是用在標(biāo)識(shí)可見的情況下進(jìn)行虛擬物體與真實(shí)世界疊加來(lái)進(jìn)行三維注冊(cè)后的結(jié)果，可見該文三維注冊(cè)方法可以成功完成注冊(cè).圖4所示為標(biāo)識(shí)不可見時(shí)該文三維注冊(cè)方法的注冊(cè)結(jié)果，圖5所示為待注冊(cè)圖像旋轉(zhuǎn)變換時(shí)的該文三維注冊(cè)方法注冊(cè)的結(jié)果，圖6所示為待注冊(cè)圖像尺度變換時(shí)的該文三維注冊(cè)方法注冊(cè)結(jié)果.

圖2 初始實(shí)驗(yàn)場(chǎng)景

圖3 標(biāo)識(shí)可見時(shí)的注冊(cè)結(jié)果

圖4 標(biāo)識(shí)不可見時(shí)的注冊(cè)結(jié)果

圖5 待注冊(cè)圖像旋轉(zhuǎn)變換時(shí)的注冊(cè)結(jié)果

圖6 待注冊(cè)圖像尺度變換時(shí)的注冊(cè)結(jié)果

綜上所述，當(dāng)標(biāo)識(shí)可見、不可見以及待注冊(cè)圖像發(fā)生旋轉(zhuǎn)變換、尺度變換時(shí)，基于TLD與SIFT的增強(qiáng)現(xiàn)實(shí)三維注冊(cè)方法都能成功完成注冊(cè)，因此，該文提出的三維注冊(cè)方法有效提高了AR系統(tǒng)的穩(wěn)定性和魯棒性.

3.3三維注冊(cè)運(yùn)算時(shí)間及分析

采用基于TLD與SIFT的增強(qiáng)現(xiàn)實(shí)三維注冊(cè)方法和基于TLD與SURF的增強(qiáng)現(xiàn)實(shí)三維注冊(cè)方法進(jìn)行三維注冊(cè)，并對(duì)三維注冊(cè)時(shí)間進(jìn)行對(duì)比分析，采集計(jì)算時(shí)間的間隔為100幀，三維注冊(cè)時(shí)間結(jié)果見表2.其中，視頻的大小為640×480像素，目標(biāo)區(qū)域的移動(dòng)采用平移、旋轉(zhuǎn)和縮放，并以一般移動(dòng)速度.

表2 三維注冊(cè)時(shí)間

從表2中可以看出，基于TLD與SIFT的增強(qiáng)現(xiàn)實(shí)三維注冊(cè)方法在系統(tǒng)處于穩(wěn)定狀態(tài)時(shí)運(yùn)行時(shí)間約為0.185s，相比于基于TLD與SURF的增強(qiáng)現(xiàn)實(shí)三維注冊(cè)方法運(yùn)行時(shí)間提高了約1/3.因此，該文提出的三維注冊(cè)方法有效的提高了AR系統(tǒng)的運(yùn)行速度.

4 總結(jié)與展望

針對(duì)目前增強(qiáng)現(xiàn)實(shí)三維注冊(cè)易受復(fù)雜環(huán)境以及算法復(fù)雜度高的影響，該文提出一種基于TLD與SIFT的增強(qiáng)現(xiàn)實(shí)三維注冊(cè)方法.首先采用TLD目標(biāo)跟蹤算法對(duì)目標(biāo)區(qū)域進(jìn)行跟蹤，并采用SIFT特征檢測(cè)算法對(duì)跟蹤的目標(biāo)區(qū)域進(jìn)行特征點(diǎn)的提取與匹配，然后利用特征點(diǎn)的匹配關(guān)系計(jì)算出三維注冊(cè)矩陣，最后根據(jù)計(jì)算出的三維注冊(cè)矩陣完成注冊(cè)，從而完成對(duì)現(xiàn)實(shí)世界的增強(qiáng).仿真實(shí)驗(yàn)結(jié)果表明，當(dāng)標(biāo)識(shí)可見、不可見以及待注冊(cè)圖像發(fā)生旋轉(zhuǎn)變換、尺度變換時(shí)，基于TLD與SIFT的增強(qiáng)現(xiàn)實(shí)三維注冊(cè)方法都能成功完成注冊(cè)，因此，該文提出的三維注冊(cè)方法有效提高了AR系統(tǒng)的實(shí)時(shí)性、穩(wěn)定性和魯棒性.

[1] Billinghurst M,Clark A,Lee G.A Survey of Augmented Reality[J].Foundations and Trends in Human-Computer Interaction,2015,8(2-3):73-272.

[2] 李揚(yáng),孫超,張明敏,等.跟蹤與匹配并行的增強(qiáng)現(xiàn)實(shí)注冊(cè)方法[J].中國(guó)圖象圖形學(xué)報(bào),2011,16(4):680-685.

[3] 饒玲珊,林寅,楊旭波,等.增強(qiáng)現(xiàn)實(shí)游戲的場(chǎng)景重建和運(yùn)動(dòng)物體跟蹤技術(shù)[J].計(jì)算機(jī)工程與應(yīng)用,2012,48(9):198-200.

[4] Lowe D G,Lowe D G.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[5] 歐陽(yáng)能鈞,李偉彤,韋蔚,等.A Comparison of SIFT,PCA-SIFT and SURF[J].遙感技術(shù)與應(yīng)用,2013,28(1):58-64.

[6] 呂旸,王涌天,陳靖,等.基于SIFT+KLT混合特征的增強(qiáng)現(xiàn)實(shí)跟蹤定位[C]// 2009中國(guó)計(jì)算機(jī)大會(huì).2009.

[7] 李炎,尹東.基于TLD的增強(qiáng)現(xiàn)實(shí)跟蹤注冊(cè)方法[J].系統(tǒng)仿真學(xué)報(bào),2014,26(9):2062-2067.

[8] Gonzalez R C,Wintz P.Digital image processing[M].電子工業(yè)出版社,2007.

[9] 邢藏菊,溫蘭蘭,何蘇勤.TLD視頻目標(biāo)跟蹤器快速匹配的研究[J].小型微型計(jì)算機(jī)系統(tǒng),2015,36(5):1113-1116.

[10] 梁群仙,許宏麗.一種基于點(diǎn)云數(shù)據(jù)的快速曲面重構(gòu)方法[J].計(jì)算機(jī)工程,2013,39(2):237-240.

[11] 藺海峰,馬宇峰,宋濤.基于SIFT特征目標(biāo)跟蹤算法研究[J].Acta Automatica Sinica,2010,36(8):1204-1208.

[12] 單好民.一種改進(jìn)的壓縮感知信號(hào)重建算法在WSN中的研究[J].計(jì)算機(jī)測(cè)量與控制,2015,23(11):3766-3768.

[13] 陽(yáng)建中,陳慧蓉,胡俐蕊.基于SIFT特征檢測(cè)和三次插值樣條的快速曲面重構(gòu)算法[J].計(jì)算機(jī)測(cè)量與控制,2017,25(1):185-187.

[14] 周見光,石剛,馬小虎.增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的虛擬交互方法[J].計(jì)算機(jī)工程,2012,38(1):251-252.

[15] 張志禹,劉耀陽(yáng).基于SURF與光流法的增強(qiáng)現(xiàn)實(shí)跟蹤注冊(cè)[J].計(jì)算機(jī)工程與應(yīng)用,2015,51(3):166-170.

[16] 趙新燦,張燕.基于圖形處理器的增強(qiáng)現(xiàn)實(shí)自然紋理注冊(cè)算法[J].南京理工大學(xué)學(xué)報(bào)：自然科學(xué)版,2011,35(4):448-452.

[17] Rabin J,Delon J,Gousseau Y,et al.MAC-RANSAC:a robust algorithm for the recognition of multiple objects[J].Proceedings Ofdptv,2010:051.

[18] 管濤,李利軍,段利亞,等.基于標(biāo)識(shí)與平面間單應(yīng)性矩陣的虛實(shí)注冊(cè)方法[J].華中科技大學(xué)學(xué)報(bào)：自然科學(xué)版，2006,34(10):55-57.

[19] Zhang G F.Camera Tracking Based on Structure and Motion Recovery for Augmented Video[J].Chinese Journal of Computers,2006,29(12):2104-2111.

[20] Trucco E,Verri A.Introductory Techniques for 3-D Computer Vision[M]// Introductory techniques for 3-D computer vision /.Prentice Hall,1998:370 - 376.

Abstract:In view of the fact that the augmented reality 3D registration is vulnerable to the complex environment and the complexity of the algorithm,a new method of 3D registration of augmented reality based on TLD and SIFT is proposed.The method consists of 4 steps:1) the TLD target tracking algorithm to track the target area; 2) using the SIFT feature detection algorithm to extract the feature points of object tracking and matching; 3) using the matching relationship between feature points to calculate the 3D registration matrix; 4) to complete the registration according to the matrix calculation thus,in order to enhance the reality of the world.The simulation results show that,when the logo visible and invisible as well as to register image rotation,scale transformation,TLD and SIFT 3D registration method based on can successfully complete the registration,the registration method is proposed in this paper.The AR system's real-time,stability and robustness are effectively improved.

Keywords:SIFT；TLD；Augmented Reality；3D Registration

(責(zé)任編輯：季春陽(yáng))

3DRegistrationMethodforAugmentedRealityBasedonTLDandSIFT

WangXiaohong

(QinghaiNationalitiesUniversity)

TP391.9

A

1000-5617(2017)02-0071-04

2017-03-25