蘇澤蔭，林志賢，郭太良

(福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350108)

基于Android移動(dòng)設(shè)備的增強(qiáng)現(xiàn)實(shí)技術(shù)研究*

蘇澤蔭，林志賢，郭太良

(福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350108)

針對(duì)移動(dòng)設(shè)備弱處理能力和低內(nèi)存等局限性，導(dǎo)致增強(qiáng)現(xiàn)實(shí)技術(shù)不能在移動(dòng)設(shè)備上普及，提出一種新的增強(qiáng)現(xiàn)實(shí)技術(shù)方案。采用SURF算法提取視頻幀圖像的特征點(diǎn)，接著使用FREAK算法進(jìn)行特征點(diǎn)描述；在漢明距離強(qiáng)制匹配之后，采用改進(jìn)的RANSAC算法剔除了誤匹配點(diǎn)，然后通過計(jì)算比較匹配特征點(diǎn)占樣本圖像特征點(diǎn)的比重，判斷是否成功匹配目標(biāo)物體；最后渲染對(duì)應(yīng)的三維模型完成增強(qiáng)現(xiàn)實(shí)三維注冊(cè)。通過在Android移動(dòng)設(shè)備上的驗(yàn)證，結(jié)果表明該技術(shù)方案滿足移動(dòng)設(shè)備對(duì)實(shí)時(shí)性、準(zhǔn)確性和魯棒性的要求，為移動(dòng)增強(qiáng)現(xiàn)實(shí)的推廣奠定了良好的基礎(chǔ)。

增強(qiáng)現(xiàn)實(shí)；SURF；FREAK；漢明距離；RANSAC；三維注冊(cè)

0 引言

隨著智能移動(dòng)終端的不斷普及，以及硬件配置的不斷提升，增強(qiáng)現(xiàn)實(shí)技術(shù)[1-2]在移動(dòng)設(shè)備的研究與開發(fā)已成為當(dāng)今的熱點(diǎn)。增強(qiáng)現(xiàn)實(shí)技術(shù)在移動(dòng)手持設(shè)備上的應(yīng)用又稱為移動(dòng)增強(qiáng)現(xiàn)實(shí)(Mobile Augmented Reality,MAR)[3-4]。但由于增強(qiáng)現(xiàn)實(shí)中的關(guān)鍵技術(shù)——三維注冊(cè)[5-7]，需要大量的運(yùn)算和內(nèi)存，因此本文根據(jù)移動(dòng)設(shè)備的實(shí)際情況，對(duì)三維注冊(cè)算法進(jìn)行改進(jìn)，研究設(shè)計(jì)出一個(gè)通用可移植的增強(qiáng)現(xiàn)實(shí)系統(tǒng)方案并實(shí)際測(cè)試驗(yàn)證。

在實(shí)際使用智能移動(dòng)設(shè)備進(jìn)行增強(qiáng)現(xiàn)實(shí)的三維注冊(cè)時(shí)，由于待識(shí)別的物體存在尺度和旋轉(zhuǎn)變換，以及周圍環(huán)境如光照等干擾，這就要求三維注冊(cè)算法要具有良好的魯棒性，而實(shí)時(shí)性和準(zhǔn)確性大大影響了用戶體驗(yàn)，因此，在移動(dòng)設(shè)備上開發(fā)三維注冊(cè)算法需要滿足實(shí)時(shí)性、準(zhǔn)確性和魯棒性要求。

1 系統(tǒng)整體框架設(shè)計(jì)

Android移動(dòng)設(shè)備調(diào)用系統(tǒng)內(nèi)置的Camera API 接口，調(diào)用 Android 移動(dòng)設(shè)備的攝像頭，對(duì)攝像頭所拍攝場(chǎng)景的圖像進(jìn)行采集和存儲(chǔ)，再對(duì)圖像進(jìn)行圖像預(yù)處理；然后采用SURF[8]算法進(jìn)行特征點(diǎn)檢測(cè)，并用FREAK[9]算法進(jìn)行特征描述，然后采用漢明距離與目標(biāo)樣本庫(kù)進(jìn)行初步匹配，最后采用改進(jìn)的RANSAC進(jìn)行匹配優(yōu)化。根據(jù)匹配率確定視頻圖像幀中是否有目標(biāo)物體[10]，如果有則采用OpenGL ES對(duì)攝像頭視野進(jìn)行虛擬三維場(chǎng)景的渲染和疊加，完成三維注冊(cè)。圖1是系統(tǒng)方案設(shè)計(jì)框圖。

圖1 系統(tǒng)方案設(shè)計(jì)框圖

2 三維注冊(cè)算法方案設(shè)計(jì)

三維注冊(cè)是實(shí)現(xiàn)移動(dòng)增強(qiáng)現(xiàn)實(shí)的關(guān)鍵技術(shù)，它通過在攝像頭視野中對(duì)目標(biāo)圖片進(jìn)行分析匹配，根據(jù)投影幾何的相關(guān)知識(shí)，準(zhǔn)確計(jì)算出攝像頭在真實(shí)世界的姿態(tài)信息，從而實(shí)現(xiàn)三維虛擬模型的準(zhǔn)確添加。傳統(tǒng)的三維注冊(cè)技術(shù)是基于人工標(biāo)志的，容易受光照變化、遮擋情況的影響，而且制作麻煩，應(yīng)用場(chǎng)景有限，不適合推廣使用，因此本文采用基于自然特征的三維注冊(cè)技術(shù)。

SURB是常見的用于自然特征三維注冊(cè)技術(shù)的算法，由于其采用盒式濾波器與原圖像卷積的計(jì)算方式，只需要幾次加減法運(yùn)算，而且運(yùn)算量與盒子濾波器大小無關(guān)，所以能夠快速地構(gòu)造出SURF的尺度金字塔，與SIFT算法[11]相比，速度有了較大提升，同時(shí)也具有尺度不變的特性，對(duì)光照變化、仿射、透視變化也具有較強(qiáng)的魯棒性。但SURF算法特征描述向量是高維向量，而且采用最近鄰搜索算法窮盡搜索，計(jì)算量較大，導(dǎo)致SURF 算法在構(gòu)建局部特征描述符與特征匹配階段耗時(shí)過長(zhǎng)，難以滿足移動(dòng)設(shè)備對(duì)實(shí)時(shí)性的要求。因此本文采用二進(jìn)制描述符算法FREAK作為描述符算法來改進(jìn)SURF的不足。該方法模仿視網(wǎng)膜結(jié)構(gòu)的采樣模板對(duì)特征點(diǎn)進(jìn)行描述符構(gòu)造，對(duì)旋轉(zhuǎn)、噪聲、尺度都具有很好的性能。這類算法采用不同的采樣模式生成二進(jìn)制描述符，降低了描述符的維度，依靠計(jì)算特征描述符的漢明距離進(jìn)行匹配，使運(yùn)算速度和內(nèi)存占用方面都得到了很好的改善。

結(jié)合上述分析和文獻(xiàn)[12]對(duì)各個(gè)特征點(diǎn)提取與匹配的算法進(jìn)行實(shí)際測(cè)試，本文采用算法如下：采用SURF算法進(jìn)行特征提取，然后用FREAK算法進(jìn)行特征描述，在漢明距離的基礎(chǔ)上結(jié)合改進(jìn)的RANSAC算法對(duì)初步篩選的點(diǎn)去偽，獲得較為精準(zhǔn)的匹配點(diǎn)對(duì)，再通過判斷匹配特征點(diǎn)占樣本圖像特征點(diǎn)的比重，確定是否成功匹配目標(biāo)物體，保證了識(shí)別的準(zhǔn)確性，然后渲染對(duì)應(yīng)的虛擬三維模型，完成三維注冊(cè)。

2.1 SURF特征點(diǎn)檢測(cè)

SURF算法的特征點(diǎn)檢測(cè)是基于尺度空間理論的。為了在尺度空間中檢測(cè)極值點(diǎn)，SURF算法建立具有多尺度空間的圖像金字塔；利用尺度逐漸遞增的盒式濾波器與原圖像卷積創(chuàng)建圖像金字塔生成多尺度空間。首先，使用積分圖像加速圖像卷積來提高計(jì)算速度；再通過計(jì)算圖像中的每一個(gè)像素點(diǎn)的Hessian矩陣行列式得到特征點(diǎn)的值。在實(shí)際計(jì)算中，采用盒式濾波器來近似高斯濾波的方法，可極大地提高計(jì)算速度。為使特征點(diǎn)具有尺度不變性, 首先去掉行列式值低的像素, 然后進(jìn)行尺度空間和鄰域空間的非極大值抑制, 最后所得的極值點(diǎn)即為特征點(diǎn)。

2.2 FREAK特征描述

FREAK是受人類視網(wǎng)膜啟發(fā)的一種能唯一識(shí)別關(guān)鍵點(diǎn)的穩(wěn)健描述子，在計(jì)算過程中耗費(fèi)更少的計(jì)算時(shí)間和存儲(chǔ)空間。FREAK采用圓形的視網(wǎng)膜采樣網(wǎng)格，這樣能夠在保證人眼信息識(shí)別量的基礎(chǔ)上，減少信息的運(yùn)算量。不同于BRISK和ORB對(duì)所有點(diǎn)只用相同的核，F(xiàn)REAK對(duì)每個(gè)點(diǎn)使用的核是不同的，高斯核的半徑與σ值成比例。FREAK按照ORB的方法，通過最大化對(duì)間方差來識(shí)別采樣點(diǎn)對(duì)，然后取不相關(guān)的點(diǎn)對(duì)，以便為每個(gè)關(guān)鍵點(diǎn)提供最大值信息。為了找出采樣點(diǎn)對(duì)，以產(chǎn)生位向量，F(xiàn)REAK采用類似ORB的方法，但并不是匹配每一點(diǎn)對(duì)，而是學(xué)習(xí)哪些點(diǎn)對(duì)能得到最好的結(jié)果。算法如下：

(1)用接近50 000個(gè)提取出的關(guān)鍵點(diǎn)構(gòu)造矩陣D，每一行對(duì)應(yīng)一個(gè)關(guān)鍵點(diǎn)，每個(gè)關(guān)鍵點(diǎn)以一種從視網(wǎng)膜采樣模式獲取的所有可能的點(diǎn)對(duì)構(gòu)成巨大的描述符表示。使用了43個(gè)感受野，產(chǎn)生大約1 000個(gè)點(diǎn)對(duì)。

(2)計(jì)算每一列的均值。均值為0.5時(shí)產(chǎn)生最大的方差。

(3)按照方差降序?qū)α信判颉?/p>

(4)選出最佳列并迭代地加上剩余列，以使它們與選中列之間為弱相關(guān)[13]。

在這種方法中，選擇在靠外區(qū)域中比較采樣點(diǎn)的對(duì)，最后選擇在模式內(nèi)部區(qū)域比較點(diǎn)的對(duì)。這與視網(wǎng)膜首先試圖定位目標(biāo)，然后再通過精確匹配密集分布在目標(biāo)周圍的點(diǎn)來辨識(shí)的原理相似。

FREAK模仿視網(wǎng)膜的跳視搜索功能，搜索描述子的前16個(gè)代表粗略信息的字節(jié)，如果距離小于閾值，將繼續(xù)搜索之后的字節(jié)，獲取更精細(xì)的結(jié)果。因此，執(zhí)行一種級(jí)聯(lián)的比較，會(huì)進(jìn)一步加快比較的步驟，因?yàn)樵谇?6 B比較中超過90%采樣點(diǎn)被舍棄掉了。

為了估計(jì)特征點(diǎn)的主方向，F(xiàn)REAK的方向分配方法與BRISK 相似，通過選擇感受野對(duì)來總結(jié)估計(jì)局部梯度值，且主要選擇相對(duì)于中心對(duì)稱的感受野對(duì)。將此處的梯度值作為特征點(diǎn)的主方向。

2.3 特征點(diǎn)匹配

利用漢明距離將檢測(cè)到的特征點(diǎn)與基準(zhǔn)圖像進(jìn)行特征點(diǎn)匹配,完成匹配過程。在匹配過程中，不可避免地存在誤匹配點(diǎn)，因此需要對(duì)已匹配的特征點(diǎn)采用改進(jìn)的RANSAC一致性檢驗(yàn)算法進(jìn)行篩選，剔除誤匹配點(diǎn)。傳統(tǒng)的RANSAC算法由于迭代次數(shù)多，運(yùn)算量非常大，不能滿足實(shí)時(shí)性要求。因此，本文采用RANSAC改進(jìn)算法：利用結(jié)構(gòu)相似的尺寸相似和位序相似兩種約束來剔除大量誤匹配點(diǎn)，得到新的匹配點(diǎn)集，作為RANSAC算法的輸入，求出變換矩陣。改進(jìn)的RANSAC算法不僅提高了匹配速度，而且還提高了匹配精度[14]。

2.4 識(shí)別目標(biāo)的確定

當(dāng)視頻幀圖像進(jìn)行描述符匹配后，計(jì)算并判斷匹配點(diǎn)數(shù)目占樣本圖像匹配點(diǎn)數(shù)的比重是否大于事先設(shè)定的閾值，以此來確定是否成功匹配到目標(biāo)物體。

2.5 虛擬三維物體的渲染

根據(jù)識(shí)別匹配結(jié)果加載對(duì)應(yīng)的三維物體數(shù)據(jù)， 完成攝像頭位姿的估算并利用 OpenGL ES 圖形庫(kù)在場(chǎng)景相應(yīng)位置生成其相對(duì)應(yīng)的三維虛擬物體， 將虛擬三維物體疊加到攝像頭視野中。

3 Android平臺(tái)增強(qiáng)現(xiàn)實(shí)技術(shù)的實(shí)現(xiàn)

由于Android應(yīng)用主要是用Java語(yǔ)言開發(fā)，執(zhí)行效率比較低，因此，本文算法的實(shí)現(xiàn)采用OpenCV圖像處理庫(kù)加上Android NDK開發(fā)工具，進(jìn)行算法的C、C++語(yǔ)言開發(fā)，大大提高了運(yùn)行效率。

Android移動(dòng)設(shè)備調(diào)用攝像頭獲取視頻幀圖像，并進(jìn)行圖像預(yù)處理，然后進(jìn)行識(shí)別和匹配，如果有目標(biāo)物體，則采用OpenGL ES進(jìn)行三維模型渲染。

整個(gè)Android應(yīng)用是在Eclipse開發(fā)工具上進(jìn)行模塊整合和界面的開發(fā)。最后生成APK文件安裝在手機(jī)上即可實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)功能的開發(fā)。

4 增強(qiáng)現(xiàn)實(shí)技術(shù)方案驗(yàn)證

為了驗(yàn)證本文所述算法實(shí)際運(yùn)行的效果，專門開發(fā)了在Andriod手機(jī)運(yùn)行的應(yīng)用程序。將算法移植到Andriod手機(jī)上運(yùn)行。用于測(cè)試的手機(jī)是華為榮耀8，搭載的Android系統(tǒng)的API版本為6.0.0，開發(fā)工具采用Eclipse，采用NDK工具版本為r10e，OpenCV函數(shù)庫(kù)版本為3.1.0。

4.1 實(shí)時(shí)性驗(yàn)證

為了有更好的用戶體驗(yàn)，移動(dòng)設(shè)備的實(shí)時(shí)性除了滿足耗時(shí)操作不能超過5 s的基本要求外，還應(yīng)盡量縮短用戶等待時(shí)間，一般1 s以內(nèi)能獲得比較好的用戶體驗(yàn)。本文在驗(yàn)證實(shí)時(shí)性時(shí)，首先對(duì)同一個(gè)物體，將幾種常見的算法在Android手機(jī)上的運(yùn)行效果進(jìn)行對(duì)比，運(yùn)行結(jié)果如圖2中的(a)～(e)所示，對(duì)應(yīng)時(shí)間如表1所示。結(jié)果證明本文算法完成匹配時(shí)間為100 ms，耗時(shí)最短，滿足移動(dòng)設(shè)備對(duì)實(shí)時(shí)性的要求。

圖2 各種算法實(shí)時(shí)性比較

SIFTSURFORBBRISK本文算法時(shí)間/ms984343904952409100

4.2 魯棒性驗(yàn)證

為了驗(yàn)證本文算法的穩(wěn)定性及魯棒性，將算法在 Android 手機(jī)上實(shí)現(xiàn)，在不同視角、不同旋轉(zhuǎn)角度、不同尺度、部分遮擋的情況下進(jìn)行測(cè)試，結(jié)果如圖3所示。測(cè)試結(jié)果證明：本文算法在各種情況下均可以正確識(shí)別物體并渲染3D模型。

4.3 準(zhǔn)確性驗(yàn)證

為了驗(yàn)證本文算法的準(zhǔn)確性，將算法在Android手機(jī)上實(shí)現(xiàn)，用不同的物體進(jìn)行測(cè)試，結(jié)果如圖4所示。結(jié)果證明只有在正確的物體出現(xiàn)在攝像頭視野中才會(huì)渲染3D模型。為了進(jìn)一步驗(yàn)證準(zhǔn)確性，在開發(fā)Android應(yīng)用程序時(shí)，添加本地?cái)?shù)據(jù)庫(kù)，增加樣本數(shù)量，對(duì)20種不同的書籍、圖片進(jìn)行識(shí)別，結(jié)果證明，本文算法基本上都能夠識(shí)別出來，準(zhǔn)確率達(dá)95%，滿足移動(dòng)設(shè)備的準(zhǔn)確性要求。

圖4 算法準(zhǔn)確性驗(yàn)證

5 結(jié)論

本文針對(duì)Android移動(dòng)設(shè)備的局限性，提出一種新的三維注冊(cè)算法：使用SURF檢測(cè)具有尺度不變性的特征點(diǎn)，然后使用FREAK特征點(diǎn)描述子得到二進(jìn)制描述子；在漢明距離的基礎(chǔ)上結(jié)合改進(jìn)的RANSAC算法剔除了誤匹配點(diǎn)，再通過判斷匹配特征點(diǎn)占樣本圖像的比重來確定是否成功匹配目標(biāo)物體，進(jìn)一步保證了識(shí)別的準(zhǔn)確性。通過在Android移動(dòng)設(shè)備的驗(yàn)證結(jié)果表明，此算法方案設(shè)計(jì)滿足移動(dòng)設(shè)備的實(shí)時(shí)性、準(zhǔn)確性和魯棒性要求。因此，本文提出的三維注冊(cè)算法方案有很強(qiáng)的實(shí)用性，為移動(dòng)增強(qiáng)現(xiàn)實(shí)的實(shí)現(xiàn)奠定了良好的基礎(chǔ)。本文算法的不足之處在于：所用的目標(biāo)識(shí)別方法僅限于樣本庫(kù)比較少的情況，之后還應(yīng)加上服務(wù)器端[15]，在服務(wù)器端可以建立龐大的樣本庫(kù)，將大大增加可識(shí)別的物體數(shù)量。

[1] 王涌天， 陳靖， 程德文. 增強(qiáng)現(xiàn)實(shí)技術(shù)導(dǎo)論[M]. 北京：科學(xué)出版社，2015.

[2] 基珀， 蘭博拉. 增強(qiáng)現(xiàn)實(shí)技術(shù)導(dǎo)論[M]. 北京： 國(guó)防工業(yè)出版社, 2014.

[3] GRAVDAL E.Augmented reality and object tracking for mobile devices[D]. Norway:Norwegian University,2012.

[4] AVILA L, BAILEY M.Augment your reality[J].Computer Graphics and Applications, IEEE,2016,36(1):6-7.

[5] 郭樹濤. 一種新的增強(qiáng)現(xiàn)實(shí)三維注冊(cè)算法[J]. 信息通信, 2014 ,27(1): 42-44.

[6] 施琦,王涌天,陳靖.一種基于視覺的增強(qiáng)現(xiàn)實(shí)三維注冊(cè)算法[J].中國(guó)圖象圖形學(xué)報(bào),2002, 7(7): 56-60.

[7] AZUMA R T. A survey of augmented reality[J]. Teleoperators and Virtual Environments, 1997,6(4):355-385.

[8] BAY H, TUYTELAARS T, GOOL L V. SURF: speeded up robust features[J]. Computer Vision and Image Understanding, 2006, 110(3):346-359.

[9] 謝紅，王石川，解武.基于改進(jìn)的FREAK算法的圖像特征點(diǎn)匹配[J]. 應(yīng)用科技, 2016,43(4):1-7.

[10] 惠記莊, 羅麗, 楊永奎,等. 基于SURF-BRISK的目標(biāo)識(shí)別匹配與定位方法研究[J]. 長(zhǎng)安大學(xué)學(xué)報(bào):自然科學(xué)版, 2016, 36(3):93-101.

[11] 楊天天,魯云萍,張為華,等.一種基于GPGPU的SIFT加速算法[J].電子技術(shù)應(yīng)用,2015,41(1):149-152 .

[12] BEKELE D, TEUTSCH M, SCHUCHERT T. Evaluation of binary keypoint descriptors[C]. IEEE International Conference on Image Processing. IEEE,2013:3652-3656.

[13] 李晶皎，趙 越，王愛俠，等. 基于改進(jìn)FREAK的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)注冊(cè)算法[J]．小型微型計(jì)算機(jī)系統(tǒng),2016, 37(1):173-177.

[14] 許可可, 朱文球, 郭富祿. 基于結(jié)構(gòu)相似的RANSAC改進(jìn)算法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2016, 52(12).168-171.

[15] 王飛,許魁,徐友云，等.大數(shù)據(jù)無線通信面臨的幾點(diǎn)挑戰(zhàn)與對(duì)策[J].電子技術(shù)應(yīng)用,2015,41(3):12-16.

Research on augmented reality technology based on Android mobile device

Su Zeyin，Lin Zhixian，Guo Tailiang

(College of Physics and Information Engineering,Fuzhou University,Fuzhou 350100,China)

In view of the limitations of mobile devices such as weak processing capacity and low memory, the augmented reality technology can not be popularized on mobile devices.In this paper a new augmented reality technology scheme is proposed.Using the SURF algorithm to extract the feature points of video frames, and then using the FREAK algorithm for feature description. After Hamming distance forced matching, using the improved RANSAC algorithm to remove the false matching points, by judging the matching feature points accounted for the proportion of the sample image feature points, to determine whether successful object matching and ensure the recognition accuracy. In the end,rendering the corresponding three-dimensional model to complete the three-dimensional registration of augmented realit.Through the verification on Android mobile devices, the results show that the proposed scheme meets the requirements of real-time, accuracy and robustness of mobile devices, which lays a good foundation for the realization of mobile augmented reality.

augmented reality; SURF; FREAK; hamming distance;RANSAC;three dimensional registration

國(guó)家重點(diǎn)研發(fā)計(jì)劃課題(2016YFB0401503);廣東省科技重大專項(xiàng)(2016B090906001);福建省科技重大專項(xiàng)(2014HZ0003-1);福建省資助省屬高校專項(xiàng)課題(JK2014002)

TP391.4

A

10.19358/j.issn.1674- 7720.2017.09.004

蘇澤蔭，林志賢，郭太良.基于Android移動(dòng)設(shè)備的增強(qiáng)現(xiàn)實(shí)技術(shù)研究[J].微型機(jī)與應(yīng)用，2017,36(9)：11-14.

2017-01-11)

蘇澤蔭(1990-)，通信作者，男，碩士，主要研究方向：嵌入式系統(tǒng)與圖像處理。E-mail:619388013@qq.com。

林志賢(1975-)，男，博士，教授，主要研究方向：信息顯示技術(shù)、平板顯示器件驅(qū)動(dòng)技術(shù)和圖像處理技術(shù)等。

郭太良(1963-)男，碩士，研究員，博導(dǎo)，主要研究方向：信息顯示技術(shù)等。