劉 洋， 張國山, 黃偉杰， 王欣博

(天津大學(xué) 電氣與自動化工程學(xué)院，天津 300072)

隨機蕨編碼在三維重建中的應(yīng)用

劉 洋， 張國山, 黃偉杰， 王欣博

(天津大學(xué)電氣與自動化工程學(xué)院，天津300072)

針對KinectFusion算法中存在的重建范圍小、缺少有效的重新定位策略及累計誤差問題，提出了一種基于隨機蕨編碼的三維重建方法。應(yīng)用隨機蕨編碼構(gòu)建相機路徑回環(huán)的檢測策略減少長時間重建所產(chǎn)生的累積誤差，通過檢索相似關(guān)鍵幀進行相機位姿估計失敗后的重新定位，通過與程序集成框架InfiniTAM相結(jié)合，增大重建范圍。采用RGB-D SLAM驗證數(shù)據(jù)集進行了對比實驗。實驗表明：提出的方法可以大大增加重建范圍，在相機定位失敗后有效地進行重新定位，同時減少了長時間重建產(chǎn)生的累積誤差，使得三維重建的過程更加穩(wěn)定，獲得的相機位姿更加精確。

隨機蕨編碼； 三維重建； 相機路徑回環(huán)； 關(guān)鍵幀

0 引 言

三維重建技術(shù)一直是計算機視覺領(lǐng)域的研究熱點，在人機交互、機器人導(dǎo)航控制、增強現(xiàn)實等方面有著重要應(yīng)用。自2010年11月微軟公司發(fā)布Kinect以后，由于其操作簡單、成本低廉、攜帶輕便，使得基于Kinect深度傳感器的室內(nèi)三維重建技術(shù)研究迅速發(fā)展起來。

2010 年，Henry P等人[1]利用 Kinect相機對室內(nèi)場景進行三維重建。但此方法獲得的三維模型較為粗糙，速度也只有2 fps左右。2011年，Newcombe R A等人提出了KinectFusion算法[2]，可以在可變光照條件下對室內(nèi)環(huán)境進行密集表面重建,但該算法存在以下3個問題：1)重建范圍受限制；2)建模過程中相機位姿估計會產(chǎn)生累積誤差；3)相機位姿跟蹤失敗后不能有效地進行重新定位。

2013年，Matthias N等人[3]將哈希結(jié)構(gòu)[4，,5]引入到了KinectFusion算法，利用高效的數(shù)據(jù)結(jié)構(gòu)，內(nèi)存與顯存之間的數(shù)據(jù)流交換，使得三維重建的范圍有了很大提升。2014年，Prisacariu V A等人實現(xiàn)了Matthias N等人[3]的思想，構(gòu)造了一個KinectFusion算法的集成程序框架稱為InfiniTAM[6]Prisacariu,將KinectFusion算法建模的各個步驟集成為模塊，使得用戶可以很容易地根據(jù)需要進行算法的改進或者更換，從而實現(xiàn)了基于哈希結(jié)構(gòu)的快速、靈活的大范圍三維重建。

2015年， Glocker B 等人[7,8]將隨機蕨編碼算法引入到三維重建系統(tǒng)中，利用隨機蕨編碼提取RGB-D圖像的特征，通過對其快速匹配，實現(xiàn)了跟蹤失敗時相機位姿的重新獲取。

與KinectFusion算法一樣，許多基于稀疏特征點的三維建模算法[9,10]，均會產(chǎn)生累積誤差，目前,主要通過檢測相機路徑回環(huán)(loop closure)[9，11]的方法解決。然而若將這些檢測回環(huán)的算法用于基于密集點云的三維重建系統(tǒng)中，則需要匹配和計算的點的數(shù)量將會大大增加，計算成本和所需時間也會相應(yīng)增加，這是實時三維重建系統(tǒng)所應(yīng)該避免的。

文獻[4]只解決了重建范圍小的問題，文獻[10,11]只解決了相機重新定位的問題，而文獻[12,13]中檢測相機路徑回環(huán)的方法是基于稀疏特征點的檢測方法，不適用于KinectFusion算法這樣基于密集點云的三維重建系統(tǒng)。

針對KinectFusion算法中存在的重建范圍小、缺少有效的重新定位策略及累計誤差問題，本文利用隨機蕨編碼算法，實現(xiàn)了相機路徑的回環(huán)檢測，并將此算法與文獻[9]中的InfiniTAM框架相結(jié)合，利用GPU的并行計算能力對隨機蕨編碼算法進行加速，使得InfiniTAM在進行大范圍三維重建的過程中，可以在相機定位失敗時快速重新定位，并且通過檢測相機路徑回環(huán)減少累積誤差。

1 KinectFusion算法

KinectFusion算法的流程如圖1所示，主要由以下4個部分組成：1)處理所采集的深度圖，將其深度數(shù)據(jù)轉(zhuǎn)換為三維點云，得到點云中頂點的三維坐標(biāo)和法向量；2)估計相機位姿，將當(dāng)前幀三維點云和由現(xiàn)有模型預(yù)測生成的三維點云進行ICP配準(zhǔn)，得到當(dāng)前幀相機的位姿；3)點云融合，根據(jù)計算出的當(dāng)前的相機位姿，使用TSDF 模型進行點云融合，將當(dāng)前幀的三維點云融合到現(xiàn)有模型中；4)場景渲染，使用光線跟蹤的方法，根據(jù)現(xiàn)有模型和當(dāng)前相機位姿預(yù)測出當(dāng)前相機觀察到的環(huán)境點云，一方面用于反饋給用戶用于顯示，另一方面提供給(2)進行ICP 配準(zhǔn)。

圖1 KinectFusion算法流程

KinectFusion算法的點云模型存儲于顯存，由于顯存空間有限，使得模型大小受到了限制，進而導(dǎo)致該算法無法進行大范圍的三維重建。KinectFusion算法的相機位姿估計采用的是ICP配準(zhǔn)，ICP的初值選取的是上一幀的相機位姿，由于上一幀的位姿存在誤差，在進行長時間重建時，誤差累積會越來越大。當(dāng)相機位姿估計失敗時，算法將上一幀的相機位姿作為當(dāng)前時刻的相機位姿，這種重新定位的策略不能有效地恢復(fù)相機的位姿。針對以上問題，本文提出了基于隨機蕨編碼的回環(huán)檢測及重新定位算法。

2 基于隨機蕨編碼的回環(huán)檢測及重新定位

利用隨機蕨編碼檢測相機路徑回環(huán)及位姿估計失敗后重新定位的流程如圖2所示，主要由以下5步組成：1)利用隨機蕨對RGB-D圖像進行編碼，作為其特征信息；2)定義了BlockHD(block-wise hamming distance)作為相似性度量，計算當(dāng)前幀與關(guān)鍵幀的相似性；3)獲得關(guān)鍵幀，根據(jù)計算得到的BlockHD值，斷定是否將此幀添加到關(guān)鍵幀中；4)找到與當(dāng)前幀相似的關(guān)鍵幀，若當(dāng)前幀與此關(guān)鍵幀的BlockHD小于預(yù)先設(shè)定的閾值，即可認為檢測到了路徑回環(huán)。5)當(dāng)相機位姿估計失敗后，通過檢索相似關(guān)鍵幀所對應(yīng)的相機位姿對相機進行重新定位。

圖2 基于隨機蕨編碼的回環(huán)檢測及重新定位流程

2.1 利用隨機蕨對RGB-D圖像編碼

對于RGB-D圖像I中的一個像素點x,R,G,B,D4個通道的值分別用IR(x),IG(x),IB(x),ID(x)表示，將F={fi}，i∈{R,G,B,D}定義為一個隨機蕨

(1)

式中τi的值通過隨機函數(shù)產(chǎn)生(τR,τG,τB∈[0,255],τD∈[800,4 000])。將隨機蕨F中所有的fi按順序排列，得到一個二進制編碼塊bF

bF=fRfGfBfD∈B4

(2)

若選取n個像素點，那么一幀RGB-D圖像I即可由像素點對應(yīng)的隨機蕨編碼

(3)

式中n個像素點的位置由隨機函數(shù)產(chǎn)生。

2.2 RGB-D圖像的相似性度量

為了度量兩幀圖像I和J的相似性，采用了block-wise hamming distance(BlockHD)進行度量，定義為

(4)

2.3 獲取關(guān)鍵幀

對于每一新進幀I來說，計算其與之前所有關(guān)鍵幀的BlockHD，并找到BlockHD的最小值

(5)

式中ζl的值越小說明存在一個與當(dāng)前幀十分相似的關(guān)鍵幀J，將ζI的值與預(yù)先設(shè)定的閾值t進行比較，若ζI>t，則可以將此幀作為關(guān)鍵幀，并將其所對應(yīng)的相機位姿及頂點法向量存儲。

2.4 相機路徑回環(huán)檢測

在獲取關(guān)鍵幀的過程中，根據(jù)式(5)可以得到當(dāng)前幀與關(guān)鍵幀的BlockHD的最小值ζI。若ζI的值特別小，則說明當(dāng)前幀與此關(guān)鍵幀差異性特別小，即相機回到了此關(guān)鍵幀所對應(yīng)的位置，此關(guān)鍵幀的相機位姿和當(dāng)前幀的相機位姿相近甚至相同，即檢測到了相機路徑的回環(huán)。考慮到噪聲對精度的影響，設(shè)定一個較小的閾值σ，比較ζI與σ的大小。若ζI<σ，說明檢測到了相機路徑回環(huán)。

當(dāng)獲取了一系列的關(guān)鍵幀后，相機路徑回環(huán)即可通過快速檢索相似關(guān)鍵幀實現(xiàn)。當(dāng)檢測到相機路徑回環(huán)后，將當(dāng)前幀與對應(yīng)關(guān)鍵幀的頂點法向量進行ICP配準(zhǔn)，并將關(guān)鍵幀所對應(yīng)的相機位姿作為ICP的初值，從而有效地減少累積誤差。

2.5 相機位姿恢復(fù)

當(dāng)相機位姿估計失敗后，通過檢索關(guān)鍵幀所對應(yīng)的相機位姿對相機進行重新定位。

假設(shè)在某幀時相機位姿估計失敗，首先計算此幀與所有關(guān)鍵幀的BlockHD值，找到k個與當(dāng)前幀的BlockHD值最相近的關(guān)鍵幀，繼而可以得到這k個關(guān)鍵幀所對應(yīng)的相機位姿。將這k個位姿分別作為初值代入到當(dāng)前幀與相應(yīng)關(guān)鍵幀的ICP配準(zhǔn)算法，從而實現(xiàn)相機的重新定位。若這k個位姿仍不能恢復(fù)相機位姿，則處理下一幀RGB-D圖像，直至相機重新定位成功，在此過程中，系統(tǒng)將暫停對室內(nèi)場景的重建。當(dāng)相機位姿恢復(fù)后，系統(tǒng)才繼續(xù)進行重建。

3 隨機蕨編碼與InfiniTAM框架結(jié)合

InfiniTAM是一個KinectFusion算法的集成框架，它使用基于哈希結(jié)構(gòu)的體素塊表示三維模型，并且在CPU和GPU之間實時地互換數(shù)據(jù)，使得三維重建范圍不受空間限制。本文將隨機蕨編碼算法集成為一個模塊，增加到InfiniTAM框架中，其算法流程如圖3所示。

圖3 本文算法流程

當(dāng)一幀RGB-D圖像進入系統(tǒng)后：1)一方面將其深度數(shù)據(jù)轉(zhuǎn)換成三維點云，得到點云中頂點和法向量，另一方面利用隨機蕨編碼算法對RGB-D圖像進行編碼，并計算當(dāng)前幀與關(guān)鍵幀的BlockHD值；通過比較BlockHD值與閾值σ的大小，判斷相機路徑中是否觸發(fā)了回環(huán)，若觸發(fā)了回環(huán)，則將關(guān)鍵幀所對應(yīng)的位姿作為ICP算法的初值，將當(dāng)前幀與對應(yīng)關(guān)鍵幀的頂點法向量進行ICP配準(zhǔn)。2)將當(dāng)前幀三維點云和由現(xiàn)有模型預(yù)測生成的三維點云進行ICP配準(zhǔn)，并判斷ICP是否成功。若ICP配準(zhǔn)成功，通過比較BlockHD值與閾值t的大小，判斷此幀是否添加到關(guān)鍵幀中；并進行下一步點云的融合；若配準(zhǔn)失敗，則利用找到的相似關(guān)鍵幀與當(dāng)前幀進行ICP配準(zhǔn)，并將此關(guān)鍵幀對應(yīng)的位姿作為初值代入ICP算法，若此時的配準(zhǔn)成功則進行下一步點云融合，若再次失敗，等待下一幀RGB-D圖像。

在InfiniTAM框架中，為保證建模的實時性,ICP配準(zhǔn)算法在GPU中計算。由于GPU顯存的限制，隨機蕨編碼算法中關(guān)鍵幀對應(yīng)的頂點和法向量存儲在了內(nèi)存中。一旦檢測到了相機路徑回環(huán)或者需要相機位姿恢復(fù)，系統(tǒng)將使對應(yīng)的頂點和法向量復(fù)制到顯存中，利用GPU的并行運算加快當(dāng)前幀與關(guān)鍵幀的ICP配準(zhǔn)，得到相機位姿后再將相機位姿從顯存復(fù)制到內(nèi)存中，與關(guān)鍵幀的頂點和法向量對應(yīng)存儲。

4 實 驗

通過在慕尼黑工業(yè)大學(xué)的RGB-D SLAM驗證數(shù)據(jù)集上進行建模測試，將InfiniTAM[9]與本文提出的算法進行對比。

RGB-D SLAM驗證數(shù)集提供了很多場景。每個場景的數(shù)據(jù)包中包含了彩色圖像、深度圖像、精確的相機位姿等信息。選取了第一個場景中的數(shù)據(jù)包“freiburg1_room”和“freiburg1_360”進行實驗。

首先在“freiburg1_room”數(shù)據(jù)包上進行實驗?！癴reiburg1_room”數(shù)據(jù)包的軌跡范圍是2.5 m×2.2 m×0.5 m，重建范圍遠大于7 m3。為了方便觀察，驗證數(shù)據(jù)集提供的Python工具將軌跡投影到x-y平面后進行對比，如圖4(a),圖4(b)所示，其中線①為ground truth，線②為程序得到的相機軌跡的估計(estimate)。從圖中可以看出，算法在(1.0，-1.0)和(0.5，-1.0)附近檢測到閉環(huán)后，相機的軌跡明顯向ground truth收斂，與ground truth更加吻合。同時，驗證數(shù)據(jù)集提供的工具給出了各類誤差的對比數(shù)據(jù)，誤差統(tǒng)計值如表1所示，誤差的計算方法可參照文獻[17]。從表1可以看出：算法較InfiniTAM，軌跡誤差均有所降低，通過檢測相機路徑回環(huán)，可以有效減少累積誤差。

圖4 軌跡對比

m

為驗證本文算法相機重新定位的有效性，在“freiburg1_360”數(shù)據(jù)包上進行實驗。在“freiburg1_360”數(shù)據(jù)包中相機的運動速度很快，InfiniTAM在此數(shù)據(jù)包上實驗時重建失敗。由于InfiniTAM沒有有效的重定位策略，因而重建失敗后相機位姿無法恢復(fù)，而本文算法除了可以檢測相機路徑回環(huán)外，還可以實現(xiàn)相機相機位姿估計失敗后的重新定位。實驗效果如圖5所示。圖5(a)，圖5(b)為在相同時刻采集，包含了該時刻的重建模型、深度圖和彩色圖?？梢钥闯觯合鄬τ贗nfiniTAM，本文算法可以在相機位姿估計失敗時重新定位。

圖5 重建效果對比

5 結(jié) 論

針對KinectFusion算法中存在的重建范圍小、缺少有效的重新定位策略及累積誤差問題，通過引入隨機蕨編碼算法，在InfiniTAM系統(tǒng)中實現(xiàn)了相機路徑的回環(huán)檢測，使得改進后的系統(tǒng)在進行大范圍三維重建的過程中，可以在相機定位失敗時快速重新定位，并且通過檢測相機路徑回環(huán)減少累積誤差。實驗表明：提出算法可以使得三維重建過程更加穩(wěn)定，獲得的相機位姿更加精確。

[1] Henry P,Krainin M,Herbst E,et al.RGB-D mapping:Using depth cameras for dense 3D modeling of indoor environment-s[C]∥Proceedings of the International Symposium on Experimental Robotics(ISER),2010.

[2] Newcombe R A,Davison A J,Izadi S et al.Kinect Fusion:Real-time dense surface mapping and tracking[C]∥2011 10th IEEE International Symposium on Mixed and Augmented Reality(ISMAR),IEEE,2011:127-136.

[3] Matthias N,Michael Z,Shahram I,et al.Real-time 3D reconstruction at scaleusing voxel hashing[J].ACM Transactions on Graphics,2013,32(6):1-11.

[4] García I,Lefebvre S,Hornus S,et al.Coherent parallel hashing[J].ACM Transactions on Graphics,2011,30(6):1-8.

[5] Pan J,Manocha D.Fast GPU-based locality sensitive hashing for k-nearest neighbor computation[C]∥Proceedings of International Conference on Data Engineering,2012:378-389.

[6] Prisacariu V A,Kahler O,Cheng M M et al.A farmework for the volumetri integration of depth images[EB/OL].2014—09—25.https:∥arxiv.org/abs/1410.0925.

[7] Glocker B,Izadi S,Shotton J,et al.Real-time RGB-D camera relocalization[C]∥2013 IEEE International Symposium on Mixed and Augmented Reality(ISMAR),IEEE,2013:173-179.

[8] Glocker B,Shotton J,Criminisi A,et al.Real-time RGB-D camera relocalization via randomized ferns for keyframe encoding[J].IEEE Transactions on Visualization & Computer Graphics,2015,21(5):571-583.

[9] Davison A J.Real-time simultaneous localisation and mapping with a single camera[C]∥IEEE International Conference on Computer Vision,IEEE Computer Society,2003:1403.

[10] Klein G,Murray D.Parallel tracking and mapping for small AR workspaces[C]∥IEEE and ACM International Symposium on Mixed and Augmented Reality,2007:225-234.

[11] Strasdat H,Davison A J,Montiel J M M,et al.Double window optimisation for constant time visual SLAM[C]∥IEEE International Conference on Computer Vision,IEEE Computer Society,2011:2352-2359.

[12] Parker S,Shirley P,Livnat Y,et al.Interactive ray tracing for isosurface rendering[C]∥Proceedings of the Conference on Visua-lization,IEEE Computer Society,1998:233-238.

[13] Sturm J,Engelhard N,Endres F,et al.A benchmark for the evaluation of RGB-D SLAM systems[C]∥IEEE/RSJ International Conference on Intelligent Robots & Systems,2012:573-580.

Applicationofrandomfernencodingin3Dreconstruction

LIU Yang, ZHANG Guo-shan，HUANG Wei-jie, WANG Xin-bo

(SchoolofElectricalEngineering&Automation，TianjinUniversity,Tianjin300072,China)

Aiming at problem of small reconstruction range,lack of effective relocalization strategy and cumulative error in KinectFusion algorithm,propose a 3D reconstruction method based on random fern coding.The camera trajectory loop closures is detected by using the random fern encoding to reduce the accumulated error caused by long time reconstruction.By retrieval similarity key frames,relocate camera pose estimation after failure.By combining with InfiniTAM,range of reconstruction are increased.A comparison experiment is carried out using the RGB-D SLAM dataset.Experimental results show that the proposed method can greatly increase reconstruction range,effectively relocate the camera pose after failure,and reduce accumulated error,which makes the 3D reconstruction process more stable and obtains camera pose more accurately.

random fern encoding; 3D reconstruction; camera trajectory loop closures; key frames

10.13873/J.1000—9787(2017)12—0157—04

TP 391

A

1000—9787(2017)12—0157—04

2016—10—19

劉 洋(1991-)，女，碩士研究生，從事基于kinect相機的三維重建研究。張國山(1961-)，男，教授，博士生導(dǎo)師，從事非線性系統(tǒng)控制理論與智能控制的研究工作。