張志林，苗蘭芳

?

基于深度圖像的三維場(chǎng)景重建系統(tǒng)

張志林，苗蘭芳

(浙江師范大學(xué)數(shù)理與信息工程學(xué)院，浙江 金華 321004)

針對(duì)計(jì)算機(jī)圖形學(xué)和視覺領(lǐng)域研究熱點(diǎn)——三維場(chǎng)景重建，首先分析了Kinect v2 (Kinect for Windows v2 sensor)獲取深度圖像的原理，說明深度圖像噪聲的來源。然后根據(jù)獲取深度圖像的原理設(shè)計(jì)一種算法對(duì)點(diǎn)云采樣范圍進(jìn)行裁剪。其次對(duì)點(diǎn)云離群點(diǎn)進(jìn)行去除，填補(bǔ)點(diǎn)云孔洞，以提高重建質(zhì)量。常見的三維場(chǎng)景重建大都采用了KinectFusion的一個(gè)全局立方體方案，但只能對(duì)小范圍內(nèi)的場(chǎng)景進(jìn)行重建。對(duì)此設(shè)計(jì)了一種對(duì)大場(chǎng)景進(jìn)行點(diǎn)云匹配的ICP算法。最后對(duì)點(diǎn)云進(jìn)行曲面重建，實(shí)現(xiàn)一套低成本、精確的針對(duì)大場(chǎng)景的三維重建系統(tǒng)。

Kinect v2；三維場(chǎng)景重建；點(diǎn)云去噪；離群點(diǎn)去除；ICP

根據(jù)相機(jī)的移動(dòng)，對(duì)變換中的三維場(chǎng)景進(jìn)行重建，一直是計(jì)算機(jī)視覺和圖形學(xué)領(lǐng)域的熱點(diǎn)和難點(diǎn)?；贙inectFusion方案的三維場(chǎng)景重建，雖然可以實(shí)時(shí)，準(zhǔn)確的進(jìn)行場(chǎng)景重建。但是由于受到全局立方體的限制，只能進(jìn)行小規(guī)模場(chǎng)景重建。Kinect v2采用不同于v1結(jié)構(gòu)光的TOF(time-of-flight)深度測(cè)量方法。雖然測(cè)出來的深度數(shù)據(jù)精度不能達(dá)到工業(yè)制造水平，但是在無人駕駛和機(jī)器人定位導(dǎo)航、文物三維取樣保存、3D游戲和影視建模等領(lǐng)域中有廣泛的應(yīng)用。

基于Kinect v1的三維重建有許多優(yōu)秀的解決方案，其中微軟研究院NEWCOMBE等[1]利用Kinect v1提出一種可以在不受光照條件下的室內(nèi)場(chǎng)景的實(shí)時(shí)三維重建技術(shù)。NIEBNER等[2]將全局立方體所占用的物體用Hash函數(shù)進(jìn)行索引，充分利用了全局立方體中的空間，在同等的顯示內(nèi)存中增加了重建范圍，但不能做到既增大范圍，又提高精度。WHELAN等[3]提出Kintinuous的一種空間擴(kuò)展模型，設(shè)置一個(gè)平移閾值，全局立方體隨著Kinect v1移動(dòng)而移動(dòng)，并且可以將移除的立方體數(shù)據(jù)導(dǎo)入到內(nèi)存中。ZENG等[4]使用八叉樹(Octree)數(shù)據(jù)結(jié)構(gòu)來節(jié)省內(nèi)存使用，通過對(duì)全局立方體進(jìn)行八等分，直到找到最小并且合適的空節(jié)點(diǎn)來存貯場(chǎng)景中不空的部分。由于受到全局立方體的限制，其改進(jìn)非常有限。HENRY等[5]使用彩色和深度信息之間的映射，實(shí)現(xiàn)了帶有彩色紋理的三維場(chǎng)景重建，但是重建效果比較粗糙。譚歆[6]在KinectFusion的基礎(chǔ)上，提出一種保留設(shè)備精度，可應(yīng)用于大場(chǎng)景離線的三維物體重建的解決方案，并且可以實(shí)現(xiàn)全局優(yōu)化，但是不能做到全自動(dòng)閉環(huán)。周瑾等[7]提出使用ICP算法輸入點(diǎn)云與可變模型之間的對(duì)應(yīng)點(diǎn)對(duì)，用可變形的人體模型來擬合采樣的點(diǎn)云，通過迭代獲取高精度的三維人體模型。朱笑笑等[8]提出使用環(huán)境中邊線特征點(diǎn)匹配來提高其定位的魯棒性，與此同時(shí)在點(diǎn)云模型中預(yù)設(shè)一個(gè)地面點(diǎn)云來降低累積誤差提高精度。李詩(shī)銳等[9]利用光滑表面作為物理表面平滑程度的先驗(yàn)知識(shí)，修正后面數(shù)據(jù)流的噪聲，解決了累積誤差問題，并且基于Kinect v2實(shí)現(xiàn)了一套實(shí)時(shí)、精確地重建物體，可以廣泛應(yīng)用的低成本的快速三維重建系統(tǒng)。但此方法建立在KinectFusion的基礎(chǔ)上，并不適合大場(chǎng)景的三維重建。胡正乙等[10]提出一種帶有深度約束和局部近鄰約束的基于RGB-D室內(nèi)場(chǎng)景實(shí)時(shí)三維重建算法，增加了特征點(diǎn)對(duì)的匹配準(zhǔn)確率。

本文在構(gòu)建基于Kinect v2三維場(chǎng)景重建系統(tǒng)時(shí)，摒棄了傳統(tǒng)的KinectFusion算法框架。因此實(shí)時(shí)性并不強(qiáng)，適合做離線的點(diǎn)云處理。本系統(tǒng)的貢獻(xiàn)主要有：①利用Kinect v2 SDK的API，構(gòu)建了場(chǎng)景重建的點(diǎn)云獲取模塊。②分析Kinect v2的噪聲類型和來源，并且根據(jù)所采集點(diǎn)云的分布特點(diǎn)，設(shè)計(jì)一種包圍盒對(duì)點(diǎn)云進(jìn)行裁剪，獲得了高質(zhì)量的點(diǎn)云。③將兩兩點(diǎn)云配準(zhǔn)的ICP算法進(jìn)行改進(jìn)，利用隊(duì)列數(shù)據(jù)結(jié)構(gòu)，對(duì)多片點(diǎn)云進(jìn)行配準(zhǔn)，配準(zhǔn)之后場(chǎng)景大小不受全局立方體的限制，適合大場(chǎng)景的三維重建。④實(shí)現(xiàn)了一套可以用于離線的大場(chǎng)景的三維重建系統(tǒng)。

1 Kinect v2與Kinect v1獲取深度圖像原理

Kinect v1的深度傳感器，采用了Light Coding[11]的方式，將紅外線光均勻分布投射到測(cè)量空間中，通過紅外線攝影機(jī)記錄空間中的每個(gè)散斑，獲取原始資料后，再通過芯片計(jì)算獲得具有深度信息的圖像。Kinect v2使用TOF[12]技術(shù)，其原理是通過對(duì)目標(biāo)場(chǎng)景發(fā)射連續(xù)的近紅外脈沖，然后用傳感器接收由物體反射回的光脈沖，比較發(fā)射光脈沖之間的傳輸延遲計(jì)算物體相對(duì)于發(fā)射器的距離，從而得到一幅深度圖像。TOF技術(shù)比Light Coding技術(shù)在深度圖像上擁有3倍的精確度。其數(shù)據(jù)更加穩(wěn)定，細(xì)節(jié)更多，被其他光源(紅外線)影響的概率也更低，捕捉到的紅外線影像不會(huì)有散斑。表1是兩代Kinect技術(shù)參數(shù)的比較。

表1 Kinect v1與Kinect v2的技術(shù)參數(shù)對(duì)比

Kinect v2使用ToF深度攝像機(jī)獲取深度圖像，受到曝光時(shí)間、被測(cè)目標(biāo)的材質(zhì)顏色，甚至是溫度等因素的影響，導(dǎo)致其深度圖像存在許多噪聲點(diǎn)。圖1可以看出在相同距離和曝光時(shí)間下，Kinect v2比v1采集了更多的細(xì)節(jié)，但在物體的邊緣處的深度值出現(xiàn)誤差，其原因通常是由于一個(gè)像素點(diǎn)所對(duì)應(yīng)的場(chǎng)景涵蓋了不同的物體表面所引起的。

圖1 兩代Kinect深度圖比較

2 Kinect v2獲取點(diǎn)云

在使用Kinect v2設(shè)備獲取深度圖像之前，首先要對(duì)其進(jìn)行標(biāo)定。目前最為成熟的是ZHANG標(biāo)定法[13]，被廣泛應(yīng)用于相機(jī)標(biāo)定中。文獻(xiàn)[14]通過對(duì)比標(biāo)定前和標(biāo)定后的深度圖像發(fā)現(xiàn)，誤差很小，說明Kinect v2內(nèi)部芯片已經(jīng)對(duì)彩色攝像頭和紅外攝像頭進(jìn)行了標(biāo)定。本文采用的是Kinect for Windows SDK v2.0內(nèi)部中MapDepthPoint ToCameraSpace( )函數(shù)，直接將深度圖像轉(zhuǎn)換為三維點(diǎn)云，故沒有對(duì)Kinect v2進(jìn)行額外的標(biāo)定。圖2是獲取的點(diǎn)云圖像，圖2(a)是具有三維坐標(biāo)的點(diǎn)云，圖2(b)是具有顏色值的-的點(diǎn)云。從圖2中可以看出電腦屏幕和書本遮擋的部分以陰影的形式表現(xiàn)出來，將獲取的點(diǎn)云旋轉(zhuǎn)和平移到和Kinect v2相對(duì)應(yīng)的視角時(shí)，可以在視野中最大限度地消除陰影部分。本文使用普通點(diǎn)云進(jìn)行重建，原因是彩色點(diǎn)云在進(jìn)行曲面重建時(shí)，顏色部分會(huì)被截?cái)啵詈蠛突叶赛c(diǎn)云得到相同的結(jié)果，但彩色點(diǎn)云更消耗存儲(chǔ)空間。

圖2 Kinect v2獲取的點(diǎn)云

3 點(diǎn)云處理

在獲取點(diǎn)云數(shù)據(jù)時(shí)，由于設(shè)備精度、操作者經(jīng)驗(yàn)、環(huán)境因素等帶來的影響，以及電磁波衍射特性、被測(cè)物體表面性質(zhì)變化和數(shù)據(jù)拼接配準(zhǔn)操作過程的影響，點(diǎn)云數(shù)據(jù)中將不可避免地出現(xiàn)一些噪聲點(diǎn)。實(shí)際應(yīng)用中除了測(cè)量隨機(jī)誤差產(chǎn)生的噪聲點(diǎn)之外，由于受到外界干擾(如視線遮擋、障礙物等)，點(diǎn)云數(shù)據(jù)中往往存在著一些離主體點(diǎn)云即被測(cè)物體點(diǎn)云較遠(yuǎn)的離散點(diǎn)，即離群點(diǎn)。同時(shí)場(chǎng)景點(diǎn)云數(shù)量龐雜，需要對(duì)點(diǎn)云進(jìn)行向下采樣精簡(jiǎn)點(diǎn)云，加快點(diǎn)云匹配速度。本文將以此對(duì)采樣的點(diǎn)云進(jìn)行處理，優(yōu)化系統(tǒng)重建效果。

3.1 點(diǎn)云裁剪

從圖2中可以看出，物體邊緣位置出現(xiàn)跳邊的現(xiàn)象，Kinect v2有效深度值為0.5~5.0 m，在Kinect v2視角的邊緣位置出現(xiàn)了大量的噪聲點(diǎn)和凸起的情況，采樣效果較差。點(diǎn)到平面距離的標(biāo)準(zhǔn)方差(mm)與傳感器到平面的距離(m) 成一種線性關(guān)系[9]，即

表明Kinect v2在深度有效值范圍內(nèi)，隨著距離的增大，在采樣場(chǎng)景的邊緣處殘差也增大。本文設(shè)計(jì)一種算法將點(diǎn)云采樣范圍設(shè)置在最佳的區(qū)域內(nèi)，選取質(zhì)量好的點(diǎn)云進(jìn)行場(chǎng)景重建。假設(shè)點(diǎn)云集合中點(diǎn)云坐標(biāo)為(,,)，其中、為點(diǎn)云所在深度圖中的坐標(biāo)；為點(diǎn)云的深度值；Kinect v2與所構(gòu)建場(chǎng)景的距離為。從表1中可以得出Kinect v2的視角為水平70°，垂直60°，則、、的取值范圍為

Kinect v2最小距離可以為0.5 m，但該距離會(huì)由于沒有深度數(shù)據(jù)而產(chǎn)生較大的孔洞。由上文可知距離越近采樣的點(diǎn)云越精確，故本文將Kinect v2的距離場(chǎng)景(即最近的桌子邊緣)的長(zhǎng)度設(shè)置為1.0 m。將點(diǎn)云的、坐標(biāo)范圍裁剪為整個(gè)場(chǎng)景中的一半即中心位置。原因是TOF相機(jī)在發(fā)射紅外光時(shí)在邊緣位置反射回來的光振幅較小[15]和深度相機(jī)畸變導(dǎo)致場(chǎng)景邊緣產(chǎn)生較大的殘差。因此本文設(shè)置場(chǎng)景的三維包圍盒范圍為

對(duì)點(diǎn)云進(jìn)行裁剪后的效果如圖3所示，其中藍(lán)色為裁剪去除的點(diǎn)云，綠色為保留下來的點(diǎn)云，從圖3中可以看出，該算法有效地去除了一些畸變的邊緣噪聲和大面積的孔洞。

圖3 點(diǎn)云裁剪

3.2 點(diǎn)云離群點(diǎn)去除

本文使用PCL1.80版本點(diǎn)云庫(kù)中的Statistical OutlierConditionalRemoval濾波器來移除離群點(diǎn)。其主要的思想是對(duì)每個(gè)點(diǎn)的鄰域進(jìn)行一個(gè)統(tǒng)計(jì)分析，首先計(jì)算這個(gè)點(diǎn)到其鄰域的平均距離。假設(shè)得到的結(jié)果是一個(gè)高斯分布，其形狀由均值和標(biāo)準(zhǔn)差決定，平均距離在標(biāo)準(zhǔn)范圍之外的點(diǎn)，可被定義為離群點(diǎn)，并可從數(shù)據(jù)集中移除。如圖4所示，通過調(diào)節(jié)標(biāo)準(zhǔn)范圍的大小，確定一個(gè)最佳的采樣效果，綠色部分為保留的點(diǎn)云，藍(lán)色部分是被移除的離群點(diǎn)，表2給出了具體的分析，本文選擇圖4(d)的標(biāo)準(zhǔn)范圍。

3.3 點(diǎn)云重采樣

本文使用VoxelGrid的方法，即根據(jù)給定的點(diǎn)云構(gòu)造一個(gè)三維體素柵格并進(jìn)行下采樣達(dá)到濾波效果。VoxelGrid通過輸入的點(diǎn)云數(shù)據(jù)創(chuàng)建一個(gè)三維體素柵格，然后將每個(gè)體素內(nèi)所有的點(diǎn)都用該體素內(nèi)的點(diǎn)集的重心來近似，大大減少了數(shù)據(jù)量，減少點(diǎn)云在配準(zhǔn)、曲面重建時(shí)所消耗的時(shí)間，提高速度。本文通過大量實(shí)驗(yàn)得出使用0.4 cm×0.4 cm×0.4 cm的立方體來過濾點(diǎn)云，可以將孔洞數(shù)量減小到較小的范圍，且點(diǎn)云數(shù)量保留較少，其點(diǎn)云數(shù)量減少到原來的60%，由于篇幅原因不做展開。

圖4 點(diǎn)云離群點(diǎn)去除

表2 閾值標(biāo)準(zhǔn)的調(diào)節(jié)

4 點(diǎn)云配準(zhǔn)

在本文中點(diǎn)云配準(zhǔn)分為3步：①對(duì)兩片點(diǎn)云進(jìn)行粗配準(zhǔn)。首先是對(duì)兩片點(diǎn)云按照相同的關(guān)鍵點(diǎn)選取標(biāo)準(zhǔn)，提取關(guān)鍵點(diǎn)。然后對(duì)選擇的所有關(guān)鍵點(diǎn)分別計(jì)算其特征描述子，最后結(jié)合特征描述子在兩個(gè)數(shù)據(jù)集中的坐標(biāo)位置，以二者之間特征和位置的相似度為基礎(chǔ)，來估算其對(duì)應(yīng)關(guān)系，完成粗配準(zhǔn)。②利用經(jīng)典的ICP算法對(duì)兩片點(diǎn)云進(jìn)行細(xì)配準(zhǔn)。③設(shè)計(jì)一種利用隊(duì)列來進(jìn)行多對(duì)點(diǎn)云配準(zhǔn)算法。

4.1 ICP算法簡(jiǎn)介

ICP算法(iterative closest point)[16]的基本思想是給定兩個(gè)來自不同坐標(biāo)系的三維數(shù)據(jù)點(diǎn)集，找出兩個(gè)點(diǎn)集之間的空間變換，以便能進(jìn)行空間匹配。迭代最近點(diǎn)算法的基本思想是：

已知兩個(gè)對(duì)應(yīng)點(diǎn)集合

求解旋轉(zhuǎn)矩陣和平移向量，目標(biāo)函數(shù)為

算法的一般流程如下：

步驟1.在點(diǎn)集中尋找與點(diǎn)集中的對(duì)應(yīng)點(diǎn)

步驟2.求解旋轉(zhuǎn)矩陣和平移向量，目標(biāo)函數(shù)為

步驟3.更新點(diǎn)云模型

步驟4.計(jì)算對(duì)應(yīng)點(diǎn)集間的距離

步驟5.若d+1<(為給定閾值)則算法結(jié)束，否則返回步驟1。

4.2 多對(duì)點(diǎn)云配準(zhǔn)

ICP算法是對(duì)點(diǎn)云進(jìn)行兩兩配準(zhǔn)，利用Kinect v2可以獲取多方位的多片點(diǎn)云，本文設(shè)計(jì)一套對(duì)多片點(diǎn)云進(jìn)行配準(zhǔn)的算法。考慮到Kinect v2在獲取點(diǎn)云時(shí)，各片點(diǎn)云隨時(shí)間的變化，相鄰點(diǎn)云具有大量重疊的部分，滿足ICP算法的要求。由于獲取的相鄰點(diǎn)云具有時(shí)序性，因此，提出使用隊(duì)列這種先進(jìn)先出的線性表來維持場(chǎng)景規(guī)模。當(dāng)點(diǎn)云拼接的規(guī)模達(dá)到設(shè)定的閾值即場(chǎng)景點(diǎn)云拼接的最大值時(shí)，則將場(chǎng)景點(diǎn)云集合減去隊(duì)列中的隊(duì)尾點(diǎn)云，然后再對(duì)當(dāng)前點(diǎn)云與前一幀的點(diǎn)云進(jìn)行ICP配準(zhǔn)，最后再拼接到場(chǎng)景點(diǎn)云集合中。具體流程如圖5所示。

本算法通過可變長(zhǎng)的隊(duì)列來維持和改變場(chǎng)景的大小，實(shí)現(xiàn)大場(chǎng)景的三維重建。為了加快配準(zhǔn)速度，本文采用的是當(dāng)前點(diǎn)云和前一幀的點(diǎn)云進(jìn)行配準(zhǔn)，而沒有讓當(dāng)前幀和當(dāng)前的場(chǎng)景點(diǎn)云進(jìn)行一個(gè)全局的配準(zhǔn)。當(dāng)然也會(huì)出現(xiàn)一定的累積誤差。

圖5 多片點(diǎn)云配準(zhǔn)算法流程圖

5 Kinect v2大場(chǎng)景的重建系統(tǒng)

Kinect v2對(duì)平臺(tái)的要求比較高，Windows8/ Windows8.1操作系統(tǒng)，Visual Studio 2012以上軟件開發(fā)平臺(tái)，顯卡支持DX11，內(nèi)置USB 3.0，4 G以上內(nèi)存，64位的CPU，i7，2.5 GHz以上更佳。本文系統(tǒng)構(gòu)建的環(huán)境是，Windows8.1/Visual Studio 2013/AMD RADEON R9 M290X/USB3.0/8G/i5- 4690 3.5 GHz

圖6是整個(gè)場(chǎng)景重建系統(tǒng)的算法框圖，本系統(tǒng)使用C++程序開發(fā)語(yǔ)言，利用Kinect for Windows SDK 2.0提供的接口獲取數(shù)據(jù)和進(jìn)行相機(jī)標(biāo)定，以及PCL1.8.0版本的點(diǎn)云庫(kù)對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行處理，都需要在Visual Studio 2013的開發(fā)環(huán)境下進(jìn)行編譯使用。具體步驟為：

步驟1. 獲取深度圖像，本文通過Kinect v2獲取深度相機(jī)中的每一幀，獲取圖像信息。

步驟2.深度圖像轉(zhuǎn)換為點(diǎn)云，本文并沒有對(duì)Kinect v2進(jìn)行額外的標(biāo)定，而是直接通過Kinect for Windows SDK 2.0獲取相機(jī)內(nèi)置標(biāo)定參數(shù)進(jìn)行標(biāo)定，轉(zhuǎn)換為點(diǎn)云數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明獲得了較好的采樣效果。

步驟3. 點(diǎn)云去噪，通過分析點(diǎn)云噪聲分布規(guī)律，實(shí)現(xiàn)一種類似包圍盒的去噪算法。

步驟4.通過調(diào)整濾波閾值的參數(shù)來進(jìn)行調(diào)優(yōu)，實(shí)現(xiàn)點(diǎn)云離群點(diǎn)的去除和向下采樣。

步驟5. 將兩兩配準(zhǔn)的ICP算法進(jìn)行改進(jìn)，使其可以進(jìn)行多片點(diǎn)云配準(zhǔn)，并且可以通過設(shè)置點(diǎn)云場(chǎng)景參數(shù)，來動(dòng)態(tài)控制場(chǎng)景的大小。使構(gòu)建場(chǎng)景不受KinectFusion全局立方體體積的約束。

步驟6.對(duì)點(diǎn)云進(jìn)行貪婪投影三角化實(shí)現(xiàn)曲面的重建。本文利用PCL點(diǎn)云庫(kù)實(shí)現(xiàn)了該算法。

圖6 基于Kinect v2的重建系統(tǒng)算法框圖

5.1 實(shí)驗(yàn)結(jié)果

本文通過獲取關(guān)鍵幀的形式對(duì)場(chǎng)景進(jìn)行重建，本文場(chǎng)景是一個(gè)長(zhǎng)1.2 m、寬0.6 m、高0.75 m的桌子。將Kinect v2放在一個(gè)高1.2 m，距離桌子邊距為1.0 m的載物臺(tái)上。ICP算法對(duì)兩片點(diǎn)云的初始值有很高的要求，否則難以得到閉合解，導(dǎo)致ICP算法失效。將Kinect v2從右至左每次平移0.03 m，來獲取6片關(guān)鍵幀的點(diǎn)云，進(jìn)行場(chǎng)景重建。ICP配準(zhǔn)后的效果如圖7所示，配準(zhǔn)后點(diǎn)云的個(gè)數(shù)見表3。

圖7 配準(zhǔn)的點(diǎn)云圖

表3 配準(zhǔn)后點(diǎn)云個(gè)數(shù)一覽表

本文使用貪婪投影三角化算法對(duì)配準(zhǔn)后的點(diǎn)云進(jìn)行曲面重建，在重建時(shí)通過擴(kuò)大連接點(diǎn)之間的最大距離來確定近鄰的球半徑，使更多的點(diǎn)連接起來，適當(dāng)減少孔洞。KinectFusion和本實(shí)驗(yàn)結(jié)果對(duì)比如圖8所示。

5.2 結(jié)果分析

從圖7可看出隨著Kinect v2的移動(dòng)，左邊放置打印機(jī)的桌子開始逐漸顯現(xiàn)出來。同時(shí)，隨著維持點(diǎn)云隊(duì)列長(zhǎng)度的增加，桌上的細(xì)節(jié)開始逐漸地模糊起來，與此同時(shí)，點(diǎn)云的場(chǎng)景也開始增大。除了增大點(diǎn)云隊(duì)列的長(zhǎng)度，還可以通過以下方式來增大場(chǎng)景：①通過在不影響ICP算法有效性的前提下，提高間距，獲得更大的場(chǎng)景。②本文所裁剪的場(chǎng)景是Kinect v2當(dāng)前視角下的一半，可以在避免獲得噪聲點(diǎn)云的情況下，擴(kuò)大裁剪場(chǎng)景的包圍盒來擴(kuò)大重建場(chǎng)景。③可以通過直接拉大采樣距離來獲得更大的場(chǎng)景。本文的采樣距離是1.0 m，只是Kinect v2獲取場(chǎng)景有效深度的20%。通過裁剪獲得一個(gè)和KinectFusion極限范圍同樣大小的場(chǎng)景。綜上所述，本文算法在獲得重建場(chǎng)景范圍上，具有相當(dāng)大的優(yōu)勢(shì)。

圖8 KinectFusion與本文算法重建效果對(duì)比

圖8(a)、(b)是Kinect for Windows SDK v2.0中集成的KinectFusion算法所構(gòu)建的場(chǎng)景，可看出全局立方體的限制，圖8(a)是距離場(chǎng)景1 m時(shí)所構(gòu)建的，圖8(b)是距離場(chǎng)景2 m時(shí)所構(gòu)建的，超出重建范圍的場(chǎng)景在屏幕中都是不可見的，在可見的范圍內(nèi)，可以通過拉近Kinect v2與場(chǎng)景的距離不斷刻畫場(chǎng)景中的細(xì)節(jié)，并且全局立方體適合做GPU的并行計(jì)算，為KinectFusion進(jìn)行實(shí)時(shí)場(chǎng)景重建提供了有利條件。圖8(c)是初始位置時(shí)所獲得的場(chǎng)景，圖8(d)水平向左平移0.18 m六片點(diǎn)云融合后所獲得的場(chǎng)景。由于Kinect v2所采集的點(diǎn)云在整個(gè)場(chǎng)景中密度分布不均勻，所采用的貪婪投影三角化算法對(duì)場(chǎng)景點(diǎn)云分布密度要求很高，因此在場(chǎng)景中出現(xiàn)了很多孔洞。圖8(d)的細(xì)小孔洞明顯比圖8(c)多，如電腦后面的墻體。這是由于多片點(diǎn)云在進(jìn)行拼接時(shí)，ICP算法沒有得到完美的閉合解，點(diǎn)云疊加時(shí)破壞了原來曲面的光滑度，同時(shí)也改變了點(diǎn)云均勻的變化密度，再加上貪婪投影三角化算法不能在三角化的同時(shí)對(duì)曲面進(jìn)行平滑和孔洞修復(fù)，使得曲面重建的效果不是特別理想。圖9(a)是實(shí)驗(yàn)室中的一面墻的書櫥重建效果圖重建有8㎡左右的面積。圖9(b)是實(shí)驗(yàn)室一角，圖9(c)是實(shí)驗(yàn)室用于呈現(xiàn)虛擬現(xiàn)實(shí)場(chǎng)景的展示臺(tái)，中間放一把椅子來判斷配準(zhǔn)的效果，由于kinect v2的遠(yuǎn)距離取樣精度的問題，效果比較粗糙。圖9(d)~(f)是由15片點(diǎn)云從不同角度重建出來的椅子效果圖。

圖9 大面積場(chǎng)景和單個(gè)物體的重建

6 總結(jié)與展望

通過分析，Kinect v2獲得的深度圖像噪聲主要集中在離深度相機(jī)較遠(yuǎn)的邊緣地區(qū)。本文摒棄了KinectFusion三維重建的算法框架，提出一種新的適合大場(chǎng)景的三維重建方案。著重去除了點(diǎn)云場(chǎng)景中邊緣的噪聲點(diǎn)，提高了采樣的質(zhì)量。然后將兩兩配準(zhǔn)的ICP算法，擴(kuò)展到多片點(diǎn)云配準(zhǔn)，設(shè)計(jì)一個(gè)隊(duì)列來維持場(chǎng)景中點(diǎn)云的個(gè)數(shù)，以此來控制場(chǎng)景的大小，獲得了較好的效果。下一步的工作將重點(diǎn)放在解決Kinect v2在重建大場(chǎng)景的實(shí)時(shí)性和修復(fù)曲面孔洞的問題上。

[1] NEWCOMBE R A, IZADI S, HILLIGES O, et al. KinectFusion: real-time dense surface mapping and tracking [C]//2011 10thIEEE International Symposium on Mixed and Augmented Reality (ISMAR). New York: IEEE Press, 2011: 127-136.

[2] NIEBNER M, ZOLLH?FER M, IZADI S, et al. Real-time 3D reconstruction at scale using voxel hashing [J]. ACM Transactions on Graphics (TOG), 2013, 32(6): 1-11.

[3] WHELAN T, MCDONACD J, KAESS M, et al. Kintinuous: spatially extended kinectfusion [EP/OL]. [2018-03-08]. http: //www.thomaswhelan.ie/whelan12rssw. pdf.

[4] ZENG M, ZHAO F K, ZHENG J X, et al. A memory-efficient kinectfusion using octree [C]//First International Conference on Computational Visual Media. Berlin: Springer, 2012: 234-241.

[5] HENRY P, KRAININ M, HERBST E, et al. RGB-D mapping: using Kinect-style depth cameras for dense 3D modeling of indoor environments[J]. The International Journal of Robotics Research, 2012, 31(5): 647-663.

[6] 譚歆. KinectFusion三維重建的再優(yōu)化[D]. 杭州: 浙江大學(xué), 2015.

[7] 周瑾, 潘建江, 童晶, 等. 使用Kinect快速重建三維人體[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2013, 25(6): 873-879.

[8] 朱笑笑, 曹其新, 楊揚(yáng), 等. 一種改進(jìn)的Kinect Fusion三維重構(gòu)算法[J]. 機(jī)器人, 2014, 36(2): 129-136.

[9] 李詩(shī)銳, 李琪, 李海洋, 等. 基于Kinect v2 的實(shí)時(shí)精確三維重建系統(tǒng)[J]. 軟件學(xué)報(bào), 2016, 27(10): 2519-2529.

[10] 胡正乙, 譚慶昌, 孫秋成. 基于RGB-D的室內(nèi)場(chǎng)景實(shí)時(shí)三維重建算法[J]. 東北大學(xué)學(xué)報(bào): 自然科學(xué)版, 2017, 38(12): 1764-1768.

[11] NITZAN D, BRAIN A E, DUDA R O. Measurement and use of registered reflectance and range data in scene analysis [J]. Proceedings of the IEEE, 1977, 65(2): 206-220.

[12] SALVI J, FERNANDEZ S, PRIBANIC T, et alA state of the art in structured light patterns for surface profilometry[J]. Pattern Recognition, 2010, 43(8): 2666-2680.

[13] ZHANG Z. A flexible new technique for camera calibration[J]. IEEE Computer Society, 2000, 22(11): 1330-1334.

[14] KONOLIGE K, MIHELICH P. Technical description of Kinect calibration [EB/OL]. (2012-08-10). [2018-02-20]. http: //www.ros/wiki/kinect-calibration/technical.

[15] FOIX S, ALENYA G, TORRAS C. Lock-In time -of-flight (ToF) cameras: a survey [J]. IEEE Sensors Journal, 2011, 11(9): 1917-1926.

[16] BESL P J, MCKAY N D. A method for registration of 3-D shapes [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence. 1992, 14(2): 239-256.

3D Scene Reconstruction System Based on Depth Image

ZHANG Zhilin, MIAO Lanfang

(College of Mathematics, Physics and Information Engineering, Zhejiang Normal University, Jinhua Zhejiang 321004, China)

The reconstruction of three-dimensional scenes is currently a research hotspot in computer graphics and visual fields. Firstly, this paper analyzes the principle of depth image acquisition by Kinect v2 (Kinect for Windows v2 sensor), and explain the source of depth image noise. Then according to the principle of obtaining the depth image, an algorithm is designed to crop the point cloud sampling range. Secondly, the point cloud outliers are removed to fill the voids of the cloud to improve the reconstruction quality. Common three-dimensional scene reconstruction mostly uses a global three-dimensional body scheme of Kinect Fusion. This scheme can only reconstruct scenes in a small area. An ICP algorithm for point cloud matching of large scenes is designed for this purpose. Finally, surface reconstruction is performed on the point cloud to realize a low-cost and accurate three-dimensional reconstruction system for large scenes.

Kinect v2; 3D scene reconstruction; point cloud denoising; outlier removal; ICP

TP 391

10.11996/JG.j.2095-302X.2018061123

A

2095-302X(2018)06-1123-07

2018-04-15；

2018-06-21

國(guó)家自然科學(xué)基金項(xiàng)目(61170315)

張志林(1992-)，男，安徽合肥人，碩士研究生。主要研究方向?yàn)橛?jì)算機(jī)圖形學(xué)。E-mail：jsjzhangzhilin@163.com

苗蘭芳(1963-)，女，浙江慈溪人，教授，博士。主要研究方向?yàn)橛?jì)算機(jī)圖形學(xué)。E-mail：mlf@zjnu.cn