陳正兵

（南京理工大學(xué) 計算機科學(xué)與工程學(xué)院，江蘇 南京210094）

基于深度圖像的室內(nèi)三維平面分割方法研究

陳正兵

（南京理工大學(xué) 計算機科學(xué)與工程學(xué)院，江蘇 南京210094）

當(dāng)前隨著3D相機在智能機器人領(lǐng)域的廣泛運用，越來越多的學(xué)者投入到了基于3D相機深度圖像的室內(nèi)三維平面分割研究當(dāng)中。文運用了一種快速而且比較穩(wěn)定的方法去檢測復(fù)雜的平面，其中深度圖像是運用Kinect相機采集的。為了提高平面提取的速度，我們首先計算深度圖像中點的法向量，通過法向量來判斷這些點是否在一個平面上。運用求點的法向量可以同時檢測多個復(fù)雜的平面，而且實驗結(jié)果顯示該方法比傳統(tǒng)的3D Hough Transform以及RANSAC方法要快。此種方法還有個優(yōu)點就是可以運用到實時的平面與障礙物檢測當(dāng)中，此方法在機器人領(lǐng)域有比較大的應(yīng)用前景。

平面提取；深度圖像；法向量；Kinect相機

目前基于深度圖像的三維場景分割的主要優(yōu)點是可以幫助機器人認識和理解周圍的環(huán)境，而且機器人周圍的環(huán)境以及障礙物都是平坦的，或者說可以分解為平面區(qū)域。所以基于深度圖像的室內(nèi)三維場景分割也可以轉(zhuǎn)化為對室內(nèi)三維場景的平面分割，當(dāng)前平面分割算法主要是基于兩個標準，一個是基于框架，你一個是基于特征?；诳蚣艿钠矫嫣崛∷惴ㄖ饕校簠^(qū)域生長算法[1]，聚類算法[2]和邊緣檢測算法[3]?；谔卣鞯钠矫娣指钏惴ㄖ饕校悍ㄏ蛄克惴╗4]和掃描線分割算法[5]。深度圖像提取和分割是物體識別定位和特征提取之前的重要步驟，受到了較多研究人員的關(guān)注。由于深度圖像的分割是圖像各種處理和分析的基礎(chǔ)，而分割結(jié)果的好壞直接影響著后續(xù)的數(shù)據(jù)處理效果，并且對數(shù)據(jù)分割這方面的研究還沒有一個符合一般情況的成系統(tǒng)性的成果，所以到現(xiàn)在，深度圖像的分割問題還一直是研究的熱點和難點之一。當(dāng)前平面提取方法種類比較多，國內(nèi)外許多學(xué)者對這個方面提發(fā)表了自己的研究成果，國外學(xué)者提出的基于深度圖像的梯度進行平面分割[6]，充分運用到圖像的梯度信息從而完成深度圖像的平面提取，李寶等人[7]提出的一種基于RANSAC的點云特征線提取算法，對點云的噪聲、外點和數(shù)據(jù)缺失有很強的魯棒性。國內(nèi)錢偉寧[8]等人基于大量的距離和深度信息對平面提取進行了研究。

在傳統(tǒng)的平面檢測方法中，需要解決的也是面臨的主要難點是怎樣改進數(shù)據(jù)處理的速度。在3D Hough Transform[9]方法需要使用所有的點，在計算的過程中計算的復(fù)雜度比較高，效率比較低。RANSAC[10]方法是一種很早之前就提出來的一種方法，但是該方法存在重復(fù)計算，復(fù)雜度較高，效率相對3D Hough Transform方法更低。基于RANSAC平面提取的方法存在執(zhí)行時間的缺點，假設(shè)所利用的是可靠的點（認為存在的噪聲點較少）而不是隨機的點，將會減少迭代的過程，從而提高該方法的效率。該算法首先是對點云進行抽樣，得到一定數(shù)量點云集，然后通過奇異值分解的方法得到類別相似的點然后進行歸類，然后對歸類好的點進行平面擬合，反復(fù)進行抽樣直到所有的點都被分類，然后進行平面擬合，最后得到點云數(shù)據(jù)的平面圖。

1 利用求法向量的方法進行平面分割

在本篇文章中我們所采用的是法向量算法，深度圖像是通過采集室內(nèi)封閉的環(huán)境，并且該環(huán)境內(nèi)有光照，在滿足該條件的情況下，我們利用Kinect相機能夠采集到在該環(huán)境下的深度圖像，同時也可以得到相對應(yīng)的彩色圖像。通過以上條件我們可以很輕松的通過Kinect相機得到3D點云數(shù)據(jù)。傳統(tǒng)的處理3D點云數(shù)據(jù)是計算每個3D點之間的距離，在本篇文章中我們所采取的方法是計算3D點云的法向量[11]，通過法向量來判斷3D點是不是在一個平面。

如上圖所示，文中提到的算法主要是先求出所有點云的法向量，然后根據(jù)法向量的方向判斷點云的類別，然后同樣利用奇異值分解的方法對所有點云進行分類，對于分類好的點云進行平面擬合。

1.1 點云法向量計算的研究現(xiàn)狀

當(dāng)前法向量的計算方法大致可以分為3類：基于點云數(shù)據(jù)局部表面擬合的方法，基于Delaunay方法，基于魯棒統(tǒng)計的方法。

1）基于點云數(shù)據(jù)局部表面擬合的方法是由 Hugues Hoppe[12]等人基于有向距離函數(shù)（Signed Distance Function）的三維點云表面重建算法中提出。這種方法的原理主要是將K個最近點擬合出的平面的法向量作為當(dāng)前點的法向量。

2）基于Delaunay[13]方法。該方法的原理主要是首先為點云構(gòu)建Voronoi圖，然后進行Delauney三角劃分，對于點云數(shù)據(jù)中的每個點，假設(shè)點處于整個點云的凸起的部位內(nèi)，我們可以將所在的Voronoi柵格中距離最遠的頂點的連線作為點的法向量。OuYang等人[14]在這種方法的基礎(chǔ)上做了一些該進，他們?yōu)辄c的領(lǐng)域構(gòu)建一個局部的Voronoi圖，然后為該Voronoi圖擬合一組二次曲面，通過計算這些二次曲面的切向量來計算點的法向量。Alliez等人[15]提出將PCA方法和Voronoi方法相結(jié)合，這種方法可以得到比較可靠的法向量，但是點云中存在的一些尖銳特征仍然沒有考慮進去。

3）基于魯棒統(tǒng)計的方法。

基于魯棒統(tǒng)計的方法Fleishman等人提出了利用魯棒的移動最小二乘（Robust Moving Least Squares，RMLS）來重建點云數(shù)據(jù)中具有尖銳特征的表面，對于給定的點云中的一個點，我們將它分為多個沒有外點的光滑區(qū)域，對于這些子區(qū)域我們進行投影，在進行表面重建的過程中，我們可以通過重建的分片光滑表面得到。

1.2 計算點云的法向量

文中利用了sobel算子來計算點云的法向量，sobel算子在圖像中是用來進行邊緣檢測的，它是基于一階導(dǎo)數(shù)的邊緣檢測算子，但是在進行邊緣檢測的同時我們可以得到圖像邊緣方向和幅度兩個屬性，基于這個啟發(fā)，在三維點云數(shù)據(jù)的法向量計算過程中，我們可以使用sobel算子的這些特性來計算點云數(shù)據(jù)中某一點的空間法向量。在二維圖像中sobel算子包含兩組3×3的矩陣:文中利用sobel算子計算空間點的法向量時取的兩個常量sobel_u，sobel_v，由于空間某一點對應(yīng)的鄰近點有8個，在計算法向量時我們兩個常量的取值分別為：

在二維圖像中我們通過卷積可以得到圖像邊緣點的幅度和方向的變化[16]，利用此原理，在三維空間中通過卷積可以得到空間中三維點的法向量。首先我們利用 sobel_u對空間八個點進行卷積得到矩陣B1，利用sobel_v對空間八個點進行卷積得到矩陣B2，然后計算矩陣B1的各項和b1，計算矩陣B2的各項和b2，利用b1和b2得到新的矩陣B=[b1；b2；1]，再由矩陣A=[1，0，0；0，1，0；x，y，1]以及單位矩陣I進行卷積得到法向量N=I.*A.*B，由此方法可以快速得道點云的法向量。在計算法向量時由于一些邊界點沒有鄰近的空間8個點，因此我們在計算的時候邊界點先不取值，點云邊界點的法向量設(shè)為其鄰近點一致。

1.3 對3D點云數(shù)據(jù)進行分類

為了提高點云數(shù)據(jù)處理的速度，我們采取的是均勻采樣的方法而不是單獨的對每個點進行處理，當(dāng)進行均勻采樣的過程中，能夠確定哪些點在一個平面上，哪些點不在一個平面上，判斷兩個點是否在同一個平面上的方法主要通過以下方法確定：

Ni和Nj分別是點Pi和Pj對應(yīng)的法向量，方程（1）用來確定法向量相同的點，方程（2）是用來兩個法向量兩相同的點的連線是否與兩個點的方向量垂直，通過這種方法可以對3D點云進行分類，從而判斷哪些點是在同一個平面上。

1.4 平面提取

經(jīng)過之前對3D點云數(shù)據(jù)分類之后，對于點云數(shù)據(jù)對應(yīng)的平面方程就可以確定，該平面可以用方程式（3）表示，為了從多個復(fù)雜的點中提取平面，矩陣方程（4）是約束條件。

在上面的方程中，Xi是一個被分離的點集，n是這個點集中點的數(shù)目，結(jié)合以上的方程再利用SVD（奇異值分解）方法來處理數(shù)據(jù)。

1.5 通過比較平面方程的系數(shù)來處理相同的平面

最后對于那些系數(shù)比較相近的平面我們可以將他們?nèi)コ簦切┌疃帱c的平面被保留下來而其余的則被去除，假設(shè)兩個平面一樣則有：

在這個方程中，a，b，c，d是平面i和j的平面方程系數(shù)。方程（5）檢測的是兩個平面的角度是一樣的。假如方程（5）滿足，方程（6）檢測的是兩個平面的距離為0。在這部分中，我們設(shè)定一個閾值，假如平面的參數(shù)在這個閾值內(nèi)則我們可以判定這些平面是一個平面，假如方程式（5）和（6）在這些閾值范圍內(nèi)是成立的則可以判斷這些平面是相同的平面。

2 實驗結(jié)果

以下兩幅圖像是用kinect相機采集的彩色圖和深度圖，根據(jù)kinect相機的原理，在采集到的信息中包含圖像的點云信息。

圖2 深度相機采集的彩色圖和深度圖

先對深度圖像的點云數(shù)據(jù)求其法向量，得到點云法向量的坐標，然后對法向量進行分類，得到的圖如圖3所示。

圖3 點云法向量

在求出三維點云的法向量后[17]，我們根據(jù)之前提出的方法進行平面提取得到三維圖像如圖4所示。

圖4 提取的平面分割圖

在進行本方法的同時我們也利用傳統(tǒng)的 3D Hough Transform方法和RANSAC方法進行了比較，得出的結(jié)論如表1所示。

表1 3種平面提取方法比較

為了和之前提出的方法進行比較，我們利用之前提到的兩種方法進行了實驗，運行的環(huán)境都是在matlab 2012b，從上表可以看出，本文提出的方法在處理上大大縮短了運行的時間，這在平面提取涉及到的應(yīng)用上有了比較大的優(yōu)勢，當(dāng)然本方法也是在結(jié)合傳統(tǒng)平面提取方法上的一種改進。

我們提出的方法是在酷睿 i5-3230M雙核處理器（2.6 GHz，睿頻可達3.2 GHz）為主板的計算機上進行運算的。

3 結(jié) 論

在文中我們提出了一種基于Kinect深度相機的室內(nèi)三維平面分割方法，我們所用的是通過計算點云數(shù)據(jù)的法向量，然后對法向量進行分類，最后通過分類后的法向量來提取平面。從結(jié)果我們可以看出，我們采用的方法所用的時間較其他兩種方法有明顯的優(yōu)勢。相比較而言，3D Hough Transform所用的時間是文中提出的方法的好多倍，而且需要較大的存儲空間來保證結(jié)果的準確性。而且文中提出的方法不需要迭代，因此這種方法比RANSAC方法更快，雖然準確性上幾乎一樣。

[1]秦曉薇.區(qū)域填充算法的研究[J].赤峰學(xué)院學(xué)報：自然科學(xué)版，2011，27（6）：47-49.

[2]Johnson A E，Hebert M.Using spin-images for efficient multiple model recognition in cluttered 3-D scenes[J].PAMI，1999，5（21）:433-449.

[3]Goerzen C，Kong Z，Mettler B.A survey of motion planning algorithms from the perspective of autonomous uav guidance[J].JournalofIntelligent& Robotic Systems，2010，1（57）：65-100.

[4]WoodenD，Egerstedt M.Oriented visibility graphs:Lowcomplexity planning in real-time environments[J].IEEE，2006，2（31）:2354-2359.

[5]Kuwata Y，How J.Three dimensional receding horizon control for uavs，AIAA Guidance[R].Navigation，and Control Conference and Exhibit，2004，3（1）:2100-2113.

[6]Enjarini B，Grser A.Planar segmentation from depth images using gradient of depth feature[J].2012 IEEE/RSJ、International Conference on Intelligent Robots and Systems October 7-12，2012，2（1）:4668-4674.

[7]李寶，程志全，黨崗，等.一種基于RANSAC的點云特征線提取算法[J].計算機工程與科學(xué)，2013，35（2）:147-152.

[8]QIAN Wei-ning，GONG Xue-qing，AO Ying-zhou.Clustering in very large databases based on distance and density[J]. Journal of Computer Science andTechnology，2003，18（1）: 67-76.

[9]DoritBorrmann.The 3D Hough Transform for Plane Detection in Point Clouds:A Review and a newAccumulator Design[N].3D Research Center and Springe，2011（2）：2092-6731.

[10]Fischler M A，Bolles R C.Random samples conse-nsus:A paradigm for model fitting with application to image analysis and automated cartography [J].Communicatio-ns of the ACM，Null，1981，6（24）：381-395.

[11]Dirk Holz，Stefan Holzen，Radu Bogdan Rusu，and Sven Behnke，Real-Time Plane Segmentation Using RGB-D Cameras [J].RoboCup 2011，LNCS7416，2011，5（11）:306-317.

[12]Hugues Hoppe，Tony DeRose，Tom Duchamp，et al.Surface Reconstruction from Unorga-nized Points[C]//University of Washington Seattle，1992：71-78.

[13]Nina Amenta，Marshall Bern.Surface Reconstruction by Voronoi Filtering[J].Discrete and Computational Geometry，1998（22）：481-504.

[14]Daoshan OuYang，Hsi-Yung Feng，“On the normal vector estimation for point cloud data from smooth surfaces”[J]. Computer-Aided Design 37，2005，3（2）：1071-1079.

[15]Alliez P，Cohen-Steiner D，Tong Y，et al.Voronoi-based VariationalReconstruction ofUnoriented PointSets[J]. Eurographics Symposium on Geometry Processing，2007，2（5）：1009-1018.

[16]南向軍.寬馬赫數(shù)二維曲面壓縮高超聲速進氣道設(shè)計[J].火箭推進，2015(1)：43.

[17]余武江，王海洲，陳二鋒，等.單向閥三維動態(tài)流場穩(wěn)定性仿真研究[J].火箭推進，2015(1)：82.

Indoor three-dimensional plane segmentation method based on depth image research

CHEN Zheng-bing
（College of Computer Science and Engineering，Nanjing University of Science and Technology，Nanjing 210094，China）

With the wide application of 3D camera in the field of intelligent robots，more and more scholars have devoted to the study of 3D plane segmentation based on the depth image of 3D camera.In this paper，a fast and relatively stable method is used to detect the complex plane，and the depth image is acquired by Kinect camera.In order to improve the speed of plane extraction，we first calculate the normal vector of the depth of the image，and judge whether these points are in a plane by the normal vector.The normal vector of the point can be detected simultaneously by a number of complex planes，and the experimental results show that the proposed method is faster than the traditional Hough Transform 3D and RANSAC method. This method has the advantage that it can be applied to real-time detection of planar and obstacles，and this method has a relatively large application prospect in the field of robotics.

plan extraction；depth image；normal vector；Kinect camera

TN919.8

A

1674－6236（2016）24-0158-03

2015-12-09 稿件編號：201512109

陳正兵（1986—），男，湖北鄂州人，碩士。研究方向：三維點云特征提取。