,,,

(廣東工業(yè)大學(xué) 機(jī)電工程學(xué)院，廣州 510006)

服務(wù)機(jī)器人在抓取物體時(shí)，需要準(zhǔn)確獲取物體的幾何結(jié)構(gòu)信息以完成抓取點(diǎn)的選取與抓取規(guī)劃等后續(xù)任務(wù)。傳統(tǒng)二維圖像信息的物體識別很難提供物體的幾何信息，基于點(diǎn)云數(shù)據(jù)進(jìn)行三維目標(biāo)識別成為視覺領(lǐng)域研究的熱點(diǎn)，針對點(diǎn)云數(shù)據(jù)的處理在許多視覺任務(wù)中起到關(guān)鍵的作用[1]。

近些年研究者提出了各種關(guān)于點(diǎn)云平面分割提取的算法，這些算法可分為三大類[2-3]：霍夫變換算法、隨機(jī)一致采樣算法和區(qū)域生長算法或聚類方法。Nguyen等人[4]使用霍夫變換在嘈雜的環(huán)境中對于平面的提取十分穩(wěn)定，但是這種方法的缺點(diǎn)是耗時(shí)長，同時(shí)占用大量的計(jì)算機(jī)內(nèi)存。Tarsh-Kurdi等人[5]研究表明，在噪聲和異常值的點(diǎn)云數(shù)據(jù)中隨機(jī)一致采樣算法比霍夫變換算法能更有效地分割平面，但其缺點(diǎn)是由隨機(jī)一致采樣方法檢測到的平面可能不屬于同一平面。尤其在復(fù)雜的室內(nèi)環(huán)境中，使用隨機(jī)一致采樣方法連續(xù)提取平面時(shí)會(huì)產(chǎn)生過分割，分割出偽平面的現(xiàn)象。Beksi等人[6]基于區(qū)域生長的算法提取分割平面，該方法相對以上兩種方法簡單，但分割過程需要對點(diǎn)云數(shù)據(jù)表面進(jìn)行法線估計(jì)，其消耗大量時(shí)間無法滿足實(shí)時(shí)性的要求，而且對噪聲比較敏感。本文利用區(qū)域生長算法對點(diǎn)云數(shù)據(jù)表面實(shí)時(shí)法線估計(jì)、噪聲敏感等問題進(jìn)行改進(jìn)，達(dá)到平滑點(diǎn)云數(shù)據(jù)，降低噪聲造成的影響，提高法線估計(jì)精度的效果。

1 算法流程

本文從點(diǎn)云數(shù)據(jù)中分割提取平面，主要依據(jù)表面法線估計(jì)，算法主要流程圖如圖1。首先，從KinectV2傳感器中獲取深度圖像和RGB圖像，通過線性變換轉(zhuǎn)換為世界坐標(biāo)中有序的三維點(diǎn)云數(shù)據(jù)。然后，利用積分圖像減少對平滑區(qū)域內(nèi)的像素遍歷，經(jīng)過動(dòng)態(tài)分配權(quán)重平滑點(diǎn)云數(shù)據(jù)進(jìn)行濾波處理，估算點(diǎn)云數(shù)據(jù)表面的法線。最后，利用區(qū)域增長算法對表面法線進(jìn)行分類，分割提取場景中的點(diǎn)云平面。

圖1 點(diǎn)云分割提取平面主流程

分割提取點(diǎn)云平面的精度依賴于法線估計(jì)的結(jié)果，這是本文分割提取點(diǎn)云平面方法的關(guān)鍵。在表面法線估計(jì)的過程中采取以下步驟：首先，選擇被估計(jì)法線點(diǎn)云數(shù)據(jù)的興趣點(diǎn)，并在該興趣點(diǎn)的鄰域內(nèi)找到上、下、左、右四個(gè)相鄰點(diǎn)。然后，我們對這四個(gè)相鄰點(diǎn)采用一個(gè)加權(quán)平均濾波器，以減少噪聲對法線估計(jì)的影響。在濾波的過程中，采用積分圖像來減少像素遍歷的訪問；對需要平滑的區(qū)域，采用動(dòng)態(tài)分配權(quán)重。接著對點(diǎn)云數(shù)據(jù)的四個(gè)相鄰點(diǎn)的位置進(jìn)行平滑濾波，再通過水平方向的左相鄰點(diǎn)和右相鄰點(diǎn)，垂直方向的上相鄰點(diǎn)和下相鄰點(diǎn)分別計(jì)算向量。最終，將水平方向和垂直方向的向量之間的點(diǎn)積，視為興趣點(diǎn)區(qū)域的表面法線。如圖2所示，對室內(nèi)環(huán)境下放置在桌面上的目標(biāo)物體取得分割的效果。

圖2 室內(nèi)桌面物體分割2點(diǎn)云分割提取平面原理

1.1 積分圖像

在估計(jì)表面法線的時(shí)候，使用傳統(tǒng)的方法需要遍歷并計(jì)算濾波器區(qū)域內(nèi)的像素點(diǎn)總和，非常消耗時(shí)間。在實(shí)際應(yīng)用中，服務(wù)機(jī)器人在識別抓取物體的時(shí)候，實(shí)時(shí)性非常關(guān)鍵。本文提出使用積分圖像對獲取的深度圖像進(jìn)行遍歷，避免傳統(tǒng)方法的缺點(diǎn)，可以盡量縮短估計(jì)法線的時(shí)間，達(dá)到實(shí)時(shí)性的效果。積分圖像(integral image)理論由Paul Viola和Michael Jones于2001年提出[7]。如圖3所示，積分圖像中的任意一點(diǎn)(i,j)的值ii(i,j)，表示了原圖像相應(yīng)黑色區(qū)域的灰度值或其平方的總和，即:

圖3 積分圖像原理

(1)

(2)

在等式(1)和(2)中，其(i′,j′)表示原圖像中(i′,j′)點(diǎn)的灰度值或其平方值。而ii(i′,j′)點(diǎn)的值可按照以下4種情況進(jìn)行計(jì)算：

1)當(dāng)i>0,j=0時(shí)：

s(i,j)=p(i,j)

(3)

ii(i,j)=ii(i-1,j)+s(i,j)

(4)

2)當(dāng)i>0,j>0時(shí)：

s(i,j)=s(i,j-1)+p(i,j)

(5)

ii(i,j)=ii(i-1,j)+s(i,j)

(6)

3)當(dāng)i=0,j=0時(shí)：

s(i,j)=p(i,j)

(7)

ii(i,j)=s(i,j)

(8)

4)當(dāng)i=0,j>0時(shí)：

s(i,j)=s(i,j-1)+p(i,j)

(9)

ii(i,j)=s(i,j)

(10)

在計(jì)算一幅圖像所對應(yīng)的積分圖像時(shí)，只需遍歷一次原圖像即可得到。然而，在沒有采用積分圖像的情況下，需要大量地計(jì)算一幅圖像中矩形區(qū)域的灰度值總和，對每一個(gè)矩形區(qū)域內(nèi)的像素進(jìn)行遍歷，導(dǎo)致計(jì)算復(fù)雜度很高。相比之下，在積分圖像的基礎(chǔ)上計(jì)算很方便，它可以避免對區(qū)域內(nèi)像素遍歷，計(jì)算開銷很小。例如，圖4所示窗口E(陰影的灰度值總和)，可以用積分圖像相應(yīng)點(diǎn)A,B,C,D的取值快速計(jì)算出來，即窗口E的灰度值總和等于A+B-(C+D)，且其計(jì)算速度與窗口的大小無關(guān)。

圖4 積分圖像面積

1.2 平滑區(qū)域和權(quán)重分配的調(diào)整

采用消費(fèi)級別的KinectV2傳感器，其精度必然沒有工業(yè)級別圖像傳感器采集數(shù)據(jù)精度高，獲取的深度圖像常伴隨著大量的噪聲，若不進(jìn)行處理，會(huì)對表面法線估計(jì)精度造成很大的影響，從而導(dǎo)致后續(xù)分割提取平面的魯棒性較差。估計(jì)表面法線的精度，很大程度取決于平滑區(qū)域的選擇。在傳統(tǒng)方法中，法線估計(jì)往往選擇固定大小的平滑區(qū)域，而其對深度圖像濾波效果并不理想。而且，在深度圖像中并未考慮其圖像的深度參數(shù)。對深度參數(shù)的忽略，將會(huì)導(dǎo)致隨著深度范圍的增大，表面法線估計(jì)的誤差越來越大。針對這個(gè)問題，本文采用隨著深度的增加，動(dòng)態(tài)地增加平滑區(qū)域的半徑，從而提高表面法線估計(jì)的精度。使用三角網(wǎng)格作為平滑區(qū)域，將平滑的深度范圍固定在1～5米，實(shí)驗(yàn)結(jié)果如圖5所示。

圖5 識別精度半徑平滑

在不同的深度范圍內(nèi)，采用半徑不等的平滑區(qū)域，圖中的曲線顯示了表面法線估計(jì)的精度。在同樣的深度下，使用半徑相等的平滑區(qū)域，獲取的點(diǎn)云數(shù)據(jù)精度越來越低。反之，隨著深度的增加，增大平滑區(qū)域的半徑，在一定范圍內(nèi)其精度越來越高。采用動(dòng)態(tài)地調(diào)整平滑區(qū)域半徑的方法，可以有效地提高識別精度。由于傳感器獲取的數(shù)據(jù)精度有限，雖然盡量提高平滑點(diǎn)云數(shù)據(jù)的精度，但最終將趨于飽和。

然而，采用動(dòng)態(tài)地平滑區(qū)域僅取決于點(diǎn)云數(shù)據(jù)的深度參數(shù)，這樣會(huì)過度平滑物體的邊緣部分，造成物體邊緣部分法線估計(jì)的錯(cuò)誤。為了避免這個(gè)現(xiàn)象，在平滑濾波的時(shí)候，采用權(quán)重分配的方法。具體來說，對不同鄰域的像素進(jìn)行權(quán)重分配，依據(jù)邊緣檢測算子檢測到的邊緣。采用公式(11)，依據(jù)一階導(dǎo)數(shù)檢測到的邊緣，對平滑區(qū)域內(nèi)的深度圖像進(jìn)行權(quán)重分配：

(11)

其中:M(p)代表深度圖像邊緣的梯度，w(p)代表平滑區(qū)域半徑內(nèi)的像素，t代表邊緣步長。然后，再使用閾值th在梯度圖中檢測深度圖像明顯的邊緣。

(12)

用深度圖像中檢測到的邊緣來確定興趣點(diǎn)的每個(gè)相鄰像素的權(quán)重。依據(jù)興趣點(diǎn)在平滑區(qū)域位置的不同，分為如下兩種情況：如果興趣點(diǎn)在圖像的邊緣部分，將平滑較小部分的區(qū)域，而且在邊緣部分的興趣點(diǎn)的平滑區(qū)域權(quán)重設(shè)置為0；如果興趣點(diǎn)不在圖像的邊緣部分，興趣點(diǎn)的平滑區(qū)域權(quán)重設(shè)置較大。

1.3 點(diǎn)云平面分割提取

對點(diǎn)云數(shù)據(jù)表面的像素點(diǎn)(u,v)依據(jù)右手定則計(jì)算其表面法線n(u,v)。將每個(gè)像素點(diǎn)鄰域的相互垂直的矢量之間的叉乘，如等式(13)，視為興趣點(diǎn)區(qū)域的表面法線。

n(u,v)=h(u,v)×v(u,v)

(13)

其中:h(u,v)代表像素點(diǎn)左右鄰域的水平方向矢量，v(u,v)代表像素點(diǎn)上下鄰域的垂直方向矢量。依據(jù)檢測到的邊緣對平滑區(qū)域權(quán)重分配，使用水平方向矢量h(u,v)和垂直方向的矢量v(u,v)，可以計(jì)算出三維點(diǎn)云數(shù)據(jù)表面法向矢量：

hx(u,v)=[Px(u,v+d(u,v))-Px(u,v-d(u,v))]/2

(14)

hy(u,v)=[Py(u,v+d(u,v))-Py(u,v-d(u,v))]/2

(15)

其中：

H1=A(IZ,G,u,v+d(u,v),d(u,v))

(17)

H2=A(IZ,G,u,v+d(u,v),d(u,v))

(18)

vx(u,v)=[Px(u,v+d(u,v),v)-

Px(u,v-d(u,v),v)]/2

(19)

vy(u,v)=[Py(u,v+d(u,v),v)-

Py(u,v-d(u,v),v)]/2

(20)

vz(u,v)=[V1-V2]/2

(21)

其中：

V1=A(IZ,G,u+d(u,v),v,d(u,v))

(22)

V2=A(IZ,G,u-d(u,v),v,d(u,v))

(23)

Px,Py,Pz代表三維有序點(diǎn)云數(shù)據(jù)在笛卡爾坐標(biāo)中的x,y,z的坐標(biāo)值；d(u,v)可代表動(dòng)態(tài)的平滑區(qū)域，由于使用KinectV2獲取數(shù)據(jù)，伴隨著大量的噪聲，可以以提高估計(jì)表面法線的精度；IZ,G代表積分圖像z方向的數(shù)據(jù)。使用積分圖像避免了對平滑區(qū)域的像素遍歷，同時(shí)采用動(dòng)態(tài)地分配權(quán)重得到了點(diǎn)云數(shù)據(jù)的法線數(shù)據(jù)，提高了法線估計(jì)的精度。根據(jù)平面的基本特征，分割提取的平面點(diǎn)云滿足兩個(gè)基本條件：

1)同向性點(diǎn)云數(shù)據(jù)的法線方向一致或夾角小于預(yù)先設(shè)定的閾值。

2)共面性點(diǎn)云數(shù)據(jù)局部擬合平面之間的距離小于預(yù)先設(shè)定的閾值。

依據(jù)估計(jì)法線方向的特點(diǎn)，設(shè)置一定的限制條件，對法線進(jìn)行分類從而提取平面。區(qū)域生長算法是一種圖像分割方法，它將具有某種相似性質(zhì)的像素或體素聚集起來構(gòu)成區(qū)域。其思想是：首先，在感興趣的區(qū)域中找到一個(gè)種子點(diǎn)像素作為生長的起點(diǎn)；其次，將種子像素周圍鄰域中與該種子像素有相同或相似的像素區(qū)域合并到該種子像素所在的區(qū)域中；最后，連續(xù)重復(fù)以上步驟，直到?jīng)]有滿足條件的像素包含進(jìn)去為止。本文針對深度圖像估計(jì)法線的方向的特點(diǎn)，利用區(qū)域生長算法分割點(diǎn)云平面，步驟如下：首先，依據(jù)選擇平面區(qū)域手動(dòng)初始化選者種子點(diǎn)；然后，檢查鄰域像素點(diǎn)周表圍面法線方向的夾角，也就是同向性；其次，設(shè)置鄰域內(nèi)法線方向相似的鄰域?yàn)閮?nèi)點(diǎn)集，也就是共面性；最后，重復(fù)以上步驟，直到?jīng)]有新的種子點(diǎn)集存在。完成區(qū)域生長之后，可以有效地把估計(jì)的法線分類，從而分割提取平面，為下一步的聚類分割與物體識別定位做準(zhǔn)備。

2 測試與結(jié)果分析

用C++實(shí)現(xiàn)了本文平面分割提取算法，運(yùn)行平臺為ubuntu 14.04 64位操作系統(tǒng)，Qt為開發(fā)環(huán)境，主要硬件配置為Inter core i7-6700 CPU及8 G內(nèi)存。采用如圖6所示的Kinect2.0深度傳感器獲取點(diǎn)云數(shù)據(jù)。

圖6 MicrosoftKinect 2.0

2.1 處理速度

為了驗(yàn)證本文基于法線估計(jì)分割算法的有效性，使用了網(wǎng)絡(luò)公共數(shù)據(jù)庫RGB-D數(shù)據(jù)集[8]，選擇同一組點(diǎn)云數(shù)據(jù)進(jìn)行平面分割提取，將本文提出的方法和點(diǎn)云庫算法Point Cloud Library(PCL)[9]中的隨機(jī)采樣一致性(RANSAC)方法和基于優(yōu)化分割(Optimization-Based)方法進(jìn)行對比。上述方法分割提取平面所需計(jì)算處理時(shí)間如下表：

表1 點(diǎn)云分割時(shí)間

從以上表1中可以看出，采用本文提供的方法分割提取平面約600毫秒，比采用Optimization-Based方法快1.5倍左右。此外，采用積分圖像的方式去估計(jì)深度圖像表面法線，計(jì)算所需要的時(shí)間與動(dòng)態(tài)平滑區(qū)域大小無關(guān)。在室內(nèi)環(huán)境中，使用KinectV2采集深度圖像轉(zhuǎn)換為點(diǎn)云數(shù)據(jù)，其深度圖像像素為640×480，對點(diǎn)云數(shù)據(jù)分割提取平面耗時(shí)時(shí)間為1.86秒；采用深度圖像像素為，對點(diǎn)云數(shù)據(jù)分割提取平面耗時(shí)僅為500毫秒左右，可以滿足實(shí)時(shí)性的需求。

2.2 分割精度

本文采用的分割提取平面的方法，主要依賴對點(diǎn)云數(shù)據(jù)表面的法線估計(jì)的精度。例如在圖7中顯示了使用本文對點(diǎn)云數(shù)據(jù)分割提取的方法估計(jì)法線，和基于優(yōu)化分割(Optimization-Based)方法對桌面估計(jì)法線做出的對比。分割該點(diǎn)云數(shù)據(jù)是室內(nèi)桌面擺放物體的場景，場景由深度圖像數(shù)據(jù)經(jīng)過坐標(biāo)變換與RGB圖像對齊，生成的三維點(diǎn)云數(shù)據(jù)。從a)和b)中展示的估計(jì)桌子平面的邊角部分可以看出：基于優(yōu)化分割方法估計(jì)的法線估計(jì)并未垂直桌面，法線方向明顯傾斜。而采用本文方法有效地估計(jì)濾除噪聲的干擾，桌子表面法線垂直于桌面，法線方向平行一致，從而有效地對點(diǎn)云數(shù)據(jù)分割提取平面。從c)和e)中可以看出：基于優(yōu)化分割方法估計(jì)的法線方向不一致性，對點(diǎn)云數(shù)據(jù)表面法線方向估計(jì)的誤差較大，下一步基于區(qū)域生長算法對估計(jì)的法線的方向進(jìn)行分類，造成點(diǎn)云數(shù)據(jù)平面過分割現(xiàn)象。從c)和e)中可以看出：使用動(dòng)態(tài)的分配權(quán)重去平滑點(diǎn)云數(shù)據(jù)，對桌面上的物體與桌面之間實(shí)現(xiàn)了較好的分割效果，尤其對整個(gè)平面的提取。

圖7 實(shí)驗(yàn)結(jié)果

圖7中，(a)、(c)為基于優(yōu)化分割方法的法線估計(jì)；(b)、(d)為基于本文方法的法線估計(jì)；(e)、(f)為依據(jù)法線方向區(qū)域生長分割效果圖。

3 結(jié)論

本文提出了一種針對室內(nèi)環(huán)境下能夠從三維有序點(diǎn)云數(shù)據(jù)中高效、實(shí)時(shí)分割提取平面的方法，并且就如何提高實(shí)時(shí)性、準(zhǔn)確性展開研究。針對消費(fèi)級別的傳感器獲取的點(diǎn)云數(shù)據(jù)進(jìn)行處理，采用積分圖像降低法線估計(jì)時(shí)間，使用動(dòng)態(tài)地分配權(quán)重的方法平滑點(diǎn)云數(shù)據(jù)的噪聲。測試實(shí)驗(yàn)表明，對像素為的深度圖像，分割提取平面耗時(shí)時(shí)間僅為1.86秒左右，完全滿足室內(nèi)服務(wù)機(jī)器人對物體的識別與定位的需求，有助于實(shí)現(xiàn)家庭環(huán)境下服務(wù)機(jī)器人的物體抓取，對促進(jìn)服務(wù)機(jī)器人進(jìn)入家庭具有實(shí)際意義。

參考文獻(xiàn)：

[1] 薛彥濤,呂洪波,孫啟國. 基于Kinect深度數(shù)據(jù)的移動(dòng)機(jī)器人障礙檢測方法研究[J]. 計(jì)算機(jī)測量與控制, 2017, 61-63.

[2] Li L, Yang F, Zhu H, et al. An Improved RANSAC for 3D Point Cloud Plane Segmentation Based on Normal Distribution Transformation Cells[J]. Remote Sensing, 2017, 9(5).

[3] Ambrus R, Claici S, Wendt A. Automatic Room Segmentation from Unstructured 3D Data of Indoor Environments[J]. IEEE Robotics & Automation Letters, 2017, PP(99):1-1.

[4] Nguyen A,Le B. 3d Point Cloud Segmentation: a Survey[A].Robotics, Automation and Mechatronics (ram), 2013 6th IEEE Conference on[C]. IEEE, 2013: 225-230.

[5] Tarsha-kurdi F,Landes T,Grussenmeyer P, et al. Model-driven and Data-driven Approaches Using LidarData:Analysis and Comparison[A].Isprs Work shop, Photogrammetric Image Analysis[C]. 2007: 87-92.

[6] Beksi W J, Papanikolopoulos N. 3D region segmentation using topological persistence[A].IEEE/RSJ International Conference on Intelligent Robots and Systems[C]. IEEE, 2016:1079-1084.

[7] Viola P,Jones M. Rapid Object Detection Using a Boosted Cascade of Simple Features[A].Computer Vision and Pattern Recognition, 2001. Cvpr 2001. Proceedings of the 2001 IEEE Computer Society Conference on: IEEE[C]. 2001: 0-0.

[8] Lai K,Bo L,Ren X, et al. A Large-scale Hierarchical Multi-view Rgbd Object Dataset[A].IEEE Intern ational Confe-rence on Robotics and Automation[C]. 2011: 1817-1824.

[9] Miknis M, Davies R, Plassmann P, et al. Efficient Point Cloud Pre-processing using The Point Cloud Library[J]. International Journal of Image Processing, 2016, 10(2): 63.