吳登祿 曹文希 朱穎

基于三維點(diǎn)云和圖像邊緣的托盤檢測技術(shù)研究

吳登祿1,2曹文希1,2朱穎1,2

（1.順豐科技有限公司 2.物流機(jī)器人技術(shù)與應(yīng)用工程研究中心）

以自動叉車為研究對象，針對叉車的具體運(yùn)動約束和實(shí)際使用場景，提出一種結(jié)合圖像邊緣和深度信息的點(diǎn)云匹配技術(shù)來解決末端載具檢測及定位問題，相比其他僅從三維點(diǎn)云定位的技術(shù)，具有較強(qiáng)的檢測魯棒性和定位準(zhǔn)確性，同時具有可擴(kuò)展性。

點(diǎn)云匹配；托盤檢測；叉車定位

0 引言

隨著物流業(yè)的快速發(fā)展，勞動力的需求也不斷增長。根據(jù)物流業(yè)高強(qiáng)度和高重復(fù)性的勞動特點(diǎn)，采用機(jī)器人完成勞動成為趨勢。具有自主導(dǎo)航能力的機(jī)器人在物流運(yùn)輸和倉儲管理行業(yè)具有重要作用。依靠地圖定位算法，機(jī)器人可精確地在場地內(nèi)運(yùn)動。此外，自動識別裝載目標(biāo)，對于叉車無人化是不可或缺的能力。本文主要針對目前主流的叉車，研究一種適用于倉庫的無人叉車精確托盤定位技術(shù)。

無人叉車定位技術(shù)在學(xué)術(shù)界得到多年關(guān)注[1]，并已在工業(yè)領(lǐng)域廣泛應(yīng)用。目前，針對無人叉車定位技術(shù)主要研究全局定位技術(shù)，如依賴于稠密激光點(diǎn)云地圖和稀疏反光板定位技術(shù)、基于軌道巡線或磁條定位技術(shù)等。托盤定位因?yàn)榫纫蟾哂谌侄ㄎ唬椅恢脽o法提前在地圖固定標(biāo)記等問題而有別于全局定位。針對上述問題，已有不同的解決方案，如激光托盤定位方案、激光和圖像結(jié)合方案[2]等。

針對托盤定位問題，本文采用基于3D深度傳感器的方案。相比激光方案，3D深度傳感器可以節(jié)約成本；同時由于3D深度傳感器獲取的點(diǎn)云相對激光更加稠密，魯棒性更高。與巡線技術(shù)和磁條技術(shù)相比，3D深度傳感器不需要對場地進(jìn)行改造，降低成本的同時提高了部署的靈活性。另外，目前在市場上已經(jīng)量產(chǎn)的3D深度傳感器Kinect、Real-Sense和Astra等，所提供的稠密三維點(diǎn)云數(shù)據(jù)在測量距離和精度方面能滿足托盤定位的要求。本文參考工業(yè)機(jī)械臂識別和抓取物體的算法，利用點(diǎn)云匹配技術(shù)為叉車提供近距離的托盤位姿信息。

1 檢測方法

1.1 三維點(diǎn)云匹配問題描述

傳感器安裝于叉車的固定位置，其獲取的托盤測量點(diǎn)云坐標(biāo)可通過叉車位姿和傳感器外參確定。隨著叉車在空間移動，通過觀測點(diǎn)云在不同時刻坐標(biāo)的變化，能夠間接地求出叉車相對托盤的運(yùn)動。在相機(jī)外參已知的情況下，托盤定位問題可等價于點(diǎn)云運(yùn)動估計(jì)，常用的方法是點(diǎn)云匹配技術(shù)。

其中N是維點(diǎn)集的個數(shù)。

其中,w 描述模型點(diǎn)m 與測量點(diǎn)d之間的匹配關(guān)系。當(dāng)二者為匹配點(diǎn)時w =1；否則w =0。

1.2 匹配問題求解

解決匹配問題常用的方法：先給定相似變換參數(shù)的初始估計(jì)值；再迭代優(yōu)化。與通常的迭代法類似，求解匹配問題容易陷入局部最小值而無法得到最優(yōu)參數(shù)估計(jì)，因此初始值決定了最終點(diǎn)云匹配效果。為盡量得到合適的初始估計(jì)值，研究學(xué)者關(guān)注于設(shè)計(jì)區(qū)分度高的特征描述子來編碼點(diǎn)云領(lǐng)域信息，從而使這些特征區(qū)域能夠在全局被有效地搜索和匹配。利用合適的特征描述子，點(diǎn)云匹配問題的求解步驟：

1）分別對模型點(diǎn)集和測量點(diǎn)集提取特征點(diǎn)、計(jì)算描述子；

2）根據(jù)特征點(diǎn)的三維位置和描述子信息，估計(jì)每個測量點(diǎn)在模型點(diǎn)集的匹配點(diǎn)，并根據(jù)所有匹配點(diǎn)估計(jì)模型和測量數(shù)據(jù)整體之間的相似變換關(guān)系；

3）考慮到測量誤差，測量點(diǎn)集和模型間可能出現(xiàn)誤匹配，利用重復(fù)采樣、估算和驗(yàn)證的方式來排除粗差；

4）利用排除誤匹配后的數(shù)據(jù)重新估算相似變換。

3D點(diǎn)云特征描述子包括從2D圖像特征描述遷移到點(diǎn)云的算法，如SIFT和FAST；另外還有點(diǎn)特征直方圖描述子（PFH）和其加速版本（FPFH）[3]。

PFH基于中心點(diǎn)與鄰域之間的法線關(guān)系。在中心點(diǎn)半徑為的圓球內(nèi)部選取個相鄰點(diǎn)，彼此構(gòu)成相互連接，PFH計(jì)算每個連接兩點(diǎn)間的法線偏差，并在其中一點(diǎn)建立一個局部坐標(biāo)系，描述如下：

其中，s為中心點(diǎn)p的法向量；p為鄰點(diǎn)坐標(biāo)。

坐標(biāo)系兩點(diǎn)法線的偏差可通過3個角度來描述：

結(jié)合3個垂線偏角以及距離，PFH將每個領(lǐng)域點(diǎn)對描述為四元特征。同時，PFH特征描述將特征范圍劃分為多個子區(qū)間，再統(tǒng)計(jì)落在每個子區(qū)間內(nèi)的點(diǎn)數(shù)分布作為最終PFH描述。為減少PFH的運(yùn)算量，F(xiàn)PFH算法只關(guān)注中心點(diǎn)與每個領(lǐng)域點(diǎn)之間的垂線關(guān)系，而不是領(lǐng)域內(nèi)部每對點(diǎn)間的關(guān)系。同時，F(xiàn)PFH用每個領(lǐng)域點(diǎn)各自計(jì)算得到的特征直方圖做加權(quán)平均，簡化計(jì)算的同時保證結(jié)果接近PFH描述子。

PFH和FPFH都是基于局部點(diǎn)云的統(tǒng)計(jì)信息來編碼中心點(diǎn)，這些算法在點(diǎn)云稀疏或照射物體表面幾何曲率變化較小時，無法得到有效的特征描述。為此，PPF算法[4]提出一種描述全局表面曲率變化信息的算法來解決局部描述子在弱紋理和簡單表面區(qū)域匹配效果差的問題。另一個解決此問題的方法是結(jié)合圖像信息來彌補(bǔ)點(diǎn)云幾何信息的不足。單純的圖像模板匹配技術(shù)適用于弱紋理區(qū)域，且具有一定的魯棒性，如Chamfer匹配法和Haussdorf距離法[4]。它們僅依賴圖像邊緣信息，容易隨著光照和背景的改變而變化。相比之下，Linemod算法[5]同時考慮了3D物體表面法向量和2D圖像梯度信息，在點(diǎn)云匹配中有較好表現(xiàn)。

考慮特征描述子（PPF）算法和Linemod算法的各自優(yōu)點(diǎn)，本文提出一種結(jié)合圖像局部紋理和3D點(diǎn)云全局曲率變化信息的方法來解決點(diǎn)云匹配問題，并將PPF描述子由4維擴(kuò)展到7維，增加了圖片像素中的RGB信息，描述如下：

2 實(shí)驗(yàn)

本文算法的代碼基于OpenCV和PCL開源庫編寫，測試平臺硬件配置了16 G內(nèi)存+i7處理器。首先采用手持Astra標(biāo)準(zhǔn)版深度相機(jī)連接到筆記本在不同位置錄制托盤數(shù)據(jù)，選取一組作為參考數(shù)據(jù)錄制為匹配模板，另一組模擬叉車運(yùn)動；然后根據(jù)本文匹配算法估算二者點(diǎn)云的位姿變換；最后根據(jù)估計(jì)的位姿變換將兩組點(diǎn)云投影到同一坐標(biāo)系作對比。

為提高運(yùn)算速度和提高匹配效果，本文在識別算法前增加了預(yù)處理，如圖1所示。

圖1 點(diǎn)云預(yù)處理流程

首先，利用多分辨率降采樣點(diǎn)云以提高ICP匹配效率。點(diǎn)云從低分辨率開始匹配，并利用低分辨率匹配得到的結(jié)果作為更高精度的分辨率點(diǎn)云匹配的初始值，可減少ICP的迭代次數(shù)。這樣不僅減少算法運(yùn)行時間，同時還減弱初值對ICP算法的影響。

最后，在點(diǎn)云匹配前對點(diǎn)云進(jìn)行Euclidean Cluster聚類分割。由于托盤只允許在近距離、無障礙物的條件下插取，可只選取深度方向最小的聚類為目標(biāo)點(diǎn)云，提高點(diǎn)云匹配準(zhǔn)確度。

3 結(jié)果分析

實(shí)驗(yàn)結(jié)果如圖3所示。其中右側(cè)黑點(diǎn)為錄制的參考托盤點(diǎn)云，左側(cè)黑點(diǎn)為模擬運(yùn)動中叉車所觀測到的托盤點(diǎn)云；灰白點(diǎn)為根據(jù)點(diǎn)云匹配得到的位姿變換將參考托盤點(diǎn)云投影到叉車觀測坐標(biāo)系的結(jié)果。由圖3可知，左側(cè)黑點(diǎn)和灰白點(diǎn)幾乎完全重合，這表明估算的叉車位姿精度較高，算法能夠通過測量點(diǎn)云的位姿變換估算叉車相對托盤的位姿，從而為叉車控制模塊提供引導(dǎo)數(shù)據(jù)。

圖2 托盤圖像和點(diǎn)云圖

圖3 托盤點(diǎn)云匹配結(jié)果

4 結(jié)論

針對倉儲自動叉車托盤定位問題，本文使用3D深度相機(jī)并設(shè)計(jì)相應(yīng)的點(diǎn)云匹配算法來估算托盤與叉車的相對位姿，并將PPF描述子拓展到7維來提高對弱紋理表面的點(diǎn)云匹配效率。實(shí)驗(yàn)表明，本文提出的算法在近距離范圍內(nèi)能有效定位托盤，比單純采用點(diǎn)云的幾何信息定位具備更高的魯棒性。

[1] Bostelman R, Tsai H, Chang T. 2006 Visualization of pallets Intelligent Robots and Computer Vision XXIV: Algorithms, Techniques, and Active Vision (October 2006) Proc[J]. SPIE , 2006: 89-101.

[2] Baglivo L, Biasi N, Biral F, et al. Autonomous pallet localization and picking for industrial forklifts: a robust range and look method[J]. Measurement Science and Technology, 2011, 22: 85502.

[3] Rusu R B, Marton Z C, Blodow N, et al. Learning Informative Point Classes for the Acquisition of Object Model Maps[C]. In Proceedings of the 10thInternational Conference on Control, Automation, Robotics and Vision (ICARCV) 2008, 2008:123.

[4] Hinterstoisser S, Lepetit V, Rajkumar N, et al. Going Further with Point Pair Features in Proceedings European Conference on Computer Vision 2016[C]. Netherlands, 2016: 834.

[5] Huttenlocher D, Klanderman G, Rucklidge W. Comparing Images Using the Hausdorff Distance[J]. In IEEE Transactions on Pattern Analysis and Machine Intelligence, 1993,15: 850.

Research on Pallet Detection Technology Based on 3D Point Cloud and Image Edge Features

Wu Denglu1,2Cao Wenxi1,2ZhuYing1,2

(1.SF Technology Co., Ltd. 2. Research Center of Logistics Robot Technology and Application Engineering)

This paper suggests a pallet detection algorithm based on 3D point cloud and image edge features for auto forklifts application with considering its motion constrain and the practical usage situation. It has better detection robust and location accuracy comparing to other method only rely on 3D point cloud, and it can extend itself further.

Point Cloud Match; Pallets Detection; Forklifts Location

吳登祿，男，1983年生，博士研究生，主要研究方向：圖像處理與機(jī)器學(xué)習(xí)。E-mail: wdlcas@gmail.com

曹文希，男，1986年生，碩士研究生，主要研究方向：圖像處理。

朱穎，男，1985年生，碩士研究生，主要研究方向：圖像處理。