李少飛，史澤林，莊春剛

（上海交通大學(xué)機(jī)械與動(dòng)力工程學(xué)院，上海 200240）

0 概述

散亂場景中的三維物體拾取是機(jī)器人操作中的一類經(jīng)典問題，利用機(jī)械臂將箱子中無序擺放、堆疊的物體取出對機(jī)器人實(shí)現(xiàn)自動(dòng)化具有重要意義。該問題的難點(diǎn)在于散亂堆疊的物體之間存在大量的遮擋，這不僅影響了對物體的識別，而且使得拾取過程中的碰撞檢測更加復(fù)雜。物體六維位姿識別是散亂場景中三維物體拾取的重點(diǎn)和難點(diǎn)。近年來，深度學(xué)習(xí)技術(shù)在六維位姿估計(jì)任務(wù)中得到廣泛應(yīng)用。文獻(xiàn)［1-3］根據(jù)RGB 數(shù)據(jù)對紋理豐富的物體實(shí)例進(jìn)行六維位姿估計(jì)。文獻(xiàn)［4］擴(kuò)展二維目標(biāo)檢測器，提出一種基于分類離散視點(diǎn)的旋轉(zhuǎn)位姿估計(jì)方法，但該方法僅預(yù)測真實(shí)姿態(tài)的粗略離散近似值，為達(dá)到更好的效果，還需對輸出結(jié)果進(jìn)行位姿細(xì)化。文獻(xiàn)［5］先將RGB 圖像在2 個(gè)網(wǎng)絡(luò)中進(jìn)行由粗到細(xì)的分割，再將分割結(jié)果反饋給第3 個(gè)網(wǎng)絡(luò)得到待檢測目標(biāo)邊界框點(diǎn)的投影，最終利用PnP 算法估計(jì)六維位姿，但該方法由于將網(wǎng)絡(luò)分為多個(gè)階段，因此導(dǎo)致運(yùn)行時(shí)間非常長。文獻(xiàn)［6］針對通過CNN 檢測二維關(guān)鍵點(diǎn)并利用PnP 回歸六維位姿的方法在遮擋和截?cái)鄻颖局写嬖诘膯栴}進(jìn)行改進(jìn)，對于每一個(gè)像素計(jì)算一個(gè)指向二維關(guān)鍵點(diǎn)的方向向量，并通過投票策略得到魯棒的二維關(guān)鍵點(diǎn)，減少了物體局部缺失對位姿估計(jì)的影響。文獻(xiàn)［7］通過訓(xùn)練獲取輸入RGB 圖像的六維隱變量表示，然后在數(shù)據(jù)庫中查找和其最相近的位姿作為估計(jì)結(jié)果。然而，在低紋理的情況下，僅通過RGB 信息估計(jì)的六維位姿準(zhǔn)確率較低。文獻(xiàn)［8-10］將RGB 信息和深度信息相結(jié)合估計(jì)目標(biāo)的六維位姿。文獻(xiàn)［11-12］均是利用CNN 學(xué)習(xí)特定的描述子進(jìn)行目標(biāo)檢測和六維位姿估計(jì)。從RGB-D圖像進(jìn)行六維目標(biāo)位姿估計(jì)的關(guān)鍵是充分利用兩個(gè)互補(bǔ)的數(shù)據(jù)源，文獻(xiàn)［13］提出一種新的稠密融合網(wǎng)絡(luò)，該網(wǎng)絡(luò)將分別處理后的兩種數(shù)據(jù)源進(jìn)行像素級別的特征嵌入，從而估計(jì)出物體的六維位姿。

近幾年，基于深度學(xué)習(xí)的六維位姿估計(jì)方法多數(shù)將RGB 圖和深度圖作為輸入。然而，一個(gè)物體處于不同的位姿卻有著相似的二維圖像這一現(xiàn)象是很常見的，這限制了基于二維圖像的位姿估計(jì)的準(zhǔn)確率。在一些工業(yè)應(yīng)用中，為了獲取完整場景、高精度的三維信息，通常會采用三維掃描儀獲取場景點(diǎn)云，而有些掃描儀由于成像原理不同，不能獲取RGB 圖和深度圖。隨著傳感器技術(shù)的發(fā)展，獲取三維點(diǎn)云的速度得到了大幅提升，這使得基于點(diǎn)云研究的實(shí)時(shí)性得到了保障。因此，基于點(diǎn)云的物體六維位姿估計(jì)引起了研究人員的關(guān)注。DROST 等［14-15］提出基于物體點(diǎn)對特征（Point Pair Feature，PPF）的位姿估計(jì)算法及其變體算法，并將其成功應(yīng)用于工業(yè)機(jī)器人分揀任務(wù)，然而此類算法的局限性在于：一方面，如果模板點(diǎn)云和場景點(diǎn)云的采樣疏密程度不一致，將難以發(fā)現(xiàn)相似點(diǎn)對特征，從而導(dǎo)致匹配錯(cuò)誤；另一方面，出現(xiàn)了一些先分割后配準(zhǔn)的算法，將點(diǎn)云進(jìn)行聚類分割后，利用點(diǎn)云配準(zhǔn)的流程得到物體的位姿［16］，但是此類算法計(jì)算量大，且在堆疊嚴(yán)重的場景中表現(xiàn)較差。在深度學(xué)習(xí)領(lǐng)域，QI 等［17］基于對稱函數(shù)思想，將原始點(diǎn)云輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練實(shí)現(xiàn)分類和分割任務(wù)，并在網(wǎng)絡(luò)中加入分層多尺度特征學(xué)習(xí)［18］，該方法相比已有方法在精度上有了顯著提升。之后研究人員將該方法應(yīng)用于自動(dòng)駕駛的目標(biāo)檢測提出F-PointNet［19］，F(xiàn)-PointNet 雖然在一定程度上解決了三維目標(biāo)檢測問題，但是激光雷達(dá)獲得的點(diǎn)云是稀疏和不規(guī)律的，在自動(dòng)駕駛場景中的物體也鮮有遮擋的情況，并且包圍框的位姿也僅考慮垂直于地面的旋轉(zhuǎn)，這與散亂場景中堆疊的工件有很大的差別，因此此類方法的實(shí)用性不強(qiáng)。

針對現(xiàn)有點(diǎn)云位姿估計(jì)方法計(jì)算量較大且在復(fù)雜場景中結(jié)果魯棒性較差的問題，本文提出基于深度學(xué)習(xí)的物體點(diǎn)云六維位姿估計(jì)方法，將三維點(diǎn)云映射到二維平面，生成深度特征圖和法線特征圖，提取位姿特征。

1 數(shù)據(jù)集生成

1.1 工業(yè)零件建模

現(xiàn)有基于深度學(xué)習(xí)的六維位姿估計(jì)方法多數(shù)是在已有的LINEMOD、OCCLUSION 等數(shù)據(jù)集上進(jìn)行測試。但是，由于工業(yè)零件的特殊性，在這些數(shù)據(jù)集上測試效果很好的神經(jīng)網(wǎng)絡(luò)并不能適用于一些低紋理的機(jī)械零件，因此本文提出了一種用于工業(yè)零件位姿估計(jì)的數(shù)據(jù)集生成方法。

在對數(shù)據(jù)集進(jìn)行標(biāo)簽標(biāo)注時(shí)，點(diǎn)云的標(biāo)簽標(biāo)注相比二維圖像標(biāo)注更加困難。每訓(xùn)練一個(gè)新的工件，如果用真實(shí)點(diǎn)云生成數(shù)據(jù)集，則工作量會非常巨大，因此在仿真環(huán)境下生成數(shù)據(jù)集用于訓(xùn)練是很有必要的。文獻(xiàn)［20］考慮了環(huán)境光反射的影響，利用Unity3D 游戲引擎生成散亂堆疊場景的深度圖數(shù)據(jù)集。文獻(xiàn)［21］利用Blender API 將提前建好的日常用品的三維模型放入仿真環(huán)境，設(shè)置模型初始位姿，并通過重力掉落以及剛體碰撞模擬真實(shí)環(huán)境。上述仿真方法均能達(dá)到較好的效果，但是所仿真模型的幾何結(jié)構(gòu)都是類似于圓柱體、立方體等簡單的模型，而對于一些復(fù)雜的工件，首先建模精確度較低，其次仿真會出現(xiàn)穿模現(xiàn)象。

本文對文獻(xiàn)［21］所采用的物理仿真方法進(jìn)行改進(jìn)，在Blender API 中根據(jù)模型紋理、矩形包絡(luò)、球包絡(luò)等方式選擇物理的碰撞類型?；谀Ｐ图y理的物理仿真方法會在模型面數(shù)較多時(shí)出現(xiàn)計(jì)算復(fù)雜度高的問題，從而引起穿模，而基于矩形包絡(luò)、球包絡(luò)等的物理仿真方法雖然可以避免模型之間產(chǎn)生穿?，F(xiàn)象，但是模型形狀的簡化會使工件之間的堆疊不能反映真實(shí)場景中的碰撞堆疊效果。因此，本文首先利用高精度的三維掃描儀，拍攝工件多個(gè)角度的三維點(diǎn)云并進(jìn)行配準(zhǔn)，得到工件的完整點(diǎn)云；接著采用貪婪投影三角法進(jìn)行曲面重建，得到復(fù)雜工業(yè)零件的精確模型，如圖1（a）所示。為了盡可能減少模型面數(shù)從而減少仿真計(jì)算量，并保證物理碰撞盡可能與真實(shí)場景相似，本文對每一個(gè)特定的工業(yè)零件，實(shí)心化對物理碰撞不會產(chǎn)生影響的局部區(qū)域，而對于產(chǎn)生碰撞的區(qū)域，使用相對簡單的形狀進(jìn)行包絡(luò)擬合，如圖1（b）所示。在圖1 中，本文采用的4 種工件從上到下依次為軸承座1、軸承座2、連桿和榔頭。

圖1 精確模型與簡化模型Fig.1 Exact model and simplified model

1.2 基于物理仿真的數(shù)據(jù)集生成

本文數(shù)據(jù)集生成的步驟如下：1）將多個(gè)簡化的工件模型預(yù)設(shè)置隨機(jī)位姿并置于環(huán)境上方；2）工件依靠重力下落，基于模型紋理產(chǎn)生碰撞散亂堆疊在相機(jī)視野下，然后渲染得到每個(gè)工件的掩碼與之后生成的深度圖對應(yīng)得到點(diǎn)云的類別標(biāo)簽；3）在獲取堆疊工件位姿后，在Bullet 中用重建的精確點(diǎn)云模型代替簡化模型，渲染得到深度圖，進(jìn)而獲得散亂場景的點(diǎn)云，如圖2 所示。這樣就可以使得仿真生成的散亂堆疊工件的點(diǎn)云以及工件之間的碰撞效果和真實(shí)場景盡可能相似，防止由于模型面數(shù)過多造成穿模問題。由于Blender 中的工件在世界坐標(biāo)系下的坐標(biāo)變換為因此需要將其轉(zhuǎn)換到相機(jī)坐標(biāo)系下，已知相機(jī)在世界坐標(biāo)系下的坐標(biāo)變換為則工件在相機(jī)坐標(biāo)系下的六維位姿為：

圖2 散亂場景的點(diǎn)云仿真Fig.2 Simulation of point clouds in scattered scene

2 基于深度學(xué)習(xí)的點(diǎn)云位姿估計(jì)方法

直接將學(xué)習(xí)得到的原始點(diǎn)云特征輸入全連接層進(jìn)行訓(xùn)練可以達(dá)到很好的分類效果［17-18］，但對于六維位姿估計(jì)效果并不理想，因?yàn)橛?xùn)練得到的全局特征和每個(gè)點(diǎn)的局部特征更多的是表現(xiàn)該工件的類別特征，而用于估計(jì)六維位姿的局部表面特征和幾何特征并未進(jìn)行有效提取，僅依靠神經(jīng)網(wǎng)絡(luò)本身參數(shù)的調(diào)整和訓(xùn)練效果較差。另外，神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)輸入維度需要保持一致，而從場景分割得到的單個(gè)點(diǎn)云的點(diǎn)數(shù)是不確定的，為了使其能夠輸入網(wǎng)絡(luò)，需要采樣成固定點(diǎn)數(shù)，這會使得工件點(diǎn)云變得稀疏，從而損失一定的特征。近年來研究人員提出了許多成熟的處理二維圖像的深度學(xué)習(xí)方法，因此本文將三維點(diǎn)云映射到二維平面，生成深度特征圖和法線特征圖并提取位姿特征，不僅保證了網(wǎng)絡(luò)輸入維度一致，而且大幅提高了基于點(diǎn)云的位姿估計(jì)準(zhǔn)確率。

2.1 點(diǎn)云二維深度特征生成

在位姿估計(jì)前，本文利用ASIS 方法［22］對散亂場景的點(diǎn)云進(jìn)行分割預(yù)處理。對于每一個(gè)分割后的單個(gè)工件點(diǎn)云，計(jì)算其xyz坐標(biāo)的平均值xm、ym、zm，記為點(diǎn)云的中心，并將點(diǎn)云中心移動(dòng)到相機(jī)坐標(biāo)系原點(diǎn)，如圖3中A 所示，記為tO=(-xm，-ym，-zm)T并得到：

圖3 點(diǎn)云二維特征生成Fig.3 2D feature generation of point clouds

將點(diǎn)云平移到坐標(biāo)原點(diǎn)附近可以有效減小圖像尺寸，使樣本點(diǎn)所占二維圖像的比例盡可能大，增加圖像特征的顯著度。點(diǎn)云到二維圖像的具體映射方法為：1）設(shè)定分辨率及寬度方向的像素個(gè)數(shù)，按照圖像寬高尺寸的比例設(shè)定高度方向的像素個(gè)數(shù)；2）將點(diǎn)投影到圖像中時(shí)，會出現(xiàn)一個(gè)像素中存在多個(gè)點(diǎn)的情況，此時(shí)僅保留z值最小的點(diǎn)，該點(diǎn)離觀測視野最近，識別度最高；3）由于二維圖像是單通道的灰度圖，因此得到點(diǎn)像素的灰度值為：

由于設(shè)定的分辨率不同，因此每個(gè)像素包含點(diǎn)的數(shù)量也會發(fā)生變化，而二維圖像的特征也會有所差別。圖4 給出了在不同分辨率下工件僅通過二維深度特征進(jìn)行位姿估計(jì)的準(zhǔn)確率?？梢钥闯觯直媛蕪钠鹗嫉?0 像素×80 像素時(shí)，位姿估計(jì)的準(zhǔn)確率提升得很快，再提高分辨率時(shí)，位姿估計(jì)準(zhǔn)確率的提升開始減緩，并且約在100 像素×100 像素時(shí)達(dá)到最大，此時(shí)進(jìn)一步提高分辨率，準(zhǔn)確率開始緩慢下降。由于分辨率過大或者過小都會造成點(diǎn)云二維特征不夠明顯，因此在實(shí)驗(yàn)階段，本文將特征圖的分辨率設(shè)置為峰頂處的100 像素×100 像素。同時(shí)，本文工件的尺寸設(shè)置為10～20 cm，如果物體尺寸大于實(shí)驗(yàn)采用的工件尺寸，可以適當(dāng)提高分辨率，反之亦然。筆者認(rèn)為應(yīng)謹(jǐn)慎降低特征圖的分辨率，因?yàn)閺膶?shí)驗(yàn)結(jié)果可以看出，過大的分辨率對實(shí)驗(yàn)結(jié)果的影響遠(yuǎn)小于過小的分辨率。

圖4 不同分辨率下位姿估計(jì)的準(zhǔn)確率Fig.4 Accuracy of pose estimation at different resolutions

2.2 點(diǎn)云二維法線特征生成

點(diǎn)云生成的二維深度特征能夠有效提取出工件的幾何特征，但是一些不同的工件或者一個(gè)工件的不同局部投影到二維平面，有可能呈現(xiàn)類似的形狀，即使深度不一致，也會影響最終的估計(jì)結(jié)果。如圖5（a）、圖5（b）所示，軸承座2 的正反面投影到二維平面會產(chǎn)生上述問題。而點(diǎn)云法線作為點(diǎn)云的一種重要的幾何屬性，已廣泛應(yīng)用于特征點(diǎn)檢測、三維重建、薄板正反面區(qū)分等場景。傳統(tǒng)位姿估計(jì)算法的點(diǎn)對特征［14］就是運(yùn)用兩點(diǎn)的法線特征構(gòu)建特征算子，而近年來許多基于點(diǎn)云分類分割的深度學(xué)習(xí)研究［17-18］也將點(diǎn)云的表面法線作為點(diǎn)云的額外信息輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，經(jīng)過實(shí)驗(yàn)證明，分割準(zhǔn)確度有了明顯提升。因此，本文類比二維深度特征圖的生成方式生成點(diǎn)云的二維法線特征圖，用于增加二維特征的區(qū)分度，即使不同位姿樣本的二維深度圖相似，最終的位姿估計(jì)結(jié)果也不會產(chǎn)生誤匹配的情況。

在將點(diǎn)云投影到二維平面生成的深度特征圖前，利用Open3D 庫計(jì)算點(diǎn)云的法線，這樣二維深度特征圖中任意點(diǎn)像素都會包含這個(gè)點(diǎn)的深度值及其法線。將各點(diǎn)的三維法線特征和深度值分離，即可得到二維法線特征圖。本文思想是將法線特征和深度特征分成兩條支路，各自學(xué)習(xí)對應(yīng)的特征，最終將網(wǎng)絡(luò)學(xué)到的特征信息進(jìn)行融合輸出六維位姿。在二維法線特征圖生成的過程中存在兩方面的問題。一方面，通過上述方法計(jì)算出的法線并沒有經(jīng)過全局定向，這會極大地影響模型對工件位姿的訓(xùn)練。本文將所有法線的方向統(tǒng)一至與z軸負(fù)方向呈小于90°的夾角，解決了全局定向的問題，將二維法線特征圖中計(jì)算得到的法線以及該像素緩存的三維點(diǎn)還原成空間點(diǎn)云，可以看到法線的取向是統(tǒng)一的，如圖5（c）、圖5（d）所示。另一方面，在二維法線特征計(jì)算的過程中引入了分割后的噪聲，特別是在工件的邊緣位置處，法線的估計(jì)會因?yàn)樵肼暜a(chǎn)生很大的誤差，因此本文在實(shí)驗(yàn)部分將噪聲對位姿估計(jì)結(jié)果的影響進(jìn)行實(shí)驗(yàn)驗(yàn)證。

圖5 軸承座2 的正反面及其點(diǎn)云法線Fig.5 Front and back sides and their point cloud normals of bearing pedestal 2

2.3 特征融合網(wǎng)絡(luò)

本文提出的特征融合網(wǎng)絡(luò)框架如圖6 所示。特征融合網(wǎng)絡(luò)主要包括：1）二維深度特征提取，將點(diǎn)云映射為二維深度特征圖，經(jīng)過預(yù)處理后輸入resnet50 預(yù)訓(xùn)練模型進(jìn)行預(yù)訓(xùn)練，每個(gè)樣本得到2 048 維特征，經(jīng)過多個(gè)全連接層后得到256 維特征；2）二維法線特征提取，投影生成二維法線特征圖后，經(jīng)過多個(gè)卷積層得到通道數(shù)為1 024的特征圖，通過多個(gè)卷積核為2×2 與5×5的卷積層得到通道數(shù)為1 024 的特征圖，并經(jīng)過最大池化處理平鋪生成1 024 維的全連接層，之后分為2 個(gè)支路經(jīng)過全連接層分別得到256 維特征，該網(wǎng)絡(luò)采用Relu激活函數(shù)；3）將二維深度特征提取過程中得到的特征分別于二維法線特征提取過程中的兩條支路進(jìn)行特征拼接，經(jīng)過多個(gè)全連接層后，兩支路分別得到三維特征和四維特征，代表工件位姿的xyz值以及表示旋轉(zhuǎn)的四元數(shù)，將四元數(shù)轉(zhuǎn)換為旋轉(zhuǎn)矩陣后即可得到4×4 的六維位姿矩陣。

圖6 特征融合網(wǎng)絡(luò)框架Fig.6 Framework of feature fusion network

2.4 損失函數(shù)

在基于深度學(xué)習(xí)的位姿回歸中，常見的一種損失函數(shù)是計(jì)算使用真實(shí)位姿回歸得到的點(diǎn)云和使用估計(jì)位姿回歸得到的點(diǎn)云中對應(yīng)點(diǎn)距離的平均值［5］，記為CPLoss，計(jì)算公式如下：

其中：M表示已事先采樣的模型點(diǎn)云；n表示采樣點(diǎn)個(gè)數(shù)；Tg、Tp分別表示標(biāo)簽位姿和估計(jì)位姿。需要注意的是，網(wǎng)絡(luò)估計(jì)的位姿是分割后的局部點(diǎn)云到相機(jī)坐標(biāo)系原點(diǎn)的模板點(diǎn)云的變換位姿，而計(jì)算損失函數(shù)使用模型點(diǎn)云到場景點(diǎn)云中的變換位姿，因此需要對變換矩陣求逆。

CPLoss 損失函數(shù)可以有效地表示估計(jì)位姿回歸的準(zhǔn)確程度，但是對于一些對稱物體而言，多個(gè)位姿可能對應(yīng)同一個(gè)正確的姿態(tài)，從而使網(wǎng)絡(luò)回歸到另一個(gè)可代替的位姿上，造成損失函數(shù)給出不一致的訓(xùn)練信號。針對這一問題，本文采用類似于迭代最近點(diǎn)（Iterative Closest Point，ICP）算法的損失函數(shù)ICPLoss，計(jì)算估計(jì)位姿回歸得到的點(diǎn)云中的每一個(gè)點(diǎn)離真實(shí)位姿回歸得到點(diǎn)云的最近點(diǎn)的距離并取平均值，計(jì)算公式如下：

3 實(shí)驗(yàn)驗(yàn)證

在進(jìn)行位姿估計(jì)前，需要對獲取的場景點(diǎn)云進(jìn)行實(shí)例分割。本文采用ASIS［21］實(shí)例分割算法，根據(jù)同類實(shí)例點(diǎn)的特征向量相近、不同類實(shí)例點(diǎn)的特征向量相差較遠(yuǎn)的原則進(jìn)行實(shí)例分割。因此，工件在無遮擋堆疊的情況下，分割效果是非常理想的，而由于本文在抓取過程中每次僅對場景中的一個(gè)實(shí)例進(jìn)行位姿估計(jì)，對于遮擋堆疊嚴(yán)重的場景點(diǎn)云，將最上層實(shí)例分割分?jǐn)?shù)最為理想的工件作為待抓取工件，可以避免遮擋堆疊帶來的分割誤差。圖7（a）是真實(shí)場景的散亂堆疊工件，圖7（b）、圖7（c）是真實(shí)場景點(diǎn)云的兩個(gè)分割實(shí)例。圖8 是針對圖7（a）的真實(shí)場景位姿估計(jì)實(shí)例，通過網(wǎng)絡(luò)估計(jì)工件位姿并利用ICP 進(jìn)行位姿細(xì)化得到可抓取工件的精確六維位姿，接著通過機(jī)器人進(jìn)行工件的抓取，重復(fù)以上過程即是一次完整的散亂工件抓取的流程。圖8（a）～圖8（h）顯示了將模型點(diǎn)云基于估計(jì)得到的精確六維位姿變換回場景中，可以看出模型點(diǎn)云和場景中的目標(biāo)點(diǎn)云基本重合。

圖7 真實(shí)場景的點(diǎn)云分割實(shí)例Fig.7 Examples of point clouds segmentation of real scene

圖8 真實(shí)場景的位姿估計(jì)實(shí)例Fig.8 Examples of pose estimation of real scene

3.1 實(shí)驗(yàn)參數(shù)設(shè)置

本文針對4 種不同的工業(yè)零件進(jìn)行六維位姿估計(jì)實(shí)驗(yàn)。在數(shù)據(jù)集中，每類工件都有8 000 個(gè)分割后的點(diǎn)云樣本作為訓(xùn)練集，2 000 個(gè)樣本作為測試集，每個(gè)樣本包含2 048 個(gè)采樣點(diǎn)。對于非對稱工件，由于本文采用的工件尺寸為10～20 cm，因此將CPLoss 小于工件尺寸最大直徑的1/10視為位姿估計(jì)正確。對于對稱工件，判別標(biāo)準(zhǔn)是ICPLoss 的大小，經(jīng)過實(shí)驗(yàn)評估，軸承座1和連桿的回歸損失ICPLoss 分別小于2 mm 和1.4 mm時(shí)，可視為位姿回歸正確。如果訓(xùn)練的工件尺寸和本文相差很大，則需重新選定合理的閾值。

3.2 與傳統(tǒng)位姿估計(jì)方法的性能對比

將本文方法與粗配準(zhǔn)+ICP、PPF、深度+ICP 方法進(jìn)行對比，如表1 所示，其中最優(yōu)指標(biāo)值用加粗字體標(biāo)示。可以看出，使用深度特征和法線特征相融合的位姿估計(jì)方法比僅使用深度特征的位姿估計(jì)方法具有更高的估計(jì)準(zhǔn)確率。對于對稱工件而言，即軸承座1 和連桿，PPF 和本文方法均能達(dá)到很高的估計(jì)準(zhǔn)確率，而粗配準(zhǔn)+ICP 方法效果較差；對于非對稱工件而言，即軸承座2 和榔頭，本文方法在準(zhǔn)確率上遠(yuǎn)超粗配準(zhǔn)+ICP 和PPF 方法。

表1 工業(yè)零件在不同方法下的位姿估計(jì)準(zhǔn)確率Table 1 Accuracy of pose estimation of industrial parts with different methods %

圖9 給出了PPF 匹配錯(cuò)誤的兩種情況，可以看出榔頭正反面是兩個(gè)類似的平面，而當(dāng)分割后的輸入點(diǎn)云是類似于圖中這樣的局部平面時(shí)，PPF 或者粗配準(zhǔn)+ICP 方法很可能會將其匹配到工件的一個(gè)類似平面上，方向和位置完全錯(cuò)誤。由此得出，傳統(tǒng)方法是通過計(jì)算特征點(diǎn)對的方式進(jìn)行匹配的，它們沒有獲取輸入點(diǎn)云的局部外形特征和幾何特征，在有相似特征的情況下很容易匹配錯(cuò)誤，而本文方法沒有出現(xiàn)這方面的問題。

圖9 PPF 錯(cuò)誤匹配樣本Fig.9 PPF error matching samples

表2 給出了3 種方法的平均位姿估計(jì)時(shí)間對比結(jié)果。本文所有涉及ICP 位姿細(xì)化的地方，均將終止條件定為兩次迭代的結(jié)果之差小于10-6m?？梢钥闯觯疚姆椒ǚ浅８咝?，估計(jì)一次的時(shí)間遠(yuǎn)少于粗配準(zhǔn)+ICP方法的時(shí)間，也略快于PPF 方法。同時(shí)，對于增加的法線特征支路，其浮點(diǎn)運(yùn)算量為2.1×108，而深度特征支路resnet50 的浮點(diǎn)運(yùn)算量為3.8×109，約為前者的1.8 倍?？梢?，特征融合網(wǎng)絡(luò)相比單特征網(wǎng)絡(luò)運(yùn)算復(fù)雜度和位姿估計(jì)時(shí)間并未明顯增加，這是因?yàn)檎麄€(gè)網(wǎng)絡(luò)的運(yùn)算復(fù)雜度主要由深度特征支路以及之后的全連接層決定。

表2 3 種方法的平均位姿估計(jì)時(shí)間對比Table 2 Comparison of the average pose estimation time of three methods s

3.3 其他因素對估計(jì)結(jié)果的影響

由于真實(shí)場景中分割得到的單個(gè)點(diǎn)云的點(diǎn)個(gè)數(shù)是不確定的，而本文訓(xùn)練采用的數(shù)據(jù)集中每個(gè)樣本都是2 048 個(gè)點(diǎn)，因此本文將各種采樣點(diǎn)數(shù)的點(diǎn)云分別輸入訓(xùn)練好的模型進(jìn)行位姿預(yù)測并統(tǒng)計(jì)各種方法在不同采樣點(diǎn)數(shù)下的位姿估計(jì)準(zhǔn)確率。圖10 給出了采用3 種方法的榔頭工件位姿估計(jì)準(zhǔn)確率對比結(jié)果?？梢钥闯觯诓煌蓸狱c(diǎn)數(shù)下，本文方法在估計(jì)準(zhǔn)確率上未有明顯變化，說明本文訓(xùn)練的模型可以針對不同點(diǎn)數(shù)的點(diǎn)云進(jìn)行位姿估計(jì)，而其他兩種方法在點(diǎn)數(shù)變少時(shí)準(zhǔn)確率出現(xiàn)遞減的情況。

圖10 不同采樣點(diǎn)數(shù)下位姿估計(jì)準(zhǔn)確率的對比Fig.10 Comparison of accuracy of pose estimation under different sampling points

針對噪聲對法線特征圖的影響，本文對測試數(shù)據(jù)的每一個(gè)點(diǎn)加入隨機(jī)噪聲Δ：其中：β是比例系數(shù)，為使噪聲的影響更加顯著，本文將其設(shè)定為0.05。表3 給出了本文方法在無噪聲的測試集、添加噪聲樣本的測試集以及添加噪聲樣本的訓(xùn)練集上進(jìn)行訓(xùn)練后得到的測試結(jié)果?？梢钥闯觯肼晫ξ蛔斯烙?jì)準(zhǔn)確率的影響較小，并且將一些帶有噪聲的樣本加入訓(xùn)練集后可以避免該影響。因此，經(jīng)過實(shí)驗(yàn)證實(shí)，本文方法對噪聲的魯棒性較強(qiáng)。

表3 噪聲對本文方法位姿估計(jì)準(zhǔn)確率的影響Table 3 The effect of noise on the accuracy of the proposed pose estimation method %

4 結(jié)束語

本文提出一種基于深度學(xué)習(xí)的點(diǎn)云位姿估計(jì)方法，將分割后的單個(gè)點(diǎn)云投影到二維平面，生成深度特征圖和法線特征圖，用于提取點(diǎn)云的局部表面特征和幾何特征，從而估計(jì)出準(zhǔn)確的六維位姿。在仿真數(shù)據(jù)集和真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法的有效性，并表明其在一定程度上解決了傳統(tǒng)位姿估計(jì)方法計(jì)算量大且魯棒性差的問題。但由于本文方法是基于點(diǎn)云的實(shí)例分割，位姿估計(jì)的準(zhǔn)確率依賴于實(shí)例分割的準(zhǔn)確率，因此下一步將對分割和位姿估計(jì)進(jìn)行有效結(jié)合形成端到端模型，在保證點(diǎn)云語義實(shí)例分割準(zhǔn)確率的前提下進(jìn)一步提升算法實(shí)時(shí)性。