孫錚 ，姜濤 ，2

（1.長(zhǎng)春理工大學(xué) 機(jī)電工程學(xué)院，長(zhǎng)春 130022；2.長(zhǎng)春理工大學(xué) 重慶研究院，重慶 401135）

工業(yè)領(lǐng)域的快速發(fā)展對(duì)生產(chǎn)自動(dòng)化水平提出了更高的要求。作為視覺SLAM領(lǐng)域與Bin Picking領(lǐng)域的基礎(chǔ)與核心，復(fù)雜工業(yè)應(yīng)用場(chǎng)景中多目標(biāo)物體精確定位與姿態(tài)估計(jì)問題得到了學(xué)術(shù)界的極大關(guān)注。

以LineMode[1]為代表的基于模板匹配的位姿估計(jì)方法由于模型投影數(shù)據(jù)庫大小的限制，在應(yīng)對(duì)遮擋等復(fù)雜場(chǎng)景時(shí)準(zhǔn)確度較低。而基于深度學(xué)習(xí)理論的位姿檢測(cè)方法由于其在光照變化以及場(chǎng)景混疊下的優(yōu)異性能得以廣泛應(yīng)用，這類方法依據(jù)輸入數(shù)據(jù)形式的不同分為：基于點(diǎn)云配準(zhǔn)的位姿估計(jì)和基于RGB圖像匹配的位姿估計(jì)[2]?；邳c(diǎn)云配準(zhǔn)的位姿估計(jì)方法依賴于所獲場(chǎng)景點(diǎn)云精度，在采集信息豐富的條件下可獲得較好的位姿估計(jì)結(jié)果。JOHNSON等人[3]提出利用3D點(diǎn)云空間分布進(jìn)行特征描述進(jìn)而進(jìn)行位姿匹配的方法Spin Images，該方法將定區(qū)域點(diǎn)云轉(zhuǎn)換為2D的旋轉(zhuǎn)圖像，度量匹配場(chǎng)景與模型中的2D旋轉(zhuǎn)圖像相似性。WANG C[4]提出的DenseFusion方法通過特征融合的方法將RGB圖像與深度圖像進(jìn)行了統(tǒng)一處理，利用二維信息增強(qiáng)每個(gè)三維點(diǎn)的信息，該方法在高度混亂的場(chǎng)景具有較高的運(yùn)算速度。但是，基于點(diǎn)云匹配的位姿估計(jì)方法由于點(diǎn)云性質(zhì)，難以對(duì)場(chǎng)景中存在嚴(yán)重遮擋的多目標(biāo)物體產(chǎn)生良好的位姿評(píng)估結(jié)果，而基于RGB圖像匹配的位姿估計(jì)算法由于RGB圖像較小的數(shù)據(jù)處理量以及相較而言較為穩(wěn)定的信息表征能力在6Dof剛體位姿檢測(cè)領(lǐng)域有著較好的表現(xiàn)。RAD等人[5]提出的BB8算法通過兩次分割的方法預(yù)測(cè)對(duì)象3D邊界框角點(diǎn)對(duì)應(yīng)的2D投影進(jìn)而整體性的回歸3D姿態(tài)，訓(xùn)練過程中使用受限范圍內(nèi)旋轉(zhuǎn)對(duì)象作為輸入圖片，巧妙地解決了“近似對(duì)稱”問題。相較于通過單視角圖片預(yù)測(cè)評(píng)估位姿，融合多視點(diǎn)信息進(jìn)而評(píng)估物體位姿的方法對(duì)遮擋場(chǎng)景敏感性更低。SU等人[6]提出的MVCNN利用三維模型在環(huán)形12視角下的二維渲染圖融合提取三維形狀描述子實(shí)現(xiàn)對(duì)三維圖像的分類識(shí)別。

綜上所述，針對(duì)工業(yè)遮擋場(chǎng)景中物體位姿難識(shí)別問題，提出了一種基于關(guān)鍵點(diǎn)數(shù)量及分布的融合多視角位姿評(píng)估結(jié)果的多視角位姿檢測(cè)方法。通過相機(jī)與UR10機(jī)械臂組合所構(gòu)建的手眼系統(tǒng)采集場(chǎng)景RGB圖像。利用機(jī)械臂的移動(dòng)特性，在根據(jù)關(guān)鍵點(diǎn)分布生成的觀測(cè)位點(diǎn)組下對(duì)待檢測(cè)物體進(jìn)行觀測(cè)，并融合位姿結(jié)果。經(jīng)實(shí)驗(yàn)驗(yàn)證，在強(qiáng)遮擋場(chǎng)景下，多視角位姿檢測(cè)結(jié)果較單視角位姿檢測(cè)結(jié)果更加可靠。

1 基于手眼系統(tǒng)的多視角位姿檢測(cè)方法

圖1為提出的基于手眼系統(tǒng)的多視角位姿檢測(cè)方法，三維視覺測(cè)量系統(tǒng)有三個(gè)主要任務(wù)：（1）利用手眼系統(tǒng)獲取場(chǎng)景RGB信息，并基于像素投票理論采用深度學(xué)習(xí)的方式生成關(guān)鍵點(diǎn)假設(shè)；（2）根據(jù)關(guān)鍵點(diǎn)數(shù)量，選擇視角檢測(cè)模式，依據(jù)關(guān)鍵點(diǎn)分布選擇多視角觀測(cè)位點(diǎn)組，控制手眼系統(tǒng)移至觀測(cè)位點(diǎn)組拍攝當(dāng)前幀；（3）利用PnP算法求解目標(biāo)物體各視點(diǎn)下位姿，并將各位姿統(tǒng)一還原至手眼系統(tǒng)基坐標(biāo)系下通過回歸算法實(shí)現(xiàn)位姿融合。

圖1 基于手眼系統(tǒng)的二次位姿檢測(cè)方法

1.1 基于像素投票理論的關(guān)鍵點(diǎn)檢測(cè)

在遮擋場(chǎng)景下推斷具有良好空間表述性能關(guān)鍵點(diǎn)的基本思路是：利用深度殘差網(wǎng)絡(luò)構(gòu)建像素級(jí)向量場(chǎng)表示并對(duì)場(chǎng)景進(jìn)行語義分割，利用隨機(jī)采樣一致性剔除離群值，通過投票得到關(guān)鍵點(diǎn)假設(shè)。該方法利用剛體局部特征與剛體整體之間的空間關(guān)系，使得算法在遮擋下仍可推斷非可視區(qū)域的關(guān)鍵點(diǎn)分布，魯棒性較高。

首先，通過最遠(yuǎn)點(diǎn)采樣法在異形物體三維模型表面選擇良好空間結(jié)構(gòu)表征能力的關(guān)鍵點(diǎn)，在模型點(diǎn)云Ωα選擇初始點(diǎn)及距其最遠(yuǎn)點(diǎn)后，可根據(jù)歐式距離比較選擇第m點(diǎn)，計(jì)算公式如下：

通過遞推的形式減少迭代過程中的重復(fù)計(jì)算：

為檢測(cè)二維場(chǎng)景圖像中目標(biāo)物體關(guān)鍵點(diǎn)，在像素投票網(wǎng)絡(luò)[7]的基礎(chǔ)上，選擇 ResNext[8]網(wǎng)絡(luò)作為backbone，在保持精度的同時(shí)以降低原網(wǎng)絡(luò)的復(fù)雜度。

網(wǎng)絡(luò)對(duì)場(chǎng)景圖像進(jìn)行語義分割，為使其達(dá)到像素級(jí)精度，對(duì)逐個(gè)像素計(jì)算Softmax分類，使用帶有權(quán)重形式的多分類交叉熵?fù)p失函數(shù)訓(xùn)練，使得網(wǎng)絡(luò)更加針對(duì)工業(yè)場(chǎng)景檢測(cè)。

式中，y為網(wǎng)絡(luò)輸出結(jié)果；class為實(shí)際類別的索引值，其并不直接參與計(jì)算；weight[class]為設(shè)置的類別權(quán)重。

構(gòu)建像素級(jí)向量場(chǎng)，以向量歸一化的形式τk(xi)表示二維圖像中具有特定語義標(biāo)簽的像素點(diǎn)xi指向具有相同語義的第k個(gè)關(guān)鍵點(diǎn)xk的方向：

式中，||·||2為2-范數(shù)運(yùn)算符，表述兩像素間的歐式距離。

選擇對(duì)離群點(diǎn)不敏感的smoothl1損失函數(shù)來學(xué)習(xí)單位向量，進(jìn)一步防止由離群點(diǎn)可能造成的梯度爆炸問題。

在同語義分割區(qū)域隨機(jī)選取兩個(gè)像素，并將二者對(duì)應(yīng)歸一化向量交點(diǎn)作為關(guān)鍵點(diǎn)位置假設(shè)，重復(fù)n次構(gòu)建關(guān)鍵點(diǎn)假設(shè)數(shù)據(jù)集利用隨機(jī)采樣一致性[9]剔除離群預(yù)測(cè)，得到關(guān)鍵點(diǎn)分布，并得到第j次所得關(guān)鍵點(diǎn)假設(shè)投票得分，其定義為：

式中，Ι為指示函數(shù)，表示元素從屬關(guān)系；θ為判別閾值。選擇投票得分最高的K個(gè)點(diǎn)作為通過圖像檢測(cè)的關(guān)鍵點(diǎn)。

1.2 基于關(guān)鍵點(diǎn)數(shù)量分布的手眼系統(tǒng)二次移動(dòng)觀測(cè)策略

為降低遮擋造成的影響，BB8、Segmentationdriven[10]與 Oberweger[11]等 算法 通 過 對(duì) 輸 入 圖 像網(wǎng)格劃分完成區(qū)域分割，根據(jù)分割結(jié)果推斷表述目標(biāo)物體關(guān)鍵點(diǎn)，實(shí)現(xiàn)了從場(chǎng)景到物體局部特征的表述。

受其啟發(fā)，期待通過物體局部特征表述其所處場(chǎng)景空間信息，提出了一種根據(jù)可視關(guān)鍵點(diǎn)數(shù)量及分布推斷空間視角信息豐富程度的方法，并以此來指導(dǎo)手眼系統(tǒng)的移動(dòng)采集。

設(shè)經(jīng)初始觀測(cè)位點(diǎn)下經(jīng)1.1節(jié)評(píng)估所得可視關(guān)鍵點(diǎn)數(shù)量為Nk，根據(jù)可視關(guān)鍵點(diǎn)數(shù)量判斷視角空間信息豐富度情況，將位姿評(píng)估策略分為四種情況：

情況一：目標(biāo)物體本身存在結(jié)構(gòu)自遮擋，當(dāng)可視關(guān)鍵點(diǎn)數(shù)量Nk≥6，屬于單視角無遮擋觀測(cè)，直接調(diào)用1.3節(jié)位姿回歸算法進(jìn)行位姿估計(jì)。

情況二：6＞Nk≥4，其至少包含某一視角下全部信息，屬于單視角觀測(cè)弱遮擋觀測(cè)，利用可視關(guān)鍵點(diǎn)位置判別法為其分配觀測(cè)位點(diǎn)組。

情況三：4＞Nk＞0，其于該視角下所得目標(biāo)物體結(jié)構(gòu)幾何信息過少，屬于單視角觀測(cè)強(qiáng)遮擋觀測(cè)，利用可視關(guān)鍵點(diǎn)位置判別法為其分配觀測(cè)位點(diǎn)組。

情況四：Nk=0，依據(jù)FPS算法中最遠(yuǎn)距視界信息思想為其分配觀測(cè)位點(diǎn)組D2中視點(diǎn)P3,2，重新拍攝計(jì)算其中關(guān)鍵點(diǎn)并對(duì)比情況二與情況三判定其觀測(cè)模式。若皆不屬于此二類，則判定該場(chǎng)景下無待檢測(cè)對(duì)象。

針對(duì)第二、三、四種情況下二次觀測(cè)需求，融合MVCNN中提出的12個(gè)全視角觀測(cè)模式以及物體多視圖表示中使用的空間正十二面體投影模式，在空間三維球坐標(biāo)系下構(gòu)建三層錯(cuò)位五邊形視點(diǎn)作為觀測(cè)位點(diǎn)組，如圖2（b）所示。記第i層第j個(gè)視點(diǎn)為Pi,j。由于考慮到機(jī)械臂移動(dòng)位移極限及視點(diǎn)分布結(jié)構(gòu)特性，舍棄了遠(yuǎn)視點(diǎn)P2,3、P2,4、P3,3，P4,3，圖2為手眼系統(tǒng)觀測(cè)位點(diǎn)投影分布。

圖2 觀測(cè)視點(diǎn)投影分布

觀測(cè)位點(diǎn)可由圖2（c）所示的無向圖G(V,E)表示，共分四組：第一組D1={P2,1,P2,2,P3,1,P4,1}；第二組D2={P2,2,P3,2,P4,2}；第三組D3={P2,5,P3,4,P4,4}；第四組D4={P2,5,P2,1,P3,5,P4,5}；D1與D4在形狀上構(gòu)成內(nèi)心四點(diǎn)視角，D2與D3由于視點(diǎn)限制構(gòu)成均分內(nèi)心三點(diǎn)視角，其視角盲區(qū)由空間三維球坐標(biāo)系漸變特性彌補(bǔ)。

將目標(biāo)物體根據(jù)1.1節(jié)所得可視關(guān)鍵點(diǎn)與不可視關(guān)鍵點(diǎn)像素坐標(biāo)(uk,vk)擬合形成邊框包圍盒：

定義?γ為網(wǎng)格分割后的包圍區(qū)域，以矩陣的形式表示包圍盒各網(wǎng)格元素值。將?γ中關(guān)鍵點(diǎn)順序連接，構(gòu)造粗略擬合物體形貌的網(wǎng)格分割單元圖像??。對(duì)??中單目標(biāo)物體可視關(guān)鍵點(diǎn)單元、可視網(wǎng)格單元、不可視網(wǎng)格單元、不可視關(guān)鍵點(diǎn)單元以及?γ中另包含的無效單元賦不同的矩陣A元素值，如圖3所示。

圖3 目標(biāo)物體網(wǎng)格單元分割

分別判別粗?jǐn)M合網(wǎng)格分割單元像素橫坐標(biāo)uc,k與檢測(cè)場(chǎng)景位置分割中線關(guān)系，判別公式如下：

式中，Δs為中線右側(cè)網(wǎng)格單元投票分?jǐn)?shù)Nr與左側(cè)網(wǎng)格單元投票分?jǐn)?shù)Nl數(shù)值差值；λc為網(wǎng)格單元性質(zhì)權(quán)重；W為觀測(cè)區(qū)像素寬度。

當(dāng)兩側(cè)差值Δs＞0時(shí)，判定物體于空間右側(cè)具有更充分可視信息，選擇右視位點(diǎn)組Dr={D1,D2}。反之選擇左視位點(diǎn)組Dl={D3,D4}。

根據(jù)網(wǎng)格單元圖像中不可視關(guān)鍵點(diǎn)與1.1節(jié)中檢測(cè)所得其他物體語義分割圖像像素位置關(guān)系，判別其遮擋情況：

式中，??為粗?jǐn)M合網(wǎng)格包圍區(qū)域；δs為互遮擋判別閾值；ηc為網(wǎng)格單元性質(zhì)權(quán)重；so(??)為粗?jǐn)M合類別差 異；分別 為某點(diǎn)下神經(jīng)網(wǎng)絡(luò)對(duì)區(qū)域??中真實(shí)可視物體OT與待檢測(cè)目標(biāo)物體Op所輸出的歸一化類別概率。

若不滿足判別條件則判定其為結(jié)構(gòu)自遮擋，初視角下結(jié)構(gòu)信息充足，無需考慮其視點(diǎn)深度造成的位點(diǎn)選擇影響，選擇前置觀測(cè)位點(diǎn)組Df={D1,D4}。反之待檢測(cè)目標(biāo)物體存在互遮擋，初始視角下結(jié)構(gòu)信息不足，選擇后置觀測(cè)位點(diǎn)組Db={D2,D3}。

選擇左右位點(diǎn)判別與前后位點(diǎn)判別交集D?=[Dr∨Dl]∩[Df∨Db]為所選觀測(cè)位點(diǎn)組，控制手眼系統(tǒng)采集所選位點(diǎn)組下各視點(diǎn)場(chǎng)景信息，對(duì)二次觀測(cè)下各視角場(chǎng)景采集圖像使用1.1節(jié)中方法分別評(píng)估關(guān)鍵點(diǎn)。

1.3 多視角位姿融合與還原

對(duì)1.2節(jié)所獲二維關(guān)鍵點(diǎn)使用EPnP算法構(gòu)建其與三維關(guān)鍵點(diǎn)間的映射關(guān)系，完成對(duì)各視點(diǎn)下位姿的求解，得到物體坐標(biāo)系Oobj到相機(jī)坐標(biāo)系Oc間的變換Tobj2c。為保證后續(xù)優(yōu)化過程中數(shù)據(jù)的一致性，將各視點(diǎn)下位姿求解結(jié)果轉(zhuǎn)換至統(tǒng)一的機(jī)械臂基坐標(biāo)系下進(jìn)行表示。

在空間變換過程中，通過Kalibr標(biāo)定相機(jī)內(nèi)參，獲取相機(jī)坐標(biāo)系與像素坐標(biāo)系變換關(guān)系；通過easy_handeye進(jìn)行手眼標(biāo)定，獲取末端執(zhí)行器坐標(biāo)系Oe與相機(jī)坐標(biāo)系Oc間變換關(guān)系Tc2e。通過對(duì)ROS系統(tǒng)下的直接訪問，獲取末端執(zhí)行器坐標(biāo)系Oe與機(jī)械臂基坐標(biāo)系Ob關(guān)系Te2b。通過鏈?zhǔn)絺鬟f完成關(guān)系變換：

對(duì)轉(zhuǎn)換至統(tǒng)一的機(jī)械臂基坐標(biāo)系下表示的多視角位姿估計(jì)結(jié)果進(jìn)行融合，將多視角位姿融合問題拆分為由向量空間描述的位置回歸融合與由特殊正交群表述的姿態(tài)回歸融合。

設(shè)位置向量?∈?3，向量描述的位置回歸融合可表示為：

對(duì)比黎曼距離與Frobenius標(biāo)準(zhǔn)范數(shù)對(duì)兩個(gè)SO(3)元素之間距離的表述，選擇幾何表述更自然的黎曼距離衡量最短測(cè)地線弧長(zhǎng)，將姿態(tài)回歸融合問題表述為：

式中，Q∈SO(3)為各視角下姿態(tài)表示；Qp為姿態(tài)回歸值；ωi為各距離值權(quán)重；d(Q,Qi)為黎曼距離；log(Q)為旋轉(zhuǎn)矩陣主對(duì)數(shù)函數(shù)，可表示為：

使用Manton算法[12]將各位姿觀測(cè)偏差的so(3)均值作為更新量，迭代求解數(shù)值解。

將Karcher均值Qp賦初值：

計(jì)算其切空間均值：

更新當(dāng)前姿態(tài)：

式中，exp為矩陣指數(shù)函數(shù)，表示SO(3)與所對(duì)應(yīng)的so(3)間的指數(shù)映射。

重復(fù)求解式（16）與式（17），直至切空間均值q的低于初始設(shè)定迭代止斷容差ε，并將最終所得Karcher均值Qp作為姿態(tài)回歸結(jié)果[13]。對(duì)比通過SE(3)直接對(duì)多重估計(jì)結(jié)果回歸的方法，將位姿融合問題先分解后回歸的方法在面對(duì)擾動(dòng)時(shí)回歸值與真實(shí)值均方根誤差變化更小。

圖4 均方根誤差對(duì)比

2 實(shí)驗(yàn)結(jié)果與分析

2.1 單視角位姿檢測(cè)網(wǎng)絡(luò)訓(xùn)練與結(jié)果分析

為驗(yàn)證網(wǎng)絡(luò)在單視角遮擋場(chǎng)景下位姿檢測(cè)結(jié)果精度，設(shè)計(jì)驗(yàn)證實(shí)驗(yàn)。網(wǎng)絡(luò)部署在Ubuntu16.04操作環(huán)境，使用i7-10700K CPU以及NVIDIA GeForce RTX 3060（12G）顯卡。利用Pytorch框架運(yùn)行深度學(xué)習(xí)檢測(cè)算法，主要采用OpenCV計(jì)算機(jī)視覺庫，Eigen矩陣運(yùn)算庫等開源視覺庫實(shí)現(xiàn)算法。在公開數(shù)據(jù)集LINEMOD與自建數(shù)據(jù)集上進(jìn)行單次位姿檢測(cè)網(wǎng)絡(luò)訓(xùn)練，通過TensorboardX實(shí)現(xiàn)訓(xùn)練數(shù)據(jù)可視化。

網(wǎng)絡(luò)訓(xùn)練過程輸入圖片尺寸640×480，選擇RAdam算法作為優(yōu)化器，并利用其對(duì)初始學(xué)習(xí)率不敏感的特性，設(shè)置初始學(xué)習(xí)率為0.01，迭代輪次設(shè)置為240，訓(xùn)練批大小設(shè)置為8。圖5（a）顯示網(wǎng)絡(luò)訓(xùn)練過程中損失值變化，隨迭代增加，訓(xùn)練損失迅速下降。圖5（b）與圖5（c）顯示了位姿測(cè)試精度在訓(xùn)練過程中的變化，分別度量的是位姿真值與位姿估值下模型點(diǎn)云間的平均距離，符合設(shè)定閾值的點(diǎn)數(shù)占比和位置姿態(tài)估值與真值符合容差5 cm與5°間占比[14]。觀察可知，訓(xùn)練圖片空間表征信息充足，所得網(wǎng)絡(luò)在無遮擋場(chǎng)景下位姿評(píng)估誤差較低。

圖5 網(wǎng)絡(luò)訓(xùn)練損失及位姿度量變化

使用訓(xùn)練后的模型在Occluded LINEMOD遮擋數(shù)據(jù)集與上述數(shù)據(jù)集上分別測(cè)試位姿檢測(cè)結(jié)果，使用邊框包圍盒的方式顯示標(biāo)注位姿真值與位姿估值，如圖6所示。

圖6 單視角遮擋場(chǎng)景下位姿可視化結(jié)果

表1給出了測(cè)試過程中各數(shù)據(jù)集下多種目標(biāo)檢測(cè)物體位姿精度評(píng)估均值，觀察可知在無遮擋條件下位姿檢測(cè)結(jié)果精度較高，在場(chǎng)景遮擋的情況下，僅通過單一視角圖片對(duì)位姿進(jìn)行預(yù)估與真實(shí)位姿存在較大誤差。

表1 各數(shù)據(jù)集下位姿評(píng)估結(jié)果

表2給出了在Occluded LINEMOD遮擋數(shù)據(jù)集下測(cè)試過程中不同關(guān)鍵點(diǎn)表示方式對(duì)位姿評(píng)估精度ADD（-S）與圖片處理速度的影響。BBX-8、FPS-4與FPS-8分別表示8點(diǎn)邊框包圍法、4點(diǎn)最遠(yuǎn)采樣法與8點(diǎn)最遠(yuǎn)采樣法三種關(guān)鍵點(diǎn)表征方法。實(shí)驗(yàn)結(jié)果表明，不同關(guān)鍵點(diǎn)檢測(cè)與表征方式對(duì)算法運(yùn)行速度并無明顯影響，同時(shí)通過8點(diǎn)最遠(yuǎn)點(diǎn)采樣法所得遮擋位姿評(píng)估結(jié)果具有更高精度，即該關(guān)鍵點(diǎn)檢測(cè)法具有更強(qiáng)的空間信息表征能力。

表2 不同關(guān)鍵點(diǎn)表示方式下位姿評(píng)估結(jié)果

2.2 二次位姿檢測(cè)與結(jié)果分析

為驗(yàn)證基于關(guān)鍵點(diǎn)數(shù)量及分布的融合多視角位姿評(píng)估結(jié)果的二次位姿預(yù)估方法相較于單視角位姿檢測(cè)方法的精度提升，構(gòu)建機(jī)械臂手眼系統(tǒng)實(shí)驗(yàn)平臺(tái)。硬件部分主要由：UR10機(jī)械臂、Intel Realsense D435i深度相機(jī)組成。系統(tǒng)框架基于ROS機(jī)器人控制系統(tǒng)搭建。

圖7展示了二次位姿檢測(cè)策略下單組實(shí)驗(yàn)中關(guān)鍵點(diǎn)檢測(cè)、觀測(cè)策略下視點(diǎn)拍攝、位姿結(jié)果可視化的過程。如圖7（a）所示，對(duì)存在互遮擋與自遮擋的場(chǎng)景物體通過手眼系統(tǒng)進(jìn)行檢測(cè)。將初始視點(diǎn)拍攝結(jié)果圖7（b）作為1.1節(jié)構(gòu)建的網(wǎng)絡(luò)輸入，所輸出關(guān)鍵點(diǎn)分布情況如圖7（c），可知過少的可視關(guān)鍵點(diǎn)無法充分表征物體空間信息。

圖7 實(shí)驗(yàn)場(chǎng)景及結(jié)果

基于其關(guān)鍵點(diǎn)數(shù)量及分布檢測(cè)結(jié)果，依據(jù)1.2節(jié)所述理論為其分配觀測(cè)位點(diǎn)組D3，進(jìn)而控制手眼系統(tǒng)在P2,5、P3,4、P4,4視點(diǎn)下拍攝，對(duì)所采集的圖像進(jìn)行位姿評(píng)估。圖7（d）、圖7（e）、圖7（f）為多視角位姿評(píng)估中多視點(diǎn)下位姿評(píng)估可視化結(jié)果。由圖7（f）可知，截?cái)嗲闆r下位姿評(píng)估可視化邊框包圍盒與真值包圍盒沒有較好的重合，單視角位姿評(píng)估結(jié)果存在一定誤差。對(duì)多視角下各位姿評(píng)估結(jié)果進(jìn)行融合，并與單次位姿識(shí)別結(jié)果進(jìn)行對(duì)比，精度誤差對(duì)比結(jié)果如表3所示。

表3 位姿檢測(cè)精度對(duì)比

表3展示了兩種位姿評(píng)估模式所得位置姿態(tài)與ArUco碼標(biāo)定真值間偏差絕對(duì)值，以及通過ADD、ADD-S評(píng)估所得位姿準(zhǔn)確性。

對(duì)比多視角位姿融合結(jié)果與初始視點(diǎn)單視角位姿評(píng)估結(jié)果，同組實(shí)驗(yàn)中位置度量精度提升了0.069 m，姿態(tài)誤差降低了0.155 rad，平均距離度量提高了66.63%?？芍嘁暯俏蛔巳诤喜呗詫?duì)強(qiáng)遮擋場(chǎng)景中位置與姿態(tài)修正效果明顯。

對(duì)比多視角位姿融合結(jié)果與多視角觀測(cè)模式下P3,4單視點(diǎn)位姿評(píng)估結(jié)果，采用位姿融合策略后位置度量精度提升了0.004 m，姿態(tài)誤差降低了0.008 rad。對(duì)比結(jié)果表明，位姿融合策略對(duì)于弱互遮擋場(chǎng)景中位姿結(jié)果仍有不錯(cuò)的修正效果。

在相同的實(shí)驗(yàn)平臺(tái)下，改變檢測(cè)物體的種類及位置姿態(tài)，進(jìn)行20組（8類物體）實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表4所示。數(shù)據(jù)表明，位姿評(píng)估過程中姿態(tài)平均偏差相較于位置平均偏差對(duì)遮擋更為敏感，所采用的二次位姿檢測(cè)方法相較于單視點(diǎn)檢測(cè)對(duì)姿態(tài)偏差修正效果更為明顯。

表4 位姿檢測(cè)精度偏差均值對(duì)比

上述檢測(cè)實(shí)驗(yàn)驗(yàn)證了基于關(guān)鍵點(diǎn)分布的融合多視角位姿評(píng)估結(jié)果的二次位姿預(yù)估方法在遮擋場(chǎng)景下的算法有效性。在測(cè)量操作方面，提出的方法集成于ROS框架下，各檢測(cè)移動(dòng)步驟皆通過手眼系統(tǒng)實(shí)現(xiàn)，自動(dòng)化程度及測(cè)量效率更高。

3 結(jié)論

提出了一種基于關(guān)鍵點(diǎn)數(shù)量及分布的融合多視角位姿評(píng)估結(jié)果的多視角位姿檢測(cè)方法，通過在關(guān)鍵點(diǎn)檢測(cè)步驟后引入二次網(wǎng)格分割思想，根據(jù)其于分割網(wǎng)格上的位置數(shù)量及分布選擇手眼系統(tǒng)多視角觀測(cè)位點(diǎn)組，并對(duì)手眼系統(tǒng)各視點(diǎn)下位姿檢測(cè)結(jié)果進(jìn)行融合作為位姿檢測(cè)最終結(jié)果。相較于傳統(tǒng)的單視角位姿檢測(cè)方法，利用手眼系統(tǒng)進(jìn)行多視角位姿檢測(cè)所得結(jié)果在復(fù)雜場(chǎng)景下算法魯棒性更高。經(jīng)實(shí)驗(yàn)驗(yàn)證，在強(qiáng)遮擋場(chǎng)景下，融合多視角位姿檢測(cè)結(jié)果所得位姿檢測(cè)較單視角下位姿檢測(cè)結(jié)果精度更高。