徐 斌，趙 鵬，劉 偉，耿牛牛，康照奇

（機(jī)科發(fā)展科技股份有限公司，北京 100044）

0 引言

現(xiàn)代物流的快速發(fā)展，使得自動(dòng)導(dǎo)引運(yùn)輸車(Automated Guided Vehicle，AGV)等倉儲(chǔ)搬運(yùn)機(jī)器人發(fā)揮著更加重要的作用。托盤定位是指在當(dāng)前復(fù)雜的倉儲(chǔ)環(huán)境中檢測(cè)出托盤目標(biāo)，并計(jì)算其坐標(biāo)位置與姿態(tài)，是AGV實(shí)現(xiàn)自動(dòng)搬運(yùn)貨物的核心技術(shù)之一。現(xiàn)有的倉儲(chǔ)托盤定位方法主要包括兩種，基于視覺或者基于激光雷達(dá)的方法。激光雷達(dá)傳感器價(jià)格昂貴，且其采集的數(shù)據(jù)較為稀疏，相較于此，視覺傳感器具有成本低，采集數(shù)據(jù)全面、可提取特征豐富的特點(diǎn)，更適用于實(shí)際應(yīng)用。

基于視覺的托盤定位主要通過人工定義特定特征的方式從圖像中分割出托盤。文獻(xiàn)[1]提出了一種基于顏色精確分割的托盤視覺識(shí)別系統(tǒng)，通過獲取托盤顏色特征，然后采用形態(tài)學(xué)濾波、Sobel邊緣檢測(cè)和Hough變換等算法獲取托盤目標(biāo)。但復(fù)雜背景與外部環(huán)境光照等因素，會(huì)對(duì)顏色特征提取造成干擾，算法的魯棒性較差。Seelinger等人[2]使用視覺標(biāo)簽檢測(cè)托盤的方法，此類方法一般在托盤的立柱面貼二維碼或條碼等視覺標(biāo)志，檢測(cè)系統(tǒng)通過尋找視覺標(biāo)志確定托盤位置，一旦視覺標(biāo)志受到污損就會(huì)影響托盤檢測(cè)結(jié)果。SYU等人[3]提出基于Harr-Like特征的方法檢測(cè)托盤，算法魯棒性較強(qiáng)，但受限于視覺傳感器與托盤的相對(duì)位姿，算法在實(shí)際應(yīng)用有很大的局限性。

當(dāng)前，三維視覺定位方法主要包含基于局部與全局特征兩種。局部特征的方法通過對(duì)每個(gè)點(diǎn)計(jì)算與其周圍鄰域相關(guān)的特征向量，這使得局部特征描述子不對(duì)場(chǎng)景分割也可描述復(fù)雜場(chǎng)景。點(diǎn)特征直方圖(FPH)[4]與快速點(diǎn)特征直方圖(FPFH)[5]為相對(duì)早期提出的局部特征描述子。具有更好的平移、旋轉(zhuǎn)不變性的SHOT[6]特征描述子在后期也被提出?；诰植棵枋鲎樱饾u形成了基于局部特征匹配的目標(biāo)識(shí)別框架。對(duì)于基于全局特征的方式，是將視角作為特征構(gòu)建多視角下的2.5D模型特征庫，目標(biāo)識(shí)別結(jié)果以及位姿根據(jù)模板庫對(duì)應(yīng)給出，VFH[7]全局特征即為帶視角的特征直方圖。吳等人[8]提出一種基于描述全局表面曲率變化信息的特征描述子PPF的托盤定位方法，但只能實(shí)現(xiàn)近距離范圍的托盤定位。武等人[9]提出一種基于點(diǎn)云平面輪廓匹配的檢測(cè)方法，該方法依賴于原始點(diǎn)云濾波的結(jié)果，包括基于距離的直通濾波與基于顏色分量的濾波，算法泛化能力不強(qiáng)。相比于局部特征的方式，全局特征方式的缺陷是場(chǎng)景分割結(jié)果的好壞直接影響目標(biāo)識(shí)別結(jié)果。

綜上所述，二維圖像處理技術(shù)無法獲取目標(biāo)的空間深度信息，且因倉儲(chǔ)環(huán)境背景復(fù)雜、光線變化大、托盤位姿不確定性等難點(diǎn)，使得算法無法準(zhǔn)確提取托盤目標(biāo)特征。三維點(diǎn)云處理技術(shù)，因點(diǎn)云數(shù)據(jù)冗余使得目標(biāo)識(shí)別效率較低，且當(dāng)環(huán)境復(fù)雜時(shí)易對(duì)特征匹配造成干擾?；诖?，為實(shí)現(xiàn)倉儲(chǔ)環(huán)境下托盤的精確定位，本文進(jìn)一步進(jìn)行研究，提出了融合圖像與點(diǎn)云處理的托盤定位系統(tǒng)。

1 融合圖像與點(diǎn)云處理的托盤定位系統(tǒng)

托盤定位系統(tǒng)首先由基于飛行時(shí)間(ToF)原理的Basler blaze-101相機(jī)采集數(shù)據(jù)，包括像素格式為640×480的灰度圖像以及與灰度圖像所示場(chǎng)景對(duì)應(yīng)的3D點(diǎn)云數(shù)據(jù)，并將其傳輸給托盤定位系統(tǒng)；其次，托盤定位系統(tǒng)通過深度學(xué)習(xí)目標(biāo)檢測(cè)算法獲取托盤在場(chǎng)景圖像中的像素位置，基于此結(jié)合3D點(diǎn)云數(shù)據(jù)提取感興趣托盤點(diǎn)云。然后，托盤點(diǎn)云模板與感興趣托盤點(diǎn)云作為輸入數(shù)據(jù)，經(jīng)粗配準(zhǔn)與二次校正得到精確托盤點(diǎn)云。最后，基于精確托盤點(diǎn)云計(jì)算托盤的位姿數(shù)據(jù)。本系統(tǒng)應(yīng)用于倉儲(chǔ)環(huán)境下AGV的托盤叉取任務(wù)，具有精度高、效率高、魯棒性強(qiáng)的優(yōu)點(diǎn)。

1.1 感興趣托盤點(diǎn)云提取算法

倉儲(chǔ)環(huán)境的復(fù)雜使得采集的3D點(diǎn)云數(shù)據(jù)包含大量冗余無效的環(huán)境數(shù)據(jù)，因此無論采用基于局部特征匹配還是基于全局特征匹配的目標(biāo)識(shí)別，算法的計(jì)算效率均較低，且會(huì)影響對(duì)托盤的特征描述。因此，本文提出一種基于深度學(xué)習(xí)目標(biāo)檢測(cè)的感興趣托盤點(diǎn)云提取算法。深度學(xué)習(xí)目標(biāo)檢測(cè)出色的檢測(cè)準(zhǔn)確率保證了倉儲(chǔ)環(huán)境下托盤目標(biāo)的精確檢測(cè)，得到托盤在圖像中的像素位置也將與原始3D點(diǎn)云數(shù)據(jù)對(duì)應(yīng)，為后續(xù)點(diǎn)云配準(zhǔn)提取較為準(zhǔn)確的輸入數(shù)據(jù)，同時(shí)有效地過濾了大量冗余的環(huán)境數(shù)據(jù)、提高了計(jì)算效率。感興趣托盤點(diǎn)云提取算法主要包含托盤目標(biāo)檢測(cè)與點(diǎn)云提取兩部分。

1.1.1 托盤目標(biāo)檢測(cè)

當(dāng)前，深度學(xué)習(xí)目標(biāo)檢測(cè)已經(jīng)被廣泛應(yīng)用于自動(dòng)駕駛、機(jī)器人視覺、工業(yè)質(zhì)檢等領(lǐng)域。高性能的二階段目標(biāo)檢測(cè)模型[10，11]已發(fā)展成熟，但其本身的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)硬件資源的消耗，使得其難以實(shí)現(xiàn)實(shí)時(shí)性檢測(cè)，因此并不能最優(yōu)地應(yīng)用于實(shí)際工業(yè)中。一階段目標(biāo)檢測(cè)模型，如YOLO系列[12]網(wǎng)絡(luò)模型能夠更好地平衡檢測(cè)精度與效率，并逐步在工業(yè)中得到廣泛應(yīng)用，但其本身存在兩個(gè)問題：對(duì)不同的數(shù)據(jù)集需要重新設(shè)置錨框以及正負(fù)樣本不均衡。因此，本研究采用高效率高精度的無錨框輕量級(jí)檢測(cè)模型PicoDet[13]進(jìn)行工業(yè)倉儲(chǔ)環(huán)境下的托盤圖像目標(biāo)檢測(cè)，獲取托盤在圖像中的像素位置。

1）BackBone網(wǎng)絡(luò)

PicoDet 模型采用超輕量、高精度骨干網(wǎng)絡(luò)ESNet(Enhanced ShuffleNet)，ESNet骨干網(wǎng)絡(luò)基于ShuffleNetV2網(wǎng)絡(luò)，引入了SE模塊，SE模塊可以對(duì)網(wǎng)絡(luò)通道權(quán)重進(jìn)行調(diào)整以獲取更優(yōu)的特征。SE模塊新增了通道卷積和點(diǎn)卷積，通過融合不同通道信息實(shí)現(xiàn)了降低實(shí)際參數(shù)量的同時(shí)保證了模型精度，如圖2(a)所示。同時(shí)，為進(jìn)一步增強(qiáng)ESNet網(wǎng)絡(luò)的性能，在步長為1的SE中引入Ghost模塊，實(shí)現(xiàn)以更少的參數(shù)生成更多的特征圖以此來提高網(wǎng)絡(luò)的特征學(xué)習(xí)能力。另外，ESNet網(wǎng)絡(luò)采用神經(jīng)網(wǎng)絡(luò)搜索Neural Architecture Search(NAS)搜索更高效的模型結(jié)構(gòu)?；诖耍珽SNet骨干網(wǎng)絡(luò)在精度、速度上得到了全方面提升，整個(gè)目標(biāo)檢測(cè)模型計(jì)算量更小、延遲更低、精度更高。

圖1 PicoDet網(wǎng)絡(luò)結(jié)構(gòu)

圖2 ES模塊結(jié)構(gòu)

2）Neck網(wǎng)絡(luò)和Head

在Neck部分，PicoDet提出了CSP-PAN網(wǎng)絡(luò)結(jié)構(gòu)，使用1×1卷積將所有特征的通道數(shù)與最小通道數(shù)保持相同，計(jì)算量減少的同時(shí)保證特征融合性能不受影響，而后通過CSP結(jié)構(gòu)實(shí)現(xiàn)自頂向下和自底向上的特征融合。同時(shí)，在CSP-PAN的頂部增加了一個(gè)特征圖尺度，以此檢測(cè)更多尺度的目標(biāo)物體。PicoDet在Neck和Head除了1×1卷積外均采用卷積核為5×5深度可分離卷積來擴(kuò)大感受野，在使用參數(shù)量較少的情況下大幅度地提升了精度。整體的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

PicoDet模型的Neck和head部分都有四個(gè)尺度分支，且head部分的通道數(shù)與neck部分保持一致，之后將分類和回歸分支耦合在一起。PicoDet還使用了SimOTA動(dòng)態(tài)標(biāo)簽分配策略優(yōu)化訓(xùn)練過程，有效加速模型收斂。

1.1.2 托盤點(diǎn)云提取

基于PicoDet目標(biāo)檢測(cè)模型出色的檢測(cè)準(zhǔn)確率保證了倉儲(chǔ)圖像托盤的精確檢測(cè)，得到了托盤在圖像中的像素位置(X，Y，W，H)，(X，Y)表示托盤左上角在圖像中的像素位置，(W，H)分別表示托盤的像素寬度和像素高度。由于Basler ToF相機(jī)獲取640×480像素分辨率的圖像，且對(duì)應(yīng)點(diǎn)云數(shù)據(jù)按行保存，因此，托盤左上角像素點(diǎn)對(duì)應(yīng)的點(diǎn)在三維點(diǎn)云數(shù)據(jù)存儲(chǔ)中的索引號(hào)為i=640×Y+X。

圖3 倉儲(chǔ)環(huán)境二維圖像與點(diǎn)云數(shù)據(jù)

考慮目標(biāo)檢測(cè)所得像素位置存在誤差，因此增加補(bǔ)償量v=10，即將托盤左上角的起始點(diǎn)設(shè)置為i=640×(Y-10)+(X-10)，盡可能保證托盤點(diǎn)云包含在提取的感興趣點(diǎn)云中。同時(shí)，托盤目標(biāo)像素位置對(duì)應(yīng)的參數(shù)范圍設(shè)置為(X-10，Y-10，H+20，W+20)，即托盤目標(biāo)的像素寬度和像素高度擴(kuò)大為H+20和W+20?；诖?，結(jié)合采集的三維點(diǎn)云數(shù)據(jù)進(jìn)行感興趣托盤點(diǎn)云提取，此算法有效地過濾了大量冗余的環(huán)境數(shù)據(jù)，提高了后續(xù)托盤目標(biāo)配準(zhǔn)的計(jì)算效率。具體提取效果見實(shí)驗(yàn)部分。

1.2 托盤定位算法

托盤模板點(diǎn)云與感興趣托盤點(diǎn)云作為輸入數(shù)據(jù)，通過粗配準(zhǔn)與二次校正的點(diǎn)云配準(zhǔn)算法，獲取精確托盤目標(biāo)點(diǎn)云，然后計(jì)算托盤目標(biāo)的中心坐標(biāo)與位姿。本文采用剛性位姿估計(jì)[14](Sample Consensus Prerejective，SCP)作為粗配準(zhǔn)方法，迭代最近點(diǎn)算法[15](Iterative Closest Point，ICP)進(jìn)行二次校正。

1.2.1 粗配準(zhǔn)與二次校正

本研究采用基于快速點(diǎn)特征直方圖FPFH局部特征描述子的托盤識(shí)別方法，首先將感興趣托盤點(diǎn)云及其FPFH特征描述子、托盤模板點(diǎn)云及其特征描述子作為粗配準(zhǔn)算法SCP的輸入，得到托盤模板點(diǎn)云與感興趣托盤點(diǎn)云之間的變換矩陣。而后將感興趣托盤點(diǎn)云、托盤模板點(diǎn)云，以及粗配準(zhǔn)所得變換矩陣作為二次校正算法ICP的輸入，得到精確托盤點(diǎn)云。

本文基于托盤M型立柱面制作托盤模板點(diǎn)云，一方面其明顯的結(jié)構(gòu)特征有助于托盤特征提取，另一方面大大減少了表征托盤的點(diǎn)云數(shù)據(jù)量，提高了托盤點(diǎn)云配準(zhǔn)的計(jì)算效率。圖4分別是托盤的實(shí)物圖與制作的M型立柱面點(diǎn)云圖。另外，對(duì)制作的托盤模板點(diǎn)云，執(zhí)行點(diǎn)云體素濾波，體素濾波使用體素化網(wǎng)絡(luò)實(shí)現(xiàn)點(diǎn)云的下采樣，在減少點(diǎn)的數(shù)量的同時(shí)，能夠保持點(diǎn)云的形狀特征。

圖4 托盤實(shí)物圖及其立柱面M型點(diǎn)云模板

1）粗配準(zhǔn)算法SCP

在托盤定位過程中，首先采用剛性物體位姿估計(jì)(Sample Consensus Prerejective，SCP)算法完成托盤目標(biāo)的粗配準(zhǔn)。SCP算法具體步驟為：

第一步，定義變換矩陣，見上方公式，使得托盤模板點(diǎn)云P上的任意一點(diǎn)p與感興趣托盤點(diǎn)云Q中的任意一點(diǎn)q之間的距離平方和最小化。

第二步，通過最近鄰匹配，在托盤模板點(diǎn)云P中找到n≥3個(gè)隨機(jī)對(duì)象點(diǎn)，并在感興趣托盤點(diǎn)云Q中找到它們對(duì)應(yīng)的點(diǎn)。

第三步，使用n個(gè)采樣對(duì)應(yīng)點(diǎn)估計(jì)一個(gè)假設(shè)變換T，并將假設(shè)變換矩陣T應(yīng)用于托盤模板點(diǎn)云P上。

第四步，采用空間最近鄰域搜索方法在變換后的托盤模板點(diǎn)云與感興趣托盤點(diǎn)云Q之間找到內(nèi)點(diǎn)，然后采用歐氏距離閾值進(jìn)行判斷，如果內(nèi)點(diǎn)數(shù)低于設(shè)定閾值，返回第二步。

第五步，使用內(nèi)點(diǎn)對(duì)應(yīng)重新估計(jì)一個(gè)假設(shè)變換。

第六步，通過將內(nèi)點(diǎn)代入上述公式，計(jì)算∈(T)的值，如果值為目前為止的最小值，設(shè)置當(dāng)前T作為托盤模板點(diǎn)云與感興趣托盤點(diǎn)云之間的變換矩陣。

2）二次校正算法ICP

在粗配準(zhǔn)之后，使用迭代最近點(diǎn)算法ICP進(jìn)行二次校正，下面是ICP算法的具體步驟：

第一步，定義均方誤差，其中Ps和Pt是托盤模板點(diǎn)云和感興趣托盤點(diǎn)云中的對(duì)應(yīng)點(diǎn)，R和t分別表示旋轉(zhuǎn)矩陣和平移向量。

第二步，根據(jù)SCP獲得的對(duì)應(yīng)關(guān)系“變換矩陣”，對(duì)托盤模板點(diǎn)云施加初始變換T，得到新的點(diǎn)云。

第三步，在感興趣托盤點(diǎn)云Pt中尋找與Ps最近的點(diǎn)云，形成對(duì)應(yīng)點(diǎn)對(duì)。

第四步，計(jì)算ε(T)的值。

第五步，設(shè)置誤差閾值和迭代次數(shù)閾值，直到均方誤差值小于誤差閾值則收斂，若不收斂返回第一步。

1.2.2 托盤位姿計(jì)算

本文基于二次校正后得到的精確托盤點(diǎn)云，計(jì)算托盤的定位信息，包括托盤的中心坐標(biāo)以及姿態(tài)。首先，計(jì)算精確托盤點(diǎn)云在相機(jī)坐標(biāo)系下各坐標(biāo)軸對(duì)應(yīng)的最大值和最小值：Xmax、Xmin、Ymax、Ymin、Zmax、Zmin。然后，計(jì)算各個(gè)坐標(biāo)軸對(duì)應(yīng)的最大值和最小值的平均值，確定為托盤點(diǎn)云的中心坐標(biāo)，即

對(duì)于托盤目標(biāo)的姿態(tài)，將精確托盤點(diǎn)云投影于各個(gè)坐標(biāo)軸對(duì)應(yīng)的坐標(biāo)平面，利用最小二乘法將投影而得的散點(diǎn)擬合成一條直線，確定坐標(biāo)軸與直線的夾角，即為托盤與各個(gè)坐標(biāo)軸的夾角。

1.3 路徑規(guī)劃

AGV取貨路徑規(guī)劃主要是解決取貨端由于托盤位姿發(fā)生變化而導(dǎo)致AGV無法加載貨物的問題。如圖5所示，AGV在進(jìn)行路徑規(guī)劃時(shí)，需要以自身位姿狀態(tài)XI和托盤目標(biāo)位姿狀態(tài)XT分別作為起始狀態(tài)和終止?fàn)顟B(tài)進(jìn)行路徑規(guī)劃。根據(jù)貝塞爾曲線的幾何不變性，將AGV的位姿作為規(guī)劃原點(diǎn)，即；托盤在車身坐標(biāo)系下的位姿作為目標(biāo)狀態(tài)，即XT=[x，y，θ]。從而將自主路徑規(guī)劃問題轉(zhuǎn)化為對(duì)貝塞爾曲線的規(guī)劃。

圖5 貝塞爾曲線路徑規(guī)劃

2 實(shí)驗(yàn)結(jié)果與數(shù)據(jù)分析

基于PicoDet模型的二維圖像托盤目標(biāo)檢測(cè)，實(shí)驗(yàn)訓(xùn)練環(huán)境基于Windows10平臺(tái)系統(tǒng)，32GB內(nèi)存，以及NVIDIA Geforce RTX 3080上完成。測(cè)試實(shí)驗(yàn)基于Windows10、Inter i7-10510U，16G內(nèi)存的處理器環(huán)境下完成的。

2.1 效率評(píng)估

為了使得本文提出的托盤定位系統(tǒng)滿足工業(yè)應(yīng)用對(duì)實(shí)時(shí)性的要求，針對(duì)第一階段的感興趣托盤點(diǎn)云提取部分，本文選擇了當(dāng)前深度學(xué)習(xí)目標(biāo)檢測(cè)領(lǐng)域高精度、高效率的三種模型，分別是yoloV3、ppyolo以及picodet模型，進(jìn)行了托盤目標(biāo)檢測(cè)效率評(píng)估實(shí)驗(yàn)，如表1所示。分別對(duì)三種目標(biāo)檢測(cè)模型進(jìn)行了訓(xùn)練，并在測(cè)試實(shí)驗(yàn)環(huán)境中測(cè)試圖像檢測(cè)效率。經(jīng)過評(píng)估，picodet模型的檢測(cè)效率最高，因此，本研究基于該模型完成感興趣點(diǎn)云提取算法。

表1 托盤圖像目標(biāo)檢測(cè)時(shí)間

基于感興趣點(diǎn)云提取算法所得的感興趣托盤點(diǎn)云，是濾除了大量冗余的環(huán)境點(diǎn)云數(shù)據(jù)后所得。本研究基于感興趣托盤點(diǎn)云，對(duì)粗配準(zhǔn)SCP算法與二次校正ICP算法進(jìn)行了效率評(píng)估，如表2所示。

表2 托盤粗配準(zhǔn)與二次校正時(shí)間

可以看出，感興趣托盤點(diǎn)云提取與兩次配準(zhǔn)進(jìn)行托盤識(shí)別的時(shí)間總和不超過1s，滿足工業(yè)實(shí)時(shí)性要求。

2.2 感興趣托盤點(diǎn)云提取實(shí)驗(yàn)評(píng)估

2.2.1 數(shù)據(jù)集

本文將采集的原始倉儲(chǔ)環(huán)境的二維圖像，進(jìn)行縮放、對(duì)比度增強(qiáng)、噪聲等操作，來增大目標(biāo)檢測(cè)模型訓(xùn)練的數(shù)據(jù)量，以此來提高模型對(duì)托盤的特征學(xué)習(xí)能力，并抑制復(fù)雜背景對(duì)托盤檢測(cè)的干擾。數(shù)據(jù)集的所有圖像都采用LabelImg軟件進(jìn)行標(biāo)注。采用不同尺寸矩形框手動(dòng)標(biāo)記托盤位置，并給定類別標(biāo)簽，制作了托盤圖像數(shù)據(jù)集，隨機(jī)分配構(gòu)成檢測(cè)模型的訓(xùn)練集和測(cè)試集。表3顯示了數(shù)據(jù)集配置。

表3 托盤圖像數(shù)據(jù)集

2.2.2 目標(biāo)檢測(cè)評(píng)估

對(duì)于圖像的托盤目標(biāo)檢測(cè)，本文采用平均精度（Average presion，AP）評(píng)估模型的性能。AP的計(jì)算與準(zhǔn)確率（precision，ppre用表示）、召回率（recall，用ppre表示）有關(guān)，對(duì)于給定的類別，其分別定義為：

其中TP，為分類正確的托盤目標(biāo)的個(gè)數(shù)，F(xiàn)P為背景分類為托盤目標(biāo)的個(gè)數(shù)，F(xiàn)N是托盤正樣本被錯(cuò)誤地分為背景的個(gè)數(shù)。

本文在測(cè)試實(shí)驗(yàn)環(huán)境下，當(dāng)檢測(cè)的托盤目標(biāo)的IOU大于設(shè)定閾值0.5時(shí)，認(rèn)定目標(biāo)為托盤，實(shí)驗(yàn)測(cè)試結(jié)果為模型的AP值達(dá)到了98.6%。圖6是托盤檢測(cè)結(jié)果，可以看到，在光線較暗的倉儲(chǔ)環(huán)境下依舊可以檢測(cè)到托盤目標(biāo)，實(shí)驗(yàn)結(jié)果表明該模型的魯棒性較好。

圖6 圖像目標(biāo)檢測(cè)托盤結(jié)果

2.2.3 點(diǎn)云提取評(píng)估

感興趣托盤點(diǎn)云提取可以有效地濾除大量冗余的環(huán)境點(diǎn)云數(shù)據(jù)，這些數(shù)據(jù)不僅會(huì)增大后期點(diǎn)云配準(zhǔn)的計(jì)算效率，而且會(huì)對(duì)托盤點(diǎn)云的特征提取造成干擾。表4進(jìn)行了幾組感興趣點(diǎn)云提取前后的點(diǎn)云數(shù)量對(duì)比，可以看出，點(diǎn)云數(shù)量在使用感興趣托盤點(diǎn)云提取算法之后，點(diǎn)數(shù)量驟減。

表4 托盤點(diǎn)數(shù)量前后對(duì)比

圖7是感興趣托盤點(diǎn)云提取效果，其中(a)和(b)表示深度學(xué)習(xí)檢測(cè)所得的托盤目標(biāo)位置，(c)和(d)表示與其對(duì)應(yīng)提取的托盤點(diǎn)云數(shù)據(jù)?？梢钥吹剑斜P點(diǎn)云數(shù)據(jù)可以被準(zhǔn)確的提取出來。

圖7 感興趣點(diǎn)云提取

2.3 點(diǎn)云配準(zhǔn)實(shí)驗(yàn)

圖8展示了托盤圖像目標(biāo)檢測(cè)、感興趣托盤點(diǎn)云提取、以及兩次配準(zhǔn)后得到的精確托盤點(diǎn)云結(jié)果。其中，綠色點(diǎn)云表示當(dāng)前倉儲(chǔ)環(huán)境的點(diǎn)云數(shù)據(jù)，紅色表示最終獲取的精確托盤點(diǎn)云，可以看出，精確托盤點(diǎn)云基本可以與環(huán)境點(diǎn)云數(shù)據(jù)中的托盤點(diǎn)云完全重合。實(shí)驗(yàn)結(jié)果表明，融合圖像與點(diǎn)云處理的托盤識(shí)別定位系統(tǒng)可以準(zhǔn)確地實(shí)現(xiàn)托盤定位，并滿足工業(yè)應(yīng)用的實(shí)時(shí)性要求。

圖8 托盤定位實(shí)驗(yàn)過程

另外，通過實(shí)驗(yàn)進(jìn)行了分析驗(yàn)證。對(duì)固定同一位置的托盤重復(fù)進(jìn)行了十次實(shí)驗(yàn)，對(duì)托盤定位的實(shí)驗(yàn)結(jié)果，即中心點(diǎn)坐標(biāo)以及姿態(tài)數(shù)據(jù)，進(jìn)行了記錄，如表5所示。實(shí)驗(yàn)結(jié)果表明，十次數(shù)據(jù)之間的重復(fù)定位誤差相差不大，滿足精度要求，算法具有一定的穩(wěn)定性。

表5 重復(fù)定位誤差計(jì)算表

3 結(jié)語

本文采用高精度、高效率的深度學(xué)習(xí)目標(biāo)檢測(cè)模型PicoDet對(duì)二維倉儲(chǔ)環(huán)境圖像進(jìn)行托盤檢測(cè)，將獲取的托盤像素位置與3D點(diǎn)云數(shù)據(jù)對(duì)應(yīng)，提取感興趣托盤點(diǎn)云，有效地濾除了冗余的環(huán)境點(diǎn)云，為托盤點(diǎn)云配準(zhǔn)提供精確輸入數(shù)據(jù)的同時(shí)，有效地提高了算法效率。此外，采用粗配準(zhǔn)方法與二次校正的點(diǎn)云配準(zhǔn)算法進(jìn)行托盤識(shí)別，并基于得到的精確托盤點(diǎn)云進(jìn)行位姿估計(jì)。實(shí)驗(yàn)結(jié)果表明，本文提出的方法能夠克服復(fù)雜環(huán)境的干擾，高精度高效地完成托盤目標(biāo)定位，滿足工業(yè)應(yīng)用需求，為AGV叉取托盤提供有效的方法。