范彬彬, 秦訓(xùn)鵬, 吳 強(qiáng), 王 哲, 畢玖琚

(1.武漢理工大學(xué) 汽車工程學(xué)院,湖北 武漢 430070; 2.現(xiàn)代汽車零部件技術(shù)湖北省重點(diǎn)實(shí)驗(yàn)室,湖北 武漢 430070)

0 引 言

鋼鐵回收過程中,不同大小尺寸的廢舊鋼鐵回收價(jià)格不同,并且廢舊鋼鐵回收處理過程中,如果鋼鐵尺寸過大,會(huì)使龍門剪切機(jī)卡料,損壞器械,因此需要對(duì)回收的鋼鐵進(jìn)行尺寸判別,依據(jù)尺寸大小定價(jià),并根據(jù)尺寸大小確定廢舊鋼鐵的處理流程。雙目視覺測(cè)量是依據(jù)人類視差成像原理,利用兩臺(tái)相機(jī)通過左、右兩幅圖像獲取視差進(jìn)而生成三維點(diǎn)云數(shù)據(jù)的測(cè)量方式[1]。雙目視覺測(cè)量雖然精度相比激光雷達(dá)點(diǎn)云精度存在差距[2],但是憑借雙目視覺的高效率、精度適宜、結(jié)構(gòu)簡單、成本低的特點(diǎn),在工業(yè)生產(chǎn)、三維測(cè)量領(lǐng)域得到了廣泛的應(yīng)用。

目前,點(diǎn)云的目標(biāo)分割方法可分為基于深度學(xué)習(xí)的點(diǎn)云分割和基于顏色、幾何等特征的點(diǎn)云分割?；谏疃葘W(xué)習(xí)的三維點(diǎn)云語義分割模型主流上有Point Net、Point Net++、KD-Net、3D-MPA等[3-6]。這類方法對(duì)數(shù)據(jù)集有非常高的要求,應(yīng)用的廣泛性受到很大的限制?；陬伾?、幾何等特征的點(diǎn)云分割沒有數(shù)據(jù)集的要求,具有更大的應(yīng)用面。較為常用的特征有邊緣特征[6-8]、表面特征[9-10]、顏色特征[11-12]等。其中,顏色特征是雙目點(diǎn)云與激光雷達(dá)點(diǎn)云的一個(gè)顯著區(qū)別,雙目點(diǎn)云的顏色來源于圖像顏色,因此雙目點(diǎn)云結(jié)合顏色特征進(jìn)行分割得到廣泛應(yīng)用。針對(duì)開放式場(chǎng)景的復(fù)雜情況,本文結(jié)合基于圖像的目標(biāo)檢測(cè)和實(shí)例分割,針對(duì)圖像實(shí)例分割像素精度不高的問題,提出通過實(shí)例分割掩膜自適應(yīng)提取顏色閾值的方法對(duì)點(diǎn)云進(jìn)行顏色濾波和歐式聚類,得到更加完整的實(shí)例點(diǎn)云。

鋼鐵回收領(lǐng)域的突出特點(diǎn)是開放式環(huán)境的復(fù)雜背景,往往在廢舊鋼鐵中會(huì)混雜有其他非鋼鐵物體,因此本文采用Mask R-CNN模型對(duì)圖像進(jìn)行目標(biāo)檢測(cè)和實(shí)例分割,目標(biāo)檢測(cè)由于較高的識(shí)別精度,能夠快速定位廢舊鋼鐵的位置。由于實(shí)例分割掩膜的不完整性和低精確度,本文根據(jù)掩膜提取目標(biāo)顏色閾值再對(duì)點(diǎn)云進(jìn)行顏色濾波,以避免掩膜不完整造成的點(diǎn)云缺失,再通過有向包圍盒(oriented bounding box,OBB)對(duì)鋼鐵點(diǎn)云進(jìn)行尺寸估計(jì)。

1 算法描述

本文獲取目標(biāo)點(diǎn)云及尺寸估計(jì)的算法如圖1所示。

圖1 雙目視覺目標(biāo)點(diǎn)云分割流程

該算法的具體步驟如下。

1) 對(duì)采集的雙目圖像進(jìn)行立體校正,并對(duì)左視圖進(jìn)行目標(biāo)檢測(cè)與分割,獲得目標(biāo)所在的矩形區(qū)域及掩膜。

2) 對(duì)校正圖像進(jìn)行立體匹配與視差計(jì)算,并進(jìn)行目標(biāo)矩形區(qū)域裁剪。

3) 結(jié)合視差與標(biāo)定參數(shù)進(jìn)行計(jì)算,得到三維點(diǎn)云。

4) 根據(jù)Mask R-CNN模型得到的mask掩膜自適應(yīng)獲取HSV顏色空間閾值。

5) 根據(jù)顏色閾值對(duì)點(diǎn)云進(jìn)行顏色濾波。

6) 通過歐式聚類的方法將目標(biāo)點(diǎn)云分割出來。

7) 通過OBB對(duì)鋼鐵點(diǎn)云進(jìn)行尺寸估計(jì)。

1.1 基于Mask R-CNN模型的實(shí)例分割算法

Mask R-CNN模型[13]是在Fast R-CNN基礎(chǔ)上,在原本的分類與回歸分支上擴(kuò)展并添加語義分割分支,實(shí)現(xiàn)對(duì)圖像的目標(biāo)檢測(cè)與實(shí)例分割。Mask R-CNN是一種兩階段目標(biāo)檢測(cè)方法:第1階段通過區(qū)域建議網(wǎng)絡(luò)(region proposal network,RPN)生成一系列建議框;第2階段通過生成的建議框與感興趣區(qū)域?qū)R,再對(duì)特征層進(jìn)行截取。最后將截取特征輸入分類、回歸和掩碼3個(gè)分支進(jìn)行不同的預(yù)測(cè)任務(wù)。本文所用Mask R-CNN模型以ResNet101為主干特征提取網(wǎng)絡(luò),在特征提取后利用壓縮2～5次的特征層構(gòu)建特征金字塔,實(shí)現(xiàn)多尺度特征融合。將提取到的P2～P6作為RPN的有效特征層進(jìn)行建議框的提取,將P2～P5作為3個(gè)分支的有效特征層對(duì)建議框進(jìn)行最終預(yù)測(cè)。通過RPN對(duì)有效特征層獲取先驗(yàn)框調(diào)整參數(shù)并判斷框內(nèi)是否存在物體,隨后對(duì)先驗(yàn)框進(jìn)行調(diào)整和篩選后得到建議框。建議框是對(duì)圖片有物體的區(qū)域進(jìn)行初步篩選,再結(jié)合主干特征提取網(wǎng)絡(luò)獲得的多個(gè)公用特征層,經(jīng)由ROI Align網(wǎng)絡(luò)根據(jù)建議框?qū)μ卣鲗舆M(jìn)行截取,截取后的特征經(jīng)卷積后輸入到不同的檢測(cè)分支對(duì)建議框進(jìn)行調(diào)整和預(yù)測(cè),并得到最終預(yù)測(cè)結(jié)果。Mask R-CNN網(wǎng)絡(luò)框架圖如圖2所示。

圖2 Mask R-CNN網(wǎng)絡(luò)框架圖

采用單獨(dú)使用深度學(xué)習(xí)的方式對(duì)目標(biāo)進(jìn)行像素級(jí)的圖像分割具有很大的限制。首先,對(duì)數(shù)據(jù)集的數(shù)量和質(zhì)量要求較高,圖像采集和打標(biāo)簽的工作量也非常龐大;其次,目前的實(shí)例分割模型對(duì)目標(biāo)的邊緣還無法做到精度很高的分割。然而,深度學(xué)習(xí)在目標(biāo)檢測(cè)領(lǐng)域能達(dá)到非常高的精度,因此本文采用Mask R-CNN模型作為點(diǎn)云算法的預(yù)處理模塊,其功能包含目標(biāo)檢測(cè)和實(shí)例分割功能。目標(biāo)檢測(cè)得到的目標(biāo)框?qū)⒛繕?biāo)截取出來,減少計(jì)算量并突出目標(biāo),減少背景干擾;實(shí)例分割的邊緣精度不高但是能夠提取出目標(biāo)的主體部分作為自適應(yīng)顏色閾值算法的輸入。自適應(yīng)顏色閾值算法對(duì)目標(biāo)邊緣不敏感,只需要獲得目標(biāo)的主體顏色,因此不需要追求實(shí)例分割的高精度,這大大降低了對(duì)數(shù)據(jù)集的要求。

1.2 基于雙目視覺的立體重建

本文使用open CV庫中半全局塊匹配(semi-global block matching,SGBM)算法[14]對(duì)校正圖像進(jìn)行立體匹配與視差計(jì)算,如圖3所示。

圖3 圖像裁剪

計(jì)算出的視差圖如圖3b所示,由于圖像像素大小為2 048×2 040,先對(duì)左視圖和視差圖進(jìn)行目標(biāo)截取,根據(jù)識(shí)別出的目標(biāo)框,截取圖像獲得更小的圖片,減少計(jì)算量和背景干擾。

雙目視覺利用雙目視差原理計(jì)算物體實(shí)際坐標(biāo),如圖4所示。

圖4 雙目立體視覺示意圖

計(jì)算公式如下:

(1)

(2)

(3)

其中:B為左右基線距離;Xleft、Xright、Yu為相機(jī)坐標(biāo)系下的圖像坐標(biāo);ul、vl為左相機(jī)圖像的像素坐標(biāo);cx、cy為光心坐標(biāo)。通過式(1)～(3)可計(jì)算物體在左相機(jī)坐標(biāo)系下的坐標(biāo)。

1.3 基于顏色的點(diǎn)云濾波

本文選取的實(shí)驗(yàn)?zāi)繕?biāo)是汽車B柱,具有典型的銀白色金屬光澤。針對(duì)場(chǎng)景中前景有多個(gè)干擾物體的情況,本文通過顏色的差異先對(duì)前景的物體進(jìn)行處理,對(duì)目標(biāo)進(jìn)行顏色濾波,將非目標(biāo)點(diǎn)云離散化,同時(shí)也減少點(diǎn)云數(shù)量,提高后續(xù)點(diǎn)云處理速度。

圖像的顏色分割可通過不同的顏色空間進(jìn)行區(qū)分,較為常用的有RGB顏色空間、HSV顏色空間、YCbCr顏色空間和Lab顏色空間。根據(jù)實(shí)際場(chǎng)景采集的圖片,進(jìn)行調(diào)參實(shí)驗(yàn)發(fā)現(xiàn),HSV顏色空間能夠取得更理想的分離效果,能夠在將前景中汽車B柱較完整保留下來的同時(shí),將前景目標(biāo)邊緣的像素濾除,實(shí)驗(yàn)結(jié)果如圖5所示,因此本文顏色濾波采用HSV顏色空間。

圖5 不同顏色空間下的顏色濾波圖

通過掩膜提取目標(biāo)的RGB三通道值,并轉(zhuǎn)化到HSV顏色空間,再計(jì)算HSV三通道的像素分布。RGB顏色空間到HSV顏色空間的轉(zhuǎn)化公式如下:

(4)

(5)

V=cmax

(6)

其中:H、S、V分別為HSV顏色空間三通道的像數(shù)值;R、G、B分別為RGB顏色空間三通道的像數(shù)值;cmax、cmin分別為當(dāng)前像素點(diǎn)RGB三通道中的最大值和最小值。

根據(jù)實(shí)驗(yàn)發(fā)現(xiàn),頻率分布區(qū)間劃分越多,閾值計(jì)算越準(zhǔn)確,同時(shí)計(jì)算量也將加大,本文選擇了100個(gè)分布區(qū)間。將HSV三通道的頻率分布數(shù)列輸入自適應(yīng)顏色閾值選取算法中,得到目標(biāo)物體的顏色分割閾值,算法偽代碼如下。

Input:顏色頻率分布a,b;顏色占比scale=0.9

//a存儲(chǔ)頻率,b存儲(chǔ)區(qū)間

Output:顏色閾值{thresholdmin,thresholdmax}

x←max a//將最高頻率賦值給x

m,n←index(maxa)//左右起始閾值賦值

whilex 0) do

ifm

m++//最大閾值右移

x←x+a[m]//頻率和增加

end if

ifn> 0 then//最小值未越界

n--//最小值左移

x←x+a[n]//頻率和增加

end if

end while

thresholdmin←b[n]

thresholdmax←b[m+1]

return thresholdmin,thresholdmax

將獲得的點(diǎn)云的RGB顏色空間轉(zhuǎn)化到HSV顏色空間,并根據(jù)自適應(yīng)HSV顏色閾值進(jìn)行點(diǎn)云顏色濾波,使非目標(biāo)點(diǎn)云離散而目標(biāo)點(diǎn)云保持連通。

1.4 歐式點(diǎn)云聚類

通過上一步點(diǎn)云的顏色濾波,將非目標(biāo)點(diǎn)云離散化而最大限度保留了目標(biāo)點(diǎn)云的完整和連通。針對(duì)顏色濾波后的點(diǎn)云特點(diǎn),本文結(jié)合歐式聚類的方法,將目標(biāo)點(diǎn)云分割。歐式聚類利用點(diǎn)與點(diǎn)之間的歐式距離進(jìn)行聚類,點(diǎn)與點(diǎn)之間的歐式距離小于設(shè)定閾值則視為一類。由于點(diǎn)云數(shù)據(jù)較大,為提高計(jì)算速度,本文在歐式聚類前先對(duì)點(diǎn)云進(jìn)行隨機(jī)下采樣,同時(shí)采用構(gòu)建K-d樹的方法提高計(jì)算速度,算法偽代碼如下。

Input:P-Could,tolerance,P-Sizemin,P-Sizemax

//點(diǎn)云,最大距離,最小、最大點(diǎn)云數(shù)量

Output:點(diǎn)云聚類結(jié)果{clusters}

kdtree←EstablishKdtree(P-Could)

P-Num←P-Cloud.length

for idx=0 →P-Num do

if processed[idx]==1 then//該點(diǎn)已處理

continue

end if

seedq←idx//加入一個(gè)種子點(diǎn)

processed[idx] ← 1//標(biāo)記該點(diǎn)已處理

sqidx← 0

while sqidx

k,Ind←kdtree(P-Could[seedq[sqidx]])

//獲取種子點(diǎn)的鄰近點(diǎn)數(shù)量及索引

ifk==1 then

sqidx++

continue

end if

forj=0 →kdo

if Ind[j]==P-Num‖

processed[Ind[j]]==1 then

continue

//已經(jīng)處理的近鄰點(diǎn)則跳出此次循環(huán)繼續(xù)

end if

seedq← Ind[j]

processed[Ind[j]]=1

//加入種子點(diǎn),并標(biāo)記

end for

sqidx++

end while

if P-Sizemax>seedq.length>P-Sizemin then

clusters ←seedq

//聚類結(jié)果存入clusters

end if

end for

return clusters

算法中最大距離參數(shù)的選擇與圖像大小和相機(jī)視野大小有關(guān),計(jì)算公式如下:

1.1αFS≤t≤1.8αFS

(7)

(8)

其中:t為最大距離閾值;α為點(diǎn)云下采樣倍率;FS為比例因子;Fov為單邊相機(jī)視野;P為單邊圖像像素大小;L、W分別為長和寬,Fov和P的長或?qū)捯鄬?duì)應(yīng)。

1.5 點(diǎn)云尺寸估計(jì)

鋼鐵回收過程中需要對(duì)廢舊鋼鐵進(jìn)行尺寸估計(jì)以進(jìn)行定價(jià)和回收處理。針對(duì)點(diǎn)云的尺寸估計(jì),本文采用OBB的方式進(jìn)行尺寸估計(jì), 它沿著點(diǎn)云的主成分方向生成一個(gè)最小的可以隨物體旋轉(zhuǎn)的矩形包圍盒,能夠更緊密地貼近物體,該方法比較廣泛地用于碰撞檢測(cè)中。

點(diǎn)云的有向包圍盒將通過對(duì)點(diǎn)云的主成分分析獲得特征向量,以這些特征向量作為包圍盒的主軸。點(diǎn)云的協(xié)方差矩陣A的特征向量表示有向包圍盒的主軸方向。點(diǎn)云的中心為包圍盒的中心,以點(diǎn)云中心為包圍盒的中心,沿主軸方向計(jì)算x、y、z3個(gè)方向的半長度,即可求出點(diǎn)云的有向包圍盒。具體計(jì)算公式如下:

cov(Xi,Xj)=E[(Xi-μi)(Xj-μj]

(9)

(10)

式(9)為協(xié)方差計(jì)算公式,其中,μ為均值。

2 實(shí)驗(yàn)結(jié)果與對(duì)比分析

2.1 實(shí)驗(yàn)平臺(tái)

實(shí)驗(yàn)平臺(tái)包括圖像采集設(shè)備和算法運(yùn)行環(huán)境,圖像采集設(shè)備采用2個(gè)相同型號(hào)的工業(yè)相機(jī)(Basler acA2440-20gc)和工業(yè)鏡頭(C0828-5M)組成雙目立體視覺,如圖6所示,最大圖像像素大小為2 440×2 048,工作距離為2 m,視野大小為2.1×1.775 m。深度學(xué)習(xí)模型Mask R-CNN在工作站上完成GPU加速訓(xùn)練后將權(quán)重下載并移植到算法運(yùn)行環(huán)境中。運(yùn)行環(huán)境如下:操作系統(tǒng)為Windows 10;CPU為Intel(R) Core(TM) i5-7300HQ;IDE為VS Code;深度學(xué)習(xí)框架為Tensorflow 1.13.1+keras 2.1.5。

圖6 雙目相機(jī)

2.2 實(shí)驗(yàn)結(jié)果

將400張金屬汽車零部件的圖像按照6∶2∶2的比例劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集,再對(duì)訓(xùn)練集進(jìn)行數(shù)據(jù)增強(qiáng)到3 000張圖像,輸入Mask R-CNN模型中進(jìn)行訓(xùn)練,訓(xùn)練100次迭代的損失曲線如圖7所示,從圖7可以看出,在迭代約80次后趨于收斂,在0.50～0.95全部IoU閾值下,回歸框的平均精確率為0.892,平均召回率為0.902;掩膜的平均精確率為0.672,平均召回率為0.900。

圖7 Mask R-CNN模型訓(xùn)練迭代過程

校正后的圖像對(duì)如圖8所示,目標(biāo)檢測(cè)和實(shí)例分割的圖像為校正后的左相機(jī)圖像,識(shí)別結(jié)果如圖9所示。為減小運(yùn)算量,對(duì)左視圖和視差圖進(jìn)行裁剪,如圖3所示,并進(jìn)行三維重建得到初始點(diǎn)云。為提高運(yùn)行速度,將初始點(diǎn)云進(jìn)行下采樣,下采樣倍率α=10。因此,依據(jù)式(7)、式(8)取聚類閾值t=10。通過顏色濾波與歐式聚類得到的聚類點(diǎn)云如圖10所示。

圖9 汽車B柱目標(biāo)檢測(cè)圖

圖10 點(diǎn)云歐式聚類示意圖

2.3 對(duì)比分析

為定量分析雙目視覺目標(biāo)點(diǎn)云分割算法的性能,參考文獻(xiàn)[12,15-16]的濾波誤差評(píng)價(jià)方法,將原始點(diǎn)云O分為目標(biāo)點(diǎn)OT和非目標(biāo)點(diǎn)OF,分割后的點(diǎn)云分為目標(biāo)點(diǎn)ST和非目標(biāo)點(diǎn)SF,濾除的點(diǎn)云包括目標(biāo)點(diǎn)DT和非目標(biāo)點(diǎn)DF。第Ⅰ類誤差為將非目標(biāo)點(diǎn)判斷成目標(biāo)點(diǎn)的誤差,即Ea=(SF/DF)×100%;第Ⅱ類誤差為總誤差,將非目標(biāo)點(diǎn)誤判為目標(biāo)點(diǎn)和將目標(biāo)點(diǎn)誤判為非目標(biāo)點(diǎn),即Eb=[(SF+DT)/O]×100%;定義目標(biāo)的分割完整度為分割的目標(biāo)點(diǎn)云與目標(biāo)點(diǎn)云的比值,即I=(ST/OT)×100%。其中,真實(shí)的目標(biāo)點(diǎn)云通過人為劃分的方法來確定。

為驗(yàn)證本文算法的可行性,采用部分替換及與其他方法進(jìn)行對(duì)比的方式進(jìn)行對(duì)比實(shí)驗(yàn)。文獻(xiàn)[17]提出了采用半徑濾波進(jìn)行預(yù)處理后采用歐式聚類的方法進(jìn)行目標(biāo)點(diǎn)云分割;文獻(xiàn)[18]采用Mask R-CNN實(shí)例分割算法對(duì)橋梁進(jìn)行目標(biāo)檢測(cè)與實(shí)例分割,根據(jù)分割掩膜對(duì)點(diǎn)云進(jìn)行分割;基于此基礎(chǔ)上,將2種算法結(jié)合,將Mask R-CNN模型與半徑濾波和歐式聚類結(jié)合。

為驗(yàn)證目標(biāo)檢測(cè)模型對(duì)本文算法的影響,本文采用YOLOv5s-seg模型替換為Mask R-CNN模型后再進(jìn)行顏色濾波與歐式聚類的方法,并通過對(duì)比進(jìn)行驗(yàn)證本文算法。YOLOv5s-seg是基于YOLOv5網(wǎng)絡(luò)的輕量級(jí)實(shí)例分割模型。在相同的數(shù)據(jù)集訓(xùn)練后,0.50～0.95全部IoU閾值下回歸框的平均精確率為0.664,掩膜的平均精確率為0.673。

圖像的識(shí)別結(jié)果如圖9所示。從圖9可以看出:Mask R-CNN模型的目標(biāo)框識(shí)別準(zhǔn)確率更高,在圖像中能夠?qū)⒛繕?biāo)物體更加完整地包圍;YOLOv5s-seg則沒能完整地包圍目標(biāo)物體,且掩膜中存在錯(cuò)誤掩膜。

汽車B柱點(diǎn)云為本文實(shí)驗(yàn)對(duì)象,雙目重建后原始點(diǎn)云中點(diǎn)數(shù)目為107 142,其中:目標(biāo)點(diǎn)數(shù)目為25 416;需要濾除的點(diǎn)數(shù)目為81 726。將本文算法與以上4種算法進(jìn)行對(duì)比,結(jié)果見表1所列,效果圖如圖11所示。從表1和圖11可以看出,本文算法對(duì)目標(biāo)點(diǎn)云的分割誤差比其他算法更小,點(diǎn)云完整度也更高。文獻(xiàn)[17]利用半徑濾波和歐式聚類的方法無法從前景的多個(gè)物體中將目標(biāo)分離出來,雖然完整度很高,但是第Ⅰ類誤差和第Ⅱ類誤差均超過了20%。

表1 算法誤差對(duì)比

圖11 算法效果對(duì)比圖

文獻(xiàn)[18]利用Mask R-CNN模型結(jié)合圖像分割點(diǎn)云,雖然誤差減小,但是點(diǎn)云附近增加了很多噪點(diǎn),并且由于圖像像素分割不夠準(zhǔn)確,點(diǎn)云邊緣還有很多非目標(biāo)點(diǎn)云。在文獻(xiàn)[18]基礎(chǔ)上增加歐式聚類,可以將點(diǎn)云邊緣附近的非目標(biāo)點(diǎn)云濾除,減小誤差,但從圖11中可以發(fā)現(xiàn),由于目標(biāo)檢測(cè)算法的掩膜分割不夠準(zhǔn)確,點(diǎn)云中的目標(biāo)點(diǎn)丟失很多,導(dǎo)致點(diǎn)云缺失了一部分。將目標(biāo)檢測(cè)模塊換成YOLOv5s-seg模型后,由于目標(biāo)檢測(cè)回歸框的準(zhǔn)確率較低,導(dǎo)致無法將目標(biāo)完整地框選,因此會(huì)使保留的目標(biāo)點(diǎn)ST減少,濾除的目標(biāo)點(diǎn)DT增大,進(jìn)而增大2種誤差。同時(shí),目標(biāo)框內(nèi)出現(xiàn)的錯(cuò)誤掩膜將會(huì)影響顏色率波。由于YOLOv5s-seg模型識(shí)別的掩膜中出現(xiàn)了非目標(biāo)物體,掩膜的顏色分布將會(huì)出現(xiàn)變化,顏色濾波的自適應(yīng)閾值也會(huì)偏移,導(dǎo)致的結(jié)果如圖11f所示,點(diǎn)云中出現(xiàn)了較大的空洞,導(dǎo)致點(diǎn)云的完整度降低。由以上分析可知,目標(biāo)檢測(cè)模型的回歸框?qū)⒂绊懽罱K點(diǎn)云的完整度,回歸框應(yīng)盡可能完整地包圍目標(biāo);掩膜影響最終點(diǎn)云的分割誤差和完整度,主要是由于錯(cuò)誤掩膜的影響,掩膜輪廓精度對(duì)最終效果無影響。

本文所提出的算法充分考慮到圖像前景干擾物體多,深度學(xué)習(xí)算法數(shù)據(jù)集不夠充分的情況,利用圖像的顏色、幾何、統(tǒng)計(jì)等特征,根據(jù)目標(biāo)的顏色分布,設(shè)計(jì)了自適應(yīng)顏色閾值選取算法,結(jié)合歐式聚類對(duì)目標(biāo)進(jìn)行點(diǎn)云分割,分割點(diǎn)云的完整度可達(dá)到90%以上,第Ⅰ、第Ⅱ類誤差分別為0.615%、2.807%。綜合來看,本文提出的算法效果最佳。根據(jù)圖11算法效果對(duì)比可知,本文算法對(duì)于邊緣點(diǎn)云的分割更加精確。

同時(shí),在多個(gè)廢舊鋼鐵汽車零部件上,本文算法均表現(xiàn)出較好的分割性能,具有一定的泛化能力。不同物體效果如圖12所示,圖12中:物體a為汽車B柱;物體b為汽車上的廢舊零部件;物體c為一塊方形廢鋼。通過本文算法進(jìn)行雙目點(diǎn)云自適應(yīng)分割,得到的效果圖能夠較為清晰的表現(xiàn)出物體形貌。

圖12 不同物體效果圖

根據(jù)實(shí)驗(yàn)統(tǒng)計(jì),在本文的設(shè)備環(huán)境下,本文算法對(duì)圖12的3個(gè)物體進(jìn)行點(diǎn)云分割的運(yùn)行時(shí)間統(tǒng)計(jì)結(jié)果見表2所列。

表2 不同物體數(shù)據(jù)對(duì)比

總運(yùn)行時(shí)間包括目標(biāo)檢測(cè)時(shí)間、立體校正和三維重構(gòu)時(shí)間、顏色濾波時(shí)間、歐式聚類時(shí)間,其中顏色濾波和歐式聚類占用的時(shí)間較多,這主要與目標(biāo)點(diǎn)云的數(shù)量有關(guān),目標(biāo)點(diǎn)云越多,耗費(fèi)時(shí)間越多。從表2可以看出,點(diǎn)云分割誤差也表現(xiàn)較好,說明本文算法具有一定的泛用性和實(shí)用價(jià)值。本文算法的應(yīng)用對(duì)象為雙目點(diǎn)云,因此點(diǎn)云的規(guī)模是可控制的,實(shí)驗(yàn)所用設(shè)備采集的最大圖像像素為2 448×2 040,物體通常在整個(gè)圖像上不會(huì)超過畫面的1/4。這種情況下,物體原始未處理點(diǎn)云通常不會(huì)超過1×106個(gè)點(diǎn),為提高運(yùn)行效率需要在不影響計(jì)算準(zhǔn)確度和點(diǎn)云形貌的基礎(chǔ)上進(jìn)行下采樣,一般可以進(jìn)行10∶1下采樣,因此本文算法的點(diǎn)云處理規(guī)模通常為105以下。當(dāng)圖像中出現(xiàn)多物體時(shí),采用多線程技術(shù)處理點(diǎn)云可以提高效率,本文算法處理一對(duì)圖像的點(diǎn)云時(shí)間30 s左右。當(dāng)采用性能更加優(yōu)秀的計(jì)算機(jī)并對(duì)目標(biāo)檢測(cè)模型進(jìn)行剪枝、知識(shí)蒸餾以及采用更高的下采樣倍率,都將縮減運(yùn)行時(shí)間。

根據(jù)OBB計(jì)算方法計(jì)算物體a點(diǎn)云的主方向和半長度大小,包圍盒效果圖如圖13所示。

圖13 物體a的OBB效果

點(diǎn)云的長、寬、厚分別為1 139.28、 451.48、120.91 mm。OBB能夠緊密地包裹住點(diǎn)云,較為準(zhǔn)確地估計(jì)出點(diǎn)云的大小,實(shí)現(xiàn)了在鋼鐵回收過程中對(duì)廢舊鋼鐵的尺寸評(píng)估,提高了鋼鐵回收效率和經(jīng)濟(jì)效益。

3 結(jié) 論

本文針對(duì)鋼鐵回收開放式環(huán)境下雙目視覺點(diǎn)云數(shù)據(jù),分析了場(chǎng)景和點(diǎn)云的幾何、顏色、統(tǒng)計(jì)分布等特征信息,提出了一種針對(duì)鋼鐵回收開放式場(chǎng)景下的雙目視覺鋼鐵點(diǎn)云分割和尺寸估計(jì)算法。首先通過基于Mask R-CNN的實(shí)例分割算法進(jìn)行初步處理,將目標(biāo)區(qū)域裁剪出來;然后通過掩膜區(qū)域進(jìn)行自適應(yīng)HSV空間顏色閾值自適應(yīng)選取,對(duì)裁剪區(qū)域進(jìn)行三維重建生成點(diǎn)云;再對(duì)點(diǎn)云進(jìn)行顏色濾波和歐式聚類,從而得到完整的目標(biāo)點(diǎn)云;最后通過OBB對(duì)目標(biāo)點(diǎn)云進(jìn)行尺寸估計(jì),得到點(diǎn)云的三維信息。

本文以廢舊汽車B柱為實(shí)驗(yàn)?zāi)繕?biāo),模擬回收中面臨的開放式環(huán)境進(jìn)行對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,本文算法對(duì)汽車B柱點(diǎn)云的提取效果優(yōu)于其他同類型算法。同時(shí),對(duì)于點(diǎn)云邊緣的完整性明顯優(yōu)于其他算法。算法還存在一些不足之處,如目標(biāo)點(diǎn)云中存在少數(shù)點(diǎn)云的顏色與其他點(diǎn)云顏色不同,則該部分點(diǎn)云會(huì)被顏色濾波濾除,導(dǎo)致有一小部分目標(biāo)點(diǎn)云缺失,點(diǎn)云完整度受到影響,因此進(jìn)一步的工作是建立更完備的點(diǎn)云提取模型,以提高鋼鐵回收過程中鋼鐵點(diǎn)云的提取精度。