田立勛， 劉雄飛， 張彩芹， 王文佳， 傅建中

(1. 浙江大學(xué) 機(jī)械工程學(xué)院，浙江,杭州 310058; 2. 杭州永創(chuàng)智能設(shè)備股份有限公司，浙江,杭州 310058; 3. 北京先見(jiàn)科技有限公司，北京 100070)

堆疊物料無(wú)序分揀即為從隨機(jī)堆疊物料中取出最上層指定目標(biāo)的技術(shù). 目前，堆疊物料目標(biāo)定位方法主要可以分為三類：基于傳統(tǒng)人工特征的方法，基于三維信息的方法和基于深度學(xué)習(xí)的方法. 賈東永等[1]設(shè)計(jì)了一種基于視覺(jué)前饋和視覺(jué)反饋的仿人機(jī)器人抓取操作，并通過(guò)實(shí)驗(yàn)驗(yàn)證了該方法的可用性. 施家棟等[2]提出了一種基于卡爾曼濾波的動(dòng)態(tài)場(chǎng)景中運(yùn)動(dòng)目標(biāo)的檢測(cè)算法. 上述傳統(tǒng)算法雖然無(wú)需采集和標(biāo)注數(shù)據(jù)，但對(duì)光照和形變的魯棒性較差，檢測(cè)精度不高，適用范圍有限. Lenz等[3]提出了一種基于全連接網(wǎng)絡(luò)和深度圖像進(jìn)行無(wú)序分揀的算法，Harada等[4]提出了一種基于深度相機(jī)和SVM/RF對(duì)抓取點(diǎn)進(jìn)行篩選的辦法. 這類基于目標(biāo)深度信息的算法雖然精度較高，但是滿足精度的深度相機(jī)價(jià)格昂貴，成本較高. Danielczuk等[5]利用人工生成的三維數(shù)據(jù)訓(xùn)練深度學(xué)習(xí)模型，通過(guò)Mask RCNN算法對(duì)分揀目標(biāo)進(jìn)行分割，最后將坐標(biāo)返回機(jī)械手完成抓取. Zeng等[6-7]提出一種利用FCN算法對(duì)RGB-D圖像進(jìn)行處理，得到不同角度下抓取目標(biāo)區(qū)域的熱力圖，據(jù)此識(shí)別最適合抓取的位置. 上述基于深度學(xué)習(xí)的一般算法，一方面需要高頻GPU和深度相機(jī)等硬件設(shè)備的支持，成本高，另一方面無(wú)法識(shí)別相互之間存在小面積堆疊的目標(biāo)，精度仍然有待提高.

① 文中設(shè)計(jì)了一套基于單目相機(jī)和深度學(xué)習(xí)算法的堆疊物料定位分揀系統(tǒng)，能分辨出堆疊物料的上下層目標(biāo)，并對(duì)指定目標(biāo)進(jìn)行定位和分揀. 由于本系統(tǒng)只使用了單目光學(xué)相機(jī)，無(wú)需使用深度相機(jī)即可完成分揀，降低了系統(tǒng)成本. 文中優(yōu)化了檢測(cè)算法，設(shè)計(jì)了一系列目標(biāo)函數(shù)，提高了對(duì)小面積堆疊目標(biāo)的檢測(cè)準(zhǔn)確率. 文中提出的四角定位法，可適用于任意扁平形狀堆疊目標(biāo)的定位. 本系統(tǒng)已成功應(yīng)用于真實(shí)的工業(yè)生產(chǎn)場(chǎng)景中.

② 文中基于depthwise convolutions和pointwise convolutions[8]對(duì)模型進(jìn)行優(yōu)化，將BN層參數(shù)融合進(jìn)卷積層，最后使用OpenVINO等工具進(jìn)行加速，進(jìn)一步減少了算法計(jì)算量，降低算法運(yùn)行所需的硬件條件，降低了系統(tǒng)成本.

本系統(tǒng)是基于目標(biāo)的二維信息以及目標(biāo)之間的相互堆疊情況來(lái)定位最上層目標(biāo)，只能定位出目標(biāo)的二維坐標(biāo)信息，無(wú)法準(zhǔn)確測(cè)算出目標(biāo)在豎直方向的高度. 另一方面，本系統(tǒng)在機(jī)械手上裝了如圖1所示的彈簧結(jié)構(gòu)的緩沖褶皺，能讓系統(tǒng)對(duì)抓取目標(biāo)所在的高度范圍有一定的魯棒性. 綜上所述，本系統(tǒng)主要適用于定位目標(biāo)的厚度不超過(guò)彈簧結(jié)構(gòu)緩沖高度的扁平狀目標(biāo).

傳統(tǒng)方法所需的深度相機(jī)價(jià)格昂貴，而本系統(tǒng)只使用單目光學(xué)相機(jī)，降低了系統(tǒng)成本. 針對(duì)一般深度學(xué)習(xí)算法無(wú)法識(shí)別小面積堆疊區(qū)域的問(wèn)題. 文中通過(guò)優(yōu)化目標(biāo)函數(shù)和修改網(wǎng)絡(luò)結(jié)構(gòu)，在不損失速度的前提下，有效提高分揀的準(zhǔn)確率. 最后，文中還通過(guò)對(duì)算法的時(shí)間復(fù)雜度進(jìn)行優(yōu)化，進(jìn)一步提高運(yùn)算速度，降低成本. 測(cè)試結(jié)果顯示，本系統(tǒng)能在現(xiàn)實(shí)應(yīng)用場(chǎng)景中達(dá)到0.3 cm以內(nèi)的精度，驗(yàn)證了文中工作的有效性.

1 問(wèn)題分析

工業(yè)生產(chǎn)時(shí)，產(chǎn)品放置于傳送帶上，隨著傳送帶的移動(dòng)依次往前執(zhí)行各項(xiàng)流程. 所有流程執(zhí)行完畢，需要從傳送帶上抓取成品產(chǎn)品，依序堆置于外包裝箱內(nèi)，出廠銷售. 傳統(tǒng)裝箱主要依靠工人手動(dòng)操作完成. 但是人工分揀不僅錯(cuò)誤率高，而且生產(chǎn)效率低下，所以物料自動(dòng)分揀系統(tǒng)也就應(yīng)運(yùn)而生.

要實(shí)現(xiàn)高精度的物料自動(dòng)分揀，存在兩個(gè)難點(diǎn)：

① 因?yàn)閭魉蛶б苿?dòng)速度較快，系統(tǒng)要在目標(biāo)移動(dòng)的指定距離內(nèi)，完成對(duì)目標(biāo)的檢測(cè)和抓取，這要求算法的運(yùn)算速度夠快. 相對(duì)應(yīng)，這對(duì)系統(tǒng)的硬件條件也提出了較高要求.

② 堆疊物料中無(wú)可避免存在一些小面積堆疊的目標(biāo)，這些目標(biāo)很容易被誤檢. 如果在下層的目標(biāo)被誤判成上層目標(biāo)，機(jī)械手在抓取下層目標(biāo)時(shí)，會(huì)帶動(dòng)上層目標(biāo)，極易造成抓飛. 產(chǎn)品抓飛在工業(yè)生產(chǎn)中是嚴(yán)重的事故，必須避免.

2 目標(biāo)定位系統(tǒng)設(shè)計(jì)

文中設(shè)計(jì)了一套包含三個(gè)模塊的目標(biāo)定位系統(tǒng)，各個(gè)模塊按序級(jí)聯(lián)運(yùn)作，逐步定位目標(biāo).

2.1 候選目標(biāo)檢測(cè)

針對(duì)無(wú)序分揀任務(wù)的特點(diǎn)，文中以SSD[9]檢測(cè)算法為原型，設(shè)計(jì)了目標(biāo)檢測(cè)模塊.

針對(duì)無(wú)序分揀定位精度更重要的特點(diǎn)，使用了如下Loss函數(shù)：

L(x,c,l,g)=

(1)

式中:N為默認(rèn)匹配的候選框總數(shù)，定位的目標(biāo)函數(shù)是預(yù)測(cè)框(1)和基準(zhǔn)框(g)之間的L1范數(shù)，分類的目標(biāo)函數(shù)為目標(biāo)預(yù)測(cè)類別x和目標(biāo)基準(zhǔn)類別c的softmax函數(shù);因?yàn)闊o(wú)序分揀的定位精度更為重要，所以設(shè)置常數(shù)α=1.2.

無(wú)序分揀的最小堆疊面積大小為20個(gè)像素左右，且長(zhǎng)寬比例差距較大，而SSD算法候選錨點(diǎn)框的最小尺寸是30個(gè)像素，長(zhǎng)寬比例大多為正方形，這會(huì)造成大量的目標(biāo)錯(cuò)檢. 為了解決這個(gè)問(wèn)題，文中重新設(shè)計(jì)了SSD算法的頭部特征處理部分，將目標(biāo)候選錨點(diǎn)框的最小尺寸下降到了20個(gè)像素并增加了更多長(zhǎng)寬比例的候選錨點(diǎn)框. 圖2所示為文中對(duì)候選目標(biāo)框的改進(jìn)圖，圖中虛線框?yàn)镾SD[10]算法預(yù)設(shè)的錨點(diǎn)框，文中在其基礎(chǔ)上，增加了黑色加粗實(shí)線框用于檢測(cè)小尺度目標(biāo)和不規(guī)則目標(biāo).

為了能夠獲得更小的感受視野，文中從第10個(gè)卷積層抽取錨點(diǎn)框，并對(duì)其進(jìn)行回歸和分類. 圖3為候選目標(biāo)檢測(cè)模塊結(jié)構(gòu)圖，左側(cè)加粗的黑線部分是文中新添加的網(wǎng)絡(luò)層.

由于文中算法對(duì)SSD算法的目標(biāo)函數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)都進(jìn)行了針對(duì)性的改進(jìn)，算法的準(zhǔn)確率和召回率都獲得了較大提升.

2.2 候選目標(biāo)篩選

由于候選目標(biāo)檢測(cè)階段所使用的圖像分辨率過(guò)小，算法會(huì)將被遮擋面積較小的目標(biāo)誤判為候選目標(biāo)，造成誤檢. 為了解決這個(gè)問(wèn)題，文中設(shè)計(jì)了候選目標(biāo)篩選模塊，使用分辨率更高的圖像作為輸入數(shù)據(jù)，對(duì)候選目標(biāo)區(qū)域再做一次篩選.

在實(shí)踐中發(fā)現(xiàn)，將目標(biāo)所在區(qū)域的圖像外擴(kuò)數(shù)個(gè)像素，讓卷積神經(jīng)網(wǎng)絡(luò)有更大的選擇余地，檢測(cè)得到的結(jié)果將會(huì)更加準(zhǔn)確. 因此，本模塊統(tǒng)一將輸入圖像都外擴(kuò)若干像素，再輸入卷積神經(jīng)網(wǎng)絡(luò). 通過(guò)外擴(kuò)操作，候選目標(biāo)框才能覆蓋目標(biāo)的角點(diǎn)，才能準(zhǔn)確判斷是否為上層目標(biāo).

如圖4所示，最內(nèi)側(cè)實(shí)線框?yàn)閱坞A段檢測(cè)算法檢測(cè)得到的候選目標(biāo)框，最外側(cè)的虛線框?yàn)橥鈹U(kuò)后的目標(biāo)框，中間的深色線為目標(biāo)的真實(shí)邊界框. 由于單階段檢測(cè)算法的固有缺陷，定位精度不高，通過(guò)將候選框外擴(kuò)的辦法，利用后續(xù)的處理模塊修復(fù)這一問(wèn)題.

為了兼顧精度和速度，文中使用MobileNet[8]的結(jié)構(gòu)作為主干網(wǎng)絡(luò)，同時(shí)設(shè)計(jì)了如下函數(shù)作為目標(biāo)函數(shù)：

Lcls(y,p(y))=-ylog(p(y))-

(1-y)log(p(1-y)),

(2)

式中：y為預(yù)測(cè)標(biāo)簽類型的示性函數(shù);p(y)為預(yù)測(cè)類型對(duì)應(yīng)的預(yù)測(cè)概率.

本模塊根據(jù)網(wǎng)絡(luò)前向傳播的結(jié)果判斷是否屬于正確的分揀目標(biāo). 若神經(jīng)網(wǎng)絡(luò)判定候選目標(biāo)為正確分揀目標(biāo)，則將該目標(biāo)周圍的感興趣圖像區(qū)域送入下一個(gè)模塊進(jìn)行處理；否則，將該候選目標(biāo)篩除，不做處理.

2.3 關(guān)鍵點(diǎn)檢測(cè)及四角定位

為了能準(zhǔn)確抓取到目標(biāo)，不僅需要檢測(cè)出目標(biāo)的中心點(diǎn)和邊界，還需要準(zhǔn)確檢測(cè)出目標(biāo)的朝向角度. 所以，文中使用第三個(gè)模塊檢測(cè)目標(biāo)的關(guān)鍵點(diǎn)，然后進(jìn)一步得到目標(biāo)的朝向角度.

根據(jù)無(wú)序抓取的需求，本模塊選擇檢測(cè)目標(biāo)的左上角、右上角、右下角、左下角和中心點(diǎn)5個(gè)特征點(diǎn)，4個(gè)角的特征點(diǎn)用于計(jì)算目標(biāo)的朝向角度，中心點(diǎn)用于判斷抓取位置. 上述5點(diǎn)中，各點(diǎn)都是帶有位置標(biāo)識(shí)的，每個(gè)點(diǎn)不僅包含坐標(biāo)信息，也包含圖5所示1～4號(hào)的位置類別信息. 因?yàn)樗慕嵌ㄎ环ǖ?個(gè)特征點(diǎn)，可以定位至任意二維形狀目標(biāo)的任意點(diǎn)，所以本方法適用性較廣. 文中設(shè)計(jì)了一種基于歐氏距離的目標(biāo)函數(shù)，用以度量關(guān)鍵點(diǎn)檢測(cè)的準(zhǔn)確程度，其具體形式如式(3)所示.

(3)

為使本模塊的檢測(cè)速度和精度能同時(shí)滿足工業(yè)生產(chǎn)需求，本模塊使用MobileNet[8]為主干網(wǎng)絡(luò)，在網(wǎng)絡(luò)的最后一層卷積層輸出10個(gè)量，依序分別對(duì)應(yīng)5個(gè)特征點(diǎn)的x和y坐標(biāo). 接著，根據(jù)特征點(diǎn)計(jì)算出目標(biāo)的中軸線與水平線所成的角度，作為目標(biāo)的朝向角度，對(duì)第5個(gè)特征點(diǎn)和檢測(cè)框中心點(diǎn)取平均，作為抓取點(diǎn). 產(chǎn)品角度計(jì)算示意圖如圖5所示. 最后，將目標(biāo)的抓取點(diǎn)坐標(biāo)和角度朝向一起傳輸給機(jī)械手，由機(jī)械手執(zhí)行分揀操作.

本系統(tǒng)以四邊形目標(biāo)為例，但是實(shí)際上任意扁平形狀的目標(biāo)均可由這5個(gè)帶有位置標(biāo)識(shí)的關(guān)鍵點(diǎn)計(jì)算得出角度和中心點(diǎn)，用于無(wú)序分揀. 只要稍加更改標(biāo)注數(shù)據(jù)，文中的四角定位法可適用于任意扁平形狀的目標(biāo).

通過(guò)上述三步級(jí)聯(lián)操作，由粗到細(xì)，使用卷積神經(jīng)網(wǎng)絡(luò)逐步得到分揀目標(biāo)的輪廓信息，完成目標(biāo)分揀.

2.4 算法優(yōu)化加速

本系統(tǒng)通過(guò)使用depthwise convolutions和pointwise convolutions降低模型FLOPs，BN層參數(shù)和卷積層參數(shù)融合減少網(wǎng)絡(luò)層數(shù)，最后使用OpenVINO對(duì)整個(gè)模型進(jìn)行優(yōu)化.

depthwise convolutions和pointwise convolutions是一種卷積核解耦操作. 假設(shè)輸入圖像為DF×DF×M,標(biāo)準(zhǔn)卷積核的尺寸為DK×DK×M×N，則標(biāo)準(zhǔn)卷積核在該層卷積運(yùn)算的時(shí)間復(fù)雜度為

o(DKDKMNDFDF).

(4)

而將其解耦后，depthwise convolutions和pointwise convolutions的時(shí)間復(fù)雜度為

o(DKDKMDFDF+MNDFDF).

(5)

從式(5)(6)可以得到卷積核解耦前后時(shí)間復(fù)雜度對(duì)比為

(6)

系統(tǒng)網(wǎng)絡(luò)所使用的卷積核大多為3×3，以此計(jì)算，計(jì)算量減少為原來(lái)的10%左右.

本系統(tǒng)在網(wǎng)絡(luò)訓(xùn)練階段，使用了Batch Normalization技術(shù)，加快了訓(xùn)練速度. 但是在前向傳播階段，需要Convolution層，BatchNorm層和Scale層才能實(shí)現(xiàn)批歸一化. 本系統(tǒng)通過(guò)參數(shù)融合的方法，將三個(gè)層合并為一個(gè)層，減少計(jì)算量. 本系統(tǒng)按照式(7)(8)合并參數(shù)，將三個(gè)層的參數(shù)合并為一個(gè)層的參數(shù)：

(7)

(8)

在CPU是Core i7-8700的硬件條件下，原版SSD[10]的檢測(cè)耗時(shí)為500 ms左右，使用depthwise convolutions和pointwise convolutions代替普通卷積之后，檢測(cè)耗時(shí)降低到70 ms，在BN層合并之后耗時(shí)降低到60 ms. 最后在經(jīng)過(guò)OpenVINO優(yōu)化后，檢測(cè)占用時(shí)間為15 ms.

通過(guò)上述優(yōu)化加速，本系統(tǒng)無(wú)需安裝GPU即可滿足實(shí)時(shí)性，進(jìn)一步降低了硬件成本.

3 實(shí)驗(yàn)結(jié)果與分析

3.1 測(cè)試數(shù)據(jù)

文中測(cè)試所使用的數(shù)據(jù)均從真實(shí)的工業(yè)生產(chǎn)場(chǎng)景中采集得到. 文中算法一共使用了3 618張圖像，其中3 454張為訓(xùn)練集，164張為測(cè)試集. 上述采集得到的圖像均為RGB圖像，大小均為2 590×1 942. 將所有圖像數(shù)據(jù)按照不同紋理分為四類，測(cè)試系統(tǒng)在不同類別目標(biāo)紋理上的表現(xiàn).

3.2 實(shí)驗(yàn)步驟

為了驗(yàn)證本系統(tǒng)有效性，文中設(shè)計(jì)了如下所述方案進(jìn)行測(cè)試.

首先，將所有圖像按不同紋理目標(biāo)分為四類，然后對(duì)這四類圖像分別進(jìn)行標(biāo)注. 因?yàn)榉謷z測(cè)分為三步，需要三個(gè)卷積神經(jīng)網(wǎng)絡(luò)，所以需要按三種方式分別進(jìn)行標(biāo)注:第一步是候選框檢測(cè)，將最上方的目標(biāo)按VOC的格式標(biāo)注范圍框;第二步是候選框篩選，在原圖中剪切出上層目標(biāo)框和下層目標(biāo)框，用于分類篩選;最后一步是關(guān)鍵點(diǎn)檢測(cè)，標(biāo)定出目標(biāo)的5個(gè)關(guān)鍵點(diǎn)，用于訓(xùn)練關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò).

在數(shù)據(jù)標(biāo)注完成之后，開(kāi)始訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型. 在上述實(shí)驗(yàn)環(huán)境下，整個(gè)算法的訓(xùn)練時(shí)間在48 h左右. 本文中使用的深度學(xué)習(xí)框架是Caffe[10].

接著，將訓(xùn)練得到的模型用于分揀檢測(cè). 先將圖像做一定的預(yù)處理，然后輸入到候選框檢測(cè)網(wǎng)絡(luò)，再將所得到的候選框感興趣區(qū)域圖像輸入到分類篩選網(wǎng)絡(luò)，最后用關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)得到目標(biāo)的角點(diǎn)和中心點(diǎn)，進(jìn)一步算出目標(biāo)的朝向和中心點(diǎn)坐標(biāo)，發(fā)送給機(jī)械手.

最后，文中還復(fù)現(xiàn)了SIFT,SURF,ORB和BRISK等傳統(tǒng)算法作為對(duì)比參照組，與本系統(tǒng)算法結(jié)果進(jìn)行比較.

3.3 檢測(cè)結(jié)果的評(píng)價(jià)指標(biāo)

本次測(cè)試主要選用了三種指標(biāo)來(lái)展示系統(tǒng)的定位效果：①平均位置差(ME)，這是定位誤差的直接表示；②均方根誤差(RMSE)，它不僅反映了系統(tǒng)的定位誤差大小，也反映了系統(tǒng)的定位穩(wěn)定性；③檢測(cè)時(shí)間，ms.

本次測(cè)試的ME取預(yù)測(cè)坐標(biāo)和基準(zhǔn)坐標(biāo)歐氏距離差的平均值. 其數(shù)學(xué)表達(dá)式為

(9)

此外，本次測(cè)試的RMSE按式(10)計(jì)算為

(10)

文中根據(jù)檢測(cè)結(jié)果計(jì)算上述兩個(gè)評(píng)價(jià)指標(biāo)，全面地展示系統(tǒng)的定位性能.

3.4 檢測(cè)結(jié)果與分析

用本系統(tǒng)分別測(cè)試4種不同紋理的目標(biāo)圖像，對(duì)其檢測(cè)結(jié)果進(jìn)行統(tǒng)計(jì)，最后計(jì)算得出的ME和LRMSE結(jié)果分別如表1和表2所示，兩個(gè)表格的第1行均為本系統(tǒng)的結(jié)果，2～5行為傳統(tǒng)算法的參照對(duì)比實(shí)驗(yàn)組，ME和LRMSE的單位均為cm.

從表1結(jié)果可以看到，對(duì)于不同紋理的檢測(cè)目標(biāo)，關(guān)鍵點(diǎn)定位的歐氏距離差在0.3 cm之內(nèi)，能準(zhǔn)確完成定位和角度計(jì)算工作. 相對(duì)應(yīng)，傳統(tǒng)算法的誤差在0.5 cm以上.

如表2所示，與4種其他傳統(tǒng)算法相比，本系統(tǒng)的RMSE都是最小的，這直接證明了本系統(tǒng)設(shè)計(jì)的有效性. 其中，本系統(tǒng)的RMSE在0.5 cm以內(nèi)，傳統(tǒng)算法的RMSE至少在0.9 cm以上，這說(shuō)明本系統(tǒng)方法精度和穩(wěn)定性都超過(guò)了傳統(tǒng)算法.

表3所示為本系統(tǒng)的檢測(cè)速度與傳統(tǒng)算法的檢測(cè)速度對(duì)比表. 本系統(tǒng)的檢測(cè)耗時(shí)在76～79 ms之間，而傳統(tǒng)算法的耗時(shí)最快的也在337 ms以上，從這一對(duì)比可直接證明文中對(duì)算法模型優(yōu)化的有效性.

表1 檢測(cè)結(jié)果ME表

表2 檢測(cè)結(jié)果RMSE表

表3 檢測(cè)時(shí)間對(duì)比表

圖6為本系統(tǒng)的一個(gè)典型候選框檢測(cè)結(jié)果圖，左側(cè)的檢測(cè)框?yàn)檎_候選框，右側(cè)為錯(cuò)誤候選框. 從圖中可以看出，該算法模塊的候選框檢測(cè)無(wú)漏檢，定位位置準(zhǔn)確. 通過(guò)第二個(gè)分類模塊的篩選，右側(cè)的錯(cuò)誤候選框得以篩除，左側(cè)的正確候選框得以保留.

圖7為經(jīng)過(guò)篩選且經(jīng)過(guò)關(guān)鍵點(diǎn)檢測(cè)模塊處理后得到的結(jié)果圖. 從圖中可以看到，關(guān)鍵點(diǎn)檢測(cè)的位置基本準(zhǔn)確，能滿足機(jī)械手抓取的需求.

上述檢測(cè)結(jié)果可以證明，本系統(tǒng)適用于真實(shí)工業(yè)物料分揀場(chǎng)景，且精度能滿足實(shí)際生產(chǎn)需要.

4 結(jié) 論

文中針對(duì)傳統(tǒng)分揀目標(biāo)定位方法的局限性，提出了一種基于深度學(xué)習(xí)的低成本級(jí)聯(lián)式堆疊目標(biāo)定位系統(tǒng). 針對(duì)傳統(tǒng)算法對(duì)光照和形變魯棒性低的問(wèn)題，構(gòu)建了一個(gè)數(shù)據(jù)全面且均衡的訓(xùn)練集，采用了深度學(xué)習(xí)算法用于檢測(cè)目標(biāo)，提高了定位精度. 本系統(tǒng)采集的是目標(biāo)的二維圖像信息，無(wú)需昂貴的高精度深度相機(jī)，降低了系統(tǒng)成本. 為了解決其他視覺(jué)算法無(wú)法識(shí)別小面積堆疊區(qū)域的問(wèn)題，改進(jìn)了候選框檢測(cè)模塊，構(gòu)建了一個(gè)候選目標(biāo)篩選網(wǎng)絡(luò)，用于篩除小面積堆疊的目標(biāo)，取得了較好的效果.

本系統(tǒng)使用一個(gè)單階段目標(biāo)檢測(cè)算法得到候選目標(biāo)框，然后使用一個(gè)卷積神經(jīng)網(wǎng)絡(luò)對(duì)候選目標(biāo)框進(jìn)行篩選，最后再對(duì)篩選后的目標(biāo)框進(jìn)行特征點(diǎn)檢測(cè)，得到目標(biāo)的坐標(biāo)和角度. 測(cè)試結(jié)果顯示，本系統(tǒng)在真實(shí)工業(yè)數(shù)據(jù)中取得了較好的精度，能夠滿足實(shí)際生產(chǎn)的需要.