燕 碩，李建松，唐昌松

(徐州工業(yè)職業(yè)技術(shù)學(xué)院 機(jī)電工程學(xué)院，江蘇 徐州 221140)

0 引言

在智能化要求越來(lái)越高的情況下，傳統(tǒng)的示教編程規(guī)劃?rùn)C(jī)器人路徑的方法已經(jīng)不能滿(mǎn)足多樣化的生產(chǎn)需求[1-2]。具備視覺(jué)檢測(cè)功能的工業(yè)機(jī)器人替代傳統(tǒng)的示教方法，一定程度上發(fā)揮人眼檢測(cè)的功能?；谏窠?jīng)網(wǎng)絡(luò)的視覺(jué)識(shí)別系統(tǒng)調(diào)用攝像頭后，將圖像信號(hào)傳送給訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)識(shí)別模型，該模型將圖像信息轉(zhuǎn)變成數(shù)字信號(hào)[3]，再利用特征提取方法提取目標(biāo)物體的特征[4]，從而實(shí)現(xiàn)目標(biāo)檢測(cè)和定位，進(jìn)而控制現(xiàn)場(chǎng)的機(jī)器人實(shí)施抓取動(dòng)作。

1 視覺(jué)引導(dǎo)方案

引導(dǎo)系統(tǒng)如圖1所示，首先由攝像頭采集物體的圖像信息，將此圖像信息傳送至PC中的神經(jīng)網(wǎng)絡(luò)模型，神經(jīng)網(wǎng)絡(luò)模型開(kāi)始識(shí)別圖像信息，包括種類(lèi)、建議框位置等，然后將該圖像信息傳輸至機(jī)器人端的位置寄存器PR[i]，機(jī)器人端讀取位置寄存器中的位置信息并執(zhí)行抓取程序，實(shí)施抓取動(dòng)作。在機(jī)器人視覺(jué)[5]系統(tǒng)引導(dǎo)方案中，為了能夠?qū)崿F(xiàn)準(zhǔn)確而快速地執(zhí)行完整個(gè)流程，需要對(duì)攝像頭進(jìn)行正確的選型并進(jìn)行相機(jī)標(biāo)定[6-7]，同時(shí)為了統(tǒng)一相機(jī)的坐標(biāo)系和機(jī)器人的坐標(biāo)系還需對(duì)兩者進(jìn)行手眼標(biāo)定[8-10]，在下文中將介紹這些內(nèi)容。

圖1 引導(dǎo)方案示意圖

2 特征提取方法與目標(biāo)檢測(cè)模型

2.1 特征提取方法

2.1.1 卷積和池化

(1)

圖2 卷積過(guò)程

其中：P為填充(在特征平面邊緣部分增加空白填充以適應(yīng)卷積核的大小)，s為步長(zhǎng)，f為卷積核尺寸。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)時(shí)，會(huì)更新卷積核內(nèi)的參數(shù)。

卷積提取特征時(shí)，卷積窗口從左至右、從上至下滑動(dòng)，物體特征由具體到抽象、由淺層到深層依次提取，如圖3所示，圖像經(jīng)過(guò)卷積后，物體的特征逐漸抽象。卷積神經(jīng)網(wǎng)絡(luò)的另一個(gè)優(yōu)點(diǎn)是可以降低參數(shù)量[13]，如圖4所示，假設(shè)圖像有1 000×1 000像素，網(wǎng)絡(luò)有100萬(wàn)個(gè)隱含層的神經(jīng)元，若將它們?nèi)B接會(huì)產(chǎn)生1 000×1 000×1 000 000共計(jì)1012的權(quán)值參數(shù)。由于該卷積核進(jìn)行卷積時(shí)的參數(shù)相同，所以只提取了一種特征，此時(shí)可以增加不同卷積核的數(shù)量來(lái)提取多種特征，如顏色、邊緣形狀等，若有100個(gè)不同的卷積核，進(jìn)行卷積操作后就會(huì)得到100個(gè)特征平面(Feature Map)，此時(shí)的參數(shù)量只有100×100=10 000個(gè)，相比全連接方式有了較大程度的下降。

圖3 卷積特征提取過(guò)程

圖4 不同連接方式的參數(shù)量

池化作為一種降維的方法，一般跟在卷積層之后用來(lái)減小特征平面(Feature Map)的尺寸，從而減少計(jì)算量，和卷積一樣通過(guò)感受野在特征平面上滑動(dòng)逐步掃描全局。如圖5所示，最大池化是選取感受野中的最大值，可獲取局部信息。池化后的特征平面尺寸依據(jù)式(2)得到：

(2)

圖5 最大池化

其中：n為池化前(輸入到池化層中的特征平面)的特征平面的尺寸，f為池化窗口的尺寸，s為池化操作的步長(zhǎng)(每次池化窗口移動(dòng)的距離)。經(jīng)最大池化后圖像尺寸減小，但保留了主要的特征信息，實(shí)際效果如圖6所示。

圖6 池化的實(shí)際效果

2.1.2 特征融合方法

YOLOV5中采用一種基于切片[14]操作(Slice)用來(lái)降低特征平面(Feature Map)尺寸的下采樣方法，切片可將特征平面切割成較小的尺寸，把高分辨率的特征平面隔列切割成低分辨率的特征平面，再進(jìn)行拼接，如圖7所示，不同于池化操作單純縮小尺寸，而是將原始圖像按照橫縱坐標(biāo)方向各做二倍間隔采樣得到的特征平面，再經(jīng)過(guò)路由(Concat)連接形成新的特征圖。此操作能將二維平面特征向通道維度轉(zhuǎn)換，可減少下采樣(如池化操作)帶來(lái)的信息損失。

圖7 切片操作

2.1.3 激活函數(shù)

卷積的操作是通過(guò)參數(shù)的矩陣乘法來(lái)實(shí)現(xiàn)的，所以純卷積運(yùn)算的本質(zhì)是線(xiàn)性操作，不具備非線(xiàn)性分類(lèi)能力。激活函數(shù)的輸入是神經(jīng)網(wǎng)絡(luò)的輸入與權(quán)值的加權(quán)，激活函數(shù)的作用是給神經(jīng)網(wǎng)絡(luò)帶來(lái)非線(xiàn)性的特征，特別是深層神經(jīng)網(wǎng)絡(luò)，如圖8所示，激活函數(shù)可以實(shí)現(xiàn)復(fù)雜的非線(xiàn)性分類(lèi)任務(wù)。

圖8 激活函數(shù)提供非線(xiàn)性分類(lèi)能力

2.1.4 損失函數(shù)

損失函數(shù)用來(lái)描述真實(shí)值和預(yù)測(cè)值之間的差異，香農(nóng)(Shannon)認(rèn)為信息量[15]與事件發(fā)生的概率成反比，信息量越小則發(fā)生的概率越大，反之亦然。假設(shè)某一事件發(fā)生的概率為p(x)，則信息量表示為：

I(x)=-log(P(x))

(3)

信息熵又可稱(chēng)之為熵，用所有信息量的期望來(lái)表示，設(shè)隨機(jī)變量X，則信息熵可以表示為：

(4)

若X有兩個(gè)獨(dú)立的概率分布P(x)、Q(x)，那么可使用相對(duì)熵(KL散度)來(lái)描述P(x)、Q(x)之間的差異，相對(duì)熵(KL散度)可表示為：

(5)

實(shí)際上，若相對(duì)熵(KL散度)越小，則P(x)、Q(x)的分布便更接近，因此可以通過(guò)訓(xùn)練Q(x)的分布使其逼近P(x)的分布。將相對(duì)熵的表達(dá)式可拆解為：

(6)

其中：H[p(x)]表示信息熵，后者為交叉熵，交叉熵相比相對(duì)熵更加容易計(jì)算，所以常使用交叉熵計(jì)算損失函數(shù)。

2.2 目標(biāo)檢測(cè)模型

2.2.1 YOLOV5檢測(cè)模型

(7)

圖9 B1和B2的交集、并集與差集

IOU的值越大，說(shuō)明B1、B2兩框越接近，所以定義損失函數(shù)IOU_Loss為[22]：

(8)

進(jìn)一步使用CIOU_Loss[23]作為預(yù)測(cè)框的損失函數(shù)[24]，C代表矩形B1、B2的最小外接矩形，那么差集為并集減去交集，則CIOU_Loss可表示為：

(9)

其中：

ρ2(b，bgt)為預(yù)測(cè)框和真實(shí)框的中心點(diǎn)的歐式距離；c外接矩形C的對(duì)角線(xiàn)距離；w為外接矩形框的寬度；h為外接矩形框的高度。

目標(biāo)檢測(cè)的時(shí)候，由于預(yù)測(cè)框采用滑動(dòng)窗口的方式在原始圖像上做檢測(cè)，所以一個(gè)被檢測(cè)物體上會(huì)出現(xiàn)多個(gè)預(yù)測(cè)框重復(fù)的情況。如圖10所示，為了得到被檢測(cè)目標(biāo)上正確的預(yù)測(cè)框，使用非極大值抑制(NMS，non maximum suppression)[25]的方法抑制冗余的預(yù)測(cè)框，首先將所有的預(yù)測(cè)框根據(jù)得分(得分代表該框正確框出目標(biāo)的概率)排序，將最高分對(duì)應(yīng)的框保留，并與其他所有框依次計(jì)算IOU，若IOU大于設(shè)定的閾值，則刪除此框，將剩余的框(不含最高分對(duì)應(yīng)的框)繼續(xù)重復(fù)上述步驟即可得到被檢測(cè)目標(biāo)正確的預(yù)測(cè)框。

圖10 非極大值抑制

2.2.2 模型訓(xùn)練及評(píng)價(jià)指標(biāo)

為實(shí)現(xiàn)對(duì)4種物體(書(shū)、盤(pán)子、手機(jī)、盒子)分類(lèi)并檢測(cè)，首先獲取4種物體的相應(yīng)圖片共3 200張，將獲取到的圖片命名為：類(lèi)別+編號(hào)的形式存放在數(shù)據(jù)集images中，采用精靈標(biāo)注對(duì)圖片標(biāo)注，此步驟主要獲取物體的目標(biāo)框在圖片中的位置坐標(biāo)，精靈標(biāo)注后將獲得目標(biāo)框的左上、右下頂點(diǎn)的像素坐標(biāo)、類(lèi)別、圖像的尺寸、圖片通道深度等，把所有的圖像標(biāo)注好后生成標(biāo)簽文件，與原圖名稱(chēng)對(duì)應(yīng)。將所有圖像按照8∶1∶1的比例劃分為訓(xùn)練集、驗(yàn)證集與測(cè)試集。本次模型訓(xùn)練在Python3.7，Pytorch1.6.0，cuda10.0環(huán)境上進(jìn)行。設(shè)置訓(xùn)練的參數(shù)中，‘--weights’：加載預(yù)訓(xùn)練的模型權(quán)重文件yolov5m.pt；‘--cfg’：選擇yolov5m.yaml模型配置；‘--data’：選擇制作好的數(shù)據(jù)集；‘--epochs’：訓(xùn)練總輪次，本次訓(xùn)練300輪?！?-batch-size’：一次訓(xùn)練選取的圖片數(shù)，這里設(shè)置16。

本次訓(xùn)練過(guò)程中，在訓(xùn)練至0～50輪之間準(zhǔn)確率(Precision)快速上升，50～100輪之間準(zhǔn)確率(Precision)上升緩慢，100輪后準(zhǔn)確率達(dá)到0.97后開(kāi)始小幅震蕩。召回率在訓(xùn)練的0～50輪之間快速上升，達(dá)到0.98保持不變。目標(biāo)框損失下降過(guò)程較緩慢，在訓(xùn)練250輪之后的損失為0.015左右，分類(lèi)損失下降較快最終接近0，可見(jiàn)分類(lèi)比目標(biāo)框損失更易收斂，驗(yàn)證集上也保持了相同的趨勢(shì)。

2.2.3 目標(biāo)檢測(cè)實(shí)驗(yàn)

分別在亮光、暗光條件下拍攝手機(jī)、書(shū)、盤(pán)子、盒子4種物體的照片送入檢測(cè)網(wǎng)絡(luò)，網(wǎng)絡(luò)調(diào)用訓(xùn)練好的權(quán)重文件進(jìn)行檢測(cè)，其檢測(cè)結(jié)果如圖11所示：對(duì)4種物體在亮光和暗光條件下各進(jìn)行50次識(shí)別實(shí)驗(yàn)，結(jié)果如表1所示，在亮光條件下，YOLOV5網(wǎng)絡(luò)對(duì)4種物體的識(shí)別成功率高于暗光，對(duì)手機(jī)的識(shí)別成功率最高。(由于排版的原因圖11的照片經(jīng)過(guò)裁剪縮放等操作，故顯示像素坐標(biāo)與檢測(cè)框大小不成比例)。

表1 視覺(jué)識(shí)別成功率統(tǒng)計(jì)結(jié)果

圖11 視覺(jué)檢測(cè)結(jié)果

3 機(jī)器人手眼標(biāo)定

3.1 機(jī)器人手眼標(biāo)定原理

為使機(jī)器人能順利抓取物體，需將像素坐標(biāo)轉(zhuǎn)換成機(jī)器人坐標(biāo)，這個(gè)過(guò)程為機(jī)器人手眼標(biāo)定。工業(yè)機(jī)器人包括用戶(hù)、工具、關(guān)節(jié)等在內(nèi)的多個(gè)坐標(biāo)系，如圖12所示，不同類(lèi)型的機(jī)器人坐標(biāo)系有著不同的適用場(chǎng)景，在自動(dòng)識(shí)別抓取機(jī)器人系統(tǒng)中選用用戶(hù)坐標(biāo)系建立實(shí)驗(yàn)平臺(tái)，且攝像頭的視野可覆蓋整個(gè)坐標(biāo)系。

圖12 機(jī)器人坐標(biāo)系

“手眼標(biāo)定”中，“手”代表機(jī)械手，“眼”代表攝像頭，根據(jù)相機(jī)的不同搭載方式可分為“eye in hand”、“eye to hand”兩種，如圖13所示，“eye in hand”方式中，攝像頭跟隨機(jī)器人的移動(dòng)而移動(dòng)，“eye to hand”方式中，攝像頭固定不動(dòng)，在本文自動(dòng)識(shí)別抓取機(jī)器人的實(shí)驗(yàn)中，將采用“eye to hand”方式。

圖13 eye in hand和eye to hand

手眼標(biāo)定有幾種不同的方法，本文抓取實(shí)驗(yàn)中由于被抓取物體的高度是一定的，且采取同一種自上而下的抓取姿勢(shì)，這里提出簡(jiǎn)單的六點(diǎn)標(biāo)定法。其思想為假設(shè)有一個(gè)變換矩陣T，能將像素坐標(biāo)系中的點(diǎn)X=[x，y，1]T轉(zhuǎn)換為機(jī)器人用戶(hù)坐標(biāo)系中的點(diǎn)Y=[x′，y′，1]T，即TX=Y，可以表示為：

(10)

3.2 機(jī)器人手眼標(biāo)定實(shí)驗(yàn)

固定好相機(jī)確保視野覆蓋工作臺(tái)，將標(biāo)定針固定在機(jī)器人六軸法蘭盤(pán)上，并保持標(biāo)定針的末端與被抓取物體的高度持平；將標(biāo)定板置于相機(jī)下方，調(diào)整相機(jī)焦距確保拍攝清晰，記錄標(biāo)定點(diǎn)在像素坐標(biāo)系中的坐標(biāo)；將標(biāo)定針移動(dòng)到標(biāo)定點(diǎn)上，記錄在機(jī)器人坐標(biāo)系中的坐標(biāo)。在本次實(shí)驗(yàn)中，分別記錄了相機(jī)像素坐標(biāo)系中的6個(gè)隨機(jī)點(diǎn)和其對(duì)應(yīng)的機(jī)器人坐標(biāo)系中的點(diǎn)，本次實(shí)驗(yàn)記錄的坐標(biāo)如表2所示。得到轉(zhuǎn)換矩陣后，拍攝一組照片，經(jīng)轉(zhuǎn)換矩陣轉(zhuǎn)換后與機(jī)器人坐標(biāo)系中的坐標(biāo)對(duì)比，結(jié)果如表3所示。

表2 六點(diǎn)采集坐標(biāo)

表3 手眼標(biāo)定結(jié)果

計(jì)算可得轉(zhuǎn)換矩陣：

(11)

將轉(zhuǎn)換后的橫、縱坐標(biāo)與機(jī)器人實(shí)際測(cè)量的橫、縱坐標(biāo)做均方誤差，可以得到橫坐標(biāo)的均方誤差約為MSE(x)=0.18 mm，縱坐標(biāo)的均方誤差約為MSE(y)=0.60 mm，標(biāo)定精度能夠滿(mǎn)足要求。

4 目標(biāo)定位方法研究

4.1 目標(biāo)定位方法

對(duì)于工業(yè)機(jī)器人來(lái)說(shuō)若想準(zhǔn)確抓取物體，則需要被檢測(cè)物體上的一個(gè)目標(biāo)點(diǎn)與機(jī)器人的TCP點(diǎn)對(duì)應(yīng)，這里提出一種簡(jiǎn)便的目標(biāo)定位方法，可使神經(jīng)網(wǎng)絡(luò)識(shí)別坐標(biāo)(像素坐標(biāo))轉(zhuǎn)換為機(jī)器人坐標(biāo)系中的定位坐標(biāo)。3.2節(jié)中將圖像的像素坐標(biāo)系和機(jī)器人的用戶(hù)坐標(biāo)系統(tǒng)一起來(lái)，本節(jié)探索目標(biāo)定位的方法。

在2.2節(jié)中，物體經(jīng)YOLOV5算法識(shí)別后會(huì)得到其在像素坐標(biāo)系中的位置坐標(biāo)信息，即物體的最大外接矩形左上、右下頂點(diǎn)坐標(biāo)，圖14為像素坐標(biāo)系u-v中的兩個(gè)像素坐標(biāo)點(diǎn)(401，205)、(455，261)，在一般情況下將其表示為(x1，y1)、(x2，y2)，將手眼標(biāo)定得到的變換矩陣與該坐標(biāo)相乘，可把兩坐標(biāo)轉(zhuǎn)換至機(jī)器人的用戶(hù)坐標(biāo)系中，表示為：

(12)

圖14 抓取點(diǎn)

在式(12)中，(x1′，y1′)、(x2′，y2′)為轉(zhuǎn)換后的機(jī)器人用戶(hù)坐標(biāo)系中的坐標(biāo)，機(jī)器人用戶(hù)坐標(biāo)系user_xy中物體檢測(cè)框如圖15所示，本文中工業(yè)機(jī)器人抓取實(shí)驗(yàn)對(duì)象為盤(pán)子，由于盤(pán)子形狀基本上為圓形，所以抓取點(diǎn)可以定位為盤(pán)子中心點(diǎn)，將該點(diǎn)表示為[(x1′+x2′)/2，(y1′+y2′)]，該點(diǎn)即為定位抓取點(diǎn)。FANUC工業(yè)機(jī)器人的位置、位姿表示有6個(gè)參數(shù)，分別為(x，y，z，w，p，r)其中x，y，z為位置信息，用來(lái)描述物體在機(jī)器人坐標(biāo)系中的位置；w，p，r為位姿信息，用來(lái)描述機(jī)器人抓取時(shí)末端姿態(tài)，包括旋轉(zhuǎn)、傾斜角度等。前文說(shuō)到被抓取物體的高度是一定的，且采取同一種自上而下的抓取姿勢(shì)，所以將z，w，p，r設(shè)置為固定值。由于定位坐標(biāo)由轉(zhuǎn)換后的機(jī)器人坐標(biāo)計(jì)算而來(lái)，因此定位點(diǎn)的實(shí)際偏差可參考表3，其誤差較低，能夠獲得較高的定位精度。

圖15 抓取點(diǎn)表示

4.2 物體坐標(biāo)數(shù)據(jù)的傳輸研究

如圖16所示，獲取到定位點(diǎn)坐標(biāo)后，該坐標(biāo)經(jīng)手眼標(biāo)定矩陣計(jì)算后得到機(jī)器人坐標(biāo)系坐標(biāo)，并將該坐標(biāo)實(shí)時(shí)保存至指定路徑，上位機(jī)從該指定的路徑中采集坐標(biāo)，將其傳輸至機(jī)器人的PR[i]位置寄存器。為了能夠順利實(shí)現(xiàn)坐標(biāo)的采集與發(fā)送，設(shè)計(jì)了數(shù)據(jù)傳輸模塊上位機(jī)FanucTransTool。

圖16 數(shù)據(jù)傳輸過(guò)程

4.2.1 工作方案

數(shù)據(jù)傳輸模塊是將PC端上位機(jī)視覺(jué)定位數(shù)據(jù)傳輸至機(jī)器人控制柜，并通過(guò)機(jī)器人編程執(zhí)行相關(guān)動(dòng)作。

基于FANUC Robot Interface接口通信可以直接調(diào)用API接口將數(shù)據(jù)寫(xiě)入機(jī)器人DO信號(hào)、PR寄存器、R寄存器等。根據(jù)實(shí)際系統(tǒng)設(shè)計(jì)的需要，數(shù)據(jù)傳輸模塊分為幾部分，分別是：機(jī)器人通信設(shè)置模塊、實(shí)時(shí)數(shù)據(jù)顯示模塊、日志模塊、讀取文件數(shù)據(jù)模塊以及實(shí)時(shí)傳輸模塊。

4.2.2 讀寫(xiě)控制流程

基于FANUC Robot Interface接口讀取FANUC機(jī)器人IO數(shù)據(jù)流程如圖17所示，PC端和FANUC機(jī)器人進(jìn)行通信前，需創(chuàng)建FRRJIF.Core object對(duì)象，并設(shè)置讀寫(xiě)IO的索引范圍，連接通信后才可讀寫(xiě)IO數(shù)據(jù)，程序執(zhí)行結(jié)束后需斷開(kāi)連接并釋放創(chuàng)建的對(duì)象。

圖17 讀寫(xiě)控制流程

4.2.3 開(kāi)發(fā)與運(yùn)行環(huán)境

數(shù)據(jù)傳輸模塊的開(kāi)發(fā)與運(yùn)行環(huán)境如表4所示，Visual Studio 2015作為開(kāi)發(fā)環(huán)境，C++編寫(xiě)程序代碼。數(shù)據(jù)傳輸模塊上位機(jī)FanucTransTool如圖18所示。

表4 開(kāi)發(fā)與運(yùn)行環(huán)境

圖18 數(shù)據(jù)傳輸模塊界面

5 機(jī)器人視覺(jué)抓取系統(tǒng)實(shí)驗(yàn)

5.1 機(jī)器人抓取實(shí)驗(yàn)平臺(tái)搭建

本文的機(jī)器人視覺(jué)抓取系統(tǒng)如圖19所示，選用深圳祺云公司的FA0420C型號(hào)4 mm定焦鏡頭，成像尺寸7.2 mm×5.3 mm，靶面尺寸1/1.8″，相機(jī)選擇顯微精工的XW500型工業(yè)相機(jī)，像元尺寸2.2 mm×2.2 μm，工業(yè)機(jī)器人選擇FANUC-M10IA-12六軸工業(yè)機(jī)器人，在機(jī)器人末端固定兩個(gè)吸盤(pán)，工業(yè)相機(jī)固定在工作臺(tái)上，視野可以覆蓋整個(gè)工作臺(tái)面，相機(jī)通過(guò)USB接口和PC連接。機(jī)器人連同底座固定在地面上，機(jī)器人的用戶(hù)坐標(biāo)系建立在工作臺(tái)面上，其x與相機(jī)像素坐標(biāo)系的u方向相同，y與相機(jī)像素坐標(biāo)系的v方向相同，圖中的工業(yè)機(jī)器人和工業(yè)相機(jī)構(gòu)成了一個(gè)典型的eye to hand結(jié)構(gòu)。除了上述設(shè)備外還有PC機(jī)、氣泵、真空發(fā)生器、相機(jī)支架、工作臺(tái)以及其他輔助設(shè)備。

圖19 機(jī)器人視覺(jué)抓取系統(tǒng)

5.2 軟件控制流程

軟件邏輯流程如圖20所示，數(shù)據(jù)傳輸模塊界面如圖21所示，通信建立之后，數(shù)據(jù)傳輸模塊會(huì)將FANUC機(jī)器人上線(xiàn)信號(hào)置1，會(huì)定時(shí)讀取位姿數(shù)據(jù)，若位姿數(shù)據(jù)變化，則將數(shù)據(jù)發(fā)送至機(jī)器人，完成后將機(jī)器人坐標(biāo)完成信號(hào)置1，機(jī)器人執(zhí)行動(dòng)后將坐標(biāo)完成信號(hào)DO置0，完成整個(gè)數(shù)據(jù)傳輸流程。

圖20 軟件邏輯流程圖

圖21 抓取控制流程

5.3 實(shí)驗(yàn)控制步驟

機(jī)器人抓取控制步驟如圖21所示，分為單目標(biāo)抓取和多目標(biāo)抓取。當(dāng)工作臺(tái)上只有一個(gè)物體時(shí)為單目標(biāo)抓取，此時(shí)工業(yè)相機(jī)實(shí)時(shí)獲取圖像信息，將其送入識(shí)別算法，視覺(jué)識(shí)別算法會(huì)實(shí)時(shí)刷新并輸出定位坐標(biāo)(刷新周期可設(shè)置，這里設(shè)置為0.1 s)，輸出坐標(biāo)若與上一輸出坐標(biāo)相同，或在給定的誤差范圍內(nèi)(誤差范圍可根據(jù)抓取精度要求而設(shè)定)，則判斷為重復(fù)識(shí)別，本次不抓取，當(dāng)輸出坐標(biāo)與上一輸出坐標(biāo)不同時(shí)則判定為新物體，此時(shí)FanucTransTool會(huì)輸出信號(hào)至工業(yè)機(jī)器人，執(zhí)行抓取指令，當(dāng)機(jī)器人執(zhí)行抓取動(dòng)作時(shí)，視覺(jué)識(shí)別算法停止識(shí)別，直至機(jī)器人完成當(dāng)前物體的抓取并回歸原點(diǎn)等待。當(dāng)工作臺(tái)上一次出現(xiàn)多個(gè)物體時(shí)，為多目標(biāo)抓取，此時(shí)與獲取單目標(biāo)物體的定位坐標(biāo)原理相同，獲取多個(gè)被抓取物體的定位坐標(biāo)，將這些坐標(biāo)按照機(jī)器人用戶(hù)坐標(biāo)系中x的值從大到小將若干坐標(biāo)點(diǎn)排序，將最大坐標(biāo)點(diǎn)傳輸至機(jī)器人端并抓取該物體，抓取完成后再重復(fù)上一步驟，在抓取執(zhí)行過(guò)程中，視覺(jué)識(shí)別算法將不再重復(fù)識(shí)別，直到當(dāng)前抓取動(dòng)作完成后，再進(jìn)行下一輪的識(shí)別。

5.4 數(shù)據(jù)通訊實(shí)驗(yàn)

編寫(xiě)好數(shù)據(jù)傳輸界面后進(jìn)行數(shù)據(jù)的收發(fā)實(shí)驗(yàn)，在數(shù)據(jù)傳輸界面中輸入機(jī)器人端的IP地址，設(shè)置定時(shí)間隔(數(shù)據(jù)傳輸間隔時(shí)間)，并指定機(jī)器人端的輸出信號(hào)DO[i]為連接成功及數(shù)據(jù)傳輸完成的標(biāo)志信號(hào)，如圖22所示，指定一組坐標(biāo)[84，85，86，87，88，89]，數(shù)據(jù)傳輸界面根據(jù)指定路徑至該TXT文檔中采集該坐標(biāo)值，并將其傳輸至工業(yè)機(jī)器人的PR[1]位置寄存器之中，數(shù)據(jù)傳輸成功時(shí)機(jī)器人端的DO[1]會(huì)變成打開(kāi)狀態(tài)，以便于調(diào)用機(jī)器人抓取程序。

圖22 機(jī)器人端PR[i]接收數(shù)據(jù)

5.5 工業(yè)機(jī)器人識(shí)別與抓取實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)任務(wù)是實(shí)現(xiàn)對(duì)工作臺(tái)上單一物體、多目標(biāo)物體的識(shí)別抓取，并在指定位置碼垛，搭建好所有的軟硬件環(huán)境開(kāi)始實(shí)驗(yàn)，啟動(dòng)識(shí)別算法、工業(yè)機(jī)器人原位等待，神經(jīng)網(wǎng)絡(luò)完成定位點(diǎn)坐標(biāo)求解后，機(jī)器人計(jì)算各軸關(guān)節(jié)角進(jìn)行軌跡規(guī)劃，對(duì)物體實(shí)施抓取、搬運(yùn)并碼垛。當(dāng)攝像機(jī)視野中出現(xiàn)多個(gè)物體時(shí)，會(huì)根據(jù)定位點(diǎn)橫坐標(biāo)大小排序，優(yōu)先抓取橫坐標(biāo)小的目標(biāo)，然后依次抓取。單一物體的識(shí)別與抓取效果如圖23所示。

圖23 單一目標(biāo)識(shí)別與抓取

多目標(biāo)時(shí)物體的識(shí)別與抓取效果如圖24所示，機(jī)器人首先移向第一個(gè)物體對(duì)其抓取并放置在指定位置，隨后再依次抓取第二個(gè)、第三個(gè)、第N個(gè)物體，并在指定位置碼垛。

圖24 多目標(biāo)識(shí)別與抓取

表5列出了本次實(shí)驗(yàn)的針對(duì)3種物體(盤(pán)子、手機(jī)、紙盒)，在單一目標(biāo)和多目標(biāo)檢測(cè)、定位、抓取中共180次的實(shí)驗(yàn)數(shù)據(jù)(正確識(shí)別物體的種類(lèi)與定位坐標(biāo)前提下)，實(shí)驗(yàn)的綜合平均抓取成功率約為92.8%。

表5 抓取實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果

在三類(lèi)物體的抓取實(shí)驗(yàn)中，盤(pán)子的成功率最高，原因是盤(pán)子的特殊形狀對(duì)機(jī)器人末端氣動(dòng)吸盤(pán)的位姿角度沒(méi)有要求，但是由于手機(jī)和紙盒表面是矩形形狀，對(duì)機(jī)器人末端吸盤(pán)的位姿有要求，因此導(dǎo)致實(shí)驗(yàn)的成功率略低于盤(pán)子的成功率。

6 結(jié)束語(yǔ)

在建立了機(jī)器人視覺(jué)引導(dǎo)方案的基礎(chǔ)上，針對(duì)機(jī)器人抓取準(zhǔn)確率低、反應(yīng)速度慢的問(wèn)題，提出了將YOLOV5為基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于視覺(jué)識(shí)別。針對(duì)俯視圓形或長(zhǎng)方形被抓取物體，提出了目標(biāo)定位方法，可使神經(jīng)網(wǎng)絡(luò)識(shí)別坐標(biāo)轉(zhuǎn)換為機(jī)器人坐標(biāo)系中的定位坐標(biāo)。提出了六點(diǎn)手眼標(biāo)定原理，通過(guò)六點(diǎn)標(biāo)定法統(tǒng)一了機(jī)器人的用戶(hù)坐標(biāo)系與相機(jī)的像素坐標(biāo)系，實(shí)驗(yàn)結(jié)果顯示在X，Y方向上的抓取精度均滿(mǎn)足工作要求，驗(yàn)證了神經(jīng)網(wǎng)絡(luò)工業(yè)機(jī)器人視覺(jué)抓取系統(tǒng)的準(zhǔn)確性。