關(guān)鍵詞：機(jī)器人；機(jī)器視覺(jué)；N點(diǎn)標(biāo)定；深度學(xué)習(xí)

中圖法分類(lèi)號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A

1引言

隨著當(dāng)今世界經(jīng)濟(jì)的快速發(fā)展，傳統(tǒng)制造業(yè)的轉(zhuǎn)型升級(jí)已迫在眉睫。《中國(guó)制造2025》要求加快發(fā)展新一代的智能制造裝備，未來(lái)制造業(yè)的發(fā)展方向必將是智能制造。工業(yè)機(jī)器人作為現(xiàn)代工業(yè)智能制造的典型代表，在噴涂、焊接、搬運(yùn)以及裝配等多項(xiàng)作業(yè)中被廣泛應(yīng)用。目前，工業(yè)機(jī)器人大多應(yīng)用于批量的生產(chǎn)任務(wù)，操作人員通過(guò)示教和離線(xiàn)編程的方式，預(yù)先給機(jī)器人設(shè)置軌跡并進(jìn)行工件的裝配。此情景下，要求工件的擺放位置固定已知，有時(shí)還需要一定的輔助限位裝置。因此，生產(chǎn)線(xiàn)缺乏靈活性和柔性。近年來(lái)，隨著機(jī)器視覺(jué)技術(shù)的快速發(fā)展與應(yīng)用，加裝工業(yè)之眼后工業(yè)機(jī)器人可以更加智能、靈活地進(jìn)行上下料、裝配等工作，目前的自動(dòng)化生產(chǎn)線(xiàn)中，利用工業(yè)相機(jī)或智能相機(jī)等光學(xué)設(shè)備可以對(duì)目標(biāo)零件進(jìn)行快速識(shí)別和空間位置信息的獲取，進(jìn)而引導(dǎo)機(jī)器人進(jìn)行自主工作。這已經(jīng)成為工業(yè)生產(chǎn)中的一大趨勢(shì)。

隨著人工智能技術(shù)的發(fā)展，機(jī)器人與計(jì)算機(jī)視覺(jué)的結(jié)合越來(lái)越緊密，視覺(jué)引導(dǎo)機(jī)器人完成各種任務(wù)，如裝配、上下料等，越來(lái)越受到研究人員的關(guān)注，并取得了一系列的研究進(jìn)展。機(jī)器人視覺(jué)系統(tǒng)主要作用是利用視覺(jué)設(shè)備識(shí)別出待處理的目標(biāo)并獲取其位置信息，為機(jī)器人抓取、分揀以及裝配提供信息。利用工業(yè)相機(jī)等視覺(jué)設(shè)備獲取目標(biāo)圖像信息，根據(jù)特征檢測(cè)識(shí)別出目標(biāo)，引導(dǎo)機(jī)器人動(dòng)作，因而檢測(cè)識(shí)別的精度影響機(jī)器人動(dòng)作的成敗。目前，國(guó)內(nèi)外研究人員針對(duì)不同的目標(biāo)產(chǎn)品檢測(cè)識(shí)別提出了大量的方法，主要分為基于傳統(tǒng)視覺(jué)處理方法和深度學(xué)習(xí)方法。

傳統(tǒng)視覺(jué)處理方法獲取目標(biāo)的灰度、紋理、形狀、不變矩等特征作為依據(jù)實(shí)現(xiàn)目標(biāo)的檢測(cè)。喬景慧等為了抓取不同型號(hào)和尺寸的電視機(jī)背板，采用模板匹配方法確定背板的型號(hào)和品質(zhì)，開(kāi)發(fā)了視覺(jué)伺服自適應(yīng)控制系統(tǒng)。朱穎等針對(duì)機(jī)器人作業(yè)環(huán)境復(fù)雜、物料的隨機(jī)擺放使得目標(biāo)識(shí)別與定位精度低、實(shí)時(shí)性差等問(wèn)題，提出改進(jìn)幾何矩的移動(dòng)機(jī)器人目標(biāo)識(shí)別，將Graham與旋轉(zhuǎn)卡殼相結(jié)合的算法尋找最小外接矩來(lái)獲取目標(biāo)物料的準(zhǔn)確位置。傳統(tǒng)的機(jī)器視覺(jué)算法具有處理簡(jiǎn)單、速度快等優(yōu)勢(shì)，但針對(duì)復(fù)雜場(chǎng)景，如遮擋、光照不均等情況處理效果受限。另一方面，深度網(wǎng)絡(luò)方法因其強(qiáng)大的特征處理能力，被廣泛應(yīng)用于各個(gè)領(lǐng)域的目標(biāo)識(shí)別。仲訓(xùn)杲等針對(duì)智能機(jī)器人抓取、判別問(wèn)題，提出多模特征深度學(xué)習(xí)與融合的方法，將測(cè)試特征分布偏離訓(xùn)練特征視為一類(lèi)噪化，引入帶稀疏約束的降噪自動(dòng)編碼（DAE），實(shí)現(xiàn)網(wǎng)絡(luò)權(quán)值學(xué)習(xí)，并以疊層融合策略，獲取初始多模特征的深層抽象表達(dá)，該方法可以提高深度網(wǎng)絡(luò)的魯棒性和抓取判別精確性。趙德安等利用YOLO神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了復(fù)雜環(huán)境下蘋(píng)果的識(shí)別。閆建偉等采用帶有殘差模塊的YOLO神經(jīng)網(wǎng)絡(luò)對(duì)刺梨果實(shí)進(jìn)行了識(shí)別。以上處理流程及方法均是根據(jù)機(jī)器人完成不同任務(wù)時(shí)設(shè)計(jì)的，當(dāng)應(yīng)用于復(fù)雜目標(biāo)分揀任務(wù)時(shí)適用性受限。

本文設(shè)計(jì)了一種基于深度學(xué)習(xí)的智能機(jī)器人分揀系統(tǒng)。搭建機(jī)器人視覺(jué)系統(tǒng)后，利用手眼標(biāo)定方法確定機(jī)器人和相機(jī)的映射關(guān)系：利用機(jī)器人視覺(jué)系統(tǒng)采集并增強(qiáng)目標(biāo)數(shù)據(jù)集，利用Labellmg完成目標(biāo)類(lèi)別的標(biāo)注，訓(xùn)練獲取YOLOv5網(wǎng)絡(luò)模型參數(shù)：結(jié)合變換矩陣，將網(wǎng)絡(luò)模型檢測(cè)到的目標(biāo)像素坐標(biāo)信息轉(zhuǎn)換至實(shí)際物理坐標(biāo)；根據(jù)目標(biāo)的類(lèi)別，調(diào)用DobotMagicianPython接口，控制機(jī)械臂移動(dòng)至該位置進(jìn)行抓取操作。利用深度網(wǎng)絡(luò)檢測(cè)目標(biāo)信息，可以避免人工設(shè)置特征的局限性，提高系統(tǒng)的魯棒性，實(shí)驗(yàn)驗(yàn)證了本文方法的有效性。

2本文系統(tǒng)

機(jī)器人分揀物料除了需要獲得物料類(lèi)別信息之外，還需要識(shí)別出物料的位姿信息。本系統(tǒng)所處理的物料為對(duì)稱(chēng)目標(biāo)，因而需要識(shí)別抓取的位置信息。本文設(shè)計(jì)的智能機(jī)器人分揀系統(tǒng)工作流程為：通過(guò)2D相機(jī)對(duì)無(wú)序放置的物料實(shí)時(shí)拍照采集圖像，在上位機(jī)中經(jīng)過(guò)深度網(wǎng)絡(luò)處理后獲取物料類(lèi)別和位置信息，發(fā)送給機(jī)器人進(jìn)行智能分揀。智能機(jī)器人分揀系統(tǒng)主要包含硬件系統(tǒng)和軟件平臺(tái)兩大部分。

2.1硬件

本系統(tǒng)主要由機(jī)器人、大恒工業(yè)相機(jī)及鏡頭、環(huán)形光源、相機(jī)支架等組成，設(shè)備安裝情況如圖1所示。

將相機(jī)固定于相機(jī)支架上，此時(shí)相機(jī)相對(duì)于機(jī)器人是眼在手外的形式。由于目標(biāo)在平臺(tái)上的位置是隨機(jī)的，因而相機(jī)拍照并檢測(cè)出位置信息后轉(zhuǎn)換為世界坐標(biāo)，進(jìn)而告知機(jī)器人需要移動(dòng)的位置。本系統(tǒng)采用的機(jī)器人是Dobot Magician，其由底座、大臂、小臂、末端工具等組成。

2.2手眼標(biāo)定

機(jī)器人視覺(jué)系統(tǒng)獲取的是目標(biāo)的像素坐標(biāo)，需要將像素坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)，引導(dǎo)機(jī)器人進(jìn)行移動(dòng)。由于工件所處的平臺(tái)平面是固定的，因而本系統(tǒng)采用N點(diǎn)標(biāo)定方法建立機(jī)器人和相機(jī)之間的轉(zhuǎn)換關(guān)系。N點(diǎn)標(biāo)定的主要原理為已知N個(gè)點(diǎn)的圖像坐標(biāo)以及對(duì)應(yīng)的機(jī)械坐標(biāo)，根據(jù)其獲取手眼對(duì)應(yīng)的轉(zhuǎn)換矩陣，操作步驟如下。

首先，將標(biāo)定板放置于相機(jī)視野之內(nèi)，獲取標(biāo)定板的圖像，建立特征模板并利用模板匹配獲取標(biāo)定板特征點(diǎn)像素坐標(biāo)，選取9個(gè)特征點(diǎn)，記錄為（x，y）；其次，移動(dòng)Dobot機(jī)械臂至上述九個(gè)點(diǎn)，記錄此時(shí)機(jī)械手末端的笛卡爾坐標(biāo)，記為（x′，y′）；最后，將兩組坐標(biāo)一一對(duì)應(yīng)，調(diào)用Opencv中的estimateAffine2D函數(shù)計(jì)算手眼變換矩陣。獲取變換矩陣之后，對(duì)實(shí)時(shí)檢測(cè)到的工件位置轉(zhuǎn)換至機(jī)械手坐標(biāo)進(jìn)行抓取。

2.3深度網(wǎng)絡(luò)模型

2.3.1數(shù)據(jù)集制作

利用相機(jī)采集不同背景、不同光照條件下的各類(lèi)目標(biāo)圖像，同時(shí)考慮增加不同視角下目標(biāo)圖像數(shù)據(jù)集。利用Labellmg等標(biāo)記軟件實(shí)現(xiàn)不同目標(biāo)的標(biāo)注，獲取目標(biāo)處于圖像中的位置及種類(lèi)信息。

采用Mosaic數(shù)據(jù)增強(qiáng)方法對(duì)不同目標(biāo)樣本數(shù)據(jù)集進(jìn)行擴(kuò)充，主要手段包含信息丟棄（隨機(jī)擦除、Cutout，Hide and Seek和MixUp手段）、空間轉(zhuǎn)換（主要有隨機(jī)縮放、裁剪、翻轉(zhuǎn)、旋轉(zhuǎn)任意角度）、顏色扭曲（改變亮度、飽和度、對(duì)比度和噪聲）。

2.3.2網(wǎng)絡(luò)模型

本文采用的網(wǎng)絡(luò)模型為YOLOv5模型，網(wǎng)絡(luò)架構(gòu)主要由Backbone，Neck和Head等部分組成。

Backbone部分主要由Focus模塊和CSP模塊組成，F(xiàn)ocus模塊作用是對(duì)輸入圖像進(jìn)行切片操作，將通道擴(kuò)大了4倍后卷積得到下采樣圖，而CSP模塊可以大大增強(qiáng)深度網(wǎng)絡(luò)學(xué)習(xí)性能的同時(shí)大幅減少計(jì)算量。Neck部分包含F(xiàn)PN模塊和PAN模塊，通過(guò)將經(jīng)典的FPN層與自下而上的特征金字塔結(jié)合，實(shí)現(xiàn)了高層語(yǔ)義特征與底層位置特征相融合，使網(wǎng)絡(luò)能夠提取更加豐富的特征。網(wǎng)絡(luò)的Head部分由三個(gè)尺度的檢測(cè)層組成，輸出結(jié)果包含目標(biāo)的類(lèi)別、得分以及目標(biāo)框的位置信息。最終輸出的位置信息經(jīng)手眼矩陣轉(zhuǎn)換后可傳輸至機(jī)器人實(shí)現(xiàn)移動(dòng)。

3實(shí)驗(yàn)

本系統(tǒng)使用的相機(jī)是大恒相機(jī)，因此，首先安裝大恒相機(jī)sdk的gxipy接口，建立相機(jī)和上位機(jī)的通信。

利用Python import調(diào)用Dobot機(jī)械臂動(dòng)態(tài)鏈接庫(kù)DobotDll.dll.語(yǔ)句為import Dobot Dll Type as dType;利用dType.Set PTP Jump Params語(yǔ)句設(shè)置機(jī)械臂PTP運(yùn)動(dòng)模式參數(shù)，即設(shè)置門(mén)型運(yùn)動(dòng)時(shí)抬升高度和最大高度；通過(guò)dType.SetEndEffectorParams函數(shù)設(shè)置機(jī)械臂末端為吸盤(pán)；通過(guò)dType.SetPTPCmd語(yǔ)句設(shè)置機(jī)械臂初始位姿。采用Pytorch框架搭建YOLOv5模型，最終位置信息通過(guò)dType.SetPTPCmd語(yǔ)句傳輸至機(jī)器人。實(shí)驗(yàn)中采用圓柱物塊表面粘貼不同目標(biāo)圖片模擬待處理物料目標(biāo)，分揀結(jié)果如表1所列。

由表1可知，本系統(tǒng)的分揀正確率都在98%以上，平均耗時(shí)1.5s。

4結(jié)束語(yǔ)

本文設(shè)計(jì)了基于視覺(jué)引導(dǎo)的機(jī)器人物料分揀系統(tǒng)。利用N點(diǎn)標(biāo)定方法實(shí)現(xiàn)機(jī)械手和相機(jī)之間的對(duì)應(yīng)轉(zhuǎn)換關(guān)系。面對(duì)復(fù)雜工業(yè)場(chǎng)景，尤其是光照變化、物料隨機(jī)位置，部分遮擋等情況，利用Pytorch框架構(gòu)建YOLOv5模型來(lái)處理。利用相機(jī)獲取物料類(lèi)別信息后，將目標(biāo)位置信息轉(zhuǎn)換為物理世界坐標(biāo)進(jìn)行分揀。實(shí)驗(yàn)驗(yàn)證了本文系統(tǒng)的有效性。

作者簡(jiǎn)介：

張可抒（1996—），本科，助理工程師，研究方向：電氣潮流控制分析、公共管理、建設(shè)項(xiàng)目投資估算.設(shè)計(jì)方案技術(shù)經(jīng)濟(jì)論證和優(yōu)化、建設(shè)項(xiàng)目財(cái)務(wù)評(píng)價(jià)和經(jīng)濟(jì)評(píng)價(jià)等。