王程民 萬(wàn)薇 何時(shí)劍

摘? 要：文章從工程實(shí)際出發(fā)，對(duì)Delta機(jī)器人在線分揀的圖像識(shí)別環(huán)節(jié)進(jìn)行了分析，提出了將基于深度學(xué)習(xí)的RetinaNet算法作為目標(biāo)檢測(cè)算法，既保證了檢測(cè)識(shí)別的精度又提高了檢測(cè)速度與效率，符合實(shí)際的生產(chǎn)要求。

關(guān)鍵詞：Delta機(jī)器人;深度學(xué)習(xí);RetinaNet

中圖分類號(hào)：TP242? ? ? ? ?文獻(xiàn)標(biāo)志碼：A? ? ? ? ?文章編號(hào)：2095-2945（2020）33-0092-03

Abstract： Based on the engineering practice， this paper analyzes the image recognition link of Delta robot's online sorting， and proposes RetinaNet algorithm based on deep learning as the target detection algorithm， which not only ensures the accuracy of detection and identification， but also improves the detection speed and efficiency， thus meeting the production requirements.

Keywords： Delta robot; deep learning; RetinaNet

Delta機(jī)器人作為一種工業(yè)并聯(lián)機(jī)器人，具有很好的靈敏性與準(zhǔn)確度。由于因?yàn)閳?zhí)行器安裝在機(jī)器人的底部，機(jī)器臂不需承載執(zhí)行器本身的重量，因此機(jī)器臂可以用輕的復(fù)合材料制成。所以Delta機(jī)器人的慣性很小，可以以高速進(jìn)行，也可以有很大的加速度。在工業(yè)上特別適合用作小型零部件產(chǎn)品的分揀與包裝。由于最初的Delta機(jī)器人主要是由末端執(zhí)行器的軌跡規(guī)劃來(lái)完成分揀、搬運(yùn)任務(wù)，對(duì)機(jī)器人的加工、裝配都有很高的精度要求，在工作前需要對(duì)其運(yùn)動(dòng)學(xué)進(jìn)行建模進(jìn)而進(jìn)行軌跡規(guī)劃，必要時(shí)還需要對(duì)其末端運(yùn)動(dòng)誤差進(jìn)行分析[1]，非常繁瑣。所以通常采用機(jī)器視覺(jué)的方式來(lái)配合Delta機(jī)器人完成對(duì)目標(biāo)的識(shí)別與抓取工作[2]。使得Delta機(jī)器人成為一個(gè)閉環(huán)系統(tǒng)，提高了工作效率與可靠性。

通常使用工業(yè)相機(jī)來(lái)抓取生產(chǎn)線上的產(chǎn)品圖像，然后對(duì)提取的圖像進(jìn)行算法識(shí)別，獲得目標(biāo)的位置，進(jìn)而控制機(jī)械臂完成分揀抓取動(dòng)作[3]。其過(guò)程通常為圖像采集，信號(hào)處理，特征識(shí)別，位置獲取，動(dòng)作執(zhí)行;如圖1所示。

特征識(shí)別是這里最關(guān)鍵的步驟，需要借助現(xiàn)有的圖像處理算法來(lái)完成。常用的匹配算法就是基于圖像特征的識(shí)別：第一步對(duì)圖像進(jìn)行預(yù)處理，主要是去噪及邊緣檢測(cè)為后面的操作提取其更為豐富的特征，第二步建立需匹配的圖像間特征對(duì)應(yīng)， 特征基元有：點(diǎn)特征、邊緣特征和區(qū)域特征[4]。由于現(xiàn)場(chǎng)的拍攝環(huán)境復(fù)雜，尚沒(méi)有完善的通用圖像匹配算法。通常做法是采用多種圖像匹配算法進(jìn)行使用。常用的有SIFT，尺度不變特征變換（Scale-invariant feature transform，SIFT）以及HOG，方向梯度直方圖（Histogram of Oriented Gradient， HOG）。

從圖2可以看出SIFT、HOG等算子只能反映圖像的底層特征，難以提出抓取目標(biāo)物相似且位姿不同的情況下的一些深層次的特征。整個(gè)檢測(cè)精度和效率都較低[5]。特別是分揀生產(chǎn)線具有的高速度帶來(lái)目標(biāo)辨識(shí)要求，很難通過(guò)傳統(tǒng)的算法進(jìn)行快速檢測(cè)。

回歸到人類識(shí)別的功能認(rèn)知上來(lái)看，人類是基于對(duì)物品的認(rèn)知進(jìn)而開始識(shí)別的過(guò)程。以上提到的算法都是一種從圖像的細(xì)節(jié)進(jìn)行特征提取及識(shí)別，而人類往往是從圖像的整體方面進(jìn)行認(rèn)知與掌握的。深度學(xué)習(xí)（DL， Deep Learning）是機(jī)器學(xué)習(xí)（ML， Machine Learning）領(lǐng)域中一個(gè)新的研究方向，基于人工智能的技術(shù)以及計(jì)算能力的提高，深度學(xué)習(xí)可以通過(guò)自動(dòng)學(xué)習(xí)提取到有用的特征，然后進(jìn)行分類識(shí)別[6]。它嘗試從樣本中尋找其規(guī)律性與層次表現(xiàn)，通過(guò)學(xué)習(xí)算法分析復(fù)雜的信息類似文字、圖像、聲音甚至視頻等。這種類似人類一樣學(xué)習(xí)能力使得它可以在以往很難獲得突破的分類識(shí)別方面取得了極大的進(jìn)展。

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法根據(jù)有無(wú)候選框生成階段分為雙階段目標(biāo)檢測(cè)算法和單階段目標(biāo)檢測(cè)算法兩類[5]。雙階段目標(biāo)檢測(cè)算法先對(duì)圖像提取候選框，然后基于候選區(qū)域做二次修正得到檢測(cè)結(jié)果，這樣做的優(yōu)點(diǎn)是檢測(cè)精度較高，缺點(diǎn)是檢測(cè)速度較慢;單階段目標(biāo)檢測(cè)算法直接對(duì)圖像進(jìn)行計(jì)算生成檢測(cè)結(jié)果，優(yōu)點(diǎn)是檢測(cè)速度快，缺點(diǎn)是檢測(cè)精度低。由于Delta機(jī)器人抓取物體大部分小且重量輕，外形相對(duì)比較簡(jiǎn)單，因此這里選擇采用：基于單階段目標(biāo)檢測(cè)算法。單階段檢測(cè)算法也被稱為基于回歸分析的目標(biāo)檢測(cè)算法，其內(nèi)容是將目標(biāo)檢測(cè)問(wèn)題當(dāng)作對(duì)目標(biāo)位置和類別信息的回歸分析問(wèn)題，通過(guò)一個(gè)神經(jīng)網(wǎng)絡(luò)模型可以直接輸出得到檢測(cè)結(jié)果[7]。

單階段目標(biāo)檢測(cè)算法的算法結(jié)構(gòu)是基于深度神經(jīng)網(wǎng)絡(luò)的一個(gè)端到端的訓(xùn)練結(jié)構(gòu)。算法模型如圖3所示由特征提取與目標(biāo)檢測(cè)兩個(gè)模塊組成。其中特征提取含有特征提取網(wǎng)絡(luò)和輔助網(wǎng)絡(luò)。特征提取網(wǎng)絡(luò)是對(duì)圖像分類數(shù)據(jù)集上預(yù)訓(xùn)練的權(quán)重進(jìn)行遷移學(xué)習(xí)的實(shí)現(xiàn)，提取特征目標(biāo)。目標(biāo)檢測(cè)則是由若干全連接層或卷積層構(gòu)成，這些層構(gòu)成了檢測(cè)器，可以輸出檢測(cè)結(jié)果。每個(gè)檢測(cè)器可以對(duì)應(yīng)的輸出一個(gè)檢測(cè)結(jié)果。

RetinaNet是由Facebook AI團(tuán)隊(duì)于2018提出的一個(gè)高效的單階段目標(biāo)檢測(cè)算法。算法采用 Resnet-FPN作為骨干網(wǎng)絡(luò)，并針對(duì)單階段目標(biāo)檢測(cè)器存在的樣本類別失衡問(wèn)題，提出Focal Loss以調(diào)節(jié)難易樣本的loss貢獻(xiàn)度，有效緩解了樣本失衡對(duì)檢測(cè)性能的影響，達(dá)到了接近兩階段目標(biāo)檢測(cè)算法的檢測(cè)精度[8]。是繼SSD和YOLO V2公布后，YOLO V3誕生前的一款目標(biāo)檢測(cè)算法，針對(duì)現(xiàn)有單階段法（one-stage）目標(biāo)檢測(cè)模型中前景（positive）和背景（negatives）類別的不平衡問(wèn)題，提出了一種叫做Focal Loss的損失函數(shù)。RetinaNet本質(zhì)上是由Resnet網(wǎng)絡(luò)、特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）和兩個(gè)全卷積網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）的子網(wǎng)絡(luò)組成。圖4是它的網(wǎng)絡(luò)框架。該網(wǎng)絡(luò)最大的創(chuàng)新就是使用Focal Loss代替了傳統(tǒng)的交叉熵（Cross Entropy，CE）。

Focal Loss的定義為[9]

F（pt）=-at（1-pt）γlog（pt）

pt=p，y=11-p，y≠1

其中：y為標(biāo)簽值;p為模型預(yù)測(cè)值;at為線性調(diào)節(jié)因子，γ為指數(shù)調(diào)節(jié)因子。

根據(jù)任務(wù)要求以及控制器的計(jì)算能力選擇ResNet-50作為特征提取網(wǎng)絡(luò)。這是一個(gè)50層深度學(xué)習(xí)網(wǎng)絡(luò)。含有4個(gè)區(qū)塊，每個(gè)區(qū)塊依次具有3，4，6，3個(gè)Bottleneck。配合特征金字塔FPN結(jié)構(gòu)以及兩個(gè)FCN子網(wǎng)絡(luò)組成RetinaNet檢測(cè)模型。

對(duì)搭建好的RetinaNet檢測(cè)模型進(jìn)行訓(xùn)練，設(shè)置參數(shù)，將之前采集到的工件圖片通過(guò)模型轉(zhuǎn)化為模型權(quán)重文件，之后就可以對(duì)現(xiàn)場(chǎng)實(shí)施采集的圖片進(jìn)行目標(biāo)識(shí)別了。

RetinaNet作為一種網(wǎng)絡(luò)單階段目標(biāo)檢測(cè)算法，確保了算法在實(shí)施現(xiàn)場(chǎng)的應(yīng)用實(shí)時(shí)性要求;通過(guò)特征金字塔網(wǎng)絡(luò)（FPN）構(gòu)建了用于目標(biāo)檢測(cè)的多尺度特征，并提出了新型損失函數(shù)（Focal Loss），顯著提高了目標(biāo)檢測(cè)算法的準(zhǔn)確性。

Delta分揀機(jī)器人適用于小型電子類零部件的流水線應(yīng)用，其工作速度快，對(duì)目標(biāo)識(shí)別要求高。這里設(shè)計(jì)的基于RetinaNet的智能識(shí)別算法可以滿足高精度快速識(shí)別的雙重要求，在工業(yè)應(yīng)用中提供了一種有效的解決方案。特別是算法所具有的自主學(xué)習(xí)功能以及對(duì)樣本失衡的控制功能，可以更有效的提升識(shí)別精度、效率。在算力允許的情況下，接下來(lái)可以朝著更多層分類網(wǎng)絡(luò)發(fā)展，以得到更好地精度。

參考文獻(xiàn)：

[1]張續(xù)沖，張瑞秋，陳亮，等.Delta機(jī)器人產(chǎn)品分揀軌跡規(guī)劃仿真[J].計(jì)算機(jī)仿真，2019，36（11）：295-299+364.

[2]梅江平，王浩，張舵，等.基于單目視覺(jué)的高速并聯(lián)機(jī)器人動(dòng)態(tài)目標(biāo)跟蹤算法[J].天津大學(xué)學(xué)報(bào)（自然科學(xué)與工程技術(shù)版），2020，53（02）：138-146.

[3]陳躍春.基于Delta機(jī)器人的目標(biāo)圖像識(shí)別與動(dòng)態(tài)抓取系統(tǒng)設(shè)計(jì)[J].電子世界，2019（19）：124-128.

[4]王軍.圖像匹配算法的研究進(jìn)展[J].大氣與環(huán)境光學(xué)學(xué)報(bào)，2007（01）：11-15.

[5]趙永強(qiáng)，饒?jiān)?，董世鵬，等.深度學(xué)習(xí)目標(biāo)檢測(cè)方法綜述[J].中國(guó)圖象圖形學(xué)報(bào)，2020，25（04）：629-654.

[6]李燕飛.基于深度神經(jīng)網(wǎng)絡(luò)的視覺(jué)識(shí)別分類研究[D].內(nèi)蒙古工業(yè)大學(xué)，2018.

[7]劉俊明，孟衛(wèi)華.基于深度學(xué)習(xí)的單階段目標(biāo)檢測(cè)算法研究綜述[J].航空兵器，2020，27（03）：44-53.

[8]謝學(xué)立，李傳祥，楊小岡，等.基于動(dòng)態(tài)感受野的航拍圖像目標(biāo)檢測(cè)算法[J].光學(xué)學(xué)報(bào)，2020，40（04）：107-119.

[9]Lin， T.-Y.， Goyal， P.， Girshick， R.， He， K. & Dollar， P. Focal Loss for Dense Object Detection[J]. IEEE transactions on pattern analysis and machine intelligence，2020，42（2）.