1 引言

現(xiàn)代工業(yè)高質(zhì)量生產(chǎn)的需求急速增長(zhǎng)，自動(dòng)化生產(chǎn)線的智能化轉(zhuǎn)型是制造業(yè)升級(jí)的關(guān)鍵一環(huán)。在工業(yè)領(lǐng)域中，裝配機(jī)械臂在自動(dòng)化生產(chǎn)線上應(yīng)用廣泛，但是在裝配環(huán)節(jié)中，往往需要人工將零件安裝到位后方可利用裝配機(jī)器人進(jìn)行下一步的裝配操作。這種依靠人力進(jìn)行的裝配效率低、操作精度低，在裝配環(huán)節(jié)中成為亟待解決的問題。為提高零件等在工業(yè)產(chǎn)線上的裝配效率，需從零件識(shí)別定位、裝配測(cè)距校準(zhǔn)及機(jī)械臂控制等多個(gè)方向進(jìn)行研究。

基于機(jī)器視覺的裝配系統(tǒng)能提高生產(chǎn)自動(dòng)化程度，計(jì)算機(jī)視覺算法在零件的自動(dòng)分揀與裝配、機(jī)械設(shè)備及配件缺陷與磨損檢測(cè)、非接觸測(cè)量、零件圖像檢索等生產(chǎn)的各個(gè)環(huán)節(jié)應(yīng)用廣泛。國(guó)內(nèi)外學(xué)者對(duì)于將計(jì)算機(jī)視覺技術(shù)應(yīng)用于工業(yè)零件裝配及檢測(cè)也有諸多研究。李紅衛(wèi)等人

為獲取機(jī)械零件的位姿信息以控制機(jī)械臂的抓取動(dòng)作，構(gòu)建了基于三維點(diǎn)云的語(yǔ)義分割算法，以實(shí)現(xiàn)機(jī)械零件位姿的三維空間區(qū)域感知。徐萬澤等人

為解決傳統(tǒng)匹配方法準(zhǔn)確率低的問題，用若干環(huán)形區(qū)域分割待檢測(cè)零件的特征面，然后用包含最多紋理特征的網(wǎng)環(huán)區(qū)域代替特征面進(jìn)行特征提取，解決了因零件不同側(cè)面而導(dǎo)致的模版不匹配問題。汪曉龍等人

提出一種使用MobileNet V2代替VGG網(wǎng)絡(luò)作為前置網(wǎng)絡(luò)的改進(jìn)SSD模型進(jìn)行目標(biāo)零件檢測(cè)，該算法簡(jiǎn)化了模型結(jié)構(gòu)，提升了特征信息的提取效率。

近年來，財(cái)會(huì)教師以財(cái)務(wù)咨詢、代理記賬、財(cái)務(wù)分析等真實(shí)項(xiàng)目為載體，與行業(yè)財(cái)務(wù)總監(jiān)合作，讓學(xué)生從大一開始接觸專業(yè)訓(xùn)練，設(shè)置成單元項(xiàng)目課程項(xiàng)目融入財(cái)務(wù)會(huì)計(jì)課程教學(xué)中，加強(qiáng)理論與實(shí)際的聯(lián)系，更好地適應(yīng)社會(huì)對(duì)高素質(zhì)創(chuàng)新型人才培養(yǎng)的需要。

YOLO(You Only Look Once)是Joseph Redmon等人

在2016年提出的一種目標(biāo)檢測(cè)的新模型。相比于早于其發(fā)表的目標(biāo)檢測(cè)模型FasterR- CNN而言，YOLO目標(biāo)檢測(cè)模型的檢測(cè)準(zhǔn)確率在經(jīng)典數(shù)據(jù)集上的表現(xiàn)略低，但是其優(yōu)勢(shì)在于快速的檢測(cè)速率，平均可達(dá)45FPS(Frame Per Second)，是FasterR- CNN模型檢測(cè)速率的6倍。此后該作者又先后發(fā)表了YOLO目標(biāo)檢測(cè)模型的算法改進(jìn)版本。YOLOv3目標(biāo)檢測(cè)模型

是2018年發(fā)表的改進(jìn)版本，其在分類主干網(wǎng)絡(luò)上的改進(jìn)使得模型的目標(biāo)檢測(cè)準(zhǔn)確率得到了進(jìn)一步提升?；赮OLOv3目標(biāo)檢測(cè)模型的快速性和較高的目標(biāo)檢測(cè)識(shí)別準(zhǔn)確率，本研究以YOLOv3算法作為目標(biāo)檢測(cè)框架，提出一種多目標(biāo)零件識(shí)別方法，完成零件分類、多目標(biāo)識(shí)別、實(shí)時(shí)定位檢測(cè)，實(shí)現(xiàn)自動(dòng)高效的多目標(biāo)零件實(shí)時(shí)檢測(cè)。

2 YOLOv3算法原理

YOLOv3目標(biāo)檢測(cè)算法是近年來在各個(gè)領(lǐng)域應(yīng)用頗多的，以深度學(xué)習(xí)為框架的單階段目標(biāo)檢測(cè)算法，它將檢測(cè)問題視為回歸問題，因其模型框架簡(jiǎn)單，識(shí)別速度快、精度高，而受到了廣泛討論與應(yīng)用。YOLOv3目標(biāo)檢測(cè)模型可以分為預(yù)測(cè)部分和訓(xùn)練部分。預(yù)測(cè)部分使用的主干特征提取網(wǎng)絡(luò)為Darknet-53，由52個(gè)卷積層和1個(gè)全連接層構(gòu)成，并在卷積層中添加了殘差連接。通過不斷卷積以及殘差邊的疊加，由骨干網(wǎng)絡(luò)提取出來的特征得到圖像分類特征。訓(xùn)練好特征提取網(wǎng)絡(luò)后，由特征金字塔網(wǎng)絡(luò)加強(qiáng)特征提取。將輸入的圖像經(jīng)過主干網(wǎng)絡(luò)的特征提取器后，得到來自三個(gè)不同層次尺度的特征，不同層次尺度的特征由特征金字塔網(wǎng)絡(luò)匯總?cè)诤?。各個(gè)尺度的目標(biāo)檢測(cè)預(yù)測(cè)結(jié)果由輸出層獲得。每一個(gè)特征圖會(huì)根據(jù)其大小產(chǎn)生三套與之感受野相對(duì)應(yīng)的預(yù)設(shè)邊界框尺寸作為先驗(yàn)框，總共產(chǎn)生10647個(gè)先驗(yàn)框。如此多數(shù)量的先驗(yàn)框也是YOLOv3相比于其前兩代目標(biāo)檢測(cè)算法，在小目標(biāo)和密集目標(biāo)檢測(cè)方面所做的提升與改進(jìn)。獲得的先驗(yàn)框?qū)?huì)與真實(shí)框進(jìn)行對(duì)比，當(dāng)它們的面積交并比為最大時(shí)，這個(gè)先驗(yàn)框被標(biāo)記為正樣本，面積交并比小于預(yù)設(shè)的閾值時(shí)，則此先驗(yàn)框被標(biāo)記為負(fù)樣本，而其余先驗(yàn)框則被忽略。

由于自建數(shù)據(jù)集樣本過少，為避免網(wǎng)絡(luò)過擬合而導(dǎo)致無法收斂，以及提高訓(xùn)練效率，本研究基于遷移學(xué)習(xí)

的思想，在訓(xùn)練實(shí)驗(yàn)中采用了在MS COCO (Microsoft Common Objects in Context)訓(xùn)練集上訓(xùn)練的預(yù)訓(xùn)練權(quán)重

。主干特征提取網(wǎng)絡(luò)所預(yù)學(xué)習(xí)到的表征輪廓的基礎(chǔ)特征，例如點(diǎn)、拐角、邊緣等是通用的，所以使用預(yù)訓(xùn)練權(quán)重有利于特征提取網(wǎng)絡(luò)的訓(xùn)練，以提高網(wǎng)絡(luò)訓(xùn)練效率。因此，在載入預(yù)訓(xùn)練權(quán)重后重新訓(xùn)練網(wǎng)絡(luò)，設(shè)置網(wǎng)絡(luò)學(xué)習(xí)率為0.001，權(quán)值衰減依據(jù)YOLOv3官方配置文件設(shè)定為0.0005。

為了讓訓(xùn)練網(wǎng)絡(luò)能夠得到一張圖片中的待檢測(cè)目標(biāo)的位置及分類信息，需要將采集到的圖片內(nèi)的目標(biāo)及其分類進(jìn)行標(biāo)注。本研究采用開源標(biāo)注工具LabelImg對(duì)數(shù)據(jù)集圖片的零件進(jìn)行標(biāo)注。該工具可以對(duì)采集的零件圖像進(jìn)行目標(biāo)標(biāo)記，并自動(dòng)生成相應(yīng)的標(biāo)注文件以便在訓(xùn)練時(shí)使用。其標(biāo)注信息包括目標(biāo)文件名、文件路徑、圖像長(zhǎng)寬信息、圖像內(nèi)目標(biāo)物體的類別、位置等。實(shí)驗(yàn)中訓(xùn)練集(包括驗(yàn)證集)圖片數(shù)量占總圖片數(shù)量的90%，測(cè)試集圖片數(shù)量占總圖片數(shù)量的10%，驗(yàn)證集圖片數(shù)量占訓(xùn)練集圖片數(shù)量的10%。初始新的模型訓(xùn)練時(shí)，將隨機(jī)劃分訓(xùn)練集與測(cè)試集。在初始化網(wǎng)絡(luò)參數(shù)后，將零件圖片訓(xùn)練集及其標(biāo)注信息輸入到網(wǎng)絡(luò)中進(jìn)行模型訓(xùn)練。網(wǎng)絡(luò)模型的學(xué)習(xí)率設(shè)定為0.001，權(quán)值衰減依據(jù)YOLOv3官方配置文件設(shè)定為0.0005，訓(xùn)練epoch設(shè)定為100。為檢驗(yàn)?zāi)繕?biāo)檢測(cè)結(jié)果的準(zhǔn)確性，本研究使用mAP(Mean Average Precision)均值平均準(zhǔn)確率作為評(píng)價(jià)指標(biāo)。mAP檢測(cè)的是多個(gè)目標(biāo)類別的平均準(zhǔn)確率，且mAP的值越接近于1表明檢測(cè)效果越好。

與具象美術(shù)、意象美術(shù)不同，抽象美術(shù)完全不對(duì)應(yīng)于現(xiàn)實(shí)世界存在的一切事物，是想象的，虛擬的，裝飾形式或者畫面是來源于藝術(shù)家的精神世界。抽象美術(shù)不再是寫實(shí)寫意，他是介于自然之外的精神追求，一般是藝術(shù)家表達(dá)自己的心境，或者對(duì)宇宙浩瀚的敬畏，也可能是對(duì)社會(huì)風(fēng)氣的諷刺。藝術(shù)家往往是通過裝飾形式，筆觸，色彩來表達(dá)。

（66）絨苔 Trichocolea tomentella（Ehrh.）Dumort.楊志平（2006）；李粉霞等（2011）；余夏君等（2018）

潘陽(yáng)確實(shí)有女人緣，一來他確實(shí)長(zhǎng)得帥，二來是他沒臉沒皮。潘陽(yáng)說自己換女朋友的頻率是每半年一個(gè)，“半年還整不上床，那就不用再整了”，他說。

進(jìn)行網(wǎng)絡(luò)初始化和參數(shù)設(shè)定之后開始訓(xùn)練檢測(cè)模型。由于訓(xùn)練設(shè)備配置、參數(shù)設(shè)置及訓(xùn)練集的大小等因素的影響，模型訓(xùn)練的時(shí)間也不同。本研究在初始化網(wǎng)絡(luò)參數(shù)后，將標(biāo)注好的零件圖片訓(xùn)練集輸入到網(wǎng)絡(luò)中進(jìn)行再訓(xùn)練。圖2為損失函數(shù)變化趨勢(shì)及目標(biāo)檢測(cè)結(jié)果評(píng)價(jià)，由圖2可以看出，在訓(xùn)練約40個(gè)epoch后損失函數(shù)已經(jīng)收斂，訓(xùn)練停止于設(shè)定的第100個(gè)epoch。使用第100個(gè)epoch的訓(xùn)練模型進(jìn)行目標(biāo)檢測(cè)效果測(cè)試，測(cè)試集目標(biāo)檢測(cè)的評(píng)價(jià)結(jié)果如圖2右圖所示，所有10個(gè)類的mAP為84.46%，其中大號(hào)墊片(flat_pad_big)和小號(hào)墊片(flat_pad_small)的檢測(cè)AP(Average Precision)分別僅為0.50和0.13，表明其檢測(cè)準(zhǔn)確率過低，目標(biāo)檢測(cè)效果不好。另外，中號(hào)螺母(nut_medium)和小號(hào)螺母(nut_small)的檢測(cè)AP也小于0.95，其檢測(cè)準(zhǔn)確率有待提升。

(2)

3 實(shí)驗(yàn)過程及結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)

數(shù)據(jù)集零件樣本共10類，其圖像編號(hào)對(duì)應(yīng)的零件名稱、零件外徑尺寸及其樣本個(gè)數(shù)信息見表1。

實(shí)驗(yàn)使用python3.8與Pytorch搭建檢測(cè)框架，數(shù)據(jù)集來自于本研究搭建的圖像采集系統(tǒng)收集到的零件圖像。數(shù)據(jù)圖片拍攝不同零件組合散落擺放的俯視圖，共計(jì)224張。數(shù)據(jù)集零件樣本及其編號(hào)如圖1所示。

(1)

3.2 實(shí)驗(yàn)結(jié)果與討論

置信度是判斷先驗(yàn)框輸出的結(jié)果是否準(zhǔn)確的一個(gè)重要參數(shù)，其數(shù)學(xué)表示如公式(2)所示。

由表1的統(tǒng)計(jì)信息可以看出，數(shù)據(jù)集內(nèi)不同類別樣本的數(shù)量是不平衡的，其中大、小號(hào)墊片(flat_pad_small、flat_pad_big)都分別只有56個(gè)樣本，這可能是它們檢測(cè)準(zhǔn)確率較低的原因之一。針對(duì)樣本較少的情況可以考慮數(shù)據(jù)增強(qiáng)，將圖片進(jìn)行翻轉(zhuǎn)、裁剪等操作以增加樣本數(shù)量。另一方面，以上檢測(cè)準(zhǔn)確率較低的零件表面及輪廓的紋理、形狀等特征都較少，因此在訓(xùn)練檢測(cè)模型時(shí)提取到的特征也可能較少。對(duì)于特征提取問題而言，由于網(wǎng)絡(luò)訓(xùn)練時(shí)會(huì)隨機(jī)初始化權(quán)值，而不好的隨機(jī)初始化權(quán)值會(huì)影響特征的提取效果，進(jìn)而導(dǎo)致模型訓(xùn)練的效果不好。

在訓(xùn)練部分，需要利用網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果和真實(shí)框的情況計(jì)算損失函數(shù)loss。損失函數(shù)由3部分組成：A. 目標(biāo)定位偏移量損失，計(jì)算真實(shí)框與正樣本坐標(biāo)偏差。B. 目標(biāo)置信度損失，計(jì)算正樣本置信度和負(fù)樣本置信度。C. 目標(biāo)分類損失，逐類別計(jì)算二元交叉熵?fù)p失。對(duì)應(yīng)的損失函數(shù)如公式(1)所示。

圖3為使用預(yù)訓(xùn)練權(quán)重后的損失函數(shù)變化趨勢(shì)。由圖3可以看出，在訓(xùn)練約10個(gè)epoch后損失函數(shù)已經(jīng)收斂，故在20個(gè)epoch后停止訓(xùn)練。由損失函數(shù)收斂情況可以看出，訓(xùn)練可以在較短的時(shí)間內(nèi)完成，其原因可能有兩點(diǎn)：首先是因?yàn)槭褂昧祟A(yù)訓(xùn)練權(quán)重，且在訓(xùn)練過程中凍結(jié)了主干特征提取網(wǎng)絡(luò)的權(quán)重，只在檢測(cè)網(wǎng)絡(luò)進(jìn)行了權(quán)重微調(diào)，因此加速了特征的學(xué)習(xí)及網(wǎng)絡(luò)模型訓(xùn)練。其次可能的原因是數(shù)據(jù)集較干凈，拍攝的待檢測(cè)物體光照良好且沒有背景干擾信息，以及零件沒有比較復(fù)雜的特征，較易學(xué)習(xí)。

粒子更新速度加上虛擬力的調(diào)整后粒子速度能夠及時(shí)調(diào)整,避免了陷入局部最優(yōu),既具有較好的全局搜索能力,又具有較好的局部搜索能力。

使用測(cè)試集對(duì)使用預(yù)訓(xùn)練權(quán)重后訓(xùn)練好的檢測(cè)模型進(jìn)行測(cè)試， 其中一張測(cè)試圖片的零件檢測(cè)結(jié)果如圖4所示。從圖4中可以看出，所有類別的零件都被正確檢出，且檢測(cè)框較為準(zhǔn)確地框選住了零件的主體部分，這樣的檢測(cè)效果可以為后續(xù)零件的定位分揀抓取提供參考信息。

使用預(yù)訓(xùn)練權(quán)重訓(xùn)練后的網(wǎng)絡(luò)模型測(cè)試集目標(biāo)檢測(cè)的評(píng)價(jià)結(jié)果如圖5所示。從圖5中可以看出，所有10個(gè)類別零件的mAP從未使用預(yù)訓(xùn)練權(quán)重時(shí)的84.46%提升到了99.8%，大號(hào)墊片(flat_pad_big)的檢測(cè)AP從0.50提升到了1.0，小號(hào)墊片(flat_pad_small)的檢測(cè)AP從0.13提升到了0.99，且中號(hào)螺母(nut_medium)和小號(hào)螺母(nut_small)的檢測(cè)AP也分別提升到了1.0和0.99。測(cè)試結(jié)果表明，使用預(yù)訓(xùn)練權(quán)重對(duì)網(wǎng)絡(luò)模型的訓(xùn)練效率及準(zhǔn)確率均有顯著提升，檢測(cè)結(jié)果有效。

4 結(jié)論

本研究為實(shí)現(xiàn)多目標(biāo)零件檢測(cè)任務(wù)，提出通過深度學(xué)習(xí)網(wǎng)絡(luò)模型學(xué)習(xí)零件特征向量的方法，得到了基于YOLOv3目標(biāo)檢測(cè)算法的零件識(shí)別檢測(cè)模型，并通過加載預(yù)訓(xùn)練特征權(quán)重進(jìn)行特征提取網(wǎng)絡(luò)訓(xùn)練提高了訓(xùn)練效率。實(shí)驗(yàn)結(jié)果表明，所提出的方法識(shí)別所有10個(gè)類別零件的mAP為99.8%，識(shí)別周期小于1s，滿足實(shí)時(shí)檢測(cè)的要求。該零件識(shí)別工作的實(shí)現(xiàn)，為后續(xù)零件位姿識(shí)別及引導(dǎo)機(jī)械臂抓取控制奠定了基礎(chǔ)。本研究所得到的檢測(cè)結(jié)果存在部分檢測(cè)框未將零件全部框入框內(nèi)的現(xiàn)象，導(dǎo)致目標(biāo)定位不夠準(zhǔn)確，可能會(huì)影響后續(xù)零件位置識(shí)別；另外，本研究的數(shù)據(jù)集未考慮零件相互遮擋堆疊情況的目標(biāo)檢測(cè)效果，后續(xù)研究可針對(duì)以上問題進(jìn)一步改進(jìn)。

[1]李紅衛(wèi), 張煜奇, 周軍,等. 基于區(qū)域感知的機(jī)械零件位姿計(jì)算方法[J]. 南京航空航天大學(xué)學(xué)報(bào), 2021, 53(1): 78-84.

[2]徐萬澤, 李柏林, 歐陽(yáng),等. 基于環(huán)形模板匹配的金屬零件識(shí)別算法[J]. 傳感器與微系統(tǒng), 2021, 40(2): 128-31.

[3]汪小龍, 蔣永勝. 基于改進(jìn)SSD的零件目標(biāo)檢測(cè)研究與應(yīng)用[J]. 蘭州工業(yè)學(xué)院學(xué)報(bào), 2021, 28(2): 49-54.

[4]Redmon J ,Divvala S , Girshick R , et al. You Only Look Once: Unified, Real-Time Object Detection[J]. IEEE, 2016.

[5]Redmon J. YOLOv3: An Incremental Improvement[EB/ OL].[2018 -03 -06].

[6]Pan SJ, Yang Q. A Survey on Transfer Learning[J]. Knowledge and Data Engineering. 2010, 22(10): 1345-1359.

[7]https://mscoco.org/