南瑞亭， 黃 堅

(1. 廣州市交通技師學(xué)院，廣東 廣州 510540; 2. 華南理工大學(xué)機械與汽車工程學(xué)院，廣東 廣州 510640)

0 引 言

中國是全球微型電機的第一大生產(chǎn)國，2019年中國微型電機產(chǎn)量達(dá)136億臺，占全球73.9%。目前微型電機產(chǎn)品已有數(shù)千品種，下游應(yīng)用涉及各行各業(yè)。電機制造工序多，涉及精密機械、精細(xì)化工、微細(xì)加工、磁材料處理、繞組制造、絕緣處理等工藝技術(shù)，簡而言之，微型電機行業(yè)是勞動密集型、技術(shù)密集型產(chǎn)業(yè)。

微型直流電機配質(zhì)量的在線視覺檢測，屬于微型直流電機智能制造的關(guān)鍵工序[1]。在電機裝配中，端蓋面上正負(fù)極涂裝、電機殼沖壓卡接部位、引線、插座等零部件裝配質(zhì)量檢測，主要采用人工目視檢測，存在勞動強度大、效率低等問題[2]。實現(xiàn)微型直流電機端蓋裝配質(zhì)量自動化、智能化檢測，有助于提高電機檢測技術(shù)水平。

中國電子科技集團(tuán)公司(2017)突破電機鐵心的視覺識別與定位算法，提高了機器人適應(yīng)復(fù)雜工況的能力，搭建的系統(tǒng)可實現(xiàn)電機鐵心的分揀、搬運和位姿調(diào)整[3]。文獻(xiàn)[4](2017)為實現(xiàn)小型電機的機器人自動裝配，以德國MVTec Software Gmb H公司開發(fā)的MERLIC圖像處理軟件為支撐，實現(xiàn)小型電機裝配目標(biāo)零件定位、鎖緊孔位置匹配轉(zhuǎn)角計算和機器人控制三大基本功能，最終控制機器人完成小型電機的自動裝配。武漢工程大學(xué)(2018)提出了一種基于機器視覺的對比測量方法，通過對待測軸與標(biāo)準(zhǔn)軸圖像進(jìn)行濾波、二值化、邊緣提取與最小二乘法擬合直線方程，計算出待測軸與標(biāo)準(zhǔn)軸的左、右邊緣差距，經(jīng)過相機標(biāo)定實現(xiàn)較高精度的軸承外徑尺寸測量[5]；文獻(xiàn)[6](2020)提出遷移學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)電力設(shè)備圖像識別方法，將卷積神經(jīng)網(wǎng)絡(luò)在模擬、真實電力設(shè)備圖像中進(jìn)行遷移學(xué)習(xí)，提高學(xué)習(xí)效率和精度，最終取得93.5%識別準(zhǔn)確率。文獻(xiàn)[7](2021)在機器人夾持器前端安裝視覺定位裝置，并研究視覺相機標(biāo)定和坐標(biāo)偏移補償控制方法，提高微型電機外殼沖壓件在沖壓過程中轉(zhuǎn)送的準(zhǔn)確度；中國計量大學(xué)(2021)采用改進(jìn)Faster R-CNN實現(xiàn)水準(zhǔn)泡缺陷檢測方法，改進(jìn)融合遞歸特征金字塔得到多尺度的特征圖輸出，有效提高模型檢測準(zhǔn)確度，在測試集上的均值平均準(zhǔn)確度達(dá)96.7%[8]；中國計量大學(xué)計量測試工程學(xué)院(2021)提出一種面向滾動軸承的改進(jìn)對抗遷移學(xué)習(xí)模型，在對抗遷移學(xué)習(xí)的域判別器中采用卷積結(jié)構(gòu)替換全連接神經(jīng)網(wǎng)絡(luò)，實驗證明模型具有良好抗干擾能力、更高診斷精度[9]。華南理工大學(xué)(2021)面向標(biāo)準(zhǔn)件裝配質(zhì)量檢測存在的復(fù)雜背景下部件識別問題，研究深度學(xué)習(xí)實例分割技術(shù)，優(yōu)化了部件裝配檢測與識別的準(zhǔn)確度[10]、實時性能[11]。

結(jié)合基于深度學(xué)習(xí)的圖像分類[12]、目標(biāo)檢測[13]、語義分割[14]相關(guān)綜述，本文在分析微型直流電機端蓋裝配質(zhì)量檢測需求基礎(chǔ)上，提出基于Faster RCNN的微型直流電機端蓋裝配質(zhì)量在線視覺檢測技術(shù)框架，實現(xiàn)裝配質(zhì)量視覺檢測。

1 微型直流電機端蓋裝配質(zhì)量檢測需求分析

微型直流電機端蓋上裝配的主要零部件有軸體、正極、負(fù)極、插座、引出線等，裝配質(zhì)量要求零部件安裝到位、沖壓腳齊全、正極涂裝正確。圖1為HRS-365S-14137VC-42L的微型直流電機設(shè)計圖，合格產(chǎn)品上需要有軸體、紅色涂裝的正極、3個負(fù)極、2個插座以及4個沖壓腳。

圖1 HRS-365S-14137VC-42L微型直流電機設(shè)計圖

選用中長焦段鏡頭、彩色工業(yè)相機，調(diào)節(jié)使工業(yè)相機光軸與微型直流電機轉(zhuǎn)子軸重合，使端蓋位于像平面中心位置。圖2為HRS-365S-14137VC-42L的微型直流電機合格產(chǎn)品圖像。

圖2 HRS-365S-14137VC-42L微型直流電機合格產(chǎn)品圖像

可以看出，端蓋、軸體、正極、負(fù)極、插座、沖壓腳等7種零部件視覺特征各不相同，易于分辨，適合采用深度學(xué)習(xí)目標(biāo)檢測方法實現(xiàn)端蓋及其零部件的識別與定位?？紤]到視覺檢測的高準(zhǔn)確性、在線快速需求，選用具有較高識別準(zhǔn)確性的R-CNN系列目標(biāo)檢測模型，尤其是其中實時性能較佳的Faster R-CNN目標(biāo)檢測模型，設(shè)計面向微型直流電機端蓋裝配質(zhì)量在線快速視覺檢測鑒別系統(tǒng)。

2 基于Faster R-CNN的微型直流電機端蓋裝配質(zhì)量在線視覺檢測技術(shù)

微型直流電機端蓋裝配質(zhì)量檢測需求主要有：端蓋裝配質(zhì)量要求系統(tǒng)能實現(xiàn)7種零部件的識別與定位；在線快速視覺檢測要求系統(tǒng)具有快速特點，每個微型直流電機端蓋裝配質(zhì)量檢測鑒別時間不超過0.5 s。圖3為基于Faster R-CNN的微型直流電機端蓋裝配質(zhì)量在線快速視覺檢測鑒別技術(shù)流程框圖?；静襟E：①離線微型直流電機端蓋圖片，標(biāo)注端蓋邊界框與系列、標(biāo)注零部件訓(xùn)練識別端蓋及其零部件的Faster R-CNN目標(biāo)檢測模型；② 基于Faster R-CNN模型識別端蓋及其零部件，得到微型直流電機型號，以及質(zhì)量良好的零部件數(shù)量、類型；③根據(jù)該型號微型直流電機零部件數(shù)量、類型要求，判斷零部件安裝是否到位、沖壓腳是否齊全、正極涂裝是否正確，全部符合為合格品裝箱。

圖3 基于Faster R-CNN的微型直流電機端蓋裝配質(zhì)量在線快速視覺檢測鑒別技術(shù)流程框圖

2.1 基于Faster R-CNN的端蓋裝配質(zhì)量關(guān)鍵特征識別技術(shù)

如表1所示，微型直流電機端蓋主要包括端蓋、軸體、正極、負(fù)極、插座、引出線、沖壓腳7種零部件。其中不同型號端蓋視覺特征、外徑明顯不同，標(biāo)注端蓋的類型標(biāo)簽還標(biāo)注上其對應(yīng)的型號，采用開源標(biāo)注軟件labelme矩形標(biāo)注工具(rectangle)，標(biāo)注機殼沖壓腳、正極、負(fù)極及端蓋最小外接矩形作為邊界框，并為其添加類型標(biāo)簽。以3系端蓋，代表著微型直流電機外徑最大值在27.0～30.0 mm間的端蓋；不同型號的軸體、正極、負(fù)極、插座、引出線、沖壓腳等的視覺特征較為相似，類型標(biāo)簽直接標(biāo)注為類型。

表1 端蓋裝配質(zhì)量關(guān)鍵特征與類型標(biāo)簽及標(biāo)量對應(yīng)表

圖4為微型直流電機端蓋裝配質(zhì)量關(guān)鍵特征識別的Faster R-CNN模型，模型的輸入是微型直流電機端蓋圖像，輸出預(yù)測檢測到實例的關(guān)鍵特征，設(shè)對象實例數(shù)量N，第n個實例的邊界框R1-n、分?jǐn)?shù)R2-n、類型標(biāo)量R3-n(n=1, 2, 3,···,N)。其中：

1）預(yù)測邊界框R1-n=(u1-n,v1-n,u2-n,v2-n)、邊界框左上頂點 (u1-n,v1-n)、邊界框右上頂點 (u2-n,v2-n)。

圖4 微型直流電機端蓋裝配質(zhì)量關(guān)鍵特征識別的Faster R-CNN模型

2）預(yù)測分?jǐn)?shù)R2-n定義域為[0,1]，且有，線性度佳，可直接作為置信度分?jǐn)?shù)使用。

3）預(yù)測類型R3-n是標(biāo)量，值域為R3-n∈{0, 1, 2,3, 4, 5, 6}，

4）位置信息Pn=(up-n,vp-n)從預(yù)測邊界框R2-n中計算得到：

Faster R-CNN模型可通過訓(xùn)練，學(xué)習(xí)不同質(zhì)量關(guān)鍵特征，系采用隨機梯度下降(stochastic gradient descent, SGD)算法對Faster R-CNN模型調(diào)優(yōu)，使其擬合到訓(xùn)練數(shù)據(jù)集上，訓(xùn)練采用Mini-batch策略，學(xué)習(xí)率為0.001，分批數(shù)2，結(jié)合數(shù)據(jù)量大小，迭代訓(xùn)練次數(shù)為500。

訓(xùn)練過程中，可觀測分類損失loss_cls、定位損失loss_box_reg、總損失total_loss是否減小，判斷Fast R-CNN、Faster R-CNN模型是否收斂；模型完成訓(xùn)練后，以重疊率超過50%的平均準(zhǔn)確度AP0.5作為主要評價指標(biāo)；只要AP0.5≥90%，模型滿足應(yīng)用需求。

2.2 基于Faster R-CNN的端蓋裝配質(zhì)量檢測技術(shù)

清點微型直流電機正極、負(fù)極及機殼沖壓腳數(shù)量方法，具體為：設(shè)類型m判別函數(shù)fm(R2-n,R3-n)：

可見，若預(yù)測類型R3-n=m，且預(yù)測分?jǐn)?shù)R2-n≥0.9，則fm(R2-n,R3-n)輸出為 1；其他情況時，則fm(R2-n,R3-n)輸出為0。則正極數(shù)量N1、負(fù)極數(shù)量N2、沖壓腳數(shù)量N3、插座數(shù)量N4、引出線數(shù)量N5、電機軸數(shù)量N6分別為：

直接以檢測出零部件數(shù)量對比裝配質(zhì)量要求的零部件數(shù)量，數(shù)量全部一致則為裝配質(zhì)量合格。

3 實驗研究

采集6種微型直流電機圖像共60個，其中36構(gòu)成訓(xùn)練集，24個構(gòu)成測試集。在訓(xùn)練集上訓(xùn)練Faster R-CNN模型，訓(xùn)練調(diào)優(yōu)算法SGD、學(xué)習(xí)率為0.001、Mini-batch策略、分批數(shù) 2，迭代訓(xùn)練次數(shù)500。即模型將訓(xùn)練500次，每次學(xué)習(xí)是在訓(xùn)練集中挑選2個圖片進(jìn)行。圖5為Faster R-CNN模型訓(xùn)練過程損失曲線。

圖5 Faster R-CNN模型訓(xùn)練過程損失曲線

檢測例1：某型號微型直流電機，裝配質(zhì)量要求為軸體1個、正極1個、負(fù)極3個、沖壓腳4個、插座2個、引出線2個。圖6為檢測例1輸入圖像與檢測結(jié)果。

圖6 檢測例1輸入圖像與檢測結(jié)果圖

圖像輸入Faster R-CNN模型中，輸出的對象數(shù)量No=14預(yù)測邊界框R1-n、預(yù)測分?jǐn)?shù)R2-n、預(yù)測類型R3-n=[2, 1, 5, 5, 2, 3, 2, 3, 3, 3, 4, 0, 4, 6]。將R3-n、R2-n代入式⑶可得，正極數(shù)量N1=1、負(fù)極數(shù)量N2=3、沖壓腳數(shù)量N3=4、插座數(shù)量N4=2、引出線數(shù)量N5=2、軸體數(shù)量N6=1。

零部件安裝到位、沖壓腳齊全、正極涂裝是正確，裝配質(zhì)量合格。

檢測例2：某微型直流電機裝配質(zhì)量要求為軸體1個、正極1個、負(fù)極3個、沖壓腳4個、插座2個。圖7為檢測例2輸入圖像與檢測結(jié)果。

圖7 檢測例2輸入圖像與檢測結(jié)果圖

圖像輸入Faster R-CNN模型中，輸出的對象數(shù)量No=12預(yù)測邊界框R1-n、預(yù)測分?jǐn)?shù)R2-n、預(yù)測類型R3-n= [0, 2, 3, 2, 3, 2, 2, 3, 3, 4, 4, 6]。 將R3-n、R2-n代入式(3)可得正極數(shù)量N1=0、負(fù)極數(shù)量N2=4、沖壓腳數(shù)量N3=4、插座數(shù)量N4=2、引出線數(shù)量N5=0、軸體數(shù)量N6=1。

零部件安裝是到位、沖壓腳齊全，但正極涂裝不正確，裝配質(zhì)量不良。

4 結(jié)束語

本文提出微型直流電機端蓋裝配質(zhì)量在線視覺檢測技術(shù)，主要工作為：

1）研究基于Faster R-CNN的端蓋裝配質(zhì)量關(guān)鍵特征識別技術(shù)，提出微型直流電機端蓋裝配質(zhì)量關(guān)鍵特征識別的Faster R-CNN模型，模型可識別端蓋、軸體、正極、負(fù)極、插座、引出線、沖壓腳等7種零部件，模型準(zhǔn)確率達(dá)到97.3%，實現(xiàn)微型直流電機端蓋有關(guān)機殼沖壓腳、正極、負(fù)極等關(guān)鍵鍵制造質(zhì)量特征的識別與定位。

2）研發(fā)基于Faster R-CNN的端蓋裝配質(zhì)量檢測技術(shù)，通過統(tǒng)計關(guān)鍵特征數(shù)量，從零部件安裝到位、沖壓腳齊全、正極正確涂裝三方面評價微型直流電機端蓋裝配質(zhì)量。

3）應(yīng)用本文技術(shù)實現(xiàn)不同規(guī)格尺寸的微型直流電機端蓋裝配質(zhì)量檢測，試驗結(jié)果表明，檢測時間不超過0.21 s，能滿足微型直流電機端蓋裝配質(zhì)量在線視覺檢測需求。