連志強(qiáng) ，柯躍前 ，劉偉斌

（1.福州大學(xué) 機(jī)械工程及自動化學(xué)院，福州 350108；2.泉州師范學(xué)院物理與信息工程學(xué)院，泉州 362000；3.泉州華創(chuàng)智能科技有限公司，泉州 362000）

0 引言

壓鉚是指采用沖壓設(shè)備將螺紋件（螺釘或螺母）牢固地鉚接在圓孔上的一種工藝（如圖1所示）。鈑金件在加工中常采用壓鉚工藝在其上預(yù)埋螺紋件，便于機(jī)械緊固連接。由于螺紋件的規(guī)格不一，目前多采用人工定位鉚接點（圓心），并根據(jù)孔徑大小的不同手動切換壓鉚螺紋件，這樣不僅效率低且成本高。隨著智能制造技術(shù)的推廣，急需研制出一套能自動識別不同類型圓孔，并引導(dǎo)壓鉚設(shè)備自動壓鉚的自動對位機(jī)器識別系統(tǒng)。

圖1 螺紋件壓鉚示意圖

現(xiàn)有的圓孔識別算法有斑點面積分類法[1]、基于邊緣檢測的最小二乘法[2,3]、邊緣三維點云提取法[4]等。幾種算法的原理不同，用途不一。斑點面積分類算法采用形態(tài)學(xué)提取孔徑內(nèi)斑點信息，并設(shè)定不同的高低閾值以達(dá)到分類目的，但需預(yù)先設(shè)定閾值，且無法適應(yīng)畸變圓孔的分類；基于邊緣檢測的最小二乘法通過提取邊界信息后利用最小二乘法擬合，但存在邊界投影畸變，對變形圓孔測量誤差較大；基于邊緣三維點云提取法通過獲取邊緣三維點進(jìn)行圓擬合，但在檢測翹曲、變形面上的圓孔時反應(yīng)過慢，效率太低。

圖2 燈具鈑金件圖紙

圖2所示為本設(shè)計中批量生產(chǎn)的鈑金件之一——燈具鈑金件，圖中φ4.2、φ5.5分別為M3、M4螺紋件在壓鉚之前預(yù)留的圓孔。因鈑金件受力不均容易引起翹曲、變形等現(xiàn)象，現(xiàn)有算法支持下的機(jī)器視覺系統(tǒng)對圓孔進(jìn)行分類識別時，圓孔易出現(xiàn)成像畸變（如表1所示），導(dǎo)致機(jī)器判斷困難或分類錯誤，從而使壓鉚設(shè)備停壓或壓錯螺紋件。

表1 缺陷圓孔圖像

近年來，AlexNet（一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)）[5]在ImageNet（一個用于視覺對象識別軟件研究的大型可視化數(shù)據(jù)庫）競賽上表現(xiàn)優(yōu)異，卷積神經(jīng)網(wǎng)絡(luò)逐漸被人們所關(guān)注。卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò)，具有較強(qiáng)的表征學(xué)習(xí)能力。國外在醫(yī)學(xué)檢驗、機(jī)械故障診斷及語義分類等領(lǐng)域的應(yīng)用日趨成熟[6～8]。國內(nèi)相關(guān)學(xué)者也正密切關(guān)注該領(lǐng)域的技術(shù)發(fā)展，如溫州大學(xué)智能信息系統(tǒng)研究所的趙漢理[9]提出了基于卷積神經(jīng)網(wǎng)絡(luò)的雙行車牌分割算法，有效地提高了雙行車牌識別準(zhǔn)確率；北方民族大學(xué)計算機(jī)科學(xué)與工程學(xué)院的白靜[10]在針對三維模型多視圖分類中有益信息淹沒和混淆的問題，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)和投票機(jī)制的三維模型分類檢索算法，有效提升了分類性能。本文首先采用了基于卷積神經(jīng)網(wǎng)絡(luò)的方法對兩種圓孔的分類識別進(jìn)行了研究，其次結(jié)合常用的幾何位置識別算法——基于霍夫變換圓心定位算法，設(shè)計了一種自動壓鉚對位系統(tǒng)。

1 自動壓鉚對位系統(tǒng)總體方案設(shè)計

自動壓鉚系統(tǒng)示意圖如圖3所示，包括圖像采集系統(tǒng)（光源、鏡頭及相機(jī)等）、圖像處理系統(tǒng)、送料機(jī)器人和壓鉚設(shè)備等。系統(tǒng)工作流程圖如圖4所示。

圖3 自動壓鉚對位系統(tǒng)示意圖

圖4 自動壓鉚對位系統(tǒng)工作流程圖

2 算法結(jié)構(gòu)及原理介紹

2.1 卷積神經(jīng)網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)

本文在Inception V3（一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)名為Inception的3.0版本）[11]框架上進(jìn)行了修改。相比其他網(wǎng)絡(luò)，它更好的利用了內(nèi)部的計算資源，網(wǎng)絡(luò)深度有所增加，且引入的卷積分解有效提升了效率。

如表2所示，網(wǎng)絡(luò)內(nèi)含6個卷積層[12]、2個池化層[13]、三個不同種類的Inception（此神經(jīng)網(wǎng)絡(luò)的核心組成單元）模塊、Relu（Rectified Linear Unit，指線性整流函數(shù)）激活函數(shù)[14]、BN層（Batch Normalization，指批量歸一化）[15]、2個全連接層和softmax（歸一化指數(shù)函數(shù)）分類器等。其中卷積層均采用3×3的卷積核，第一、第五層步長為2，其余步長為1。而池化層分別采用3×3和8×8的卷積核，對應(yīng)步長為2，1。

表2 網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)

2.2 網(wǎng)絡(luò)末端分類器

本設(shè)計重新構(gòu)建了網(wǎng)絡(luò)末端的全連接層，使Softmax分類器輸出2個分類，并重新訓(xùn)練了新全連接層參數(shù)。網(wǎng)絡(luò)末端采用交叉熵作為代價函數(shù)。

2.2.1 Softmax分類器原理

Softmax為歸一化指數(shù)函數(shù)，在多分類場景中，softmax分類器應(yīng)用十分廣泛。它能把輸入數(shù)據(jù)映射為0～1之間的實數(shù)，并且實數(shù)和為1。softmax輸出每個分類被取到的概率。

2.2.2 交叉熵函數(shù)原理

交叉熵是衡量人工神經(jīng)網(wǎng)絡(luò)預(yù)測值與實際值的一種方式，神經(jīng)網(wǎng)絡(luò)離線訓(xùn)練目的是使其值越小越好。采用交叉熵函數(shù)作為代價函數(shù)有效提升了權(quán)重和偏置的更新速度，其函數(shù)表達(dá)式為：

式(2)中，C表示代價函數(shù)，v表示神經(jīng)元期望輸出值，m表示實際輸出值，求和是在所有輸入數(shù)據(jù)x（像素值向量）上進(jìn)行的。

2.3 Hough 變換圓檢測原理

Hough（霍夫）變換[16]在圖像處理中主要用于幾何形狀的識別?；诨舴蜃儞Q的圓檢測是目前廣為應(yīng)用的方法之一，其可靠性高，對帶有變形、殘缺及不連續(xù)邊緣等有良好的適應(yīng)性。

已知圓的一般方程為：

則在極坐標(biāo)下圓的方程為：

式中：（a，b）為圓心，r為半徑。

圓的一般方程映射到極坐標(biāo)空間中為一條曲線。同一圓上的若干點在極坐標(biāo)空間中表現(xiàn)為若干條空間曲線在某一點相交。故同一個圓上的點映射在極坐標(biāo)空間里的曲線必定相交于同一點。最后，通過圓半徑信息，便可檢測出原坐標(biāo)系的圓心坐標(biāo)。

3 算法設(shè)計流程

如圖5所示，首先卷積神經(jīng)網(wǎng)絡(luò)將圓孔分類后，引導(dǎo)壓鉚設(shè)備切換壓鉚螺紋件；其次霍夫變換圓檢測算法根據(jù)卷積網(wǎng)絡(luò)分類的孔徑信息，識別出圓心坐標(biāo)（鉚接點）。

圖5 算法設(shè)計流程圖

3.1 卷積神經(jīng)網(wǎng)絡(luò)離線訓(xùn)練參數(shù)設(shè)置

本設(shè)計在Tensorflow環(huán)境下對神經(jīng)網(wǎng)絡(luò)進(jìn)行了1萬多次迭代訓(xùn)練。其中訓(xùn)練集圖片160張，測試集圖片40張（φ4.2、φ5.5正常圓孔、缺陷圓孔1與缺陷圓孔2的比例均約為3:1:1）。設(shè)置初始學(xué)習(xí)率為0.001，學(xué)習(xí)率衰減因子為0.8，衰減周期為10，批次大小為8。實驗過程中，損失值在0.60上下波動時，將學(xué)習(xí)速率衰減因子調(diào)整為0.9，批次大小調(diào)整為5。

3.2 卷積神經(jīng)網(wǎng)絡(luò)圓孔分類效果

為驗證卷積神經(jīng)網(wǎng)絡(luò)對φ4.2、φ5.5圓孔的分類性能，本文分別采用多種方法對相同的圓孔數(shù)據(jù)集各進(jìn)行了100次分類實驗，實驗數(shù)據(jù)如表3所示。

表3 不同算法圓孔分類實驗數(shù)據(jù)統(tǒng)計表

由表3可得，不同算法圓孔分類成功率如表4所示。

表4 不同算法圓孔分類實驗成功率統(tǒng)計表

由此可見，本文方法有明顯優(yōu)勢，能有效識別畸變圓孔。

圖6所示為測試集分類準(zhǔn)確率變化情況。通過對比可以發(fā)現(xiàn)訓(xùn)練前期準(zhǔn)確率不到50%，經(jīng)訓(xùn)練后，準(zhǔn)確率上升為97%，進(jìn)一步驗證了上述實驗結(jié)果。

圖6 測試集分類準(zhǔn)確率的變化情況

由圖7可知，在網(wǎng)絡(luò)的訓(xùn)練過程中交叉熵?fù)p失值不斷下降。經(jīng)15000次迭代訓(xùn)練后交叉熵?fù)p失始終處于0.58以下，已相對收斂，應(yīng)停止訓(xùn)練。

圖7 訓(xùn)練前后期交叉熵?fù)p失值的變化情況

圖8所示為輸出參數(shù)直方圖，顏色越淺，迭代步數(shù)越多。對比前后參數(shù)可知：網(wǎng)絡(luò)末端的權(quán)重參數(shù)值分布良好，訓(xùn)練前期網(wǎng)絡(luò)誤差不會在后期放大，模型穩(wěn)定性較好。

圖8 訓(xùn)練前后期神經(jīng)網(wǎng)絡(luò)模型輸出參數(shù)直方圖

3.3 霍夫變換鉚接點檢測效果

霍夫變換圓檢測算法在收到卷積神經(jīng)網(wǎng)絡(luò)發(fā)出的孔徑信息后便開始定位鉚接點。經(jīng)現(xiàn)場測試發(fā)現(xiàn)：該算法能準(zhǔn)確輸出鉚接點，解決了現(xiàn)有算法所面對的困難。如圖9所示，十字交叉點即表示該缺陷圓孔的圓心。坐標(biāo)分別為（932.422，500.086）、（56.177，189.977）。

圖9 本文算法檢測畸變圓孔位置效果圖

為驗證此算法的穩(wěn)定性和優(yōu)越性，本文采用多種算法分別對φ4.2、φ5.5各進(jìn)行100次鉚接點識別測試。其中包含φ4.2、φ5.5正常圓孔鈑金件各60個，缺陷圓孔鈑金件各40個，實驗數(shù)據(jù)如表5所示。

表5 不同算法鉚接點識別實驗數(shù)據(jù)統(tǒng)計表

4 實驗結(jié)果分析

經(jīng)多次實驗測試，不同算法鉚接點識別成功率及算法平均每次耗時如表6所示。

表6 不同算法鉚接點識別成功率統(tǒng)計表

由表6得，現(xiàn)有算法識別成功率普遍不高。基于邊緣三維點云提取法雖然表現(xiàn)出相對較高的成功率，但耗時長，影響效率。而本文方法成功率高，耗時短，有效提升了自動壓鉚對位系統(tǒng)的可靠性和穩(wěn)定性。

根據(jù)自動壓鉚對位系統(tǒng)需求，基于LabVIEW與Opencv編寫了人-機(jī)交互界面。軟件界面如圖10所示。點擊“運行”便觸發(fā)相機(jī)工作與算法運行，待檢測到圓孔信息，并識別出鉚接點后，機(jī)器人自動將圓孔移至壓鉚處。同時，系統(tǒng)觸發(fā)相應(yīng)指令，使對應(yīng)的壓鉚螺紋件進(jìn)入指定位置，實現(xiàn)自動對位壓鉚。

圖10 自動壓鉚對位系統(tǒng)人機(jī)操作界面

5 結(jié)語

為實現(xiàn)壓鉚工藝自動化，本文依次使用了基于卷積神經(jīng)網(wǎng)絡(luò)和基于霍夫變換的圓檢測算法，設(shè)計了一種自動壓鉚對位系統(tǒng)。該系統(tǒng)能準(zhǔn)確識別鉚接點，自動將相應(yīng)規(guī)格的壓鉚螺紋件鉚接在圓孔上。通過卷積神經(jīng)網(wǎng)絡(luò)在提取圖像特征方面的優(yōu)越性，有效的提取了圓孔的數(shù)據(jù)特征，解決了畸變圓孔圖像識別困難及分類錯誤的問題。考慮圓孔邊緣翹曲變形的特點，采用了霍夫變換圓檢測算法，提高了鉚接點的識別成功率和效率。試驗表明自動壓鉚對位系統(tǒng)有效替代了人工壓鉚，降低企業(yè)生產(chǎn)成本的同時也提升了效率。