Riveting position recognition method design based on BP neural network

廖健君，倪文波，王雪梅

LIAO Jian-jun, NI Wen-bo, WANG Xue-mei

（西南交通大學(xué) 機(jī)械工程學(xué)院，成都 610031）

?

基于BP神經(jīng)網(wǎng)絡(luò)的鉚接位置識(shí)別方法設(shè)計(jì)

Riveting position recognition method design based on BP neural network

廖健君，倪文波，王雪梅

LIAO Jian-jun, NI Wen-bo, WANG Xue-mei

（西南交通大學(xué) 機(jī)械工程學(xué)院，成都 610031）

摘 要：為完成某大型設(shè)備鉚接位置的判斷，設(shè)計(jì)了一種基于BP神經(jīng)網(wǎng)絡(luò)的鉚接位置圖像識(shí)別方法，包括工廠作業(yè)圖像采集程序設(shè)計(jì)、位置圖像特征提取及儲(chǔ)存入庫(kù)、3層BP神經(jīng)網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)訓(xùn)練及測(cè)試三個(gè)部分。通過(guò)使用LABVIEW軟件設(shè)計(jì)程序，對(duì)鉚接過(guò)程中含位置信息的圖像進(jìn)行采集，獲取和量化圖像的總體灰度平均值和質(zhì)心，將每幅圖像循環(huán)寫入Microsoft Access的數(shù)據(jù)庫(kù)中。在MATLAB軟件平臺(tái)下，將圖像特征數(shù)據(jù)轉(zhuǎn)化成訓(xùn)練樣本輸入離線網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后利用除訓(xùn)練樣本外的圖像特征數(shù)據(jù)輸入在線識(shí)別程序驗(yàn)證網(wǎng)絡(luò)的識(shí)別能力。試驗(yàn)結(jié)果表明，該方法能較準(zhǔn)確地識(shí)別出該大型設(shè)備制動(dòng)杠桿在組裝過(guò)程中鉚槍鉚接時(shí)的位置，準(zhǔn)確率達(dá)到100%，可有效判斷出漏鉚問(wèn)題的發(fā)生，保證設(shè)備的生產(chǎn)質(zhì)量。

關(guān)鍵詞：圖像采集；圖像識(shí)別；BP神經(jīng)網(wǎng)絡(luò)；鉚接位置

0 引言

拉鉚釘是利用虎克定律原理，用拉鉚釘專用設(shè)備將2個(gè)結(jié)合件夾緊后，將套入的環(huán)狀套環(huán)（或稱不帶螺紋的螺帽）的金屬擠壓并充滿到帶有多條環(huán)狀溝槽的栓柱的凹槽內(nèi)，使套環(huán)與栓柱嚴(yán)密結(jié)合的一種緊固方式[1]。其具有高的夾緊力和抗剪力、連接可靠、良好的放松性能等許多優(yōu)點(diǎn)，在航空、鐵路、船舶等行業(yè)得到了廣泛應(yīng)用。為了保證鉚接質(zhì)量，目前通常采用檢測(cè)鉚接時(shí)鉚釘槍的壓力-位移圖的相互關(guān)系進(jìn)行比較來(lái)評(píng)估鉚接質(zhì)量。但是，在某大型設(shè)備生產(chǎn)過(guò)程中，由于需鉚接的位置數(shù)量較多，時(shí)有漏鉚、鉚接不到位等質(zhì)量問(wèn)題，這將為后期產(chǎn)品運(yùn)用帶來(lái)了嚴(yán)重的安全隱患?；诖耍疚母鶕?jù)大型設(shè)備鉚接工藝、裝配位置固定等特點(diǎn)，提出一種基于灰度平均值與整體圖像灰度質(zhì)心的在線識(shí)別鉚接圖像方法。獲取實(shí)際工作圖像后，經(jīng)過(guò)離線訓(xùn)練程序進(jìn)行訓(xùn)練，取得權(quán)向量和閥值向量以作為在線識(shí)別的依據(jù)。按照離線訓(xùn)練所使用的算法，編寫在線識(shí)別程序。在大型設(shè)備鉚接裝配時(shí)，通過(guò)安裝在鉚槍上的工業(yè)相機(jī)獲取鉚接點(diǎn)背景圖像，即可利用已經(jīng)獲得權(quán)向量和閥值向量的在線識(shí)別程序，實(shí)現(xiàn)對(duì)鉚接位置的識(shí)別，工作流程圖如圖1所示。輸出的位置標(biāo)識(shí)信息，可為進(jìn)一步進(jìn)行鉚接質(zhì)量管理提供一種有效的方法。

1 鉚接位置圖像采集

1.1 特征描述子選擇

原始圖像通常含有非常多的信息，選擇和提取合適的圖像特征參數(shù)作為圖像的描述，能較為準(zhǔn)確的反映圖像的特點(diǎn)，實(shí)現(xiàn)整幅圖像到有限特征參數(shù)的映射，為后面的識(shí)別工作快速、準(zhǔn)確進(jìn)行提供保證。

圖1　工作流程圖

以某大型設(shè)備作為研究對(duì)象，對(duì)某工廠制動(dòng)杠桿鉚接過(guò)程進(jìn)行研究，確定將具有代表性的5個(gè)拉鉚釘所在位置作為識(shí)別對(duì)象。在實(shí)際鉚接過(guò)程中，由于受到液壓鉚槍供油位置及裝配位置的限制，作業(yè)位置、作業(yè)工序固定，因此，拍攝的圖像背景相對(duì)固定。同時(shí)，為了不影響裝配效率，要求盡可能快的識(shí)別出鉚接點(diǎn)位置，不宜采用過(guò)于復(fù)雜的算法使運(yùn)算時(shí)間過(guò)長(zhǎng)，并且需要保證較高的正確識(shí)別率，因此選擇合適的描述子十分重要。常用的圖像描述子包括邊界描述子、區(qū)域描述子、主分量描述子、關(guān)系描述子四種，每一種描述子包括許多不同的描述特征算法。其中主分量描述子中的平均值算法是一種可基于圖像整體特征的描述方法。在初步分析相機(jī)拍攝的樣本圖像后，可以發(fā)現(xiàn)每一個(gè)鉚接位置對(duì)應(yīng)的背景灰度平均值具有較大差異。此外，對(duì)于5個(gè)鉚接位置，整體圖像質(zhì)心位置坐標(biāo)值也具有較大的可分性?；诖?，通過(guò)測(cè)量圖像的整體灰度平均值以及質(zhì)心位置可表達(dá)出圖像的位置信息。

整體灰度平均值表達(dá)式為：

式中，m為圖像的平均值，zi為表示灰度的一個(gè)隨機(jī)變量。在提取均值時(shí)，軟件會(huì)自動(dòng)將彩色圖像轉(zhuǎn)變成灰值圖像，因此zi取0到255的整數(shù)值，而其累加終點(diǎn)和范圍L=256，P(zi)為zi對(duì)應(yīng)的直方圖[2]。

質(zhì)心位置參數(shù)是建立圖像坐標(biāo)系后對(duì)質(zhì)心相對(duì)位置的描述，其表征圖像的幾何信息，對(duì)應(yīng)X、Y兩個(gè)數(shù)值參數(shù)，其表達(dá)式為：

式中，X0、Y0分別為圖像某像素中心的x和y坐標(biāo)[3]。

質(zhì)心是一個(gè)相對(duì)概念，是相對(duì)一定的坐標(biāo)系而言的，對(duì)坐標(biāo)值進(jìn)行數(shù)字化處理稱為取樣，而對(duì)幅值進(jìn)行數(shù)字化稱為量化[2]。取樣方法通常由用于生成該圖像的傳感器配置決定，在軟件編程中可以不必考慮取樣方法，只需要按照給定的坐標(biāo)系規(guī)定量化值。

1.2 圖像采集程序設(shè)計(jì)

圖像采集程序應(yīng)實(shí)現(xiàn)圖像采集與保存、特征提取、特征參數(shù)保存三個(gè)功能。

目前常用的工業(yè)相機(jī)包括CCD（Charge-coupled Devices）和CMOS（Complementary Metal-oxide Semiconductor）兩種。由于CMOS相機(jī)制造更方便、價(jià)格低廉，芯片功耗比CCD低等特點(diǎn)[4]，本文采用300萬(wàn)像素12幀/s的CMOS工業(yè)相機(jī)及8mm焦距鏡頭，相機(jī)采用USB2.0數(shù)據(jù)接口，具有480Mb/s的傳輸速度，支持即插即用、支持連續(xù)采集和軟件觸發(fā)。

圖像采集與保存程序的開(kāi)發(fā)在Windows7操作系統(tǒng)下，基于LabVIEW試驗(yàn)虛擬儀器工程平臺(tái)進(jìn)行。使用LabVIEW的視覺(jué)獲取軟件VAS完成觸發(fā)圖像的采集、抓取及保存。利用LabVIEW的配置管理軟件MAX獲取接口信息，生成相機(jī)會(huì)話輸入，再將該輸入與IMAQdx Open Camera.vi、IMAQdx Snap.vi、IMAQ Write File. vi、IMAQdx Close Camera.vi四個(gè)控件依序相連，實(shí)現(xiàn)打開(kāi)照相機(jī)、抓取照相機(jī)圖像、在預(yù)設(shè)文件夾中保存圖像、關(guān)閉照相機(jī)功能。程序中將IMAQdx Snap.vi、IMAQ Write File.vi兩個(gè)控件編寫入while循環(huán)中保證相機(jī)實(shí)時(shí)接受觸發(fā)指令。

采集到目標(biāo)圖像后，使用視覺(jué)開(kāi)發(fā)模塊VDN完成提取和量化本文需要的圖像整體灰度平均值以及質(zhì)心坐標(biāo)。利用之前VAS保存圖像時(shí)使用的路徑信息，使該信息輸入到IMAQ ReadFile.vi控件中，保證圖像與特征的對(duì)應(yīng)關(guān)系。在該控件后添加IMAQ Histograph.vi和IMAQ Centroid.vi控件獲取圖像的特征參數(shù)。

特征參數(shù)的保存方法是使用組合字符串語(yǔ)句，利用數(shù)據(jù)庫(kù)工具包（LabSQL）中的控件，將每張圖像的特征參數(shù)不斷寫入Microsoft Access數(shù)據(jù)庫(kù)中保存待用。

圖像采集程序后面板如圖2所示。

2 鉚接位置圖像識(shí)別程序

圖2　圖像采集程序后面板

確定將整體灰度平均值與質(zhì)心坐標(biāo)作為輸入圖像的描述子后，這些信息就成為三維歐氏空間中的一個(gè)點(diǎn)，不同的輸入樣本輸入構(gòu)成一個(gè)個(gè)的點(diǎn)集，模式識(shí)別采用的方法就是找到線性或者非線性的分類器將同類數(shù)據(jù)劃分到同一區(qū)域，最終獲取非線性判別函數(shù)來(lái)解決實(shí)際問(wèn)題。基于誤差反傳算法（Error Back Propagation，BP）的人工神經(jīng)網(wǎng)絡(luò)形成的多層感器，是目前使用最廣泛的解決該類問(wèn)題的一種有監(jiān)督的學(xué)習(xí)算法，其能學(xué)習(xí)和存貯大量的輸入－輸出模式映射關(guān)系，而無(wú)需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程，具有非線性、自學(xué)習(xí)、自適應(yīng)能力[5]。將采集的樣本圖像特征數(shù)據(jù)輸入該網(wǎng)絡(luò)后，會(huì)自動(dòng)不斷調(diào)整權(quán)向量和閥值向量，形成輸入到輸出的映射，能準(zhǔn)確的實(shí)現(xiàn)分類。

2.1 BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

本文采用單隱層感知器結(jié)構(gòu)，即三層感知器結(jié)構(gòu)。這種結(jié)構(gòu)的拓?fù)鋱D如圖3所示。

圖3　三層BP網(wǎng)拓?fù)鋱D

底層為輸入層，中間層為隱層，頂層為輸出層。輸入層的節(jié)點(diǎn)數(shù)代表輸入向量的個(gè)數(shù)，本文使用整體灰度平均值、質(zhì)心的x坐標(biāo)和y坐標(biāo)作為輸入，因此n=3。輸出層為識(shí)別的總類數(shù)，因此l=5。隱層使用經(jīng)驗(yàn)公式：

進(jìn)行計(jì)算，其中α為1～10的常數(shù)，根據(jù)試驗(yàn)效果進(jìn)行調(diào)整，取m=6。其中V為輸入層到隱層之間的權(quán)值矩陣，其中列向量Vj為與輸入層xj相乘的權(quán)向量；W為隱層到輸出層之間的權(quán)值矩陣，其中列向量Wk為與隱層輸出yk相乘的權(quán)向量[6]。

輸入層到隱層的表達(dá)式為：

式中，vij為輸出層到隱層的權(quán)值，netj為隱層輸入，θ1為隱層閥值，yj為隱層輸出，f(x)為隱層激活函數(shù)。隱層激活函數(shù)使用雙曲正切S型函數(shù)，可提高識(shí)別的精度，其表達(dá)式為：

隱層到輸出層的表達(dá)式為：

式中，wjk為隱層到輸出層的權(quán)值，netk為輸出層輸入，θ2為輸出層閥值，ok為輸出層輸出。

g(netk)為輸出層激活函數(shù)。輸出層激活函數(shù)使用線性函數(shù)，可提高運(yùn)算速度，其表達(dá)式為：

由激活函數(shù)表達(dá)式可知，為保證激活函數(shù)不發(fā)生溢出，統(tǒng)一數(shù)據(jù)的數(shù)量級(jí)，需要先將圖像樣本數(shù)據(jù)進(jìn)行歸一化處理至[-1.1]區(qū)間中，其表達(dá)式為：

設(shè)理想輸出向量為D，則用于調(diào)整權(quán)向量的輸出誤差表達(dá)式為：

采用梯度遞減規(guī)則使E小于0.01滿足以精度要求。

經(jīng)過(guò)推導(dǎo)，各層權(quán)值調(diào)整表達(dá)式為：

式中，dk為理想輸出，Δvjk為輸入層到隱層的調(diào)整值，Δwjk為隱層到輸出層調(diào)整值。η為學(xué)習(xí)率，影響網(wǎng)絡(luò)收斂速度及能否收斂，較小的學(xué)習(xí)率可保證網(wǎng)絡(luò)收斂，但收斂較慢，而學(xué)習(xí)率設(shè)置偏大可能使網(wǎng)絡(luò)不收斂。選擇η=0.3使收斂較快且能獲得較高的準(zhǔn)確率。

對(duì)于閥值θ1、θ2的調(diào)整，可以通過(guò)引入x0=-1、y0=-1與初始的閥值相乘，加入權(quán)值調(diào)整即可進(jìn)行訓(xùn)練。

2.2 離線訓(xùn)練程序?qū)崿F(xiàn)

使用MATLAB軟件平臺(tái)的神經(jīng)網(wǎng)絡(luò)工具箱構(gòu)建的BP神經(jīng)網(wǎng)絡(luò)，選取實(shí)際工況拍攝的60幅鉚接位置圖像作為訓(xùn)練樣本，平均每個(gè)位置對(duì)應(yīng)12幅圖像，輸入構(gòu)建的網(wǎng)絡(luò)進(jìn)行離線訓(xùn)練，訓(xùn)練流程圖如圖4所示。其中讀取訓(xùn)練數(shù)據(jù)是將樣本圖像特征數(shù)據(jù)通過(guò)數(shù)據(jù)接口輸入MATLAB中，輸入值歸一化是為了保證輸入值與要求類型保持一致，構(gòu)造輸出矩陣是為了提供給輸出層緩存空間，創(chuàng)建網(wǎng)絡(luò)是使用神經(jīng)網(wǎng)絡(luò)工具箱通過(guò)設(shè)置參數(shù)自動(dòng)構(gòu)建，最后訓(xùn)練網(wǎng)絡(luò)以獲得權(quán)向量與閥值向量。

圖4　訓(xùn)練流程圖

網(wǎng)絡(luò)訓(xùn)練結(jié)果如圖5所示?？梢钥闯?，在第26次訓(xùn)練的時(shí)候就已經(jīng)達(dá)到訓(xùn)練精度，說(shuō)明構(gòu)建的網(wǎng)絡(luò)具有快速收斂速度。

圖5　網(wǎng)絡(luò)訓(xùn)練結(jié)果

2.3 在線識(shí)別程序測(cè)試

離線訓(xùn)練程序使用MATLAB編寫能快速獲得所需的權(quán)向量和閥值向量，而在實(shí)際運(yùn)用中，在線識(shí)別程序與圖像采集程序應(yīng)使用同一軟件編寫，以避免由于軟件切換所導(dǎo)致的識(shí)別延遲。在深入了解BP神經(jīng)網(wǎng)絡(luò)的算法結(jié)構(gòu)后，使用LabVIEW編寫的在線識(shí)別程序是可實(shí)現(xiàn)的。選取實(shí)際工況測(cè)得24幅鉚接位置圖像，每個(gè)位置對(duì)應(yīng)4幅測(cè)試圖像，作為統(tǒng)計(jì)識(shí)別準(zhǔn)確率的測(cè)試組。測(cè)試流程圖如圖6所示，其中測(cè)試圖像數(shù)據(jù)是測(cè)試組圖像的特征參數(shù)輸入，測(cè)試數(shù)據(jù)歸一化是為了保證輸入值與要求類型保持一致，仿真模擬是將測(cè)試組數(shù)據(jù)與獲得權(quán)向量與閥值向量生成的在線識(shí)別程序按照與離線訓(xùn)練程序訓(xùn)練同一算法進(jìn)行運(yùn)算，統(tǒng)計(jì)準(zhǔn)確率是通過(guò)正確識(shí)別圖像位置的數(shù)目與測(cè)試數(shù)據(jù)對(duì)應(yīng)圖像的總數(shù)之比計(jì)算所得。

圖6　測(cè)試流程圖

經(jīng)過(guò)現(xiàn)場(chǎng)對(duì)制動(dòng)杠桿鉚接工況測(cè)試，通過(guò)相機(jī)采集5個(gè)鉚接點(diǎn)任意位置的圖像，輸入到在線識(shí)別程序，在不超過(guò)1s的時(shí)間內(nèi)即可實(shí)現(xiàn)準(zhǔn)確識(shí)別，統(tǒng)計(jì)所得結(jié)果得識(shí)別準(zhǔn)確率為100%。因此，在實(shí)際運(yùn)用中基本不會(huì)影響裝配時(shí)間同時(shí)兼顧識(shí)別準(zhǔn)確率，說(shuō)明基于BP神經(jīng)網(wǎng)絡(luò)的鉚接位置識(shí)別方法有效。在線識(shí)別程序測(cè)試結(jié)果如圖7所示。

圖7　在線識(shí)別程序測(cè)試結(jié)果

3 結(jié)論

本文對(duì)某大型設(shè)備上的鉚接點(diǎn)位置的圖像識(shí)別方法進(jìn)行了研究，提出了一種關(guān)于圖像采集、圖像存儲(chǔ)、基于BP神經(jīng)網(wǎng)絡(luò)的離線訓(xùn)練和在線識(shí)別方法。通過(guò)相機(jī)采集到任意鉚接位置的圖像輸入到在線識(shí)別程序，達(dá)到100%的總體識(shí)別準(zhǔn)確率，說(shuō)明本文所提出的方法有效，可判斷出漏鉚問(wèn)題的發(fā)生。

參考文獻(xiàn)：

[1] 楊樹(shù)森,張光明,劉煜.拉鉚釘及其在鐵道車輛中的應(yīng)用[J].鐵道車輛,2006,44(12):12.

[2] Rafael C.Gonzalez ,Richard E. Woods. Digital Image Processing[M].3rd ed. New Jersey: Pearson Education,2008:828.

[3] 郭曉偉.基于機(jī)器視覺(jué)的開(kāi)心果閉殼與開(kāi)殼識(shí)別[J].計(jì)算機(jī)應(yīng)用,2011,31(2):427.

[4] Abbas El Gamal, Helmy Eltoukhy. CMOS Image Sensors[J].IEEE Circuits and Devices Magazine,2005 MAY/JUNE:8.

[5] 焦圣喜,遲警,李婉珍.基于小波包和GA-LM-BP神經(jīng)網(wǎng)絡(luò)的汽輪機(jī)故障診斷[J].制造業(yè)自動(dòng)化,2015,8(37):112.

[6] 韓力群.人工神經(jīng)網(wǎng)絡(luò)[M].北京:北京郵電大學(xué)出版社,2006:58-60.

機(jī)器人技術(shù)

作者簡(jiǎn)介：廖健君（1992 -），男，廣東興寧人，碩士研究生，研究方向?yàn)閿?shù)據(jù)采集與處理、車輛工程。

收稿日期：2015-09-29

中圖分類號(hào)：TP391.4

文獻(xiàn)標(biāo)識(shí)碼：B

文章編號(hào)：1009-0134(2016)01-0038-04