何彬媛　黃堅(jiān)　劉桂雄　林鎮(zhèn)秋

摘要：標(biāo)準(zhǔn)件裝配質(zhì)量包含零件類型、位置偏差、姿態(tài)偏差等多個(gè)指標(biāo)，還具有部位多、類型復(fù)雜的特點(diǎn)，該文提出基于裝配局部特征的檢測(cè)模板結(jié)合機(jī)器視覺的產(chǎn)品裝配質(zhì)量智能檢測(cè)方案。首先，分析鑒別產(chǎn)品質(zhì)量需從類型、位置、角度方面進(jìn)行檢測(cè)，還須結(jié)合裝配公差要求，研究標(biāo)準(zhǔn)件局部特征檢測(cè)方法;其次，通過標(biāo)準(zhǔn)件局部特征檢測(cè)對(duì)裝配部件進(jìn)行快速準(zhǔn)確定位、利用數(shù)學(xué)模型進(jìn)行鑒別，結(jié)合SURF算法確定主方向及特征點(diǎn)，實(shí)現(xiàn)標(biāo)準(zhǔn)件裝配質(zhì)量的快速智能檢測(cè);最后，構(gòu)建機(jī)箱標(biāo)準(zhǔn)件裝配質(zhì)量檢測(cè)裝置，對(duì)多個(gè)不同型號(hào)ADLINK嵌入式機(jī)箱進(jìn)行試驗(yàn)。結(jié)果表明：與全局檢測(cè)相比，使用標(biāo)準(zhǔn)件裝配質(zhì)量的局部特征智能檢測(cè)技術(shù)，檢測(cè)時(shí)間可縮短86.31%，實(shí)現(xiàn)零漏檢，識(shí)別正確率達(dá)100%。

關(guān)鍵詞：標(biāo)準(zhǔn)件裝配質(zhì)量;檢測(cè)模板;局部特征檢測(cè);智能檢測(cè)

中圖分類號(hào)：TP391.4

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1674–5124（2019）03–0018–06

Intelligent detection technology for local characteristics of chassis standard component assembly quality

HE Binyuan1， HUANG Jian1， LIU Guixiong1， LIN Zhenqiu2

（1. School of Mechanical and Automotive Engineering， South China University of Technology， Guangzhou 510640， China; 2. Guangzhou Hua Jie Electronic Technology Co.， Ltd.， Guangzhou 510663， China）

Abstract： The assembly quality of standard components includes many types of parts， position deviation， attitude deviation， etc. It also has many features and complex types. The intelligent detection scheme of product assembly quality based on the detection template of assembly local features combined with machine vision is proposed. Firstly， the analysis and identification of product quality should be tested in terms of type， position and angle. It is also necessary to study the local feature detection method of standard components in combination with assembly tolerance requirements. Secondly， the assembly parts can be quickly and accurately positioned and utilized by the local feature detection of standard components. The model is identified， combined with the SURF algorithm to determine the main direction and feature points， to achieve rapid intelligent detection of standard component assembly quality. Finally， the chassis standard component assembly quality inspection device is constructed， and several different models of ADLINK embedded chassis are tested. The results show that compared with the global detection， the detection time can be shortened by 86.31% and the recognition accuracy rate is 100% using the local feature intelligent detection technology of the

standard component assembly quality， and every standard component is detected.

Keywords： standard component assembly quality; detection template; partial image detection; intelligent detection

0 引言

機(jī)箱種類繁多，機(jī)箱標(biāo)準(zhǔn)件裝配具有部位多、類型復(fù)雜、且同一類型部件相似度高等特點(diǎn)，人工檢查方式難以滿足大批量生產(chǎn)要求，基于機(jī)器視覺機(jī)箱標(biāo)準(zhǔn)件裝配質(zhì)量圖像檢測(cè)技術(shù)是實(shí)現(xiàn)機(jī)器代人、提高生產(chǎn)效率、促進(jìn)裝配產(chǎn)業(yè)升級(jí)的保證[1]。標(biāo)準(zhǔn)件裝配質(zhì)量機(jī)器視覺檢測(cè)以圖像模板作為載體，模板具有相應(yīng)的位置、角度及評(píng)判標(biāo)準(zhǔn)等數(shù)據(jù)，從而實(shí)現(xiàn)標(biāo)準(zhǔn)件的類型識(shí)別與裝配質(zhì)量鑒別[2-3]?；谀０迤ヅ錂C(jī)器視覺技術(shù)是通過分析目標(biāo)與模板間的相似性以實(shí)現(xiàn)目標(biāo)識(shí)別，具有魯棒性好、應(yīng)用廣泛的特點(diǎn)[4]。模板匹配包括基于灰度相關(guān)性匹配、基于圖像特征匹配[5]。其中，基于灰度相關(guān)性匹配是在目標(biāo)與背景差別較大場(chǎng)景下，按某種特定相似性度量方法，逐像素地將模板圖像的灰度矩陣與目標(biāo)圖像所有搜索域的灰度陣列進(jìn)行比較的方法[6]。文獻(xiàn)[7]研究灰度匹配的緊固件缺失檢測(cè)方法，采用空間二維滑動(dòng)模板，取得較好匹配效果，但對(duì)特征較少的物體檢測(cè)效果不太理想;浙江大學(xué)研究基于灰度相關(guān)性模板匹配算法的PCB元件檢測(cè)，實(shí)現(xiàn)滿足工業(yè)自動(dòng)化檢測(cè)高精度識(shí)別，但難以適用于位置變化與灰度變化大的被測(cè)對(duì)象，計(jì)算量大，一定程度上影響實(shí)時(shí)性[8]?；趫D像特征匹配是指通過提取圖像的顏色特征、紋理特征、角點(diǎn)特征、空間位置特征等，建立圖像特征參數(shù)庫，運(yùn)用特征參數(shù)來實(shí)現(xiàn)匹配。文獻(xiàn)[9]結(jié)合圖像特征匹配技術(shù)，提出零件輪廓快速檢測(cè)方法，采用模板匹配全局檢測(cè)技術(shù)自動(dòng)獲取零件圖像，完成相應(yīng)區(qū)域零件檢測(cè)?；诨叶认嚓P(guān)的匹配效果好，但算法復(fù)雜、耗時(shí)長，難以滿足裝配部位多的機(jī)箱檢測(cè)要求;基于圖像特征匹配技術(shù)可以準(zhǔn)確地找出匹配位置，對(duì)種類復(fù)雜或形變較大被測(cè)對(duì)象具有較好適應(yīng)性，檢測(cè)速度與準(zhǔn)確率較高。

本文將基于圖像特征模板匹配技術(shù)，在機(jī)箱裝配標(biāo)準(zhǔn)件漏裝配、誤裝配與正確裝配的檢測(cè)結(jié)果評(píng)判標(biāo)準(zhǔn)下，提出一種面向機(jī)箱標(biāo)準(zhǔn)件裝配質(zhì)量的局部特征智能檢測(cè)技術(shù)，實(shí)現(xiàn)對(duì)裝配質(zhì)量快速智能鑒別與質(zhì)量分析。

1 標(biāo)準(zhǔn)件局部特征檢測(cè)方法

機(jī)箱標(biāo)準(zhǔn)件裝配質(zhì)量檢測(cè)需根據(jù)裝配圖明確各標(biāo)準(zhǔn)件的裝配要求，標(biāo)準(zhǔn)件裝配質(zhì)量指標(biāo)由零件類型是否正確、零件位置偏差、零件姿態(tài)偏差構(gòu)成，一個(gè)合格裝配產(chǎn)品除正確裝配外，還必須使得標(biāo)準(zhǔn)件在裝配公差范圍內(nèi)。在模板匹配技術(shù)基礎(chǔ)上，除了檢測(cè)安裝位置，角度也是評(píng)判標(biāo)準(zhǔn)件裝配優(yōu)劣的重要指標(biāo)。在標(biāo)準(zhǔn)件裝配質(zhì)量檢測(cè)過程中，在滿足裝配圖中各部位參數(shù)、裝配要求情況下，盡量減少圖像檢測(cè)計(jì)算量，提高檢測(cè)實(shí)時(shí)性能。

表1為標(biāo)準(zhǔn)件局部裝配質(zhì)量檢測(cè)模板參數(shù)表，基準(zhǔn)位置、主方向、標(biāo)準(zhǔn)件類型、標(biāo)準(zhǔn)件位置、標(biāo)準(zhǔn)件特征點(diǎn)、標(biāo)準(zhǔn)件尺寸、裝配公差、標(biāo)準(zhǔn)件方向等參數(shù)的數(shù)學(xué)符號(hào)以及物理意義如表所示。

檢測(cè)過程需要讀取標(biāo)準(zhǔn)件R={T1，T2，···，Tj，j∈Z};基準(zhǔn)位置O（x，y）;標(biāo)準(zhǔn)件Ci位置（xmo1，ymo1）、（xmo2，ymo2）、...、（xmoi，ymoi）;標(biāo)準(zhǔn)件Ci特征點(diǎn)（xm1，ym1）、

（xm2，ym2）、...、（xmi，ymi）。標(biāo)準(zhǔn)件局部特征模板構(gòu)建方法為：

1）選定基準(zhǔn)位置O（x，y），即在零件圖上或?qū)嶋H機(jī)箱檢測(cè)中，用來確定其他點(diǎn)、線、面相對(duì)位置時(shí)所依據(jù)的基準(zhǔn)?；鶞?zhǔn)位置的選取盡量考慮產(chǎn)品中非裝配部位或出現(xiàn)裝配錯(cuò)誤可能性極小的部位。在局部特征模板構(gòu)建過程中，基準(zhǔn)位置與其他部位須呈現(xiàn)線性特征，選擇零件形狀規(guī)則、有對(duì)稱面、識(shí)別度高的部位。

2）選擇需要檢測(cè)的裝配標(biāo)準(zhǔn)件部位，根據(jù)裝配圖記錄R={T1，T2，···，Tj，j∈Z}、標(biāo)準(zhǔn)件尺寸Si、位置公差（εxi，εyi）、角度公差θi、標(biāo)準(zhǔn)件特征點(diǎn)（xmi，ymi）。根據(jù)O（x，y），確定標(biāo)準(zhǔn)件檢測(cè)區(qū)域、標(biāo)準(zhǔn)件位置（xmoi，ymoi）信息。

3）采用SURF特征提取算法確定圖像的主方向n0。SURF特征點(diǎn)提取過程包括：使用箱型濾波器逼近Hessian濾波器，構(gòu)建圖像金字塔尺度空間，基于非極大抑制初步確定特征點(diǎn)，使用Haar小波響應(yīng)尋找主方向[10]，即圖像主方向n0?；鶞?zhǔn)位置與標(biāo)準(zhǔn)件特征點(diǎn)連線方向矢量為標(biāo)準(zhǔn)件方向，n0與Pi夾角為標(biāo)準(zhǔn)件裝配方向角。

2 面向機(jī)箱裝配標(biāo)準(zhǔn)件局部特征質(zhì)量智能檢測(cè)技術(shù)

圖1為面向機(jī)箱裝配標(biāo)準(zhǔn)件局部特征的質(zhì)量智能檢測(cè)原理框圖，包括檢測(cè)模板匹配、生成標(biāo)準(zhǔn)件局部檢測(cè)區(qū)域、標(biāo)準(zhǔn)件局部裝配質(zhì)量檢測(cè)。它依據(jù)機(jī)箱標(biāo)準(zhǔn)件裝配特點(diǎn)，先由檢測(cè)模板快速獲取標(biāo)準(zhǔn)件局部檢測(cè)范圍，再由各標(biāo)準(zhǔn)件裝配標(biāo)準(zhǔn)分析機(jī)箱裝配質(zhì)量。標(biāo)準(zhǔn)件局部裝配質(zhì)量檢測(cè)是評(píng)價(jià)機(jī)箱裝配質(zhì)量的關(guān)鍵技術(shù)，標(biāo)準(zhǔn)件局部檢測(cè)可對(duì)裝配部件進(jìn)行快速準(zhǔn)確定位，降低機(jī)箱標(biāo)準(zhǔn)件因成像圖像的運(yùn)動(dòng)模糊、邊緣干擾造成的定位誤差。

由選取確定其他點(diǎn)、線、面位置的基準(zhǔn)位置，確定其他各參數(shù)后，根據(jù)檢測(cè)模板信息從檢測(cè)圖像獲取基準(zhǔn)位置O′（x′，y′）。根據(jù)標(biāo)準(zhǔn)件C′零件尺寸、安i裝尺寸、裝配尺寸等相關(guān)信息，估計(jì)其檢測(cè)范圍;讀取Ci位置（xdo1，ydo1）、（xdo2，ydo2）、...、（xdoi，ydoi）;讀取′Ci特征點(diǎn)（xd1，yd1）、（xd2，yd2）、...、（xdi，ydi）。標(biāo)準(zhǔn)件局部裝配質(zhì)量檢測(cè)數(shù)學(xué)模型如下：

1）根據(jù)標(biāo)準(zhǔn)件名稱確定檢測(cè)區(qū)域，檢測(cè)模板、待檢測(cè)圖像中各標(biāo)準(zhǔn)件相對(duì)位置（?xmoi=|xmoi?x|，?ymoi=|ymoi?y|）、（?xdoi=|xdoi?x′|，?ydoi=|ydoi?y′|），則由裝配尺寸與公差定義檢測(cè)模板Ci裝配區(qū)域?yàn)椋?/p>

圖2為檢測(cè)模板標(biāo)準(zhǔn)件Ci檢測(cè)區(qū)域，以基準(zhǔn)位置為參考點(diǎn)，根據(jù)裝配公差得到Ci的檢測(cè)區(qū)域?yàn)閇Rxmoi，Rxmoi]、[Rymoi，Rymoi]。

那么待檢測(cè)圖像中Ci名稱可表示為：

2）根據(jù)待測(cè)標(biāo)準(zhǔn)件裝配位置偏差評(píng)價(jià)裝配質(zhì)量。分別計(jì)算裝配圖像上標(biāo)準(zhǔn)件C′位置（x，yidoidoi）與基準(zhǔn)位置O′（x′，y′）、模板圖像上標(biāo)準(zhǔn)件Ci位置（xmoi，ymoi）與基準(zhǔn)位置O（x，y）坐標(biāo)差值，得裝配位置偏差?xoi、?yoi為：

圖3為標(biāo)準(zhǔn)件位置公差與位置偏差，由此判斷待測(cè)標(biāo)準(zhǔn)件C′位置偏差（?x，?y）是否在位置公ioioi差（εxi，εyi）范圍內(nèi)。3）根據(jù)待測(cè)標(biāo)準(zhǔn)件裝配角度偏差評(píng)價(jià)裝配質(zhì)量。已知模板圖像上標(biāo)準(zhǔn)件Ci位置（xmoi，ymoi）、標(biāo)準(zhǔn)件特征點(diǎn)（xmi，ymi）、斜率k0，則裝配角度αmi為：

同理，待測(cè)圖像C′角度α為：

由式（4）和式（5），得待測(cè)標(biāo)準(zhǔn)件C′角度偏差?αi：

圖4為標(biāo)準(zhǔn)件角度公差與角度偏差，由此判斷待測(cè)標(biāo)準(zhǔn)件C′角度偏差?α是否在角度公差θ范圍內(nèi)。

式（1）～式（6）為標(biāo)準(zhǔn)件局部裝配質(zhì)量檢測(cè)方法的數(shù)學(xué)模型。

3 試驗(yàn)與效果分析

按表2搭建機(jī)箱裝配圖像采集裝置。在Matlab R2017b、LabVIEW 2017軟件環(huán)境下，選取ADLINK-MVP6010嵌入式機(jī)箱進(jìn)行實(shí)驗(yàn)，圖5為標(biāo)準(zhǔn)件局部裝配質(zhì)量的圖像智能檢測(cè)效果;表3為機(jī)箱標(biāo)準(zhǔn)件檢出結(jié)果，標(biāo)準(zhǔn)件類型、數(shù)量均能準(zhǔn)確檢出;表4為實(shí)驗(yàn)檢測(cè)數(shù)據(jù)，使用機(jī)箱裝配標(biāo)準(zhǔn)件局部特征的質(zhì)量智能檢測(cè)技術(shù)，檢測(cè)時(shí)間減少86.31%，實(shí)現(xiàn)零漏檢，檢測(cè)準(zhǔn)確率達(dá)100%。

上述實(shí)驗(yàn)裝置與檢測(cè)系統(tǒng)在機(jī)箱彩色圖像、灰度圖像檢測(cè)上均有良好效果，對(duì)MXE系列無風(fēng)扇嵌入式電腦進(jìn)行實(shí)驗(yàn)，對(duì)MXE-1300機(jī)箱、MXE-1400機(jī)箱彩色圖像進(jìn)行檢測(cè)，圖6為兩種機(jī)箱彩色圖像裝配質(zhì)量檢測(cè)效果。對(duì)2U服務(wù)器、ADLINK嵌入式機(jī)箱灰度圖像進(jìn)行檢測(cè)，圖7為兩種機(jī)箱灰度圖像裝配質(zhì)量檢測(cè)效果。上述兩種類型圖像檢測(cè)均實(shí)現(xiàn)100%準(zhǔn)確率，

檢測(cè)時(shí)間均不超過0.997s;表5為各型號(hào)機(jī)箱不同類型圖像檢測(cè)數(shù)據(jù)。

4 結(jié)束語

1）基于機(jī)器視覺檢測(cè)的標(biāo)準(zhǔn)件局部特征檢測(cè)方法，依據(jù)裝配標(biāo)準(zhǔn)件的裝配位置、大小、公差等裝配質(zhì)量要求，提出面向機(jī)箱標(biāo)準(zhǔn)件裝配質(zhì)量的智能檢測(cè)技術(shù)，建立標(biāo)準(zhǔn)件局部檢測(cè)數(shù)學(xué)模型，根據(jù)標(biāo)準(zhǔn)件裝配公差（位置、角度）評(píng)價(jià)裝配質(zhì)量，有效提高檢測(cè)精度。

2）搭建機(jī)箱標(biāo)準(zhǔn)件裝配質(zhì)量實(shí)驗(yàn)裝置與檢測(cè)系統(tǒng)，與全局檢測(cè)相比，使用標(biāo)準(zhǔn)件裝配質(zhì)量的局部特征智能檢測(cè)技術(shù)后，檢測(cè)時(shí)間減少86.31%，識(shí)別準(zhǔn)確率達(dá)100%，實(shí)現(xiàn)零漏檢;對(duì)多種機(jī)箱（彩色、灰度）圖像進(jìn)行檢測(cè)分析，均實(shí)現(xiàn)100%識(shí)別準(zhǔn)確率，檢測(cè)時(shí)間不超過0.997s，有效提高機(jī)箱裝配質(zhì)量檢測(cè)效率。

下一步將繼續(xù)改進(jìn)圖像模板提取方法，減少人工構(gòu)建模板、設(shè)置檢測(cè)參數(shù)的工作量，提高實(shí)際應(yīng)用的通用性。

參考文獻(xiàn)

[1] ZHENG Y， ZHANG X， CHEN Y， et al. Peg-in-hole assembly based on hybrid vision/force guidance and dual-arm coordination[C]// 2017 IEEE International Conference on Robotics and Biomimetics （ROBIO）， 2017.

[2] ARDHY F， HARIADI F I.Development of SBC based machine-vision system for PCB board assembly Automatic Optical Inspection[C]// 2016 International Symposium on Electronics and Smart Devices （ISESD）， 2016.

[3] ZHANG J Y， XU S P， LIU Y， et al. Research on the identification method of micro assembly part[C]// 2017 2nd International Conference on Image， Vision and Computing （ICIVC）， 2017.

[4] LEO G D， LIGUORI C， PAOLILLO A， et al. Online visual inspection of defects in the assembly of electromechanical parts[C]// 2014 IEEE International Instrumentation and Measurement Technology Conference （I2MTC） Proceedings， 2014.

[5] RAIHAN F， CE W. PCB defect detection USING OPENCV with image subtraction method[C]// 2017 International Conference on Information Management and Technology （ICIMTech）， 2017.

[6]司小婷，吳文江，孫一蘭.基于視覺的零件識(shí)別和定位[J].組合機(jī)床與自動(dòng)化加工技術(shù)，2016（10）：70-73.

[7] YUAN X， LIU B， CHEN H. Algorithm and program design for fastener locating and detection using wavelet transformation and template matching[C]// 2017 IEEE 17th International Conference on Communication Technology （ICCT），2017.

[8]孫煉杰，樊臻.基于模板匹配的光纖收發(fā)PCB板目標(biāo)檢測(cè)[J].計(jì)算機(jī)應(yīng)用與軟件，2018，35（1）：128-131，190.

[9]任永強(qiáng)，杜瑞，李軍.基于機(jī)器視覺的差速器卡簧裝配防錯(cuò)檢測(cè)研究[J].制造技術(shù)與機(jī)床，2018（1）：30-34.

[10]郭雪梅，劉桂雄，黃堅(jiān)，等.面向標(biāo)準(zhǔn)件裝配質(zhì)量的PI-SURF檢測(cè)區(qū)域劃分技術(shù)[J].中國測(cè)試，2017，43（8）：101-105.

（編輯：李剛）