厲榮宣，史東東

(1.上海工業(yè)自動(dòng)化儀表研究院有限公司，上海 200233；2.上海理工大學(xué)光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093)

工件表面裂紋機(jī)器視覺檢測(cè)研究

厲榮宣1，史東東2

(1.上海工業(yè)自動(dòng)化儀表研究院有限公司，上海 200233；2.上海理工大學(xué)光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093)

工件表面裂紋檢測(cè)是工業(yè)表面質(zhì)量檢測(cè)的重要部分，而表面質(zhì)量的好壞又是影響工件整體質(zhì)量的重要因素，因此工件表面質(zhì)量檢測(cè)不可或缺?；诠ぜ砻鎴D像特征，結(jié)合機(jī)器視覺硬件，基于美國NI公司研制的LabVIEW軟件平臺(tái)和NI Vision視覺工具包，研究了工件表面圖像模板匹配、去噪、二次分割、裂紋識(shí)別的算法，設(shè)計(jì)了工件表面裂紋檢測(cè)系統(tǒng)。采用基于灰度的模板匹配方法提取裂紋有效區(qū)，將潛在的裂紋區(qū)域與背景部分區(qū)分開；調(diào)用MATLAB script節(jié)點(diǎn)對(duì)裂紋圖像小波去噪，使裂紋部分變得清晰易辨；結(jié)合最大類間方差法和形態(tài)學(xué)處理提取裂紋的連通域圖像，成功將裂紋連通域從背景及干擾粒子中提取出來；最后通過計(jì)算連通域的圓形度和長(zhǎng)寬比特征實(shí)現(xiàn)裂紋的存在判斷。多個(gè)樣本工件試驗(yàn)結(jié)果表明，該類工件表面裂紋檢測(cè)系統(tǒng)的穩(wěn)定性、準(zhǔn)確性均優(yōu)于傳統(tǒng)的人工檢測(cè)，很好地完成了裂紋檢測(cè)任務(wù)。

機(jī)器視覺；檢測(cè)；LabVIEW；圖像采集； 小波算法

0 引言

工件表面質(zhì)量的好壞和人身安全、生產(chǎn)安全有直接關(guān)系。被檢測(cè)的目標(biāo)工件來自某企業(yè)生產(chǎn)的軸類汽車工件，尾部為規(guī)則的圓柱形，頭部為內(nèi)徑大小不均的圓環(huán)。以前通過人工目視檢測(cè)缺陷，易受到檢測(cè)員的技術(shù)水平、疲勞度、責(zé)任心等因素的影響,誤檢、漏檢率較高[1]。隨著光學(xué)、圖像技術(shù)的發(fā)展，機(jī)器視覺檢測(cè)成為表面質(zhì)量檢測(cè)的主流，在實(shí)際生產(chǎn)中逐漸得到廣泛應(yīng)用[2-4]。

LabVIEW是美國NI公司利用虛擬儀器技術(shù)開發(fā)的面向計(jì)算機(jī)測(cè)控領(lǐng)域的通用軟件開發(fā)平臺(tái)[5]，IMAQ Vision是集成在LabVIEW下的圖像處理函數(shù)功能庫，提供了完整的圖像處理開發(fā)功能?；贚abVIEW的機(jī)器視覺檢測(cè)系統(tǒng)可以通過模塊方法快捷地測(cè)試、實(shí)現(xiàn)圖像算法，基于高效組合函數(shù)功能，從而形成不同的測(cè)量?jī)x器組合[6]。

1 工件表面裂紋檢測(cè)系統(tǒng)構(gòu)建

通過對(duì)大量工件樣本的缺陷特征、位置研究和統(tǒng)計(jì)，缺陷類型全部為條形裂紋，集中在工件的尾部區(qū)域(統(tǒng)稱為裂紋有效區(qū))，也即圖像感興趣區(qū)(region of interest,ROI)區(qū)。系統(tǒng)將根據(jù)工件裂紋特征的計(jì)算和檢測(cè)結(jié)果實(shí)現(xiàn)裂紋的有無判斷，并將合格工件和不合格工件進(jìn)行分類。因此，根據(jù)系統(tǒng)檢測(cè)要求搭建的工件表面裂紋檢測(cè)系統(tǒng)結(jié)構(gòu)圖如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)圖

該系統(tǒng)在硬件結(jié)構(gòu)上主要包括工件傳送平臺(tái)、分揀平臺(tái)、工業(yè)相機(jī)、鏡頭、LED光源、圖像采集卡、運(yùn)動(dòng)控制卡、工控機(jī)。圖像采集卡采用NI PCIe-8242，運(yùn)動(dòng)控制卡為PCI-7342，工業(yè)相機(jī)選用Basler ACA2500-14 μm，鏡頭選用Computar M0814-MP。其他硬件，如光源、伺服電機(jī)等均按相應(yīng)技術(shù)要求安裝和連接。系統(tǒng)具體工作流程如下。

①工件傳送及置位。運(yùn)動(dòng)控制卡控制伺服電機(jī)A將工件傳送到目標(biāo)位置后靜止。

②圖像采集及處理。工件置位后，觸發(fā)工業(yè)相機(jī)對(duì)工件表面圖像拍照，得到的圖像經(jīng)圖像采集卡傳送至工控機(jī)進(jìn)行圖像處理，并保存裂紋特征數(shù)據(jù)。

③工件分揀。根據(jù)是否存在裂紋的判斷結(jié)果，運(yùn)動(dòng)控制卡控制分揀機(jī)構(gòu)的電機(jī)正反轉(zhuǎn)，將合格的工件傳送到落料區(qū)A，將含有裂紋的工件傳送到落料區(qū)B，并進(jìn)入下個(gè)工件的檢測(cè)循環(huán)。

2 裂紋檢測(cè)軟件設(shè)計(jì)

在裂紋檢測(cè)系統(tǒng)中，軟件設(shè)計(jì)分圖像采集及歸一化、ROI提取、小波去噪、二值分割、特征計(jì)算及裂紋判斷五個(gè)模塊，綜合運(yùn)用多種圖像處理技術(shù)將裂紋從采集到的工件表面圖像中準(zhǔn)確分離出來。因此，系統(tǒng)的軟件設(shè)計(jì)是整個(gè)檢測(cè)系統(tǒng)的核心和關(guān)鍵。算法流程圖如圖2所示。

圖2 算法流程圖

2.1 圖像采集及歸一化

當(dāng)工件到達(dá)預(yù)定位置，傳送帶停止轉(zhuǎn)動(dòng)，由工業(yè)相機(jī)完成圖像采集。歸一化的目的是消除傳送帶背景的干擾，方便提取圖像的ROI區(qū)域。歸一化過程中，首先調(diào)節(jié)圖像的亮度:明亮度設(shè)為133,對(duì)比度設(shè)為67.10，伽馬值設(shè)為0.55，繼而對(duì)圖像灰度化處理。

2.2 圖像ROI提取

由于工件在傳送帶上的位姿、角度不同，而且工件頭部并不存在裂紋，因此需要ROI提取[7-9]，得到裂紋有效區(qū)，去除非裂紋區(qū)(包括背景區(qū)和工件頭部)，避免對(duì)采集的整幅圖像過處理，縮短系統(tǒng)響應(yīng)時(shí)間，滿足更好的實(shí)時(shí)性要求。在NI Vision軟件包環(huán)境下，可以首先通過預(yù)定義模板對(duì)工件圖像匹配，根據(jù)匹配結(jié)果建立坐標(biāo)系，在坐標(biāo)系中設(shè)定有效區(qū)域，最終實(shí)現(xiàn)ROI提取。ROI提取過程如圖3所示。

LabVIEW下的模式匹配方法需采用圖像來解釋模板信息，然后利用信息在圖像中尋找模板。由于工件自身和背景區(qū)域的灰度值相差較大，采用基于灰度模板的匹配方法進(jìn)行模板匹配。IVA Match Pattern Algorithm 3函數(shù)為模板匹配函數(shù)，預(yù)定義一個(gè)如圖3(a)所示的矩形灰度模板,作為該函數(shù)Image Template端子的輸入?yún)?shù)，分析其每個(gè)像素點(diǎn)灰度信息,通過相關(guān)函數(shù)計(jì)算灰度相關(guān)度,在待匹配的圖片上搜索與之相似的區(qū)域，從而完成模板匹配。匹配分值決定了匹配程度，分值越高，說明匹配程度越高，滿分為1 000。設(shè)置匹配分值大于800時(shí)匹配成功，即在采集的圖像中含有裂紋有效區(qū)。匹配過程中采用位移不變模式和旋轉(zhuǎn)不變模式在ROI區(qū)域中定位，從而對(duì)位置、位姿不同的工件也能成功匹配，匹配結(jié)果如圖3(b)所示。

模板匹配得到的結(jié)果即可作為建立坐標(biāo)系的依據(jù)。由于匹配的結(jié)果為矩形，設(shè)定矩形的中心即為坐標(biāo)系原點(diǎn)，矩形的長(zhǎng)邊、短邊方向分別定義為坐標(biāo)系的X軸方向和Y軸方向，使用IVA Coordinate System Manager 2函數(shù)完成坐標(biāo)系創(chuàng)建，結(jié)果如圖3(c)所示。

ROI的提取直接依賴于坐標(biāo)系的創(chuàng)建。在坐標(biāo)系中，定義一個(gè)和工件尾部長(zhǎng)寬一致的矩形區(qū)域，使該區(qū)域和矩形的尾部重合，并將該區(qū)域的坐標(biāo)信息作為IVA Mask from ROI函數(shù)的輸入?yún)?shù)，最終得到圖像的ROI區(qū)域，也即裂紋有效區(qū)。提取結(jié)果如圖3(d)所示。

圖3 ROI提取過程示意圖

2.3 小波去噪

由于小波變換具有良好的時(shí)頻局部化特性，對(duì)提取的ROI區(qū)域使用基于小波閾值的方法去噪。思路為：LabVIEW調(diào)用MATLAB script節(jié)點(diǎn)，使用MATLAB小波算法函數(shù)實(shí)現(xiàn)圖像的去噪和重構(gòu)。具體過程：LabVIEW中使用IMAQ ImageToArray函數(shù)將LabVIEW環(huán)境下的圖像數(shù)據(jù)轉(zhuǎn)化為8位無符號(hào)2維數(shù)組IM1，利用MATLAB script節(jié)點(diǎn)開展2維數(shù)組的小波分解及重構(gòu)[8]，然后對(duì)重構(gòu)后的8位無符號(hào)2維數(shù)組IM2，使用IMAQ ArrayToImage函數(shù)重新轉(zhuǎn)化為L(zhǎng)abVIEW圖像數(shù)據(jù)。

MATLAB script節(jié)點(diǎn)中，使用sym4小波函數(shù)對(duì)IM1兩層分解，設(shè)置尺度向量n為(1,2)，閾值向量p為(10,23)，對(duì)高頻小波系數(shù)進(jìn)行兩次閾值處理，最后繼續(xù)使用sym4小波函數(shù)對(duì)處理過的小波系數(shù)重構(gòu)實(shí)現(xiàn)去噪。

2.4 圖像分割

在對(duì)ROI圖像首次分割時(shí)，應(yīng)用最大類間方差法進(jìn)行操作[9]。基本思想是用某一灰度值將圖像直方圖分割成兩組，取兩組間方差最大時(shí)對(duì)應(yīng)的灰度值作為圖像二值化處理的閾值。

(1)

(2)

整個(gè)圖像的平均灰度值為u：

(3)

定義類間方差為：

(4)

(5)

根據(jù)最大類間方差法的準(zhǔn)則，以大小為1的步長(zhǎng)依次從0到(L-1)改變k的值。當(dāng)使類間方差σ2達(dá)到最大時(shí)，k對(duì)應(yīng)的值即為圖像分割的最佳閾值。但當(dāng)目標(biāo)和背景兩類區(qū)域像素?cái)?shù)目相差較大時(shí)，該算法閾值的選取將偏向像素?cái)?shù)目較多的那一類。圖像分割示意如圖4所示。

圖4 圖像分割示意圖

LabVIEW環(huán)境下，使用IMAQ Local Threshold函數(shù)獲取閾值并實(shí)現(xiàn)最大類間方差法分割，結(jié)果如圖4(a)所示。

首次分割后的圖像中含有大量背景粒子干擾，數(shù)學(xué)形態(tài)學(xué)操作可以消除大部分干擾。IMAQ Remove Particle函數(shù)可以實(shí)現(xiàn)該操作。該函數(shù)作用下，圖像中每一個(gè)粒子經(jīng)過腐蝕算子的1次迭代，結(jié)構(gòu)元素設(shè)置為square方形，取像素鄰域連通類型為8連通，從而移除圖像中的大部分干擾粒子，結(jié)果如圖4(b)所示。

從圖4(b)中可以看到，移除干擾粒子的操作并不徹底。由于裂紋區(qū)域總是一片像素區(qū)域較大的連通域，因此可以通過計(jì)算粒子的面積、周長(zhǎng)特性找到最大的連通域。IMAQ Particle Analysis VI函數(shù)可以實(shí)現(xiàn)粒子的分析計(jì)算，設(shè)置像素鄰域連通類型為8連通，計(jì)算各連通域的Perimeter(周長(zhǎng))、Area(面積)。根據(jù)計(jì)算結(jié)果表明，IMAQ Particle Filter 3函數(shù)實(shí)現(xiàn)粒子濾波，設(shè)置像素鄰域連通類型為4連通，Keep/Remove選項(xiàng)中選擇Remove，從而保留具有最大周長(zhǎng)和面積的連通域，將其他多余粒子濾除，粒子濾波結(jié)果如圖4(c)所示。

2.5 特征計(jì)算及判斷

從圖4(c)中可以看到，經(jīng)過二值化分割后的圖像只含有一個(gè)連通域，通過計(jì)算該連通域的圓形度和長(zhǎng)寬比特征判斷該連通域是否具有裂紋特性。

圓形度R計(jì)算公式如下：

(6)

式中:S為連通域面積;C為連通域周長(zhǎng)。當(dāng)區(qū)域?yàn)閳A形時(shí)，R最大為1。

長(zhǎng)寬比D的計(jì)算公式如下：

(7)

式中：L為連通域的長(zhǎng)度。

在對(duì)連通域是否為裂紋的判別中，規(guī)定當(dāng)圓形度小于0.3，并且長(zhǎng)寬比大于3同時(shí)滿足的情形下，判定原圖中存在裂紋，從而完成裂紋的檢測(cè)。經(jīng)計(jì)算，圖4(c)的圓形度為0.12，長(zhǎng)寬比為3.46，均符合裂紋的判定條件，因此原圖的檢測(cè)結(jié)果為存在裂紋。

3 試驗(yàn)過程

從工業(yè)相機(jī)采集的現(xiàn)場(chǎng)工件表面裂紋圖像中隨機(jī)選取12幅進(jìn)行試驗(yàn)分析。經(jīng)過亮度調(diào)節(jié)的工件圖像消除了工件背景光照不均的干擾，灰度化則在保留工件圖原始有用信息的基礎(chǔ)上縮減了圖像處理的工作量，為減少后續(xù)圖像處理算法的時(shí)間提供了條件。經(jīng)過ROI提取后，包含裂紋區(qū)域的工件區(qū)完全被提取出來，從而排除了工件頭部以及圖像背景的干擾，減少了后期參與圖像處理的像素?cái)?shù)目。

經(jīng)過小波去噪和圖像二值化運(yùn)算得到的二值化圖像如圖5所示。連通域特征計(jì)算值如表1所示。

圖5 二值化圖像

比較項(xiàng)工件圖abcdefghijkl長(zhǎng)寬比9.807.708.306.905.807.408.806.606.205.609.508.60圓形度0.180.230.170.240.160.180.260.150.170.160.160.16

從上表的長(zhǎng)寬比、圓形度計(jì)算結(jié)果表分析，改組工件均滿足裂紋要求，因此可以判定這12個(gè)工件中均存在裂紋特征。

為驗(yàn)證算法和系統(tǒng)對(duì)工件裂紋的檢測(cè)準(zhǔn)確度和適用性，在現(xiàn)場(chǎng)對(duì)另外200個(gè)工件進(jìn)行試驗(yàn)，其中具有裂紋缺陷的工件36個(gè)，合格工件164個(gè)，裂紋測(cè)試結(jié)果為35個(gè)工件能夠檢測(cè)到裂紋存在，檢測(cè)準(zhǔn)確率為97.2%。對(duì)于合格的工件沒有誤檢，說明該系統(tǒng)對(duì)裂紋的檢測(cè)比較準(zhǔn)確可靠。

4 結(jié)束語

本文以NI公司的圖形化編程軟件LabVIEW為平臺(tái)，以數(shù)字圖像處理技術(shù)為基礎(chǔ)，開發(fā)了工件表面缺陷的機(jī)器視覺檢測(cè)系統(tǒng)。該系統(tǒng)可以實(shí)時(shí)判斷工件體是否有裂紋缺陷存在，并根據(jù)檢測(cè)結(jié)果對(duì)工件分類。試驗(yàn)結(jié)果表明，該系統(tǒng)運(yùn)行精確可靠，對(duì)提高產(chǎn)品質(zhì)量檢測(cè)效率有較大幫助。

[1] 彭飛,朱曉軍,朱志潔.熒光磁粉探傷自動(dòng)檢測(cè)及圖像處理系統(tǒng)研究[J].航海工程,2009,38(3):141-145.

[2] KESER T,HOCENSKI Z,HOCENSKI V.Intelligent machine vision system for automated quality control in ceramic tiles industry[J].Strojarstvo,2010,52(2):105-114．

[3] KUMAR A.Computer-vision-based fabric defect detection:a survey [J].IEEE Transactions on Industrial Electronics,2008,55(1):348-363.

[4] TURAGE P,CHELLAPPA R,SUBRAHMANIAN V S,et al.Machine recognition of human activities: A Survey[J].IEEE Transactions on Circuits and Systems for Video Technology,2008,18(11):1473-1488.

[5] 陳永清.基于機(jī)器視覺的磁環(huán)雙端面缺陷檢測(cè)系統(tǒng)研究[D].杭州:浙江工業(yè)大學(xué),2007.

[6] 周渭,渡邊健藏.近年來國外儀器與測(cè)量技術(shù)發(fā)展趨勢(shì)[J].儀器儀表學(xué)報(bào),2005,26(7):764-770.

[7] 楊如林,丑修建,李慶,等.車輛輔助駕駛中基于概率模板的紅外行人檢測(cè)[J].科學(xué)技術(shù)與工程,2014,14(10):65-70.

[8] 曲麗榮,胡榮,范壽康.LabVIEW、MATLAB機(jī)器混合編程技術(shù)[M].北京:機(jī)械工業(yè)出版社,2011:69.

[9] OTSU N.A threshold selection method from gray-level histogram[J].IEEE Transaction,1979:62-69.

ResearchontheWorkpieceSurfaceCrackDetectionBasedonMachineVision

LI Rongxuan1,SHI Dongdong2

(1.Shanghai Institute of Process Automation Instrumentation Co., Ltd.,Shanghai 200233,China;2.School of Opto Electronic Information and Computer Engineering,University of Shanghai for Science and Technology,Shanghai 200093,China)

Workpiece surface crack detection of is an important part of industrial surface quality detection,while surface quality is an important factor affecting the overall workpiece quality,so the detection of workpiece surface quality is indispensable.Based on the feature of surface crack image and combining with the machine vision hardware,the research on workpiece surface image template matching,denoising,binarized segmentation and crack identification is carried out on the basis of LabVIEW software and NI Vision visual toolkits developed by National Instruments of America,and the workpiece surface crack detection system is designed.The effective area of crack is extracted by adopting the template matching method based on grayscale,and the potential cracked region is distinguished from the background.The wavelet denoising of the crack image is done by applying MATLAB script,to make the crack part clearly and easily to be found. Then the connected domain of crack is extracted by combining the methods of maximum interclass variance method and morphological processing method,to successfully distinguish connected domain of crack from background and interfering particle.Finally,the features of circular degree and length-width ratio of connected domain is calculated to judge the existence of the crack.The results of a series of tests indicate that this kind of workpiece surface crack detection system is better than traditional manual detection on stability and precision,for well accomplishing the crack detection tasks.

Machine vision; Detection; LabVIEW; Image acquisition; Wavelet algorithm

TH878；TP391

： A

10.16086/j.cnki.issn1000-0380.201709020

修改稿收到日期:2017-02-10

厲榮宣(1987—)，男，碩士，助理工程師，主要研究方向?yàn)樽詣?dòng)控制和系統(tǒng)集成。E-mail：lirxuan@163.com。