張宏釗周松斌劉偉鑫

（1.廣東省自動(dòng)化研究所廣東省現(xiàn)代控制與光機(jī)電技術(shù)公共實(shí)驗(yàn)室廣東省現(xiàn)代控制技術(shù)重點(diǎn)實(shí)驗(yàn)室2.廣東工業(yè)大學(xué)自動(dòng)化學(xué)院）

基于機(jī)器視覺(jué)的圓形馬口鐵罐罐口缺陷檢測(cè)

張宏釗1,2周松斌1劉偉鑫1

（1.廣東省自動(dòng)化研究所廣東省現(xiàn)代控制與光機(jī)電技術(shù)公共實(shí)驗(yàn)室廣東省現(xiàn)代控制技術(shù)重點(diǎn)實(shí)驗(yàn)室2.廣東工業(yè)大學(xué)自動(dòng)化學(xué)院）

提出一種針對(duì)圓形馬口鐵罐罐口的視覺(jué)檢測(cè)算法。首先采用PSNR和SSIM指標(biāo)分析圖像質(zhì)量，并對(duì)圖像進(jìn)行平滑、濾波、去噪、灰度化等預(yù)處理，采用最大類(lèi)間方差法分離出罐口區(qū)域；然后應(yīng)用OpenCV視覺(jué)庫(kù)的識(shí)別區(qū)域函數(shù)，檢測(cè)二值化圖像連通域中的輪廓，并對(duì)輪廓區(qū)域做特征分析，確定罐口輪廓位置；再應(yīng)用最小二乘擬合橢圓算法，擬合罐口的輪廓曲線和輪廓圓心；最后把擬合橢圓離散化為360份進(jìn)行掃描采樣，對(duì)采樣點(diǎn)做像素分析，獲得偏差分析帶圖，可對(duì)罐口出現(xiàn)的缺口、長(zhǎng)短角、變形等問(wèn)題進(jìn)行定量和定位分析。

機(jī)器視覺(jué)；馬口鐵罐；缺陷檢測(cè)；PSNR；SSIM；最大類(lèi)間方差法；最小二乘擬合橢圓；OpenCV視覺(jué)庫(kù)

0 引言

馬口鐵罐是一種常見(jiàn)的金屬包裝罐，采用薄鐵皮加工制成，根據(jù)瓶底和側(cè)面是否一體，劃分為兩片罐和三片罐。為增強(qiáng)罐體的強(qiáng)度，需對(duì)制成的罐體進(jìn)行收口和凸緣成型，在這過(guò)程中可能會(huì)對(duì)罐口產(chǎn)生破壞，造成缺口、長(zhǎng)短角、罐口變形等缺陷，這些缺陷會(huì)對(duì)封蓋工藝流程產(chǎn)生不良后果，進(jìn)而影響產(chǎn)品質(zhì)量。

目前大部分罐口缺陷檢測(cè)主要依靠人工，存在效率低、精度差、勞動(dòng)強(qiáng)度高、工作環(huán)境惡劣等問(wèn)題。應(yīng)用機(jī)器視覺(jué)進(jìn)行缺陷檢測(cè)已成為生產(chǎn)線上解決此類(lèi)問(wèn)題的重要手段。由于罐口缺陷種類(lèi)繁多，自動(dòng)檢測(cè)難度大，系統(tǒng)結(jié)構(gòu)復(fù)雜，導(dǎo)致誤檢率高，限制了罐口自動(dòng)檢測(cè)系統(tǒng)在行業(yè)中的應(yīng)用。

本文提出基于機(jī)器視覺(jué)的圓形馬口鐵罐罐口缺陷檢測(cè)算法，應(yīng)用形態(tài)學(xué)區(qū)域提取算法獲取罐口輪廓，并對(duì)輪廓離散化采樣，生成形位偏差帶圖，可對(duì)罐口區(qū)域的缺陷類(lèi)型和缺陷位置，進(jìn)行精確定位，提高檢測(cè)系統(tǒng)的穩(wěn)定性和可靠性。

1 算法思想

罐口缺陷檢測(cè)算法結(jié)構(gòu)圖如圖1所示。算法實(shí)現(xiàn)步驟如下：1)采集目標(biāo)對(duì)象，采用峰值信噪比（peak signal to noise ratio，PSNR）和結(jié)構(gòu)相似性（structural similarity，SSIM）指標(biāo)分析圖像質(zhì)量，以獲得高信噪比、高對(duì)比度的清晰圖像；2)圖像預(yù)處理，將圖像進(jìn)行平滑、濾波、去噪、灰度化處理；3)采用最大類(lèi)間方差法分離出罐口區(qū)域；4)對(duì)輪廓區(qū)域進(jìn)行特征分析，精確定出罐口輪廓位置；5)應(yīng)用最小二乘擬合橢圓算法，擬合出罐口的輪廓曲線和橢圓中心；6)把擬合橢圓離散化后，進(jìn)行掃描采樣，對(duì)采樣點(diǎn)做特征分析；7)獲得行位偏差分析帶圖；8)針對(duì)罐口出現(xiàn)的缺口、長(zhǎng)短角、變形等問(wèn)題進(jìn)行定量和定位分析。

2 采集目標(biāo)對(duì)象

根據(jù)生產(chǎn)工藝的差異，罐體常見(jiàn)的縱向接合方法有透明膠封邊（如圖2所示）和白膠封邊（如圖3所示），從而導(dǎo)致了罐口圖像的差異，該差異會(huì)影響后續(xù)算法對(duì)罐口的不同處理方法。圖2和圖3是相機(jī)在線采集的圖像。

圖1 罐口缺陷檢測(cè)算法結(jié)構(gòu)圖

圖2 透明膠封罐口

圖3 白膠膠封罐口

為增強(qiáng)罐口與背景圖像的對(duì)比度，突出目標(biāo)對(duì)象，使獲得的圖像具有較好的質(zhì)量和清晰的輪廓。本文分別采用PSNR和SSIM指標(biāo)進(jìn)行圖像質(zhì)量判別。PSNR是一種全參考的圖像質(zhì)量評(píng)價(jià)指標(biāo)，其原理如式(1)、式(2)。

其中，H、W為圖片的高度和寬度；X( i, j)是原圖像坐標(biāo)灰度值，Y( i, j)是參考圖像坐標(biāo)灰度值；n為每像素的比特?cái)?shù)。

SSIM也是一種全參考的圖像質(zhì)量評(píng)價(jià)指標(biāo)。其中，l( X, Y)、c( X, Y)、s( X, Y)分別為圖像的亮度、對(duì)比度、結(jié)構(gòu)屬性強(qiáng)弱。

罐口出現(xiàn)的缺陷通常有缺口、長(zhǎng)短角和罐口變形3類(lèi)。罐口缺陷圖如圖4、圖5所示。圖4中A位置和B位置相比，罐口厚度出現(xiàn)明顯變化（罐口變形），C位置出現(xiàn)較大缺口（缺口）；圖5中D位置明顯可見(jiàn)罐口輪廓邊緣出現(xiàn)厚度跳變（長(zhǎng)短角），E位置和F位置厚度相差較大（罐口變形）。

圖4 罐口缺陷圖

圖5 罐口缺陷圖

3 圖像預(yù)處理

將圖像依次經(jīng)過(guò)灰度化、均衡化后進(jìn)行圖像分割。灰度化可減少圖像傳輸、處理時(shí)間；直方圖均衡化增強(qiáng)圖像對(duì)比度；圖像分割可獲得突出目標(biāo)對(duì)象。本文測(cè)試了雙峰法、最大類(lèi)間方差法和迭代法3種閾值分割的效果。實(shí)驗(yàn)表明，采用最大類(lèi)間方差法獲取的閾值較為理想。圖3和圖5二值化處理后如圖6、圖7所示。

圖6 白膠封邊閾值分割

圖7 透明膠封邊閾值分割

4 提取區(qū)域輪廓

本文采用OpenCV庫(kù)中的findContours函數(shù)提取區(qū)域輪廓。為了識(shí)別罐口區(qū)域，需對(duì)識(shí)別到的所有區(qū)域做特征分析。ContourArea()、arcLength()是OpenCV內(nèi)可以測(cè)量輪廓面積和輪廓長(zhǎng)度的函數(shù)。常見(jiàn)的做法是利用迭代法遍歷存在輪廓的向量，并根據(jù)相應(yīng)的先驗(yàn)經(jīng)驗(yàn)結(jié)合輪廓的長(zhǎng)度以及輪廓面積設(shè)置篩選條件。

5 最小二乘橢圓擬合

罐口輪廓是由內(nèi)外兩條線條組合而成，當(dāng)罐沒(méi)有出現(xiàn)缺口、變形、長(zhǎng)短角等情況時(shí)，瓶口輪廓曲線是一對(duì)標(biāo)準(zhǔn)的同心圓，但由于瓶罐處于高速運(yùn)動(dòng)中，攝像機(jī)捕捉到的罐口輪廓并非標(biāo)準(zhǔn)的圓形，而是橢圓形，由此本文在識(shí)別到罐口輪廓后，采用最小二乘法再結(jié)合橢圓的參數(shù)方程確定擬合而成的近似圓輪廓和中心所在位置。

6 實(shí)驗(yàn)驗(yàn)證

在工業(yè)生產(chǎn)線上，當(dāng)罐體運(yùn)動(dòng)到指定工位時(shí)，觸發(fā)光纖傳感器，視覺(jué)成像系統(tǒng)對(duì)罐體進(jìn)行高速成像，

獲取的圖像傳輸?shù)焦I(yè)計(jì)算機(jī)進(jìn)行分析處理。根據(jù)內(nèi)置的算法對(duì)待測(cè)區(qū)域進(jìn)行質(zhì)量檢測(cè)，對(duì)不合格的產(chǎn)品，控制剔除裝置給予剔除，以此來(lái)替代人工作業(yè)，提高生產(chǎn)效率。本實(shí)驗(yàn)的系統(tǒng)結(jié)構(gòu)如圖8所示。

圖8 系統(tǒng)結(jié)構(gòu)圖

實(shí)驗(yàn)采用德國(guó)Basler acA640-120gm型號(hào)相機(jī)作為圖像前端采集設(shè)備，該相機(jī)能以每秒最高120幀速率采集30萬(wàn)像素每幀的灰度圖像，同時(shí)具備以太網(wǎng)接口，能實(shí)現(xiàn)數(shù)據(jù)高速傳輸。鏡頭采用日本Computar工業(yè)相機(jī)鏡頭M3514-MP，手動(dòng)光圈定焦35mm、2/3寸、C接口。

實(shí)驗(yàn)選取了10個(gè)樣品罐，編號(hào)1~10。1、3、5、8、10號(hào)為透明膠封邊樣品，2、4、6、7、9號(hào)為白膠封邊樣品。由圖9透明膠封邊罐口輪廓識(shí)別效果圖、圖10白膠封邊罐口輪廓識(shí)別效果圖可以看出，白膠封邊罐口內(nèi)外圈輪廓獨(dú)立，內(nèi)圈識(shí)別的輪廓效果受到白膠封邊的影響，在白膠封邊區(qū)域出現(xiàn)鋸齒狀凸出部分，將其輪廓上的每個(gè)點(diǎn)代入式(4)，計(jì)算距離，根據(jù)凸出部分點(diǎn)距離輪廓中心點(diǎn)較近，即可把內(nèi)輪廓存在的干擾點(diǎn)去除（圖11A區(qū)域）。透明膠封邊罐口內(nèi)外圈識(shí)別效果較好，內(nèi)外圈連接成一個(gè)輪廓。

其中：x0、xi、y0、yi分別是圖片上指定兩點(diǎn)的橫坐標(biāo)、縱坐標(biāo)。

表1、表2分別是對(duì)透明膠封邊樣品和白膠封邊樣品罐口區(qū)域特征分析的實(shí)驗(yàn)數(shù)據(jù)。ContourArea()函數(shù)是計(jì)算輪廓包圍面積，透明膠封邊樣品內(nèi)外輪廓只有一個(gè)，而白膠封邊內(nèi)外輪廓分開(kāi)成2個(gè)輪廓。因而造成表1、表2數(shù)據(jù)的差異。

圖9 透明膠封邊罐口輪廓識(shí)別效果

圖10 白膠封邊罐口輪廓識(shí)別效果

表1 透明膠封邊樣品實(shí)驗(yàn)數(shù)據(jù)

表2 白膠封邊樣品實(shí)驗(yàn)數(shù)據(jù)

識(shí)別罐口輪廓后，采用最小二乘法再結(jié)合橢圓的參數(shù)方程確定擬合而成的近似圓輪廓和中心所在位置，圖11為白膠封邊樣品、圖12為透明膠封邊樣品。中間加粗曲線表示對(duì)內(nèi)外輪廓組成的輪廓點(diǎn)集進(jìn)行最小二乘橢圓擬合算法形成的橢圓輪廓，正中間點(diǎn)表示橢圓中心。

7 實(shí)驗(yàn)結(jié)果分析

為了對(duì)罐口缺陷位置和類(lèi)型做出精準(zhǔn)的判斷，提出了將罐口橢圓輪廓離散化采樣分析的方法，生成形位偏差帶圖，以此來(lái)定量檢測(cè)罐口缺陷類(lèi)型和缺陷所在位置。離散化橢圓輪廓采樣如圖13、圖14所示，通過(guò)最小二乘法擬合出橢圓輪廓和橢圓中心。以橢圓中心作為起點(diǎn)，步長(zhǎng)為1°，發(fā)出360條射線，沿著射線方向，尋找像素突變點(diǎn)。像素第一次由白變黑記錄為點(diǎn)A，第二次由白色變黑記錄為點(diǎn)B，像素最后一次由白色變黑色點(diǎn)C。根據(jù)歐式距離計(jì)算公式(4)，求得上偏差下偏差并把上偏差和下偏差繪制成形位偏差直方圖。

圖11 4號(hào)白膠封邊樣品最小擬合橢圓

圖12 1號(hào)透明膠封邊樣品最小擬合橢圓

圖13 4號(hào)樣品離散采樣

圖14 1號(hào)樣品離散采樣

4號(hào)樣品形位偏差帶分析圖如圖15所示，1號(hào)樣品形位偏差帶分析圖如圖16所示。由圖15可以看出，4號(hào)樣品罐上偏差和下偏差曲線變化均勻；由圖16可以看出，1號(hào)樣品存在兩個(gè)明顯缺口：A區(qū)域和B區(qū)域，一個(gè)在3°左右，一個(gè)在120°左右，并且從偏差帶缺少寬度大小可以看出缺口的大小，左邊對(duì)應(yīng)的缺口很小，右邊對(duì)應(yīng)的缺口較大，且在左側(cè)低于30°的A區(qū)域范圍內(nèi)，上偏差小于均值，所以罐口外輪廓存在一定變形，由此可確定該罐口存在變形、缺口等問(wèn)題。

圖15 4號(hào)樣品形位偏差帶分析圖

圖16 1號(hào)樣品形位偏差帶分析圖

8 結(jié)論

通過(guò)對(duì)樣品進(jìn)行實(shí)驗(yàn)分析，本文提出的基于機(jī)器視覺(jué)的圓形馬口鐵罐罐口缺陷檢測(cè)算法，能準(zhǔn)確定位馬口鐵罐罐口的缺陷位置，并確定缺陷類(lèi)型，提高了檢測(cè)系統(tǒng)的穩(wěn)定性和可靠性。本文實(shí)驗(yàn)結(jié)果準(zhǔn)確率達(dá)99%，能解決實(shí)際應(yīng)用中，由于罐口缺陷種類(lèi)繁多，自動(dòng)檢測(cè)難度大而造成系統(tǒng)結(jié)構(gòu)復(fù)雜，導(dǎo)致誤檢率高等問(wèn)題。

[1]何金彪,周永霞.基于機(jī)器視覺(jué)的罐蓋缺陷檢測(cè)[J].中國(guó)計(jì)量學(xué)院學(xué)報(bào),2015,26(3):269-273.

[2]馬向南,李航,劉麗麗,等.最小二乘改進(jìn)算法及其在橢圓擬合中的應(yīng)用[J].河南科技大學(xué)學(xué)報(bào):自然科學(xué)版,2014,35(3):18-21,5.

[3]郭克友,廉麗冰,李娜,等.基于OpenCV的啤酒瓶口缺陷檢測(cè)系統(tǒng)研究[J].制造業(yè)自動(dòng)化,2014,36(8):61-63,71.

[4]陶躍珍,韓采芹.基于圖像處理的啤酒瓶瓶口缺陷檢測(cè)[J].裝備制造術(shù),2009(5):106-107,124.

[5]夏賢華,謝經(jīng)明,柯豐愷,等.基于機(jī)器視覺(jué)的玻璃瓶在線檢測(cè)系統(tǒng)研究與開(kāi)發(fā)[J].機(jī)械與電子,2013(11):67-70.

[6]閆蓓,王斌,李媛.基于最小二乘法的橢圓擬合改進(jìn)算法[J].北京航空航天大學(xué)學(xué)報(bào),2008,34(3):295-298.

[7]王小林,熊新海,張高峰.基于橢圓最小二乘法和圓度輪廓誤差評(píng)定的橢圓提取方法[J].河南理工大學(xué)學(xué)報(bào):自然科學(xué)版，2008,27(3):294-298.

[8]鄒益民,汪渤.一種基于最小二乘的不完整橢圓擬合算法[J]儀器儀表學(xué)報(bào),2006,27(7):808-812.The Tank Mouth Detection Based on Machine Vision

張宏釗，男，1992年生，碩士研究生，主要研究方向：機(jī)電一體化、機(jī)器視覺(jué)。

周松斌，男，1978年生，博士，研究員，主要研究方向：智能傳感、網(wǎng)絡(luò)化測(cè)控、儀器儀表。

劉偉鑫，男，1992年生，初級(jí)工程師，主要研究方向：測(cè)控技術(shù)與儀器。

Zhang Hongzhao1,2Zhou Songbin1Liu Weixin1
(1.Guangdong Institute of Automation College of Automation&Guangdong Province,Modern Control and Light Mechanical and Electrical Technology,Guangdong Province Key Laboratory of Modern Control Technology 2.Guangdong University of Technology)

This paper proposes a round tin visual detection algorithm.The PSNR and SSIM index of image quality analysis, to obtain a high signal-to-noise ratio,high contrast and clear image in order;image smoothing,filtering,denoising,gray and so on after pretreatment by Otsu method(OTSU)isolated from the mouth region,then apply the findContours OpenCV visual function in the library,detection of binarization image connected domain of the contour,and the contour feature analysis,to accurately determine the bottle contour,then using the least squares fitting ellipse fitting algorithm,mouth contour curve and contour center, finally the fitting ellipse discretization is 360 scan sampling,the sampling point pixel analysis,finally get the deviation analysis with a map,can carry out quantitative analysis and positioning to solve the problem of the gap,the length of mouth angle,deformation etc.

Machine Vision;Tin;Defect Detection;PSNR,SSIM;the Maximum between Class Variance(OTSU);Least Square Ellipse Fitting;OpenCV Computer Vision Library