周 陽，沈婷婷,席志遠(yuǎn),楊永杰,邱自學(xué)

(1.南通大學(xué)機(jī)械工程學(xué)院，江蘇南通 226019；2.南通大學(xué)電子信息學(xué)院，江蘇南通 226019)

0 引言

日用化學(xué)品行業(yè)常用高密度聚乙烯瓶作為容器來盛放洗手液等日化品。企業(yè)通常將產(chǎn)品的批號(hào)、生產(chǎn)日期、保質(zhì)期噴印在日化瓶的瓶底。噴碼機(jī)受自身性能、機(jī)械振動(dòng)等因素的影響會(huì)出現(xiàn)多種缺陷，如字符的缺印、漏印、錯(cuò)印[1]，以上的質(zhì)量問題會(huì)對(duì)企業(yè)的品牌形象及信譽(yù)產(chǎn)生較大的影響[2]。

傳統(tǒng)的噴碼檢測(cè)采用人工全檢，人工檢測(cè)效率低、強(qiáng)度大且容易出現(xiàn)漏檢、誤檢的情況。這種人工檢測(cè)方式已經(jīng)不適應(yīng)未來制造業(yè)自動(dòng)化、信息化的發(fā)展趨勢(shì)[3]，采用機(jī)器視覺技術(shù)來進(jìn)行產(chǎn)品表面信息特征的提取以及缺陷檢測(cè)已越來越普遍[4-5]。

文獻(xiàn)[6]通過比較識(shí)別字符與標(biāo)準(zhǔn)模型的灰度值波動(dòng)實(shí)現(xiàn)字符質(zhì)量的檢驗(yàn)，文獻(xiàn)[7]通過特征點(diǎn)提取與模板匹配對(duì)字符進(jìn)行識(shí)別與判定，文獻(xiàn)[8]利用深度學(xué)習(xí)提取圖像特征進(jìn)行字符的識(shí)別與判定，一定程度上適應(yīng)了復(fù)雜背景下噴碼質(zhì)量的檢驗(yàn)。上述文獻(xiàn)針對(duì)字符區(qū)域位置、角度偏移量小的場(chǎng)景具有較好的定位識(shí)別精度。但在實(shí)際生產(chǎn)過程中，日化瓶在輸送帶運(yùn)輸中易產(chǎn)生旋轉(zhuǎn)，導(dǎo)致瓶底噴碼字符區(qū)域不固定，且高密度聚乙烯瓶通常由吹塑工藝制成，由于制造工藝的限制瓶身將存在合模線，若點(diǎn)陣字符噴印在合模線上將對(duì)字符質(zhì)量的判別產(chǎn)生較大的干擾。針對(duì)以上問題，提出一種基于Halcon的日化瓶瓶底噴碼質(zhì)量檢測(cè)算法，實(shí)現(xiàn)日化瓶瓶底噴碼質(zhì)量的快速檢測(cè)。

1 噴碼質(zhì)量檢測(cè)試驗(yàn)平臺(tái)

噴碼質(zhì)量檢測(cè)試驗(yàn)平臺(tái)由硬件系統(tǒng)和軟件系統(tǒng)2部分組成。硬件部分主要包括工業(yè)相機(jī)、光源、鏡頭、夾瓶傳輸機(jī)構(gòu)與工控平板電腦。其中相機(jī)選取MV-CE003-2OGM型面陣機(jī)，相機(jī)的分辨率為640×480，采集幀率為173個(gè)/s全幀，輸出黑白圖像；光源選取高亮的LED的條形光源，采用雙光源對(duì)稱低角度照射補(bǔ)光；鏡頭為Computar定焦鏡頭，焦距為8 mm,手動(dòng)調(diào)節(jié)光圈、焦距；工控機(jī)選取PPC-3100-RAE工控平板電腦；夾瓶傳輸機(jī)構(gòu)主要用于傳輸日化瓶，便于工業(yè)相機(jī)獲取瓶底噴碼的圖像。試驗(yàn)平臺(tái)硬件如圖1所示。

圖1 檢測(cè)實(shí)驗(yàn)平臺(tái)

視覺系統(tǒng)軟件平臺(tái)在VS2017開發(fā)環(huán)境下基于Halcon視覺庫開發(fā)，其核心部分為圖像處理算法。

2 噴碼質(zhì)量檢測(cè)實(shí)現(xiàn)算法

噴碼質(zhì)量檢測(cè)圖像處理算法主要包含字符區(qū)域定位、字符分割、合模線提取以及噴碼質(zhì)量驗(yàn)證4部分。檢測(cè)流程如圖2所示。

圖2 檢測(cè)流程圖

2.1 字符區(qū)域定位

工業(yè)相機(jī)抓取日化瓶瓶底圖像，日化瓶瓶底噴碼圖像分為不變字符區(qū)與可變字符區(qū)。不變字符區(qū)包含產(chǎn)品批號(hào)、生產(chǎn)日期、截止日期的英文標(biāo)志，即LOT、MFG、EXP。可變字符區(qū)包含產(chǎn)品批號(hào)、生產(chǎn)日期、截止日期所對(duì)應(yīng)的實(shí)際噴碼字符。不變字符區(qū)與可變字符區(qū)的相對(duì)位置保持固定。且待檢測(cè)的日化瓶瓶底圖像角度任意，如圖3所示。

(a)標(biāo)準(zhǔn)圖像

字符區(qū)域定位通常有邊緣檢測(cè)定位法、手動(dòng)提取感興趣區(qū)域法[9]、形態(tài)學(xué)處理結(jié)合Blob分析定位法[10]等。但以上方法都只適應(yīng)待檢文本旋轉(zhuǎn)角度偏差不大的場(chǎng)合，任意位置文本若采取上述定位方法將存在定位字符顛倒的情況。本文采取的定位方法如圖4所示。

圖4 字符定位流程圖

首先提取一張噴印質(zhì)量合格且字符文本角度水平的標(biāo)準(zhǔn)圖像。手動(dòng)畫取一個(gè)包含不變字符區(qū)里的LOT、MFG、EXP 3行關(guān)鍵字符的感興趣區(qū)域，并將該區(qū)域圖像裁剪出來訓(xùn)練成標(biāo)準(zhǔn)形狀模型輪廓。

標(biāo)準(zhǔn)形狀模型中心位于圖像的坐標(biāo)原點(diǎn)如圖5所示。

圖5 形狀模型輪廓圖

打開待識(shí)別的圖像，查找標(biāo)準(zhǔn)形狀模型的最佳匹配項(xiàng)并返回模型實(shí)例的行坐標(biāo)、列坐標(biāo)以及角度。在得到待識(shí)別圖像的模型實(shí)例的行坐標(biāo)、列坐標(biāo)之后，求出標(biāo)準(zhǔn)圖像中感興趣區(qū)域與實(shí)例模型的變化矩陣HomMat2D。變化矩陣是由旋轉(zhuǎn)矩陣R和平移向量T組成。

下面的方程用其次向量描述中心點(diǎn)的變化。

接著使用HomMat2D齊次變換矩陣對(duì)待檢測(cè)圖像進(jìn)行仿射變換，輸出圖像如圖6所示。

圖6 仿射變換后的圖像

由于日化瓶瓶底具有一定的弧度，且噴印在瓶底標(biāo)識(shí)上的字符存在一定的變形導(dǎo)致不變字符區(qū)的字符間相對(duì)位置存在細(xì)微的差別，因而最后仿射變換輸出的圖像文本存在一定程度的角度傾斜,需對(duì)其進(jìn)行旋轉(zhuǎn)校正。旋轉(zhuǎn)校正主要依靠檢測(cè)文本行旋轉(zhuǎn)的角度來生成一個(gè)旋轉(zhuǎn)矩陣，并根據(jù)旋轉(zhuǎn)矩陣對(duì)圖像進(jìn)行仿射變換。同時(shí)噴印的字符也可能存在一定的角度傾斜，需對(duì)其進(jìn)行字符傾斜校正[11]以消除字符傾斜對(duì)后續(xù)字符分割產(chǎn)生的影響。檢測(cè)字符傾斜角度生成一個(gè)傾斜角度矩陣，將旋轉(zhuǎn)校正后的圖像進(jìn)行仿射變換完成字符傾斜校正。字符傾斜校正后的圖像如圖7所示。

圖7 傾斜校正后的圖像

生成一個(gè)包含可變字符區(qū)的軸平行感興趣區(qū)域并從字符傾斜校正后的圖像中提取待檢測(cè)字符區(qū)域如圖8所示。

圖8 待檢字符區(qū)

2.2 字符分割

Halcon中最經(jīng)典的字符分割法是Blob分割法。Blob分割法通常先對(duì)待檢測(cè)字符區(qū)進(jìn)行閾值分割[12]，再對(duì)閾值分割后的字符進(jìn)行形態(tài)學(xué)處理使得每個(gè)點(diǎn)陣字符中的點(diǎn)粘連在一起形成連通域，最后將閾值分割后的圖像與形態(tài)學(xué)處理后的圖像求交集，求得分割后的字符。由于日化瓶瓶底字符噴印質(zhì)量相對(duì)較差，在動(dòng)態(tài)閾值分割[13]后對(duì)不同字符再進(jìn)行形態(tài)學(xué)處理過程中容易產(chǎn)生字符粘連，影響后續(xù)字符的分割，因而采用手動(dòng)文本閱讀器進(jìn)行字符分割提取。手動(dòng)文本閱讀器需創(chuàng)建一個(gè)模型并設(shè)置模型中字符寬度、高度、最大極性等關(guān)鍵參數(shù)。根據(jù)手動(dòng)設(shè)定的字符關(guān)鍵參數(shù)找出待檢測(cè)字符區(qū)的字符，提取待檢測(cè)字符區(qū)的字符，每個(gè)字符都變成一個(gè)獨(dú)立的區(qū)域。提取的字符如圖9所示。

圖9 字符分割圖像

遍歷分割后的每個(gè)字符并獲取其與坐標(biāo)軸平行的最小包圍矩形，并對(duì)矩形進(jìn)行膨脹處理，最終從待檢測(cè)字符區(qū)中裁剪出待檢單個(gè)字符圖像。

2.3 合模線提取

日化瓶瓶底在噴碼的過程中存在部分字符噴印在合模線上，合模線表面粗糙，經(jīng)過合模線的點(diǎn)陣字符存在部分點(diǎn)的缺失，部分字符點(diǎn)在成像過程中由于合模線的干擾無法被正確提取出來。通過提取合模線，若部分待檢測(cè)字符與合模線相交則降低后續(xù)檢測(cè)的閾值來削弱合模線對(duì)字符質(zhì)量判定的影響。合模線提取流程如圖10所示。

圖10 合模線提取流程圖

提取傾斜校正后的圖像，可以觀察到合模線處圖像的灰度值較高，而周圍區(qū)域灰度值相對(duì)較低。可以通過對(duì)圖像灰度值進(jìn)行縮放以增強(qiáng)合模線的對(duì)比度。設(shè)原圖灰度值為g，縮放后的灰度值為g′，灰度值縮放的原理是g′=g×Mult+Add，設(shè)定合適的比例因子Mult與偏移Add，使得縮放后合模線的灰度值提高，背景的灰度值降低。同時(shí)合模線是圖像里灰度變換劇烈的地方，可利用邊緣檢測(cè)算子檢測(cè)邊緣梯度圖像，再對(duì)邊緣梯度圖像進(jìn)行二值化，同時(shí)剔除部分雜點(diǎn)[14]得到二值化邊緣圖像，最后對(duì)二值化邊緣圖像進(jìn)行霍夫變換以提取瓶底合模線如圖11所示。

圖11 合模線提取圖像

2.4 噴碼質(zhì)量驗(yàn)證

在提取瓶底合模線與待檢單個(gè)字符圖像后進(jìn)行噴碼質(zhì)量驗(yàn)證。噴碼質(zhì)量驗(yàn)證流程如圖12所示。

圖12 噴碼質(zhì)量驗(yàn)證流程圖

噴碼質(zhì)量驗(yàn)證的基本原理是將單個(gè)字符分割后的圖像與訓(xùn)練的標(biāo)準(zhǔn)字符模板[15]進(jìn)行對(duì)比，得出一個(gè)最大相關(guān)值Q。通過將最大相關(guān)值與設(shè)定的檢測(cè)閾值T進(jìn)行比較，若Q>T，則判定合格。當(dāng)字符成功被分割后，獲取每個(gè)獨(dú)立字符最小外接軸平行矩形，并獲得最小外接矩形的對(duì)角點(diǎn)坐標(biāo)，接著求取霍夫線與字符最小外接矩形對(duì)角線間的最小距離。若最小距離為0即判定該字符與合模線相交，則此時(shí)字符檢測(cè)質(zhì)量閾值為T1；若最小距離不為0，即判定該字符與合模線不相交，則此時(shí)字符檢測(cè)閾值為T2。

單個(gè)字符噴碼質(zhì)量校驗(yàn)通過基于灰度投影的光學(xué)字符驗(yàn)證算法來實(shí)現(xiàn)。將待檢單個(gè)字符圖像從傾斜校正后的圖像裁剪出來，并對(duì)單個(gè)字符區(qū)域圖像的行和列對(duì)灰度值求和來計(jì)算水平和垂直灰度投影，通過比較待檢字符與訓(xùn)練的標(biāo)準(zhǔn)字符灰度投影來完成光學(xué)字符質(zhì)量的驗(yàn)證。

創(chuàng)建標(biāo)準(zhǔn)字符模板，模板圖像如圖13所示。

(a)缺陷字符

對(duì)進(jìn)行單個(gè)字符圖像質(zhì)量檢測(cè)，檢測(cè)結(jié)果如圖14所示。

圖14 檢測(cè)結(jié)果

選取60個(gè)缺陷日化瓶作為樣本進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果如表1所示。

表1 缺陷檢測(cè)結(jié)果

實(shí)驗(yàn)結(jié)果顯示58個(gè)日化瓶能被正確檢測(cè)，2個(gè)缺陷日化瓶存在部分正常字符由于背景干擾較大被誤判，整體正檢率為97%，符合設(shè)計(jì)要求。生產(chǎn)線日化瓶輸送速率為60個(gè)/min，單個(gè)日化瓶平均檢測(cè)時(shí)間為620 ms，滿足生產(chǎn)線要求。

3 結(jié)束語

針對(duì)日化瓶瓶底噴碼質(zhì)量人工檢測(cè)速度慢、漏檢率高的現(xiàn)狀，設(shè)計(jì)基于Halcon的日化瓶瓶底噴碼質(zhì)量檢測(cè)系統(tǒng)及算法。該算法針對(duì)任意角度的噴碼圖像有較高的定位精度，缺陷字符識(shí)別準(zhǔn)確度高并能一定程度上消除瓶底合模線對(duì)字符質(zhì)量判定的影響。在穩(wěn)定性上優(yōu)于單一的模板匹配法，整體的識(shí)別時(shí)間略高，但足以滿足實(shí)際生產(chǎn)線的需要，具有較好的應(yīng)用價(jià)值。