孫曉娜劉繼超高國(guó)華

SUN Xiao-na1 LIU Ji-chao2 GAO Guo-hua1

(1. 北京工業(yè)大學(xué)機(jī)械工程與應(yīng)用電子技術(shù)學(xué)院，北京 100124；2. 北京三元食品股份有限公司，北京 100124)

(1. College of Mechanical Engineering and Applied Electronics Technology, Beijing 100124, China; 2. Beijing Sanyuan Foods Co., Beijing 100124, China)

機(jī)器視覺(jué)[1-2]是人工智能發(fā)展的重要方向之一。使用機(jī)器代替人眼來(lái)完成判斷和檢測(cè)，具有廣闊的應(yīng)用前景，將采集的目標(biāo)轉(zhuǎn)換成圖像，將信號(hào)輸送給圖像處理軟件，采用數(shù)字圖像處理技術(shù)[3]獲得目標(biāo)的各種信息，根據(jù)識(shí)別的結(jié)果來(lái)控制設(shè)備的運(yùn)行。

隨著數(shù)字化程度不斷提高，使用機(jī)器視覺(jué)獲取目標(biāo)的信息實(shí)現(xiàn)物體表面裂紋檢測(cè)[4-7]、物體輪廓形狀的檢測(cè)[8]以及表面?zhèn)Τ潭萚9]的檢測(cè)越來(lái)越普遍。

近年來(lái)，隨著居民收入和對(duì)健康關(guān)注程度的提高，人們?cè)絹?lái)越關(guān)注食品的安全問(wèn)題，食品的生產(chǎn)日期是決定食品安全的重要因素，直接決定了食品是否達(dá)到可食用的條件[10]，眾所周知，乳品的保質(zhì)期短，因此，保證其生產(chǎn)日期信息清晰準(zhǔn)確顯得尤為重要。

企業(yè)采用噴碼機(jī)噴印生產(chǎn)日期，在此過(guò)程中易出現(xiàn)漏碼、模糊碼、重疊碼、錯(cuò)印碼等缺陷[11]產(chǎn)品，需要對(duì)這些缺陷產(chǎn)品進(jìn)行剔除，以防影響企業(yè)的品牌及傷害到消費(fèi)者的健康。傳統(tǒng)的方法多采用人工剔除，勞動(dòng)強(qiáng)度大，效率低，而采用機(jī)器視覺(jué)[12-13]的方法不會(huì)受到輪班、生病等因素的影響，且檢測(cè)的速度是人眼所達(dá)不到的，因此，開(kāi)發(fā)一套生產(chǎn)日期缺陷檢測(cè)系統(tǒng)，對(duì)于企業(yè)的自動(dòng)化生產(chǎn)具有重要的意義，也可極大程度降低企業(yè)成本。

本設(shè)計(jì)提出了一種應(yīng)用于乳品包裝生產(chǎn)日期噴碼缺陷的視覺(jué)檢測(cè)方案，擬通過(guò)采集乳品外包裝的圖像，利用圖像預(yù)處理、ROI區(qū)域提取、模板匹配等技術(shù)獲得生產(chǎn)日期的信息，實(shí)現(xiàn)缺陷檢測(cè)效果，為乳產(chǎn)品質(zhì)量檢測(cè)的研究提供參考。

1 檢測(cè)系統(tǒng)的整體概狀

生產(chǎn)日期的檢測(cè)系統(tǒng)由硬件系統(tǒng)和軟件處理系統(tǒng)兩大部分組成。

1.1 硬件系統(tǒng)

硬件系統(tǒng)主要包括光源、鏡頭、工業(yè)相機(jī)、輸送帶、相機(jī)支架、密封罩等，見(jiàn)圖1。

1.1.1 工業(yè)相機(jī) 工業(yè)相機(jī)的選擇主要考慮分辨率以及傳感器，分辨率越高，成像清晰，計(jì)算過(guò)程復(fù)雜，且成本高，傳感器分為CCD[14]相機(jī)和CMOS相機(jī)，綜合考慮，本系統(tǒng)選擇了Manta G-283B/C型相機(jī)(德國(guó)Allied Vision公司)。

1. 密封罩 2. 輸送帶 3. 相機(jī)支架 4. 奶盒 5. 光源 6. 相機(jī)

1.1.2 鏡頭 圖像采集時(shí)，視場(chǎng)、焦距和景深決定了鏡頭[15]的選型，該檢測(cè)系統(tǒng)主要獲取圖像生產(chǎn)日期的信息，因此既需要保證字符清晰但又不可發(fā)生畸變，結(jié)合工程的實(shí)際情況，本系統(tǒng)選用了LM5JCM型鏡頭(日本Kowa公司)。

1.1.3 光源 光源的穩(wěn)定性及可見(jiàn)光也影響著成像的質(zhì)量，可降低算法處理的難度，因此，光源的搭建須合理化。由于LED光源與其他光源相比，在照射角度、范圍以及平行度設(shè)計(jì)等方面，具有更大的靈活性，考慮到鏡頭的選型及生產(chǎn)線的布局，采用了RIN-90-4R-15X型環(huán)形光源(東冠科技公司)，使拍攝出的生產(chǎn)日期噴碼字符清晰完整。

1.2 視覺(jué)缺陷檢測(cè)系統(tǒng)的設(shè)計(jì)

基于視覺(jué)檢測(cè)噴碼字符缺陷的系統(tǒng)主要分為圖像采集模塊以及圖像后期處理模塊，采集模塊主要包括相機(jī)的調(diào)用以及對(duì)開(kāi)發(fā)包的二次開(kāi)發(fā)，該模塊的質(zhì)量直接決定了圖像后期處理模塊的復(fù)雜程度。圖像后期處理算法在Visual Studio平臺(tái)上進(jìn)行編程，檢測(cè)乳產(chǎn)品包裝的生產(chǎn)日期是否合格，是整個(gè)系統(tǒng)核心部分。

2 算法設(shè)計(jì)

算法主要包括對(duì)相機(jī)的調(diào)用以及圖像信息的獲取，該算法可以很好檢測(cè)到生產(chǎn)日期噴碼的缺陷，流程見(jiàn)圖2。

2.1 缺陷檢測(cè)關(guān)鍵算法

系統(tǒng)運(yùn)用模板匹配算法對(duì)圖像生產(chǎn)日期區(qū)域進(jìn)行定位，對(duì)生產(chǎn)日期字符進(jìn)行校正后，利用垂直投影法對(duì)生產(chǎn)日期的字符進(jìn)行分割，根據(jù)模板匹配算法及相似性度量篩選出有缺陷的產(chǎn)品。因此，在系統(tǒng)處理中，對(duì)感興趣的區(qū)域快速定位以及對(duì)待檢測(cè)的圖像進(jìn)行缺陷檢測(cè)，是要解決的主要問(wèn)題。

2.1.1 模板匹配 模板匹配[16]的主流思路為設(shè)置一個(gè)模板圖像，在待檢測(cè)圖像S(m,n)中通過(guò)相關(guān)的搜索方法以及相似性度量函數(shù)，來(lái)找到與模板圖像T(h,w)最相似的區(qū)域，模板匹配的基本公式見(jiàn)式(1)。

(1)

式中：

圖2 檢測(cè)流程圖

E(i,j)——相似度；

H——橫坐標(biāo)搜索范圍，0

W——縱坐標(biāo)搜索范圍，0

h——像素點(diǎn)橫坐標(biāo)；

w——像素點(diǎn)縱坐標(biāo)；

T——模板圖像；

S——覆蓋子圖。

E值越接近100%，匹配度越好。

基于灰度的模板匹配穩(wěn)定性和可靠性比較優(yōu)越。利用灰度信息判斷2幅圖像的相似性，目前存在的相似性度量函數(shù)中，最基本的就是互相關(guān)法。

(2)

式中：

采用金字塔搜索[17]可以加快搜索速率，其分層的思想使得金字塔從最高層到最底層依次搜索模板，從而達(dá)到加速的目的。

2.1.2 垂直投影法 由于生產(chǎn)日期會(huì)隨著時(shí)間的變化而更改噴碼的內(nèi)容，因此需要對(duì)生產(chǎn)日期進(jìn)行字符分割，本研究基于垂直投影[18]的方法對(duì)字符進(jìn)行分割。

垂直投影法原理：投影法是根據(jù)圖像信息在某方向的投影分布特點(diǎn)來(lái)進(jìn)行檢測(cè)的方法，即像素的累加，其實(shí)是一種統(tǒng)計(jì)的方法。像素灰度值為f(x,y)時(shí)，其投影函數(shù)h(y)的值按式(3)計(jì)算。

(3)

式中：

M、N——圖像尺寸，像素；

c——圖像灰度值。

將投影值進(jìn)行歸一化，其計(jì)算公式：

(4)

以像素值為計(jì)算單位掃描二值圖像，像素點(diǎn)為1的累積結(jié)果即為垂直投影的結(jié)果，累加圖像所有列得到整幅圖像的垂直投影。

2.2 算法實(shí)現(xiàn)

2.2.1 ROI提取

(1) 創(chuàng)建模板：首先需要建立模板，利用模板匹配進(jìn)行定位。在創(chuàng)建模板時(shí)需要注意的原則：① 選取的字符具有不變性；② 關(guān)鍵點(diǎn)特征越多越好。結(jié)合實(shí)際條件，選擇不變字符“20”作為標(biāo)準(zhǔn)模板。對(duì)標(biāo)準(zhǔn)模板進(jìn)行初步的預(yù)處理，消除圖像采集中的細(xì)小噪聲干擾，創(chuàng)建魯棒性強(qiáng)的模板。

手動(dòng)選取標(biāo)準(zhǔn)圖像見(jiàn)圖3(a)，在創(chuàng)建模板前需要對(duì)圖片進(jìn)行初步的預(yù)處理，圖像濾波算法能對(duì)圖像進(jìn)行平滑，減少噪聲對(duì)后續(xù)圖像處理的影響,在采集到的原始圖像中，奶盒表面不同位置明亮程度有所不同，會(huì)出現(xiàn)隨機(jī)性干擾紋理，因此需要對(duì)圖像噪聲進(jìn)行有效抑制。選擇計(jì)算鄰域均值的線性濾波器去除圖像中的細(xì)小噪聲，提高模板圖像魯棒性，濾波效果見(jiàn)圖3(b)，圖3(c)中方框區(qū)域?yàn)槟０鍏^(qū)域，圖3(d)為金字塔模板。

(2) 圖像預(yù)處理與定位：由于圖像在獲取過(guò)程中，需要對(duì)圖像模板匹配來(lái)實(shí)現(xiàn)生產(chǎn)日期的定位，通過(guò)尋找模板獲得匹配到的左上角坐標(biāo)(X1，Y1)，根據(jù)檢測(cè)ROI減小圖像的有效定義域，降低后續(xù)處理的數(shù)據(jù)量。模板匹配的結(jié)果見(jiàn)圖4，ROI區(qū)域的提取見(jiàn)圖5。

圖3 模板的創(chuàng)建

圖4 模板匹配結(jié)果

圖5 ROI區(qū)域提取

2.2.2 圖像分割 利用灰度值的差異性實(shí)現(xiàn)生產(chǎn)日期字符與背景的分割是最直接、高效及簡(jiǎn)單的圖像分割方法，利用自適應(yīng)閾值(大津法)進(jìn)行分割，分割出字符的部分，見(jiàn)圖6。

圖6 字符分割

2.2.3 字符校正 在生產(chǎn)日期缺陷檢測(cè)系統(tǒng)中，生產(chǎn)日期字符存在一定的傾斜度，為后續(xù)的字符分割帶來(lái)了一定的困難，因此在后期的處理之前必須對(duì)其進(jìn)行傾斜校正[19]，通過(guò)計(jì)算生產(chǎn)日期的傾斜角，然后對(duì)生產(chǎn)日期字符圖像進(jìn)行旋轉(zhuǎn)，從而達(dá)到生產(chǎn)日期噴碼傾斜校正的目的。校正結(jié)果見(jiàn)圖7。

圖7 字符校正

2.2.4 字符分割 對(duì)生產(chǎn)日期二值圖像進(jìn)行垂直投影，投影結(jié)果見(jiàn)圖8。

通過(guò)垂直投影的特征，分割字符就可以轉(zhuǎn)化為所需區(qū)域的左右邊界。在字符的垂直投影圖上橫向從左到右順序檢測(cè)每個(gè)坐標(biāo)點(diǎn)的投影數(shù)值，檢測(cè)到第一個(gè)投影數(shù)值不為0的坐標(biāo)點(diǎn)，此坐標(biāo)點(diǎn)即第一個(gè)字符的左側(cè)邊界，順序向右檢測(cè)，在字符的第一個(gè)像素點(diǎn)和最后一個(gè)像素點(diǎn)畫(huà)直線，劃開(kāi)區(qū)域，直至分割出每一個(gè)字符。

圖8 垂直投影結(jié)果

Figure 8 Split the result vertically

垂直分割結(jié)果見(jiàn)圖9，分割圖像保存見(jiàn)圖10。

圖9 垂直分割結(jié)果

圖10 字符分割圖像保存

2.2.5 缺陷檢測(cè) 缺陷檢測(cè)的基本原理是將分割后的字符灰度圖像與字符模板匹配，提取模板字符在待識(shí)別字符的灰度圖像上的灰度特征最大相關(guān)性，利用互相關(guān)法求出相似度，通過(guò)設(shè)置相關(guān)系數(shù)的閾值T，若min(R)

在進(jìn)行缺陷檢測(cè)之前，需要制造模板庫(kù)，由于分割的字符需要與所有模板庫(kù)去匹配，因此需擴(kuò)大模板庫(kù)的尺寸模板，保證最大的待檢測(cè)圖像尺寸小于最小的模板尺寸。

基于此，提出一種新的模板庫(kù)制造方法，以每個(gè)標(biāo)準(zhǔn)模板為中心，在其8鄰域周?chē)a(bǔ)充0像素值，在保證不丟失信息的前提下，又能保證模板匹配的精度。

標(biāo)準(zhǔn)模板創(chuàng)建結(jié)果見(jiàn)圖11。

圖11 標(biāo)準(zhǔn)模板創(chuàng)建

2.3 結(jié)果驗(yàn)證與分析

為了驗(yàn)證算法的嚴(yán)謹(jǐn)性與魯棒性，隨機(jī)選擇了各種缺陷產(chǎn)品做測(cè)試，包括缺碼、模糊碼。

將模板匹配算法及金字塔分層搜索策略應(yīng)用于生產(chǎn)日期的缺陷檢測(cè)中。典型的缺陷圖像見(jiàn)圖12(a)、(b),模板庫(kù)圖像見(jiàn)圖13。在Visual Studio+halcon+opencv平臺(tái)下實(shí)現(xiàn)提出的算法，建立模板庫(kù)，設(shè)置金字塔層數(shù)為3，計(jì)算分割字符與每個(gè)標(biāo)準(zhǔn)模板的最大相似度，設(shè)置閾值確定是否為缺陷字符，結(jié)果見(jiàn)圖14。

圖12 缺陷類(lèi)型

圖13 缺陷字符與標(biāo)準(zhǔn)模板

圖14 結(jié)果顯示

取100個(gè)含有合格和缺陷的產(chǎn)品進(jìn)行試驗(yàn)測(cè)試，對(duì)缺陷檢測(cè)算法進(jìn)行了測(cè)試。表 1 是對(duì)不同缺陷類(lèi)型及其檢測(cè)準(zhǔn)確率的統(tǒng)計(jì)結(jié)果，可以看出，對(duì)于模糊碼缺陷，誤檢數(shù)為2，無(wú)漏檢，正確率為 96.7%，對(duì)缺碼缺陷，誤檢數(shù)為1，無(wú)漏檢，正確率為97.5%，缺陷平均檢測(cè)準(zhǔn)確率為97%。達(dá)到預(yù)期檢測(cè)目標(biāo)。

表1 缺陷檢測(cè)結(jié)果

3 結(jié)論

生產(chǎn)日期噴碼的缺陷檢測(cè)，對(duì)消費(fèi)者的健康以及企業(yè)的形象有至關(guān)重要的影響，傳統(tǒng)的人工檢測(cè)方法具有一定的局限性，且成本高，效率低，本研究設(shè)計(jì)了一套基于機(jī)器視覺(jué)的生產(chǎn)日期噴碼缺陷檢測(cè)系統(tǒng)，對(duì)圖像處理的相關(guān)算法進(jìn)行了研究與編程，結(jié)果表明，此算法對(duì)生產(chǎn)日期缺碼、模糊碼等缺陷能進(jìn)行高效的檢測(cè)，不僅降低了工廠的生產(chǎn)成本，也提高了出廠產(chǎn)品的良品率，為生產(chǎn)日期的缺陷檢測(cè)提供了一種新的思路。