姚 勇，吳 田

（湖北第二師范學(xué)院 計算機學(xué)院，武漢 430205）

1 引言

食品包裝袋的應(yīng)用非常廣泛，在包裝袋上印刷著當(dāng)前商品的生產(chǎn)日期、合格狀況、保質(zhì)期、生產(chǎn)批次等重要信息，這些信息一般是通過噴碼機印刷到包裝袋上的，字符呈點陣狀。噴碼大多數(shù)用噴墨技術(shù)實現(xiàn)的，但是噴碼機會出現(xiàn)震動擾亂的情況導(dǎo)致噴碼字符會傾斜，或者因為油墨不足導(dǎo)致噴碼字符出現(xiàn)殘缺，或者因為噴墨不均勻出現(xiàn)噴碼模糊等情況。為了不讓產(chǎn)品在流通和銷售時因為噴碼問題產(chǎn)生影響，因此需要在出廠前檢測識別產(chǎn)品外包裝噴碼，篩選剔除噴碼有問題的產(chǎn)品。

傳統(tǒng)的噴碼檢測基本都是人工檢測，方法是目視法，雖然能檢測出一些不合格的產(chǎn)品，但是人會產(chǎn)生疲勞，導(dǎo)致檢測精度降低，同時人工檢測的速度也較低，因此還會存在部分不合格品流入下道工序，導(dǎo)致需要耗費更多人力資源去進(jìn)一步篩選，增加了生產(chǎn)成本。因此自動化的噴碼檢測方法是非常必要的，能夠提高識別效率，降低企業(yè)生產(chǎn)成本，保障產(chǎn)品安全。

2 相關(guān)工作

字符識別的實現(xiàn)分為三個步驟，即字符定位、字符分割和字符識別，首先對字符區(qū)域進(jìn)行定位，然后對該區(qū)域進(jìn)行分割，最后進(jìn)行識別。對于字符定位，吳慧瑩等人采用數(shù)學(xué)形態(tài)學(xué)與連通域分析組合的方式對預(yù)處理圖像進(jìn)行定位，選取行列位置信息和面積大小作為定位特征。[1]閔鋒等提出了基于形態(tài)學(xué)變換定位的方法，通過腐蝕，膨脹的形態(tài)學(xué)操作使字符特征，但是該方法適用于字符與背景顏色對比明顯的情況。[2]Etemad E 等提出了基于邊緣特征定位的方法，利用字符與背景顏色搭配固定的特征以及字符與邊緣距離固定的約束條件，對圖像進(jìn)行了多次濾波，使字符區(qū)域的邊緣點顏色對比突出，以此快速定位出字符區(qū)域[3]，但是該方法對字符區(qū)域顏色的固定搭配限制性比較強。Li H等提出了利用顏色空間定位的方法，對于某種目標(biāo)顏色，可以通過H、S、V三個分量分別設(shè)定范圍把其像素分離出來，但是這種過濾對于黑色或者白色區(qū)域的效果比較差。[4]Kumuda T等提出了基于紋理特征空間定位的方法，根據(jù)圖像中像素及其周圍的空間鄰域的灰度分布來確定字符區(qū)域，但是此種方法僅適用于區(qū)域內(nèi)紋理的粗細(xì)和疏密程度存在較大差異的情況。[5]Maonan Weng等提出了基于連通域分析定位的方法，首先通過邊緣檢測對字符區(qū)域進(jìn)行大致定位，然后再篩選連通域結(jié)合字符區(qū)域模板確定位置。[6]

目前的字符分割方法主要分為三種，第一種是基于投影法的字符分割。Dan等人使用投影法分割圖像，對單行的字符有較好的分割效果，但投影法單一統(tǒng)計各個像素點，受噪聲的影響較大。[7]焦慧華等人采用垂直投影法分割字符，把二值化后的圖像進(jìn)行垂直方向上的投影，然后確定字符位置，采用此方法的弊端在于分割的區(qū)域多為矩形，在正方形條件下效果最好。[8]馬永杰等人對雙行字符的分割采用了自適應(yīng)投影法分割字符，利用圖像在HSV顏色空間上的特性，進(jìn)行改進(jìn)的二值化，然后通過自適應(yīng)投影把雙行的字符分割為單行，再進(jìn)行單個字符分割，該方法對字符顏色以及背景顏色的局限性比較大。第二種方法是基于連通域法的字符分割方法。[9]姚夢潔等人利用形態(tài)學(xué)算法對邊緣特征進(jìn)行優(yōu)化，獲取了穩(wěn)定性更強的邊緣特征，然后根據(jù)連通域的方法對粘連字符進(jìn)行分割。[10]朱亞萍等人針對不連通字符干擾和邊框干擾提出了基于連通域的改進(jìn)算法，首先用連通域方法進(jìn)行粗分割，然后用二分投影法進(jìn)行第二次分割，不過此種方法對字符區(qū)域的尺寸有所限制。[11]路敬祎等人提出了改進(jìn)的八連通標(biāo)記法，只需要一次遍歷就可以完成標(biāo)記，降低了連通域算法多次標(biāo)記的運算量。[12]第三種方法是基于神經(jīng)網(wǎng)絡(luò)的字符分割方法。Shi等人提出了一種能夠識別日常場景下字符的端到端訓(xùn)練的神經(jīng)網(wǎng)絡(luò)。[13]林東婷等人搭建了基于SVM的字符分割模型，可以把字符進(jìn)行分割后送入ANN分類器進(jìn)行字符識別。[14]張彩珍等人提出了改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)以及聯(lián)結(jié)時間分類的免字符分割的字符識別算法，采用神經(jīng)網(wǎng)絡(luò)的方法分割字符準(zhǔn)確率比較高，但是需要大量的數(shù)據(jù)來進(jìn)行訓(xùn)練，所需時間比較長。[15]

對于字符識別來說，目前主要用到的方法有模板匹配算法，基于機器學(xué)習(xí)的字符識別方法，基于深度學(xué)習(xí)的字符識別方法。李強等人用改進(jìn)的模板匹配方法先進(jìn)行字符識別，然后通過把字符的差異值累積擴大，通過比較差異值判斷識別的準(zhǔn)確性。[16]黃志斌等人把SVM算法應(yīng)用到英文字符的識別，在滿足實時性的條件下取得了不錯的效果。[17]羅月童等人用深度學(xué)習(xí)在LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，根據(jù)字符檢測特點，研究了數(shù)據(jù)增廣的方法，應(yīng)用到字符識別中，對于相似的字符檢測性準(zhǔn)確率比較高。[18]

當(dāng)前針對包裝袋噴碼的字符分割與識別雖然在一定程度上取得了一定的效果，但是仍然存在以下兩個問題：（1）字符區(qū)域定位不準(zhǔn)確；（2）字符分割準(zhǔn)確率低。針對問題（1），目前主要所用到的方法有形態(tài)學(xué)法和連通域分析法。針對問題（2），目前采用最多的是投影分析法。

針對上述兩個問題，本文以面粉包裝袋的圖像作為實驗對象，提出一種基于機器視覺的包裝袋噴碼字符識別方法，其中字符分割用了一種二次分割的方法來提升噴碼字符分割的準(zhǔn)確率。首先對圖像進(jìn)行灰度化、閾值分割、濾波處理和形態(tài)學(xué)處理等預(yù)處理后，進(jìn)行連通域分析以便提取字符特征，實現(xiàn)字符定位。由于噴碼字符整體是在包裝袋上占據(jù)一塊區(qū)域，因此第一次分割是依據(jù)連通域分割出字符區(qū)域，在第二次分割中先對字符進(jìn)行外接矩形繪制，然后用等間距分割分割出單個字符，進(jìn)行字符提取，之后采用模板匹配法進(jìn)行字符識別。

3 研究方法

本研究分三部分：字符定位、字符分割、字符識別。字符定位采用的是連通域分析法來實現(xiàn)字符區(qū)域的定位以及特征提取，字符分割采用的本文提出的二次分割法，先用連通域分割法進(jìn)行第一次粗分割，然后二次分割中用等間距分割的方法進(jìn)行細(xì)分割提取出字符，最后的把提取到的字符采用模板匹配法進(jìn)行識別?？傮w算法流程如圖1所示，下面分別對這些部分進(jìn)行介紹。

圖1 系統(tǒng)整體算法流程圖

3.1 字符定位

包裝袋上的噴碼具有圖像背景復(fù)雜，字符不明顯，字符傾斜等特點。由于包裝袋噴碼字符的尺寸，顏色都是相同的，所以采用連通域分析的方法可以很好地通過篩選字符特征實現(xiàn)定位。具體流程如圖2所示。

圖2 字符定位流程

3.1.1 圖像預(yù)處理

圖像的預(yù)處理的主要目的在于消除圖像中與所需要檢測目標(biāo)無關(guān)的信息，把目標(biāo)的信息特征更加明顯地展現(xiàn)出來，便于下一步的處理。在本次實驗中，圖像預(yù)處理包含四個步驟，圖像灰度化、閾值分割、濾波處理、形態(tài)學(xué)處理。

3.1.1.1 圖像灰度化

圖像灰度化就是把彩色圖像轉(zhuǎn)換為灰色圖像，使其RGB三個通道的色彩分量相等，灰度圖像中的每個像素都只具有一種樣本顏色，灰度值大的地方會比較亮，其他的就相反，為之后的圖像處理做基礎(chǔ)。由于人的眼睛對綠色的敏感度比較高，對藍(lán)色的敏感度低，所以本文采取的灰度化方法是加權(quán)平均法。此方法的效果比較合理，公式如下：

其中RGB 為某點的顏色組成，分別為紅色、綠色、藍(lán)色分量，對這三種分量以上式中的權(quán)值進(jìn)行加權(quán)平均?；叶然蟮男Ч鐖D3：

圖3 灰度化圖像

3.1.1.2 閾值分割

閾值分割的主要目的是從數(shù)字圖像中提取出目標(biāo)物體，通過設(shè)定合適的閾值，把圖像數(shù)據(jù)分為兩部分。一部分是大于設(shè)定閾值的，一部分是小于設(shè)定閾值的。經(jīng)過閾值分割后可以得到黑白的二值化圖像，適用于目標(biāo)灰度對比強烈的情況，可以得到封閉連通區(qū)域的邊界，為之后的連通域分割做準(zhǔn)備。本文用到的閾值分割方法公式如下：

公式中設(shè)置了一個最佳閾值，大于此閾值的圖像背景部分，以此可以很好地把目標(biāo)與圖像分割出來，效果如圖4所示。

圖4 閾值分割圖像

3.1.1.3 濾波處理

經(jīng)過閾值分割后的圖像還存在著許多噪聲，因此需要用到濾波來去除噪聲，使圖像變得更加平滑。這里需要用到高斯濾波，其主要原理是，使用高斯核與輸入圖像中的每個點作卷積運算，然后對卷積結(jié)果求和，從而得到輸出圖像。二維高斯函數(shù)如下公式所示。

通過上述函數(shù)，就可以計算每個像素點的權(quán)重，對鄰域內(nèi)像素進(jìn)行平均時，給予它們不同的權(quán)重。經(jīng)過高斯濾波后的圖像如圖5所示。

圖5 高斯模糊處理

3.1.1.4 形態(tài)學(xué)處理

由于經(jīng)過處理后的圖像中還存在著許多干擾，字符區(qū)域仍無法與其他區(qū)域具有大的差異化，不能很好地分離出來，因此需要用到形態(tài)學(xué)處理來增大字符區(qū)域的特征，或者是根據(jù)干擾因素的特征將其抹除。這里用到了膨脹的處理方法，能夠加長或者加粗二值圖像中的對象。膨脹操作的公式如下：

經(jīng)過膨脹操作后可以讓字符粘連起來，把字符之間的空隙填滿，形成連通域，從而實現(xiàn)與干擾區(qū)域的區(qū)分。經(jīng)過膨脹操作后的圖像如圖6所示。

圖6 膨脹處理

3.1.2 連通域分析

對形成連通域的區(qū)域進(jìn)行連通域分析，把圖像中的連通域找出并進(jìn)行標(biāo)記，是一種比較常用的圖像區(qū)域提取方法，這里采用二次遍歷法。第一遍掃描對圖像中像素值相等且位置相鄰的前景像素點進(jìn)行標(biāo)記，同一個連通域的像素點可能會有一個或者多個不同的標(biāo)記，記錄像素點之間的相等關(guān)系;第二遍掃描就是將具有相等關(guān)系的不同標(biāo)記像素點賦予相同的標(biāo)記值并將其合并得到完整的連通域，從而實現(xiàn)連通域分割。由此可以把不同的連通域標(biāo)記出來，接下來就可以根據(jù)字符區(qū)域的特征進(jìn)行篩選。連通域標(biāo)記后的效果如圖7 所示。

圖7 連通域分析

3.1.3 特征提取

把連通域部分進(jìn)行填充，填充為矩形后可以計算連通域的坐標(biāo)以及面積，由于噴碼字符的區(qū)域比較固定，所以設(shè)定一個閾值范圍，把連通域的坐標(biāo)和面積特征與閾值進(jìn)行比較，能夠提取出合適的連通域，從而實現(xiàn)字符定位。

3.2 字符分割

在對字符定位后，就可以分割字符。把字符區(qū)域內(nèi)的字符單個地分割出來，常用的方法有投影法和連通域分割法。由于噴碼字符具有粘連性，因此單一的分割方法并不適用于噴碼字符的分割；由于噴碼字符的尺寸都是確定的，所以這里采用二次分割的方法。在第一次連通域分割出字符區(qū)域的基礎(chǔ)上，對字符區(qū)域用等間距分割的方法進(jìn)行細(xì)分割提取出字符，具體是對需要檢測圖像中的單個字符繪制外接矩形，然后把外接矩形與設(shè)定字符的尺寸大小進(jìn)行對比，以此與原圖取交集，分割出粘連字符。步驟如下：

（1）連通域分割。首先對定位好的字符區(qū)域進(jìn)行膨脹操作找出連通域，然后進(jìn)行連通性分析，對字符進(jìn)行第一次分割，結(jié)果中有的連通域分割并不完全。效果如圖8所示。

圖8 連通域分割效果圖

（2）繪制外接矩形。對第一次分割的圖像繪制外接矩形，并計算外接矩形的長，寬以及面積。繪制外接矩形后的效果如圖9所示。

圖9 外接矩形圖

（3）等間距分割。把繪制好的外接矩陣尺寸與設(shè)定好的尺寸進(jìn)行對比，長和寬分別進(jìn)行對比，若最小外接矩形比設(shè)定的矩形尺寸大1.5倍，則進(jìn)行等間距分割，分割出單個字符。

（4）字符提取。經(jīng)過二次分割后的圖像與原圖像對比取一個交集，可獲得單個字符區(qū)域，然后進(jìn)行分割。

3.3 字符識別

由于噴碼字符的類型比較單一，由字母以及數(shù)字組成，因此這里采用簡單的模板匹配法來進(jìn)行字符識別，設(shè)立字庫，即26個字母和10個數(shù)字，把分割好的字符進(jìn)行歸一化，然后與字庫中的字符進(jìn)行比較，就可以得到字符的結(jié)果。

模板匹配算法就是在圖像中尋找特定的目標(biāo)，設(shè)定一個模板T，遍歷圖像區(qū)域S，看哪些地方與模板相似，若相似度比較高，則找到目標(biāo)，計算相似性的公式如下：

其中i，j為圖片中像素點的坐標(biāo)，通過逐個像素點的對比，把相似度最高的字符顯示出來。

4 實驗

4.1 實驗平臺及數(shù)據(jù)

本實驗的噴碼字符圖片來源于益海嘉里（鄭州）食品工業(yè)有限公司采集的面粉包裝袋圖像，圖像樣如圖10所示。樣本數(shù)為67，每個圖像中包含19個字符，由數(shù)字“0-9”，字母“A-Z”組成，操作系統(tǒng)是Windows10，編譯器是Visual 2017，開發(fā)包包含OpenCV。

圖10 樣本圖像

4.2 實驗結(jié)果及分析

實驗中采取了字符定位、字符分割、字符定位三步進(jìn)行實驗。首先通過圖像灰度化、二值化，再進(jìn)行去噪來處理圖像，然后進(jìn)行膨脹處理，再建立連通域進(jìn)行連通域分析。根據(jù)特征提取出字符位置，然后通過連通域分割與等間距分割的二次分割方法分割出字符。最后進(jìn)行模板匹配，識別字符。字符分割后效果如圖11所示，分割后提取識別結(jié)果如圖12所示?？梢钥闯鰷?zhǔn)確率為94.8%，誤檢率為3%，表明此方法對于噴碼字符識別比較適用。

圖11 字符分割結(jié)果

圖12 字符識別結(jié)果

為了進(jìn)一步驗證本文方法的有效性，實驗還與傳統(tǒng)的分割方法進(jìn)行了對比，分別是垂直投影法、連通域分割法、投影二分法。單使用垂直投影法，如果字符粘連則不能分割出字符區(qū)域。連通域分割法，由于字符都在一個連通域，因此無法分割出粘連字符對于投影二分法，它根據(jù)字符固定寬度，在垂直投影法的基礎(chǔ)上進(jìn)行分割，比單使用垂直投影法效果要好。本文采用分割準(zhǔn)確性來對比本文提出的字符分割的方法，具體為正確分割的字符數(shù)與圖像中字符總數(shù)的比值，實驗結(jié)果對比如圖13所示，明顯優(yōu)于其他三種方法，可用于面粉包裝袋噴碼字符的分割。

圖13 不同方法分割準(zhǔn)確率比較

5 結(jié)論

本文主要研究了對食品包裝袋上的噴碼字符的分割識別問題，主要研究問題是針對噴碼字符的定位及分割問題。本文用了二次分割的方法，首先對圖像進(jìn)行預(yù)處理，然后利用連通與特征提取定位字符區(qū)域，再進(jìn)行字符分割。為了解決字符分割不完全的問題，首先根據(jù)連通域采用第一次分割，然后根據(jù)字符的大小進(jìn)行第二次細(xì)分割，然后根據(jù)與原圖像對比分割出單個字符。從實驗結(jié)果可以看出，此種方法的準(zhǔn)確率還是比較高的。但是，對于噴碼字符的識別研究仍比較少，因此準(zhǔn)確率還有很大的提升空間，未來可以引入深度學(xué)習(xí)，通過深度學(xué)習(xí)提高字符分割識別的準(zhǔn)確率。