孫曉娜劉繼超高國(guó)華
SUN Xiao-na1 LIU Ji-chao2 GAO Guo-hua1
(1. 北京工業(yè)大學(xué)機(jī)械工程與應(yīng)用電子技術(shù)學(xué)院,北京 100124;2. 北京三元食品股份有限公司,北京 100124)
(1. College of Mechanical Engineering and Applied Electronics Technology, Beijing 100124, China; 2. Beijing Sanyuan Foods Co., Beijing 100124, China)
機(jī)器視覺(jué)[1-2]是人工智能發(fā)展的重要方向之一。使用機(jī)器代替人眼來(lái)完成判斷和檢測(cè),具有廣闊的應(yīng)用前景,將采集的目標(biāo)轉(zhuǎn)換成圖像,將信號(hào)輸送給圖像處理軟件,采用數(shù)字圖像處理技術(shù)[3]獲得目標(biāo)的各種信息,根據(jù)識(shí)別的結(jié)果來(lái)控制設(shè)備的運(yùn)行。
隨著數(shù)字化程度不斷提高,使用機(jī)器視覺(jué)獲取目標(biāo)的信息實(shí)現(xiàn)物體表面裂紋檢測(cè)[4-7]、物體輪廓形狀的檢測(cè)[8]以及表面?zhèn)Τ潭萚9]的檢測(cè)越來(lái)越普遍。
近年來(lái),隨著居民收入和對(duì)健康關(guān)注程度的提高,人們?cè)絹?lái)越關(guān)注食品的安全問(wèn)題,食品的生產(chǎn)日期是決定食品安全的重要因素,直接決定了食品是否達(dá)到可食用的條件[10],眾所周知,乳品的保質(zhì)期短,因此,保證其生產(chǎn)日期信息清晰準(zhǔn)確顯得尤為重要。
企業(yè)采用噴碼機(jī)噴印生產(chǎn)日期,在此過(guò)程中易出現(xiàn)漏碼、模糊碼、重疊碼、錯(cuò)印碼等缺陷[11]產(chǎn)品,需要對(duì)這些缺陷產(chǎn)品進(jìn)行剔除,以防影響企業(yè)的品牌及傷害到消費(fèi)者的健康。傳統(tǒng)的方法多采用人工剔除,勞動(dòng)強(qiáng)度大,效率低,而采用機(jī)器視覺(jué)[12-13]的方法不會(huì)受到輪班、生病等因素的影響,且檢測(cè)的速度是人眼所達(dá)不到的,因此,開(kāi)發(fā)一套生產(chǎn)日期缺陷檢測(cè)系統(tǒng),對(duì)于企業(yè)的自動(dòng)化生產(chǎn)具有重要的意義,也可極大程度降低企業(yè)成本。
本設(shè)計(jì)提出了一種應(yīng)用于乳品包裝生產(chǎn)日期噴碼缺陷的視覺(jué)檢測(cè)方案,擬通過(guò)采集乳品外包裝的圖像,利用圖像預(yù)處理、ROI區(qū)域提取、模板匹配等技術(shù)獲得生產(chǎn)日期的信息,實(shí)現(xiàn)缺陷檢測(cè)效果,為乳產(chǎn)品質(zhì)量檢測(cè)的研究提供參考。
生產(chǎn)日期的檢測(cè)系統(tǒng)由硬件系統(tǒng)和軟件處理系統(tǒng)兩大部分組成。
硬件系統(tǒng)主要包括光源、鏡頭、工業(yè)相機(jī)、輸送帶、相機(jī)支架、密封罩等,見(jiàn)圖1。
1.1.1 工業(yè)相機(jī) 工業(yè)相機(jī)的選擇主要考慮分辨率以及傳感器,分辨率越高,成像清晰,計(jì)算過(guò)程復(fù)雜,且成本高,傳感器分為CCD[14]相機(jī)和CMOS相機(jī),綜合考慮,本系統(tǒng)選擇了Manta G-283B/C型相機(jī)(德國(guó)Allied Vision公司)。
1. 密封罩 2. 輸送帶 3. 相機(jī)支架 4. 奶盒 5. 光源 6. 相機(jī)
1.1.2 鏡頭 圖像采集時(shí),視場(chǎng)、焦距和景深決定了鏡頭[15]的選型,該檢測(cè)系統(tǒng)主要獲取圖像生產(chǎn)日期的信息,因此既需要保證字符清晰但又不可發(fā)生畸變,結(jié)合工程的實(shí)際情況,本系統(tǒng)選用了LM5JCM型鏡頭(日本Kowa公司)。
1.1.3 光源 光源的穩(wěn)定性及可見(jiàn)光也影響著成像的質(zhì)量,可降低算法處理的難度,因此,光源的搭建須合理化。由于LED光源與其他光源相比,在照射角度、范圍以及平行度設(shè)計(jì)等方面,具有更大的靈活性,考慮到鏡頭的選型及生產(chǎn)線的布局,采用了RIN-90-4R-15X型環(huán)形光源(東冠科技公司),使拍攝出的生產(chǎn)日期噴碼字符清晰完整。
基于視覺(jué)檢測(cè)噴碼字符缺陷的系統(tǒng)主要分為圖像采集模塊以及圖像后期處理模塊,采集模塊主要包括相機(jī)的調(diào)用以及對(duì)開(kāi)發(fā)包的二次開(kāi)發(fā),該模塊的質(zhì)量直接決定了圖像后期處理模塊的復(fù)雜程度。圖像后期處理算法在Visual Studio平臺(tái)上進(jìn)行編程,檢測(cè)乳產(chǎn)品包裝的生產(chǎn)日期是否合格,是整個(gè)系統(tǒng)核心部分。
算法主要包括對(duì)相機(jī)的調(diào)用以及圖像信息的獲取,該算法可以很好檢測(cè)到生產(chǎn)日期噴碼的缺陷,流程見(jiàn)圖2。
系統(tǒng)運(yùn)用模板匹配算法對(duì)圖像生產(chǎn)日期區(qū)域進(jìn)行定位,對(duì)生產(chǎn)日期字符進(jìn)行校正后,利用垂直投影法對(duì)生產(chǎn)日期的字符進(jìn)行分割,根據(jù)模板匹配算法及相似性度量篩選出有缺陷的產(chǎn)品。因此,在系統(tǒng)處理中,對(duì)感興趣的區(qū)域快速定位以及對(duì)待檢測(cè)的圖像進(jìn)行缺陷檢測(cè),是要解決的主要問(wèn)題。
2.1.1 模板匹配 模板匹配[16]的主流思路為設(shè)置一個(gè)模板圖像,在待檢測(cè)圖像S(m,n)中通過(guò)相關(guān)的搜索方法以及相似性度量函數(shù),來(lái)找到與模板圖像T(h,w)最相似的區(qū)域,模板匹配的基本公式見(jiàn)式(1)。
(1)
式中:
圖2 檢測(cè)流程圖
E(i,j)——相似度;
H——橫坐標(biāo)搜索范圍,0 W——縱坐標(biāo)搜索范圍,0 h——像素點(diǎn)橫坐標(biāo); w——像素點(diǎn)縱坐標(biāo); T——模板圖像; S——覆蓋子圖。 E值越接近100%,匹配度越好。 基于灰度的模板匹配穩(wěn)定性和可靠性比較優(yōu)越。利用灰度信息判斷2幅圖像的相似性,目前存在的相似性度量函數(shù)中,最基本的就是互相關(guān)法。 (2) 式中: 采用金字塔搜索[17]可以加快搜索速率,其分層的思想使得金字塔從最高層到最底層依次搜索模板,從而達(dá)到加速的目的。 2.1.2 垂直投影法 由于生產(chǎn)日期會(huì)隨著時(shí)間的變化而更改噴碼的內(nèi)容,因此需要對(duì)生產(chǎn)日期進(jìn)行字符分割,本研究基于垂直投影[18]的方法對(duì)字符進(jìn)行分割。 垂直投影法原理:投影法是根據(jù)圖像信息在某方向的投影分布特點(diǎn)來(lái)進(jìn)行檢測(cè)的方法,即像素的累加,其實(shí)是一種統(tǒng)計(jì)的方法。像素灰度值為f(x,y)時(shí),其投影函數(shù)h(y)的值按式(3)計(jì)算。 (3) 式中: M、N——圖像尺寸,像素; c——圖像灰度值。 將投影值進(jìn)行歸一化,其計(jì)算公式: (4) 以像素值為計(jì)算單位掃描二值圖像,像素點(diǎn)為1的累積結(jié)果即為垂直投影的結(jié)果,累加圖像所有列得到整幅圖像的垂直投影。 2.2.1 ROI提取 (1) 創(chuàng)建模板:首先需要建立模板,利用模板匹配進(jìn)行定位。在創(chuàng)建模板時(shí)需要注意的原則:① 選取的字符具有不變性;② 關(guān)鍵點(diǎn)特征越多越好。結(jié)合實(shí)際條件,選擇不變字符“20”作為標(biāo)準(zhǔn)模板。對(duì)標(biāo)準(zhǔn)模板進(jìn)行初步的預(yù)處理,消除圖像采集中的細(xì)小噪聲干擾,創(chuàng)建魯棒性強(qiáng)的模板。 手動(dòng)選取標(biāo)準(zhǔn)圖像見(jiàn)圖3(a),在創(chuàng)建模板前需要對(duì)圖片進(jìn)行初步的預(yù)處理,圖像濾波算法能對(duì)圖像進(jìn)行平滑,減少噪聲對(duì)后續(xù)圖像處理的影響,在采集到的原始圖像中,奶盒表面不同位置明亮程度有所不同,會(huì)出現(xiàn)隨機(jī)性干擾紋理,因此需要對(duì)圖像噪聲進(jìn)行有效抑制。選擇計(jì)算鄰域均值的線性濾波器去除圖像中的細(xì)小噪聲,提高模板圖像魯棒性,濾波效果見(jiàn)圖3(b),圖3(c)中方框區(qū)域?yàn)槟0鍏^(qū)域,圖3(d)為金字塔模板。 (2) 圖像預(yù)處理與定位:由于圖像在獲取過(guò)程中,需要對(duì)圖像模板匹配來(lái)實(shí)現(xiàn)生產(chǎn)日期的定位,通過(guò)尋找模板獲得匹配到的左上角坐標(biāo)(X1,Y1),根據(jù)檢測(cè)ROI減小圖像的有效定義域,降低后續(xù)處理的數(shù)據(jù)量。模板匹配的結(jié)果見(jiàn)圖4,ROI區(qū)域的提取見(jiàn)圖5。 圖3 模板的創(chuàng)建 圖4 模板匹配結(jié)果 圖5 ROI區(qū)域提取 2.2.2 圖像分割 利用灰度值的差異性實(shí)現(xiàn)生產(chǎn)日期字符與背景的分割是最直接、高效及簡(jiǎn)單的圖像分割方法,利用自適應(yīng)閾值(大津法)進(jìn)行分割,分割出字符的部分,見(jiàn)圖6。 圖6 字符分割 2.2.3 字符校正 在生產(chǎn)日期缺陷檢測(cè)系統(tǒng)中,生產(chǎn)日期字符存在一定的傾斜度,為后續(xù)的字符分割帶來(lái)了一定的困難,因此在后期的處理之前必須對(duì)其進(jìn)行傾斜校正[19],通過(guò)計(jì)算生產(chǎn)日期的傾斜角,然后對(duì)生產(chǎn)日期字符圖像進(jìn)行旋轉(zhuǎn),從而達(dá)到生產(chǎn)日期噴碼傾斜校正的目的。校正結(jié)果見(jiàn)圖7。 圖7 字符校正 2.2.4 字符分割 對(duì)生產(chǎn)日期二值圖像進(jìn)行垂直投影,投影結(jié)果見(jiàn)圖8。 通過(guò)垂直投影的特征,分割字符就可以轉(zhuǎn)化為所需區(qū)域的左右邊界。在字符的垂直投影圖上橫向從左到右順序檢測(cè)每個(gè)坐標(biāo)點(diǎn)的投影數(shù)值,檢測(cè)到第一個(gè)投影數(shù)值不為0的坐標(biāo)點(diǎn),此坐標(biāo)點(diǎn)即第一個(gè)字符的左側(cè)邊界,順序向右檢測(cè),在字符的第一個(gè)像素點(diǎn)和最后一個(gè)像素點(diǎn)畫(huà)直線,劃開(kāi)區(qū)域,直至分割出每一個(gè)字符。 圖8 垂直投影結(jié)果 Figure 8 Split the result vertically 垂直分割結(jié)果見(jiàn)圖9,分割圖像保存見(jiàn)圖10。 圖9 垂直分割結(jié)果 圖10 字符分割圖像保存 2.2.5 缺陷檢測(cè) 缺陷檢測(cè)的基本原理是將分割后的字符灰度圖像與字符模板匹配,提取模板字符在待識(shí)別字符的灰度圖像上的灰度特征最大相關(guān)性,利用互相關(guān)法求出相似度,通過(guò)設(shè)置相關(guān)系數(shù)的閾值T,若min(R) 在進(jìn)行缺陷檢測(cè)之前,需要制造模板庫(kù),由于分割的字符需要與所有模板庫(kù)去匹配,因此需擴(kuò)大模板庫(kù)的尺寸模板,保證最大的待檢測(cè)圖像尺寸小于最小的模板尺寸。 基于此,提出一種新的模板庫(kù)制造方法,以每個(gè)標(biāo)準(zhǔn)模板為中心,在其8鄰域周?chē)a(bǔ)充0像素值,在保證不丟失信息的前提下,又能保證模板匹配的精度。 標(biāo)準(zhǔn)模板創(chuàng)建結(jié)果見(jiàn)圖11。 圖11 標(biāo)準(zhǔn)模板創(chuàng)建 為了驗(yàn)證算法的嚴(yán)謹(jǐn)性與魯棒性,隨機(jī)選擇了各種缺陷產(chǎn)品做測(cè)試,包括缺碼、模糊碼。 將模板匹配算法及金字塔分層搜索策略應(yīng)用于生產(chǎn)日期的缺陷檢測(cè)中。典型的缺陷圖像見(jiàn)圖12(a)、(b),模板庫(kù)圖像見(jiàn)圖13。在Visual Studio+halcon+opencv平臺(tái)下實(shí)現(xiàn)提出的算法,建立模板庫(kù),設(shè)置金字塔層數(shù)為3,計(jì)算分割字符與每個(gè)標(biāo)準(zhǔn)模板的最大相似度,設(shè)置閾值確定是否為缺陷字符,結(jié)果見(jiàn)圖14。 圖12 缺陷類(lèi)型 圖13 缺陷字符與標(biāo)準(zhǔn)模板 圖14 結(jié)果顯示 取100個(gè)含有合格和缺陷的產(chǎn)品進(jìn)行試驗(yàn)測(cè)試,對(duì)缺陷檢測(cè)算法進(jìn)行了測(cè)試。表 1 是對(duì)不同缺陷類(lèi)型及其檢測(cè)準(zhǔn)確率的統(tǒng)計(jì)結(jié)果,可以看出,對(duì)于模糊碼缺陷,誤檢數(shù)為2,無(wú)漏檢,正確率為 96.7%,對(duì)缺碼缺陷,誤檢數(shù)為1,無(wú)漏檢,正確率為97.5%,缺陷平均檢測(cè)準(zhǔn)確率為97%。達(dá)到預(yù)期檢測(cè)目標(biāo)。 表1 缺陷檢測(cè)結(jié)果 生產(chǎn)日期噴碼的缺陷檢測(cè),對(duì)消費(fèi)者的健康以及企業(yè)的形象有至關(guān)重要的影響,傳統(tǒng)的人工檢測(cè)方法具有一定的局限性,且成本高,效率低,本研究設(shè)計(jì)了一套基于機(jī)器視覺(jué)的生產(chǎn)日期噴碼缺陷檢測(cè)系統(tǒng),對(duì)圖像處理的相關(guān)算法進(jìn)行了研究與編程,結(jié)果表明,此算法對(duì)生產(chǎn)日期缺碼、模糊碼等缺陷能進(jìn)行高效的檢測(cè),不僅降低了工廠的生產(chǎn)成本,也提高了出廠產(chǎn)品的良品率,為生產(chǎn)日期的缺陷檢測(cè)提供了一種新的思路。2.2 算法實(shí)現(xiàn)
2.3 結(jié)果驗(yàn)證與分析
3 結(jié)論