摘要:本文設(shè)計(jì)了一套基于機(jī)器視覺的酒瓶標(biāo)簽檢測系統(tǒng)。研究了硬件平臺、軟件系統(tǒng)的功能實(shí)現(xiàn),對標(biāo)簽貼偏檢測和外觀檢測的關(guān)鍵技術(shù)進(jìn)行了分析,結(jié)合圖像處理技術(shù)與深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)了標(biāo)簽褶皺、劃痕、擦傷、缺失等缺陷的檢測。實(shí)驗(yàn)數(shù)據(jù)表明,該系統(tǒng)能精確計(jì)算標(biāo)記缺陷各項(xiàng)特征類型,實(shí)現(xiàn)了酒瓶標(biāo)簽生產(chǎn)流水線的自動缺陷檢測。
關(guān)鍵詞:酒瓶標(biāo)簽;機(jī)器視覺;缺陷檢測
在酒瓶生產(chǎn)過程中,大多數(shù)自動化流水線上仍然由工人進(jìn)行標(biāo)簽質(zhì)量檢測,不僅增加了用人成本和管理成本,而且隨著工作連續(xù)性的進(jìn)行,工人會產(chǎn)生疲勞檢測,導(dǎo)致漏檢、錯(cuò)檢等情況。隨著近些年來機(jī)器視覺領(lǐng)域技術(shù)的快速發(fā)展,越來越多的包裝行業(yè)選擇將機(jī)器視覺系統(tǒng)應(yīng)用于流水生產(chǎn)線上。機(jī)器視覺檢測系統(tǒng)具有檢測結(jié)果穩(wěn)定、檢測速度快,檢測精度高以及可以在人類所不能適應(yīng)的惡劣環(huán)境下工作等一系列的特點(diǎn)。
本文設(shè)計(jì)了一種基于機(jī)器視覺的酒瓶標(biāo)簽缺陷檢測系統(tǒng),形成了一套從上料、檢測到剔料的完整標(biāo)簽檢測方案,實(shí)現(xiàn)了標(biāo)簽生產(chǎn)線的自動缺陷檢測。
1 總體方案設(shè)計(jì)
1.1 硬件平臺
硬件平臺設(shè)計(jì)的好壞直接影響采集數(shù)據(jù)的質(zhì)量,因此需要設(shè)計(jì)合理的硬件平臺布局來提高硬件采集精確度和設(shè)備整體的穩(wěn)定性。本文平臺主要由酒瓶傳送導(dǎo)向裝置、光電觸發(fā)裝置、數(shù)據(jù)采集系統(tǒng)、數(shù)據(jù)處理控制系統(tǒng)、剔除裝置等組成,系統(tǒng)整體布局如圖1。
其中數(shù)據(jù)采集系統(tǒng)和數(shù)據(jù)處理控制系統(tǒng)為整體系統(tǒng)核心。數(shù)據(jù)采集系統(tǒng)主要由工業(yè)相機(jī)、鏡頭和光源組成,用于完成酒瓶標(biāo)簽圖像信息的自動采集。數(shù)據(jù)處理及控制系統(tǒng)包括工控機(jī)、處理分析系統(tǒng)、顯示屏、PLC控制、光電觸發(fā)傳感器和剔除裝置等。
酒瓶在鏈板線上運(yùn)行,運(yùn)行到設(shè)備導(dǎo)向槽中后自動導(dǎo)向。光電傳感器用來檢測光電信號,如果有酒瓶通過,則觸發(fā)光電傳感器,PLC控制器接收到該信號,延時(shí)一定時(shí)間后,觸發(fā)工業(yè)相機(jī)采集標(biāo)簽圖像。處理分析系統(tǒng)調(diào)用識別模型對采集到的酒瓶標(biāo)簽圖像進(jìn)行識別,判斷是否存在缺陷,并把識別結(jié)果發(fā)送給PLC控制器,PLC控制器根據(jù)信號隊(duì)列和檢測結(jié)果判斷是否啟動剔除裝置進(jìn)行剔料。
1.2 數(shù)據(jù)采集系統(tǒng)
選擇合適的工業(yè)相機(jī)、鏡頭以及光源對整個(gè)系統(tǒng)的性能影響很大,關(guān)系到采集圖像的質(zhì)量和軟件算法的處理效果。系統(tǒng)在選擇相機(jī)時(shí)主要考慮以下四個(gè)方面:顏色、分辨率、曝光方式等。對于酒瓶標(biāo)簽外觀檢測而言,標(biāo)簽為彩色,選擇彩色相機(jī),增加顏色信息,有利于后續(xù)算法分析;標(biāo)簽高度約為70mm-lOOmm.根據(jù)檢測精度要求,選擇500w像素相機(jī)即可.系統(tǒng)用于流水線的在線實(shí)時(shí)檢測,對拍照速度有較高要求,選用全局曝光相機(jī)可避免酒瓶運(yùn)動導(dǎo)致的拖影模糊現(xiàn)象;綜合分析,選用500w像素面陣全局曝光工業(yè)相機(jī)。
鏡頭參數(shù)主要包括焦距、視場角、線對等,綜合酒瓶標(biāo)簽視野范圍、相機(jī)靶面尺寸等,選擇25mm焦距鏡頭來匹配上述工業(yè)相機(jī)。
酒瓶標(biāo)簽尺寸較大,且標(biāo)簽劃痕存在各種方向,須從各個(gè)方向低角度照射才能凸顯劃痕,因此選用四條高亮漫反射條光從上下左右進(jìn)行打光,這樣在保證整個(gè)待測標(biāo)簽圖像的亮度均勻的同時(shí)又能凸顯各種缺陷。
1.3數(shù)據(jù)處理控制系統(tǒng)
數(shù)據(jù)處理控制最終集成到檢測軟件系統(tǒng)中。主要由檢測流程編輯模塊,在線檢測模塊,通信模塊,日志模塊和人機(jī)交互界面等組成;
(1)流程編輯模塊實(shí)現(xiàn)檢測流程的編輯,關(guān)鍵識別區(qū)域的建模以及算法參數(shù)的配置等功能;
(2)在線檢測模塊集成了相機(jī)實(shí)時(shí)采集,預(yù)處理,標(biāo)簽缺陷檢測等檢測算法,實(shí)現(xiàn)檢測結(jié)果的實(shí)時(shí)輸出;
(3)通信模塊是實(shí)現(xiàn)觸發(fā)信號的接收以及各種信息的傳遞,用于與PLC間的信息交換;
(4)日志模塊記錄系統(tǒng)的各類異常和操作記錄;
(5)人機(jī)交互界面提供檢測數(shù)據(jù)和運(yùn)行狀態(tài)顯示,提供數(shù)據(jù)存儲查詢可視化,方便用戶管理操作。
2 關(guān)鍵技術(shù)研究
酒瓶標(biāo)簽缺陷主要有劃痕、擦傷、邊界缺失、褶皺四種缺陷。其中擦傷類缺陷通常較大,本身占標(biāo)簽區(qū)域面積的5%-1 0%,缺失和褶皺處于標(biāo)簽邊緣處,如圖2。
考慮到誤檢率、漏檢率與檢測效率等因素,本文采用深度學(xué)習(xí)缺陷檢測技術(shù),選擇EfficientDet-B1作為檢測方法。并對EfficientDet網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了調(diào)整,修改了其主干網(wǎng)絡(luò)EfficientNet,如下:
(1)使用深度可分離擴(kuò)張卷積替換原網(wǎng)絡(luò)的第3層與第4層的深度可分離卷積(圖3中(b)與(c))。
(2)檢測層的最大尺寸為(192x128),即下采樣2次而非原EfficientDet結(jié)構(gòu)的3次。
(3)在檢測層,Bifpn結(jié)構(gòu)的疊加次數(shù)設(shè)置為2,最終得到5個(gè)尺度的檢測層。分類依然使用Focal Loss作為損失函數(shù)。而在回歸層,為了進(jìn)一步提升回歸準(zhǔn)確率,我們使用IOU Loss與DFL,其中DFL的分配間隔設(shè)置為8。我們稱修改后的新方法為MEfficientDet。
3 實(shí)驗(yàn)驗(yàn)證
為了驗(yàn)證所設(shè)計(jì)的檢測系統(tǒng)在生產(chǎn)線上能否快速識別出標(biāo)簽缺陷類型以及在保證檢測準(zhǔn)確性和實(shí)時(shí)性的前提下能否長久穩(wěn)定,對系統(tǒng)的檢測結(jié)果準(zhǔn)確率和實(shí)時(shí)性進(jìn)行測試。我們共采集缺陷樣本5800余張,包含擦傷缺陷4171個(gè),劃痕缺陷3281個(gè),邊緣缺失缺陷1866個(gè)與褶皺缺陷873個(gè)。我們選擇4000張樣本作為訓(xùn)練樣本,剩下1800余張樣本作為測試樣本。在閩值設(shè)置為0.45的前提下,各缺陷檢測結(jié)果如圖4。
實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)如表1。
從表1中,我們可以看出經(jīng)過調(diào)整的MEfficientDet網(wǎng)絡(luò),漏檢率和誤檢率都有了較大提升。樣本平均漏檢率約為1 .6%,平均誤檢率約為2%。通過對漏檢樣本進(jìn)行分析,發(fā)現(xiàn)主要是因?yàn)檫@些缺陷很小,有的缺陷面積只有0.5- 1mm2,如果沒有光源打光,肉眼幾乎很難看到,這種小缺陷人工檢測時(shí)也是可以忽略的。
本文使用tensorflow框架訓(xùn)練并優(yōu)化模型,利用emguTF集成導(dǎo)出的固化模型到檢測軟件中。在主頻為core-i7(8代,主頻為4.2GHz)的CPU檢測時(shí)間平均為470ms/pcs。在所有檢測項(xiàng)啟用時(shí),每個(gè)酒瓶標(biāo)簽平均檢測時(shí)間為640ms/pcs,檢測效率基本達(dá)到100pcs/min,大于前段貼標(biāo)系統(tǒng)60 pcs/min的節(jié)拍,因此其準(zhǔn)確度和檢測速度基本滿足企業(yè)要求。
4 結(jié)束語
本文針對白酒瓶標(biāo)簽設(shè)計(jì)了一種基于機(jī)器視覺的標(biāo)簽檢測系統(tǒng)。其通過對酒瓶標(biāo)簽正反面進(jìn)行拍照成像,并結(jié)合數(shù)字圖像處理技術(shù)和深度學(xué)習(xí)缺陷檢測技術(shù)對標(biāo)簽圖像進(jìn)行分析,從而判斷標(biāo)簽是否貼偏,是否存在劃傷等缺陷。與傳統(tǒng)人工檢測方法相比,通過機(jī)器自動化檢測,提高了工作效率。同時(shí),依賴人工智能算法對標(biāo)簽進(jìn)行檢測,確保了較高的準(zhǔn)確率和實(shí)時(shí)性,滿足產(chǎn)線實(shí)時(shí)生產(chǎn)要求。
參考文獻(xiàn)
[1]徐足騁,周鑫,袁鎖中,王從慶,張小正.基于視覺的印刷品缺陷檢測技術(shù)[J].重慶理工大學(xué)學(xué)報(bào),2017 (31):150-157.
[2]張志晟,張雷洪,基于深度學(xué)習(xí)的易拉罐缺陷檢測技術(shù)[J].包裝工程,2020 (41):259-266.
[3]殷紅杰.基于機(jī)器視覺的標(biāo)簽缺陷檢測算法研究[D].沈陽:東北大學(xué),2016.
[4]李培秀,標(biāo)簽缺陷檢測系統(tǒng)的算法設(shè)計(jì)與應(yīng)用研究[D].南京:南京信息工程大學(xué),2019.
[5]徐嘉明,圓柱產(chǎn)品標(biāo)簽缺陷視覺檢測算法[D].廣州:廣州大學(xué),2018.
[6]梁橋康,謝兵兵,郭東妮等.基于機(jī)器視覺的柱面標(biāo)簽缺陷檢測方法[J].無人系統(tǒng)技術(shù),2020,3(2):43-48.
[7]黃莉芝.基于深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法研究[D].西南交通大學(xué),2018.
[8]汪清芳.基于機(jī)器視覺的標(biāo)簽缺陷檢測系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].電子科技大學(xué),2014.
[9]張樹君,辛瑩瑩,陳大千.基于機(jī)器視覺的飲料瓶標(biāo)簽檢測設(shè)備[J].食品研究與開發(fā),2014 (3):134-136.
作者簡介
胡宗亮(1985-),男,重慶市人。研究開發(fā)部智能檢測室副主任,工學(xué)碩士,現(xiàn)任職于重慶信息通信研究院。研究方向?yàn)闄C(jī)器視覺。