朱立明，王偉，范霞萍，王文博，徐鑫，許小雙

基于無(wú)監(jiān)督深度神經(jīng)網(wǎng)絡(luò)的卷煙小包拉線缺陷視覺(jué)智能檢測(cè)方法

朱立明，王偉，范霞萍，王文博，徐鑫，許小雙

（浙江中煙工業(yè)有限責(zé)任公司，杭州 310024）

為減少ZB47包裝機(jī)小包拉線缺陷投訴，基于無(wú)監(jiān)督深度神經(jīng)網(wǎng)絡(luò)構(gòu)建一種小包拉線缺陷視覺(jué)智能檢測(cè)方法。首先，在ZB47包裝機(jī)CH轉(zhuǎn)塔部位設(shè)計(jì)并加裝小包圖像采集裝置，獲得實(shí)時(shí)高清晰度小包圖像。其次，將小包圖像根據(jù)拉線位置進(jìn)行固定位置的裁剪，從而減輕不同工況的環(huán)境背景影響并且加快檢測(cè)速度。然后，構(gòu)建自編碼器–編碼器結(jié)構(gòu)的主干網(wǎng)絡(luò)，同時(shí)疊加生成對(duì)抗網(wǎng)絡(luò)中的判別器模塊組成缺陷判別模型，并綜合采用圖像間、圖像隱空間以及圖像特征間的信息構(gòu)建模型的損失函數(shù)。最后，使用裁剪后的正常小包拉線圖像對(duì)構(gòu)建的缺陷判別模型進(jìn)行訓(xùn)練，并基于所有的正常小包圖像得到異常閾值。實(shí)際驗(yàn)證階段，待檢測(cè)圖像的得分大于異常閾值即判斷為異常圖像，觸發(fā)CH轉(zhuǎn)塔部位的小包剔除裝置將該缺陷小包剔除。生產(chǎn)現(xiàn)場(chǎng)測(cè)試表明，所提方法可以對(duì)典型小包缺陷進(jìn)行快速準(zhǔn)確檢測(cè)，缺陷檢測(cè)準(zhǔn)確率為99.99%。該方法能夠滿足生產(chǎn)現(xiàn)場(chǎng)卷煙小包拉線缺陷檢測(cè)的準(zhǔn)確性和實(shí)時(shí)性要求。

卷煙小包拉線；生成對(duì)抗網(wǎng)絡(luò)；自編碼器；視覺(jué)智能檢測(cè)

卷煙制造環(huán)節(jié)中，相較于人工缺陷檢查，采用機(jī)器視覺(jué)的缺陷智能檢測(cè)方法具有檢測(cè)速度快、檢測(cè)準(zhǔn)確性高等優(yōu)點(diǎn)。機(jī)器視覺(jué)的缺陷智能檢測(cè)方法已逐步在煙梗切絲質(zhì)量檢測(cè)[1]、爆珠缺陷檢測(cè)[2-4]、濾棒數(shù)量檢測(cè)[5]、煙支接裝質(zhì)量檢測(cè)[6]、中速包裝機(jī)小包透明紙缺陷檢測(cè)[7-8]、條盒缺陷檢測(cè)[9-11]、煙箱缺條檢測(cè)[12-13]、煙草品牌檢測(cè)[14]等多個(gè)場(chǎng)景進(jìn)行了成功應(yīng)用。國(guó)產(chǎn)ZB47是一種生產(chǎn)速度為550包/分鐘的高速包裝機(jī)，是“十三五”期間煙草期間行業(yè)重大技術(shù)裝備，目前已在19家中煙工業(yè)公司廣泛使用。該機(jī)型已有小包外觀檢測(cè)、條盒外觀檢測(cè)等成功應(yīng)用，但是小包外觀檢測(cè)主要利用模板匹配方法對(duì)未包裝透明紙的小包進(jìn)行缺陷檢測(cè)，包裝好透明紙的小包外觀檢測(cè)仍處于在線監(jiān)控盲區(qū)，實(shí)際生產(chǎn)過(guò)程會(huì)出現(xiàn)無(wú)拉線、拉線高/低等小包拉線質(zhì)量缺陷和投訴。由于安裝圖像采集裝置物理空間制約，以及檢測(cè)算法極高的實(shí)時(shí)性和準(zhǔn)確率要求，針對(duì)ZB47高速包裝機(jī)包裝好透明紙的小包拉線缺陷檢測(cè)未見(jiàn)相關(guān)研究和成功應(yīng)用的報(bào)道。針對(duì)僅有極少量缺陷樣本，以及極高的檢測(cè)實(shí)時(shí)性和準(zhǔn)確率要求的ZB47高速包裝機(jī)小包拉線在線檢測(cè)場(chǎng)景，亟需研發(fā)一套基于無(wú)監(jiān)督深度學(xué)習(xí)的小包拉線缺陷智能檢測(cè)裝置，實(shí)現(xiàn)小包拉線缺陷的實(shí)時(shí)檢測(cè)和聯(lián)動(dòng)剔除。

1 小包圖像采集裝置設(shè)計(jì)

為了保證含有拉線缺陷的小包能被及時(shí)發(fā)現(xiàn)并剔除，需要在剔除裝置之前進(jìn)行小包圖像采集和缺陷檢測(cè)。ZB47高速包裝機(jī)CH轉(zhuǎn)塔部位位置狹小且處于半封閉空間，該處小包已經(jīng)包好透明紙及拉線，但還未經(jīng)過(guò)整容器進(jìn)一步燙平美容，CH轉(zhuǎn)塔部位的剔除位置位于轉(zhuǎn)輪轉(zhuǎn)盤正中位置，需要在前一個(gè)工位進(jìn)行小包圖像采集裝置的設(shè)計(jì)和安裝，并完成小包圖像的采集和缺陷檢測(cè)。CH轉(zhuǎn)塔部位的工位見(jiàn)圖1。

圖中1號(hào)工位為檢測(cè)位，實(shí)現(xiàn)小包圖像采集和缺陷檢測(cè)，并給出剔除反饋；2號(hào)工位為剔除位，實(shí)現(xiàn)缺陷小包的及時(shí)剔除；3號(hào)工位為整容器入口位置。

由于CH轉(zhuǎn)塔部位位置狹小且屬于半封閉空間，沒(méi)有足夠的物理空間安裝支架、工業(yè)相機(jī)和光源，最終安裝位置選取在轉(zhuǎn)輪外部臺(tái)階上。此時(shí)工業(yè)相機(jī)到小包的直線距離為380 mm左右，通過(guò)多次現(xiàn)場(chǎng)測(cè)試最終選用130萬(wàn)像素彩色工業(yè)相機(jī)、25 mm工業(yè)鏡頭和定制光斑直徑為60 mm的LED聚光光源（光源采用低角度打光），安裝位置見(jiàn)圖2。

圖1 CH轉(zhuǎn)塔部位的工位示意圖

小包在轉(zhuǎn)塔部位轉(zhuǎn)盤的位置狀態(tài)可以分為2種：工位處和工位之間運(yùn)動(dòng)處。當(dāng)CH轉(zhuǎn)盤將煙包輸送到1號(hào)工位時(shí)，會(huì)有一個(gè)短暫停留，利用該時(shí)間進(jìn)行小包圖像采集，采集的圖像發(fā)送至系統(tǒng)后臺(tái)，并由缺陷視覺(jué)智能檢測(cè)方法進(jìn)行缺陷檢測(cè)，對(duì)于有缺陷的小包，系統(tǒng)將剔除信號(hào)發(fā)送給包裝機(jī)ZB47電控系統(tǒng)。

2 小包圖像缺陷檢測(cè)算法設(shè)計(jì)

ZB47高速包裝機(jī)其生產(chǎn)速度550包/分鐘，煙包在CH轉(zhuǎn)盤上每轉(zhuǎn)動(dòng)一個(gè)工位的時(shí)間周期約為200 ms。該時(shí)間內(nèi)需要執(zhí)行工業(yè)相機(jī)觸發(fā)拍照、圖像缺陷檢測(cè)算法模型運(yùn)算、給電控系統(tǒng)輸出剔除信號(hào)等。采用相機(jī)千兆網(wǎng)GigE接口傳輸圖片時(shí)，各個(gè)操作預(yù)估耗時(shí)見(jiàn)表1。

ZB47高速包裝機(jī)小包實(shí)際生產(chǎn)過(guò)程中，因前期未進(jìn)行小包拉線圖像采集，通過(guò)上述設(shè)計(jì)的小包圖像采集裝置，實(shí)現(xiàn)了小包拉線圖像的數(shù)字化表征和存儲(chǔ)，但收集的圖像數(shù)據(jù)主要為正常小包拉線圖像樣本，缺陷小包拉線圖像樣本主要靠市場(chǎng)投訴積累，數(shù)量極少。同時(shí)由于包裝機(jī)生產(chǎn)速度快，在對(duì)缺小陷小包進(jìn)行實(shí)時(shí)檢測(cè)和剔除時(shí)，需要缺陷檢測(cè)算法具有很高的實(shí)時(shí)性（小于50 ms）。ZB47高速包裝機(jī)小包拉線缺陷檢測(cè)需要解決缺陷圖像樣本少和缺陷檢測(cè)實(shí)時(shí)性高等問(wèn)題。

圖2 CH轉(zhuǎn)塔部位的圖像采集裝置示意圖

表1 轉(zhuǎn)盤單個(gè)轉(zhuǎn)動(dòng)周期內(nèi)各個(gè)操作的預(yù)估耗時(shí)表

Tab.1 Estimated time consumption of each operation in a single rotation cycle of the turntable

有監(jiān)督缺陷檢測(cè)算法的網(wǎng)絡(luò)結(jié)構(gòu)較深，使得其檢測(cè)速率較慢，很難滿足工業(yè)生產(chǎn)場(chǎng)景較高的實(shí)時(shí)性需求。對(duì)于僅有極少量缺陷樣本的快速缺陷檢測(cè)場(chǎng)景，無(wú)監(jiān)督缺陷檢測(cè)算法能夠很好地解決缺陷圖像樣本少和缺陷檢測(cè)實(shí)時(shí)性高的問(wèn)題[15]。文中提出一種只使用小包正常圖像樣本的無(wú)監(jiān)督深度學(xué)習(xí)缺陷檢測(cè)算法，實(shí)現(xiàn)了卷煙制造過(guò)程小包拉線缺陷的精準(zhǔn)實(shí)時(shí)檢測(cè)和定位。

2.1 基于生成對(duì)抗網(wǎng)絡(luò)和自編碼器的缺陷檢測(cè)模型

文中提出的無(wú)監(jiān)督深度神經(jīng)網(wǎng)絡(luò)小包拉線缺陷檢測(cè)算法結(jié)構(gòu)（見(jiàn)圖3）包括自編碼器（AE）和生成對(duì)抗網(wǎng)絡(luò)（GAN）2部分。所提小包拉線缺陷檢測(cè)算法由3個(gè)子網(wǎng)絡(luò)組成，第1個(gè)子網(wǎng)是自編碼器網(wǎng)絡(luò)，由1個(gè)編碼器和1個(gè)解碼器組成，用來(lái)學(xué)習(xí)正常卷煙小包圖像的分布。編碼器e讀取輸入的小包原始圖像，通過(guò)計(jì)算得到對(duì)應(yīng)的隱空間值，之后通過(guò)解碼器d得到其重構(gòu)后的圖像；第2個(gè)子網(wǎng)是一個(gè)編碼網(wǎng)絡(luò)，由1個(gè)編碼器組成，將重構(gòu)的圖像輸入到編碼器中得到其對(duì)應(yīng)的隱空間值（和具有相同的維度），從隱空間的層面上判別缺陷，大大降低數(shù)據(jù)維度從而能夠提高判別的效率和準(zhǔn)確率；第3個(gè)子網(wǎng)是一個(gè)鑒別網(wǎng)絡(luò)，由1個(gè)標(biāo)準(zhǔn)GAN網(wǎng)絡(luò)結(jié)構(gòu)的判別器組成，通過(guò)判別器區(qū)分原始圖像和重構(gòu)圖像的差異，通過(guò)對(duì)抗訓(xùn)練來(lái)使得自編碼器能夠較好地?cái)M合正常卷煙小包的分布。

圖3 無(wú)監(jiān)督深度神經(jīng)網(wǎng)絡(luò)的小包拉線缺陷檢測(cè)算法結(jié)構(gòu)

無(wú)監(jiān)督深度學(xué)習(xí)小包缺陷檢測(cè)模型采用3個(gè)損失函數(shù)來(lái)進(jìn)行綜合訓(xùn)練。首先基于輸入圖像和重構(gòu)圖像的差異定義圖像間的重構(gòu)損失函數(shù)，保證了自編碼器能夠?qū)W習(xí)到輸入圖像的語(yǔ)義信息，其定義如下：

(1)

(2)

最后基于第3個(gè)子網(wǎng)的判別器定義對(duì)抗損失函數(shù)。不同于原始GAN中通過(guò)判別器的輸出值來(lái)更新編碼器G，采用根據(jù)判別器中的內(nèi)部特征表示更新編碼器G，以增強(qiáng)對(duì)卷煙小包特征的提取。由于神經(jīng)網(wǎng)絡(luò)越靠后的層所提取的特征越能代表圖像的高維屬性，采用判別器倒數(shù)第2層特征之間的差異來(lái)組成損失函數(shù)，公式為：

(3)

式中：()為輸入圖像在判別器倒數(shù)第2層的特征表征；()為重構(gòu)圖像在判別器倒數(shù)第2層的特征表征。由于判別器的網(wǎng)絡(luò)結(jié)構(gòu)較為復(fù)雜，從特征層面上定義損失函數(shù)以增強(qiáng)模型的魯棒性。

基于這3個(gè)損失函數(shù)便組成了小包缺陷檢測(cè)算法模型的綜合損失函數(shù)：

(4)

式中：1、2和3用來(lái)調(diào)整各個(gè)損失對(duì)于模型訓(xùn)練的影響，需要在實(shí)際的工況條件下進(jìn)行調(diào)整。

在訓(xùn)練的第1階段，第3個(gè)子網(wǎng)的判別器被凍結(jié)，第1個(gè)子網(wǎng)的自編碼器和第2個(gè)子網(wǎng)的編碼器首先尋找正常數(shù)據(jù)和異常數(shù)據(jù)出現(xiàn)差異的最佳隱空間，從而可以根據(jù)圖像間對(duì)應(yīng)隱空間的不同來(lái)判斷是否有缺陷。在第2個(gè)訓(xùn)練階段，固定第1個(gè)子網(wǎng)的自編碼器和第2個(gè)子網(wǎng)的編碼器參數(shù)，第3個(gè)子網(wǎng)的判別器利用原始圖像和生成圖像之間的差異進(jìn)行缺陷區(qū)域定位。無(wú)監(jiān)督深度學(xué)習(xí)小包缺陷檢測(cè)算法整體框架見(jiàn)圖4。

圖4 無(wú)監(jiān)督深度神經(jīng)網(wǎng)絡(luò)的小包缺陷檢測(cè)算法總體框架

2.2 小包圖像處理與缺陷檢測(cè)

對(duì)于采集到的卷煙小包圖像，由于生產(chǎn)環(huán)境的不同，其圖像中包含著大量的背景因素。這些與檢測(cè)主體無(wú)關(guān)的背景因素不僅會(huì)增加模型的運(yùn)算量，同時(shí)也會(huì)干擾模型的檢測(cè)，從而導(dǎo)致模型的準(zhǔn)確度下降。

卷煙小包生產(chǎn)過(guò)程中，采集到的圖像中卷煙小包的位置是相對(duì)固定的。采取固定裁剪框?qū)⑷毕菘赡艽嬖诘睦€區(qū)域裁剪下來(lái)，從而較好地消除環(huán)境因素的干擾，并使得模型集中在缺陷可能存在的主體區(qū)域?；诓眉艉蟮挠行^(qū)域正常卷煙小包圖像構(gòu)建訓(xùn)練集，進(jìn)行上述缺陷檢測(cè)模型的訓(xùn)練，并根據(jù)所有正常卷煙小包圖像的異常分?jǐn)?shù)值綜合制定正常圖像的異常分?jǐn)?shù)閾值。在檢測(cè)階段，根據(jù)上述異常分?jǐn)?shù)的定義，計(jì)算待檢測(cè)圖像的異常分?jǐn)?shù)，將異常分?jǐn)?shù)值與制定的異常分?jǐn)?shù)閾值相比較，如果超過(guò)了異常分?jǐn)?shù)閾值則待檢測(cè)圖像存在缺陷，向包裝機(jī)電控系統(tǒng)發(fā)出剔除信號(hào)。小包拉線缺陷檢測(cè)流程見(jiàn)圖5。

3 數(shù)據(jù)驗(yàn)證與結(jié)果分析

3.1 試驗(yàn)數(shù)據(jù)準(zhǔn)備

選取某卷煙廠ZB47高速包裝機(jī)采集的卷煙小包圖像進(jìn)行缺陷檢測(cè)方法有效性驗(yàn)證。通過(guò)數(shù)據(jù)甄別，選取200張正常的卷煙小包圖像構(gòu)成訓(xùn)練集，500張含有正常及異常卷煙小包圖像構(gòu)成測(cè)試集（其中正常小包圖像454張、異常小包圖像46張）。正常和異常卷煙小包圖像見(jiàn)圖6，其像素大小為1 280×1 024×3。

圖5 小包拉線缺陷檢測(cè)流程

3.2 模型離線訓(xùn)練

小包拉線缺陷智能檢測(cè)模型訓(xùn)練100輪，訓(xùn)練樣本的數(shù)量batchsize取為64，采用Adam作為深度學(xué)習(xí)優(yōu)化器，Adam中學(xué)習(xí)率，動(dòng)量、。式（4）中、和分別為50、1和1。在隱空間上定義異常分?jǐn)?shù)，隱空間的維度為128維。模型使用Python中的Pytorch框架實(shí)現(xiàn)，Python版本為3.6，Pytorch版本為1.6。模型在RTX 2080Ti GPU下進(jìn)行訓(xùn)練，檢測(cè)一張圖像的平均時(shí)間為3.18 ms，異常分?jǐn)?shù)閾值為0.25。

隨著訓(xùn)練輪次的增加，缺陷智能檢測(cè)模型的重構(gòu)能力逐漸增強(qiáng)、重構(gòu)的圖像逐漸清晰，當(dāng)訓(xùn)練到100輪時(shí)，重構(gòu)圖像與原始圖像已經(jīng)非常接近，幾乎能夠達(dá)到以假亂真的效果。各個(gè)訓(xùn)練輪次模型對(duì)原圖的重構(gòu)效果見(jiàn)圖7。

圖6 正常與異常卷煙小包圖像

3.3 模型離線測(cè)試

利用500張小包圖像（其中正常小包圖像454張、異常小包圖像46張）的測(cè)試數(shù)據(jù)進(jìn)行缺陷智能檢測(cè)模型離線驗(yàn)證，模型的準(zhǔn)確率、誤報(bào)率、漏報(bào)率等指標(biāo)定義如下。

P為圖像實(shí)際無(wú)雜物，且檢測(cè)算法判斷無(wú)雜物。P為圖像實(shí)際有雜物，但檢測(cè)算法卻沒(méi)報(bào)警，即漏報(bào)。N為圖像實(shí)際無(wú)雜物，但檢測(cè)算法卻報(bào)警，即誤報(bào)。N為圖像實(shí)際有雜物，且檢測(cè)算法正確報(bào)警。

模型準(zhǔn)確率，即檢測(cè)正確的圖像樣本數(shù)與總圖像樣本數(shù)的比值，計(jì)算見(jiàn)式（5）。

(5)

漏報(bào)率（負(fù)樣本），即漏報(bào)的有雜物圖像樣本數(shù)與實(shí)際有雜物圖像樣本數(shù)的比值，計(jì)算見(jiàn)式（6）。

(6)

圖7 模型訓(xùn)練過(guò)程中模型對(duì)于原圖的重構(gòu)圖

圖8 小包拉線缺陷檢測(cè)模型訓(xùn)練過(guò)程的損失函數(shù)進(jìn)化曲線

誤報(bào)率（正樣本），即誤報(bào)的無(wú)雜物圖像樣本數(shù)與實(shí)際無(wú)雜物圖像樣本數(shù)的比值，計(jì)算見(jiàn)式（7）。

(7)

小包拉線缺陷智能檢測(cè)模型的各個(gè)評(píng)價(jià)指標(biāo)見(jiàn)表2。

表2 小包拉線缺陷智能檢測(cè)模型的評(píng)價(jià)結(jié)果

Tab.2 Evaluation result of cigarette packet tear tape defect detection model

從離線測(cè)試結(jié)果可以得出，缺陷智能檢測(cè)模型的漏報(bào)率和誤報(bào)率都較低，分別為0%和0.66%，模型的準(zhǔn)確率維持在一個(gè)較高的水平，達(dá)到了99.4%，能夠滿足實(shí)際生產(chǎn)的檢測(cè)要求。

3.4 生產(chǎn)現(xiàn)場(chǎng)應(yīng)用

在生產(chǎn)現(xiàn)場(chǎng)工控機(jī)（帶RTX 1050Ti GPU）進(jìn)行小包拉線缺陷智能檢測(cè)模型的部署，并開(kāi)發(fā)了具備實(shí)時(shí)監(jiān)控、歷史查詢、模型訓(xùn)練、系統(tǒng)設(shè)置等功能的小包缺陷檢測(cè)系統(tǒng)，軟件界面見(jiàn)圖9。無(wú)拉線、拉線偏移、透明紙破、包裝紙破、軋包等典型缺陷見(jiàn)圖10。

圖9 小包缺陷檢測(cè)系統(tǒng)界面

經(jīng)過(guò)3個(gè)月的現(xiàn)場(chǎng)測(cè)試，系統(tǒng)對(duì)7 697 402張樣本圖像進(jìn)行了在線檢測(cè)，共檢出了4 433張缺陷樣本圖像，通過(guò)工藝專家核對(duì)，僅發(fā)現(xiàn)21張誤報(bào)缺陷樣本圖像。誤報(bào)集中在拉線偏移缺陷，說(shuō)明算法對(duì)拉線微小偏移的檢測(cè)仍有進(jìn)一步優(yōu)化空間。

現(xiàn)場(chǎng)測(cè)試共產(chǎn)生769萬(wàn)多張判斷為正常的小包圖像，如此大量的小包圖像數(shù)據(jù)無(wú)法直接進(jìn)行人工核對(duì)，只能通過(guò)產(chǎn)品流向市場(chǎng)后的投訴追溯來(lái)間接反映是否存在漏報(bào)。通過(guò)綜合市場(chǎng)投訴的追溯分析，未發(fā)現(xiàn)該機(jī)臺(tái)檢測(cè)區(qū)域有不合格小包流向市場(chǎng)。

圖10 檢測(cè)出的典型小包缺陷圖像

綜上所述，在文中算法的現(xiàn)場(chǎng)測(cè)試期間，共完成7 697 402張樣本圖像的在線檢測(cè)，僅發(fā)生21次誤報(bào)，且未發(fā)生對(duì)應(yīng)機(jī)臺(tái)待檢區(qū)域不合格小包的市場(chǎng)投訴。構(gòu)建的小包拉線缺陷檢測(cè)系統(tǒng)可以對(duì)無(wú)拉線、拉線偏移、透明紙破、包裝紙破、軋包等典型小包缺陷進(jìn)行及時(shí)準(zhǔn)確檢測(cè)，有效彌補(bǔ)了小包透明紙拉線外觀檢測(cè)的在線監(jiān)控盲區(qū)。

4 結(jié)語(yǔ)

針對(duì)卷煙小包拉線缺陷視覺(jué)檢測(cè)問(wèn)題，提出一種基于生成對(duì)抗網(wǎng)絡(luò)和自編碼器的智能檢測(cè)方法。該模型僅需要正常卷煙小包圖像，避免了模型訓(xùn)練對(duì)大量缺陷圖片數(shù)據(jù)的需求。通過(guò)自編碼器子網(wǎng)絡(luò)對(duì)原圖像進(jìn)行重構(gòu)，并通過(guò)一個(gè)單獨(dú)的編碼器網(wǎng)絡(luò)將圖像映射到低維空間。綜合采用圖像間、圖像隱空間和圖像特征間的信息對(duì)模型進(jìn)行訓(xùn)練，能夠從多個(gè)角度對(duì)卷煙小包存在的異常情況進(jìn)行準(zhǔn)確判別。經(jīng)過(guò)生產(chǎn)現(xiàn)場(chǎng)實(shí)驗(yàn)驗(yàn)證，該方法能夠在極短的檢測(cè)時(shí)間內(nèi)準(zhǔn)確地對(duì)卷煙小包拉線缺陷進(jìn)行檢測(cè)，滿足卷煙生產(chǎn)現(xiàn)場(chǎng)對(duì)小包缺陷檢測(cè)準(zhǔn)確度和檢測(cè)速度的雙重要求。

[1] 張超凡, 董浩, 劉勇, 等. 基于視覺(jué)形態(tài)特征檢測(cè)的煙梗切絲質(zhì)量分析[J]. 煙草科技, 2017, 50(1): 67-73.

ZHANG Chao-fan, DONG Hao, LIU Yong, et al. Analysis of Stem Cutting Quality Based on Visual Morphological Feature Detection[J]. Tobacco Science & Technology, 2017, 50(1): 67-73.

[2] 李巧靈, 黃勝翰, 張廷貴, 等. 爆珠滴制在線視覺(jué)檢測(cè)設(shè)備的設(shè)計(jì)及應(yīng)用[J]. 煙草科技, 2020, 53(7): 92-101.

LI Qiao-ling, HUANG Sheng-han, ZHANG Ting-gui, et al. Design and Application of On-Line Inspection Device for Flavored Capsule Formation Process Based on Machine Vision Technology[J]. Tobacco Science & Technology, 2020, 53(7): 92-101.

[3] 徐龍泉, 王澍, 董浩, 等. 面向卷煙爆珠放行檢驗(yàn)的氣泡缺陷檢測(cè)方法[J]. 煙草科技, 2020(10): 96-102.

XU Long-quan, WANG Shu, DONG Hao, et al. Method for Release Inspection of Cigarette Capsules with Bubble Defects[J]. Tobacco Science & Technology, 2020(10): 96-102.

[4] 王澍, 徐龍泉, 董浩, 等. 卷煙爆珠拖尾缺陷檢測(cè)方法[J]. 煙草科技, 2021, 53(1): 77-84.

WANG Shu, XU Long-quan, DONG Hao, et al. Method for Detection of Tailed Capsules[J]. Tobacco Science & Technology, 2021, 53(1): 77-84.

[5] 曹維林, 李捷, 孫順凱, 等. 基于Canny算子的濾棒數(shù)量檢測(cè)方法[J]. 煙草科技, 2020, 53(1): 96-102.

CAO Wei-lin, LI Jie, SUN Shun-kai, et al. Counting Method for Filter Rods Based on Canny Operator[J]. Tobacco Science & Technology, 2020, 53(1): 96-102.

[6] 李捷, 陸海華, 王翔, 等. 基于機(jī)器視覺(jué)的煙支接裝質(zhì)量在線檢測(cè)系統(tǒng)[J]. 煙草科技, 2019, 52(9): 109-114.

LI Jie, LU Hai-hua, WANG Xiang, et al. Online cigarette appearance inspection system based on machine vision[J]. Tobacco Science & Technology, 2019, 52(9): 109-114.

[7] 李力, 黃玉彥, 喬茜華, 等. 基于疑似目標(biāo)區(qū)域判定方法的卷煙透明包裝缺陷檢測(cè)[J]. 鄭州輕工業(yè)學(xué)院學(xué)報(bào)(自然科學(xué)版), 2014, 29(2): 35-37.

LI Li, HUANG Yu-yan, QIAO Xi-hua, et al. Detection of Cigarette Transparent Packaging Defect Based on Judgment Method of Suspected Target Region[J]. Journal of Zhengzhou University of Light Industry(Natural Science Ediion), 2014, 29(2): 35-37.

[8] 蔡培良, 何邦貴, 楊劍鋒, 等. GDX1小盒軟包透明紙熱封缺陷的視覺(jué)檢測(cè)系統(tǒng)[J]. 包裝工程, 2017, 38(5): 92-95.

CAI Pei-liang, HE Bang-gui, YANG Jian-feng, et al. Visual Inspection System of GDX1 Box Soft Transparent Paper Heat-sealing Defects[J]. Packaging Engineering, 2017, 38(5): 92-95.

[9] 吳偉, 劉愛(ài)蓮, 王永剛. 條煙外包裝透明紙缺陷的視覺(jué)檢測(cè)方法研究[J]. 云南大學(xué)學(xué)報(bào)(自然科學(xué)版), 2009, 31(S2): 116-119.

WU Wei, LIU Ai-lian, WANG Yong-gang. A Research Used Visual Detection Method in the Defects of Article Cigarette Packaging Cellophane[J]. Journal of Yunnan University (Natural Sciences Edition), 2009, 31(S2): 116-119.

[10] 蔡培良, 何邦貴, 楊劍鋒, 等. GDX1小盒軟包透明紙熱封缺陷的視覺(jué)檢測(cè)系統(tǒng)[J]. 包裝工程, 2017, 38(5): 92-95.

CAI Pei-liang, HE Bang-gui, YANG Jian-feng, et al. Visual Inspection System of GDX1 Box Soft Transparent Paper Heat-Sealing Defects[J]. Packaging Engineering, 2017, 38(5): 92-95.

[11] 蔡培良, 楊劍鋒, 李明, 等. C800-BV包裝機(jī)條盒紙膠點(diǎn)視覺(jué)檢測(cè)系統(tǒng)的設(shè)計(jì)[J]. 煙草科技, 2017, 50(9): 92-96.

CAI Pei-liang, YANG Jian-feng, LI Ming, et al. Design of Visual Detection System for Glue Points on Carton Blank for C800? BV Cartoner[J]. Tobacco Science & Technology, 2017, 50(9): 92-96.

[12] 蔡培良, 何邦貴, 華衛(wèi), 等. BV包裝機(jī)條煙外觀質(zhì)量檢測(cè)裝置的設(shè)計(jì)[J]. 包裝工程, 2018, 40(3): 143-150.

CAI Pei-liang, HE Bang-gui, HUA Wei, et al. Design of Inspection Device for the Appearance Quality of Cigarette in BV Packaging Machine[J]. Packaging Engineering, 2018, 40(23): 143-150.

[13] 吳忠云, 鄧春寧. 機(jī)器視覺(jué)檢測(cè)技術(shù)在煙箱缺條檢測(cè)方面的運(yùn)用[J]. 機(jī)械制造與自動(dòng)化, 2014, 43(6): 188-190.

WU Zhong-yun, DENG Chun-ning. Application of Machine Vision Technology in Box Lack Detection[J]. Machine Building & Automation, 2014, 43(6): 188-190.

[14] 王偉, 朱立明, 章強(qiáng), 等. 基于相似性分析和閾值自校正的煙箱缺條智能檢測(cè)方法[J]. 煙草科技, 2019(1): 91-97.

WANG Wei, ZHU Li-ming, ZHANG Qiang, et al. Method for Intelligent Detection of Carton Missing in Cigarette Case Based on Similarity Analysis and Threshold Self-Correction[J]. Tobacco Science & Technology, 2019(1): 91-97.

[15] 王鵬. 煙箱品牌視覺(jué)檢測(cè)分揀系統(tǒng)的設(shè)計(jì)應(yīng)用[J]. 煙草科技, 2014(4): 35-38.

WANG Peng. Design and Application of Visual Case Inspection and Sorting System[J]. Tobacco Science & Technology, 2014(4): 35-38.

[16] 陶顯, 侯偉, 徐德. 基于深度學(xué)習(xí)的表面缺陷檢測(cè)方法綜述[J]. 自動(dòng)化學(xué)報(bào), 2021, 47(5): 1017-1034.

TAO Xian, HOU Wei, XU De. A Survey of Surface Defect Detection Methods Based on Deep Learning[J]. Acta Automatica Sinica, 2021, 47(5): 1017-1034.

Vision Intelligent Detection Method of Cigarette Packet Tear Tape Defects Based on Unsupervised Deep Neural Network

ZHU Li-ming, WANG Wei, FAN Xia-ping, WANG Wen-bo, XU Xin,XU Xiao-shuang

(China Tobacco Zhejiang Industrial Co., Ltd., Hangzhou 310024, China)

The work aims to construct a vision intelligent detection method for cigarette packet tear tape defects based on the unsupervised deep neural network to reduce the complaints of cigarette packet tear tape defects for the ZB47 packaging machine. First, the cigarette packet image acquisition hardware acquisition device at the CH turret position of the ZB47 packaging machine was designed and installed to obtain real-time high-precision small packet images. Second, the cigarette packet image was cropped at a fixed position according to the position of the tear tape, thereby reducing the effects of the environmental background of different working conditions and speeding up the detection speed. Then, the backbone network of the autoencoder-encoder structure was constructed, and the discriminator module in the generative adversarial networks was added to form the defect detection module. The loss function of the model was constructed according to the information between the images, the latent space and the features of the images. Finally, the cropped normal cigarette packet transparent paper images were used to train the constructed defect detection model, and the abnormal score threshold was obtained based on all normal cigarette packet images. In the actual verification stage, if the score of the detected image was greater than the abnormal score threshold, it is judged to be an abnormal image, and the cigarette packet removal device at the CH turret position was triggered to remove the defective cigarette packet. The test at production site showed that the proposed method could quickly and accurately detect the cigarette packet tear tape defects with an accuracy rate of 99.99%. The method can meet the dual requirements of the actual production process for detection accuracy and detection speed of cigarette packet tear tape defects.

cigarette packet tear tape; generative adversarial networks; autoencoder; vision intelligent detection

TS433

A

1001-3563(2022)17-0273-09

10.19554/j.cnki.1001-3563.2022.17.036

2021–11–18

中國(guó)煙草總公司科技項(xiàng)目（110202102006）

朱立明（1972—），男，本科，高級(jí)工程師，主要研究方向?yàn)榫頍熤悄苤圃旌凸I(yè)大數(shù)據(jù)分析。

責(zé)任編輯：曾鈺嬋