王 偉，朱立明 ，章 強(qiáng)，張利宏，趙春暉

1.浙江中煙工業(yè)有限責(zé)任公司，杭州市西湖區(qū)科海路118號(hào) 310024

2.浙江大學(xué)控制科學(xué)與工程學(xué)院 工業(yè)控制技術(shù)國家重點(diǎn)實(shí)驗(yàn)室，杭州市西湖區(qū)浙大路38號(hào) 310027

條煙裝箱是卷煙生產(chǎn)的最后一道工序，在裝箱過程中有可能會(huì)出現(xiàn)煙箱缺條等質(zhì)量問題。為加強(qiáng)過程監(jiān)控管理，大多數(shù)卷煙企業(yè)通過改造升級(jí)封箱機(jī)，采用電子稱重型或機(jī)器視覺型缺條檢測方法對(duì)裝箱過程煙箱進(jìn)行檢測，但仍未能徹底解決缺條問題，由此給企業(yè)的品牌形象造成負(fù)面影響。電子稱重型缺條檢測方法［1-3］假定紙箱質(zhì)量恒定，通過煙箱實(shí)際質(zhì)量與標(biāo)定質(zhì)量的對(duì)比判斷是否缺條，隨著煙草行業(yè)卷煙紙箱回收利用項(xiàng)目的推廣，紙箱在使用、回收過程中由于吸潮等原因造成回收紙箱質(zhì)量與標(biāo)定質(zhì)量偏差較大，影響了電子稱重型缺條檢測方法的準(zhǔn)確性，且該方法不能保存煙箱生產(chǎn)過程數(shù)據(jù)，無法對(duì)缺條問題進(jìn)行追溯。機(jī)器視覺型缺條檢測方法通過實(shí)際圖像與模板圖像的匹配［4-7］或者實(shí)際圖像自身特征值與特征閾值的對(duì)比［8-10］判斷是否缺條，具有準(zhǔn)確快速、穩(wěn)定性好、適應(yīng)性強(qiáng)、容易追溯等特點(diǎn)，近年來受到較多關(guān)注。但在實(shí)際圖像自身特征值與特征閾值對(duì)比的缺條檢測方法中，如何有效設(shè)計(jì)并高效提取煙箱圖像特征是該類方法檢測缺條的關(guān)鍵。借鑒面向復(fù)雜大規(guī)模過程的分布式監(jiān)測思想［11-14］，采用圖像橫向、縱向分塊的策略，建立了一種基于相似性分析和閾值自校正的煙箱缺條智能檢測方法，通過精準(zhǔn)提取和量化煙箱圖像的特征，以期提升機(jī)器視覺型缺條檢測方法的準(zhǔn)確性，杜絕煙箱缺條問題的發(fā)生。

1 基于分塊思想的建模圖片相似性分析

在封箱機(jī)上增加前、后成像裝置，當(dāng)推板將前25條煙全部推入紙箱時(shí)獲得前位圖片OF（Nof×Mof×3），當(dāng)后25條煙全部推入紙箱推板返回時(shí)獲得后位圖片OB（Nob×Mob×3），將前位和后位圖片的彩色RGB圖像轉(zhuǎn)換為灰度圖像GF（Nof×Mof）和GB（Nob×Mob）。針對(duì)某一封箱機(jī)，由于前位和后位圖片的拍攝角度相對(duì)固定，為快速識(shí)別出煙箱的有效區(qū)域，采用人工標(biāo)記煙箱有效區(qū)域的方法，分別獲得前位和后位圖片的左上角X軸坐標(biāo)（xf、xb）、左上角Y軸坐標(biāo)（yf、yb）、寬度（wf、wb）、高度（hf、hb）等8個(gè)參數(shù)，并獲得煙箱有效區(qū)域的灰度圖像PF（Npf×Mpf）和 PB（Npb×Mpb）。

基于前位圖片煙箱有效區(qū)域的灰度圖像，根據(jù)圖像高度將其等分為5塊，獲得5行子圖像 XPFi（Nxpf×Mpf）（i=1，…，5），計(jì)算各個(gè)子圖像矩陣 XPFi列向量的均值，獲得5行子圖像的向量XMPFi（1×Mpf），采用皮爾遜相關(guān)系數(shù)［15］計(jì)算每兩個(gè)相鄰行之間的相似度（ρf12、ρf23、ρf34、ρf45），計(jì)算公式為：

式中：cov（XMPFi，XMPFi+1）表示兩個(gè)相鄰行向量 XMPFi和 XMPFi+1的協(xié)方差；δXMPXMPFi、δXMPXMPFi+1分別表示向量XMPFi、XMPFi+1的標(biāo)準(zhǔn)差。

基于前位圖片煙箱有效區(qū)域的灰度圖像，根據(jù)圖像寬度將其等分為5塊，獲得5列子圖像YPFi（Npf×Mypf）（i=1，…，5），計(jì)算各個(gè)子圖像矩陣YPFi行向量的均值，獲得5列子圖像的向量YMPFi（Npf×1），采用皮爾遜相關(guān)系數(shù)計(jì)算每兩個(gè)相鄰列之間的相似度（ρ′f12、ρ′f23、ρ′f34、ρ′f45）。采用相同方法計(jì)算后位圖片煙箱有效區(qū)域灰度圖像的每兩個(gè)相鄰行之間的相似度（ρb12、ρb23、ρb34、ρb45）和每兩個(gè)相鄰列之間的相似度（ρ′b12、ρ′b23、ρ′b34、ρ′b45）。

2 基于核密度估計(jì)的建模圖片閾值計(jì)算

針對(duì)一個(gè)煙箱的前位和后位圖片可以計(jì)算得到一個(gè)相似度行向量ρ1，依次由元素ρf12、ρf23、ρf34、ρf45、ρ′f12、ρ′f23、ρ′f34、ρ′f45、ρb12、ρb23、ρb34、ρb45、ρ′b12、ρ′b23、ρ′b34、ρ′b45構(gòu)成。收集No個(gè)未發(fā)生缺條煙箱的前位和后位圖片，計(jì)算每個(gè)煙箱的相似度行向量ρj（1×16）（j=1，…，No），構(gòu)成相似度矩陣 R=［ρ1，…，ρNo］T。針對(duì)矩陣每一列數(shù)據(jù)，由于其分布情況未知，采用核密度估計(jì)方法［16］確定數(shù)據(jù)的分布特征，計(jì)算得到對(duì)應(yīng)每一列的核密度曲線。第k列的核密度估計(jì)計(jì)算公式為：

式中：K（·）為高斯核函數(shù)；ρjk為相似度矩陣 R第j行第k列的相似度指標(biāo)；No為建模圖片的個(gè)數(shù)；h為窗寬。

公式（2）中，當(dāng)h較小時(shí)，核密度曲線能夠反映較多細(xì)節(jié)，但光滑性較差；當(dāng)h較大時(shí)，核密度曲線較為光滑，但會(huì)掩蓋一些細(xì)節(jié)。將核密度曲線中最左側(cè)（即相似度最?。┑南嗨贫葦?shù)據(jù)作為建模圖像中對(duì)應(yīng)該位置的閾值，獲得閾值向量θ（1×16）。

3 缺條在線識(shí)別和閾值自校正

重新采集煙箱的前位圖片OFT和后位圖片OBT，將其轉(zhuǎn)換為灰度圖像GFT和GBT。基于提前識(shí)別好的前位和后位圖片有效區(qū)域坐標(biāo)，分別獲得煙箱有效區(qū)域的灰度前位圖像PFT和后位圖像PBT。將灰度前位圖像PFT按照?qǐng)D像高度分行，根據(jù)公式（1）計(jì)算相鄰行之間的相似度ρtf12、ρtf23、ρtf34、ρtf45；再按照?qǐng)D像寬度分列，按照公式（1）計(jì)算相鄰列之間的相似度ρ′tf12、ρ′tf23、ρ′tf34、ρ′tf45。將計(jì)算得到的 8個(gè)相似度指標(biāo)與閾值向量θ的前8個(gè)元素進(jìn)行一一比較，如果所有相似度指標(biāo)均大于閾值向量θ的對(duì)應(yīng)元素，識(shí)別該前位圖片未出現(xiàn)缺條，否則識(shí)別該前位圖片出現(xiàn)缺條，并在圖片上進(jìn)行相應(yīng)標(biāo)注。采用相同方法識(shí)別灰度后位圖像PBT是否出現(xiàn)缺條。

對(duì)于在線識(shí)別未缺條的煙箱圖像，通過工藝人員確認(rèn)后，將表征煙箱圖像特征的相似度行向量ρT添加到已有相似度矩陣R中?；诟潞蟮南嗨贫染仃嘡T=［ρ1，…，ρNo，ρT］T，根據(jù)公式（2）重新計(jì)算得到對(duì)應(yīng)每一列的核密度曲線。將核密度曲線中最左側(cè)（即相似度最?。┑南嗨贫葦?shù)據(jù)作為對(duì)應(yīng)該位置的最新閾值，獲得更新后的閾值向量θT（1×16）?；谙嗨菩苑治龊烷撝敌Ｕ臒熛淙睏l智能檢測算法流程見圖1。

圖1 煙箱缺條智能檢測算法流程圖Fig.1 Flowchart of method for intelligent detection of carton missing in cigarette case

4 數(shù)據(jù)驗(yàn)證與結(jié)果分析

4.1 參數(shù)設(shè)置

選取杭州卷煙廠2018年7—8月13號(hào)封箱機(jī)“利群（軟長嘴）”牌號(hào)的歷史運(yùn)行數(shù)據(jù)，對(duì)煙箱缺條智能檢測方法的有效性進(jìn)行驗(yàn)證。通過數(shù)據(jù)甄別，選取130組未發(fā)生缺條煙箱的前位和后位圖片作為建模圖片。其中，某一煙箱內(nèi)部條煙的前位、后位原始圖片見圖2，原始圖片的矩陣分別為 OF（652×738×3）和OB（652×738×3）。

圖2 煙箱內(nèi)部條煙前位、后位原始圖片F(xiàn)ig.2 Original images of front position and rear position of cigarette cartons inside cigarette case

進(jìn)行灰度變換后的灰度圖像矩陣分別為GF（652×738）和GB（652×738）。人工標(biāo)記的前位灰度圖像有效區(qū)域?yàn)椋鹤笊辖荴軸坐標(biāo)xf為121，左上角Y軸坐標(biāo)yf為196，寬度wf為550，高度hf為290；后位灰度圖像有效區(qū)域?yàn)椋鹤笊辖荴軸坐標(biāo)xb為131，左上角Y軸坐標(biāo)yb為280，寬度wb為 470，高度hb為245。煙箱有效區(qū)域的灰度圖像見圖3，有效區(qū)域的灰度圖像矩陣分別為PF（290×550）和PB（245×470）。

圖3 圖像分割后有效區(qū)域灰度圖像Fig.3 Grayscale images of effective area after image segmentation

前位圖片煙箱有效區(qū)域灰度圖像的5行子圖像為XPFi（58×550），通過計(jì)算XPFi列向量均值得到5行子圖像的向量為XMPFi（1×550），每兩個(gè)相鄰行之間的相似度ρf12、ρf23、ρf34、ρf45分別為 0.918 1、0.937 5、0.947 2、0.891 6。前位圖片煙箱有效區(qū)域灰度圖像的5列子圖像為YPFi（290×110），通過計(jì)算YPFi行向量均值得到5列子圖像的向量為YMPFi（290×1），每兩個(gè)相鄰列之間的相似度ρ′f12、ρ′f23、ρ′f34、ρ′f45分別為0.779 9、0.835 0、0.918 4、0.921 8。

后位圖片煙箱有效區(qū)域灰度圖像的5行子圖像為XPBi（49×470），通過計(jì)算XPBi列向量均值得到5行子圖像的向量為XMPBi（1×470），每兩個(gè)相鄰行之間的相似度ρb12、ρb23、ρb34、ρb45分別為 0.982 5、0.932 2、0.947 2、0.960 2。后位圖片煙箱有效區(qū)域灰度圖像的5列子圖像為YPBi（245×94），通過計(jì)算YPBi行向量均值得到5列子圖像的向量為YMPBi（245×1），每兩個(gè)相鄰列之間的相似度ρ′b12、ρ′b23、ρ′b34、ρ′b45分別為0.745 7、0.621 7、0.840 0、0.924 7。進(jìn)而構(gòu)成該煙箱的相似度行向量ρj（1×16）。

圖4 前位和后位圖像16個(gè)相似度指標(biāo)對(duì)應(yīng)的核密度曲線Fig.4 Kernel density curves corresponding to 16 similarity indicators of front position and rear position images

通過對(duì)130組建模圖片的相似度分析，計(jì)算得到相似度矩陣R（130×16）。針對(duì)矩陣每一列數(shù)據(jù)，選取窗寬h為3，根據(jù)公式（2）計(jì)算每一列的核密度曲線，16個(gè)相似度指標(biāo)對(duì)應(yīng)的核密度曲線見圖4。將核密度曲線中最左側(cè)（即相似度最?。┑南嗨贫葦?shù)據(jù)作為建模圖片中對(duì)應(yīng)該位置的閾值，獲得閾值向量θ（1×16），其16個(gè)元素分別為0.847 7、0.839 7、0.813 9、0.824 6、0.631 5、0.674 0、0.760 2、0.762 1、0.957 2、0.883 1、0.912 2、0.909 6、0.544 3、0.536 7、0.755 1、0.826 7。

4.2 測試驗(yàn)證

重新采集1組未發(fā)生缺條煙箱的前位和后位圖片進(jìn)行在線識(shí)別，通過灰度變換和圖像分割獲得前位圖片有效區(qū)域的灰度圖像矩陣PFT1（290×550），計(jì)算得到PFT1的8個(gè)相似度指標(biāo)ρtf12、ρtf23、ρtf34、ρtf45、ρ′tf12、ρ′tf23、ρ′tf34、ρ′tf45分別為 0.902 8、0.871 6、0.940 7、0.863 8、0.816 8、0.808 5、0.845 7、0.888 8。8個(gè)相似度指標(biāo)均大于閾值向量 θ（1×16）的前8個(gè)元素，識(shí)別該前位圖片未出現(xiàn)缺條，并在圖片上進(jìn)行相應(yīng)標(biāo)注，見圖5a。通過灰度變換和圖像分割獲得后位圖片有效區(qū)域的灰度圖像矩陣PBT1（245×470），計(jì)算得到PBT1的8個(gè)相似度指標(biāo)ρtb12、ρtb23、ρtb34、ρtb45、ρ′tb12、ρ′tb23、ρ′tb34、ρ′tb45分別為 0.976 8、0.927 2、0.954 8、0.951 4、0.724 1、0.683 3、0.853 9、0.926 4。8個(gè)相似度指標(biāo)均大于閾值向量 θ（1×16）的后8個(gè)元素，識(shí)別該后位圖片未出現(xiàn)缺條，并在圖片上進(jìn)行相應(yīng)標(biāo)注，見圖5b。

圖5 在線識(shí)別并標(biāo)注后的未缺條圖片F(xiàn)ig.5 Images without carton missing after online identification and labeling

再重新采集1組煙箱內(nèi)部前位條煙發(fā)生缺條的圖片進(jìn)行在線識(shí)別，通過灰度變換和圖像分割獲得有效區(qū)域的灰度圖像矩陣PFT2（290×550），計(jì)算得到 PFT2的 8 個(gè)相似度指標(biāo)ρtf12、ρtf23、ρtf34、ρtf45、ρ′tf12、ρ′tf23、ρ′tf34、ρ′tf45。分別為0.485 6、0.929 5、0.880 1、0.919 8、0.818 3、0.813 9、0.854 2、0.639 8。8個(gè)相似度指標(biāo)中，ρtf12和ρ′tf45小于閾值向量θ（1×16）對(duì)應(yīng)的元素，識(shí)別該前位圖片出現(xiàn)缺條，并在圖片上進(jìn)行相應(yīng)標(biāo)注，見圖6a。再重新采集1組煙箱內(nèi)部后位條煙發(fā)生缺條的圖片進(jìn)行在線識(shí)別，通過灰度變換和圖像分割獲得有效區(qū)域的灰度圖像矩陣PBT2（245×470），計(jì)算得到PBT2的8個(gè)相似度指標(biāo)ρtb12、ρtb23、ρtb34、ρtb45、ρ′tb12、ρ′tb23、ρ′tb34、ρ′tb45分別為0.843 7、0.916 5、0.943 1、0.960 1、0.590 9、0.515 7、0.840 6、0.907 9。8個(gè)相似度指標(biāo)中，ρtb12和ρ′tb23小于閾值向量θ（1×16）對(duì)應(yīng)的元素，識(shí)別該后位圖片出現(xiàn)缺條，并在圖片上進(jìn)行相應(yīng)標(biāo)注，見圖6b。此外，測試數(shù)據(jù)中剩余13種缺條缺陷均能準(zhǔn)確識(shí)別和檢測，表明所建立的煙箱缺條智能檢測方法可以很好地解決條煙裝箱過程中的缺條問題。

圖6 在線識(shí)別并標(biāo)注后的缺條圖片F(xiàn)ig.6 Images with carton missing after online identification and labeling

重新采集10組未發(fā)生缺條煙箱的前位和后位圖片進(jìn)行在線識(shí)別，均可識(shí)別出未發(fā)生缺條。將表征這10組未發(fā)生缺條煙箱圖片特征的相似度行向量ρT1，…，ρT10依次添加到已有相似度矩陣R中，選取窗寬h為3，根據(jù)公式（2）重新計(jì)算每一列的核密度曲線，獲得更新后的閾值向量θT（1×16），其16個(gè)元素分別為0.846 6、0.839 0、0.811 6、0.822 2、0.629 7、0.677 1、0.760 8、0.762 5、0.956 8、0.883 1、0.912 8、0.910 4、0.540 8、0.537 5、0.755 0、0.827 3。

5 結(jié)論

針對(duì)生產(chǎn)中出現(xiàn)的煙箱缺條問題，建立了一種基于相似性分析和閾值自校正的煙箱缺條智能檢測方法。通過前位和后位圖片的橫向、縱向分塊以及分塊間的相似度指標(biāo)計(jì)算，實(shí)現(xiàn)了圖片特征信息的有效表征和量化；采用核密度估計(jì)構(gòu)建所有建模圖片特征相似度指標(biāo)的初始閾值，并不斷學(xué)習(xí)新的未缺條圖片特征進(jìn)行閾值自校正，能夠準(zhǔn)確檢測煙箱缺條缺陷，標(biāo)注后的圖片為缺條問題追溯提供了依據(jù)。選取杭州卷煙廠13號(hào)封箱機(jī)“利群（軟長嘴）”牌號(hào)的歷史運(yùn)行數(shù)據(jù)對(duì)該方法進(jìn)行驗(yàn)證，結(jié)果表明：該方法能對(duì)測試數(shù)據(jù)中的所有15種缺條缺陷進(jìn)行準(zhǔn)確識(shí)別，檢測準(zhǔn)確率為100%。本方法能夠在封箱機(jī)生產(chǎn)環(huán)節(jié)對(duì)裝箱過程進(jìn)行實(shí)時(shí)高效檢測和管控，有效消除了煙箱缺條等質(zhì)量隱患。