王 偉，朱立明 ，章 強(qiáng)，張利宏，趙春暉

1.浙江中煙工業(yè)有限責(zé)任公司，杭州市西湖區(qū)科海路118號(hào) 310024

2.浙江大學(xué)控制科學(xué)與工程學(xué)院 工業(yè)控制技術(shù)國家重點(diǎn)實(shí)驗(yàn)室，杭州市西湖區(qū)浙大路38號(hào) 310027

條煙裝箱是卷煙生產(chǎn)的最后一道工序，在裝箱過程中有可能會(huì)出現(xiàn)煙箱缺條等質(zhì)量問題。為加強(qiáng)過程監(jiān)控管理，大多數(shù)卷煙企業(yè)通過改造升級(jí)封箱機(jī)，采用電子稱重型或機(jī)器視覺型缺條檢測(cè)方法對(duì)裝箱過程煙箱進(jìn)行檢測(cè)，但仍未能徹底解決缺條問題，由此給企業(yè)的品牌形象造成負(fù)面影響。電子稱重型缺條檢測(cè)方法［1-3］假定紙箱質(zhì)量恒定，通過煙箱實(shí)際質(zhì)量與標(biāo)定質(zhì)量的對(duì)比判斷是否缺條，隨著煙草行業(yè)卷煙紙箱回收利用項(xiàng)目的推廣，紙箱在使用、回收過程中由于吸潮等原因造成回收紙箱質(zhì)量與標(biāo)定質(zhì)量偏差較大，影響了電子稱重型缺條檢測(cè)方法的準(zhǔn)確性，且該方法不能保存煙箱生產(chǎn)過程數(shù)據(jù)，無法對(duì)缺條問題進(jìn)行追溯。機(jī)器視覺型缺條檢測(cè)方法通過實(shí)際圖像與模板圖像的匹配［4-7］或者實(shí)際圖像自身特征值與特征閾值的對(duì)比［8-10］判斷是否缺條，具有準(zhǔn)確快速、穩(wěn)定性好、適應(yīng)性強(qiáng)、容易追溯等特點(diǎn)，近年來受到較多關(guān)注。但在實(shí)際圖像自身特征值與特征閾值對(duì)比的缺條檢測(cè)方法中，如何有效設(shè)計(jì)并高效提取煙箱圖像特征是該類方法檢測(cè)缺條的關(guān)鍵。借鑒面向復(fù)雜大規(guī)模過程的分布式監(jiān)測(cè)思想［11-14］，采用圖像橫向、縱向分塊的策略，建立了一種基于相似性分析和閾值自校正的煙箱缺條智能檢測(cè)方法，通過精準(zhǔn)提取和量化煙箱圖像的特征，以期提升機(jī)器視覺型缺條檢測(cè)方法的準(zhǔn)確性，杜絕煙箱缺條問題的發(fā)生。

1 基于分塊思想的建模圖片相似性分析

在封箱機(jī)上增加前、后成像裝置，當(dāng)推板將前25條煙全部推入紙箱時(shí)獲得前位圖片OF（Nof×Mof×3），當(dāng)后25條煙全部推入紙箱推板返回時(shí)獲得后位圖片OB（Nob×Mob×3），將前位和后位圖片的彩色RGB圖像轉(zhuǎn)換為灰度圖像GF（Nof×Mof）和GB（Nob×Mob）。針對(duì)某一封箱機(jī)，由于前位和后位圖片的拍攝角度相對(duì)固定，為快速識(shí)別出煙箱的有效區(qū)域，采用人工標(biāo)記煙箱有效區(qū)域的方法，分別獲得前位和后位圖片的左上角X軸坐標(biāo)（xf、xb）、左上角Y軸坐標(biāo)（yf、yb）、寬度（wf、wb）、高度（hf、hb）等8個(gè)參數(shù)，并獲得煙箱有效區(qū)域的灰度圖像PF（Npf×Mpf）和 PB（Npb×Mpb）。

基于前位圖片煙箱有效區(qū)域的灰度圖像，根據(jù)圖像高度將其等分為5塊，獲得5行子圖像 XPFi（Nxpf×Mpf）（i=1，…，5），計(jì)算各個(gè)子圖像矩陣 XPFi列向量的均值，獲得5行子圖像的向量XMPFi（1×Mpf），采用皮爾遜相關(guān)系數(shù)［15］計(jì)算每?jī)蓚€(gè)相鄰行之間的相似度（ρf12、ρf23、ρf34、ρf45），計(jì)算公式為：

式中：cov（XMPFi，XMPFi+1）表示兩個(gè)相鄰行向量 XMPFi和 XMPFi+1的協(xié)方差；δXMPXMPFi、δXMPXMPFi+1分別表示向量XMPFi、XMPFi+1的標(biāo)準(zhǔn)差。

基于前位圖片煙箱有效區(qū)域的灰度圖像，根據(jù)圖像寬度將其等分為5塊，獲得5列子圖像YPFi（Npf×Mypf）（i=1，…，5），計(jì)算各個(gè)子圖像矩陣YPFi行向量的均值，獲得5列子圖像的向量YMPFi（Npf×1），采用皮爾遜相關(guān)系數(shù)計(jì)算每?jī)蓚€(gè)相鄰列之間的相似度（ρ′f12、ρ′f23、ρ′f34、ρ′f45）。采用相同方法計(jì)算后位圖片煙箱有效區(qū)域灰度圖像的每?jī)蓚€(gè)相鄰行之間的相似度（ρb12、ρb23、ρb34、ρb45）和每?jī)蓚€(gè)相鄰列之間的相似度（ρ′b12、ρ′b23、ρ′b34、ρ′b45）。

2 基于核密度估計(jì)的建模圖片閾值計(jì)算

針對(duì)一個(gè)煙箱的前位和后位圖片可以計(jì)算得到一個(gè)相似度行向量ρ1，依次由元素ρf12、ρf23、ρf34、ρf45、ρ′f12、ρ′f23、ρ′f34、ρ′f45、ρb12、ρb23、ρb34、ρb45、ρ′b12、ρ′b23、ρ′b34、ρ′b45構(gòu)成。收集No個(gè)未發(fā)生缺條煙箱的前位和后位圖片，計(jì)算每個(gè)煙箱的相似度行向量ρj（1×16）（j=1，…，No），構(gòu)成相似度矩陣 R=［ρ1，…，ρNo］T。針對(duì)矩陣每一列數(shù)據(jù)，由于其分布情況未知，采用核密度估計(jì)方法［16］確定數(shù)據(jù)的分布特征，計(jì)算得到對(duì)應(yīng)每一列的核密度曲線。第k列的核密度估計(jì)計(jì)算公式為：

式中：K（·）為高斯核函數(shù)；ρjk為相似度矩陣 R第j行第k列的相似度指標(biāo)；No為建模圖片的個(gè)數(shù)；h為窗寬。

公式（2）中，當(dāng)h較小時(shí)，核密度曲線能夠反映較多細(xì)節(jié)，但光滑性較差；當(dāng)h較大時(shí)，核密度曲線較為光滑，但會(huì)掩蓋一些細(xì)節(jié)。將核密度曲線中最左側(cè)（即相似度最?。┑南嗨贫葦?shù)據(jù)作為建模圖像中對(duì)應(yīng)該位置的閾值，獲得閾值向量θ（1×16）。

3 缺條在線識(shí)別和閾值自校正

重新采集煙箱的前位圖片OFT和后位圖片OBT，將其轉(zhuǎn)換為灰度圖像GFT和GBT?；谔崆白R(shí)別好的前位和后位圖片有效區(qū)域坐標(biāo)，分別獲得煙箱有效區(qū)域的灰度前位圖像PFT和后位圖像PBT。將灰度前位圖像PFT按照?qǐng)D像高度分行，根據(jù)公式（1）計(jì)算相鄰行之間的相似度ρtf12、ρtf23、ρtf34、ρtf45；再按照?qǐng)D像寬度分列，按照公式（1）計(jì)算相鄰列之間的相似度ρ′tf12、ρ′tf23、ρ′tf34、ρ′tf45。將計(jì)算得到的 8個(gè)相似度指標(biāo)與閾值向量θ的前8個(gè)元素進(jìn)行一一比較，如果所有相似度指標(biāo)均大于閾值向量θ的對(duì)應(yīng)元素，識(shí)別該前位圖片未出現(xiàn)缺條，否則識(shí)別該前位圖片出現(xiàn)缺條，并在圖片上進(jìn)行相應(yīng)標(biāo)注。采用相同方法識(shí)別灰度后位圖像PBT是否出現(xiàn)缺條。

對(duì)于在線識(shí)別未缺條的煙箱圖像，通過工藝人員確認(rèn)后，將表征煙箱圖像特征的相似度行向量ρT添加到已有相似度矩陣R中。基于更新后的相似度矩陣RT=［ρ1，…，ρNo，ρT］T，根據(jù)公式（2）重新計(jì)算得到對(duì)應(yīng)每一列的核密度曲線。將核密度曲線中最左側(cè)（即相似度最?。┑南嗨贫葦?shù)據(jù)作為對(duì)應(yīng)該位置的最新閾值，獲得更新后的閾值向量θT（1×16）?；谙嗨菩苑治龊烷撝敌Ｕ臒熛淙睏l智能檢測(cè)算法流程見圖1。

圖1 煙箱缺條智能檢測(cè)算法流程圖Fig.1 Flowchart of method for intelligent detection of carton missing in cigarette case

4 數(shù)據(jù)驗(yàn)證與結(jié)果分析

4.1 參數(shù)設(shè)置

選取杭州卷煙廠2018年7—8月13號(hào)封箱機(jī)“利群（軟長(zhǎng)嘴）”牌號(hào)的歷史運(yùn)行數(shù)據(jù)，對(duì)煙箱缺條智能檢測(cè)方法的有效性進(jìn)行驗(yàn)證。通過數(shù)據(jù)甄別，選取130組未發(fā)生缺條煙箱的前位和后位圖片作為建模圖片。其中，某一煙箱內(nèi)部條煙的前位、后位原始圖片見圖2，原始圖片的矩陣分別為 OF（652×738×3）和OB（652×738×3）。

圖2 煙箱內(nèi)部條煙前位、后位原始圖片F(xiàn)ig.2 Original images of front position and rear position of cigarette cartons inside cigarette case

進(jìn)行灰度變換后的灰度圖像矩陣分別為GF（652×738）和GB（652×738）。人工標(biāo)記的前位灰度圖像有效區(qū)域?yàn)椋鹤笊辖荴軸坐標(biāo)xf為121，左上角Y軸坐標(biāo)yf為196，寬度wf為550，高度hf為290；后位灰度圖像有效區(qū)域?yàn)椋鹤笊辖荴軸坐標(biāo)xb為131，左上角Y軸坐標(biāo)yb為280，寬度wb為 470，高度hb為245。煙箱有效區(qū)域的灰度圖像見圖3，有效區(qū)域的灰度圖像矩陣分別為PF（290×550）和PB（245×470）。

圖3 圖像分割后有效區(qū)域灰度圖像Fig.3 Grayscale images of effective area after image segmentation

前位圖片煙箱有效區(qū)域灰度圖像的5行子圖像為XPFi（58×550），通過計(jì)算XPFi列向量均值得到5行子圖像的向量為XMPFi（1×550），每?jī)蓚€(gè)相鄰行之間的相似度ρf12、ρf23、ρf34、ρf45分別為 0.918 1、0.937 5、0.947 2、0.891 6。前位圖片煙箱有效區(qū)域灰度圖像的5列子圖像為YPFi（290×110），通過計(jì)算YPFi行向量均值得到5列子圖像的向量為YMPFi（290×1），每?jī)蓚€(gè)相鄰列之間的相似度ρ′f12、ρ′f23、ρ′f34、ρ′f45分別為0.779 9、0.835 0、0.918 4、0.921 8。

后位圖片煙箱有效區(qū)域灰度圖像的5行子圖像為XPBi（49×470），通過計(jì)算XPBi列向量均值得到5行子圖像的向量為XMPBi（1×470），每?jī)蓚€(gè)相鄰行之間的相似度ρb12、ρb23、ρb34、ρb45分別為 0.982 5、0.932 2、0.947 2、0.960 2。后位圖片煙箱有效區(qū)域灰度圖像的5列子圖像為YPBi（245×94），通過計(jì)算YPBi行向量均值得到5列子圖像的向量為YMPBi（245×1），每?jī)蓚€(gè)相鄰列之間的相似度ρ′b12、ρ′b23、ρ′b34、ρ′b45分別為0.745 7、0.621 7、0.840 0、0.924 7。進(jìn)而構(gòu)成該煙箱的相似度行向量ρj（1×16）。

圖4 前位和后位圖像16個(gè)相似度指標(biāo)對(duì)應(yīng)的核密度曲線Fig.4 Kernel density curves corresponding to 16 similarity indicators of front position and rear position images

通過對(duì)130組建模圖片的相似度分析，計(jì)算得到相似度矩陣R（130×16）。針對(duì)矩陣每一列數(shù)據(jù)，選取窗寬h為3，根據(jù)公式（2）計(jì)算每一列的核密度曲線，16個(gè)相似度指標(biāo)對(duì)應(yīng)的核密度曲線見圖4。將核密度曲線中最左側(cè)（即相似度最?。┑南嗨贫葦?shù)據(jù)作為建模圖片中對(duì)應(yīng)該位置的閾值，獲得閾值向量θ（1×16），其16個(gè)元素分別為0.847 7、0.839 7、0.813 9、0.824 6、0.631 5、0.674 0、0.760 2、0.762 1、0.957 2、0.883 1、0.912 2、0.909 6、0.544 3、0.536 7、0.755 1、0.826 7。

4.2 測(cè)試驗(yàn)證

重新采集1組未發(fā)生缺條煙箱的前位和后位圖片進(jìn)行在線識(shí)別，通過灰度變換和圖像分割獲得前位圖片有效區(qū)域的灰度圖像矩陣PFT1（290×550），計(jì)算得到PFT1的8個(gè)相似度指標(biāo)ρtf12、ρtf23、ρtf34、ρtf45、ρ′tf12、ρ′tf23、ρ′tf34、ρ′tf45分別為 0.902 8、0.871 6、0.940 7、0.863 8、0.816 8、0.808 5、0.845 7、0.888 8。8個(gè)相似度指標(biāo)均大于閾值向量 θ（1×16）的前8個(gè)元素，識(shí)別該前位圖片未出現(xiàn)缺條，并在圖片上進(jìn)行相應(yīng)標(biāo)注，見圖5a。通過灰度變換和圖像分割獲得后位圖片有效區(qū)域的灰度圖像矩陣PBT1（245×470），計(jì)算得到PBT1的8個(gè)相似度指標(biāo)ρtb12、ρtb23、ρtb34、ρtb45、ρ′tb12、ρ′tb23、ρ′tb34、ρ′tb45分別為 0.976 8、0.927 2、0.954 8、0.951 4、0.724 1、0.683 3、0.853 9、0.926 4。8個(gè)相似度指標(biāo)均大于閾值向量 θ（1×16）的后8個(gè)元素，識(shí)別該后位圖片未出現(xiàn)缺條，并在圖片上進(jìn)行相應(yīng)標(biāo)注，見圖5b。

圖5 在線識(shí)別并標(biāo)注后的未缺條圖片F(xiàn)ig.5 Images without carton missing after online identification and labeling

再重新采集1組煙箱內(nèi)部前位條煙發(fā)生缺條的圖片進(jìn)行在線識(shí)別，通過灰度變換和圖像分割獲得有效區(qū)域的灰度圖像矩陣PFT2（290×550），計(jì)算得到 PFT2的 8 個(gè)相似度指標(biāo)ρtf12、ρtf23、ρtf34、ρtf45、ρ′tf12、ρ′tf23、ρ′tf34、ρ′tf45。分別為0.485 6、0.929 5、0.880 1、0.919 8、0.818 3、0.813 9、0.854 2、0.639 8。8個(gè)相似度指標(biāo)中，ρtf12和ρ′tf45小于閾值向量θ（1×16）對(duì)應(yīng)的元素，識(shí)別該前位圖片出現(xiàn)缺條，并在圖片上進(jìn)行相應(yīng)標(biāo)注，見圖6a。再重新采集1組煙箱內(nèi)部后位條煙發(fā)生缺條的圖片進(jìn)行在線識(shí)別，通過灰度變換和圖像分割獲得有效區(qū)域的灰度圖像矩陣PBT2（245×470），計(jì)算得到PBT2的8個(gè)相似度指標(biāo)ρtb12、ρtb23、ρtb34、ρtb45、ρ′tb12、ρ′tb23、ρ′tb34、ρ′tb45分別為0.843 7、0.916 5、0.943 1、0.960 1、0.590 9、0.515 7、0.840 6、0.907 9。8個(gè)相似度指標(biāo)中，ρtb12和ρ′tb23小于閾值向量θ（1×16）對(duì)應(yīng)的元素，識(shí)別該后位圖片出現(xiàn)缺條，并在圖片上進(jìn)行相應(yīng)標(biāo)注，見圖6b。此外，測(cè)試數(shù)據(jù)中剩余13種缺條缺陷均能準(zhǔn)確識(shí)別和檢測(cè)，表明所建立的煙箱缺條智能檢測(cè)方法可以很好地解決條煙裝箱過程中的缺條問題。

圖6 在線識(shí)別并標(biāo)注后的缺條圖片F(xiàn)ig.6 Images with carton missing after online identification and labeling

重新采集10組未發(fā)生缺條煙箱的前位和后位圖片進(jìn)行在線識(shí)別，均可識(shí)別出未發(fā)生缺條。將表征這10組未發(fā)生缺條煙箱圖片特征的相似度行向量ρT1，…，ρT10依次添加到已有相似度矩陣R中，選取窗寬h為3，根據(jù)公式（2）重新計(jì)算每一列的核密度曲線，獲得更新后的閾值向量θT（1×16），其16個(gè)元素分別為0.846 6、0.839 0、0.811 6、0.822 2、0.629 7、0.677 1、0.760 8、0.762 5、0.956 8、0.883 1、0.912 8、0.910 4、0.540 8、0.537 5、0.755 0、0.827 3。

5 結(jié)論

針對(duì)生產(chǎn)中出現(xiàn)的煙箱缺條問題，建立了一種基于相似性分析和閾值自校正的煙箱缺條智能檢測(cè)方法。通過前位和后位圖片的橫向、縱向分塊以及分塊間的相似度指標(biāo)計(jì)算，實(shí)現(xiàn)了圖片特征信息的有效表征和量化；采用核密度估計(jì)構(gòu)建所有建模圖片特征相似度指標(biāo)的初始閾值，并不斷學(xué)習(xí)新的未缺條圖片特征進(jìn)行閾值自校正，能夠準(zhǔn)確檢測(cè)煙箱缺條缺陷，標(biāo)注后的圖片為缺條問題追溯提供了依據(jù)。選取杭州卷煙廠13號(hào)封箱機(jī)“利群（軟長(zhǎng)嘴）”牌號(hào)的歷史運(yùn)行數(shù)據(jù)對(duì)該方法進(jìn)行驗(yàn)證，結(jié)果表明：該方法能對(duì)測(cè)試數(shù)據(jù)中的所有15種缺條缺陷進(jìn)行準(zhǔn)確識(shí)別，檢測(cè)準(zhǔn)確率為100%。本方法能夠在封箱機(jī)生產(chǎn)環(huán)節(jié)對(duì)裝箱過程進(jìn)行實(shí)時(shí)高效檢測(cè)和管控，有效消除了煙箱缺條等質(zhì)量隱患。