楊彩虹，蔡培良，鄭利明，何孝強，丁聰龍，劉懋超，劉師遙

基于灰度共生矩陣算法的新型散包檢測

楊彩虹，蔡培良，鄭利明，何孝強，丁聰龍，劉懋超，劉師遙

（紅云紅河煙草（集團）有限責任公司曲靖卷煙廠，云南 曲靖 655001）

解決傳統(tǒng)亮度、色彩等檢測方法不能有效檢測出煙包（尤其背景為白色的煙包）有無油封包裹的問題。在傳統(tǒng)檢測方法的基礎(chǔ)上，增加基于灰度共生矩陣算法的檢測方法進行散包檢測，通過對新型散包檢測硬件架構(gòu)設(shè)計、硬件隔離設(shè)計、相機優(yōu)化、數(shù)學建模、灰度共生矩陣特征值提取、最優(yōu)解等處理，采用基于灰度共生矩陣算法的新型散包檢測方法能實現(xiàn)煙包散包檢測精度的提升，有效檢測出煙包（尤其淺色煙包）有無油封包裹的情況，降低無油封包裹煙包流入下道工序的風險?；诨叶裙采仃囁惴ǖ男滦蜕鼨z測方法能有效提升煙包的散包檢測精度，散包煙包的檢出剔除率≥99.9%?；诨叶裙采仃囁惴ǖ男滦蜕鼨z測方法能有效提升煙包的散包檢測精度，尤其對淺色煙包有無油封包裹情況效果提升明顯。

灰度共生矩陣；特征值；歐式距離；曼哈頓距離；特征向量

GDX1、GDX2（以下簡稱GD包裝機）包裝機組為國內(nèi)主流包裝設(shè)備，煙包在油封包裝生產(chǎn)過程中，因多種因素導致煙包油封包裹不完整而產(chǎn)生多種類型的煙包油封缺陷產(chǎn)品。對煙包油封包裹檢測一般為散包檢測，針對煙包散包檢測的方法常見為光電檢測、視覺檢測等。

1 現(xiàn)狀分析

生產(chǎn)中因多種因素導致存在沒有油封包裹的煙包產(chǎn)生，故設(shè)計出多種散包檢測[1-5]，但一般采用基于三色素的亮度檢測、色彩檢測等方法進行散包檢測。傳統(tǒng)的散包視覺檢測存在識別效果不夠好、準確率不高、運算速度慢、可能產(chǎn)生多個正確識別結(jié)果等問題，針對油封包裹完好與沒有油封包裹的煙包，采用傳統(tǒng)亮度、色彩檢測方法較難區(qū)分出有無油封包裹的情況，如圖1所示，存在無油封包裹的缺陷煙包而不能被有效檢測出并剔除的風險。李力等[6]采用基于疑似目標區(qū)域判定方法進行散包檢測，對目標區(qū)域類的圖像進行判定，對背景為淺色的純色煙包，其判定效果不明顯。

從圖1可以看出，采用傳統(tǒng)的亮度檢測方法進行散包檢測，有無油封包裹煙包的檢測值較為接近，存在無油封包裹煙包流入下道工序的風險，且生產(chǎn)中無法杜絕無油封煙包的產(chǎn)生。無油封煙包流入下道工序進入條包后，無法對煙包油封再次進行檢測，存在較大的質(zhì)量風險。

針對上述問題，在傳統(tǒng)檢測方法基礎(chǔ)上，采用基于灰度共生矩陣算法[7-9]的檢測方法進行散包檢測。經(jīng)過對有油封包裹與無油封包裹煙包的散包測試發(fā)現(xiàn)，基于灰度共生矩陣算法[10-13]的檢測方法[14-15]能有效解決上述問題，杜絕無油封包裹煙包流入下道工序的風險。檢測結(jié)果如圖2所示。

圖1 傳統(tǒng)算法對正常煙包和缺陷煙包的散包檢測對比

圖2 基于灰度矩陣算法檢測對正常煙包和缺陷煙包的檢測結(jié)果對比

2 基于灰度共生矩陣算法的新型散包檢測設(shè)計

2.1 新型散包檢測裝置架構(gòu)及硬件架構(gòu)

新型散包檢測裝置由高性能Blackfin處理器、流水線視覺處理器、超高清視覺彩色相機、光源、工控機等構(gòu)成。檢測系統(tǒng)硬件架構(gòu)如圖3所示。

圖3 新型散包檢測硬件架構(gòu)

為了提高圖像算法處理的速度，不需CPU干預以提高運算處理時間，則在傳統(tǒng)硬件基礎(chǔ)上增加流水線視覺處理器PVP。視覺處理器PVP包含于數(shù)據(jù)處理模塊DSP中，PVP具有4個5×5的16位卷積模塊，1個16位笛卡爾轉(zhuǎn)極坐標模塊，1個像素邊沿分類器，支持一階和二階導數(shù)模式、32位加法、乘法和除法等運算，從而預處理和協(xié)處理視頻處理應用中的視頻幀，提高運算速度。

散包檢測的2個相機工作環(huán)境較惡劣，周圍有靜電消除器（易產(chǎn)生高壓電）與高速電機等，極易對高速DSP產(chǎn)生干擾。為了降低外部因素對DSP的干擾，DSP及主板與外部設(shè)備之間采用全隔離，使得兩端的電源完全獨立，提高系統(tǒng)的穩(wěn)定性，尤其使得設(shè)備外殼能承受10 000 V的靜電高壓放電（接觸放電）。硬件隔離設(shè)計框圖如圖4所示。

為了提高檢測系統(tǒng)的處理時間，對相機進行優(yōu)化設(shè)計：中間鏈路采用帶寬高達1.6 GHz頻率的同軸電纜，并將相機的電源、輸入信號、控制信號、相機觸發(fā)信號等所有信號全部耦合到同軸電纜中。經(jīng)測試，觸發(fā)信號從輸入到輸出的響應時間為50 μs，完全達到設(shè)備生產(chǎn)要求；優(yōu)化后提高了相機的抗干擾性，并極大降低了相機的體積，相機能滿足多種安裝尺寸，相機優(yōu)化設(shè)計簡圖如圖5所示。

在線檢測對處理時間要求較高，GD設(shè)備正常運行速度為400包/min，則每包煙包在檢測位的時間約0.15 s，而檢測系統(tǒng)的硬件與軟件優(yōu)化后的響應時間為50 μs，完全滿足設(shè)備正常運行速度要求，檢測系統(tǒng)的在線實時處理性能滿足設(shè)備運行需求。

圖4 系統(tǒng)硬件架構(gòu)全隔離設(shè)計

圖5 相機優(yōu)化設(shè)計

2.2 數(shù)學建模

將圖像分成若干個64×64的子圖像，將圖像水平方向分為20等份，垂直方向分為15等份，共300個子圖像。按從左到右、從上至下排列依次為0，1，2，…，299。其中每幅子圖像取12個特征值，則最大共計3 600個特征值，依次排列為0，1，2，…，3 599。將3 600個特征值按順序排列并轉(zhuǎn)置成列向量，為高維空間中的一個點（最大3 600維），那么2幅圖像的區(qū)別大小為高維空間中2點的距離。2幅圖像區(qū)別越大則表現(xiàn)為空間中2點間的距離越大，若2幅圖像極其相似（或相同），表現(xiàn)為2點距離接近（或重合）。在高維空間中2點的距離通過曼哈頓距離與歐式距離來表示。

2.3 基于灰度共生矩陣算法的特征提取及歸一化處理

特征提取是機器學習最關(guān)鍵的一步，特征是否具有代表性直接關(guān)系到判斷的準確性。根據(jù)多次試驗結(jié)果，本檢測采用灰度共生矩陣進行特征提取。灰度共生矩陣（GLDM）的統(tǒng)計方法是由Haralick等提出，在假定圖像中，各像素間的空間分布關(guān)系包含了圖像紋理信息的前提下提出的具有廣泛性的紋理分析方法。

圖6 輸出圖像的bayer格式

由于灰度共生矩陣的數(shù)據(jù)量較大，一般不直接作為區(qū)分紋理的特征，而是將基于灰度共生矩陣構(gòu)建的一些統(tǒng)計量作為紋理分類特征。Haralick等曾提出了14種基于灰度共生矩陣計算出來的統(tǒng)計量，如能量、熵、對比度、均勻性、相關(guān)性、方差、和平均、和方差、和熵、差方差、差平均、差熵、相關(guān)信息測度以及最大相關(guān)系數(shù)。本檢測通過對對比度、能量、熵、逆方差等4個特征統(tǒng)計量的計算，找出灰度共生矩陣的特征值。

2.3.1 灰度共生矩陣的特征統(tǒng)計量

為度量圖像的清晰度與紋理的溝紋深淺，采用對比度on進行分析。

對比度反映了圖像的清晰度和紋理的溝紋深淺。對比度越大，紋理的溝紋越深，反差越大，效果越清晰；反之，對比度越小，溝紋越淺，效果模糊。

為反映圖像灰度分布均勻程度和紋理粗細度，采用能量sm進行分析。

從能量分析可以看出，若能量較小，表明灰度共生矩陣的元素值相近，反映出圖像紋理細致；若能量值較大，表明矩陣中的元素值波動大，其中一些值大，一些值小。

在判斷圖像的清晰度、灰度分布、紋理粗細后，對圖像灰度分布的復雜程度分析采用熵nt分析。

熵度量了圖像包含信息量的隨機性，表現(xiàn)了圖像的復雜程度。當矩陣中所有值均相等或者像素值表現(xiàn)出最大的隨機性時，熵最大。從熵nt看出，熵值越大，表明共生矩陣中的值的隨機性越大，反映出圖像越復雜。

最后采用逆方差對圖像紋理的每個局部變化的大小進行分析。

逆方差反映圖像紋理局部變化的大小，從逆方差可以看出，若圖像紋理的不同區(qū)域間較均勻，變化緩慢，逆方差會較大，反之較小。

通過上述4個特征統(tǒng)計量完成對灰度共生矩陣的求解，實現(xiàn)對圖像的算法分析。

2.3.2 特征向量歸一化

上述特征統(tǒng)計量的計算結(jié)果并不能被計算機解讀，需完成特征統(tǒng)計量的歸一化，通過歸一化處理全部轉(zhuǎn)換到0～1。

在300個64×64子圖像中搜索出on的最大值max和最小值min，對比度的歸一化值為on_new，on_new=(on?min)/(max?min)。同理對能量sm、熵nt、逆方差進行歸一化處理，歸一化計算處理結(jié)果如圖7所示。

圖7 歸一化處理計算截圖

歸一化后的計算結(jié)果為0～100，對每位計算結(jié)果除以100，轉(zhuǎn)化為0～1，完成歸一化處理。

2.4 數(shù)據(jù)模型最優(yōu)解

本檢測的樣本總數(shù)固定為768個，且均為正類，因此共有768個維度為3 600的高維向量，記做（1,2, …,X, …,768）。對處理器來說，由于曼哈頓距離運算量小，歐式距離計算量大，歐式距離需要求平方和再開根號。為了得到稀疏解并加快算法速度，故優(yōu)化時采用1正則化（即曼哈頓距離），且支持向量大大減少，方便后一步計算。進行1正則化，在該特征空間求解出體積最小的超球體，因此要解決以下優(yōu)化問題：

式中：為超球體半徑；為超球體的球心，也是一個向量；為松弛因子；為一個權(quán)衡超球體體積和誤分率的懲罰參數(shù)；為768。結(jié)合拉格朗日乘子法，則原問題的對偶問題轉(zhuǎn)換為：

根據(jù)優(yōu)化理論，分別對,,ξ求偏導，并令其偏導數(shù)為0，則有：

將式（1）—（3）代入前面的拉格朗日函數(shù)可得：

為了增加檢測的非線性，引用高斯核函數(shù)：

2.5 算法測試

通過以上幾種類型煙包測試，證明所設(shè)計的基于灰度共生矩陣算法的新型散包檢測能有效解決淺色煙包（尤其是白色背景煙包）無油封包裹不能被有效檢測的問題。經(jīng)實驗測試（見圖8），基于灰度共生矩陣算法的散包檢測能有效檢測淺色背景煙包有無油封包裹，對純白色背景煙包也有明顯的區(qū)分，極大地提高了散包檢測的精確度和準確度。

3 散包檢測效果分析

為了驗證基于灰度共生矩陣算法的散包檢測系統(tǒng)安裝前后檢測效果，在正常生產(chǎn)機組選取2臺GD機型設(shè)備進行測試，設(shè)備按正常運行速度400包/min運行，生產(chǎn)品牌為常規(guī)品牌（煙包顏色為淺色、純白色）。通過隨機抽取1組包裝機安裝該散包檢測系統(tǒng)，統(tǒng)計前后10個工作日下一道工序返回無油封包裹煙包數(shù)量、檢測系統(tǒng)剔除無油封包裹的煙包數(shù)量，見表1。

圖8 不同顏色煙包有無油封包裹下的測試對比

表1 新型散包檢測系統(tǒng)測試前后缺陷煙包（無油封）發(fā)生頻次統(tǒng)計

Tab.1 Statistics of the occurrence frequency of defective cigarette packs (without oil seal) before and after the test of the novel bulk pack detection system

注：①改造前無油封包裹的煙包全部流入下一道工序，改造后無油封包裹的煙包全部在檢測口進行有效檢測并準確剔除。

從表1的統(tǒng)計表明，該新型散包檢測系統(tǒng)安裝前后，包裝機生產(chǎn)中產(chǎn)生的無油封包裹的煙包總量基本一致，平均每天新型散包檢測系統(tǒng)檢測剔除的煙包為1～2包，與改造前流入下一道工序的缺陷煙包數(shù)量基本一致；改造后，下一道工序檢測、抽檢、自檢返回的無油封包裹的煙包數(shù)量為0。檢測裝置安裝運行后，無油封包裹煙包全部在包裝機剔除口被準確剔除。表明采用基于灰度共生矩陣算法的新型散包檢測方法能實現(xiàn)煙包散包檢測精度的提升，該方法能有效檢測出淺色煙包有無油封包裹情況，極大地提升了散包檢測的精確性，降低缺包煙包進入下道工序的風險。

為對新型散包檢測進行對比分析，故對傳統(tǒng)散包檢測進行測試統(tǒng)計。在正常生產(chǎn)機組隨機選取1臺GD機型設(shè)備進行測試，設(shè)備按正常運行速度400包/min運行，生產(chǎn)品牌為常規(guī)品牌（煙包顏色為淺色、純白色），統(tǒng)計10個工作日下一道工序返回無油封包裹煙包數(shù)量、檢測系統(tǒng)剔除無油封包裹的煙包數(shù)量，見表2。

從表2的統(tǒng)計表明，傳統(tǒng)散包檢測能檢測出部分散包，但下道工序仍存在部分散包缺陷煙包。表明傳統(tǒng)散包檢測存在漏檢情況，存在缺陷散包流入下道工序的風險，散包檢測精度有待提升。

表2 傳統(tǒng)散包檢測測試缺陷煙包（無油封）發(fā)生頻次統(tǒng)計

Tab.2 Statistics of occurrence frequency of defective cigarette packs (without oil seal) detected by traditional bulk pack test

注：傳統(tǒng)無油封包裹的煙包散包會流入下一道工序。

4 結(jié)語

通過對傳統(tǒng)散包與基于灰度共生矩陣新型散包檢測的在線煙包數(shù)據(jù)分析可知，新型散包檢測系統(tǒng)不合格品檢測剔除率≥99.99%、誤剔率≤0.01%。該數(shù)據(jù)為下一道工序返回的無油封包裹的缺陷煙包，包括下一道工序檢測、抽檢、自檢返回的不合格煙包。

從測試及試運行可知，采用基于灰度共生矩陣算法的新型散包檢測方法能實現(xiàn)煙包散包檢測精度的提升。該方法能有效檢測出淺色煙包有無油封包裹情況，極大地提升了散包檢測的精確性，進而提升產(chǎn)品質(zhì)量、降低物耗、降低缺包煙包進入下道工序的風險。

[1] 曹興強. 包裝機散包檢測系統(tǒng)[J]. 設(shè)備管理與維修, 2016(1): 61-63.

CAO Xing-qiang. Bulk Package Detection System of Packaging Machine[J]. Plant Maintenance Engineering, 2016(1): 61-63.

[2] 高輝. ZB25包裝機玻璃紙散包檢測裝置設(shè)計及應用[J]. 現(xiàn)代制造技術(shù)與裝備, 2015(6): 56-57.

GAO Hui. The Design and Application of ZB25 Packaging Machine for Measuring the Glass Paper Bag[J]. Modern Manufacturing Technology and Equipment, 2015(6): 56-57.

[3] 羅彩麗. GDX2包裝機組CH小包透明紙檢測系統(tǒng)的設(shè)計應用[J]. 煙草科技, 2013, 46(3): 25-26.

LUO Cai-li. Design and Application of Packet Film Detection System for CH of GDX2 Packing Line[J]. Tobacco Science & Technology, 2013, 46(3): 25-26.

[4] 祝榮壯, 關(guān)堂新. ZB25包裝機玻璃紙散包檢測裝置設(shè)計及應用[J]. 包裝與食品機械, 2008, 26(5): 21-23.

ZHU Rong-zhuang, GUAN Tang-xin. Design and Application of Incompact Cellophane Inspecting Device in ZB25 Packer Machine[J]. Packaging and Food Machinery, 2008, 26(5): 21-23.

[5] 孫軍, 甘益員, 劉靜北, 等. ZB45型包裝機組條包煙內(nèi)外質(zhì)量檢測裝置的設(shè)計應用[C]// 中國煙草學會工業(yè)專業(yè)委員會, 中國煙草學會工業(yè)專業(yè)委員會煙草工藝學術(shù)研討會論文集, 中國煙草學會, 2010: 4.

SUN Jun, GAN Yi-yuan, LIU Jing-bei, et al. Design and Application of the Internal and External Quality Inspection Device for ZB45 Packaging Unit[C]// Industrial Professional Committee of China Tobacco Society. Proceedings of the Symposium on Tobacco Technology of the Industrial Professional Committee of the China Tobacco Society, China Tobacco Society, 2010: 4.

[6] 李力, 黃玉彥, 喬茜華, 等. 基于疑似目標區(qū)域判定方法的卷煙透明包裝缺陷檢測[J]. 鄭州輕工業(yè)學院學報(自然科學版), 2014(2): 35-37.

LI Li, HUANG Yu-yan, QIAO Qian-hua, et al. Detection of Cigarette Transparent Packaging Defect Based on Judgment Method of Suspected Target Region[J]. Journal of Zhengzhou Institute of Light Industry (Natural Science Edition), 2014(2): 35-37.

[7] 朱麗娟. 基于灰度共生矩陣的紅棗紋理特征提取[J]. 科技風, 2022(25): 78-80.

ZHU Li-juan. Texture Feature Extraction of Red Jujube Based on Gray-Level Co-Occurrence Matrix[J]. Technology Wind, 2022(25): 78-80.

[8] 陳滔, 張慶國, 劉澳. 基于灰度共生矩陣的圖形紋理檢測及焊接缺陷的SVM分類實現(xiàn)[J]. 洛陽理工學院學報(自然科學版), 2022, 32(1): 53-61.

CHEN Tao, ZHANG Qing-guo, LIU Ao. SVM Classification Implementation of Graphic Texture Detection and Welding Defects Based on Gray Level Co-Occurrence Matrix[J]. Journal of Luoyang Institute of Science and Technology (Natural Science Edition), 2022, 32(1): 53-61.

[9] 薄華, 馬縛龍, 焦李成. 圖像紋理的灰度共生矩陣計算問題的分析[J]. 電子學報, 2006, 34(1): 155-158.

BO Hua, MA Fu-long, JIAO Li-cheng. Research on Computation of GLCM of Image Texture[J]. Acta Electronica Sinica, 2006, 34(1): 155-158.

[10] 李麗宏, 謝東陽, 王琳, 等. 紋理圖像多尺度灰度共生矩陣步長參數(shù)的研究[J]. 河北工程大學學報(自然科學版), 2021, 38(3): 108-112.

LI Li-hong, XIE Dong-yang, WANG Lin, et al. Research on Step Parameter of Multi-Scale Gray Level Co-Occurrence Matrix for Texture Image[J]. Journal of Hebei University of Engineering (Natural Science Edition), 2021, 38(3): 108-112.

[11] 劉光宇, 黃懿, 曹禹, 等. 基于灰度共生矩陣的圖像紋理特征提取研究[J]. 科技風, 2021(12): 61-64.

LIU Guang-yu, HUANG Yi, CAO Yu, et al. Research on Extraction of Image Texture Feature Based on Gray Co-Occurrence Matrix[J]. Technology Wind, 2021(12): 61-64.

[12] 初錄, 劉斌, 許亮, 等. 基于灰度共生矩陣的散斑質(zhì)量評價[J]. 激光與光電子學進展, 2021, 58(4): 235-243.

CHU Lu, LIU Bin, XU Liang, et al. Speckle Quality Evaluation Based on Gray Level Co-Occurrence Matrix[J]. Laser & Optoelectronics Progress, 2021, 58(4): 235-243.

[13] 劉振文. 用PLC在ZB45型包裝機上實現(xiàn)散包檢測[J]. 韶關(guān)學院學報(自然科學版), 2007, 28(9): 65-68.

Liu Zhen-wen. Realizes Wrappage Examination with PLC on the ZB45 Packaging Machine[J]. Journal of Shaoguan University (Natural Science), 2007, 28(9): 65-68.

[14] 董雅雯, 師靜, 陳興亞, 等. 基于灰度共生矩陣的矢量數(shù)據(jù)屬性不一致圖斑判定[J]. 中南林業(yè)調(diào)查規(guī)劃, 2022, 41(3): 37-39.

DONG Ya-wen, SHI Jing, CHEN Xing-ya, et al. Vector Data Attribute Inconsistent Patch Determination Based on Gray-Level Co-Occurrence Matrix[J]. Central South Forest Inventory and Planning, 2022, 41(3): 37-39.

[15] 李金鳳, 趙雨童, 黃緯然, 等. 基于灰度共生矩陣的多尺度分塊壓縮感知算法[J]. 激光與光電子學進展, 2021, 58(4): 100-108.

LI Jin-feng, ZHAO Yu-tong, HUANG Wei-ran, et al. Multi-Scale Block Compressed Sensing Algorithm Based on Gray-Level Co-Occurrence Matrix[J]. Laser & Optoelectronics Progress, 2021, 58(4): 100-108.

Novel Bulk Pack Detection Based on Gray Scale Co-occurrence Matrix Algorithm

YANG Cai-hong, CAI Pei-liang, ZHENG Li-ming, HE Xiao-qiang, DING Cong-long, LIU Mao-chao, LIU Shi-yao

(Qujing Cigarette Factory, Hongyun Honghe (Group) Co., Ltd., Yunnan Qujing 655001, China)

The work aims to solve the problem that traditional brightness, color and other detection methods can not effectively detect whether the cigarette pack (especially the white background of the cigarette pack) is oil-sealed.On the basis of traditional detection methods, the detection method based on gray scale co-occurrence matrix algorithm was added for bulk pack detection. Through the novel hardware architecture design of bulk packet detection, hardware isolation design, camera optimization, mathematical modeling, eigenvalue extraction of gray scale co-occurrence matrix, optimal solution and other processing, the novel bulk pack detection method based on gray scale co-occurrence matrix algorithm could improve the detection accuracy of cigarette pack and effectively detect whether the cigarette pack (especially the light-colored cigarette pack) was oil-sealed, and reduce the flow of unsealed packs into the next process.The novel detection method based on gray scale co-occurrence matrix algorithm could effectively improve the detection accuracy of cigarette pack, and the detection and rejection rate of cigarette pack was ≥99.9%. The novel detection method based on gray scale co-occurrence matrix algorithm can effectively improve the detection accuracy of cigarette pack, especially for light-colored cigarette pack with or without oil seal.

gray scale co-occurrence matrix; eigenvalue; European distance; Manhattan distance; feature vectors

TB487

A

1001-3563(2023)15-0260-09

10.19554/j.cnki.1001-3563.2023.15.034

2023?03?11

楊彩虹（1985—），女，碩士，助理工程師，主要研究方向為煙草裝備電器維修及檢測。

責任編輯：曾鈺嬋