楊超，李佳田*，張澤龍，陸大進，張興憶，楊樹青

YOLOv4-tiny算法的融合模塊在卷煙小包外觀缺失檢測中的應(yīng)用

楊超1，李佳田1*，張澤龍1，陸大進1，張興憶1，楊樹青2

1昆明理工大學國土資源工程學院，昆明 650093；2云南遠足科技有限公司，昆明 650093

卷煙煙包外包裝圖案缺失檢測是卷煙生產(chǎn)中的重要環(huán)節(jié)，目前常用的圖案缺失檢測方法普遍存在漏檢率高、識別精度不夠和速度慢等問題。因此本文提出了一種基于YOLOv4-tiny的煙包缺陷快速檢測方法。該方法主要包括：（1）使用CSPDarknet53-tiny對圖像特征進行提取。（2）通過添加多空間空洞卷積融合模塊，獲得豐富的上下文信息，增強感受野，從而提高模型的檢測精度。（3）使用EIoU邊框位置回歸損失函數(shù)，提高煙盒圖案識別預(yù)測框的精確率。本文方法與YOLOv4-tiny進行對比，實驗結(jié)果表明，本文算法mAP值為97.35%，檢測煙包外觀的平均時間為17 ms，能夠滿足卷煙小包外觀檢測對時間和精確率的要求。相較于YOLOv4-tiny在mAP上提升了1.34%，在Average IoU上提升了3.68%，速度基本與YOLOv4-tiny持平，在保持快速檢測的同時能夠有效的提高精度。

YOLOv4-tiny；EIoU；圖案檢測；多空間空洞卷積融合模塊

卷煙小包外觀檢測是煙包質(zhì)檢的關(guān)鍵環(huán)節(jié)，包裝外觀的質(zhì)量問題會損害到企業(yè)的品牌形象和信譽，尤其是缺少“吸煙有害健康”等警示語[1]。減少有問題的煙包產(chǎn)品進入市場，是企業(yè)質(zhì)量把控的重要一環(huán)。企業(yè)要求高端卷煙小包的外觀缺陷率應(yīng)≤1.50[2]。目前用于檢測卷煙小包外觀缺失的方法主要是模板匹配算法。模板匹配算法預(yù)先選好需要匹配的模板圖像，在待檢測圖像上與模板圖像進行匹配，確定相似度最大的位置，這種方法精度高，但是速度較慢。曾文艷 等[3]在模板匹配算法上進行了改進，減少相關(guān)系數(shù)的計算量，并利用OpenCV進行算法實現(xiàn)，提升了檢測速度；孫海才等[4]提出了一種基于相關(guān)系數(shù)法的改進圖像匹配算法，減少了檢測時間。上述文獻的模板匹配算法主要是通過滑窗的方式確定位置，每次滑窗要計算模板與樣本圖像的相關(guān)值，尺寸越大的樣本圖像或尺寸越小的目標圖像，計算時間越長，并且伴隨需要檢測的目標增多，檢測時間也會成倍增加。深度學習的目標檢測方法為煙包圖案缺失檢測提供了新的途經(jīng)。深度學習常用的目標檢測方法主要分為two-stage檢測算法和one-stage算法。two-stage檢測算法先生成預(yù)選區(qū)域（region proposals），然后對候選區(qū)域進行分類，如RCNN[5]，F(xiàn)ast-RCNN[6]和Faster-RCNN[7]等。one-stage檢測算法則不需要生成預(yù)選區(qū)域，直接確定目標的置信度和位置信息，主要代表有SSD[8]和YOLO[9]?？紤]到時間成本和空間成本，one-stage類目標檢測器大多數(shù)情況能夠做到相同精度下用時更少。在目前工業(yè)目標檢測中，輕量化的YOLOv3[10]和YOLOv4[11]被廣泛使用，薛俊韜等[12]將YOLOv3的主干網(wǎng)絡(luò)替換為MobileNet[13]，有效改善深度網(wǎng)絡(luò)模型龐大以及計算復雜的問題，但是速度較慢。鞠默然等[14]人利用注意力機制來融合不同尺度的特征，對每個通道的特征進行權(quán)重分配，來學習不同通道間特征的相關(guān)性，具有更高的精度。武星等[15]設(shè)計了一種同構(gòu)殘差塊串聯(lián)的特征提取網(wǎng)絡(luò)結(jié)構(gòu)，簡化特征圖尺度，采用深度可分離卷積替換普通卷積。曹遠杰等[16]采用GhostNet所構(gòu)建的殘差結(jié)構(gòu)，降低了網(wǎng)路的參數(shù)量和計算量，加快了推理速度。上述方法都取得了不錯的效果，為YOLOv4應(yīng)用于小包圖案檢測提供了依據(jù)和參考，但以上算法的模型復雜，參數(shù)量大，在本文煙包外觀圖案缺失檢測計算上算力過剩，仍有改進的空間。

當前煙包外觀瑕疵檢測中，存在著以下困難：①被檢測物體由于受到光照等外部條件的影響，會使圖像像素偏離真實值，從而產(chǎn)生誤差，魯棒性不強[3]；②現(xiàn)有目標檢測算法在檢測速度方面還不能完全滿足在工業(yè)流水線上檢測的要求[17]；③在數(shù)據(jù)集較少的情況下，現(xiàn)有算法對檢測物體的定位還存在偏差。為此本文提出一種煙包外觀圖案缺失檢測算法YOLOv4- Case。首先，使用CSPDarknet53-tiny作為算法的主干網(wǎng)絡(luò)對樣本進行特征提??；其次，添加多空間空洞卷積融合模塊，對不同分辨率的特征圖采樣，獲得更加豐富的語義信息和位置信息，增加感受野；最后，使用EIoU Loss作為損失函數(shù)，提高目標定位的精確率。該方法在不損失精度的條件下，提升了檢測速度。

1 YOLOv4-Case算法設(shè)計

1.1 YOLOv4-tiny網(wǎng)絡(luò)

為了提升檢測的精度和速度，各種輕量級目標檢測網(wǎng)絡(luò)被相繼提出，如YOLOv3-tiny和EfficientNet等。YOLOv4-tiny是最近提出的YOLO輕量級網(wǎng)絡(luò)，相較于前代，在檢測精度和速度上都有了較大的提升。YOLOv4-tiny是YOLOv4的精簡版，屬于輕量化模型，參數(shù)只有600萬，縮減了近90%。CSPDarknet53- tiny是YOLOv4-tiny的主干網(wǎng)絡(luò)，由YOLOv4的主干網(wǎng)絡(luò)經(jīng)輕量化處理得到，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。YOLOv4- tiny共有21個卷積層，3個最大池化層和2個步長為2的卷積層壓縮尺寸。兩個輸出層，如果輸入尺寸為416×416時，則最后輸出26×26和13×13兩種大小的輸出層，相較于YOLOv4，省略了52×52的輸出層，模型大小為22.5MB，是YOLOv4的9.22%。其中主干網(wǎng)絡(luò)包含3個Resblock模塊，經(jīng)過1個卷積后，對特征的通道進行分離，取第二部分作為主干部分，接著進行卷積和殘差運算，最后利用最大池化進行尺寸壓縮，該模塊加強了特征的提取能力，提升了特征的重復利用，其結(jié)構(gòu)如圖2所示。

圖1 YOLOv4-tiny的網(wǎng)絡(luò)結(jié)構(gòu)

圖2 Resblock

1.2 多空間空洞卷積融合模塊

在語義分割中，通常需要經(jīng)過卷積和池化提取目標特征信息，但在提取過程中難免會造成圖像失真，導致圖像信息的缺失，如果用擴大卷積核尺寸的方式獲取更大范圍的信息，將增加參數(shù)量，減慢計算速度。YuF等[21]提出了空洞卷積，連續(xù)卷積中添加間隔，在不改變分辨率和不增加參數(shù)的情況下，增加感受野，可以獲得更多細節(jié)信息。傳統(tǒng)卷積與空洞卷積的區(qū)別如圖3所示。傳統(tǒng)卷積的擴張率（dilation）為1，右圖是擴張率為2的空洞卷積。

圖3 傳統(tǒng)卷積與空洞卷積

為提升模型提取特征的性能和檢測精度，更好的捕捉更多的細節(jié)信息，融合多尺度的上下文信息，本文設(shè)計了一種多空間空洞卷積融合模塊，如圖4所示。將輸入的特征圖經(jīng)5個分支提取特征信息，其中3個分支包含不同組合的空洞卷積模塊，卷積核尺寸為3×3，步長為1，擴張率分別為（2,3,4,1）（2,3,5,1）（3,4,5,2），其中1個分支是卷積核尺寸為1×1，步長為1的卷積層組成，提升網(wǎng)絡(luò)的表達能力；最后一個分支先將特征圖做全局平均池化，再由1×1的卷積層提取信息，經(jīng)過上采樣還原尺寸。最后將得到的5個特征圖進行特征融合，再經(jīng)一個卷積層還原通道數(shù)。

圖4 多空間空洞卷積融合模塊

1.3 EIoU的位置回歸

圖5 EioU

本文使用EIoU Loss作為邊框回歸損失函數(shù)，定義如式（6）所示。

本文YOLOv4-Case的模型結(jié)構(gòu)如圖6所示。

2 實驗結(jié)果與分析

2.1 環(huán)境配置

本文實驗環(huán)境由表1所示。

表1 實驗環(huán)境

Tab.1 Experimental environment

2.2 數(shù)據(jù)及模型配置

本文實驗為貼合生產(chǎn)實際，數(shù)據(jù)集采用云南煙廠工業(yè)流水線上由高速相機拍攝的煙包外觀圖像，共采集到3個面共5415張圖像，9個檢測圖案，每個面按70%、20%和10%的比例隨機拆分為訓練集和驗證集，其中訓練集樣本為3791個，驗證集樣本為1083個，測試集樣本為541個。使用labelImg工具對圖片進行標記，生成xml類型的標簽文件。由于數(shù)量過小的數(shù)據(jù)集會導致模型過擬合，所以對圖像進行數(shù)據(jù)增強處理，通過gama變換，平移，旋轉(zhuǎn)，翻轉(zhuǎn)和奇異值分解等操作來增強模型的魯棒性，提升模型的泛化能力。圖7以封口面為例，展示本文數(shù)據(jù)增強表現(xiàn)。

圖7 數(shù)據(jù)增強

構(gòu)建模型，初始學習率設(shè)置為0.0001，batch_size設(shè)置為16，采用Adam優(yōu)化器和余弦退火學習率下降策略（Cosine Annealing LR），每輪更新一次學習率，訓練80輪，訓練結(jié)果的mAP值如圖8所示。

圖8 訓練結(jié)果的mAP值

2.3 評價指標

訓練結(jié)束后使用測試集對模型進行評估。精度評價采用精確率（Precision），召回率（Recall），平均檢測精度（mAP）和平均交并比（Average IoU）4種計算方法。檢測速度評價采用每秒傳輸幀數(shù)（FPS）。

2.4 目標區(qū)域位置檢測準確性對比

在圖9中展示了Efficientdet，YOLOv4-mobilenet，YOLOv4-GhostNet，YOLOv4-tiny這4種的目標檢測算法和本文算法YOLOv4-Case的效果對比。如圖所示，所有模型都能準確識別目標，具有很高的置信度，但是在一些預(yù)測框和真實框的重疊程度上，即MIoU，存在區(qū)別，這也是評價算法優(yōu)劣的重要標準。

由表2可知，在本數(shù)據(jù)集中，Efficientdet、YOLOv4- mobilenet、YOLOv4-GhostNet、YOLOv4-tiny和YOLOv4- Case的mAP分別為93.15%、95.96%、95.63%、96.06%和97.35%，其中Efficientdet的值最低，本文算法表現(xiàn)最佳，較YOLOv4-tiny提升了1.34%。在Average IoU的評價中，本文算法達到了93.48%，是幾種算法中平均交并比最高的，較YOLOv4- tiny提升了3.68%。

在工業(yè)流水線目標檢測中，除精度外，速度也是評價模型優(yōu)劣的重要指標。由表2可知，Efficientdet、YOLOv4-mobilenet、YOLOv4-GhostNet、YOLOv4-tiny和YOLOv4-Case的FPS分別為21、42，48，57和56，本文算法雖然在檢測速度上與YOLOv4-tiny接近，但檢測精確率比YOLOv4-tiny高。以文獻[3]和文獻[4]的方法作為算法一和算法二進行測試列于表2中，結(jié)果表明，在檢測精度和速度上均低于深度學習方法。

圖9 效果對比

表2 Efficientdet、YOLOv4-mobilenetv3、YOLOv4-GhostNet、YOLOv4-tiny、YOLOv4-Case和參考文獻在數(shù)據(jù)集上對比

Tab.2 Comparison of Efficientdet、YOLOv4- mobilenetv3、YOLOv4-GhostNet、YOLOv4-tiny、YOLOv4-Case and the algorithms described in references in Dataset

3 結(jié)論

本文基于YOLOv4-tiny算法進行改進提出了一種用于工業(yè)流水線目標檢測算法，該算法采用CSDarknet53-tiny作為主干網(wǎng)絡(luò)，并使用EIoU進行邊框回歸，通過使用空洞卷積擴展了圖像特征的感受野，以某煙草流水線上獲取的煙盒圖像為數(shù)據(jù)集進行了實驗。實驗結(jié)果表明，該算法與Efficientdet、YOLOv4- mobilenetv3、YOLOv4-GhostNet、YOLOv4-tiny和模板匹配算法相比在速度和精度上具有顯著優(yōu)勢。

[1] 胡群，王黎，李萬珣，等. 煙草制品包裝和標簽履約情況綜述及對我國卷煙包裝影響的思考[J]. 中國煙草學報, 2012, 18(02): 96-100.

HU Qun, WANG Li, LI Wangxun, et al. An overview of worldwide tobacco product packaging and labeling with regard to FCTC implementation and implication on cigarette packaging in China[J]. Acta Tabacaria Sinica, 2012, 18(2): 96-100.

[2] 羅麗芳，洪俊梅，郝靜烈，等. 降低云煙（軟禮印象）小包外觀質(zhì)量缺陷率研究[C]. //云南省煙草學會2013年學術(shù)年會（工業(yè)篇）論文集. 2013: 164-174.

[3] 曾文艷，王亞剛，蔣念平，等. 基于機器視覺的香煙小包裝外觀質(zhì)量檢測系統(tǒng)[J]. 信息技術(shù), 2014(01): 46-49.

ZENG Wenyan, WANG Yagang, JIANG Nianping, et al. Study on Detection System for Appearance Quality of Cigarette Package Based on Machine Vision[J]. Information Technology, 2014(1): 46-49.

[4] 孫海才，疏謙，馬鉞，等. 用于香煙包裝質(zhì)量檢測的圖像匹配算法研究[C]. //第七屆全國信息獲取與處理學術(shù)會議論文集. 2009.

SUN Haicai, SHU Qian, MA Yue, et al. Research on Image Matching Algorithm for Cigarette Case Quality Detection[C]. Proceedings of the Seventh National Conference on Information Acquisition and Processing, 2009.

[5] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedingsof 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA, 2014: 580–587.

[6] FENG TJ, MA LT, DING XQ, et al. Intelligent techniques for cigarette formula design[J]. Mathematics and computers in simulation, 2008, 77(5/6): 476- 486.

[7] Ren S, He K, Girshick R, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149. DOI: 10. 1109/TPAMI. 2016. 2577031.

[8] Liu W, Anguelov D, Erhan D, et al. SSD: Single Shot MultiBox Detector[J]. Lecture Notes in Computer Science, 2016:21–37.

[9] Redmon J , Divvala S , Girshick R , et al. You Only Look Once: Unified, Real-Time Object Detection[J]. IEEE, 2016.

[10] Redmon J, Farhadi A. YOLOv3: An Incremental Improvement[J]. arXiv e-prints, 2018.

[11] Bochkovskiy A, Wang C Y , Liao H . YOLOv4: Optimal Speed and Accuracy of Object Detection[J]. 2020.

[12] 薛俊韜，馬若寒，胡超芳. 基于MobileNet的多目標跟蹤深度學習算法[J/OL].控制與決策:1-6[2021- 07-07].https://doi.org/10. 13195/j.kzyjc.2019.1424.

XUN Juntao, MA Rouhan, HU Chaofang. Deep learning algorithm based on MobileNet for multi-target tracking[J/OL]. Control and Decision, 2020. DOI:10.13195/j.kzyjc.2019.1424

[13] Howard A G, Zhu M, Chen B, et al. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications[J]. 2017.

[14] 鞠默然, 羅江寧, 王仲博, 等. 融合注意力機制的多尺度目標檢測算法[J]. 光學學報, 2020, 40(13): 132-140.

JU Moran, LUO Jiangning, WANG Zhongbo, et al. Multi- Scale Target Detection Algorithm Based on Attention Mechanism[J]. Acta Optica Sinica, 2020, 40(13): 1315002.

[15] 武星，齊澤宇，王龍軍，等. 基于輕量化YOLOv3卷積神經(jīng)網(wǎng)絡(luò)的蘋果檢測方法[J]. 農(nóng)業(yè)機械學報, 2020, 51(8): 17-25.

WU Xing, QI Zeyu, WANG Longjun, et al. Apple Detection Method Based on Light-YOLOv3 Convolutional Neural Network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(8): 17-25.

[16] 曹遠杰, 高瑜翔. 基于GhostNet殘差結(jié)構(gòu)的輕量化飲料識別網(wǎng)絡(luò)[J/OL]. 計算機工程：1-7 [2021-05-22]. https:// doi.org/10.19678/ j.issn.1000-3428.0059966.

CAO Yuejie, GAO Yuxiang. A Lightweight beverage recognition network based on GhostNet residual structure[J/OL]. Computer Engineering, 1-7[2021-05-22].http://doi.org/10.19678/j.issn.1000-3428. 0059966.

[17] 劉浩，賀福強，李榮隆，等. 基于機器視覺的卷煙小盒商標紙表面缺陷在線檢測技術(shù)[J]. 中國煙草學報, 2020, 26(5): 54-59.

LIU Hao, HE Fuqiang, LI Ronglong, et al. On-line detection technology of label paper surface defects of small cigarette packs based on machine vision[J]. Acta Tabacaria Sinica, 2020, 26(05): 54-59

[18] H Rezatofighi, Tsoi N , JY Gwak, et al. Generalized Intersection Over Union: A Metric and a Loss for Bounding Box Regression[C]// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2019.

[19] He K, Zhang X, Ren S, et al. Deep Residual Learning for Image Recognition[J]. 2015: 770- 778.

[20] Lin T Y, Dollar P, Girshick R, et al. Feature Pyramid Networks for Object Detection[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society, 2017.

[21] Yu F, Koltun V, Funkhouser T. Dilated Residual Networks[C]// IEEE Computer Society. IEEE Computer Society, 2017.

Application of fusion module of YOLOv4-tiny algorithm in cigarette packet appearance missing detection

YANG Chao1, LI Jiatian1*, ZHANG Zelong1, LU Dajin1, ZHANG Xingyi1, YANG Shuqing2

1 Faculty of Land Resources Engineering, Kunming University of Science and Technology, Kunming 650093, China;2 Yunnan Yuanzu Science and Technology Ltd. Kunming 650093, China

Cigarette outer package pattern defect detection is a very important link of cigarette production. Currently .the commonly used pattern defect detection methods generally have disadvantages of high error rate, insufficient recognition accuracy and slow speed. Therefore, this paper proposes a YOLOv4-tiny-based method for rapid detection of cigarette packet pattern defects. The method mainly consists of following processes: (1) image feature extraction using CSPDarknet53-tiny. (2) obtaining rich contextual information and enhancing the perceptual field by adding a multi-space cavity convolution fusion module, thus improving the detection accuracy of the model. (3) Using EIoU edge position regression loss function to improve the accuracy of the prediction frame for cigarette cigarette pattern recognition. By comparing the proposed method with YOLOv4-tiny, it shows that the mAP value of the proposed algorithm is 97.35%, and the average time of detecting the appearance of cigarette packet is 17 ms, which can meet the requirements of time and accuracy for cigarette packet appearance detection. Compared with YOLOv4-tiny, it improves by 1.34% in mAP and by 3.68% in Average IoU, and the speed is basically the same as YOLOv4-tiny, indicating higher accuracy while maintaining fast detection speed.

YOLOv4-tiny; EioU; pattern detection; multi-space dilated convolution fusion module

. Email：ljtwcx@163.com

楊超，李佳田，張澤龍，等. YOLOv4-tiny算法的融合模塊在卷煙小包外觀缺失檢測中的應(yīng)用[J].中國煙草學報，2022，28（2）. YANG Chao, LI Jiatian, ZHANG Zelong, et al. Application of fusion module of YOLOv4-tiny algorithm in cigarette packet appearance missing detection[J]. Acta Tabacaria Sinica, 2022, 28 (2).doi:10.16472/j.chinatobacco.2021.046

國家自然科學基金（41561082）

楊超（1995—），碩士，主要研究方向深度學習、計算機視覺，Email：563598286@qq.com

李佳田，Email:ljtwcx@163.com

2021-03-17

2021-12-17