劉軍，辛秋生，李文燦，盧志敏，黃艷輝，楊鳳

基于加權(quán)K-means與GhostNet融合改進(jìn)YOLOv4的卷煙廠物料輸送巷道異物視覺檢測方法

劉軍1，辛秋生2*，李文燦3，盧志敏3，黃艷輝2，楊鳳1

1 衢州學(xué)院機(jī)械工程學(xué)院，浙江衢州九華北大道78號(hào) 324000；2 東華理工大學(xué)機(jī)械與電子工程學(xué)院，江西南昌廣蘭大道418號(hào) 330013；3 龍巖煙草工業(yè)有限責(zé)任公司，福建龍巖乘風(fēng)路1299號(hào) 364000

【目的】針對(duì)卷煙廠物料輸送巷道因人員闖入或穿梭車運(yùn)載散落物料（統(tǒng)一稱為“異物”）導(dǎo)致的安全隱患及其檢測存在的實(shí)時(shí)性和準(zhǔn)確性問題?！痉椒ā刻岢鲆环N改進(jìn)的YOLOv4的物料輸送巷道異物視覺檢測方法。采用融合SE注意力機(jī)制的GhostNet作為YOLOv4模型特征提取網(wǎng)絡(luò)，一方面解決CSPDarknet53參數(shù)過多而導(dǎo)致實(shí)時(shí)性差的問題，另一方面增強(qiáng)小物體特征提取能力；利用加權(quán)K-means對(duì)錨框進(jìn)行聚類，解決初始錨框?qū)ο锏喇愇锊贿m應(yīng)問題?！窘Y(jié)果】通過卷煙廠物料輸送巷道狀態(tài)數(shù)據(jù)集訓(xùn)練與現(xiàn)場應(yīng)用，該方法對(duì)異物的平均檢測精度達(dá)98.48%，誤檢率為0.62%，檢測速度為58 FPS?！窘Y(jié)論】該方法達(dá)到較好的檢測效果且具有較好的泛化能力。

穿梭車；YOLOv4；視覺檢測；SE注意力機(jī)制；加權(quán)K-means；錨框

物料輸送穿梭車的安全運(yùn)行是保證卷煙廠生產(chǎn)的重要環(huán)節(jié)，穿梭車運(yùn)行的物料輸送巷道的轉(zhuǎn)彎、銜接等形成不可避免的防護(hù)缺口，運(yùn)行中的穿梭車裝載的物料亦難免出現(xiàn)散落狀況，導(dǎo)致穿梭車運(yùn)行故障甚至存在安全隱患，因此對(duì)物料輸送巷道的實(shí)時(shí)安全檢測具有重要意義。

目前卷煙廠物料輸送巷道普遍采用人工巡檢[1]和激光檢測方法。人工巡檢是通過現(xiàn)場人工巡查或人眼觀察輸送巷道監(jiān)控視頻，以確保穿梭車安全運(yùn)行，人工方法雖能較準(zhǔn)確排除安全隱患，但實(shí)時(shí)性無法保障。激光檢測法則通過定點(diǎn)安裝的單點(diǎn)激光發(fā)射-穿梭車上的某點(diǎn)反射-激光接收的方式反饋輸送巷道是否通暢，該方法雖然可實(shí)現(xiàn)實(shí)時(shí)檢測，但除了激光發(fā)射-反射路徑之外皆為盲區(qū)，產(chǎn)生嚴(yán)重的漏檢現(xiàn)象，無法保證穿梭車的安全運(yùn)行。

隨著人工智能深度學(xué)習(xí)的發(fā)展，機(jī)器視覺檢測及其應(yīng)用取得了跨越性的提升，利用基于深度學(xué)習(xí)方法對(duì)軌道/巷道安全運(yùn)行檢測的研究獲得了較多關(guān)注與深入開展。張雪艷[2]提出單定點(diǎn)多邊框檢測器SSD（single shot Multibox Detector）用于運(yùn)輸軌道異物檢測，旨在解決軌道異物目標(biāo)檢測特征提取難度高、算法性能易受周圍環(huán)境影響的問題，但該算法的實(shí)時(shí)性和預(yù)測框的準(zhǔn)確度不高。王偉[3]利用改進(jìn)的運(yùn)動(dòng)目標(biāo)自適應(yīng)ViBe算法進(jìn)行軌道異物入侵檢測方法，以抑制ViBe算法的Ghost區(qū)域，減少因環(huán)境變化產(chǎn)生誤檢或漏檢情況，但該算法對(duì)小目標(biāo)檢測的適應(yīng)性較差。劉力[4]提出一種歐式距離度量代替隨機(jī)選擇的K-means軌道障礙物檢測方法，用以解決侵限異物檢測方法檢測類別單一性和實(shí)時(shí)性差的問題，但該方法的檢測精度與對(duì)小目標(biāo)物體檢測未達(dá)到良好效果。

針對(duì)卷煙廠物料輸送穿梭車的安全運(yùn)行和現(xiàn)有方法存在的原理和適用性問題，本文提出一種基于加權(quán)K-means（Weighted K-means，WK-means）與GhostNet融合YOLOv4的物料輸送巷道異物檢測方法。首先利用WK-means對(duì)錨框進(jìn)行聚類，解決初始錨框?qū)ο锏喇愇锊贿m應(yīng)問題，再采用融合SE注意力機(jī)制的GhostNet作為YOLOv4模型特征提取網(wǎng)絡(luò)，在解決CSPDarknet53參數(shù)過多而導(dǎo)致實(shí)時(shí)性差的問題的同時(shí)增強(qiáng)小物體特征提取能力，進(jìn)而實(shí)現(xiàn)物料輸送巷道異物的在線、準(zhǔn)確檢測。

1 改進(jìn)的YOLOv4模型目標(biāo)檢測模型

1.1 YOLOv4模型

1.2 GhostNet-SE網(wǎng)絡(luò)模型

針對(duì)YOLOv4模型中CSPDarknet53參數(shù)過多而導(dǎo)致實(shí)時(shí)性差的問題，同時(shí)為增強(qiáng)小物體特征提取能力，采用融合SE注意力機(jī)制的GhostNet作為YOLOv4模型特征提取網(wǎng)絡(luò)，以Ghost模塊為核心，結(jié)合傳統(tǒng)卷積和線性變換[6]。Ghost模塊是基于傳統(tǒng)卷積生成特征圖再利用特征圖進(jìn)行線性變換得到相似特征圖，從而產(chǎn)生高維卷積效果的方式，減少了模型參數(shù)和計(jì)算量。

為豐富特征圖的特征信息，將SE（Squeeze-and- Excitation）注意力模塊[7]與GhostNet融合進(jìn)行特征提取，旨在確保異物特征提取魯棒性的同時(shí)增加異物特征的權(quán)重[8]。

SE注意力機(jī)制如圖1所示。SE注意力機(jī)制首先將物料輸送巷道圖像經(jīng)過GhostNet獲取特征層X（圖像通道數(shù)、圖像高度和圖像寬度分別為c、h和w）進(jìn)行傳統(tǒng)卷積獲得特征層Y（圖像通道數(shù)、圖像高度和圖像寬度分別為1、h和w），再將特征層Y通過SE注意力模塊，包括Squeeze和Excitation兩項(xiàng)操作，即（1）對(duì)特征層Y進(jìn)行全局平均池化，把×w的特征層轉(zhuǎn)化為1×1的特征層；（2）將1×1的特征層經(jīng)過兩個(gè)全連接層，獲得不同通道的比重。最后利用sigmoid對(duì)比重信息進(jìn)行歸一化處理獲得通道權(quán)重，將通道權(quán)重分別與Y對(duì)應(yīng)的1個(gè)通道特征圖數(shù)據(jù)相乘，得到新的1××w的特征層。

圖1 SE注意力機(jī)制

圖2 YOLOv4-GhostNet-SE網(wǎng)絡(luò)結(jié)構(gòu)

利用SE注意力模塊改進(jìn)GhostNet網(wǎng)絡(luò)中19×19、38×38和76×76三種大小不同的特征圖與特征提取網(wǎng)絡(luò)上采樣輸出的特征圖進(jìn)行融合拼接，得到最終檢測模型的特征層。改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

2 Wk-means優(yōu)化錨框算法

YOLOv4目標(biāo)檢測訓(xùn)練時(shí)采用預(yù)先設(shè)定先驗(yàn)錨框參數(shù)的方式，該方法對(duì)COCO、VOC等數(shù)據(jù)集[9]有較好的適應(yīng)性，而本文數(shù)據(jù)集檢測目標(biāo)主要是穿梭車、人及凳子，與COCO、VOC等開放環(huán)境的數(shù)據(jù)集的多種檢測目標(biāo)存在較大差異，且不同的檢測目標(biāo)適合的先驗(yàn)框大小也各異，導(dǎo)致YOLOv4的錨框機(jī)制并不適用于卷煙廠物料輸送巷道運(yùn)行狀態(tài)數(shù)據(jù)集。

因此采用加權(quán)K-means（WK-means）聚類算法對(duì)錨框進(jìn)行加權(quán)聚類處理，每個(gè)特征維度賦予初始權(quán)重值，等到目標(biāo)函數(shù)收斂，非目標(biāo)檢測區(qū)域所對(duì)應(yīng)的權(quán)重趨于0，從而盡可能降低非目標(biāo)區(qū)域?qū)ο锏喇愇锬繕?biāo)的影響，提高異物的檢測精度。

ModBus總線是在硬件基礎(chǔ)上的一種通信協(xié)議，該協(xié)議應(yīng)用廣泛，被很多廠家支持。各個(gè)不同的廠家可以通過該協(xié)議進(jìn)行相互的數(shù)據(jù)傳輸。ModBus協(xié)議是通過不同的命令確定需要進(jìn)行的操作功能。

WK-means聚類算法的目標(biāo)函數(shù)為：

并且所有的權(quán)重應(yīng)服從：

其中A表示簇分配矩陣：

C表示簇中心矩陣：

W為權(quán)重矩陣：

3 實(shí)驗(yàn)及結(jié)果分析

3.1 數(shù)據(jù)集

在龍巖煙草工業(yè)有限責(zé)任公司卷煙廠輔料庫搭建視覺系統(tǒng)采集物料輸送巷道運(yùn)行狀態(tài)圖像數(shù)據(jù)集。該數(shù)據(jù)集的巷道異物主要包括闖入的人員和穿梭車運(yùn)載散落輔料，數(shù)據(jù)集樣例如圖3所示。

圖3 卷煙廠物料輸送巷道狀態(tài)視覺數(shù)據(jù)集樣例

Fig.3 Samples of visual data set of material conveying roadway in cigarette factory

數(shù)據(jù)集由分辨率為390×882，格式為bmp的共4686張圖像構(gòu)成。數(shù)據(jù)預(yù)處理使用LableImg對(duì)數(shù)據(jù)集上面的穿梭車、人及散落物料進(jìn)行標(biāo)記，標(biāo)簽文件為xml格式。

3.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境如表1所示。

表1 實(shí)驗(yàn)環(huán)境

Tab.1 Experimental environment

3.3 模型訓(xùn)練

將數(shù)據(jù)集按9∶1的比例隨機(jī)劃分為訓(xùn)練集和驗(yàn)證集。訓(xùn)練階段的參數(shù)設(shè)置為：采用Adam自適應(yīng)梯度下降算法，權(quán)重衰減設(shè)置為0；Focal Loss平衡正負(fù)樣本，正負(fù)樣本平衡參數(shù)設(shè)置為0.25，難易分類樣本平衡參數(shù)設(shè)置為2；學(xué)習(xí)率等間隔調(diào)整策略的最大學(xué)習(xí)率設(shè)置為0.001，最小學(xué)習(xí)率為0.00001。

然后對(duì)物料輸送巷道運(yùn)行狀態(tài)數(shù)據(jù)集進(jìn)行訓(xùn)練，實(shí)驗(yàn)中共訓(xùn)練100個(gè)Epoch，同時(shí)保留每個(gè)Epoch對(duì)應(yīng)的權(quán)值文件，訓(xùn)練獲得損失曲線如圖4所示，可知，模型的總損失在前5個(gè)Epoch的下降速度較快，當(dāng)Epoch至20之后train loss和val loss基本保持穩(wěn)定，表明該算法的學(xué)習(xí)率衰減明顯，且較快地達(dá)到了最優(yōu)值。

3.4 實(shí)驗(yàn)評(píng)估指標(biāo)

模型使用檢測速度(Frames Per Second, FPS)、平均檢測精度(Mean Average Precision, MAP)、精確率(Precision)、召回率(Recall)和誤檢率(Noise factor)作為評(píng)估指標(biāo)，計(jì)算式分別為：

3.5 實(shí)驗(yàn)結(jié)果分析

網(wǎng)絡(luò)模型尺寸越大，對(duì)處理器性能要求越嚴(yán)格[10]。主干特征提取網(wǎng)絡(luò)模型參數(shù)量跟模型尺寸成正比，各常用的輕量級(jí)特征提取網(wǎng)絡(luò)主要有Densenet[11]、Vgg[12]、Mobilenet[13]、Resnet[14]及GhostNet。其網(wǎng)絡(luò)參數(shù)量如表2所示。利用本文數(shù)據(jù)集對(duì)多種輕量級(jí)特征提取網(wǎng)絡(luò)進(jìn)行訓(xùn)練，其中GhostNet的參數(shù)量最少，也即GhostNet的特征提取網(wǎng)絡(luò)速度最快。

表2 各輕量級(jí)特征提取網(wǎng)絡(luò)參數(shù)量

Tab.2 Parameter quantity of the lightweight feature extraction networks

為驗(yàn)證GhostNet-SE特征提取網(wǎng)絡(luò)的優(yōu)越性，在相同訓(xùn)練集和驗(yàn)證集上，對(duì)表2中算法與改進(jìn)模型進(jìn)行消融實(shí)驗(yàn)。利用常用的輕量級(jí)特征提取網(wǎng)絡(luò)代替YOLOv4的CSPDarkNet 53網(wǎng)絡(luò)，并驗(yàn)證檢測性能，結(jié)果如表3所示。由性能對(duì)比結(jié)果可知GhostNet在檢測速度（FPS）和精度（MAP）上都具有優(yōu)越性。

表3 輕量級(jí)特征提取網(wǎng)絡(luò)與本文方法的檢測性能對(duì)比

Tab.3 Comparison of detection performance between the lightweight feature extraction networks and the proposed method

利用WK-means聚類算法對(duì)錨框進(jìn)行優(yōu)化，并和K-means錨框優(yōu)化算法針對(duì)該模型進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表4所示。WK-means聚類算法比K-means檢測性能的檢測速度提高了3 FPS，平均檢測精度提高了1.1%，召回率提高了0.18%，精確率提高了1%，誤檢率下降了0.08%。

表4 WK-means對(duì)算法的影響

Tab.4 Influence of WK-means on the algorithm

綜上可知，本文提出的YOLOv4-GhostNet-SE- WK-means模型對(duì)卷煙廠物料輸送巷道異物具有較好的檢測效果，檢測效果圖如圖5所示。該算法的檢測速度達(dá)到58 FPS，平均檢測精度為98.48%，誤檢率為0.62%。

為了進(jìn)一步研究驗(yàn)證該模型的泛化能力，利用VOC2007數(shù)據(jù)集和COCO數(shù)據(jù)集上對(duì)本文模型進(jìn)行訓(xùn)練，檢測結(jié)果如表5所示。

表5 本文模型在VOC2007和COCO數(shù)據(jù)集的檢測結(jié)果

由表5可知，該模型對(duì)于VOC2007和COCO2017數(shù)據(jù)集的檢測精度均達(dá)到90%以上，檢測速度分別為48 FPS和52 FPS，誤檢率分別為3.15%和2.93%，表明該模型在VOC2007和COCO數(shù)據(jù)集上也具備良好的檢測性能，具有較好的泛化能力。

4 結(jié)論

本文采用機(jī)器視覺實(shí)現(xiàn)卷煙廠物料輸送巷道異物檢測，同時(shí)解決異物識(shí)別存在的實(shí)時(shí)性和準(zhǔn)確性問題，得出結(jié)論如下：

（1）提出了一種GhostNet改進(jìn)YOLOv4的卷煙廠物料輸送巷道異物檢測模型。

（2）采用SE注意力機(jī)制融合GhostNet特征提取網(wǎng)絡(luò)，加強(qiáng)特征提取網(wǎng)絡(luò)的提取能力，豐富特征圖信息，提高模型的檢測速度和精度。

（3）利用WK-means聚類算法對(duì)錨框進(jìn)行優(yōu)化，去除不適合卷煙廠巷道異物檢測的錨框，提高目標(biāo)的檢測速度，降低模型的誤檢率。

實(shí)驗(yàn)表明，該模型比YOLOv4模型平均精度提升了4.61%，檢測速度提高了26.59 FPS，且具有良好的泛化能力。與常用的輕量級(jí)特征提取網(wǎng)絡(luò)相比，表現(xiàn)出了較強(qiáng)的優(yōu)越性，實(shí)現(xiàn)了卷煙廠物料輸送巷道異物的準(zhǔn)確檢測，為物料輸送穿梭車的安全運(yùn)行提供了可靠保證。

[1] 鐘亮，黎利華. 多層穿梭車技術(shù)在煙草物流中的應(yīng)用研究[J]. 物流技術(shù)與應(yīng)用，2018, 23(10): 175-177.

ZHONG Liang, LI LIhua. Research on application of multi-layer shuttle vehicle technology in tobacco logistics[J]. Logistics & Material Handling, 2018, 23(10): 175-177.

[2] 張雪艷. SSD算法及其在鐵路場景異常目標(biāo)檢測中的應(yīng)用研究[D].北方工業(yè)大學(xué)，2019.

ZHANG Xueyan. Research on SSD algorithm and its application in abnormal object detection in railway scene[D]. North China University of Technology, 2019.

[3] 王偉. 運(yùn)輸軌道周界異物入侵檢測方法研究[D]. 蘭州交通大學(xué)，2020.

WANG Wei. Research on foreign body Intrusion Detection in Rail transportation perimeter[D]. Lanzhou Jiaotong University, 2020.

[4] 劉力，茍軍年. 基于YOLO v4的鐵道侵限障礙物檢測方法研 究[J]. 鐵道科學(xué)與工程學(xué)報(bào)，2022, 19(2):9.

LIU Li, GOU Junnian. Research on railway intrusion obstacle detection method based on YOLO v4[J]. Journal of Railway Science and Engineering, 2022, 19(2):9.

[5] LIU Jinhui. Multi-target detection method based on YOLOv4 convolutional neural network[J]. Journal of Physics: Conference Series, 2021, 1883(1).

[6] HAN Kai, WANG Yunhe, TIAN Qi, et al. GhostNet: More features from cheap operations[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE Computer Society, 2020: 1580-1589.

[7] HU J, SHEN L, SUN G. Squeeze-and-excitation Networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 7132-7141.

[8] HUANG J Z, NG M K, RONG H, et al. Automated variable weighting in k-means type clustering[J]. IEEE Transactions on Pattern Analysis and Machine Intelli gence, 2005, 27(5): 657-668.

[9] 藍(lán)新斌，李富盛，余濤. 基于改進(jìn)長短時(shí)記憶網(wǎng)絡(luò)的短期負(fù)荷預(yù)測方法[J]. 新型工業(yè)化，2019, 9(11): 6-9.

LAN Xinbin, LI Fusheng, YU Tao. Short term load forecasting method based on improved short term memory network[J]. Modern Computer, 2019, 9(11): 6-9.

[10] 付思琴，邱濤，王權(quán)順，等. 基于改進(jìn)YOLOv4的焊接件表面缺陷檢測算法[J/OL]. 包裝工程，2022.

FU Siqin, QIU Tao, WANG Quanshun, et al. Welding surface defect detection algorithm based on improved YOLOv4 [J/OL]. Packaging Engineering, 2022.

[11] Girshick R, Donahue J, Darrell T, et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[J]. IEEE Computer Society, 2013.

[12] Sengupta A, Ye YT, Wang R, et al. Going deeper in spiking neural networks: VGG and residual architectures[J]. Front Neurosci, 2019, 13: 95.

[13] Howard A G, Zhu M, Chen B, et al. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications[J]. 2017.

[14] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Long Beach, CA, USA: IEEE Computer Society, 2016: 770-778.

Improved YOLOv4 visual detection method of foreign bodies in material delivery roadway of cigarette factory based on the fusion of weighted K-means and GhostNet

LIU Jun1, XIN Qiusheng2*, LI Wencan3, LU Zhimin3, HUANG Yanhui2, YANG Feng1

1 College of Mechanical Engineering, Quzhou University, Quzhou 324000, China;2 School of Mechanical and Electronic Engineering, East China University of Technology, Nanchang 330013, China;3 Longyan Tobacco Industry Co., Ltd., Longyan 364000, China

[Objective] There are inevitable hidden dangers in material conveying roadway in cigarette factory caused by intrusion of outsiders and the material falling into the roadway from the shuttle car. We call the intrusion of outsiders and falling material "foreign objects" in this article. Besides, it is difficult to detect the foreign objects in real-time and accurately. [Methods] This article proposed an improved YOLOv4 visual detection method for foreign objects in material conveying roadway. An combined GhostNet-SE model, which fuses GhostNet model SE attention mechanism, was used as the feature extraction network of YOLOv4 model. On the one hand, it solved the problem of poor real-time performance caused by too many parameters of CSPDarknet53. On the other hand, it enhanced the feature extraction ability of small objects. Then, the weighted K-means method was used to cluster the anchor frame to solve the problem that the initial anchor frame does not adapt to the foreign objects in the roadway. [Results] Finally, by training of the image data set of material conveying roadway and field application in cigarette factory, the average detection accuracy of the method in this article was 98.48%, the false detection rate was 0.62%, and the detection speed was 58FPS. [Conclusion] The results show that the proposed method achieves good detection results, and it has a good generalization ability.

shuttle car; YOLOv4; visual detection; SE attention mechanism; weighted K-means; anchor box

Corresponding author. Email：1318992050@qq.com

國家自然科學(xué)基金“復(fù)合式連鑄鑄坯表面在線測溫方法”（No. 61963002）；遼寧省教育廳基本科研項(xiàng)目“基于深度學(xué)習(xí)的輕量化裂縫檢測方法研究”（No. LJKMZ20220478）

劉軍（1981—），博士，副教授，碩士生導(dǎo)師，主要研究復(fù)雜過程參數(shù)檢測、系統(tǒng)建模、人工智能等，Tel：18070024180，Email：1528673750@qq.com

辛秋生（1995—），碩士，主要研究人工智能，Tel：15970512292，Email：1318992050@qq.com

2022-08-18；

2023-03-09

劉軍，辛秋生，李文燦，等. 基于加權(quán)K-means與GhostNet融合改進(jìn)YOLOv4的卷煙廠物料輸送巷道異物視覺檢測方法[J]. 中國煙草學(xué)報(bào)，2023，29（5）. LIU Jun, XIN Qiusheng, LI Wencan, et al. Improved YOLOv4 visual detection method of foreign bodies in material delivery roadway of cigarette factory based on the fusion of weighted K-means and GhostNet[J]. Acta Tabacaria Sinica, 2023, 29(5). doi:10.16472/j.chinatobacco.2022.T0225