郭洲，黃詩浩，謝文明，呂暉，張旋旋，陳哲

融入注意力機制的輕量化可回收垃圾檢測方法

郭洲1,2，黃詩浩1,2，謝文明2，呂暉1,2，張旋旋1,2，陳哲1,2

（1.福建省汽車電子與電驅(qū)動技術(shù)重點實驗室，福州 350118； 2.福建工程學院 電子與電氣物理學院，福州 350118）

針對目前智能垃圾分類設(shè)備使用的垃圾檢測方法存在檢測速度慢且模型權(quán)重文件較大等問題，提出一種基于YOLOv4的輕量化方法，以實現(xiàn)可回收垃圾的檢測。采用MobileNetV2輕量級網(wǎng)絡(luò)為YOLOv4的主干網(wǎng)絡(luò)，用深度可分離卷積來優(yōu)化頸部和頭部網(wǎng)絡(luò)，以減少參數(shù)量和計算量，提高檢測速度；在頸部網(wǎng)絡(luò)中融入CBAM注意力模塊，提高模型對目標特征信息的敏感度；使用K?means算法重新聚類，得到適合自建可回收數(shù)據(jù)集中檢測目標的先驗框。實驗結(jié)果表明，改進后模型的參數(shù)量減少為原始YOLOv4模型的17.0%，檢測的平均精度達到96.78%，模型權(quán)重文件的大小為46.6 MB，約為YOLOv4模型權(quán)重文件的19.1%，檢測速度為20.46幀/s，提高了約25.4%，檢測精度和檢測速度均滿足實時檢測要求。改進的YOLOv4模型能夠在檢測可回收垃圾時保證較高的檢測精度，同時具有較好的實時性。

可回收垃圾檢測；MobileNetV2；YOLOv4；注意力機制；深度學習

隨著經(jīng)濟的快速發(fā)展，人們的生活水平進一步提高，伴隨而來的垃圾產(chǎn)出數(shù)量也在逐年增加，垃圾對環(huán)境、人們的健康造成的影響也日益凸顯，垃圾處理面臨著巨大的挑戰(zhàn)。垃圾分類是減少垃圾處理量的一種有效方式。由于目前垃圾的種類繁多，很難實現(xiàn)準確分類。隨著人工智能的快速發(fā)展及計算機算力的不斷提升，垃圾分類研究已經(jīng)受到國內(nèi)外學者的廣泛關(guān)注，尤其是對能高效分揀垃圾的智能垃圾分揀設(shè)備的研究。比如，美國光學分類設(shè)備生產(chǎn)公司設(shè)計的Max?AI智能分類機器人，通過掃描物體形狀來實現(xiàn)分類，其準確率較高；日本的FANUC分揀機器人，利用視覺分析系統(tǒng)對物品進行跟蹤和分類；中國的Picking AI垃圾分類機器人，利用人工智能算法、機器人控制等技術(shù)實現(xiàn)垃圾分揀。上述分揀機器人的分揀功能較單一、占用面積較大、價格昂貴，因此無法大規(guī)模應(yīng)用。隨著深度學習技術(shù)的快速發(fā)展，基于深度學習模型解決的問題也越來越多。由此，可以將深度學習技術(shù)應(yīng)用于智能垃圾分揀設(shè)備，以解決當前垃圾分類困難和人工分揀效率低等問題。

近年來，基于深度學習技術(shù)的目標檢測算法發(fā)展迅速[1]。目標檢測算法主要分為兩階段算法和一階段算法。兩階段算法首先采用傳統(tǒng)的選擇性搜索（Selective Search）及后來更新的區(qū)域生成網(wǎng)絡(luò)（Region Proposal Network，RPN）生成候選區(qū)域，然后對候選區(qū)域特征進行提取和分類，得到最終的檢測結(jié)果，其特點是精度較高，缺點是檢測速度較慢，以Fast R?CNN（Fast Region-Convolutional Neural Network）[2]、Faster R?CNN[3]等算法為代表。一階段算法直接在整張圖片中生成若干候選框，即可同時得到目標的位置和類別信息。雖然一階段算法的準確率相對于兩階段算法較低，但其檢測速度更快。目前，通常將一階段算法用于實時檢測的場景，以SSD（Single Shot Multibox Detector）[4]、YOLO（You Only Look Once）[5-8]系列，以及RetinaNet[9]等算法為代表。其中，RetinaNet提出的 Focal Loss解決了一階段算法正負樣本不均衡的問題，提高了一階段算法的檢測精度。當前，深度學習目標檢測方法在垃圾目標檢測方面開展了一系列研究。趙珊等[10]提出了一種基于IFPN+MobilenetV2?SSD模型的垃圾實時分類檢測方法，使用MobileNetV2作為SSD的主干網(wǎng)絡(luò)，加入帶有空洞卷積的空間金字塔池化模塊，提高了模型的檢測精度和檢測速度。馬雯等[11]提出了改進的Faster R?CNN垃圾目標檢測模型，實驗結(jié)果表明，與傳統(tǒng)Faster R?CNN算法相比，其平均精確度提高了8.26%，綜合識別率達到81.77%。許偉等[12]提出了一種基于YOLOv3算法的輕量級垃圾目標檢測算法，能有效地對垃圾目標進行檢測。李慶等[13]基于YOLOv4提出了嵌入注意力機制的目標檢測算法Attn?YOLOv4，經(jīng)實驗驗證，比原始YOLOv4算法的平均精度（Mean Average Precision，mAP）提高了0.16%，實現(xiàn)了對運動垃圾的快速穩(wěn)定跟蹤，在20 mm誤差范圍內(nèi)達到0.945的精確度。Kumar等[14]建立了一個垃圾數(shù)據(jù)集，共包含數(shù)量為6317張的垃圾圖像，在YoLov4模型中訓練，平均精度達到94.99%。

上述方法雖然在一定程度上有效地提高了垃圾分類檢測的精度和速度，但很多檢測方法的參數(shù)過多，導致內(nèi)存占用較大，其檢測精度和速度存在較大的改進空間；存在不注意特定場景和標準數(shù)據(jù)集場景之間差異的問題，不能達到與通用數(shù)據(jù)集相同的結(jié)果；存在因垃圾目標樣本中的小目標樣本導致的正、負樣本不平衡，從而出現(xiàn)垃圾分類檢測精度低的問題。針對以上問題，文中提出了一種基于YOLOv4改進的輕量化可回收垃圾檢測方法，通過優(yōu)化網(wǎng)絡(luò)模型結(jié)構(gòu)和減少模型參數(shù)來提升檢測精度和檢測速度，使網(wǎng)絡(luò)模型在滿足檢測精度的同時保證了檢測速度。

1 相關(guān)網(wǎng)絡(luò)模型及原理介紹

1.1 YOLOv4網(wǎng)絡(luò)模型

YOLOv4是一種端到端的目標檢測模型，在YOLOv3的基礎(chǔ)上進行改進，并經(jīng)過不斷的模型優(yōu)化，模型的檢測精度和速度達到了不錯的水平。YOLOv4整體結(jié)構(gòu)大致分為3個部分。

1）主干特征提取網(wǎng)絡(luò)。YOLOv4采用CSPDarknet53作為主干（Backbone），包含由29個卷積層堆疊而成的5組（Cross Stage Partial Network，CSPNet）模塊[15]。CSPNet結(jié)構(gòu)可以增強卷積網(wǎng)絡(luò)的學習能力，減少模型的計算量。通過對主干網(wǎng)絡(luò)進行特征提取，得到了3個有效特征圖，尺度分別為13×13、26×26、52×52。不同尺度的特征圖包含不同維度的目標語義信息。

2）頸部特征融合網(wǎng)絡(luò)。包含空間金字塔池化（Space Pyramid Pool，SPP）模塊[16]和路徑聚合網(wǎng)絡(luò)（Path Aggregation Network，PANet）[17]2個部分，SPP網(wǎng)絡(luò)對Backbone輸出的13×13特征圖進行了1×1、5×5、9×9、13×13等4種尺度的最大池化（Maxpooling）操作，有效提高了網(wǎng)絡(luò)的感受野。PANet相較于特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN），增加了一條自下而上的增強路徑，加強了對淺層信息的提取，提高了模型的檢測精度。

3）頭部預(yù)測網(wǎng)絡(luò)。對特征融合網(wǎng)絡(luò)輸出的3個不同大小特征圖的信息進行解碼，分別檢測小、中、大3個目標，在原圖上輸出檢測目標的位置和類別。

1.2 MobileNetV2網(wǎng)絡(luò)結(jié)構(gòu)

深度可分離卷積將卷積分為2個過程：深度卷積，采用3×3的卷積核進行DWConv操作；逐點卷積，采用1×1的卷積核進行普通卷積操作。深度可分離卷積操作在參數(shù)量和計算量上比標準卷積操作更少，標準卷積和深度可分離卷積兩者的卷積過程如圖1—2所示。

圖1 標準卷積

圖2 深度可分離卷積

對于輸入為F×F×的特征圖，F(xiàn)為輸入特征圖的高度或?qū)挾?，為通道?shù)。對特征圖進行卷積操作，卷積核大小為K×K，卷積核的數(shù)量為，通道數(shù)為1，輸出特征圖的大小為G×G×，G為輸出特征圖的高度或?qū)挾龋瑸橥ǖ罃?shù)。

對特征圖進行標準卷積的過程中的計算量1和參數(shù)量1如式（1）—（2）所示。

在對特征圖進行深度可分離卷積過程中的計算量2和參數(shù)量2如式（3）—（4）所示。

深度可分離卷積與標準卷積計算量之比的計算如式（5）所示。

MobileNetV2是在MobileNetV1的基礎(chǔ)上引入具有線性瓶頸的倒殘差結(jié)構(gòu)[18]。殘差模塊先對特征圖進行壓縮，然后再擴張，而倒殘差結(jié)構(gòu)與之相反，先對特征圖進行擴張，然后再壓縮。MobileNetV2有2種倒殘差模塊，如圖3所示。當stride=1時，特征圖首先通過一個1×1的卷積來提升通道維度，且激活函數(shù)使用ReLU6，然后通過一個3×3的深度卷積進行特征提取，且激活函數(shù)使用ReLU6，最后通過一個1×1的卷積來降低通道維度，并采用線性激活函數(shù)。為了避免特征信息的損失，采用Linear線性激活函數(shù)，接著將輸出結(jié)果與輸入進行shortcut拼接。當stride=2時，與stride=1時的原理差不多，唯一不同的是無shortcut拼接。因為輸出和輸入的特征圖尺度不一樣，所以無法進行shortcut拼接。

圖3 具有線性瓶頸的倒殘差模塊

CSPDarknet 53與MobileNetV2各層計算量和參數(shù)量的對比如表1所示。2種網(wǎng)絡(luò)結(jié)構(gòu)均使用了2種大小為3×3和1×1的卷積核。在不考慮激活函數(shù)層、BN層和全連接層的影響下，設(shè)置輸入圖片的尺寸為416×416×3，各層的計算量和參數(shù)量如表1—2所示。

表1 CSPDarknet 53各層的計算量與參數(shù)量

Tab.1 Computational and parametric quantities for each layer of CSPDarknet 53

注：3×3/2表示步長為2的卷積，其余步長均為1。

表2 MobileNetV2各層的計算量與參數(shù)量

Tab.2 Computational and parametric quantities for each layer of MobileNetV2

2 YOLOv4模型輕量化

2.1 主干網(wǎng)絡(luò)優(yōu)化

原始的YOLOv4模型存在參數(shù)過多、計算量大等缺點，因此為了減少參數(shù)量、提高檢測速度，使減少參數(shù)量與提高檢測速度這兩者之間達到最優(yōu)平衡，文中采用參數(shù)量少的輕量級網(wǎng)絡(luò)MobileNetV2來作為模型Backbone。由MobileNetV2替換CSPDarknet53重新構(gòu)建的主干網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，經(jīng)過主干網(wǎng)絡(luò)特征提取后，獲得了3個有效特征層，分別為52×52×32、26×26×96、13×13×320，這3個有效特征層將作為頸部網(wǎng)絡(luò)的輸入。

圖4 重新構(gòu)建的主干網(wǎng)絡(luò)結(jié)構(gòu)

2.2 頸部網(wǎng)絡(luò)和頭部網(wǎng)絡(luò)優(yōu)化

為了進一步減少模型的參數(shù)，對頸部和頭部網(wǎng)絡(luò)進行了優(yōu)化。因為在頸部和頭部網(wǎng)絡(luò)中存在許多三次和五次卷積塊，并且在三次和五次卷積塊中存在大量步長為1的3×3卷積，同時在頸部網(wǎng)絡(luò)中的二倍下采樣（DownSampling）模塊中也存在步長為2的3×3卷積，這都將造成大量的卷積運算，影響模型的推理速度，所以將三次和五次卷積塊及二倍下采樣模塊中的3×3卷積修改為3×3的深度可分離卷積。同時，為了使網(wǎng)絡(luò)模型更加關(guān)注待檢測目標的高層語義特征，文中受到CBAM的啟發(fā)，采用通道注意力模塊來增大感興趣區(qū)域特征通道的權(quán)重，并且通過空間注意力模塊來關(guān)注感興趣區(qū)域的空間位置，增大有意義特征區(qū)域的權(quán)重，減少無效區(qū)域的權(quán)重[19]。CBAM模型如圖5所示。通道注意力模塊的主要實現(xiàn)過程：首先對輸入的特征圖進行全局空間最大池化和平均池化，得到2個維度為1×1×的特征圖，然后將它們輸入1個2層的共享神經(jīng)網(wǎng)絡(luò)（Multilayer Perceptron，MLP），得到2個特征向量，再將它們求和，通過激活函數(shù)得到通道注意力權(quán)重參數(shù)c()，最后將權(quán)重系數(shù)c()與原特征圖相乘，得到新的特征圖1，見式（6）—（7）。

c()=(MLP(AvgPool())+MLP(MaxPool())) (6)

式中：(·)為sigmoid()函數(shù)；MLP(·)為多層感知機網(wǎng)絡(luò)模型函數(shù)；AvgPool為平均池化；MaxPool為最大池化。

空間注意力模塊的主要實現(xiàn)過程：將特征圖1作為本模塊的輸入特征圖，首先進行全局空間最大池化和平均池化，得到2個××1的特征圖，然后將這2個特征圖進行堆疊拼接，之后經(jīng)過卷積核為7×7的卷積操作，再經(jīng)過激活函數(shù)后得到空間注意力權(quán)重參數(shù)s(1)，最后將權(quán)重參數(shù)s(1)與特征圖1相乘，得到最終的特征圖2，見式（8）—（9）。融入具有雙重注意力機制的頸部網(wǎng)絡(luò)，如圖5所示。

s(1)=(7×7(AvgPool(1);MaxPool(1))) (8)

2=s(1)×(9)

圖5 CBAM結(jié)構(gòu)

模型的特征圖可視化結(jié)果如圖6所示，可知融入CBAM注意力機制后可以更好地覆蓋目標區(qū)域，增加目標區(qū)域的顯著度，因此模型能夠更好地學習目標區(qū)域的特征。為了保證模型的檢測精度和速度，最終在頸部網(wǎng)絡(luò)融入了3個CBAM模塊。

圖6 特征圖可視化結(jié)果

經(jīng)修改后模型的參數(shù)量得到大幅度減少，與原始YOLOv4模型參數(shù)量的對比見表3。

表3 模型參數(shù)的對比

Tab.4 Comparison of model parameters

由表3可知，改進后YOLOv4模型的參數(shù)量為10 973 415，參數(shù)量僅為原始YOLOv4模型的約17.0%，參數(shù)量的減少使得模型更加輕量化，從而加快了模型的推理速度。改進后的模型整體結(jié)構(gòu)如圖7所示。

2.3 先驗框重新聚類

原始YOLOv4模型中的先驗框尺寸采用K?means算法[20]在PASCAL VOC數(shù)據(jù)集聚類時得到，PASCAL VOC數(shù)據(jù)集中包含20類目標，而自建的可回收垃圾數(shù)據(jù)集只有5類目標，與PASCAL VOC數(shù)據(jù)集中所包含的目標種類和數(shù)量都存在較大差異，錨框尺寸不一定適合可回收垃圾的檢測。為了得到更加匹配的先驗框[21]，采用K?means算法對自建的可回收垃圾中5種類型標注框的寬高維度進行重新聚類。K?means算法的步驟：首先隨機選取個初始的聚類中心；其次，計算其他目標與聚類中心的距離，根據(jù)距離度量形成新的個簇，并重新調(diào)整聚類中心；最后，通過循環(huán)迭代調(diào)整，使群中各個目標向各聚類中心聚集，使群之間的距離變大。K?means算法通常以歐氏距離為距離度量，文中將用標注框和聚類中心框的面積重疊度作為距離度量，距離度量計算見式（10）—（11）。

圖7 改進后的模型整體結(jié)構(gòu)

檢驗K?means聚類生成的先驗框的準確性常常使用平均交并比（AvgIOU）進行評估，一般來說AvgIOU值越大，說明聚類算法生成的先驗框越準確。對已經(jīng)標注好的可回收數(shù)據(jù)集進行聚類分析，得到與AvgIOU之間的關(guān)系，如圖8所示。

圖8 K?means聚類結(jié)果

由圖8可知，=9為AvgIOU曲線上的一個拐點；在>9時曲線變化的幅度非常小。由此，在考慮計算速度和檢測精度的情況下選取先驗框的數(shù)量為9，經(jīng)聚類選擇的9個先驗框分別為（146，132）、（177，378）、（182，233）、（259，297）、（305，387）、（368，227）、（383，299）、（394，359）、（400，401）。

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)集及評價指標

文中實驗使用的數(shù)據(jù)集來自自建的可回收垃圾數(shù)據(jù)集，該數(shù)據(jù)集共有5類標簽，分別為廢紙類（cardboard）、玻璃類（glass）、塑料類（plastic）、金屬類（metal）、紡織類（textile）。這里分別使用水平翻轉(zhuǎn)、亮度調(diào)整、添加噪聲、隨機裁剪和隨機旋轉(zhuǎn)等5種數(shù)據(jù)擴充方法對可回收垃圾數(shù)據(jù)集進行樣本擴充，擴充后的圖片總數(shù)量為5 048張。采用標注工具LabelImg軟件對可回收垃圾目標進行標注，各類可回收垃圾圖片樣本數(shù)量如表4所示，數(shù)據(jù)集樣例見圖9。訓練集、測試集和驗證集的劃分比例為8∶1∶1。

平均準確率均值為多個類別的平均準確率（Average Precision，AP）求和后再取平均值。AP表示以召回率為橫軸，以精確率為縱軸，所繪制的?曲線的面積。FPS表示在模型檢測速度時每秒鐘能夠處理的圖片數(shù)量。

3.2 模型訓練

在訓練過程中涉及的具體軟硬件環(huán)境：操作系統(tǒng)為Windows 10中文版，CPU型號為Intel Core i5?10200H2.40 GHz，GPU型號為Nvidia GeForce GTX1650Ti，內(nèi)存為16 GB，顯存為4 GB，深度學習框架選用Pytorch1.7，加速庫為Cuda11.2、Cudnn11.2。

表4 各類別樣本數(shù)量

Tab.4 Number of each sample category

圖9 收集的可回收垃圾數(shù)據(jù)集樣例

在訓練過程中，將輸入圖片尺寸設(shè)置為416×416。在模型訓練時，將momentum（動量系數(shù)）設(shè)為0.9，初始learning_rate（學習率）設(shè)為0.001，總訓練代數(shù)為100個epoch。訓練時分為2個階段，先進行60個epoch凍結(jié)訓練，再進行40個epoch解凍訓練。凍結(jié)階段具體為凍結(jié)主干網(wǎng)絡(luò)，因為該階段網(wǎng)絡(luò)占用的顯存較少，此時設(shè)置batch_size為8。解凍階段具體為不凍結(jié)主干網(wǎng)絡(luò)，采用Adam優(yōu)化學習率，將學習率降至0.000 1。該階段網(wǎng)絡(luò)的參數(shù)變多，占用的內(nèi)存較大，此時設(shè)置batch_size為4，置信度為0.5。

3.3 實驗結(jié)果分析

為了驗證MobileNetV2、K?means算法和CBAM模塊對模型檢測性能的影響，使用相同的訓練數(shù)據(jù)集和測試數(shù)據(jù)集，相同的迭代次數(shù)和學習速率，對優(yōu)化的模塊進行消融實驗，實驗結(jié)果見表5—6。

由表5可知，實驗1是將YOLOv4的主干網(wǎng)絡(luò)替換成MobileNetV2，雖然mAP值只有85.56%，但其檢測速度最快，達到了22.23幀/s；實驗2和實驗3是在原始YOLOv4的基礎(chǔ)上分別使用K?means算法優(yōu)化先驗框和在頸部網(wǎng)絡(luò)融入3個CBAM模塊，可知這2種方法都有助于提高模型的mAP值，但會使模型的檢測速度降低，尤其是加入CBAM模塊后其檢測速度下降得最為明顯，原因是融入CBAM模塊后，模型的計算量相對增加；實驗4結(jié)合了3種改進方法，該模型的mAP值達到了96.78%，相較于實驗1提高了約13.1%，檢測速度為20.46幀/s，相較于實驗2、3提高幅度較大。由表6可知，結(jié)合了3種改進方法的模型的AP值都達到95%以上，說明K?means聚類算法重新聚類先驗框，提高了模型的檢測精度，CBAM的注意力機制有效地抑制了干擾信息，提高了模型對目標特征信息的敏感度。

為了驗證文中改進模型在可回收垃圾檢測中的性能，選取了目前一些主流目標檢測模型（Faster-RCNN、YOLOv4、SSD、YOLOv5s）與文中的改進YOLOv4模型在相同的數(shù)據(jù)集上進行訓練，性能的對比結(jié)果見表7。

表5 消融實驗檢測效果

Tab.5 Detection results of ablation experiment

注：打鉤表示采用了該方法。

表6 各模塊對模型的AP值對比

Tab.6 Comparison of AP values of each module to model

由表7可知，兩階段檢測網(wǎng)絡(luò)Faster?RCNN的檢測精度相對較高，但其模型體積也相對較大，檢測速度最低僅為5.54幀/s，難以滿足可回收垃圾檢測實時性的要求。雖然SSD模型的檢測精度最低，但其模型文件大小和檢測速度都優(yōu)于Faster?RCNN模型。原始YOLOv4模型的mAP值為91.65%，權(quán)重文件的大小為244.48 MB，比其他模型大。雖然YOLOv5s在當前模型中的檢測速度最高且模型文件最小，但是其檢測精度卻不高，比原始YOLOv4模型低1.6%。文中的改進模型與原始YOLOv4模型相比，其mAP值提高了5.6%，模型權(quán)重文件大小為46.6 MB，相較于YOLOv4大幅減少，僅為YOLOv4的19.1%，檢測速度為20.46幀/s。相較于YOLOv4，提高了約25.4%，檢測速度和精度均滿足實時性需求。

文中的改進模型與其他檢測模型之間的檢測效果對比如圖10所示。由對比檢測結(jié)果可知，雖然各模型均能檢測出可回收垃圾，但是在檢測結(jié)果的置信度值和擬合度上，文中的改進模型優(yōu)于其他模型。

表7 各模型的對比結(jié)果

Tab.7 Comparison results of models

圖10 文中的改進模型與其他模型檢測效果的對比

4 結(jié)語

針對目前垃圾檢測方法存在的檢測速度慢且權(quán)重文件較大等問題，提出了一種改進的YOLOv4檢測方法。為了減少模型的計算量和參數(shù)量，將YOLOv4的主干網(wǎng)絡(luò)替換為MobileNetV2，并使用深度可分離卷積對網(wǎng)絡(luò)進行優(yōu)化；融入CBAM注意力機制，提高了模型對目標特征信息的敏感度，抑制了干擾信息，從而提升了模型的檢測精度。為了得到適合數(shù)據(jù)集的先驗框，采用K?means算法對自建可回收垃圾數(shù)據(jù)集進行重新聚類。實驗結(jié)果表明，參數(shù)量和模型權(quán)重文件大小分別減小為原始YOLOv4模型的17.0%和19.1%，檢測精度為96.78%，提高了5.6%，檢測速度為20.46幀/s，提高了25.4%。未來應(yīng)進一步對模型進行優(yōu)化，在保證檢測速度的同時提高模型的檢測精度。

[1] 鞠默然, 羅海波, 王仲博, 等. 改進的YOLOV3算法及其在小目標檢測中的應(yīng)用[J]. 光學學報, 2019, 39(7): 253-260.

JU Mo-ran, LUO Hai-bo, WANG Zhong-bo, et al. Improved YOLOV3 Algorithm and Its Application in Small Target Detection[J]. Acta Optica Sinica, 2019, 39(7): 253-260.

[2] GIRSHICK R. Fast R-CNN[C]// IEEE International Conference on Computer Vision (ICCV), 2016: 1440-1448.

[3] REN Shao-qing, HE Kai-ming, GIRSHICK R, et al. Faster R-CNN: Towards Real-time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[4] LIU Wei, ANGUELOV D, ERHAN D, et al. SSD: Single Shot Multibox Detector[C]// European Conference on Computer Vision, 2016: 21-37.

[5] REDMON J, DIVVALA S, GIRSHICK R, et al. You Only Look Once: Unified, Real-Time Object Detection[EB/OL]. (2015-06-08)[2022-03-15]. https://arxiv.org/abs/1506.02640

[6] REDMON J, FARHADI A. YOLO9000: Better, Faster, Stronger[C]// IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017: 6517-6525.

[7] REDMON J, FARHADI A. Yolov3: An Incremental Improvement[EB/OL]. (2018-04-08)[2021-01-15]. https:// arxiv.org/1804.02767.

[8] BOCHKOVSKIY A, WANG Chien-yao, LIAO H Y M. YOLOv4: Optimal Speed and Accuracy of Object Detection[EB/OL]. (2020-04-23)[20220-03-15]. https://arxiv.org/ abs/2004.10934

[9] LIN Tsung-yi, GOYAL P, GIRSHICK R, et al. Focal Loss for Dense Object Detection[C]// IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017: 2999-3007.

[10] 趙珊, 劉子路, 鄭愛玲, 等. 基于MobileNetV2和IFPN改進的SSD垃圾實時分類檢測方法[J]. 計算機應(yīng)用, 2022, 42(S1): 106-111.

ZHAO Shan, LIU Zi-lu, ZHENG Ai-ling, et al. Real-time Classification and Detection Method of Garbage Based on SSD Improved with MobileNetV2 and IFPN[J]. Journal of Computer Applications, 2022, 42(S1): 106-111.

[11] 馬雯, 于炯, 王瀟, 等. 基于改進Faster R?CNN的垃圾檢測與分類方法[J]. 計算機工程, 2021, 47(8): 294-300.

MA Wen, YU Jiong, WANG Xiao, et al. Garbage Detection and Classification Method Based on Improved Faster R-CNN[J]. Computer Engineering, 2021, 47(8): 294-300.

[12] 許偉, 熊衛(wèi)華, 姚杰, 等. 基于改進YOLOv3算法在垃圾檢測上的應(yīng)用[J]. 光電子·激光, 2020, 31(9): 928-938.

XU Wei, XIONG Wei-hua, YAO Jie, et al. Application of Garbage Detection Based on Improved YOLOv3 Algorithm[J]. Journal of Optoelectronics·Laser, 2020, 31(9): 928-938.

[13] 李慶, 龔遠強, 張瑋, 等. 用于智能垃圾分揀的注意力YOLOv4算法[J]. 計算機工程與應(yīng)用, 2022, 58(11): 260-268.

LI Qing, GONG Yuan-qiang, ZHANG Wei, et al. Attention YOLOv4 Algorithm for Intelligent Waste Sorting[J]. Computer Engineering and Applications, 2022, 58(11): 260-268.

[14] KUMAR S, YADAV D, GUPTA H, et al. A Novel YOLOv3 Algorithm-based Deep Learning Approach for Waste Segregation: Towards Smart Waste Management[J]. Electronics, 2020, 10(1): 14.

[15] WANG Chien-yao, LIAO H Y M, WU Yueh-hua, et al. CSPNet: A New Backbone that can Enhance Learning Capability of CNN[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, 2020: 1571-1580.

[16] HE Kai-ming, ZHANG Xiang-yu, REN Shao-qing, et al. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916.

[17] LIU Shu, QI Lu, QIN Hai-fang, et al. Path Aggregation Network for Instance Segmentation[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018: 8759-8768.

[18] SANDLER M, HOWARD A, ZHU Meng-Long, et al. Mobilenetv2: Inverted Residuals and Linear Bottlenecks[EB/OL]. (2018-12-16)[2022-03-15]. https://arxiv.org/abs/1801.04381.

[19] 張宸嘉, 朱磊, 俞璐. 卷積神經(jīng)網(wǎng)絡(luò)中的注意力機制綜述[J]. 計算機工程與應(yīng)用, 2021, 57(20): 64-72.

ZHANG Chen-jia ZHU Lei, YU Lu. Review of Attention Mechanism in Convolutional Neural Networks[J].Computer Engineering and Applications,2021, 57(20): 64-72.

[20] SINAGA K P, YANG Min-shen. Unsupervised K-means Clustering Algorithm[J]. IEEE Access, 2020(8): 80716- 80727.

[21] 王子鵬, 張榮芬, 劉宇紅, 等. 面向邊緣計算設(shè)備的改進型YOLOv3垃圾分類檢測模型[J]. 激光與光電子學進展, 2022, 59(4): 291-300.

WANG Zi-peng, ZHANG Rong-fen, LIU Yu-hong, et al. Improved YOLOv3 Garbage Classification and Detection Model for Edge Computing Devices[J]. Laser & Optoelectronics Progress, 2022, 59(4): 291-300.

[22] 董豪, 李少波, 楊靜, 等. 基于YOLOv4算法的藥用空心膠囊表面缺陷檢測方法[J]. 包裝工程, 2022, 43(7): 254-261.

DONG Hao, LI Shao-bo, YANG Jing, et al. Surface Defect Detection Method for Pharmaceutical Hollow Capsules Based on YOLOv4 Algorithm[J]. Packaging Engineering, 2022, 43(7): 254-261.

Lightweight Recyclable Garbage Detection Method Incorporating Attention Mechanism

GUO Zhou1,2, HUANG Shi-hao1,2, XIE Wen-ming2, LYU Hui1,2, ZHANG Xuan-xuan1,2, CHEN Zhe1,2

(1. Fujian Key Laboratory of Automotive Electronics and Electric Drive, Fuzhou 350118, China; 2. School of Electronic, Electrical Engineering and Physics, Fujian University of Technology, Fuzhou 350118, China)

The work aims to propose a lightweight method based on YOLOv4 to detect recyclable garbage, so as to address the problems of slow detection speed and large model weight files in the current garbage detection methods used by smart garbage sorting devices. The MobileNetV2 lightweight network was used as the backbone network of YOLOv4 and the depth-separable convolution was used to optimize the neck and head networks to reduce the parameters and computation to accelerate detection. The CBAM attention module was incorporated into the neck network to improve the sensitivity of the model to the target feature information. The K-means algorithm was used to re-cluster to get suitable self-built recyclable data with a priori frame for focused detection of targets. The experimental results showed that: the parameters were reduced to 17.0% of the original YOLOv4 model. The detected mAP reached 96.78%. The model weight file size was 46.6 MB, which was about 19.1% of the YOLOv4 model weight file. The detection speed was 20.46 frames/s, which was improved by 25.4%. Both the detection accuracy and the detection speed met the real-time detection requirements. The improved YOLOv4 model can guarantee high detection accuracy and good real-time performance in detection of recyclable garbage.

recyclable garbage detection; MobileNetV2; YOLOv4; attention mechanism; deep learning

TB487；TP391

A

1001-3563(2023)09-0243-11

10.19554/j.cnki.1001-3563.2023.09.030

2022?05?13

國家自然科學基金（61604041）；教育部產(chǎn)學研協(xié)同育人項目（201901021014）；福建省教育廳基金項目（JT180352）

郭洲（1996—），男，碩士生，主攻機器視覺、圖像處理。

黃詩浩（1985—），男，博士，副教授，主要研究方向為光電信息材料與器件、機器視覺等。

責任編輯：彭颋