許 偉，熊衛(wèi)華

(浙江理工大學(xué) 機(jī)械與自動(dòng)控制學(xué)院，浙江 杭州 310018)

0 引 言

隨著中國(guó)經(jīng)濟(jì)的高速增長(zhǎng)，對(duì)資源的使用和環(huán)境的保護(hù)使得人們開始重視對(duì)垃圾的處理問題，而隨著全國(guó)各大城市的生活垃圾管理?xiàng)l例的頒布和執(zhí)行，便捷的垃圾分揀方法成為了社會(huì)的熱點(diǎn)問題。傳統(tǒng)分揀主要依靠人工分揀，工人的工作環(huán)境較差，且施工人員容易在施工過(guò)程中受傷。該文基于計(jì)算機(jī)視覺深度學(xué)習(xí)的方法對(duì)垃圾進(jìn)行目標(biāo)檢測(cè)，通過(guò)對(duì)垃圾目標(biāo)的定位和分類為后續(xù)的各種取件機(jī)械手分揀或其他分揀方式提供算法參考方案。

隨著計(jì)算機(jī)視覺技術(shù)的成熟，越來(lái)越多的研究者陸續(xù)提出適用于垃圾目標(biāo)檢測(cè)的深度學(xué)習(xí)解決方案。Li等提出了FSSD算法，將SSD算法網(wǎng)絡(luò)額外提取部分特征層作為金字塔特征融合層，但是，改進(jìn)后的網(wǎng)絡(luò)檢測(cè)速度較慢。岳曉明等提出了一種基于CenterNet的垃圾分類與檢測(cè)算法，將具有淺層特征層的特征與最終輸出檢測(cè)層進(jìn)行融合，得到了改進(jìn)的DLLA-34網(wǎng)絡(luò)。該算法對(duì)其論文中自制垃圾數(shù)據(jù)集的精度達(dá)到98.2%，但是，該論文所使用的垃圾數(shù)據(jù)樣本過(guò)于相似，訓(xùn)練集數(shù)據(jù)量不夠大，背景單一，魯棒性不高。向陽(yáng)等提出了O-SSD網(wǎng)絡(luò)，使用八度卷積算法代替?zhèn)鹘y(tǒng)卷積，在提高模型性能的同時(shí)減少了算力，該網(wǎng)絡(luò)模型取得了不錯(cuò)的檢測(cè)效果。

目前基于深度學(xué)習(xí)技術(shù)的目標(biāo)檢測(cè)算法分為兩類，一類為以Fast R-CNN、Faster R-CNN、R-FCN為代表的雙階段目標(biāo)檢測(cè)算法，該類算法基于區(qū)域建議尋找可能存在目標(biāo)物體的檢測(cè)框；另一類是以YOLO系列、SSD系列為代表的單階段目標(biāo)檢測(cè)算法，該類算法在直接生成候選框的同時(shí)進(jìn)行檢測(cè)框的分類和回歸。這些算法模型參數(shù)量較大，不適用于計(jì)算能力較弱、成本不高的低功耗設(shè)備。研究者們大多從兩個(gè)角度對(duì)網(wǎng)絡(luò)模型進(jìn)行優(yōu)化，一些著眼于模型的各類壓縮算法，如剪枝、量化、知識(shí)蒸餾等，另一些將關(guān)注點(diǎn)放在優(yōu)秀的網(wǎng)絡(luò)模型設(shè)計(jì)中，如MobileNet、ShuffleNet等。該文提出一種基于改進(jìn)YOLOv3的輕量級(jí)垃圾目標(biāo)檢測(cè)算法Ghost- YOLO，將GhostNet網(wǎng)絡(luò)作為特征提取層代替原來(lái)的Darknet-53，并對(duì)yolo層進(jìn)行一定的改進(jìn)，經(jīng)實(shí)驗(yàn)論證，該算法能有效滿足實(shí)時(shí)垃圾分類檢測(cè)的需求。

1 算法理論

1.1 YOLOv3算法模型

基于端到端的神經(jīng)網(wǎng)絡(luò)算法YOLO(you only look once)系列經(jīng)過(guò)發(fā)展，至今已到Y(jié)OLOv5版本，第四和第五版本都是在第三版本上做改進(jìn)，且并未涉及到網(wǎng)絡(luò)的輕量化工作。該文使用該系列原創(chuàng)作者的YOLOv3算法，并針對(duì)網(wǎng)絡(luò)輕量化做出一些改進(jìn)。

YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。算法主干網(wǎng)絡(luò)使用Darknet-53作為特征提取層，共74層的特征提取層由大量殘差網(wǎng)絡(luò)組成。在yolo層中，YOLOv3采用FPN多尺度特征融合的方式，通過(guò)將13×13大小富含高級(jí)語(yǔ)義信息的特征進(jìn)行上采樣操作，與富含位置信息的低層特征圖進(jìn)行融合，分別在32、16、8倍降采樣三個(gè)尺度的特征圖像上進(jìn)行檢測(cè)框和類別的輸出與預(yù)測(cè)。依次輸出由大及小的物體檢測(cè)框。

圖1 YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)

1.2 文中輕量化算法

如圖2所示，Ghost-YOLO算法通過(guò)去除全連接層的GhostNet網(wǎng)絡(luò)進(jìn)行特征提取，其中特征提取網(wǎng)絡(luò)中的104、52、26和13分別表示該大小特征圖的最后一步卷積操作。經(jīng)過(guò)灰色區(qū)域的特征提取后進(jìn)入特征融合單元，其中富含語(yǔ)義信息的13×13大小的網(wǎng)絡(luò)經(jīng)過(guò)三次上采樣分別與特征提取網(wǎng)絡(luò)中的第13層、第7層、第5層相同大小的特征進(jìn)行融合，該融合結(jié)果同時(shí)與104×104大小的特征層經(jīng)過(guò)三次DSConv(depthwise separable convolution)深度可分離操作的

圖2 Ghost-YOLO網(wǎng)絡(luò)結(jié)構(gòu)

特征相融合，獲得更為豐富的底層特征的位置信息。通過(guò)最后輸出的52×52,26×26和13×13大小的特征圖進(jìn)行垃圾目標(biāo)檢測(cè)。

1.2.1 改進(jìn)的特征提取網(wǎng)絡(luò)

考慮到垃圾分類使用場(chǎng)所大多是成本較為低廉的嵌入式設(shè)備，為降低運(yùn)算復(fù)雜度，需要對(duì)算法進(jìn)行輕量化。該文使用華為在2020年CVPR上提出的GhostNet網(wǎng)絡(luò)結(jié)構(gòu)，將YOLOv3算法中的特征提取網(wǎng)絡(luò)部分由Darknet53改為GhostNet網(wǎng)絡(luò)結(jié)構(gòu)，并將其進(jìn)行遷移學(xué)習(xí)。Han K發(fā)現(xiàn)經(jīng)過(guò)普通卷積后的特征圖有相當(dāng)一部分高度相似，圖3為文中數(shù)據(jù)集中某張圖片第7層卷積層52×52大小的特征圖可視化，可以發(fā)現(xiàn)該層存在許多近似的冗余特征圖。

圖3 Ghost-YOLO網(wǎng)絡(luò)結(jié)構(gòu)

這些冗余特征圖雖然同樣對(duì)網(wǎng)絡(luò)訓(xùn)練有一定幫助，但生成這些特征圖的計(jì)算成本過(guò)高，為降低計(jì)算量，只通過(guò)普通卷積得到部分特征，其余特征層通過(guò)逐層卷積獲得。

通常的卷積如圖4(a)所示，對(duì)輸入數(shù)據(jù)

X

使用

n

個(gè)濾波器得到卷積后的特征，而Ghost module則分兩步來(lái)獲得與普通卷積相同數(shù)量的特征圖。如圖4(b)，第一步是少量卷積，對(duì)輸入數(shù)據(jù)

X

使用

m

(

m

=

n

/2)個(gè)濾波器，內(nèi)核大小為

k

×

k

的卷積核

f

跟原始特征圖

X

進(jìn)行卷積運(yùn)算，得到輸出特征圖

Y

=

X

*

f

；第二步是cheap operations，如圖中的

φ

所示，文中使用的具體方法是對(duì)輸出的

m

個(gè)特征圖逐個(gè)進(jìn)行3×3卷積(depth-wise convolutional)得到另外的

n

/2個(gè)特征圖。

圖4 普通卷積與Ghost模塊的卷積過(guò)程

(1)

Y

=[

y

,

y

,…,

y

]=[

y

,

y

,…,

y

1,…,

y

1,

y

2,…,

y

]

(2)

由于通過(guò)逐層卷積生成的特征圖數(shù)量比例越大，網(wǎng)絡(luò)的準(zhǔn)確率會(huì)下降得越明顯，所以該文通過(guò)普通卷積得到一半特征圖，另一半特征圖使用計(jì)算量較低的逐層卷積得到，即

s

=2。

Ghostnet網(wǎng)絡(luò)結(jié)構(gòu)將Mobilenetv3中的bottleneck模塊改為Ghost bottleneck。其主要由兩個(gè)堆疊的Ghost模塊組成，通過(guò)第一個(gè)Ghost Module起到增加通道數(shù)的作用，并且用來(lái)指定輸出通道數(shù)的膨脹比；第二個(gè)Ghost Module將通道數(shù)降低到與輸入通道數(shù)一致。該模塊根據(jù)步長(zhǎng)的不同分為兩種，如下圖右圖所示Stride=2的G-bneck，使用DWConv深度可分離卷積，該結(jié)構(gòu)會(huì)進(jìn)行兩倍的降采樣。

該文將其應(yīng)用在垃圾目標(biāo)檢測(cè)任務(wù)中，由于垃圾目標(biāo)會(huì)包含類似電池等小物體，為了使小物體在特征提取的過(guò)程中信息不易丟失，將圖片統(tǒng)一縮放至416×416大小。

1.2.2 輕量化的特征融合網(wǎng)絡(luò)

原YOLOv3網(wǎng)絡(luò)由特征提取網(wǎng)絡(luò)Darknet-53和目標(biāo)檢測(cè)特征融合yolo層組成，yolo層采用FPN特征金字塔結(jié)構(gòu)將深層語(yǔ)義特征與淺層位置特征進(jìn)行特征融合，該結(jié)構(gòu)充分利用了特征層級(jí)，自上而下的路徑增強(qiáng)以及側(cè)向連接，為檢測(cè)提供了更加豐富有利的特征。原yolo層輸出檢測(cè)框的特征圖大小分別為13×13、26×26和52×52。由于考慮到原FPN結(jié)構(gòu)在上采樣融合的過(guò)程中并未對(duì)13×13大小的檢測(cè)框進(jìn)行融合，且特征經(jīng)過(guò)多層的傳遞位置信息丟失較多，淺層網(wǎng)絡(luò)特征未得到充分利用。為了能夠充分利用網(wǎng)絡(luò)淺層豐富的位置信息，同時(shí)增強(qiáng)網(wǎng)絡(luò)對(duì)小尺寸目標(biāo)的檢測(cè)能力，添加一個(gè)自底而上的二次融合通道，進(jìn)一步增強(qiáng)整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)的特征提取定位能力，如圖5中下方的虛線箭頭所示。首先，利用存在于淺層特征更豐富的定位信息，建立自下而上的特征信息路徑，增加了104×104大小的特征圖進(jìn)行降采樣實(shí)現(xiàn)特征的二次融合，將相同大小的特征圖與上采樣結(jié)構(gòu)的特征圖進(jìn)行融合，最后取52×52、26×26和13×13大小的特征圖生成最終的三種大小的檢測(cè)框進(jìn)行目標(biāo)檢測(cè)。

圖5 改進(jìn)的YOLO特征融合層

為降低特征融合層的參數(shù)量，在特征融合層中的所有卷積操作都使用DWConv深度可分離卷積操作代替?zhèn)鹘y(tǒng)卷積操作。具體操作在上述網(wǎng)絡(luò)結(jié)構(gòu)圖中已經(jīng)展示。相比于原始結(jié)構(gòu)的上采樣過(guò)程與特征提取網(wǎng)絡(luò)的特征進(jìn)行一次融合后卷積，文中的特征融合網(wǎng)絡(luò)會(huì)增加一路從特征提取網(wǎng)絡(luò)中的stride=2的深度可分離卷積構(gòu)成的降采樣鏈路，進(jìn)行兩次的特征融合，相當(dāng)于將原本富含位置信息的低層特征層信息進(jìn)行了二次傳輸。使用深度可分離卷積既保證了信息的有效傳輸，又使得整個(gè)改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)輕量化。為表述方便，在下文中使用improved yolo代表本節(jié)的特征融合算法方案。

2 數(shù)據(jù)集的制作

由于目前并未有專門針對(duì)垃圾目標(biāo)檢測(cè)的數(shù)據(jù)集，所以筆者制作了較為通用的垃圾檢測(cè)數(shù)據(jù)集?？紤]到人力和時(shí)間成本，設(shè)置了6類常見垃圾種類，分別為瓦楞紙(cardboard)、塑料瓶(bottle)、紡織物品(cloth)、金屬罐頭(metal can)、玻璃材料(glass)和廢棄電池(battery)。通過(guò)網(wǎng)絡(luò)爬蟲技術(shù)在各大網(wǎng)站上下載了約2萬(wàn)4千張圖片，每種4千張，經(jīng)過(guò)對(duì)圖片進(jìn)行分辨率、目標(biāo)占比以及清晰度的篩選，每個(gè)種類篩選出800張左右。另外通過(guò)手機(jī)拍攝生活垃圾照片作為數(shù)據(jù)集的補(bǔ)充，總數(shù)據(jù)集每類約1 000張，部分圖片會(huì)出現(xiàn)多種垃圾，總訓(xùn)練集5 899張。將上述數(shù)據(jù)集通過(guò)LabelImg完成圖片標(biāo)注工作，存儲(chǔ)為xml格式文件。圖6為數(shù)據(jù)集中的部分圖片。

圖6 數(shù)據(jù)集樣本

3 實(shí)驗(yàn)結(jié)果分析

3.1 訓(xùn) 練

文中所使用的深度學(xué)習(xí)框架為Pytorch1.1.1，實(shí)驗(yàn)設(shè)備為win10系統(tǒng)，GPU為GTX1080ti,主機(jī)內(nèi)存為32 G，所使用的神經(jīng)網(wǎng)絡(luò)加速庫(kù)為CUDNN7.3，CUDA10.0。

由于2019年華為云舉辦過(guò)基于ModelArt平臺(tái)的垃圾分類競(jìng)賽，公開了經(jīng)過(guò)篩選的垃圾分類數(shù)據(jù)集，共計(jì)19 459張43個(gè)類別，文中的特征提取網(wǎng)絡(luò)使用遷移學(xué)習(xí)，在該分類數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，使用預(yù)訓(xùn)練后的權(quán)重文件初始化特征提取網(wǎng)絡(luò)。使用自制的垃圾目標(biāo)檢測(cè)數(shù)據(jù)集，將85%的數(shù)據(jù)集作為訓(xùn)練集以batchsize為8進(jìn)行訓(xùn)練，另5%作為測(cè)試集，10%作為驗(yàn)證集。訓(xùn)練初始學(xué)習(xí)率為0.000 1，到第90個(gè)訓(xùn)練周期學(xué)習(xí)率降為0.000 05，在第150個(gè)epoch終止訓(xùn)練，模型在140個(gè)周期左右測(cè)試集的平均精度均值達(dá)到峰值。

3.2 評(píng)估參數(shù)

評(píng)價(jià)指標(biāo)使用目標(biāo)檢測(cè)的通用評(píng)價(jià)指標(biāo)平均精度均值mAP(mean average precision)，該指標(biāo)表示多個(gè)類別的平均精度的均值，即所有AP的平均值。AP指單個(gè)垃圾類別的平均精度，文中使用的AP默認(rèn)為AP，即預(yù)測(cè)框與ground truth的IOU在大于50%前提下的單類別平均精度。

(3)

公式(3)表示召回率的計(jì)算方式，其中TP表示模型將垃圾目標(biāo)檢測(cè)為正確的類別，F(xiàn)P表示模型將非垃圾目標(biāo)檢測(cè)成垃圾目標(biāo)，F(xiàn)N表示誤把垃圾目標(biāo)檢測(cè)為錯(cuò)誤類別或未檢測(cè)到垃圾目標(biāo)的情況。

3.3 結(jié)果分析

單類別平均精度AP數(shù)值如圖7所示：平均精度最高的類別為bottle，在文中的數(shù)據(jù)集下達(dá)到97.7%，其余從高到低依次為cardboard(95.4%)，battery(89.1%)，metal can(87.9%)，cloth(82.7%)，glass(81.3%)。將Ghost-YOLO網(wǎng)絡(luò)與原YOLOv3以及YOLOv2網(wǎng)絡(luò)進(jìn)行比較，這兩個(gè)網(wǎng)絡(luò)的主干網(wǎng)絡(luò)均使用同樣的方式在垃圾分類數(shù)據(jù)集下進(jìn)行預(yù)訓(xùn)練。文中網(wǎng)絡(luò)對(duì)每類垃圾的平均精度均值均優(yōu)于原YOLOv3網(wǎng)絡(luò)，YOLOv3的mAP為86.2%， YOLOv2的mAP為81.1%，文中網(wǎng)絡(luò)的mAP為89.02%。

圖7 不同網(wǎng)絡(luò)模型各類別垃圾檢測(cè)結(jié)果對(duì)比

圖8為上述三種網(wǎng)絡(luò)的檢測(cè)效果對(duì)比，通過(guò)對(duì)特征融合層的改進(jìn)，增加了底層特征信息的二次融合，使得檢測(cè)層的位置信息更加豐富，改進(jìn)后的網(wǎng)絡(luò)檢測(cè)框的回歸更加精確。另外對(duì)小物體的檢測(cè)也更加準(zhǔn)確，YOLOv2算法對(duì)于所占像素較少的小目標(biāo)檢測(cè)性能較差，文中網(wǎng)絡(luò)可以較好地檢測(cè)到復(fù)雜背景下的小物體。

圖8 不同網(wǎng)絡(luò)檢測(cè)效果比較

由于文中的垃圾目標(biāo)檢測(cè)數(shù)據(jù)集是自制的，將Ghost-YOLO算法與目前公認(rèn)的目標(biāo)檢測(cè)算法進(jìn)行網(wǎng)絡(luò)性能的對(duì)比。

表1為YOLO系列算法與更換了不同特征提取網(wǎng)絡(luò)以及改進(jìn)YOLO層在同一訓(xùn)練條件下對(duì)文中Garbage數(shù)據(jù)集進(jìn)行訓(xùn)練的結(jié)果對(duì)比。實(shí)驗(yàn)中各特征提取網(wǎng)絡(luò)的權(quán)重初始化方式均為在同一垃圾分類數(shù)據(jù)集下的預(yù)訓(xùn)練權(quán)重。表中的網(wǎng)絡(luò)結(jié)構(gòu)MobilenetV3也是將圖片resize到416×416大小。

表1 不同主干網(wǎng)絡(luò)下檢測(cè)模型與改進(jìn)yolo層網(wǎng)絡(luò)結(jié)構(gòu)性能對(duì)比

由表1可見，Ghost-YOLO垃圾檢測(cè)算法在文中數(shù)據(jù)集上的mAP達(dá)到89.02%，高于YOLO-v3的86.20%和其他網(wǎng)絡(luò)。召回率達(dá)到79.02%，模型大小為9.5 MB,遠(yuǎn)小于YOLOv3的235.1 MB。由于Ghost Model所使用的cheap operations，計(jì)算量?jī)H為原YOLOv3的7.14%。同時(shí)，文中改進(jìn)的improved yolo提升了1%～2%左右的mAP。

表2為同一主干網(wǎng)絡(luò)在添加了不同策略在文中數(shù)據(jù)集上的消融實(shí)驗(yàn)。

表2 不同模塊的性能對(duì)比實(shí)驗(yàn)

由表2可知，若只使用遷移學(xué)習(xí)的Ghostnet加原yolo特征融合網(wǎng)絡(luò)，算法mAP只有82.32%。若使用遷移學(xué)習(xí)可以使網(wǎng)絡(luò)mAP提高到87.3%。若使用improved yolo檢測(cè)準(zhǔn)確率可以提高至88.73%。將兩個(gè)策略同時(shí)使用將得到89.02%的mAP。因此，提出的Ghost-yolo算法在Garbage數(shù)據(jù)集上可以在一定程度上提高算法的平均精度均值。

另外對(duì)比YOLOv3網(wǎng)絡(luò)和Ghost-yolo網(wǎng)絡(luò)的圖片處理速度，在GPU：GTX1080Ti的硬件條件下，文中算法達(dá)到26 f/s，相比于YOLOv3的20 f/s稍快。在CPU: i7-4790的硬件條件下，文中算法達(dá)到3.2 f/s，較快于YOLOv3的2 f/s，處理速度基本可以滿足實(shí)時(shí)檢測(cè)的需求。

4 結(jié)束語(yǔ)

基于YOLOv3算法提出了一種Ghost-yolo垃圾分類目標(biāo)檢測(cè)算法，通過(guò)Ghost Model使得冗余特征圖以更低的計(jì)算量獲得，大大降低了算法的參數(shù)量并保持較高的準(zhǔn)確率。通過(guò)改進(jìn)的yolo層能夠較好地增強(qiáng)網(wǎng)絡(luò)對(duì)小目標(biāo)物體的檢測(cè)以及檢測(cè)框的回歸精確度，mAP達(dá)到89.02%。該結(jié)構(gòu)充分利用了特征層級(jí)，使用自上而下的路徑增強(qiáng)以及側(cè)向連接，為垃圾目標(biāo)的檢測(cè)提供了更加豐富有利的特征，且網(wǎng)絡(luò)所占用內(nèi)存空間較小，計(jì)算量較小，適合在低功耗邊緣設(shè)備上運(yùn)行。后續(xù)工作需要進(jìn)一步擴(kuò)充數(shù)據(jù)集，使其能夠檢測(cè)更多類別的垃圾目標(biāo)，并優(yōu)化算法，進(jìn)一步提升檢測(cè)的準(zhǔn)確率。