桂方俊， 李堯

（中國(guó)礦業(yè)大學(xué)（北京） 機(jī)電與信息工程學(xué)院，北京 100083）

0 引言

煤矸石分選是煤炭洗選加工的重要環(huán)節(jié)，主要有人工揀矸法、濕選法和干選法3種方式。人工揀矸法效率低，濕選法存在水資源浪費(fèi)等問題，干選法是目前煤矸石分選領(lǐng)域的研究熱點(diǎn)[1]，符合煤礦綠色發(fā)展的要求。煤矸石識(shí)別技術(shù)是煤矸石干選的核心技術(shù)，其原理是利用提取的樣本特征判斷當(dāng)前被測(cè)物是煤還是矸石。煤矸石識(shí)別方法包括傳統(tǒng)方法和基于圖像處理的方法：① 傳統(tǒng)方法有放射性探測(cè)法、密度識(shí)別法等。放射性探測(cè)法根據(jù)煤和矸石對(duì)射線吸收程度不同進(jìn)行識(shí)別，需要較高的執(zhí)行速度，一定程度上受煤矸石含水量的影響，并且存在射線輻射問題。密度識(shí)別法通過光電技術(shù)獲取被測(cè)物質(zhì)量和厚度，計(jì)算被測(cè)物密度，以此識(shí)別當(dāng)前被測(cè)物為煤或矸石，該方法流程復(fù)雜且對(duì)設(shè)備要求高。② 基于圖像處理的方法成本較低、便于推廣，近年來應(yīng)用廣泛，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)是其中的兩大分支。機(jī)器學(xué)習(xí)方法通過圖像特征提取和分類算法識(shí)別目標(biāo)，對(duì)應(yīng)用場(chǎng)景的要求高，魯棒性差。深度學(xué)習(xí)方法通過提取圖像高維特征并進(jìn)行推理，魯棒性好，準(zhǔn)確率高，因而在煤矸石檢測(cè)領(lǐng)域被逐步推廣。

將深度學(xué)習(xí)應(yīng)用到煤矸石檢測(cè)中的研究已取得一定成果。文獻(xiàn)[2]基于LeNet-5進(jìn)行改進(jìn)，實(shí)現(xiàn)了煤矸石圖像檢測(cè)和分類。文獻(xiàn)[3]通過AlexNet卷積神經(jīng)網(wǎng)絡(luò)模型提高了煤矸石檢測(cè)的準(zhǔn)確率。文獻(xiàn)[4]通過CornerNet-Squeeze深度學(xué)習(xí)模型提取特征，利用圖像灰度直方圖的三階矩特征參數(shù)對(duì)煤矸石進(jìn)行分類，準(zhǔn)確率顯著提升。上述方法雖然實(shí)現(xiàn)了煤矸石檢測(cè)，但在性能上與超快速的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Faster Region-Convolutional Neural Network，F(xiàn)aster R-CNN）[5]、單階段多框檢測(cè)器（Single Shot MultiBox Detector，SSD）[6]、YOLO（You Only Look Once）系列[7]算法相比還有一定差距。以Faster R-CNN系列為代表的兩階段算法對(duì)區(qū)域建議網(wǎng)絡(luò)和主體檢測(cè)網(wǎng)絡(luò)分別進(jìn)行訓(xùn)練，準(zhǔn)確率高，但實(shí)時(shí)性表現(xiàn)不佳。以SSD，YOLO系列為代表的單階段算法將種類識(shí)別和目標(biāo)定位視為一個(gè)回歸問題來解決，建立端到端訓(xùn)練，具有較高精度，同時(shí)保證了實(shí)時(shí)性。文獻(xiàn)[8]將最新的YOLOv5算法改進(jìn)后應(yīng)用到煤矸石檢測(cè)中，通過提升模型的特征提取能力達(dá)到優(yōu)化效果，但并未針對(duì)煤矸石檢測(cè)任務(wù)中的具體特性進(jìn)行分析優(yōu)化。

針對(duì)煤矸石檢測(cè)中存在的特征差異不大、目標(biāo)密集等問題，本文在YOLOv5基礎(chǔ)上，通過卷積塊注意力模塊（Convolutional Block Attention Module，CBAM）、雙向特征金字塔網(wǎng)絡(luò)（Bi-directional Feature Pyramid Network，BiFPN）結(jié)構(gòu)、Alpha-IoU函數(shù)對(duì)模型的各部分進(jìn)行改進(jìn)，提出了一種基于CBA-YOLO模型的煤矸石檢測(cè)方法，通過實(shí)驗(yàn)驗(yàn)證了該方法的有效性。

1 YOLOv5基礎(chǔ)模型選擇

YOLO是一種基于深度神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)與定位模型，其最大特點(diǎn)是運(yùn)行速度快，可在實(shí)時(shí)系統(tǒng)中使用[9]。YOLOv5是目前YOLO系列的最新版本，繼承了YOLOv4[10]算法的優(yōu)勢(shì)，同時(shí)在主干網(wǎng)絡(luò)中引入跨階段局部（Cross Stage Partial，CSP）結(jié)構(gòu)[11]，進(jìn)一步提升了圖像推理速度，模型結(jié)構(gòu)更加小巧。YOLOv5共有4個(gè)版本，依據(jù)網(wǎng)絡(luò)大小排序分別為YOLOv5s，YOLOv5m，YOLOv5l，YOLOv5x，4種模型的性能如圖1所示。

圖1 YOLOv5模型的性能Fig. 1 The performance of YOLOv5 models

圖1 中，曲線越靠近左上角區(qū)域，表示模型的精度和速度越高。由圖1可知，YOLOv5s模型的速度快但精度低，YOLOv5x模型的精度高但速度最慢，YOLOv5m和YOLOv5l模型速度和精度很均衡，但YOLOv5l模型更大，綜合考慮算力、精度和速度，本文選用速度較快、精度較高的YOLOv5m為基礎(chǔ)模型。

2 CBA-YOLO模型

YOLOv5模型主要由輸入端、Backbone、Neck、Prediction組成。CBA-YOLO模型在YOLOv5的基礎(chǔ)上進(jìn)行了改進(jìn)：在Backbone中加入CBAM，以聚焦特征差異，降低數(shù)據(jù)維度，提升檢測(cè)性能；將Neck部分改為BiFPN結(jié)構(gòu)，以提高檢測(cè)速度；在Prediction部分，采用Alpha-IoU作為損失函數(shù)，以提高檢測(cè)精度。

2.1 輸入端

在實(shí)際應(yīng)用中，數(shù)據(jù)集通常包含大量小目標(biāo)，小目標(biāo)分布不均勻的問題很突出。YOLOv5采用Mosaic數(shù)據(jù)增強(qiáng)方式進(jìn)行數(shù)據(jù)處理，針對(duì)小目標(biāo)檢測(cè)問題，將4幅圖像以隨機(jī)縮放、隨機(jī)剪切、隨機(jī)安排的方式拼接在1張圖像里，以達(dá)到豐富數(shù)據(jù)集的效果。這種隨機(jī)處理的方式增加了小目標(biāo)數(shù)量，增強(qiáng)了模型的魯棒性，同時(shí)減少了對(duì)GPU的占用，1個(gè)GPU就可獲得較好效果。

2.2 Backbone改進(jìn)

YOLOv5的Backbone由多個(gè)卷積模塊堆疊而成，缺點(diǎn)是無法聚焦特征差異，而煤矸石檢測(cè)任務(wù)中，煤和矸石目標(biāo)特征差異不明顯。因此，在Backbone中加入CBAM進(jìn)行改進(jìn)，以聚焦特征差異。

注意力機(jī)制是深度學(xué)習(xí)中的一種數(shù)據(jù)處理方法，主要作用是忽略無關(guān)信息而關(guān)注重點(diǎn)信息，提升信息處理的效率和準(zhǔn)確性。注意力機(jī)制通常分為空間注意力機(jī)制[12]、通道注意力機(jī)制[13]、空間和通道混合注意力機(jī)制[14]。CBAM屬于空間和通道混合注意力機(jī)制，其結(jié)構(gòu)如圖2所示。

圖2 CBAM結(jié)構(gòu)Fig. 2 Structure of CBAM

通道注意力模塊同時(shí)使用最大池化和平均池化，將多層感知器（Muti-Layer Perception，MLP）層分別應(yīng)用于2個(gè)通道，經(jīng)過sigmoid激活函數(shù)合并通道權(quán)重，最后逐通道加權(quán)得到attention結(jié)果?？臻g注意力模塊在通道重定義特征基礎(chǔ)上進(jìn)行最大池化和平均池化，得到2個(gè)單通道的特征圖，再通過一個(gè)7×7的卷積形成特征圖，最后逐通道加權(quán)獲得attention結(jié)果。這2種模塊分別學(xué)習(xí)了通道的重要性和空間的重要性，CBAM將其串聯(lián)起來，可產(chǎn)生更有分辨性的特征表示，同時(shí)可降低數(shù)據(jù)維度，加速網(wǎng)絡(luò)推理過程。

改進(jìn)Backbone結(jié)構(gòu)如圖3 所示。原始大小為640×640×3的圖像輸入Focus結(jié)構(gòu)，采用切片操作轉(zhuǎn)換成大小為320×320×12的特征圖，再經(jīng)過一次32個(gè)卷積核的卷積操作，轉(zhuǎn)換成320×320×32的特征圖后輸入CBAM模塊。通過通道注意力模塊獲得通道注意力特征，確定每層特征圖上需要關(guān)注的重點(diǎn)內(nèi)容；再通過空間注意力模塊獲得空間注意力特征，確定需要關(guān)注的重點(diǎn)位置；最后將串聯(lián)結(jié)果輸入后續(xù)的跨階段局部網(wǎng)絡(luò)層（Cross Stage Partial Network，CSPNet） 和空間金字塔池化（Spatial Pyramid Pooling，SPP） 結(jié)構(gòu)中處理。

圖3 改進(jìn)Backbone結(jié)構(gòu)Fig. 3 Structure of improved Backbone

2.3 Neck改進(jìn)

YOLOv5的Neck采用特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN） + 路 徑 聚 合 網(wǎng) 絡(luò)（Path Aggregation Network，PAN）結(jié)構(gòu)，如圖4（a）所示。該結(jié)構(gòu)通過PAN增加一個(gè)自底向上的路徑聚合網(wǎng)絡(luò)，解決了傳統(tǒng)的自頂向下的FPN受單向信息流限制的問題。但是由于煤矸石檢測(cè)任務(wù)目標(biāo)密集，單張圖像中目標(biāo)眾多，計(jì)算量大，導(dǎo)致YOLOv5模型應(yīng)用于煤矸石檢測(cè)任務(wù)時(shí)實(shí)時(shí)性不佳。為了保證煤矸石檢測(cè)任務(wù)的實(shí)時(shí)性，在Neck中引入BiFPN結(jié)構(gòu)[15]，如圖4（b）所示。

圖4 特征網(wǎng)絡(luò)結(jié)構(gòu)Fig. 4 Structure of features network

改進(jìn)方法：① 去除只有1條輸入邊的節(jié)點(diǎn)，得到1個(gè)簡(jiǎn)化的雙向網(wǎng)絡(luò)，若1個(gè)節(jié)點(diǎn)只有1個(gè)輸入，沒有特征融合，則其對(duì)以特征融合為目標(biāo)的特征網(wǎng)絡(luò)的貢獻(xiàn)較小。② 當(dāng)原始輸入節(jié)點(diǎn)與輸出節(jié)點(diǎn)處于同一水平時(shí)，增加1條從原始輸入節(jié)點(diǎn)到輸出節(jié)點(diǎn)的額外邊，以在不增加成本的情況下融合更多特征；③ 將每個(gè)雙向（自頂向下和自底向上）路徑視為1個(gè)特征網(wǎng)絡(luò)層，并將多個(gè)特征網(wǎng)絡(luò)層進(jìn)行疊加，以實(shí)現(xiàn)更高級(jí)的特征融合。

2.4 Prediction改進(jìn)

YOLOv5的Prediction由損失函數(shù)和非極大值抑制組成。損失函數(shù)用于衡量模型生成的預(yù)測(cè)框與真實(shí)框之間的重疊程度，交并比（Intersection over Union，IoU）[16]是一種常用的損失函數(shù)。非極大值抑制用于目標(biāo)檢測(cè)的后處理過程中，針對(duì)多目標(biāo)框的篩選，抑制非極大值元素，搜索局部極大值，去除冗余的檢測(cè)框，得到最終預(yù)測(cè)結(jié)果。YOLOv5的損失函數(shù)為GIoU[17]，但是當(dāng)預(yù)測(cè)框和真實(shí)框出現(xiàn)包含現(xiàn)象時(shí)，無法達(dá)到優(yōu)化效果。文獻(xiàn)[18]采用CIoU作為損失函數(shù)，通過計(jì)算檢測(cè)框之間的歐氏距離而非其IoU，解決兩框包含時(shí)出現(xiàn)的問題，同時(shí)增加了檢測(cè)框尺度、長(zhǎng)和寬的損失，使預(yù)測(cè)框與真實(shí)框更相符，但其結(jié)果相對(duì)固定，不能自適應(yīng)地對(duì)高IoU目標(biāo)和低IoU目標(biāo)的損失和梯度進(jìn)行加權(quán)。因此，本文引入權(quán)重系數(shù)α，用Alpha-IoU[19]替代CIoU作為預(yù)測(cè)目標(biāo)的邊界框損失函數(shù)，其計(jì)算公式為

式中：I′為Alpha-IoU的值；I為IoU的值；ρ2(b,bgt)為預(yù)測(cè)框中心點(diǎn)b與真實(shí)框中心點(diǎn)bgt的歐氏距離；d為可以包含預(yù)測(cè)框和真實(shí)框的最小閉合區(qū)域的對(duì)角線長(zhǎng)度；β為trade-off 的參數(shù)；γ為衡量框的長(zhǎng)寬比一致性的參數(shù)；l為損失值。

根據(jù)目標(biāo)的IoU值自適應(yīng)地調(diào)整權(quán)重系數(shù)α，有助于檢測(cè)器更快地學(xué)習(xí)高IoU目標(biāo)，從而提高目標(biāo)檢測(cè)精度。

3 基于CBA-YOLO模型的煤矸石檢測(cè)

基于CBA-YOLO模型的煤矸石檢測(cè)流程如圖5所示。輸入圖像或視頻，對(duì)視頻進(jìn)行逐幀讀取并轉(zhuǎn)換為圖片格式；通過自適應(yīng)算法將圖像尺寸統(tǒng)一調(diào)整為640×640，輸入CBA-YOLO模型；通過Backbone、Neck、Prediction進(jìn)行計(jì)算處理，得到煤矸石的相關(guān)信息，以數(shù)組的方式輸出檢測(cè)結(jié)果，數(shù)組結(jié)構(gòu)為[檢測(cè)框左上坐標(biāo)，檢測(cè)框右下坐標(biāo)，類別，置信度]。

圖5 基于CBA-YOLO模型的煤矸石檢測(cè)流程Fig. 5 Flow of coal gangue detection based on CBA-YOLO model

4 實(shí)驗(yàn)分析

4.1 數(shù)據(jù)采集

為了驗(yàn)證本文方法的有效性，在河北某煤礦選煤廠的選矸裝置上架設(shè)Blaser工業(yè)相機(jī)進(jìn)行數(shù)據(jù)采集，并通過大功率LED面光源和光源控制器提供光照均勻、穩(wěn)定的照明環(huán)境，如圖6所示。

圖6 圖像采集Fig. 6 Image acquisition

設(shè)置每隔2 ms采集1張圖像，共采集1 500 張圖像。為了達(dá)到更好的網(wǎng)絡(luò)訓(xùn)練效果，選取1 245張質(zhì)量較好的圖像作為數(shù)據(jù)集，用LabelImg標(biāo)注軟件對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注，按照8∶1∶1的比例劃分為訓(xùn)練集、評(píng)估集和測(cè)試集3個(gè)部分，其中訓(xùn)練集995張，評(píng)估集125張，測(cè)試集125張。數(shù)據(jù)集中包含單塊煤矸石圖像和多塊煤矸石圖像。

4.2 CBA-YOLO模型訓(xùn)練

實(shí)驗(yàn)軟硬件配置如下：計(jì)算機(jī)操作系統(tǒng)為Ubuntu16.04，CPU運(yùn) 算 核 心 為Intel?CoreTMi5－8400CPU@2.80 GHz，GPU為GeForce GTX 2080Ti,NVIDIA驅(qū)動(dòng)為CUDA10.2。算法基于Pytorch框架運(yùn)行。實(shí)驗(yàn)訓(xùn)練參數(shù)設(shè)置如下：選用ADAM作為優(yōu)化器；初始學(xué)習(xí)率為0.01，學(xué)習(xí)率周期為0.2，學(xué)習(xí)率動(dòng)量為0.937；權(quán)重衰減系數(shù)為0.000 5，訓(xùn)練的Batch_size為16，epoch為600。

對(duì)CBA-YOLO模型進(jìn)行多次訓(xùn)練，選取最佳模型用于評(píng)估。訓(xùn)練完成后的損失函數(shù)曲線如圖7所示。損失值越小，預(yù)測(cè)結(jié)果越準(zhǔn)確。由圖7可知，訓(xùn)練輪次超過250后，損失值下降趨于平緩，損失函數(shù)曲線已經(jīng)收斂，說明模型訓(xùn)練效果良好。

圖7 訓(xùn)練損失Fig. 7 Training loss

4.3 實(shí)驗(yàn)結(jié)果分析

利用獲得的測(cè)試集進(jìn)行消融實(shí)驗(yàn)，實(shí)驗(yàn)1-3分別在模型中引入CBAM，BiFPN結(jié)構(gòu)和Alpha-IoU，實(shí)驗(yàn)4-6采用2種改進(jìn)方法。為了簡(jiǎn)潔表達(dá)，取CBAM，BiFPN，Alpha-IoU的首字母，將添加單個(gè)CBAM模塊的模型稱為YOLO-C，添加CBAM模塊和BiFPN組合結(jié)構(gòu)的模型稱為YOLO-CB，其他模型依此類推。

通過設(shè)置不同閾值，得到不同模型準(zhǔn)確率與召回率的關(guān)系曲線，即PR曲線，如圖8所示。PR曲線與坐標(biāo)軸圍成的區(qū)域面積為平均精度均值（mean Average Precision，mAP），以mAP作為煤矸石檢測(cè)的精度指標(biāo)，以幀率作為煤矸石檢測(cè)的速度指標(biāo)，消融實(shí)驗(yàn)結(jié)果見表1。

圖8 消融實(shí)驗(yàn)PR曲線Fig. 8 PR curves of ablation experiment

表1 消融實(shí)驗(yàn)結(jié)果Table 1 Results of ablation experiment

分析圖8和表1可知，以YOLOv5為基準(zhǔn)模型，采用單個(gè)改進(jìn)方法的模型性能如下：YOLO-C的精度和速度都有小幅提升；YOLO-B的精度小幅提升，速度提升顯著；YOLO-A的精度提升最多，但速度有所下降。上述結(jié)果表明：在Backbone中加入注意力機(jī)制可聚焦特征差異，降低了數(shù)據(jù)維度，帶來了精度和速度的提升；Neck部分引入BiFPN結(jié)構(gòu)后，提升了模型計(jì)算效率，但精度提升不明顯；Prediction部分通過改進(jìn)損失函數(shù)，聚焦高IoU目標(biāo)，提升了檢測(cè)精度，但未能兼顧速度。

以YOLOv5為基準(zhǔn)模型，采用組合改進(jìn)方法的模型性能如下：YOLO-CA和YOLO-BA的精度提升程度相當(dāng)，但后者的速度更快，說明Neck部分采用BiFPN結(jié)構(gòu)可提升網(wǎng)絡(luò)推理速度；YOLO-CB的精度最低，但速度最快；CBA-YOLO模型的精度提升最多，比基準(zhǔn)模型提升了3.4%，檢測(cè)速度提升了10%，說明改進(jìn)損失函數(shù)雖然增加了網(wǎng)絡(luò)計(jì)算量，但由于Neck部分采用BiFPN結(jié)構(gòu)后提升了模型計(jì)算效率，保證了模型在不損失速度性能的情況下穩(wěn)定提升精度，同時(shí)，通過在Backbone中加入注意力機(jī)制進(jìn)一步提高了檢測(cè)性能。

基于YOLOv5和CBA-YOLO模型的煤矸石檢測(cè)結(jié)果對(duì)比如圖9所示?？煽闯?，CBA-YOLO模型魯棒性更強(qiáng)，有效避免了漏檢、誤檢和重疊現(xiàn)象。

圖9 煤矸石檢測(cè)結(jié)果對(duì)比Fig. 9 Comparison of coal gangue detection results

5 結(jié)論

（1） 在Backbone中加入注意力機(jī)制可聚焦特征差異，降低了數(shù)據(jù)維度，帶來了精度和速度的提升；Neck部分引入BiFPN結(jié)構(gòu)后，提升了模型計(jì)算效率，但精度提升不明顯；Prediction部分通過改進(jìn)損失函數(shù)，聚焦高IoU目標(biāo)，提升了檢測(cè)精度，但未能兼顧速度。

（2） 與YOLOv5模型相比，CBA-YOLO模型的精度提升了3.4%，檢測(cè)速度提升了10%，同時(shí)保證了檢測(cè)實(shí)時(shí)性和精度，可為選煤廠實(shí)際應(yīng)用提供參考。