汝洪芳， 張冬冬

(黑龍江科技大學(xué) 電氣與控制工程學(xué)院, 哈爾濱 150022)

0 引 言

煤炭現(xiàn)實(shí)生活所必需的能源之一,原煤中含有大量的矸石，一般占原煤產(chǎn)量的 15%～20%?；祀s在煤中的矸石會(huì)降低燃燒率，燃燒產(chǎn)物會(huì)致環(huán)境污染。一直以來(lái)，與煤炭外形相似的煤矸石分選是煤炭生產(chǎn)的一大難題[1]。

目前，煤矸石分選方法主要有人工手選、重介質(zhì)選煤、干法選煤、X射線選煤和機(jī)器學(xué)習(xí)等。其中，人工手選誤差較大，而跳汰和介質(zhì)分選浪費(fèi)水資源，并不適用于我國(guó)西北部等干旱地區(qū)的煤礦產(chǎn)區(qū)。X射線對(duì)煤矸石進(jìn)行分選主要利用煤和煤矸石對(duì)X射線的吸收能力不同進(jìn)行區(qū)分[2]，由于X射線自身特性，不利于選煤廠工人的健康。應(yīng)用機(jī)器學(xué)習(xí)檢測(cè)煤矸有廣泛應(yīng)用，結(jié)合灰度共生矩陣和支持向量機(jī)的方式分類煤矸石。隨著機(jī)器學(xué)習(xí)的不斷發(fā)展，網(wǎng)絡(luò)層數(shù)更深、特征提取能力更強(qiáng)的深度學(xué)習(xí)也在飛速發(fā)展。將CNN卷積神經(jīng)網(wǎng)絡(luò)與煤矸石分選相結(jié)合，相比使用灰度信息作為判別依據(jù)的方法精度更高[3]。由于人工提取圖片特征易受干擾，CNN卷積神經(jīng)網(wǎng)絡(luò)分選精度不足，因此，需尋求更好深度學(xué)習(xí)算法進(jìn)行煤矸石分選?？紤]對(duì)煤矸石分選準(zhǔn)確率及速度等多方面因素，筆者選用YOLOv5網(wǎng)絡(luò)檢測(cè)煤矸石，優(yōu)化YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)檢測(cè)識(shí)別煤矸石。

1 YOLOv5網(wǎng)絡(luò)原理

1.1 YOLO網(wǎng)絡(luò)

目標(biāo)檢測(cè)方法有兩種：一種是雙階段檢測(cè)算法，另一種是單階段檢測(cè)算法。單階段檢測(cè)算法主要有YOLO和SSD等算法，雙階段算法有R-CNN系列。單階段算法流程里從輸入圖像到輸出結(jié)果只經(jīng)歷了深度神經(jīng)網(wǎng)絡(luò)一個(gè)階段。因此，相對(duì)于雙階段目標(biāo)檢測(cè)算法來(lái)說(shuō)單階段算法在速度上有很大提升[4]。

與目標(biāo)檢測(cè)方法相比，YOLO系列網(wǎng)絡(luò)在進(jìn)行目標(biāo)檢測(cè)時(shí)，將待測(cè)對(duì)象的目標(biāo)檢測(cè)任務(wù)定義為回歸問(wèn)題，文中選用YOLOv5屬于單階段算法。

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv5共有四種網(wǎng)絡(luò)結(jié)構(gòu)，分別為YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x四種網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)大小依次遞增，YOLOv5s網(wǎng)絡(luò)最小，運(yùn)行速度最快， YOLOv5x網(wǎng)絡(luò)最大，運(yùn)行速度相對(duì)最慢。由于煤矸石目標(biāo)檢測(cè)為兩分類，考慮到實(shí)時(shí)性需求，因此，選取網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)簡(jiǎn)單的YOLOv5s、YOLOv5m進(jìn)行優(yōu)化實(shí)驗(yàn)。YOLOv5s網(wǎng)絡(luò)深度0.33、寬度0.50；YOLOv5m網(wǎng)絡(luò)深度0.67、網(wǎng)絡(luò)寬度0.75。使用網(wǎng)絡(luò)深度和寬度兩個(gè)系數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行調(diào)節(jié)。

使用網(wǎng)絡(luò)深度和寬度兩個(gè)系數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行調(diào)節(jié)。其中，寬度主要影響卷積后特征圖的第三維度即厚度。

YOLOv5s的網(wǎng)絡(luò)結(jié)構(gòu)如圖 1所示，其主要由Focus模塊、CSP結(jié)構(gòu)和Neck輸出部分組成。

圖1 YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)Fig. 1 YOLOv5s network structure

1.2.1 Focus模塊

Focus是Yolov5新增的操作，將原始608×608×3的圖像輸入Focus結(jié)構(gòu)，采用切片操作，先變成304×304×12的特征圖，再經(jīng)過(guò)一次32個(gè)卷積核的卷積操作，最終變成304×304×32的特征圖[5]，操作流程如圖 2所示。

圖2 Focus操作流程Fig. 2 Flow of focus operation

1.2.2 CSP結(jié)構(gòu)

YOLOv5借鑒了CSP Darknet 網(wǎng)絡(luò)結(jié)構(gòu)，在主干網(wǎng)絡(luò)中設(shè)計(jì)了兩種CSP結(jié)構(gòu)，其中，CSP1_X結(jié)構(gòu)應(yīng)用于Backbone主干網(wǎng)絡(luò)，另一種CSP2_X結(jié)構(gòu)則應(yīng)用于Neck中。其中，X代表殘差網(wǎng)絡(luò)個(gè)數(shù)，作用是防止在卷積的過(guò)程中產(chǎn)生梯度爆炸和網(wǎng)絡(luò)退化等問(wèn)題。網(wǎng)絡(luò)結(jié)構(gòu)如圖 3所示，其中，Conv代表卷積，BN代表歸一化，Leakyrelu為激活函數(shù)，這三個(gè)部分組成了CBL模塊用來(lái)處理圖像數(shù)據(jù)，CBL和Resunit模塊共同構(gòu)成了CSP X結(jié)構(gòu)[6-7]。 經(jīng)過(guò)CSP結(jié)構(gòu)處理后，圖像的信息被提取出來(lái)輸送到下一級(jí)網(wǎng)絡(luò)。

圖3 CSP結(jié)構(gòu)Fig. 3 CSP structure

1.2.3 Neck輸出部分

Yolov5的Neck和Yolov4中一樣，均采用FPN+PAN的結(jié)構(gòu)，如圖 4所示。FPN+PAN的結(jié)構(gòu)是一個(gè)特征圖像金字塔，整個(gè)過(guò)程是先對(duì)原始圖像構(gòu)造圖像金字塔，在圖像金字塔的每一層提出不同的特征，然后進(jìn)行相應(yīng)的預(yù)測(cè)。這種方法的缺點(diǎn)是計(jì)算量大，需要大量的內(nèi)存，優(yōu)點(diǎn)是可以獲得較好的檢測(cè)精度。

圖4 YOLOv5的Neck結(jié)構(gòu)Fig. 4 Neck structure of YOLOv5

經(jīng)過(guò)YOLOv5網(wǎng)絡(luò)處理后的圖像會(huì)有三種不同的輸出，不同的輸出預(yù)測(cè)不同尺寸的目標(biāo)。

2 網(wǎng)絡(luò)優(yōu)化

通過(guò)研究YOLOv5的網(wǎng)絡(luò)結(jié)構(gòu)和原理，對(duì)網(wǎng)絡(luò)進(jìn)行交并比和非極大值抑制的優(yōu)化。

2.1 交并比的優(yōu)化

IoU的不同計(jì)算方法，對(duì)目標(biāo)檢測(cè)的輸出結(jié)果有很大的影響。文中分別介紹三種IoU的計(jì)算方法，對(duì)比網(wǎng)絡(luò)原有的GIoU 選擇性能更好的CIoU進(jìn)行計(jì)算，實(shí)現(xiàn)優(yōu)化效果。

交并比計(jì)算公式為

(1)

式中：D——預(yù)測(cè)值；

G—— 標(biāo)注值。

預(yù)測(cè)框與標(biāo)記框的重疊如圖 5所示，預(yù)測(cè)框與標(biāo)注框的交疊部分代表著ηIoU的大小，ηIoU為1表示兩個(gè)預(yù)測(cè)框完全重疊。當(dāng)預(yù)測(cè)值和標(biāo)注值交叉范圍較小時(shí)，ηIoU的數(shù)值會(huì)比較?。划?dāng)預(yù)測(cè)值和標(biāo)注值交叉范圍較大時(shí)，ηIoU的數(shù)值比較大。

圖5 預(yù)測(cè)框與標(biāo)記框的重疊Fig. 5 Overlapping of prediction frame and marker frame

2.1.1 GIoU Loss損失函數(shù)

Yolov5中采用GIoU_Loss為Bounding box的損失函數(shù)[8]為

(2)

式中：A、B——任意兩個(gè)目標(biāo)框；

C——A和B包含的最小封裝模型。

通過(guò)計(jì)算C中A和B外圍的面積與C的總面積相除，采用IoU值減去這個(gè)比值[7]，YOLOv5的損失函數(shù)定義為

LGIoU=1-ηGIoU。

(3)

2.1.2 DIoU Loss損失函數(shù)

DIoU損失函數(shù)比GIoU更加符合目標(biāo)框回歸的機(jī)制，使目標(biāo)框回歸變得更加穩(wěn)定，不會(huì)像IoU和GIoU一樣出現(xiàn)訓(xùn)練過(guò)程中發(fā)散等問(wèn)題。

(4)

預(yù)測(cè)框與真實(shí)框中間有重疊如圖 6所示。圖中，b、bg分別代表了預(yù)測(cè)框和真實(shí)框的中心點(diǎn)，且ρ代表的是計(jì)算兩個(gè)中心點(diǎn)間的歐氏距離。c代表的是能夠同時(shí)包含預(yù)測(cè)框和真實(shí)框的最小閉包區(qū)域的對(duì)角線距離[8]。

圖6 DIoU預(yù)測(cè)框與真實(shí)框Fig. 6 DIoU prediction frame and real frame

2.1.3 CIoU Loss損失函數(shù)

由于bbox回歸三要素中的長(zhǎng)寬比還未被考慮到計(jì)算中，CIoU公式為

(5)

完整的 CIoU 損失函數(shù)定義為

(6)

(7)

式中：α——權(quán)重函數(shù)；

υ——度量長(zhǎng)寬比的相似性。

CIoU比DIoU考慮的更加全面，不僅將目標(biāo)與anchor之間的距離，重疊率及尺度，均考慮進(jìn)去，而且也考慮了長(zhǎng)寬比，使目標(biāo)框回歸變得更加穩(wěn)定，對(duì)目標(biāo)的預(yù)測(cè)更加準(zhǔn)確，因此，選擇優(yōu)化更好的CIoU。

2.2 非極大值抑制的優(yōu)化

在目標(biāo)檢測(cè)的后處理過(guò)程中，目標(biāo)框的篩選，需要進(jìn)行非極大值抑制操作。YOLOv5中采用的是加權(quán)NMS操作，文中將加權(quán)NMS替換成soft NMS。

soft NMS抑制函數(shù)為

(8)

式中：si——預(yù)測(cè)框得分；

ηiou(M，bi) ——預(yù)測(cè)框IoU；

Nt——閾值，文中取0.7。

由式(8)選擇一個(gè)最高分的預(yù)測(cè)框，當(dāng)其他預(yù)測(cè)框的ηiou(M，bi)小于閾值Nt時(shí)，si保留；當(dāng)其他預(yù)測(cè)框的ηiou(M，bi)大于閾值Nt時(shí)，si執(zhí)行下面的懲罰衰減公式，保留所得的結(jié)果作為下一輪的si，最終選出一個(gè)得分最高的預(yù)測(cè)框。soft NMS很好地解決了原NMS存在的當(dāng)閾值過(guò)大造成的誤檢，即抑制效果不明顯的問(wèn)題。

3 煤矸石圖像數(shù)據(jù)集

煤矸石和煤的樣本圖像經(jīng)過(guò)篩選之后獲得了共10 054張樣本圖片，其中，煤炭樣本5 520張，煤矸石樣本4 534張。由于拍攝過(guò)程中會(huì)出現(xiàn)各種不必要的干擾，使煤矸石圖像模糊或偏移。在獲取煤矸石圖像的過(guò)程中，采集的照片容易變形，會(huì)對(duì)后續(xù)圖像處理以及還原實(shí)際位置坐標(biāo)造成一定的干擾，因此，需要對(duì)圖片進(jìn)行修正，可以使圖像特征明顯，易于識(shí)別[9]，常用的圖像修正包括仿射變換與透視變換兩種，在這里選擇仿射變換。

3.1 仿射變換

仿射變換將發(fā)生畸變的圖片修正為正常圖片的二維形式，對(duì)仿射變換來(lái)說(shuō)，其變換過(guò)程可以表示成原坐標(biāo)乘以一個(gè)矩陣加上向量的形式[10]，仿射變換為

(9)

x′=b11x+b12y+b13，

(10)

y′=b21x+b22y+b23，

(11)

式中：x、y——原坐標(biāo)；

x′、y′——變換后坐標(biāo)；

b——變換參數(shù)。

煤矸石的圖片原坐標(biāo)經(jīng)過(guò)式(10)、(11)后，原來(lái)的坐標(biāo)點(diǎn)(x,y)通過(guò)放射變換映射成了(x′,y′)。

3.2 數(shù)據(jù)集的建立

在獲取到煤矸石圖像之后，圖像的數(shù)據(jù)量很大，影響整張圖像處理效率，因此，需要應(yīng)用ROI對(duì)圖像非感興趣區(qū)域進(jìn)行分割，僅保留圖像的感興趣區(qū)域，這樣可以減少深度學(xué)習(xí)網(wǎng)絡(luò)的檢測(cè)面積，進(jìn)而減少檢測(cè)時(shí)間，提高檢測(cè)效率。

對(duì)原始圖像進(jìn)行篩選、樣本集擴(kuò)充、統(tǒng)一圖像格式與尺寸及打亂順序。最后統(tǒng)一命名，其樣本圖像如圖 7所示，其中，c代表煤，cg代表煤矸石，后面的數(shù)字表示圖像序號(hào)，圖像統(tǒng)一保存為jpg格式。

圖7 煤及煤矸石圖像樣本Fig. 7 Coal and coal gangue picture samples

建立對(duì)應(yīng)的標(biāo)簽文件，標(biāo)簽文件為txt格式，其將該文件放到指定的date文件夾以作備用。

4 分選實(shí)驗(yàn)

實(shí)驗(yàn)用YOLOv5的四種網(wǎng)絡(luò)結(jié)構(gòu)，煤矸石分選測(cè)試時(shí)需要進(jìn)行數(shù)據(jù)增強(qiáng)。Mosaic算法會(huì)隨機(jī)選取4張煤矸石圖片，將原始圖片按照從左到右逆時(shí)針依次排列。在完成數(shù)據(jù)增強(qiáng)，將4張圖片擺放完畢之后，按照矩陣的位置進(jìn)行截取，然后將其進(jìn)行拼接操作，拼接之后得到一張新的圖片，新的圖片上含有拼接之前的原圖像的樣本類型和位置信息，圖像經(jīng)處理后對(duì)煤和矸石進(jìn)行區(qū)分，橘黃色標(biāo)簽顯示1代表煤矸石，藍(lán)色標(biāo)簽顯示0代表煤，其增強(qiáng)效果如圖 8所示。

圖8 Mosaic數(shù)據(jù)增強(qiáng)Fig. 8 Mosaic data enhancement

利用目標(biāo)檢測(cè)算法YOLOv5m(CIoU)對(duì)煤矸石與煤的圖像樣本及定位標(biāo)簽文件所組成的數(shù)據(jù)集進(jìn)行目標(biāo)檢測(cè)實(shí)驗(yàn)，選擇 PyTorch作為實(shí)現(xiàn)煤矸石目標(biāo)檢測(cè)的深度學(xué)習(xí)工具[12]，結(jié)合COCO數(shù)據(jù)集的權(quán)重文件進(jìn)行遷移學(xué)習(xí)。經(jīng)過(guò)10個(gè)循環(huán)訓(xùn)練而后使用500張煤與煤矸石的圖片，包含200張煤矸石圖片樣進(jìn)行實(shí)測(cè)。其數(shù)據(jù)如表 1所示。

表1 煤矸石試檢結(jié)果

煤矸石試檢結(jié)果如圖 9所示。其中，4個(gè)煤矸石圖像經(jīng)過(guò)YOLOv5m(CIoU)目標(biāo)檢測(cè)模型后被識(shí)別出來(lái)，圖9a中的橘色框顯示煤矸石分類，圖9b中橘色框左上角的數(shù)字表示煤矸石的識(shí)別準(zhǔn)確度。4個(gè)煤矸石的識(shí)別準(zhǔn)確度分別為0.9、0.9、1.0、0.9。試檢結(jié)果表明，優(yōu)化網(wǎng)絡(luò)能夠達(dá)到預(yù)期效果。

圖9 煤矸石試檢結(jié)果Fig. 9 Test results of coal gangue

在YOLOv5算法中，αmAP是訓(xùn)練過(guò)程中的一個(gè)重要指標(biāo)，用于表示當(dāng)前深度學(xué)習(xí)網(wǎng)絡(luò)的預(yù)測(cè)精確度，αmAP1表示0.5的預(yù)測(cè)準(zhǔn)確度，αmAP2表示從0.5到0.95的平均預(yù)測(cè)準(zhǔn)確度。檢測(cè)使用YOLOv5s、YOLOv5s(CIoU)、YOLOv5m、YOLOv5m(CIoU)四種網(wǎng)絡(luò)，YOLOv5s(CIoU)、YOLOv5m(CIoU)代表優(yōu)化后的網(wǎng)絡(luò)，實(shí)驗(yàn)的epoch設(shè)置為10，表示運(yùn)行10個(gè)循環(huán)分別記錄4種網(wǎng)絡(luò)10次循環(huán)后的數(shù)據(jù)，檢測(cè)結(jié)果如圖 10所示。

圖10 煤矸石檢測(cè)結(jié)果Fig. 10 Test results of coal gangue

由圖 10可見(jiàn)，YOLOv5四種測(cè)試網(wǎng)絡(luò)的αmAP1和αmAP2對(duì)比曲線。從圖10可以看出，YOLOv5s、YOLOv5m網(wǎng)絡(luò)的檢測(cè)精度分別為0.877和0.914，而YOLOv5s(CIoU)、YOLOv5m(CIoU)網(wǎng)絡(luò)的檢測(cè)精度為0.885和0.923，優(yōu)化后的2種網(wǎng)絡(luò)在檢測(cè)精度上均有提升。由于YOLOv5s與 YOLOv5s(CIoU)的αmAP1曲線在訓(xùn)練過(guò)程中變化波動(dòng)較大，且檢測(cè)精度較低，說(shuō)明YOLOv5s對(duì)煤矸石分類來(lái)說(shuō)效果一般，而圖中YOLOv5m(CIoU)網(wǎng)絡(luò)訓(xùn)練10個(gè)循環(huán)后即可穩(wěn)定在0.92左右的效果，且相對(duì)于YOLOv5m在精確度上有提升，達(dá)到優(yōu)化效果，使用YOLOv5m(CIoU)對(duì)煤矸石進(jìn)行目標(biāo)檢測(cè)，可保證識(shí)別精度，達(dá)到預(yù)期效果。

5 結(jié) 論

(1)YOLOv5s(CIoU)網(wǎng)絡(luò)的0.885檢測(cè)精度高于YOLOv5s網(wǎng)絡(luò)的0.877檢測(cè)精度，同樣，YOLOv5m(CIoU)網(wǎng)絡(luò)的0.923檢測(cè)精度高于YOLOv5m網(wǎng)絡(luò)的0.914檢測(cè)精度，實(shí)現(xiàn)了優(yōu)化效果。

(2)YOLOv5m(CIoU)深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)煤矸石的檢測(cè)精度最高為0.949，煤炭的檢測(cè)精度為0.897，平均準(zhǔn)確率為0.923。在考慮精度的情況下，YOLOv5m(CIoU)網(wǎng)絡(luò)能夠更好完成煤矸石的分選，其可實(shí)現(xiàn)煤矸石的目標(biāo)檢測(cè)。