毛清華，李世坤，胡鑫，薛旭升，姚麗杰

（1.西安科技大學(xué) 機(jī)械工程學(xué)院，陜西 西安 710054；2.陜西省礦山機(jī)電裝備智能檢測(cè)與控制重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710054）

0 引言

煤礦井下開采環(huán)境復(fù)雜，帶式輸送機(jī)煤流中摻雜錨桿、角鐵、木條、矸石、大塊煤等異物，若異物沒有及時(shí)被分揀出來，容易導(dǎo)致輸送帶撕裂、轉(zhuǎn)接處堵塞甚至斷帶等事故，嚴(yán)重影響煤礦安全高效生產(chǎn)。通過帶式輸送機(jī)巡檢機(jī)器人對(duì)異物進(jìn)行檢測(cè)識(shí)別[1-2]，可降低帶式輸送機(jī)發(fā)生故障的風(fēng)險(xiǎn)。

帶式輸送機(jī)巡檢機(jī)器人通過深度學(xué)習(xí)結(jié)合機(jī)器視覺的方法對(duì)帶式輸送機(jī)異物進(jìn)行檢測(cè)。吳守鵬等[3]提出了一種基于Faster?RCNN和雙向特征金字塔網(wǎng)絡(luò)的輸送帶異物識(shí)別模型，提高了輸送帶異物識(shí)別精確率。呂志強(qiáng)[4]利用改進(jìn)的Faster?RCNN完成了對(duì)輸送帶上矸石和鐵器的識(shí)別。任志玲等[5]提出了一種基于改進(jìn)CenterNet的輸送帶異物識(shí)別方法，降低了異物的誤檢率和漏檢率。胡璟皓等[6]使用Focal Loss函數(shù)替換YOLOv3模型中的交叉熵?fù)p失函數(shù)，提升了模型對(duì)錨桿、角鐵、螺母3種非煤異物的置信度。Wang Yuanbin等[7]優(yōu)化了單步多框檢測(cè)（Single Shot MultiBox Detector，SSD）模型的損失函數(shù)、特征提取位置和錨框比例，提高了對(duì)輸送帶異物識(shí)別的準(zhǔn)確率。郝帥等[8]針對(duì)煤塵干擾和輸送帶高速運(yùn)行等問題，通過向YOLOv5模型中引入卷積塊注意模塊（Convolutional Block Attention Module，CBAM），并替換普通卷積和損失函數(shù)，提高了模型對(duì)異物的識(shí)別準(zhǔn)確率和速度。程德強(qiáng)等[9]提出了一種融合殘差信息的輕量級(jí)網(wǎng)絡(luò)，在提高輸送帶異物分類識(shí)別準(zhǔn)確率的同時(shí)，識(shí)別速度也有了較大提升。Xiao Dong等[10]對(duì)帶式輸送機(jī)異物檢測(cè)模型實(shí)施了基于通道和層的剪枝，提高了模型檢測(cè)速度。然而上述模型均部署在地面高性能服務(wù)器上，因防爆和體積要求，不能將高性能服務(wù)器直接部署在井下帶式輸送機(jī)巡檢機(jī)器人上。此外，受煤礦井下光照不均和帶式輸送機(jī)高速運(yùn)行的影響，難以實(shí)現(xiàn)帶式輸送機(jī)異物的精確識(shí)別。

相比于其他YOLO系列模型，YOLOv7模型額外采用高效聚合網(wǎng)絡(luò)、重參數(shù)化卷積、正負(fù)樣本匹配策略、輔助頭訓(xùn)練和模型縮放，使得模型對(duì)目標(biāo)的特征提取能力得到了顯著提升，對(duì)目標(biāo)的識(shí)別精確率大大提高，但也導(dǎo)致識(shí)別速度較慢[11]。因此，本文提出一種基于改進(jìn)YOLOv7的帶式輸送機(jī)異物識(shí)別方法。該方法采用限制對(duì)比度自適應(yīng)直方圖均衡化對(duì)圖像進(jìn)行增強(qiáng)處理，提高圖像清晰度；在YOLOv7的基礎(chǔ)上，加入輕量化無參注意力機(jī)制（Simple and Parameter-Free Attention Module，SimAM）提升對(duì)圖像中異物的特征提取能力，并引入深度可分離卷積（Depthwise Separable Convolution，DWConv）提高識(shí)別速度；通過TensorRT將改進(jìn)YOLOv7模型部署到帶式輸送機(jī)巡檢機(jī)器人上，實(shí)現(xiàn)對(duì)異物的高效識(shí)別。

1 帶式輸送機(jī)異物識(shí)別方法

1.1 基于限制對(duì)比度自適應(yīng)直方圖均衡化的圖像增強(qiáng)

煤礦帶式輸送機(jī)監(jiān)控圖像受光照不均等因素影響導(dǎo)致畫面不清晰、物體輪廓不明顯，極大地影響了數(shù)據(jù)集的標(biāo)注和異物識(shí)別精確率。

自適應(yīng)直方圖均衡化通過提升圖像對(duì)比度進(jìn)行圖像增強(qiáng)處理。與一般的直方圖均衡化相比，自適應(yīng)直方圖均衡化先計(jì)算多個(gè)直方圖，每一個(gè)直方圖對(duì)應(yīng)圖像的一個(gè)部分，然后使用它們重新分配圖像亮度來改善圖像質(zhì)量。因此，自適應(yīng)直方圖均衡化更適用于改進(jìn)圖像的局部對(duì)比度，以獲得更多的圖像細(xì)節(jié)。但其往往會(huì)因?yàn)閳D像近恒定區(qū)域中的直方圖高度集中而放大圖像近恒定區(qū)域中的對(duì)比度，導(dǎo)致噪聲在近恒定區(qū)域中被放大。限制對(duì)比度自適應(yīng)直方圖均衡化會(huì)對(duì)對(duì)比度放大進(jìn)行限制，從而減少了噪聲放大的問題[12]。因此，使用限制對(duì)比度自適應(yīng)直方圖均衡化對(duì)圖像進(jìn)行增強(qiáng)，可以提高圖像中物體輪廓的清晰度，方便數(shù)據(jù)集標(biāo)注并為后續(xù)的異物識(shí)別奠定基礎(chǔ)。

限制對(duì)比度自適應(yīng)直方圖均衡化的實(shí)現(xiàn)主要包括以下步驟[13]。

（1）分塊。將輸入圖像劃分為大小相等的不重疊子塊rk（k=0，1，…，L?1，L為子塊數(shù)量）。

（2）計(jì)算子塊直方圖h (rk)。

（3）用剪切閾值剪輯每個(gè)子塊的直方圖，剪切規(guī)則為

式中：h′(rk)為 每個(gè)子塊的剪輯直方圖；Nclip為定義的實(shí)際剪切閾值；Navg為要重新分配到每個(gè)直方圖的像素的平均值。

（4）像素點(diǎn)重分配。對(duì)于每個(gè)子塊，使用步驟（3）中多余的像素重新分配。

（5）直方圖均衡化。

（6）采用雙線性插值方法對(duì)像素點(diǎn)灰度值進(jìn)行重構(gòu)。

1.2 改進(jìn)YOLOv7

YOLOv7主要由Input、Backbone、Neck和Head等部分組成[11]。在Backbone部分引入SimAM，并將ELAN?B中的普通卷積替換為DWConv，改進(jìn)YOLOv7結(jié)構(gòu)如圖1所示。

圖1 改進(jìn)YOLOv7結(jié)構(gòu)Fig.1 Structure of improved YOLOv7

1.2.1 SimAM

煤礦井下帶式輸送機(jī)監(jiān)控視頻圖像較模糊，影響YOLOv7模型對(duì)圖像中異物特征的提取，造成帶式輸送機(jī)異物識(shí)別精確率不高。相比于通道注意力機(jī)制和空間注意力機(jī)制，SimAM直接在網(wǎng)絡(luò)層中推理出三維的注意力權(quán)重，在考慮空間和通道維度相關(guān)性的同時(shí)，不會(huì)增加多余的參數(shù)量[14]。SimAM原理如圖2所示。

圖2 SimAM原理Fig.2 Principle of simple and parameter-free attention module

SimAM在處理視覺相關(guān)任務(wù)時(shí)會(huì)對(duì)帶有更多關(guān)鍵信息的神經(jīng)元賦予更高的權(quán)重。SimAM通過對(duì)異物的相鄰神經(jīng)元產(chǎn)生空間抑制，減少煤礦井下復(fù)雜背景對(duì)異物識(shí)別的干擾，凸顯異物的關(guān)鍵特征，增強(qiáng)了提取異物關(guān)鍵特征的能力，其計(jì)算過程如下。

式中：為異物增強(qiáng)后的特征圖；E為每個(gè)通道上的能量函數(shù)，能量越低，表明目標(biāo)異物神經(jīng)元與相鄰神經(jīng)元的區(qū)分度越高，為防止E值出現(xiàn)過大的情況，通過sigmoid函數(shù)來限制E值；?為點(diǎn)積運(yùn)算；X為輸入的異物特征圖；σ2為輸入的異物特征圖中每個(gè)通道上的方差；λ為超參數(shù)；t為目標(biāo)異物的神經(jīng)元；μ為輸入的異物特征圖中每個(gè)通道上的均值；xi為第i（i=1，2，…，Q，Q為通道數(shù)量）個(gè)通道中輸入特征的其他神經(jīng)元。

1.2.2 DWConv

為滿足煤礦井下帶式輸送機(jī)巡檢機(jī)器人實(shí)時(shí)識(shí)別異物的要求，通過DWConv提高異物識(shí)別速度。

YOLOv7大量使用常規(guī)卷積，造成異物識(shí)別速度低，因此引入DWConv代替Backbone主干特征提取網(wǎng)絡(luò)中的普通卷積，可在提高模型檢測(cè)速度的同時(shí)，僅損失較少的精度[15]。假設(shè)輸入的異物特征圖尺寸為DX×DY×M（高×寬×通道數(shù)），YOLOv7中若使用大小為DK×DK×1的卷積核進(jìn)行卷積，則每個(gè)卷積會(huì)產(chǎn)生M個(gè)DX×DY， 然后使用N個(gè)大小為1×1×C的卷積核進(jìn)行卷積，可得尺寸為DH×DW×N（高×寬×通道數(shù)）的輸出特征圖。

普通卷積的計(jì)算量為

DWConv的計(jì)算量為

DWConv與普通卷積的計(jì)算量之比為

由式（9）可知，改進(jìn)YOLOv7模型在對(duì)異物特征進(jìn)行提取時(shí)，計(jì)算量會(huì)得到較大縮減。

1.3 TensorRT

為了使改進(jìn)YOLOv7模型能夠快速、高效地部署在帶式輸送機(jī)巡檢機(jī)器人上，使用TensorRT進(jìn)行優(yōu)化部署。

TensorRT使用流程如圖3所示，分為預(yù)處理階段和推理階段，主要步驟如下：①導(dǎo)出網(wǎng)絡(luò)定義及相關(guān)權(quán)重；②解析網(wǎng)絡(luò)定義及相關(guān)權(quán)重；③根據(jù)顯卡算子構(gòu)造出最優(yōu)執(zhí)行計(jì)劃；④將執(zhí)行計(jì)劃序列化存儲(chǔ)；⑤反序列化執(zhí)行計(jì)劃；⑥進(jìn)行推理[16]。

圖3 TensorRT使用流程Fig.3 TensorRT usage process

TensorRT會(huì)產(chǎn)生一個(gè)優(yōu)化決策并用于網(wǎng)絡(luò)的前向傳播，對(duì)網(wǎng)絡(luò)進(jìn)行轉(zhuǎn)換和優(yōu)化：刪除未使用的網(wǎng)絡(luò)層以避免不必要的計(jì)算，將多個(gè)層融合形成單層；對(duì)網(wǎng)絡(luò)和張量進(jìn)行融合操作，其中垂直融合是將Conv層、BN層或偏移層、激活層整合為一個(gè)CBR（Convolution，Bias and ReLU），水平融合是將幾個(gè)相同輸入融合，降低網(wǎng)絡(luò)的深度和寬度，減少相同函數(shù)的重復(fù)調(diào)用，提升推理速度。此外，TensorRT將改進(jìn)YOLOv7模型中的連接層移除，將預(yù)先分配的緩沖區(qū)中的結(jié)果直接輸入到下一網(wǎng)絡(luò)層中；部署階段，當(dāng)收到待處理數(shù)據(jù)時(shí)，執(zhí)行前期的優(yōu)化決策并進(jìn)行推理識(shí)別，最終實(shí)現(xiàn)對(duì)改進(jìn)YOLOv7模型的加速。1.4帶式輸送機(jī)異物識(shí)別流程

帶式輸送機(jī)異物識(shí)別流程如圖4所示，主要包括數(shù)據(jù)集制備、模型訓(xùn)練、模型轉(zhuǎn)換和異物識(shí)別4個(gè)部分。首先對(duì)采集的數(shù)據(jù)集進(jìn)行基于限制對(duì)比度自適應(yīng)直方圖均衡化的增強(qiáng)，并對(duì)增強(qiáng)后的數(shù)據(jù)集進(jìn)行異物標(biāo)注。其次，將整個(gè)數(shù)據(jù)集按比例隨機(jī)劃分訓(xùn)練集和測(cè)試集。然后，將訓(xùn)練集導(dǎo)入改進(jìn)的YOLOv7，在服務(wù)器上訓(xùn)練得到異物識(shí)別模型。最后，使用TensorRT引擎對(duì)訓(xùn)練后的異物識(shí)別模型進(jìn)行轉(zhuǎn)換并部署在NVIDIA Jetson Xavier NX上，完成對(duì)帶式輸送機(jī)異物的精確、實(shí)時(shí)識(shí)別。

圖4 帶式輸送機(jī)異物識(shí)別流程Fig.4 Belt conveyor foreign object recognition process

2 實(shí)驗(yàn)設(shè)備及數(shù)據(jù)

2.1 實(shí)驗(yàn)設(shè)備

實(shí)驗(yàn)中所使用模型訓(xùn)練設(shè)備的參數(shù)：操作系統(tǒng)，Windows 10；GPU，NVIDIA GeForce RTX 3080；CPU，12th Gen Intel（R）Core（TM）i7?12700K 3.61 GHz；深度學(xué)習(xí)框架，Torch 1.9.0+CUDA 11.1。模型部署平臺(tái)為 NVIDIA Jetson Xavier NX。

2.2 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)所用數(shù)據(jù)集來自某煤礦井下輸送帶工作時(shí)的監(jiān)控視頻圖像，輸送帶運(yùn)行速度為3.5 m/s，煤礦井下監(jiān)控視頻所用相機(jī)的拍攝幀率為25幀/s，圖像像素為1 920×1 080。為提高改進(jìn)YOLOv7模型對(duì)異物在不同角度和亮度環(huán)境下的識(shí)別能力，對(duì)數(shù)據(jù)集中所有圖像進(jìn)行水平翻轉(zhuǎn)、鏡像翻轉(zhuǎn)、明暗增強(qiáng)等處理。數(shù)據(jù)集經(jīng)過數(shù)據(jù)增強(qiáng)后一共包含2 013張異物圖像樣本。隨機(jī)選取1 610張圖像作為訓(xùn)練樣本，其余403張圖像作為測(cè)試樣本。數(shù)據(jù)集中采集的異物包括錨桿、角鐵、木條、矸石和大塊煤，為便于辨認(rèn)和顯示，用FB1代表錨桿，F(xiàn)B2代表角鐵，F(xiàn)B4代表木條，F(xiàn)B6代表矸石，F(xiàn)B7代表大塊煤。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 圖像增強(qiáng)結(jié)果

帶式輸送機(jī)監(jiān)控圖像經(jīng)過限制對(duì)比度自適應(yīng)直方圖均衡化增強(qiáng)前后的對(duì)比如圖5所示?？煽闯鼋?jīng)過圖像增強(qiáng)后，帶式輸送機(jī)較暗部位的煤塊變得輪廓清晰、特征明顯。

圖5 圖像增強(qiáng)前后對(duì)比Fig.5 Comparison of the images before and after image enhancement

為客觀評(píng)價(jià)本文圖像增強(qiáng)方法的有效性，選取Entropy函數(shù)和Brenner函數(shù)來衡量圖像增強(qiáng)前后清晰度的變化，這些函數(shù)的值與圖像清晰度呈正比例關(guān)系，值越大，圖像輪廓越清楚[17]。圖像增強(qiáng)前后清晰度評(píng)價(jià)結(jié)果見表1，可看出增強(qiáng)后圖像的Entropy值和Brenner值均大于原圖，說明經(jīng)過增強(qiáng)的圖像更加清晰。

表1 圖像清晰度評(píng)價(jià)結(jié)果Table1 Evaluation resultsof imagedefinition

3.2 改進(jìn)YOLOv7的識(shí)別結(jié)果

為驗(yàn)證改進(jìn)YOLOv7的優(yōu)越性，將改進(jìn)YOLOv7與YOLOv5L、YOLOv7模型進(jìn)行對(duì)比分析，3種模型的平均精確率、平均召回率及識(shí)別速度見表2?？煽闯鯵OLOv5L雖然比YOLOv7的平均精確率高出1.6%，但識(shí)別耗時(shí)卻是YOLOv7的1.74倍；改進(jìn)YOLOv7的平均精確率、平均召回率和識(shí)別速度均優(yōu)于YOLOv5L和YOLOv7，精確率達(dá)93.1%，檢測(cè)每幀圖像耗時(shí)0.025 s，即識(shí)別速度為40幀/s，大于監(jiān)控相機(jī)的拍攝幀率25幀/s，能夠達(dá)到實(shí)時(shí)識(shí)別的要求。

表2 不同模型的平均精確率、平均召回率和識(shí)別時(shí)間Table2 Average precision,average recall and recognition timeof different models

5種異物在YOLOv7改進(jìn)前后的識(shí)別精確率和召回率見表3。可看出YOLOv7改進(jìn)后，錨桿、角鐵、木條、矸石和大塊煤的識(shí)別精確率分別提高了2.8%，1.4%，6.4%，1.5%，6.4%，召回率分別提高了3.4%，3%，1.4%，4.4%，2.2%。

表3 YOLOv7改進(jìn)前后異物識(shí)別精確率和召回率對(duì)比Table3 Comparison of foreign object recognition precision and recall beforeand after YOLOv7 improvement

3.3 消融實(shí)驗(yàn)結(jié)果

通過消融實(shí)驗(yàn)驗(yàn)證圖像增強(qiáng)、SimAM和DWConv對(duì)整體模型的影響，實(shí)驗(yàn)采用相同的數(shù)據(jù)集和軟硬件設(shè)備，所得識(shí)別精確率和耗時(shí)見表4（表中第1行為YOLOv7模型的識(shí)別結(jié)果）。

表4 消融實(shí)驗(yàn)結(jié)果Table 4 Ablation experimental results

從表4可看出，當(dāng)進(jìn)行圖像增強(qiáng)處理后，識(shí)別精確率提高了0.9%；在YOLOv7模型中融入SimAM后，增強(qiáng)了模型提取異物關(guān)鍵特征的能力和抗干擾能力，識(shí)別精確率相比于YOLOv7提升了4.6%；當(dāng)引入DWConv后，識(shí)別精確率相比于YOLOv7下降了1.3%，但識(shí)別速度相比提升了11.1%；通過結(jié)合圖像增強(qiáng)、SimAM和DWConv，改進(jìn)YOLOv7的識(shí)別精確率比YOLOv7提升了3.7%，且識(shí)別速度提升了7.4%，可實(shí)時(shí)對(duì)帶式輸送機(jī)異物進(jìn)行精確識(shí)別。

3.4 模型部署實(shí)驗(yàn)結(jié)果

為驗(yàn)證改進(jìn)YOLOv7能否滿足煤礦井下帶式輸送機(jī)巡檢機(jī)器人高效、準(zhǔn)確識(shí)別異物的要求，通過TensorRT將YOLOv5L、YOLOv7及改進(jìn)YOLOv7模型部署到帶式輸送機(jī)巡檢機(jī)器人的控制平臺(tái)NVIDIA Jetson Xavier NX上[18]，得到的平均精確率和識(shí)別時(shí)間見表5。可看出改進(jìn)YOLOv7模型在識(shí)別精確率與速度方面均最優(yōu)，識(shí)別精確率為92.8%，識(shí)別1張圖像耗時(shí)為0.039 s，即識(shí)別速度為25.64幀/s，大于帶式輸送機(jī)監(jiān)控相機(jī)幀率，能夠滿足精確、高效識(shí)別異物的要求。

表5 不同模型平均精確率和識(shí)別時(shí)間Table 5 Average precision and recognition time of different models

為驗(yàn)證本文方法對(duì)煤礦帶式輸送機(jī)異物識(shí)別效果，將改進(jìn)YOLOv7模型部署到NVIDIA Jetson Xavier NX平臺(tái)后，對(duì)煤礦井下多段分辨率為1 920×1 080的帶式輸送機(jī)監(jiān)控視頻進(jìn)行識(shí)別，結(jié)果如圖6所示。從第1組圖像識(shí)別結(jié)果可看出，本文方法由于加入了限制對(duì)比度自適應(yīng)直方圖均衡化預(yù)處理，將大塊煤的輪廓增強(qiáng)得更加清晰，使得改進(jìn)YOLOv7模型正確識(shí)別出了1個(gè)大塊煤和2塊矸石，且識(shí)別的置信度較高，沒有出現(xiàn)漏檢和誤檢，識(shí)別效果優(yōu)于YOLOv5L和YOLOv7；從第2組和第3組圖像的識(shí)別結(jié)果可看出，引入SimAM的改進(jìn)YOLOv7模型對(duì)雜亂的不相關(guān)背景具有更強(qiáng)的抗干擾能力，同時(shí)也增強(qiáng)了模型提取異物特征的能力，使得第2組圖像中的大塊煤、矸石及第3組中的錨桿被精確識(shí)別出來，沒有出現(xiàn)漏檢情況，識(shí)別效果優(yōu)于YOLOv5L和YOLOv7。

圖6 不同模型識(shí)別結(jié)果Fig.6 Recognition resultsof different models

4 結(jié)論

（1）采用限制對(duì)比度自適應(yīng)直方圖均衡化方法，提高了煤礦井下帶式輸送機(jī)監(jiān)控畫面清晰度；在YOLOv7的主干特征提取網(wǎng)絡(luò)中加入輕量化SimAM，能夠減弱復(fù)雜、不相關(guān)背景干擾并有效提升對(duì)異物的識(shí)別精確率，并引入DWConv代替主干特征提取網(wǎng)絡(luò)中的普通卷積，提升識(shí)別效率；通過TensorRT優(yōu)化部署改進(jìn)YOLOv7模型，進(jìn)一步提升異物識(shí)別速度。

（2）在自建的帶式輸送機(jī)監(jiān)控視頻數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)驗(yàn)證，結(jié)果表明改進(jìn)YOLOv7模型識(shí)別效果優(yōu)于YOLOv5L和YOLOv7模型，異物識(shí)別精確率為93.1%，識(shí)別速度為40幀/s。

（3）將改進(jìn)YOLOv7模型部署到帶式輸送機(jī)巡檢機(jī)器人的控制平臺(tái)NVIDIA Jetson Xavier NX上，對(duì)煤礦井下帶式輸送機(jī)監(jiān)控視頻進(jìn)行識(shí)別，結(jié)果表明本文方法識(shí)別精確率為92.8%，識(shí)別速度為25.64幀/s，無漏檢、誤檢的情況，滿足精確、高效識(shí)別異物的要求。