張旭輝，閆建星，麻 兵，鞠佳杉，沈奇峰，吳雨佳

（1.西安科技大學(xué)機(jī)械工程學(xué)院，陜西西安 710054；2.陜西省礦山機(jī)電裝備智能監(jiān)測(cè)重點(diǎn)實(shí)驗(yàn)室，陜西西安 710054）

采煤機(jī)和液壓支架護(hù)幫板的運(yùn)行狀態(tài)關(guān)系著煤礦生產(chǎn)的安全。在煤礦綜采過(guò)程中，須準(zhǔn)確識(shí)別護(hù)幫板是否支護(hù)到位，以防止煤壁片幫；準(zhǔn)確識(shí)別護(hù)幫板與采煤機(jī)的運(yùn)動(dòng)是否產(chǎn)生干涉，以防止設(shè)備損壞。傳統(tǒng)的護(hù)幫板檢測(cè)方法是采用傳感器進(jìn)行檢測(cè)。如：魏文艷等[1]提出了一種護(hù)幫板自動(dòng)控制系統(tǒng)和自動(dòng)控制方法，采用接近開(kāi)關(guān)、壓力傳感器和行程傳感器監(jiān)測(cè)護(hù)幫板狀態(tài)；黃金福等[2]設(shè)計(jì)了一種護(hù)幫板控制裝置，采用傾角傳感器和壓力傳感器監(jiān)測(cè)護(hù)幫板的支護(hù)狀態(tài)；梁海權(quán)等[3]提出了一種護(hù)幫板狀態(tài)監(jiān)測(cè)方法，將電壓運(yùn)算電路與磁感應(yīng)器相連來(lái)監(jiān)測(cè)護(hù)幫板狀態(tài)；徐勇智[4]設(shè)計(jì)了一種護(hù)幫板收放監(jiān)測(cè)系統(tǒng)，結(jié)合接近開(kāi)關(guān)、壓力傳感器、PLC（programmable logic controller，可編程邏輯控制器）和LabVIEW軟件來(lái)識(shí)別和控制護(hù)幫板的支護(hù)狀態(tài)。上述方法都采用了大量傳感器，存在設(shè)備成本高和維修困難等問(wèn)題。隨著機(jī)器視覺(jué)技術(shù)的發(fā)展，學(xué)者們提出了圖像檢測(cè)方法。如：王淵等[5]提出了一種采用圖像邊緣檢測(cè)技術(shù)識(shí)別護(hù)幫板狀態(tài)的方法。同時(shí)，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，目標(biāo)檢測(cè)在工業(yè)領(lǐng)域得到成功應(yīng)用[6]。如：南柄飛等[7]提出了一種應(yīng)用于煤礦井下復(fù)雜環(huán)境場(chǎng)景的關(guān)鍵設(shè)備目標(biāo)對(duì)象實(shí)時(shí)感知方法，提高了目標(biāo)檢測(cè)的精度與實(shí)時(shí)性；Xie等[8]通過(guò)Faster RCNN （region based convolutional neural network，區(qū)域卷積神經(jīng)網(wǎng)絡(luò)）目標(biāo)檢測(cè)，實(shí)現(xiàn)了魚(yú)肉中魚(yú)骨的自動(dòng)化檢測(cè)；周得永等[9]通過(guò)YOLOv3算法實(shí)現(xiàn)了太陽(yáng)能電池板缺陷檢測(cè)；張博堯等[10]提出了一種基于YOLOv4網(wǎng)絡(luò)模型的金屬表面劃痕檢測(cè)方法；韓佳彤等[11]通過(guò)YOLOv5網(wǎng)絡(luò)模型實(shí)現(xiàn)了市政道路破損的檢測(cè)；張全等[12]提出了一種融合YOLOv5-ResNet級(jí)聯(lián)網(wǎng)絡(luò)的煙火檢測(cè)方法；李一鳴等[13]基于YOLOv5s模型實(shí)現(xiàn)了軋鋼表面缺陷檢測(cè)；葉歐等[14]提出一種融合輕量級(jí)網(wǎng)絡(luò)和雙重注意力機(jī)制的大塊煤檢測(cè)方法，減少了模型參數(shù)；魏強(qiáng)[15]針對(duì)機(jī)器視覺(jué)測(cè)量的實(shí)時(shí)性問(wèn)題，提出了一種基于神經(jīng)網(wǎng)絡(luò)的液壓支架護(hù)幫板狀態(tài)自動(dòng)檢測(cè)方法，采用Tiny-YOLOv3目標(biāo)檢測(cè)方法實(shí)現(xiàn)了護(hù)幫板支護(hù)狀態(tài)的實(shí)時(shí)檢測(cè)。基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法雖然具有較高的準(zhǔn)確度，但參數(shù)量和計(jì)算量較大，計(jì)算資源和內(nèi)存消耗大，難以在嵌入式設(shè)備上部署。

本文提出一種基于改進(jìn)YOLOv5s算法的護(hù)幫板異常檢測(cè)方法。在YOLOv5s算法的基礎(chǔ)上，將MobileNetV3網(wǎng)絡(luò)結(jié)構(gòu)和NAM（normalization-based attention module，標(biāo)準(zhǔn)化注意力模塊）替換主干特征提取網(wǎng)絡(luò)，在減小參數(shù)量的同時(shí)提高特征提取能力；優(yōu)化邊框回歸損失函數(shù)，以提高訓(xùn)練速度和精度，便于輕量化模型的部署；通過(guò)知識(shí)蒸餾，實(shí)現(xiàn)在擁有較小參數(shù)量的基礎(chǔ)上提高檢測(cè)精度；結(jié)合護(hù)幫板異常狀態(tài)分析與改進(jìn)的YOLOv5s實(shí)現(xiàn)護(hù)幫板異常檢測(cè)。綜上，可以在減小參數(shù)量的同時(shí)保證有較高的精度和較低的硬件成本，以實(shí)現(xiàn)在嵌入式終端設(shè)備實(shí)時(shí)檢測(cè)護(hù)幫板狀態(tài)，滿足煤礦工業(yè)應(yīng)用需求。

1 護(hù)幫板狀態(tài)檢測(cè)系統(tǒng)總體設(shè)計(jì)

1.1 護(hù)幫板狀態(tài)采集方式

礦用防爆高清本安型攝像頭安裝在煤礦巡檢機(jī)器人云臺(tái)上，如圖1所示。攝像頭分辨率為（1 920×1 080）像素。通過(guò)云臺(tái)調(diào)整攝像頭，進(jìn)行護(hù)幫板和采煤機(jī)視頻的采集。

圖1 護(hù)幫板狀態(tài)采集攝像頭安裝示意Fig.1 Installation schematic of state acquisition camera of side guard

1.2 護(hù)幫板狀態(tài)

根據(jù)煤礦綜采工作面液壓支架護(hù)幫板的支護(hù)要求，護(hù)幫板須與采煤機(jī)協(xié)同運(yùn)行。護(hù)幫板的狀態(tài)如圖2所示。采煤機(jī)截割頭標(biāo)注為caimei；根據(jù)護(hù)幫板展開(kāi)角度，護(hù)幫板的狀態(tài)分為8種，分別標(biāo)注為hb00、hb00_30、hb30_60、hb60_90、hb90、hb90yc、hb90_120和hbyc。其中：hb00為護(hù)幫板完全收回狀態(tài)，采煤機(jī)截割頭運(yùn)行時(shí)與護(hù)幫板不干涉；hb00_30、hb30_60、hb60_90為護(hù)幫板展開(kāi)狀態(tài)，采煤機(jī)運(yùn)行時(shí)會(huì)與護(hù)幫板發(fā)生干涉；hb90為護(hù)幫板展開(kāi)90°的狀態(tài)，護(hù)幫板緊貼煤壁，對(duì)煤壁支護(hù)到位，可有效防止煤壁片幫；hb90yc表示護(hù)幫板結(jié)構(gòu)出現(xiàn)問(wèn)題，須更換；hb90yc表示護(hù)幫板展開(kāi)90°，且護(hù)幫板與煤壁留有很小的間隙，支護(hù)強(qiáng)度不夠；hb90_120表示護(hù)幫板展開(kāi)角度過(guò)大，護(hù)幫板與煤壁留有很大的間隙，支護(hù)強(qiáng)度不夠。

圖2 護(hù)幫板狀態(tài)Fig.2 Status of side guard

1.3 護(hù)幫板數(shù)據(jù)集制作

實(shí)驗(yàn)所用的護(hù)幫板數(shù)據(jù)集hb_data2021來(lái)源于陜西榆林某煤礦，從該煤礦調(diào)取了時(shí)長(zhǎng)為10 d的煤礦監(jiān)控視頻。采用FFmpeg程序調(diào)取護(hù)幫板和采煤機(jī)的工作視頻，視頻流每播放1 s保存為1張圖片，共得到10 000張煤礦井下真實(shí)圖像。采用LabelImg軟件在圖像上對(duì)護(hù)幫板狀態(tài)進(jìn)行標(biāo)注，如圖3所示，制作成護(hù)幫板數(shù)據(jù)集，然后以8∶1∶1的比例形成為訓(xùn)練集、驗(yàn)證集和測(cè)試集。

圖3 護(hù)幫板狀態(tài)標(biāo)注示例Fig.3 Example of state marking of side guard

1.4 護(hù)幫板異常狀態(tài)的檢測(cè)

護(hù)幫板異常狀態(tài)檢測(cè)系統(tǒng)如圖4所示。首先，在服務(wù)器上訓(xùn)練基于改進(jìn)YOLOv5s的目標(biāo)檢測(cè)模型，將異常狀態(tài)檢測(cè)模型移植到嵌入式設(shè)備；其次，通過(guò)搭載在巡檢機(jī)器人上的攝像頭采集護(hù)幫板、采煤機(jī)視頻，采用FFmpeg插件解碼視頻并將它傳送到嵌入式設(shè)備中進(jìn)行實(shí)時(shí)異常檢測(cè)；最后，若嵌入式設(shè)備檢測(cè)結(jié)果為異常，聲光報(bào)警燈進(jìn)行異常報(bào)警，提醒液壓支架工進(jìn)行相應(yīng)的處理直至系統(tǒng)正常運(yùn)作，同時(shí)將檢測(cè)結(jié)果上傳至集控中心。若出現(xiàn)錯(cuò)檢、漏檢，須將錯(cuò)檢、漏檢的數(shù)據(jù)進(jìn)行更新，再次訓(xùn)練，以保證系統(tǒng)的準(zhǔn)確率。

圖4 護(hù)幫板異常狀態(tài)檢測(cè)系統(tǒng)Fig.4 Detection system for abnormal state of side guard

2 YOLOv5s算法

YOLOv5模型是目前YOLO系列較新的版本，分為 YOLOv5s、 YOLOv5m、 YOLOv5l和 YOLOv5x，其網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜度和參數(shù)量依次遞增。YOLOv5s的模型參數(shù)最小，為7.2 MB，模型網(wǎng)絡(luò)深度和寬度最小，檢測(cè)速度最快；YOLOv5x的模型參數(shù)最大，為86.7 MB，模型網(wǎng)絡(luò)深度和寬度最大。本文選擇檢測(cè)速度最快、識(shí)別精度較高的YOLOv5s，便于將其部署到嵌入式設(shè)備中。

YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)包括Input、Bacbone、Neck和Output四部分，如圖5所示。

圖5 YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 YOLOv5s network structure

Input表示輸入（608×608）像素的圖片。圖片進(jìn)行了數(shù)據(jù)增強(qiáng)、縮放和自適應(yīng)錨框等處理。

Bacbone為特征提取網(wǎng)絡(luò)，包括Focus、Conv、C3和SPP（spatial pyranid pooling，空間金字塔模塊）等模塊。其中：Focus模塊通過(guò)切片操作減少計(jì)算量和網(wǎng)絡(luò)層數(shù)，提高推理速度；Conv是卷積模塊，用來(lái)提取特征；C3模塊是CSPNet將底層的特征圖按通道拆分為兩部分，一部分經(jīng)過(guò)密集塊和過(guò)渡層，另一部分與傳輸?shù)奶卣鲌D結(jié)合；SPP模塊通過(guò)4個(gè)不同的池化層向下傳遞和融合。

Neck為特征融合網(wǎng)絡(luò)，將特征進(jìn)行融合，然后傳遞到輸出端。其包含F(xiàn)PN（feature pyramid networks，特征金字塔）+PAN（path aggregation network，路徑聚合結(jié)構(gòu)）結(jié)構(gòu)，其中：FPN自頂向下傳遞特征的結(jié)構(gòu)，利用Upsampl傳遞和融合特征信息得到特征圖；PAN采用自下向上的傳遞融合方式，增強(qiáng)特征提取能力。

Output為非極大值抑制和損失函數(shù)。采用GIoU[16]作為損失函數(shù)。

3 YOLOv5s網(wǎng)絡(luò)模型的改進(jìn)

3.1 主干網(wǎng)絡(luò)改進(jìn)

相比YOLOv3模型，YOLOv5s的速度和精度得到了提升，但模型仍然較大，不適合部署到顯存和內(nèi)存較小的嵌入式設(shè)備上。YOLOv5s模型使用傳統(tǒng)卷積參數(shù)量Din×k×k×Dout，其中：Din為輸入特征圖，k為卷積核大小，Dout為輸出特征圖。

YOLOv5s主干網(wǎng)絡(luò)模型復(fù)雜度過(guò)高。為了減小參數(shù)量，提高推理速度，須采用更優(yōu)的算法部署到嵌入式設(shè)備上。本文采用MobileNetv3[17]來(lái)改進(jìn)YOLOv5s主干網(wǎng)絡(luò)。MobileNetv3主干網(wǎng)絡(luò)中Bneck的網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

圖6 Bneck網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 Bneck network structure

Bneck采用深度可分離卷積。在不影響模型性能的前提下，與傳統(tǒng)卷積相比，其模型參數(shù)量顯著減小。參數(shù)量下降比為：

為了在保持精度的前提下提高推理速度，在MobileNetv3中引入h-swish函數(shù)。在設(shè)計(jì)特征提取網(wǎng)絡(luò)時(shí)，考慮到模型檢測(cè)實(shí)時(shí)性的要求，在網(wǎng)絡(luò)前端采用ReLU函數(shù)，只在后端采用h-swish函數(shù)，以減小h-swish造成的網(wǎng)絡(luò)延遲，達(dá)到檢測(cè)速度和精度的平衡。

由于煤礦井下環(huán)境復(fù)雜，井下目標(biāo)尺度多樣，為了提高特征提取能力，在MobileNetv3中引入注意力機(jī)制SENet[18]。對(duì)每個(gè)通道進(jìn)行全局平均池化，采用2個(gè)全連接層對(duì)通道進(jìn)行膨脹和壓縮。然而，2個(gè)全連接層的使用會(huì)增大參數(shù)量，同時(shí)SENet在抑制不重要的像素時(shí)也會(huì)帶來(lái)效率低下的問(wèn)題，因此引入輕量級(jí)注意力機(jī)制NAM[19]，可以避免SENet、CBAM（convolutional block attention module，卷積注意力機(jī)制模塊）[20]使用的全連接層和卷積層，降低模型復(fù)雜度，提高準(zhǔn)確率與檢測(cè)速度。NAM采用CBAM模塊整合方式。CBAM的網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。利用權(quán)重的貢獻(xiàn)因子來(lái)改善注意力機(jī)制，重新設(shè)計(jì)了空間和通道注意力模塊。對(duì)于通道注意力模塊，采用批歸一化中的比例因子，如式(2)所示。

圖7 CBAM網(wǎng)絡(luò)結(jié)構(gòu)Fig.7 CBAM network structure

式中：P表示批歸一化；Bin為輸入特征；Bout為輸出特征；μB為均值；σB為標(biāo)準(zhǔn)差；?為誤差；a和o均為可訓(xùn)練的仿射變換參數(shù)。

通道注意力子模塊的結(jié)構(gòu)如圖8所示。圖中：F1為輸入特征；Mc為輸出特征，如式(3)所示。權(quán)值γi是每個(gè)通道的比例因子。這里將P的比例因子應(yīng)用于空間維度，稱之為像素歸一化。

圖8 通道注意力模塊的結(jié)構(gòu)Fig.8 Structure of channel attention module

空間注意力子模塊的結(jié)構(gòu)如圖9所示。圖中：F2為輸入特征；Ms為輸出特征，如式(4)所示。權(quán)值λj為每個(gè)通道的比例因子。將P的比例因子應(yīng)用于空間維度，稱之為像素歸一化。

圖9 空間注意力模塊的結(jié)構(gòu)Fig.9 Structure of spatial attention module

3.2 損失函數(shù)的改進(jìn)

GIoU損失函數(shù)引入了預(yù)測(cè)框和真實(shí)框的最小外接矩形，改善了在真實(shí)框和預(yù)測(cè)框不相交的情況下無(wú)法預(yù)測(cè)兩者距離的問(wèn)題[21]。CIoU預(yù)測(cè)框和真實(shí)框如圖10所示。當(dāng)預(yù)測(cè)框與真實(shí)框完全重疊時(shí)，損失值不會(huì)改變，在訓(xùn)練過(guò)程中也不會(huì)發(fā)生發(fā)散。CIoU損失函數(shù)優(yōu)化了重疊面積、中心點(diǎn)距離和縱橫比，使得目標(biāo)框回歸更加穩(wěn)定，有助于提高收斂速度和最終的檢測(cè)性能[22]。CIoU的定義如下：

圖10 CIoU預(yù)測(cè)框和真實(shí)框Fig.10 CIoU prediction frame and real frame

式中：I為交并比；G∩D表示預(yù)測(cè)框D與真實(shí)框G的相交區(qū)域；D∪G表示預(yù)測(cè)框D與真實(shí)框G的并集區(qū)域。

式中：LCloU為CIoU損失；ρ為預(yù)測(cè)框與真實(shí)框中心點(diǎn)之間的距離；b、bgt分別為預(yù)測(cè)框和真實(shí)框的中心點(diǎn)；c為預(yù)測(cè)框與真實(shí)框并集區(qū)域的對(duì)角線距離；β為權(quán)重系數(shù)；u為長(zhǎng)寬比的相似系數(shù)；ω、h分別為預(yù)測(cè)框的高度和寬度；ωgt、hgt分別為真實(shí)框的高度和寬度。

該損失函數(shù)在訓(xùn)練過(guò)程中損失及梯度不能自適應(yīng)，從而影響訓(xùn)練效果。為了解決這一問(wèn)題，對(duì)CIoU進(jìn)一步優(yōu)化，引入α-IoU[23]。通過(guò)Box-Cox變換，將IoU損失歸納為α-IOU，即：

式中：Lα-IoU為α-IOU損失；α為變換參數(shù)。

根據(jù)式(8)，采用相同的參數(shù)α歸納出基于CIoU的損失函數(shù)α-CIOU，即：

CIOU和α-CIoU的損失及梯度如圖11所示。當(dāng)0＜α＜1和α＞1時(shí)，α-CIoU將根據(jù)所有目標(biāo)的CIoU降低High CIoU目標(biāo)的權(quán)重，影響邊界框的回歸精度；當(dāng)α＞1時(shí)，α-CIoU提高了High CIoU目標(biāo)損失和梯度自適應(yīng)加權(quán)的邊界框的回歸精度，可以幫助模型更加關(guān)注于High CIoU目標(biāo)，提高定位和檢測(cè)性能。本文取α=3，使模型更加關(guān)注于High CIoU目標(biāo)。因此，優(yōu)化的α-CIoU比CIoU更有利于提高High CIoU目標(biāo)邊界框的回歸精度和輕量化模型網(wǎng)絡(luò)結(jié)構(gòu)。

圖11 CIOU和α-CIoU的損失及梯度Fig.11 Loss and gradient of CIoU and α-CIoU

3.3 知識(shí)蒸餾

MobileNetv3為輕量級(jí)網(wǎng)絡(luò)。針對(duì)模型輕量化改進(jìn)后精度下降的問(wèn)題，引入知識(shí)蒸餾[24]，即：采用遷移學(xué)習(xí)的思路將教師模型轉(zhuǎn)移到學(xué)生模型，指導(dǎo)學(xué)生模型的訓(xùn)練，使學(xué)生網(wǎng)絡(luò)在擁有較小參數(shù)量的條件下達(dá)到與教師網(wǎng)絡(luò)相同甚至高于教師網(wǎng)絡(luò)的精度。故以YOLOv5s為教師模型，將改進(jìn)后的YOLOv5s模型作為學(xué)生模型，進(jìn)行知識(shí)蒸餾，得到最終輕量化模型，如圖12所示。

圖12 知識(shí)蒸餾Fig.12 Knowledge distillation

4 基于改進(jìn)YOLOv5s的護(hù)幫板支護(hù)狀態(tài)檢測(cè)方法

液壓支架長(zhǎng)期在綜采工作面工作，會(huì)出現(xiàn)故障甚至損壞，或者出現(xiàn)運(yùn)動(dòng)干涉，因此需巡檢機(jī)器人及時(shí)發(fā)現(xiàn)并進(jìn)行相應(yīng)的處理。

根據(jù)采煤機(jī)采煤工藝的需求，護(hù)幫板支護(hù)狀態(tài)分為2類(lèi)：正常狀態(tài)和異常狀態(tài)。正常狀態(tài)分為3種：1）只檢測(cè)到hb90，即沒(méi)有采煤機(jī)時(shí)護(hù)幫板處于正常的支護(hù)狀態(tài)；2）只檢測(cè)到采煤機(jī)截割頭；3）只檢測(cè)到采煤機(jī)截割頭、護(hù)幫板hb00狀態(tài)，即采煤機(jī)工作時(shí)護(hù)幫板處于完全收回狀態(tài)。異常狀態(tài)是指除正常狀態(tài)以外的檢測(cè)結(jié)果的組合：1）采煤機(jī)未工作時(shí)護(hù)幫板支護(hù)狀態(tài)不到位；2）采煤機(jī)工作時(shí)護(hù)幫板收回不到位，出現(xiàn)設(shè)備干涉。

通過(guò)改進(jìn)的YOLOv5s對(duì)護(hù)幫板視頻進(jìn)行檢測(cè)，對(duì)檢測(cè)后的標(biāo)簽進(jìn)行分類(lèi)，判定其是否異常。用條件判斷語(yǔ)句檢測(cè)標(biāo)簽結(jié)果并進(jìn)行分類(lèi)處理：如果監(jiān)控視頻中一幀的檢測(cè)結(jié)果只有標(biāo)簽caimei和hb00，在監(jiān)控視頻左下角顯示綠色的“normal”，表示為正常工作狀態(tài)；如果監(jiān)控視頻中一幀的檢測(cè)結(jié)果只有標(biāo)簽hb90，在監(jiān)控視頻左上角顯示綠色的“normal”，表示為正常工作狀態(tài)；如果監(jiān)控視頻中一幀的檢測(cè)結(jié)果只有標(biāo)簽caimei，在監(jiān)控視頻左下角顯示綠色的“normal”，表示為正常工作狀態(tài)；如檢測(cè)到其他標(biāo)簽組合，則在監(jiān)控視頻左下角顯示紅色的“abnormal”，表示為異常工作狀態(tài)。當(dāng)出現(xiàn)異常狀態(tài)時(shí)，聲光報(bào)警燈報(bào)警，提醒液壓支架工進(jìn)行處理。

5 護(hù)幫板狀態(tài)檢測(cè)實(shí)驗(yàn)

5.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)?zāi)Ｐ陀?xùn)練平臺(tái)為Intel(R)Core(TM)i7-11800H（內(nèi)存為16 GB）和NVIDIA GeForce RTX 3060 Laptop GPU（顯存為6 GB），模型測(cè)試硬件環(huán)境為Intel(R)Core(TM)i7-8750H（內(nèi)存為16 GB）和NVIDIA RTX 2080 Ti（顯存為6 GB），最后在NVIDIAJetson Xavier NX上開(kāi)展模型推理實(shí)驗(yàn)。

5.2 訓(xùn)練參數(shù)及評(píng)價(jià)指標(biāo)

模型訓(xùn)練參數(shù)如表1所示。

表1 模型訓(xùn)練參數(shù)Table 1 Model training parameters

將平均精度T、參數(shù)量C和推理速度ν作為評(píng)價(jià)指標(biāo)。

準(zhǔn)確率R表示正確預(yù)測(cè)的比例，可表示為：

式中：V為被正確檢測(cè)的護(hù)幫板和采煤機(jī)個(gè)數(shù)；Q為被誤檢的護(hù)幫板和采煤機(jī)個(gè)數(shù)。

T是對(duì)全部類(lèi)別的平均精度Ta求均值，而Ta可以表示為：

式中：r為召回率。

5.3 實(shí)驗(yàn)結(jié)果與分析

1）主干網(wǎng)絡(luò)輕量化改進(jìn)對(duì)比。

為了驗(yàn)證主干網(wǎng)絡(luò)輕量化結(jié)合注意力機(jī)制改進(jìn)的有效性，設(shè)置了主干網(wǎng)絡(luò)輕量化改進(jìn)對(duì)比實(shí)驗(yàn)，利用標(biāo)準(zhǔn)數(shù)據(jù)集VOC2007進(jìn)行實(shí)驗(yàn)訓(xùn)練。實(shí)驗(yàn)結(jié)果如表2所示。

表2 主干網(wǎng)絡(luò)輕量化改進(jìn)實(shí)驗(yàn)結(jié)果Table 2 Experimental results of backbone network lightweight improvement

由表2可知：MobileNetv3_YOLOv5s模型與基礎(chǔ)網(wǎng)絡(luò)YOLOv5s相比，平均精度降低了3.5%，但參數(shù)量減小了49.8%，推理速度提升了27.1%；將MobileNetv3增加2種注意力機(jī)制模型，MNtCBAM_YOLOv5s與MobileNetv3_YOLOv5s相比，須增大參數(shù)量才能提升網(wǎng)絡(luò)的平均精度和推理速度，而MNtNAM_YOLOv5s可以在不增大參數(shù)量的前提下提升網(wǎng)絡(luò)的平均精度和推理速度。本文提出的MNtNAM_YOLOv5s相比YOLOv5s，平均精度略下降2.5%，但參數(shù)量減小了49.8%，推理速度提升了36.6%。因此，改進(jìn)后的輕量化主干網(wǎng)絡(luò)仍具有良好的檢測(cè)性能，更適合部署到嵌入式設(shè)備。

2）損失函數(shù)改進(jìn)對(duì)比。

為了驗(yàn)證α-CIoU的有效性，設(shè)置了損失函數(shù)改進(jìn)對(duì)比實(shí)驗(yàn)。YOLOv5s默認(rèn)損失函數(shù)為CIoU，α-CIoU中取α=3，對(duì)標(biāo)準(zhǔn)數(shù)據(jù)集VOC2007進(jìn)行實(shí)驗(yàn)訓(xùn)練。實(shí)驗(yàn)結(jié)果如表3所示。

表3 損失函數(shù)改進(jìn)實(shí)驗(yàn)結(jié)果Table 3 Experimental results of loss function improvement

由表3可知：YOLOv5s(α-CIoU)與YOLOv5s相比，T50提高了0.24%，T50～95提高了10.85%，T提高了 1.6%；MNtNAM_YOLOv5s_(α-CIoU)與 YOLOv5s相比，T50提高了0.23%，T50～95提高了10.26%，T提高了1.5%。實(shí)驗(yàn)結(jié)果表明：取α=3，采用α-CIoU時(shí)，平均精度提高；對(duì)于Low CIoU目標(biāo)，精度提高得較少，對(duì)于High CIoU目標(biāo)，精度提高得較多；模型會(huì)使High CIoU目標(biāo)更加敏感及得到更多關(guān)注，參數(shù)量也沒(méi)有增大，因此更適合輕量化模型。

3）知識(shí)蒸餾對(duì)比。

為了驗(yàn)證知識(shí)蒸餾的有效性，設(shè)置了知識(shí)蒸餾對(duì)比實(shí)驗(yàn)，對(duì)標(biāo)準(zhǔn)數(shù)據(jù)集VOC2007進(jìn)行實(shí)驗(yàn)訓(xùn)練。實(shí)驗(yàn)結(jié)果如表4所示。

表4 知識(shí)蒸餾實(shí)驗(yàn)結(jié)果Table 4 Experimental results of knowledge distillation

由表4可知：MNtNAM_YOLOv5s_(α-CIoU)_Dist的平均精度比學(xué)生模型MNtNAM_YOLOv5s_(α-CIoU)提高了1.5%，參數(shù)量增大了0.36 M；MNtNAM_YOLOv5s_(α-CIoU)_Dist的平均精度比YOLOv5s提高了1.0%，參數(shù)量減小了33.4%，推理加速了34.2%。學(xué)生網(wǎng)絡(luò)MNtNAM_YOLOv5s_(α-CIoU)參數(shù)量較小，精度較高。

4）改進(jìn)YOLOv5s對(duì)hb_data2021訓(xùn)練有效性驗(yàn)證。

采用Faster R-CNN、 SSD、 YOLOv3、 YOLOv5s、 MNtNAM_YOLOv5s_(α-CIoU)_Dist(模 型表示為A-YOLOv5s)對(duì)護(hù)幫板數(shù)據(jù)集hb_data2021進(jìn)行訓(xùn)練實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表5所示。

表5 不同模型對(duì)hb_data2021的訓(xùn)練結(jié)果Table 5 Training results of different models on hb_data2021

由表5可知：YOLOv5s與Faster R-CNN、SSD、YOLOv3相比，平均精度和準(zhǔn)確率更高，參數(shù)量更小，推理時(shí)間更短，算法較適合移植到嵌入式設(shè)備中；A-YOLOv5s與YOLOv5s相比，平均精度提高了1.3%，參數(shù)量減小了33.4%，推理加速了33.3%，在測(cè)試集上的準(zhǔn)確率提高了1.1%，因此改進(jìn)后的算法更適合部署到嵌入式設(shè)備中。

在光照不均勻、有粉塵、環(huán)境良好等不同檢測(cè)環(huán)境下采用YOLOv5s和A-YOLOv5s進(jìn)行護(hù)幫板狀態(tài)檢測(cè)。檢測(cè)結(jié)果如圖13所示。檢測(cè)結(jié)果表明，AYOLOv5s在不同檢測(cè)環(huán)境下對(duì)多尺度護(hù)幫板的檢測(cè)精度都較高，具有較好的護(hù)幫板狀態(tài)檢測(cè)能力。

圖13 不同檢測(cè)環(huán)境下基于YOLOv5s和A-YOLOv5s的互幫板狀態(tài)檢測(cè)結(jié)果Fig.13 Test results of side guard status based on YOLOv5s and A-YOLOv5s in different test environments

5）基于A-YOLOv5s的護(hù)幫板狀態(tài)檢測(cè)。

采用A-YOLOv5s對(duì)護(hù)幫板狀態(tài)進(jìn)行檢測(cè)，根據(jù)檢測(cè)后的輸出標(biāo)簽組合判斷護(hù)幫板的狀態(tài)是否正常。檢測(cè)結(jié)果如圖14所示。圖中：(a)為正常狀態(tài)，即護(hù)幫板正常支護(hù)狀態(tài)(hb90)，沒(méi)有采煤機(jī)出現(xiàn)，左下角顯示綠色“normal”；(b)為正常狀態(tài)，即有采煤機(jī)時(shí)護(hù)幫板為收回狀態(tài)(hb_00)，左下角顯示綠色“normal”；(c)和(d)為異常狀態(tài)，即為運(yùn)動(dòng)干涉狀態(tài)，左下角顯示紅色的“abnormal”。實(shí)驗(yàn)表明護(hù)幫板異常檢測(cè)方法的檢測(cè)效果良好。

圖14 護(hù)幫板狀態(tài)檢測(cè)結(jié)果Fig.14 Test results of side guard status

6）模型在NVIDIA Jetson Xavier平臺(tái)的測(cè)試對(duì)比。

為了驗(yàn)證A-YOLOv5s模型的實(shí)時(shí)性、可移植性，在嵌入式平臺(tái)NVIDIA Jetson Xavier對(duì)SSD、YOLOv3、YOLOv5s、A-YOLOv5s進(jìn)行測(cè)試，如圖15所示。實(shí)驗(yàn)結(jié)果如表6所示。

圖15 模型在NVIDIA Nvidia Jetson Xavier的測(cè)試Fig.15 Model testing on Nvidia Jetson Xavier platform

表6 模型在NVIDIA Jetson Xavier平臺(tái)的測(cè)試結(jié)果Table 6 Test results of the model on Nvidia Jetson Xavier platform

由表6可知，SSD、 YOLOv3、 YOLOv5s、A-YOLOv5s移植到Jetson Xavier后，平均精度變化較??；SSD、YOLOv3、YOLOv5s推理速度變慢，達(dá)不到30幀/s的要求，A-YOLOv5s可以滿足視頻實(shí)時(shí)性的要求，實(shí)現(xiàn)煤礦巡檢機(jī)器人自動(dòng)巡檢。

6 結(jié) 論

針對(duì)接觸式護(hù)幫板檢測(cè)設(shè)備成本高、維護(hù)困難、效率低、易損壞，以及接觸式目標(biāo)檢測(cè)推理速度慢、對(duì)硬件要求高，無(wú)法在顯存和內(nèi)存較小的嵌入式設(shè)備上部署等問(wèn)題，利用煤礦巡檢機(jī)器人和嵌入式設(shè)備，提出了一種基于改進(jìn)YOLOv5s的液壓支架護(hù)幫板異常檢測(cè)方法。通過(guò)安裝在巡檢機(jī)器人上的本安型防爆攝像頭采集護(hù)幫板、采煤機(jī)圖像，在NVIDIA Jetson Xavier平臺(tái)上采用基于改進(jìn)YOLOv5s的異常檢測(cè)方法對(duì)護(hù)幫板狀態(tài)進(jìn)行識(shí)別。

針對(duì)原始網(wǎng)絡(luò)YOLOv5s參數(shù)量大、可移植性差等缺陷，采用MobileNetV3和NAM注意力機(jī)制替換主干網(wǎng)絡(luò)，在減小模型參數(shù)量的同時(shí)提高特征提取能力；采用改進(jìn)的α-CIoU損失函數(shù)，進(jìn)一步提高了護(hù)幫板檢測(cè)精度；對(duì)改進(jìn)后的網(wǎng)絡(luò)進(jìn)行知識(shí)蒸餾，在減小參數(shù)量的同時(shí)提高了護(hù)幫板檢測(cè)精度；實(shí)現(xiàn)了A-YOLOv5s模型在NVIDIA Jetson Xavier平臺(tái)的實(shí)時(shí)檢測(cè)。實(shí)驗(yàn)結(jié)果表明，采用知識(shí)蒸餾后的網(wǎng)絡(luò)，平均精度提高了1.0%，參數(shù)量減小了33.4%，推理加速了34.2%。改進(jìn)后的模型保持了較高的精度，同時(shí)參數(shù)量大幅減小，實(shí)時(shí)檢測(cè)性能得以提升。對(duì)基于改進(jìn)YOLOv5s的護(hù)幫板狀態(tài)檢測(cè)結(jié)果的標(biāo)簽組合進(jìn)行分類(lèi)，實(shí)現(xiàn)了護(hù)幫板異常檢測(cè)，實(shí)驗(yàn)結(jié)果表明檢測(cè)效果良好。將基于改進(jìn)的YOLOv5s的護(hù)幫板異常檢測(cè)方法部署在NVIDIA Jetson Xavier平臺(tái)上，可以滿足實(shí)時(shí)檢測(cè)要求，實(shí)現(xiàn)對(duì)護(hù)幫板狀態(tài)的自動(dòng)巡檢，滿足煤礦工業(yè)實(shí)際需求。