郝明月，閔冰冰，張新建，趙作鵬，吳晨，王欣

（1.河南龍宇能源股份有限公司 陳四樓煤礦，河南 永城 476600；2.中國(guó)礦業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 徐州 221116）

0 引言

規(guī)范的生產(chǎn)秩序是煤礦安全生產(chǎn)的必然要求?！叭嗟埂钡娜后w礦工在候罐、候車和等候礦山架空乘人索道時(shí)需要排隊(duì)，若出現(xiàn)秩序混亂的情況，將影響工作效率、破壞生產(chǎn)秩序，進(jìn)而產(chǎn)生安全問(wèn)題[1-2]。

人工監(jiān)管礦工排隊(duì)行為，難以做到對(duì)多時(shí)段、多場(chǎng)所排隊(duì)行為的全覆蓋管理。隨著人工智能技術(shù)的不斷發(fā)展，深度學(xué)習(xí)在實(shí)時(shí)監(jiān)測(cè)礦工排隊(duì)秩序方面日益重要[3]。目前，常用的煤礦井下目標(biāo)檢測(cè)算法有傳統(tǒng)的目標(biāo)檢測(cè)算法和基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）的目標(biāo)檢測(cè)算法[4]。傳統(tǒng)的目標(biāo)檢測(cè)算法識(shí)別排隊(duì)異常行為時(shí)需人工提取特征，工作量大，易對(duì)插隊(duì)等異常情況產(chǎn)生誤檢。如張海彬等[5]提出了一種基于背景差分法的室內(nèi)排隊(duì)檢測(cè)方法，在室內(nèi)背景變化不大的場(chǎng)所采用固定的攝像頭，對(duì)室內(nèi)場(chǎng)景進(jìn)行背景建模，應(yīng)用背景差分法處理當(dāng)前捕捉到的彩色圖像與彩色背景模型，根據(jù)處理后圖像中隊(duì)伍所占畫面的比例計(jì)算出當(dāng)前排隊(duì)人數(shù)。該方法雖然能夠準(zhǔn)確識(shí)別室內(nèi)排隊(duì)行為，但準(zhǔn)確度會(huì)受圖像質(zhì)量的影響，無(wú)法適用于井下光照不均、昏暗的場(chǎng)景?；贑NN 的目標(biāo)檢測(cè)算法可提取層與層之間的連接和空間信息，且可表示圖像內(nèi)的相關(guān)特征[6-7]，從而有效進(jìn)行排隊(duì)檢測(cè)。如陳國(guó)棟等[8]采用OpenPose 提取人體骨架序列，采用OpenCV 測(cè)量人體骨架關(guān)鍵點(diǎn)距離，能夠在光線良好的環(huán)境中檢測(cè)異常排隊(duì)行為。但該方法對(duì)于視頻質(zhì)量要求較高，需要精準(zhǔn)地測(cè)量出前后2 個(gè)人的眼部距離和手部距離，不能滿足煤礦井下光線受限的環(huán)境檢測(cè)需求。

YOLOv5s 作為CNN 在目標(biāo)檢測(cè)領(lǐng)域的代表性模型，能夠在簡(jiǎn)單場(chǎng)景檢測(cè)中實(shí)現(xiàn)較高的準(zhǔn)確率，具有較高的穩(wěn)定性和可泛化能力，且計(jì)算量小，確保在資源受限的環(huán)境中也能進(jìn)行有效部署[9-10]。但對(duì)于井下高粉塵、低光照等復(fù)雜環(huán)境導(dǎo)致的圖像質(zhì)量較差時(shí)，YOLOv5s 模型檢測(cè)效果難以保證。因此，本文在YOLOv5s 模型基礎(chǔ)上進(jìn)行改進(jìn)，融合雙向交叉特征金字塔網(wǎng)絡(luò)（Bidirectional Cross Feature Pyramid Network，BCrFPN）和自適應(yīng)訓(xùn)練樣本選擇（Adaptive Training Sample Selection，ATSS）動(dòng)態(tài)標(biāo)簽分配策略（ATSS_PLUS），構(gòu)建了一種更高性能的YOLOv5s（Higher Performance Improvement-YOLOv5s，HPIYOLOv5s）模型用于礦工排隊(duì)檢測(cè)，針對(duì)遮擋、昏暗、光照不均等煤礦井下環(huán)境具有較高的檢測(cè)精度和速度。

1 方法原理

HPI-YOLOv5s 結(jié)構(gòu)如圖1 所示。使用ImageNet對(duì)骨干網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，并將BCrFPN 作為特征網(wǎng)絡(luò)，從骨干網(wǎng)絡(luò)中獲取每層特征，反復(fù)進(jìn)行自上而下和自下而上的雙向交叉特征融合。這些融合的特征被輸入到分類預(yù)測(cè)網(wǎng)絡(luò)和回歸預(yù)測(cè)網(wǎng)絡(luò)，進(jìn)行類別預(yù)測(cè)和邊界框參數(shù)回歸。分類預(yù)測(cè)網(wǎng)絡(luò)和回歸預(yù)測(cè)網(wǎng)絡(luò)的權(quán)重在每一層網(wǎng)絡(luò)中共享[11]。

圖1 HPI-YOLO5s 結(jié)構(gòu)Fig.1 Higher performance improvement-YOLO5s structure

1.1 BCrFPN

YOLOV5s 使用路徑聚合網(wǎng)絡(luò)（Path Aggregation Network，PANet）[12]代替特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）[13]，改善了傳統(tǒng)FPN 單向信息流限制的問(wèn)題，具有更好的精度，但需要更多的參數(shù)和計(jì)算成本。為解決該問(wèn)題，提出了一種結(jié)構(gòu)簡(jiǎn)單、高效的BCrFPN。如果1 個(gè)節(jié)點(diǎn)只有1 條輸入邊，不利于進(jìn)行多尺度特征融合，因此刪除該節(jié)點(diǎn)；如果輸入到輸出節(jié)點(diǎn)處于同一級(jí)別，則添加1 條額外的邊，使其在不增加太多成本的情況下融合更多特征；與PANet 只有1 個(gè)自上而下和1 個(gè)自下而上的路徑不同，BCrFPN 將每個(gè)雙向（自上而下和自下而上）路徑作為1 個(gè)特征網(wǎng)絡(luò)層，并多次重復(fù)同一層，以實(shí)現(xiàn)更高級(jí)的特征融合。

BCrFPN 在重復(fù)應(yīng)用自上向下和自下向上的多尺度特征融合時(shí)，由于不同的輸入特征具有不同的分辨率，引入可學(xué)習(xí)權(quán)重來(lái)學(xué)習(xí)每個(gè)輸入特征的重要性。本文采用快速歸一化融合方法：

式中：O為輸出特征；wi，wj為第i，j個(gè)特征的可學(xué)習(xí)權(quán)重，i，j∈[1，n]，n為權(quán)重個(gè)數(shù)，i≠j；ε為極小值，以避免數(shù)值不穩(wěn)定，本文取0.000 1；Ii為輸入特征。

通過(guò)在每個(gè)wi之后應(yīng)用ReLU 來(lái)保證wi≥0。類似地，每個(gè)標(biāo)準(zhǔn)化權(quán)重范圍為0～1，由于沒有Softmax 操作，計(jì)算速度更快。

1.2 ATSS_PLUS

YOLOv5s 的標(biāo)簽分配策略與之前YOLO 系列[14-15]的標(biāo)簽分配策略不同，不再使用預(yù)定義的錨框和真實(shí)框的交并比（Intersection of Union，IoU）作為判斷標(biāo)準(zhǔn)，而是使用錨框和真實(shí)框的寬高比例來(lái)判斷錨框是否適合作為正樣本，當(dāng)寬高比小于手動(dòng)設(shè)置的閾值時(shí)，則判定該錨框?yàn)檎龢颖?。但這種標(biāo)簽分配策略存在一定的局限：①忽略了網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果，不能很好地評(píng)估樣本的質(zhì)量。② 為每個(gè)真實(shí)目標(biāo)增加正樣本數(shù)量的方式過(guò)于簡(jiǎn)單，僅在匹配網(wǎng)格的臨近網(wǎng)格進(jìn)行選擇。③手動(dòng)設(shè)置閾值的方式魯棒性不高，需根據(jù)數(shù)據(jù)集精細(xì)調(diào)整閾值。

因此，本文引進(jìn)ATSS 標(biāo)簽分配策略[16]，并為了更好地選取高質(zhì)量的正樣本，對(duì)ATSS 標(biāo)簽分配策略進(jìn)行優(yōu)化，將其命名為ATSS_PLUS。具體來(lái)說(shuō)：對(duì)于候選區(qū)域，本文將樣本候選區(qū)域設(shè)置為真實(shí)目標(biāo)的中心部分；對(duì)于正樣本的判定標(biāo)準(zhǔn)，結(jié)合網(wǎng)絡(luò)預(yù)測(cè)的分類結(jié)果和定位結(jié)果來(lái)評(píng)估候選樣本的質(zhì)量；對(duì)于閾值設(shè)置，使用ATSS 中動(dòng)態(tài)指定閾值的方式。

式中：t為正樣本的質(zhì)量得分；s為網(wǎng)絡(luò)預(yù)測(cè)的候選樣本與真實(shí)目標(biāo)對(duì)應(yīng)的類別得分；λ為平衡因子；G為網(wǎng)絡(luò)預(yù)測(cè)的回歸框與真實(shí)框的IoU；T為正樣本選取的閾值；tmean，tstd分別為t的平均值和方差。

在所有候選樣本中選取t大于T的樣本為正樣本。由于這種標(biāo)簽分配方式對(duì)預(yù)定義的錨框數(shù)量不敏感，所以對(duì)于每個(gè)網(wǎng)格，本文只設(shè)置1 個(gè)預(yù)定義錨框。這種基于ATSS 改進(jìn)的標(biāo)簽分配策略相比于YOLOv5s 的標(biāo)簽分配策略，使用了網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果，更合理地評(píng)估了每個(gè)候選樣本的質(zhì)量，且閾值是針對(duì)每個(gè)真實(shí)目標(biāo)動(dòng)態(tài)設(shè)定的，因此具有更高的檢測(cè)精度和魯棒性。

1.3 排隊(duì)區(qū)域提取及檢測(cè)

通過(guò)人臉識(shí)別準(zhǔn)確捕捉到人臉后，計(jì)算人臉框與所劃定排隊(duì)區(qū)域的相交面積，并將相交面積與人臉框面積之比與設(shè)置的閾值進(jìn)行比較，以判斷礦工是否有序地站在隊(duì)列中[17]。

礦工排隊(duì)時(shí)通常分散且難以形成規(guī)整的隊(duì)列。若采用規(guī)則的矩形（圖2（a）中綠色框）作為排隊(duì)區(qū)域，其尺寸難以與礦工實(shí)際排隊(duì)的形態(tài)相匹配，因此選擇多邊形作為排隊(duì)區(qū)域（圖2（b）中綠色框）。

圖2 排隊(duì)區(qū)域Fig.2 Queue area

當(dāng)排隊(duì)區(qū)域?yàn)橥苟噙呅螘r(shí)，使用半平面交法計(jì)算人臉框與排隊(duì)區(qū)域的相交面積；當(dāng)排隊(duì)區(qū)域?yàn)榘级噙呅螘r(shí)，先將凹多邊形分解為多個(gè)凸多邊形，再計(jì)算人臉框與排隊(duì)區(qū)域的相交面積。

半平面交法先把每個(gè)凸多邊形的點(diǎn)按照逆時(shí)針排序，再將每個(gè)凸多邊形的邊放入邊集L。求半平面交的面積，需先求邊集L的半平面交，過(guò)程如圖3 所示。首先選取一個(gè)正方向（一般為逆時(shí)針），以保證核在有向線段的左邊；然后將有向線段通過(guò)極角排序，排序之后的線段是有序的，可以在雙端隊(duì)列里進(jìn)行操作；最后按順序遍歷每條線段，取左邊區(qū)域，刪右邊區(qū)域，剩下的藍(lán)色部分就是多邊形的和，即所有直線的半平面交。在此過(guò)程中，需使用叉積求出兩平面的交點(diǎn)，從而判斷直線X是否處于直線Y的逆時(shí)針?lè)较颉?/p>

圖3 求解半平面交過(guò)程Fig.3 Process of solving the half-plane intersection

式中：×為叉積操作；θ為直線X和Y之間的夾角。

在計(jì)算人臉框與排隊(duì)區(qū)域的相交面積后，根據(jù)相交面積來(lái)判斷隊(duì)列的有序性。若相交面積與人臉框面積之比小于閾值，則認(rèn)為異常排隊(duì)，否則認(rèn)為正常排隊(duì)。

式中：M=0 代表異常排隊(duì)，M=1 代表正常排隊(duì)；f為人臉框與排隊(duì)區(qū)域的相交面積；q為人臉框面積；Q為閾值。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)平臺(tái)

實(shí)驗(yàn)環(huán)境為Ubuntu 18.04 操作系統(tǒng)，配置Intel（R）Core（TM）i5-7400 CPU @ 3.00 GHz 的CPU處理器，24 GiB 的運(yùn)行內(nèi)存，GeForce RTX 3090 的GPU。實(shí)驗(yàn)使用PyTorch 框架對(duì)井下礦工排隊(duì)行為進(jìn)行檢測(cè)。

2.2 數(shù)據(jù)集及預(yù)處理

實(shí)驗(yàn)使用Wider Face 數(shù)據(jù)集、MAFA 數(shù)據(jù)集和自建井下礦工人臉檢測(cè)數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練。

由于井下礦工排隊(duì)需要對(duì)礦工人臉進(jìn)行檢測(cè)，所以選擇Wider Face 數(shù)據(jù)集進(jìn)行訓(xùn)練。Wider Face數(shù)據(jù)集標(biāo)注了393 703 張人臉數(shù)據(jù)。對(duì)于每張人臉都附帶更加詳細(xì)的信息，包括模糊程度、表情、光照、遮擋、姿態(tài)。在數(shù)據(jù)集中，根據(jù)事件場(chǎng)景的類型分為61 個(gè)類，每個(gè)類別按照70%，10%，20%的比例劃分到訓(xùn)練集、驗(yàn)證集及測(cè)試集中。

MAFA 數(shù)據(jù)集共有30 811 張圖像，該數(shù)據(jù)集標(biāo)注出了有遮擋的人臉面部，但沒有遮擋的面部沒有標(biāo)出，因此在實(shí)驗(yàn)前用LabelImg 重新對(duì)MAFA 數(shù)據(jù)集進(jìn)行標(biāo)注，并選取70%作為訓(xùn)練集，10%作為驗(yàn)證集，20%作為測(cè)試集。

自建井下礦工人臉檢測(cè)數(shù)據(jù)集中所有圖像均由河南龍宇能源股份有限公司陳四樓煤礦視頻監(jiān)控系統(tǒng)提供。系統(tǒng)提供礦工排隊(duì)視頻300 段，每段視頻中都包含正確排隊(duì)和插隊(duì)的情況。在這些視頻中提取10 000 張圖像，并使用LabelImg 進(jìn)行人工標(biāo)注。本實(shí)驗(yàn)選取8 000 張圖像作為訓(xùn)練集，2 000 張圖像作為測(cè)試集。其中正常排隊(duì)7 563 張圖像，異常排隊(duì)2 437 張圖像。為了優(yōu)化排隊(duì)檢測(cè)性能，除了使用常用的數(shù)據(jù)增強(qiáng)手段（如圖像平移、縮放、剪切、翻轉(zhuǎn)）外，本文還使用了數(shù)據(jù)增強(qiáng)方法Mosaic[18]。隨機(jī)將4 張訓(xùn)練圖像按一定比例拼接成一幅新的圖像，能夠豐富訓(xùn)練集，避免過(guò)擬合。由于井下環(huán)境昏暗，不利于模型訓(xùn)練，所以利用 Python 腳本實(shí)現(xiàn)暗光增強(qiáng)技術(shù)[19]，對(duì)自建井下礦工人臉檢測(cè)數(shù)據(jù)集中圖像的暗光區(qū)域進(jìn)行亮度增強(qiáng)。

2.3 模型性能評(píng)估

采用不同的目標(biāo)檢測(cè)模型SSD、YOLOv3、YOLOv4、YOLOv5s、Deit 及本文提出的HPIYOLOv5s 模型進(jìn)行對(duì)比實(shí)驗(yàn)。為保證公平性，采用最高權(quán)重分別在MAFA、Wider Face 和自建井下礦工人臉檢測(cè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。

選取準(zhǔn)確率A、召回率R、精確率P、特異性S來(lái)評(píng)估模型在數(shù)據(jù)集上表現(xiàn)的優(yōu)劣[20-21]。

式中：NTP為分類器識(shí)別正確，分類器認(rèn)為該樣本是正樣本；NTN為分類器識(shí)別正確，分類器認(rèn)為該樣本是負(fù)樣本；NFN為分類器識(shí)別結(jié)果錯(cuò)誤，分類器認(rèn)為該樣本是負(fù)樣本，實(shí)際上該樣本是正樣本；NFP為分類器識(shí)別結(jié)果錯(cuò)誤，分類器認(rèn)為該樣本是正樣本，實(shí)際上該樣本是負(fù)樣本。

不同模型在MAFA 數(shù)據(jù)集、Wider Face 數(shù)據(jù)集和自建井下礦工人臉檢測(cè)數(shù)據(jù)集上的性能見表1-表3?？煽闯鯤PI-YOLOv5s 模型在3 個(gè)數(shù)據(jù)集上的準(zhǔn)確率、精確率、特異性均最優(yōu)，僅在MAFA 數(shù)據(jù)集和自建井下礦工人臉檢測(cè)數(shù)據(jù)集上，HPI-YOLOv5s模型的召回率分別比YOLOv5s 模型、Deit 模型略低。

表1 不同模型在MAFA 數(shù)據(jù)集上的性能Table 1 Performance of different models on MAFA dataset%

表2 不同模型在Wider Face 數(shù)據(jù)集上的性能Table 2 Performance of different models on Wider Face dataset%

表3 不同模型在自建井下礦工人臉檢測(cè)數(shù)據(jù)集上的性能Table 3 Performance of different models on self-built miner face detection dataset%

2.4 消融實(shí)驗(yàn)

為驗(yàn)證BCrFPN 和ATSS_PLUS 的有效性，在自建井下礦工人臉檢測(cè)數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)，結(jié)果見表4。可看出在YOLOv5s 模型中添加BCrFPN后，顯著減少了網(wǎng)絡(luò)冗余，降低了計(jì)算復(fù)雜度，但準(zhǔn)確率降低了0.1%；在YOLOv5s 模型中添加ATSS后，相比原始YOLOv5s 模型準(zhǔn)確率提高了0.4%；對(duì)ATSS 進(jìn)行優(yōu)化后，在YOLOv5s 模型中添加ATSS_PLUS 比ATSS 的準(zhǔn)確率提高了1.6%，比YOLOv5s模型的準(zhǔn)確率提高了2%，彌補(bǔ)了引入BCrFPN 造成的精度損失；將BCrFPN 和ATSS_PLUS 合并到Y(jié)OLOv5s 模型中，比YOLOv5s 模型的準(zhǔn)確率提高了1.9%，權(quán)重大小減少了32%，參數(shù)量減少了6.9%，檢測(cè)速度提高了7.8%。

表4 消融實(shí)驗(yàn)結(jié)果Table 4 Ablation experiment results

2.5 閾值選擇

為了選擇合適的閾值，實(shí)驗(yàn)選擇正常排隊(duì)圖像682 張，異常排隊(duì)圖像318 張，對(duì)不同閾值下的檢測(cè)效果進(jìn)行比較。當(dāng)閾值分別為0.4，0.5，0.6 時(shí)，檢測(cè)準(zhǔn)確率分別為82.1%，85.4%，83.8%，因此設(shè)置閾值為0.5。

在自建井下礦工人臉檢測(cè)數(shù)據(jù)集上的礦工排隊(duì)檢測(cè)結(jié)果如圖4 所示。在所選區(qū)域內(nèi)，綠色框表示正常排隊(duì)，藍(lán)色框表示異常排隊(duì)。從圖4（a）可看出，礦工均在正常排隊(duì)；從圖4（b）可看出，異常排隊(duì)人員被檢測(cè)出來(lái)，并用藍(lán)色框標(biāo)注。

圖4 礦工排隊(duì)檢測(cè)結(jié)果Fig.4 Miner queue detection results

2.6 對(duì)比實(shí)驗(yàn)

為直觀驗(yàn)證HPI-YOLOv5s 模型的有效性，選擇YOLOv3，YOLOv4，YOLOv5s 3 種主流模型在自建井下礦工人臉檢測(cè)數(shù)據(jù)集（選擇遮擋、光照不均、昏暗3 種場(chǎng)景）上進(jìn)行礦工排隊(duì)檢測(cè)對(duì)比實(shí)驗(yàn)，結(jié)果如圖5所示。

圖5 煤礦不同場(chǎng)景下不同模型排隊(duì)檢測(cè)效果對(duì)比Fig.5 Comparison of queue detection effect of different models in different scenarios of coal mines

從圖5 可看出，在出現(xiàn)礦工遮擋的情況時(shí)，YOLOv3，YOLOv4，YOLOv5s 模型識(shí)別礦工時(shí)置信度偏低，但HPI-YOLOv5s 模型由于引入了ATSS_PLUS，更好地選取高質(zhì)量的正樣本，因此能更精確地檢測(cè)礦工人臉，置信度較高。在光照嚴(yán)重不均的情況下，YOLOv3 和YOLOv4 模型均出現(xiàn)誤檢和檢測(cè)不全的情況，雖然YOLOv5s 模型未出現(xiàn)這種情況，但檢測(cè)結(jié)果的置信度極低，而HPI-YOLOv5s 模型通過(guò)BCrFPN 可高效進(jìn)行多尺度特征融合，比其他模型具有更高的檢測(cè)精度。在昏暗環(huán)境下，雖沒有出現(xiàn)誤檢和漏檢的情況，但由于光照不足，導(dǎo)致圖像質(zhì)量下降，影響YOLOv3 和YOLOv4 模型的檢測(cè)精度，而HPI-YOLOv5s 模型能更好地適應(yīng)昏暗環(huán)境，具有較高的檢測(cè)精度。

3 結(jié)論

1）針對(duì)井下礦工不按規(guī)定排隊(duì)的現(xiàn)象，提出了一種HPI-YOLOv5s 模型用于礦工排隊(duì)檢測(cè)。該模型在YOLOv5s 模型基礎(chǔ)上，構(gòu)建了一種高效的BCrFPN 作為特征網(wǎng)絡(luò)，能夠進(jìn)行多尺度特征融合，提高檢測(cè)效率；對(duì)ATSS 標(biāo)簽分配策略進(jìn)行改進(jìn)，可更好地選取高質(zhì)量的正樣本，有效提高檢測(cè)精度；通過(guò)計(jì)算人臉框與所劃定排隊(duì)區(qū)域的相交面積，并將相交面積與人臉框面積之比與閾值進(jìn)行比較來(lái)判斷隊(duì)列的有序性。

2）與YOLOv5s 模型相比，HPI-YOLOv5s 模型的準(zhǔn)確率提高了1.9%，權(quán)重大小減少了32%，參數(shù)量減少了6.9%，檢測(cè)速度提高了7.8%，且針對(duì)遮擋、昏暗、光照不均的礦井圖像，能夠更準(zhǔn)確地識(shí)別礦工排隊(duì)情況。