張鍵，豐繼林，袁靜，周涵，劉祖陽(yáng)

摘? 要： 液壓支架護(hù)幫板的打開和閉合是煤礦井下的主要作業(yè)之一。為了自動(dòng)識(shí)別監(jiān)控視頻中每個(gè)護(hù)幫板的工作狀態(tài)，需研究液壓支架護(hù)幫板工作狀態(tài)智能識(shí)別算法。結(jié)合深度學(xué)習(xí)和計(jì)算機(jī)視覺(jué)的算法，可采用融合幅度信息的光流直方圖（Histograms of Oriented Optical Flow，HOF）提取運(yùn)動(dòng)特征。實(shí)驗(yàn)結(jié)果表明：算法的準(zhǔn)確率達(dá)到88.69%、精確率達(dá)到79.08%、召回率達(dá)到76.16%、F1_score值達(dá)到76.53%，fps值達(dá)到18幀/s，驗(yàn)證了該算法的可行性和有效性。

關(guān)鍵詞： 液壓支架護(hù)幫板; 光流直方圖; 運(yùn)動(dòng)識(shí)別; 計(jì)算機(jī)視覺(jué); 煤礦作業(yè)

中圖分類號(hào)：TP391.41? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ?文章編號(hào)：1006-8228（2022）06-23-04

Detection algorithm for working state of hydraulic support guard plate

Zhang Jian， Feng Jilin， Yuan Jing， Zhou Han， Liu Zuyang

（Institute of Disaster Prevention， Langfang， Hebei 062541， China）

Abstract： The opening and closing of the hydraulic support guard plate is one of the main operations in coal mines. In order to automatically identify the working state of each plate in the monitoring video， an intelligent recognition algorithm is studied. Combining deep learning and computer vision algorithms， motion features are extracted using Histograms of Oriented Optical Flow （HOF） fused with amplitude information. The experimental results show that the accuracy rate reaches 88.69%， the precision rate reaches 79.08%， the recall rate reaches 76.16%， the F1 score value reaches 76.53%， and the fps value reaches 18 frames/s， which verifies the feasibility and effectiveness of the algorithm.

Key words： hydraulic support guard plate; Histograms of Oriented Optical Flow; motion recognition; computer vision; coal mine operations

0 引言

為實(shí)現(xiàn)煤礦生產(chǎn)無(wú)人化，以最大程度的保障人員生產(chǎn)安全，越來(lái)越多的礦井安裝了大量攝像頭用于遠(yuǎn)程監(jiān)管煤礦生產(chǎn)活動(dòng)、規(guī)范生產(chǎn)行為，其中液壓支架護(hù)幫板是保障煤礦生產(chǎn)安全的重要手段之一，其主要功能是防止煤壁片幫，對(duì)其工作狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控是減少事故率的關(guān)鍵。圖1為液壓支架的結(jié)構(gòu)簡(jiǎn)圖，而本文識(shí)別的主要區(qū)域?yàn)閳D1中的裝置1：護(hù)幫裝置的護(hù)幫板。

目前，國(guó)內(nèi)外基于液壓支架護(hù)幫板運(yùn)動(dòng)狀態(tài)非接觸式智能識(shí)別的研究也主要集中在圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域。比如，滿溢橋[1]聯(lián)合圖像增強(qiáng)技術(shù)和護(hù)幫板位姿解算模型設(shè)計(jì)了一套識(shí)別算法，該算法監(jiān)測(cè)護(hù)幫板圖像誤差較小，但是鄰架護(hù)幫板的運(yùn)動(dòng)會(huì)影響其識(shí)別性能，而且需要大量的破壞性實(shí)驗(yàn)進(jìn)行驗(yàn)證，因此，該算法距離實(shí)際應(yīng)用尚且有一定差距。王淵[2]等人結(jié)合除霧算法與機(jī)器視覺(jué)技術(shù)，提出一種新的識(shí)別算法：采用圖像處理技術(shù)測(cè)量圖像中護(hù)幫板收回角度，以此來(lái)識(shí)別液壓支架護(hù)幫板的工作狀態(tài)。但上述方法均需要攝像頭的拍攝角度滿足一定要求。而煤礦井下的監(jiān)控?cái)z像頭的安裝角度卻是多種多樣，這將導(dǎo)致上述算法的識(shí)別性能穩(wěn)定性差。

針對(duì)上述問(wèn)題，本文提出一種基于計(jì)算機(jī)視覺(jué)的液壓支架護(hù)幫板工作狀態(tài)智能識(shí)別算法，創(chuàng)新點(diǎn)主要體現(xiàn)在以下兩個(gè)方面：

⑴ 結(jié)合深度學(xué)習(xí)和計(jì)算機(jī)視覺(jué)技術(shù)，提出適應(yīng)多角度拍攝場(chǎng)景的一套識(shí)別算法，該算法能實(shí)時(shí)地識(shí)別不同拍攝角度下的多個(gè)護(hù)幫板的工作狀態(tài);

⑵ 在判斷護(hù)幫板工作狀態(tài)環(huán)節(jié)，提出了融合幅度信息的光流直方圖。由于灰塵運(yùn)動(dòng)、手電光亮快速晃動(dòng)會(huì)對(duì)識(shí)別效果產(chǎn)生不利影響，且灰塵運(yùn)動(dòng)、手電光亮晃動(dòng)和防護(hù)板運(yùn)動(dòng)的幅度存在明顯差異，本文在傳統(tǒng)光流直方圖的基礎(chǔ)上融入了運(yùn)動(dòng)幅度信息減少灰塵運(yùn)動(dòng)、手電光亮對(duì)識(shí)別效果的影響。

1 算法整體流程

護(hù)幫板工作狀態(tài)識(shí)別算法主要分為兩個(gè)部分：護(hù)幫板定位算法和工作狀態(tài)識(shí)別算法。如圖2所示，護(hù)幫板定位算法部分主要流程為：通過(guò)暗通道除霧算法降低灰塵影響，再采用YOLO-V3[3]定位護(hù)幫板區(qū)域;工作狀態(tài)識(shí)別算法主要流程為：對(duì)護(hù)幫板區(qū)域進(jìn)行低通濾波預(yù)處理，計(jì)算該區(qū)域的光流圖，并提取融合幅度信息的光流直方圖作為運(yùn)動(dòng)特征，最后用XGBoost來(lái)分類融合幅度信息的光流直方圖的運(yùn)動(dòng)特征。

2 護(hù)幫板定位算法

為了降低灰塵和霧氣對(duì)護(hù)幫板工作狀態(tài)檢測(cè)的影響，首先采用暗通道算法[4]對(duì)圖像進(jìn)行增強(qiáng)處理，再采用YOLO-V3算法定位護(hù)幫板的圖像區(qū)域。YOLO-V3算法是目前流行的目標(biāo)檢測(cè)框架，該算法可以檢測(cè)不同尺寸的目標(biāo)，特征提取效果更好[5]，能夠較為準(zhǔn)確地定位護(hù)幫板的位置，有助于進(jìn)一步提取護(hù)幫板區(qū)域的運(yùn)動(dòng)特征。

3 護(hù)幫板工作狀態(tài)識(shí)別算法

護(hù)幫板工作狀態(tài)識(shí)別算法主要包括圖像預(yù)處理、運(yùn)動(dòng)特征提取和運(yùn)動(dòng)特征分類。

⑴ 圖像預(yù)處理：為了降低圖像中的光照變化對(duì)運(yùn)動(dòng)特征提取的影響，采用低通濾波算法對(duì)圖像進(jìn)行降噪處理。

⑵ 運(yùn)動(dòng)特征提取：采用Farneback算法[6]提取圖像中護(hù)幫板位置的稠密光流圖，再利用幅度信息改進(jìn)傳統(tǒng)的光流直方圖（Histograms of Oriented Optical Flow，HOF）[7]并將其作為運(yùn)動(dòng)特征。

光流直方圖是常用的運(yùn)動(dòng)特征，對(duì)稠密光流圖進(jìn)行加權(quán)統(tǒng)計(jì)得到：通常將光流向量映射到12個(gè)方向，得到12個(gè)特征，但該特征更關(guān)注運(yùn)動(dòng)的方向信息而忽略了運(yùn)動(dòng)幅度信息。在實(shí)際的監(jiān)控視頻場(chǎng)景中，灰塵的運(yùn)動(dòng)、手電光的快速運(yùn)動(dòng)等，嚴(yán)重影響護(hù)幫板工作狀態(tài)的識(shí)別，僅靠光流方向很難準(zhǔn)確的實(shí)現(xiàn)運(yùn)動(dòng)特征分類。通過(guò)光流圖像分析發(fā)現(xiàn)，灰塵運(yùn)動(dòng)的幅度較弱，手電光的運(yùn)動(dòng)幅度較大，而防護(hù)板的運(yùn)動(dòng)幅度介于二者中間。由此可以發(fā)現(xiàn)不同物體的運(yùn)動(dòng)具有不同的幅度信息?；诖耍岢鋈诤戏刃畔⒌墓饬髦狈綀D，其改進(jìn)方案如下。

若某一像素點(diǎn)為P，對(duì)應(yīng)的光流為（x，y），則所映射的方向具體可以用以下方式計(jì)算：

[θ=tan-1yx]? ?⑴

其中[θ]是求出的角度，當(dāng)角度落在范圍：

[2（b-1）πB≤θ≤2bπB]

s.t.[ 1≤b≤B]? ⑵

當(dāng)光流幅值[d=（x2+y2）12]

[（h-1）（Dmax-Dmin）H≤d≤h（Dmax-Dmin）H]

s.t.[ 0≤h≤H]? ⑶

其中：H為量化后的幅度信息的數(shù)量，d作用到光流直方圖第h個(gè)的bin中，最后兩者歸一化直方圖[7]。b為HOF特征第b個(gè)維度，B為光流場(chǎng)方向個(gè)數(shù);式⑶中[Dmax，Dmin]分別為幅值最大值最小值。根據(jù)式⑴、式⑵可計(jì)算該區(qū)域光流方向的直方圖，根據(jù)式⑹可計(jì)算該區(qū)域光流幅度的直方圖，再按照?qǐng)D3中的融合幅度信息的HOF計(jì)算過(guò)程可計(jì)算出融合幅度信息的光流直方圖。融合幅度信息的光流直方圖如圖3所示。

⑶ 運(yùn)動(dòng)特征分類：XGBoost屬于集成學(xué)習(xí)算法，由多個(gè)互相關(guān)聯(lián)的基學(xué)習(xí)器共同決策[8]，在分類問(wèn)題上表現(xiàn)優(yōu)秀，可用于處理大規(guī)模數(shù)據(jù)[9，10]。XGBoost包含一個(gè)迭代殘差樹的集合，利用梯度提升算法不斷減少已生成的決策樹的損失，每棵樹都在學(xué)習(xí)其前面所有樹的殘差，最后將每棵樹預(yù)測(cè)的結(jié)果相加作為樣本的最終結(jié)果[11，12]。

4 實(shí)驗(yàn)環(huán)境和分析

4.1 實(shí)驗(yàn)環(huán)境

為驗(yàn)證本文算法的實(shí)用性和有效性，本文采用的數(shù)據(jù)來(lái)源于Marco公司提供的礦下監(jiān)控視頻，本文實(shí)驗(yàn)環(huán)境為：海康DS-2cd3t56wd，Intel Xeon CPU E5-2680 V4 2.40GHz，64內(nèi)存NVIDIA TITAN V。

4.2 實(shí)驗(yàn)數(shù)據(jù)

本文采用的數(shù)據(jù)來(lái)源于Marco公司提供的礦下監(jiān)控視頻，礦井中的攝像頭一般安裝在護(hù)幫板對(duì)面的正上方，每隔3-5個(gè)護(hù)幫板安裝一個(gè)攝像頭，攝像頭旋轉(zhuǎn)時(shí)可以拍攝到7-8個(gè)護(hù)幫板。圖4為視頻原始圖像，其中圖4（a）、圖4（b）分別為同一視頻場(chǎng)景下攝像頭發(fā)生旋轉(zhuǎn)拍攝的不同角度的圖像。用于YOLO-V3模型訓(xùn)練的數(shù)據(jù)集累計(jì)248774張圖片，訓(xùn)練集與測(cè)試集比例為8：2，用于XGBoost型訓(xùn)練的數(shù)據(jù)集累計(jì)4659張圖片，訓(xùn)練集與測(cè)試集比例為8：2。

4.3 實(shí)驗(yàn)方案

本實(shí)驗(yàn)分為護(hù)幫板定位算法和護(hù)幫板工作狀態(tài)識(shí)別算法兩部分。YOLO-V3檢測(cè)三類：大護(hù)幫板，小護(hù)幫板，非護(hù)幫板，表1為YOLO-V3模型和XGBoost模型訓(xùn)練參數(shù)。本實(shí)驗(yàn)以準(zhǔn)確率（Accuracy）、精確率（Precision）、召回率（Recall）、F1_score、識(shí)別速度（fps）作為評(píng)價(jià)指標(biāo)。對(duì)照實(shí)驗(yàn)：低通濾波和改進(jìn)光流直方圖的特征提取方法識(shí)別護(hù)幫板工作狀態(tài)的效果。

4.4 實(shí)驗(yàn)結(jié)果

根據(jù)4.3里的評(píng)價(jià)指標(biāo)，實(shí)驗(yàn)結(jié)果如表2所示，本文對(duì)檢測(cè)方案中的均值濾波和改進(jìn)的光流直方圖進(jìn)行了對(duì)比試驗(yàn)。從實(shí)驗(yàn)一和實(shí)驗(yàn)二的對(duì)比可以看出，對(duì)圖像進(jìn)行均值濾波預(yù)處理后，傳統(tǒng)光流直方圖提取特征的效果都有所提升。由實(shí)驗(yàn)三、實(shí)驗(yàn)四對(duì)比可以看出，采用均值濾波處視頻圖像加上改進(jìn)光流直方圖特征提取方法的算法，無(wú)論是在準(zhǔn)確率、精確率、召回率還是F1_score，都有極大的提高，只在檢測(cè)速度（fps）上有所下降。

4.5 實(shí)驗(yàn)結(jié)論

依據(jù)上述對(duì)比實(shí)驗(yàn)可以得出，將視頻圖像進(jìn)行低通濾波預(yù)處理，再采用改進(jìn)的光流直方圖提取護(hù)幫板運(yùn)動(dòng)特征，可以在一定程度上克服礦井下灰塵運(yùn)動(dòng)和光線變化的影響，區(qū)分更多的運(yùn)動(dòng)信息，算法在攝像頭發(fā)生旋轉(zhuǎn)的情況下也可以達(dá)到較好的檢測(cè)效果。

5 結(jié)束語(yǔ)

針對(duì)煤礦場(chǎng)景下液壓支架護(hù)幫板傳統(tǒng)接觸式檢測(cè)難題，本文基于計(jì)算機(jī)視覺(jué)技術(shù)，提出液壓支架護(hù)幫板工作狀態(tài)智能識(shí)別算法。該算法分別通過(guò)除霧算法和低通濾波得到較高質(zhì)量的圖像，結(jié)合YOLO-V3算法得到的護(hù)幫板位置信息進(jìn)行光流計(jì)算，并針對(duì)傳統(tǒng)的光流直方圖加入了運(yùn)動(dòng)幅度信息提取特征，豐富了護(hù)幫板運(yùn)動(dòng)特征信息。實(shí)驗(yàn)表明融合幅度信息的光流直方圖算法方案在各項(xiàng)實(shí)驗(yàn)指標(biāo)上都有較好表現(xiàn)，可作為液壓支架護(hù)幫板狀態(tài)智能檢測(cè)的手段。

參考文獻(xiàn)（References）：

[1] 滿溢橋.液壓支架護(hù)幫板與采煤機(jī)滾筒截割干涉監(jiān)測(cè)技術(shù)研究[D].徐州：中國(guó)礦業(yè)大學(xué)，2019

[2] 王淵，李紅衛(wèi)，郭衛(wèi)，等.基于圖像識(shí)別的液壓支架護(hù)幫板收回狀態(tài)監(jiān)測(cè)方法[J].工礦自動(dòng)化，2019，45（? ? 2）：47-53

[3] Redmon J，F(xiàn)arhadi A.YOLOv3：an increamental improve-ment[J]. IEEE Conference on Computer Vision and Pattern Recognition，2018：89-95

[4] HE K M，SUNJ，TANGXO.Guided Image Filtering[J].IEEE Transactions on Software Engineering，2013，35（6）：1397-1409

[5] 施輝，陳先橋，楊英.改進(jìn)YOLO v3的安全帽佩戴檢測(cè)方法[J].計(jì)算機(jī)工程與應(yīng)用，2019，55（11）：213-220

[6] 周偉.基于光流法的目標(biāo)提取與跟蹤算法研究[D].贛州：江西理工大學(xué)，2017

[7] 劉闖.基于計(jì)算機(jī)視覺(jué)的人體行為識(shí)別方法[D].南京：南京郵電大學(xué)，2019

[8] PAN B Y. Application of XGBoost algorithm in hourly PM2.5 concentration prediction[J].IOP Conference Series：Earth and Environmental Science，2018，113（1）：1-7

[9] 武康康，周鵬，陸葉，等.基于小批量梯度下降法的 FIR 濾波器[J].廣西師范大學(xué)學(xué)報(bào)（自然科學(xué)版）1-14[2021-05-17]

[10] SUKHPREET D，ABDULLAH N，ROBERT A. Effective intrusion detection system using XGBoost[J].Information，2018，9（7）：149-173

[11] LI W，YIN Y B，QUAN X W，et al. Gene expression value prediction based on XGBoost algorithm[J]. Frontiers in Genetics，2019，10：1-7

[12] 凌毓，張金區(qū)，李鄉(xiāng)儒，李慧.基于XGBoost的單脈沖信號(hào)識(shí)別研究[J].天文研究與技術(shù)：1-15[2021-06-25]