趙學(xué)軍 楊征

中國礦業(yè)大學(xué)（北京）機(jī)電與信息工程學(xué)院

0 引言

隨著人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)等技術(shù)的飛速發(fā)展，各個(gè)行業(yè)都朝著智能化的方向發(fā)展，但是在煤礦行業(yè)的信息智能化程度還有待提高。煤礦行業(yè)實(shí)現(xiàn)智能化發(fā)展，可以有效降低煤礦生產(chǎn)的經(jīng)濟(jì)成本，減少安全事故的發(fā)生。因此，跟隨社會(huì)科技的發(fā)展，智慧礦山建設(shè)成為煤炭行業(yè)發(fā)展的必然趨勢(shì)。

目前，國內(nèi)大多數(shù)煤礦實(shí)現(xiàn)了視頻監(jiān)控，但是對(duì)皮帶運(yùn)輸機(jī)的視頻監(jiān)控主要依靠人工，在出現(xiàn)預(yù)警的情況下調(diào)取監(jiān)控發(fā)現(xiàn)，其并沒有充分發(fā)揮視頻監(jiān)控系統(tǒng)的真正作用，無法達(dá)到智能化監(jiān)控的效果。因此，對(duì)視頻圖像進(jìn)行智能分析，可以為煤礦安全生產(chǎn)提供強(qiáng)有力的保障，極大提高煤礦生產(chǎn)效率。

對(duì)皮帶運(yùn)輸機(jī)的運(yùn)行狀態(tài)進(jìn)行智能監(jiān)測(cè)，是實(shí)現(xiàn)煤礦智能化的重要基礎(chǔ)。針對(duì)煤礦井下特殊的環(huán)境，主要是對(duì)皮帶運(yùn)輸機(jī)進(jìn)行堵煤智能識(shí)別監(jiān)控，從皮帶運(yùn)輸機(jī)的運(yùn)行監(jiān)測(cè)視頻出發(fā)。目前對(duì)視頻中的目標(biāo)檢測(cè)屬于計(jì)算機(jī)視覺領(lǐng)域的重要組成部分，一般是將檢測(cè)的運(yùn)動(dòng)目標(biāo)進(jìn)行提取，然后對(duì)目標(biāo)進(jìn)行準(zhǔn)確分析。在提取運(yùn)動(dòng)目標(biāo)的過程中，通用的方法主要有光流法、背景減法、幀差法、深度模型以及基于各算法的變形和改進(jìn)。但是由于井下情況特殊，單一采用以上方法用于對(duì)皮帶運(yùn)輸機(jī)堵煤的智能識(shí)別，往往難以取得滿意的效果。本文針對(duì)幾種皮帶運(yùn)輸機(jī)堵煤識(shí)別算法進(jìn)行對(duì)比和分析。

1 基于煤量檢測(cè)的堵煤識(shí)別算法研究

傳統(tǒng)的堵煤識(shí)別方法一般是通過檢測(cè)皮帶運(yùn)輸機(jī)上的運(yùn)煤量來判斷其是否出現(xiàn)堵煤或者空載等問題。皮帶機(jī)輸煤量一般是通過布設(shè)繁多的傳感器實(shí)現(xiàn)，傳感器磨損較大，且不精準(zhǔn)。目前，對(duì)煤量檢測(cè)的裝置是電子膠帶秤，雖然其應(yīng)用廣泛，但價(jià)格昂貴，且存在誤差。

曾飛等使用激光掃描的帶式輸送機(jī)物料瞬時(shí)流量高精度實(shí)時(shí)測(cè)量方法，利用二維激光測(cè)距儀和測(cè)速傳感器獲取帶式輸送機(jī)高速運(yùn)行下物料流三維激光點(diǎn)云數(shù)據(jù)，通過分析掃描線上激光點(diǎn)云空間形態(tài)特征，提出一種物料流輪廓自動(dòng)提取方法，并建立基于面元積分的帶式輸送機(jī)物料瞬時(shí)流量計(jì)算數(shù)學(xué)模型。這種方法主要是通過激光掃描皮帶，獲得皮帶上煤炭的點(diǎn)云信息，根據(jù)點(diǎn)云構(gòu)成的輪廓，確定輸送帶輸煤量。

關(guān)丙火提出了一種基于激光掃描的帶式輸送機(jī)瞬時(shí)煤量檢測(cè)方法。通過數(shù)字?jǐn)z像儀和激光儀器獲取帶式輸送機(jī)上散煤的圖像，利用Ohta 顏色空間特性提取激光線輪廓，采用梯形面積累積法計(jì)算散煤的截面面積，實(shí)時(shí)獲取皮帶運(yùn)輸機(jī)的瞬時(shí)煤量。

曾飛等和關(guān)丙火都是通過激光檢測(cè)儀檢測(cè)皮帶運(yùn)輸機(jī)上的運(yùn)煤量，從而判斷皮帶運(yùn)輸機(jī)是否出現(xiàn)堵煤或者空載的情況，但是利用激光對(duì)煤炭進(jìn)行點(diǎn)或者線的掃描時(shí)，容易受環(huán)境中細(xì)小顆粒物的影響。礦井下煤炭粉狀懸浮空中，對(duì)激光掃描造成了很大的影響，對(duì)煤炭輪廓的提取造成較大干擾，同時(shí)，激光儀價(jià)格昂貴，難以在各個(gè)煤礦普及。

陶偉忠根據(jù)采取的皮帶運(yùn)輸機(jī)上煤炭的圖像信息，分別選取煤流的顏色、運(yùn)動(dòng)和能量特征作為時(shí)域和頻域特征，對(duì)滿足時(shí)域和頻域特征區(qū)域的圖像取交集運(yùn)算，進(jìn)而計(jì)算出煤流區(qū)域面積。李紀(jì)棟主要是通過圖像邊緣檢測(cè)的方法得到煤料的寬度，通過知識(shí)庫模糊計(jì)算得到輸煤量。

陶偉忠和李紀(jì)棟主要是通過傳統(tǒng)的圖像算法提取圖像特征，針對(duì)礦井下環(huán)境較為昏暗的情況，傳統(tǒng)人工提取圖像特征的算法準(zhǔn)確率較低，且通用性能較差，對(duì)于煤量的檢測(cè)準(zhǔn)確率較低，進(jìn)而造成堵煤識(shí)別具有不準(zhǔn)確性。

隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展，利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行端到端的學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)圖像特征，提高了圖像檢測(cè)準(zhǔn)確率。韓濤提出了一種基于多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的帶式輸送機(jī)輸煤量和跑偏檢測(cè)方法，同時(shí)對(duì)輸煤量檢測(cè)和跑偏檢測(cè)這兩個(gè)任務(wù)進(jìn)行學(xué)習(xí)，減小了網(wǎng)絡(luò)體積，降低計(jì)算量，提高運(yùn)行速度。

上述方法是針對(duì)皮帶運(yùn)輸機(jī)上運(yùn)煤量進(jìn)行檢測(cè)，通過判斷皮帶運(yùn)輸機(jī)上煤炭的量來判斷皮帶運(yùn)輸機(jī)上是否出現(xiàn)堵煤或者空載等異常情況。這種先檢測(cè)煤量、再判斷是否堵煤的傳統(tǒng)方法，好處是可以有效地檢測(cè)到皮帶運(yùn)輸機(jī)上的煤量，從而防止皮帶運(yùn)輸機(jī)空載情況的發(fā)生，但是這種方法需要兩步判斷，需要投入大量的人力、物力，經(jīng)濟(jì)成本較高，難以有效實(shí)現(xiàn)對(duì)皮帶運(yùn)輸機(jī)智能堵煤的識(shí)別。

2 基于目標(biāo)檢測(cè)的堵煤識(shí)別算法研究

隨著深度學(xué)習(xí)的快速發(fā)展，目標(biāo)檢測(cè)在各個(gè)領(lǐng)域的應(yīng)用越來越廣泛，但是沒有一種通用的檢測(cè)算法。在煤礦這一特殊的行業(yè)，需要根據(jù)環(huán)境的不同而使用不同的檢測(cè)算法，從而實(shí)現(xiàn)檢測(cè)算法的良好性能，達(dá)到減少生產(chǎn)成本和安全事故發(fā)生的同時(shí)，實(shí)現(xiàn)對(duì)井下的智能化監(jiān)控。接下來，將應(yīng)用在皮帶運(yùn)輸機(jī)堵煤識(shí)別中的幾種目標(biāo)檢測(cè)算法進(jìn)行分析對(duì)比。

2.1 融合邊緣檢測(cè)和背景減法的視頻目標(biāo)檢測(cè)

煤礦井下環(huán)境特殊，單純地使用一種檢測(cè)算法總是存在各種局限，檢測(cè)效果不夠理想。因此，許風(fēng)志提出了融合背景差分、幀間差分和處理后的邊緣檢測(cè)的目標(biāo)提取方法。該算法使用幀間差分進(jìn)行或運(yùn)算，擴(kuò)大運(yùn)動(dòng)目標(biāo)檢測(cè)區(qū)域，然后使用Canny算子提取三幀差分圖像的邊緣，最后與邊緣檢測(cè)后的運(yùn)動(dòng)目標(biāo)團(tuán)塊進(jìn)行與運(yùn)算，消除光照和噪聲的影響。三幀差分后使用Canny 邊緣檢測(cè)算子進(jìn)行檢測(cè)，得到運(yùn)動(dòng)目標(biāo)邊緣并進(jìn)行填充。

該算法選用的運(yùn)算簡單、復(fù)雜度低。使用傳統(tǒng)目標(biāo)檢測(cè)的算法對(duì)煤礦井下物體進(jìn)行檢測(cè)，同樣可以應(yīng)用在皮帶運(yùn)輸機(jī)堵煤的識(shí)別上，但是此算法利用傳統(tǒng)的目標(biāo)檢測(cè)算法，較為繁瑣，計(jì)算量大，不能達(dá)到及時(shí)檢測(cè)的效果，對(duì)光照和噪聲敏感，嚴(yán)重依賴背景模型的建立。

2.2 基于Faster RCNN 的目標(biāo)檢測(cè)算法

Faster RCNN 由RCNN 連續(xù)發(fā)展而成。郜振國提出了基于Fasetr RCNN 的皮帶異物檢測(cè)算法。Faster RCNN 通過區(qū)域建議網(wǎng)絡(luò)RPN處理任意尺寸輸入圖像，輸出預(yù)選區(qū)域矩陣集合。在每一個(gè)滑動(dòng)窗口位置，假設(shè)提供k 個(gè)預(yù)選區(qū)域，則回歸層提供4k 個(gè)輸出，對(duì)應(yīng)k 個(gè)預(yù)選區(qū)域的頂點(diǎn)坐標(biāo)編碼。分類層提供2k 個(gè)輸出，對(duì)應(yīng)該預(yù)選區(qū)域是不是目標(biāo)的概率。

以每個(gè)預(yù)選區(qū)為中心，定義9 種不同尺寸候選區(qū)域anchor，計(jì)算與真值的重疊率，確定其中是否包含目標(biāo)，形成正負(fù)樣本用于訓(xùn)練。通過最小化損失函數(shù)，來訓(xùn)練模型。

Faster RCNN 原模型結(jié)構(gòu)采用VGG 作為骨干網(wǎng)，但由于井下皮帶運(yùn)輸機(jī)檢測(cè)的實(shí)時(shí)性要求，實(shí)際檢測(cè)時(shí)間需盡可能短，因此，本研究采用ZF 模型作為骨干網(wǎng)提取特征信息。ZF 網(wǎng)絡(luò)核心結(jié)構(gòu)包括5 層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，3 層全連接神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)分類。在模型訓(xùn)練中，使用dropout 技術(shù)避免過擬合。網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)VGG 更簡單，因此，能夠保證良好的運(yùn)行速度。

基于Faster RCNN 的皮帶運(yùn)輸機(jī)堵煤識(shí)別算法，是利用深度網(wǎng)絡(luò)模型對(duì)煤礦井下視頻來自動(dòng)學(xué)習(xí)堵煤特征信息，將視頻信息交給網(wǎng)絡(luò)結(jié)構(gòu)，通過網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練，得出皮帶運(yùn)輸機(jī)上堵煤識(shí)別的情況，從而實(shí)現(xiàn)堵煤情況的自動(dòng)識(shí)別。與傳統(tǒng)方法相比，其正確率獲得了明顯提高，并且Faster RCNN 可以實(shí)時(shí)識(shí)別，有利于及時(shí)發(fā)現(xiàn)堵煤情況，降低人力、物力的投入，減少安全事故的發(fā)生。具體算法流程如圖1 所示。

圖1 算法處理流程

2.3 基于RFCN 的目標(biāo)檢測(cè)算法

Faster-RCNN 算法在目標(biāo)的檢測(cè)和識(shí)別過程中雖然也有較好的表現(xiàn)效果，但是圖像信息在ROI Pooling 的全連接層時(shí)，出現(xiàn)目標(biāo)信息的部分丟失現(xiàn)象。許風(fēng)志提出了基于RFCN 的井下目標(biāo)識(shí)別算法。為了解決Faster-RCNN 在目標(biāo)檢測(cè)識(shí)別過程中出現(xiàn)的目標(biāo)位置丟失問題，改進(jìn)了Faster-RCNN 中的ROI Pooling，在ROI Pooling 層前面引入了位置敏感得分圖，能夠精確地檢測(cè)到運(yùn)動(dòng)物體的位置，并對(duì)每個(gè)類別進(jìn)行投票，得出類別的得分，有效地解決了以上問題。將RFCN 算法應(yīng)用于皮帶運(yùn)輸機(jī)的堵煤識(shí)別算法，相對(duì)于Faster RCNN 算法來說速度更快，更能有效地達(dá)到實(shí)時(shí)檢測(cè)的效果。模型結(jié)構(gòu)如圖2所示。

圖2 模型結(jié)構(gòu)

3 待解決的問題與未來研究方向

皮帶運(yùn)輸機(jī)是煤炭運(yùn)輸?shù)闹饕O(shè)備，且成本較高，因此，對(duì)其進(jìn)行實(shí)時(shí)、有效的檢測(cè)是煤炭生產(chǎn)活動(dòng)中至關(guān)重要的一環(huán)。根據(jù)已有的研究方法和最新的研究思路，本文對(duì)基于皮帶運(yùn)輸機(jī)堵煤識(shí)別的關(guān)鍵技術(shù)下一步待解決的問題與未來研究方向進(jìn)行展望。

（1）如何使模型更適用于煤礦井下的目標(biāo)檢測(cè)需求。由于煤礦井下環(huán)境復(fù)雜，視頻圖像質(zhì)量不高，極大地限制了模型學(xué)習(xí)的能力。因此，需要通過上下文信息、數(shù)據(jù)增強(qiáng)、互補(bǔ)特征融合等各種方法，不斷提高模型的性能，以適應(yīng)煤礦場(chǎng)景下的目標(biāo)檢測(cè)需求。

（2）如何在數(shù)據(jù)集樣本較少的情況下實(shí)現(xiàn)精確的目標(biāo)檢測(cè)。皮帶運(yùn)輸機(jī)出現(xiàn)堵煤或者空載的現(xiàn)象是很少的，大部分都是正常運(yùn)行的狀態(tài)，在訓(xùn)練模型時(shí)，異常狀態(tài)的數(shù)據(jù)集含量較少的情況下，很難將模型訓(xùn)練好。因此，需要通過遷移學(xué)習(xí)或者強(qiáng)化學(xué)習(xí)等方法來訓(xùn)練深度網(wǎng)絡(luò)模型，提高檢測(cè)的效果。

（3）如何選擇高性能的骨干網(wǎng)絡(luò)。骨干網(wǎng)絡(luò)的好壞直接影響檢測(cè)效果，因此，如何獲取高性能的骨干網(wǎng)絡(luò)，將對(duì)后續(xù)的研究與實(shí)驗(yàn)結(jié)果產(chǎn)生重要影響。目前，針對(duì)骨干網(wǎng)的選擇具有很大的隨機(jī)性，在不同的任務(wù)要求下，不同的骨干網(wǎng)產(chǎn)生的性能也就不同。

4 結(jié)束語

皮帶運(yùn)輸機(jī)堵煤視頻智能識(shí)別系統(tǒng)是智慧礦山指揮調(diào)度系統(tǒng)的子系統(tǒng)。本文從皮帶運(yùn)輸機(jī)進(jìn)行堵煤識(shí)別檢測(cè)的原因和必要性出發(fā)，針對(duì)目前皮帶運(yùn)輸機(jī)進(jìn)行堵煤識(shí)別的幾種方法進(jìn)行了綜述，主要是煤量檢測(cè)和基于目標(biāo)檢測(cè)算法的堵煤識(shí)別，對(duì)這兩種情況下分別存在的幾種方法進(jìn)行了描述與對(duì)比，同時(shí)，對(duì)該領(lǐng)域如何使模型更適用于煤礦井下的目標(biāo)檢測(cè)需求、如何在數(shù)據(jù)集樣本較少的情況下實(shí)現(xiàn)精確的目標(biāo)檢測(cè)、如何選擇高性能的骨干網(wǎng)絡(luò)3 個(gè)研究熱點(diǎn)進(jìn)行了分析與展望。