牛云鵬 張立亞 賀云龍

(1.神東煤炭集團信息管理中心，陜西省榆林市，719315；2.煤炭科學技術(shù)研究院有限公司，北京市朝陽區(qū)，100013)

目前，煤礦井下綜采工作面的各種自動化和信息化類的系統(tǒng)對煤礦的安全生產(chǎn)起到了關(guān)鍵性保障作用[1-6]，但是國內(nèi)煤礦的應用現(xiàn)狀基本上以監(jiān)測為主，沒有對監(jiān)測的對象進行分析挖掘。

隨著信息技術(shù)的發(fā)展，特別是圖像處理技術(shù)的發(fā)展，智能數(shù)字圖像處理技術(shù)在礦井中的應用已有較高水平。如美國通過對井下監(jiān)控圖像進行處理，已開發(fā)出井下礦車監(jiān)督系統(tǒng)，可辨別礦車的里程、路線和時間以及礦車的貨物種類、重量等；德國煤礦開采采用了“煤礦圖像處理”技術(shù)，即使在不利條件下，也能正常對物體的“好”和“壞”進行區(qū)分[7]。

煤礦綜采工作面可視化監(jiān)控及其分析對綜采工作面自動化的發(fā)展具有重要作用。為了有效解決這一問題，筆者設計了一種適應于智能大采高綜采工作面的視頻分析系統(tǒng)。

1 智能大采高綜采工作面視頻分析系統(tǒng)組成

結(jié)合神東煤炭集團上灣煤礦(以下簡稱“上灣煤礦”)12401綜采工作面的實際需求，基于無線傳輸網(wǎng)絡平臺，視頻智能分析平臺通過搭建GPU集群，對多路并發(fā)視頻進行在線解析，實現(xiàn)在巷道集控中心及地面調(diào)度實時展現(xiàn)生產(chǎn)環(huán)境畫面和自動控制等功能，設計出一套適應于智能大采高綜采工作面的視頻分析系統(tǒng)。系統(tǒng)組成結(jié)構(gòu)圖如圖1所示。

圖1 系統(tǒng)組成結(jié)構(gòu)圖

2 系統(tǒng)主要功能模塊設計

2.1 片幫報警智能視頻識別

片幫事故本質(zhì)上屬于動態(tài)事件[8]，片幫發(fā)生時，監(jiān)控相機視野內(nèi)的局部相鄰像素會發(fā)生一致性運動，算法自動捕獲和識別這樣的運動，并以此為依據(jù)進行事故發(fā)生與否的判斷。同時，由于井下環(huán)境的特殊性，前景和背景的紋理相似度較高，因此通過降噪、銳化算法將煤壁畫面中相鄰且具有明顯特征的群像素點作為特征點，在連續(xù)的圖像幀中比對這些特征點間出現(xiàn)的相對運動，一定數(shù)量特征點出現(xiàn)的相對位移達到閾值可認為該區(qū)域的煤壁將產(chǎn)生片幫。當片幫面積大于 1.5 m2時，系統(tǒng)發(fā)出報警信息并顯示實時畫面。視頻分析平臺也可區(qū)分不同區(qū)域的片幫報警和同一區(qū)域的連續(xù)片幫報警。煤壁片幫分析界面如圖2所示，護幫板下片幫分析界面如圖3所示。

圖2 煤壁片幫分析界面

圖3 護幫板下片幫分析界面

2.2 堆煤檢測智能視頻識別

通過無監(jiān)督分割算法得到煤堆的邊界，從而計算煤堆在畫面中的占比。根據(jù)實際場景教學標定，得到具體的量化閾值，當占比超出閾值時，生成堆煤報警信息。此解決方案和絆線檢測結(jié)合使用，加強方法的穩(wěn)定性和精確度。

在轉(zhuǎn)載機與帶式輸送機搭接轉(zhuǎn)載點、破碎機上方安裝礦用攝像機采集帶式輸送機沿線視頻，后端智能視頻服務器分析并實現(xiàn)報警。用戶通過軟件在視頻圖像上繪制方格，在視頻上設置電子圍欄，通過虛擬警戒線來判斷是否堆煤。當煤塊穿越警戒線(閾值設置為70%)時，即產(chǎn)生堆煤報警信息。堆煤檢測分析界面如圖4所示。

圖4 堆煤檢測分析界面

2.3 刮板輸送機內(nèi)大塊煤視頻識別

通過監(jiān)控視頻的智能識別技術(shù)，對刮板輸送機內(nèi)的煤量進行估算，并對大塊煤進行智能識別。識別出的煤量分為5個等級，當煤量達到最高級和出現(xiàn)大塊煤時，系統(tǒng)進行事件預警并將結(jié)果推送到智能決策平臺；當發(fā)現(xiàn)直徑大于刮板輸送機寬度的大塊煤時，發(fā)出預警信息，并彈窗上報智能決策平臺。大塊煤分析界面如圖5所示。

圖5 大塊煤分析界面

2.4 人員“三違”預警、報警智能視頻識別

對煤礦井下工作人員在綜采工作面處的重點“三違”行為采用智能視頻識別算法[9-10]進行識別。在工作面上隅角、下隅角實現(xiàn)人員通過時準確實時識別，對進入該區(qū)域的行為預警并提醒工作人員禁止進入指定區(qū)域；在危險區(qū)域?qū)θ藛T進行檢測識別，并把預警信息推送到特定界面或指定系統(tǒng)，例如在刮板輸送機內(nèi)、液壓支架架前區(qū)域、刮板輸送機機頭和機尾附近，當人員進入該區(qū)域時，除了預警提醒外，還要進行現(xiàn)場聲光報警，智能決策平臺彈窗并語音報警。工作人員進入生產(chǎn)區(qū)域警示提醒界面和工作人員危險區(qū)域越界報警界面如圖6和圖7所示。

圖6 工作人員進入生產(chǎn)區(qū)域警示提醒界面

圖7 工作人員危險區(qū)域越界報警界面

2.5 綜采工作面工作人員人臉識別

通過煤礦井下綜采工作面惡劣環(huán)境下的工作人員人臉識別算法，可應用在綜采工作面控制臺或交接班處實現(xiàn)自動人臉捕捉考勤功能。

提前采集需要進行跟班管理人員的人臉信息，建成人臉數(shù)據(jù)庫。采集的人臉信息包含面部干凈時的人臉、下井后的人臉、未戴安全帽的人臉、戴著安全帽的人臉4種狀態(tài)。當瓦斯檢測員、安檢員、跟班礦長交接班時，在攝像頭處進行人臉信息采集，系統(tǒng)對人臉進行識別，判斷人員是否為當值人員。工作人員在人臉識別攝像機前考勤時，考勤成功時有相應的語音提示，考勤不成功亦有相應的語音提示。綜采工作面工作人員人臉識別界面和綜采工作面工作人員人臉識別管理界面如圖8和圖9所示。

圖8 綜采工作面工作人員人臉識別界面

圖9 綜采工作面工作人員人臉識別管理界面

3 現(xiàn)場工業(yè)試驗

2018年，智能大采高綜采工作面的視頻分析系統(tǒng)在上灣煤礦12401綜采工作面進行現(xiàn)場安裝和調(diào)試。井下設備安裝示意圖如圖10所示。

圖10 井下設備安裝示意圖

工業(yè)試驗中，在8.8 m液壓支架上共安裝32臺隔爆攝像機，安裝10臺聲光報警裝置。隔爆攝像機和聲光報警裝置通過有線與無線結(jié)合的方式，接入到井下環(huán)網(wǎng)網(wǎng)絡中。

3.1 實現(xiàn)的功能

(1)片幫報警智能視頻識別。工作面發(fā)生片幫面積大于 1.5 m2時，系統(tǒng)能及時發(fā)出報警及相關(guān)圖像信息。

(2)堆煤檢測智能視頻識別。在帶式輸送機轉(zhuǎn)載點、破碎機處上方安裝礦用攝像機采集膠帶沿線視頻，該處出現(xiàn)堆煤現(xiàn)象時出發(fā)報警。

(3)刮板輸送機內(nèi)大塊煤智能視頻識別。當發(fā)現(xiàn)直徑大于刮板輸送機寬度的大塊煤時，發(fā)出預警信息，并彈窗上報智能決策平臺。

(4)人員“三違”預警、報警智能視頻識別。在工作面上隅角、下隅角實現(xiàn)人員通過時的識別，對進入該區(qū)域的行為警告禁止進入。

(5)綜采工作面工作人員人臉識別。輸入具有進入權(quán)限的人臉信息庫50人，自動人臉捕捉考勤功能。

3.2 技術(shù)指標

軟件平臺程序基于B/S架構(gòu)，并發(fā)用戶數(shù)量不小于50，軟件實現(xiàn)用戶分級管理。其中，綜采工作面的片幫報警智能視頻識別、堆煤檢測智能視頻識別、刮板輸送機內(nèi)大塊煤視頻識別和人員“三違”預警、報警智能視頻識別等功能分析響應時間小于10 s，識別準確率不低于90%。人臉識別時間小于5 s，準確率達100%。

4 結(jié)語

結(jié)合上灣煤礦12401綜采工作面的實際需求，進行了片幫報警智能視頻識別、堆煤檢測智能視頻識別、刮板機內(nèi)大塊煤及煤量估算智能視頻識別、人員“三違”預警、報警智能視頻識別、綜采工作面工作人員人臉識別等功能模塊的設計，對多路并發(fā)視頻進行在線解析，實現(xiàn)基于煤礦監(jiān)控視頻的智能化人員和設備的分析與處理的功能。本系統(tǒng)把人和機器的力量加以統(tǒng)一，極大地提高了工作效率，為井下移動目標管理提供決策依據(jù)，能夠提高綜采工作面的安全監(jiān)管水平。