張瑞庭

(國家礦山安全監(jiān)察局黑龍江局，黑龍江 哈爾濱 150007)

為貫徹落實黨中央、國務院關于加強安全生產(chǎn)工作的決策部署，加快建立全國性的安全隱患排查治理體系和風險預防控制體系，完善煤礦行業(yè)各級安全監(jiān)管部門的信息化手段。本文立足突出煤礦企業(yè)主體責任，強化監(jiān)管、監(jiān)察、執(zhí)法的精準性、有效性，遏制重特大事故的發(fā)生，著力提升煤礦安全風險分級管控和事故預測預警能力，提升煤礦行業(yè)企業(yè)的動態(tài)監(jiān)管和風險防控能力水平[1-3]，利用人工智能和機器學習技術，不斷積累優(yōu)化模型知識庫，對煤礦風險進行迭代和推理，構建了符合煤礦安全風險指標體系和風險預警模型[4，5]；針對不同煤礦的特點，構建了自適應的煤礦風險預警分析模型，自主動態(tài)評估煤礦風險[6]；利用AI視頻分析技術對井上、井下諸多工作場景進行智能監(jiān)控，自動發(fā)現(xiàn)隱患并報警，有效提高海量視頻大數(shù)據(jù)的使用價值[7-9]，同時利用數(shù)據(jù)及AI手段對安全隱患進行管理，防患未然。

1 煤礦智能視頻預警系統(tǒng)架構

1.1 開發(fā)平臺架構

煤礦智能視頻預警系統(tǒng)開發(fā)平臺架構遵循J2EE或.NET技術規(guī)范，采用分層設計，應用支持層能為上層應用提供全面有效的基礎功能服務，如圖1所示。系統(tǒng)B/S結構遵循通用Web瀏覽器規(guī)范，支持HTML、DHTML等通用的瀏覽器標準。系統(tǒng)按照高內聚低禍合原則進行模塊化、組件化開發(fā)設計，模塊間提供相應接口；系統(tǒng)主要對象屬性提供參數(shù)化配置，架構具有較強的功能擴展性[10，11]。

開發(fā)平臺采用MVC架構，實現(xiàn)業(yè)務定義與業(yè)務實現(xiàn)的剝離，各模塊之間統(tǒng)一接口進行交互，快速實現(xiàn)業(yè)務切換。接口針對不同具體業(yè)務編寫不同的實現(xiàn)類，且對其他模塊的影響和波及最小，實現(xiàn)松耦合[12]、高內聚的目標。應用系統(tǒng)的集成通過單點登錄系統(tǒng)和綜合門戶來統(tǒng)一實現(xiàn)。

1.2 業(yè)務應用架構

煤礦智能視頻預警系統(tǒng)業(yè)務應用架構主要包含基礎服務層、GIS服務層、智能算法服務層、業(yè)務基礎數(shù)據(jù)服務層、用戶權限管理、業(yè)務應用層管理五個部分，如圖2所示?；A服務層，具有平臺消息、任務調度、日志等基本服務管理等能力；GIS服務層，主要通過GIS平臺，提供基于二維GIS的圖層圖紙、區(qū)域綁點、實時數(shù)據(jù)接入等服務能力，實現(xiàn)基于GIS服務的縮放聚合、圖層切換、實時數(shù)據(jù)查詢等業(yè)務應用；智能算法服務層，主要基于圖像處理、深度學習等人工智能技術實現(xiàn)煙火、安全帽佩戴、膠帶跑偏、軌道站人、膠帶空載識別等異常狀態(tài)的識別，并將識別結果發(fā)送至業(yè)務應用層；業(yè)務基礎數(shù)據(jù)服務層主要包括視頻監(jiān)控、人員定位的數(shù)據(jù)接入[13-15]，并提供語音廣播系統(tǒng)的接入接口，地質圖紙資源統(tǒng)一匯總管理，為聯(lián)動分析提供服務能力；用戶權限管理主要實現(xiàn)礦區(qū)不同層級組織機構用戶分配不同系統(tǒng)角色權限；業(yè)務應用層管理主要實現(xiàn)數(shù)據(jù)推送、預測防控。

2 煤礦智能視頻預警系統(tǒng)體系及方法

2.1 預警分析指標體系

煤礦安全生產(chǎn)風險指標體系是建立企業(yè)和行業(yè)兩個層次的安全生產(chǎn)風險分析模型，分別為煤礦企業(yè)風險分析模型和煤礦行業(yè)風險分析模型，針對各層次的安全生產(chǎn)風險分析模型建立相應的風險指標體系、風險分析評估模型[16-18]。

風險預警分析模型通過建立安全、有效的風險信息發(fā)布能力的風險預警發(fā)布系統(tǒng)，同時具有發(fā)布信息錄入、審批、發(fā)布渠道管理和接入認證、發(fā)布、反饋等主要功能。風險預警發(fā)布系統(tǒng)的構成主要包含預警信息發(fā)布系統(tǒng)、預警發(fā)布反饋評估系統(tǒng)、預警一張圖系統(tǒng)的建設三個方面。

2.2 預警與防控方法

建設政府端煤礦企業(yè)風險預警與防控系統(tǒng)。該系統(tǒng)可以實現(xiàn)煤礦區(qū)域安全風險分級評判與預警、安全風險預警信息展現(xiàn)、安全風險預警信息發(fā)布等功能，便于政府部門進行管理，并實現(xiàn)與省煤礦安全監(jiān)察綜合信息平臺、國家級風險預警與防控系統(tǒng)數(shù)據(jù)共享交換。

建設企業(yè)端煤礦企業(yè)風險預警與防控系統(tǒng)。利用煤礦已有的硬件環(huán)境，同時根據(jù)實際情況配備相應軟硬件設備，采集煤礦企業(yè)靜態(tài)、動態(tài)指標數(shù)據(jù)，通過煤礦風險指標體系和風險分析模型，實現(xiàn)以煤礦為最小單元“點”的預警與防控。

2.3 建立安全生產(chǎn)統(tǒng)一信息平臺

以中心數(shù)據(jù)庫、集團公司安全監(jiān)測聯(lián)網(wǎng)系統(tǒng)、OA系統(tǒng)、人力資源系統(tǒng)、計劃統(tǒng)計系統(tǒng)、供應管理系統(tǒng)、營銷管理系統(tǒng)、財務系統(tǒng)業(yè)務系統(tǒng)為支撐，采用“后臺平臺化，前臺應用化，同類型用戶功能聚合”的思路，建設面向集團公司領導、各業(yè)務部門、子公司、礦井四類用戶的安全生產(chǎn)統(tǒng)一信息門戶。

3 煤礦智能視頻預警系統(tǒng)應用場景

以視頻圖像數(shù)據(jù)為依托，綜合各個信息源，GIS地圖動態(tài)全景展示煤礦作業(yè)安全分布。GIS地圖上可以標注礦井作業(yè)場景，并實時展示各個場景的負壓值、溫度值、一氧化碳濃度、甲烷含量、粉塵濃度等重要檢測數(shù)據(jù)。GIS地圖的報警模式主要依靠自動評估處置模型，當無報警時，GIS地圖無監(jiān)控視頻展示；當有報警事件發(fā)生時，系統(tǒng)自動進行語音提醒、GIS地圖展示報警點、報警原因、報警級別、報警視頻等報警信息，并且實現(xiàn)報警聯(lián)動和監(jiān)控查詢功能。實時接收各個業(yè)務監(jiān)控點上報的報警信息并進行相應的處理，實現(xiàn)報警信息接收、報警信息GIS呈現(xiàn)、報警信息推送、實時監(jiān)控、報警歷史查詢等功能。

視頻預警系統(tǒng)主要通過人工智能、計算視覺及深度學習技術，對視頻圖像中的物體及行為進行智能分析，根據(jù)不同場景，實現(xiàn)對煤礦井下7種煤礦常見嚴重“三違”隱患識別分析，實時發(fā)現(xiàn)井下作業(yè)人員的違章行為及其它安全隱患。

3.1 工作區(qū)規(guī)范佩戴安全帽

系統(tǒng)利用目前安裝的礦用隔爆攝像儀，對礦井中各生產(chǎn)環(huán)境進行實時監(jiān)控，通過計算機視覺、視頻分析和人工智能技術，自動檢測人員及車輛相關的各種異常行為并報警，進而降低礦井生產(chǎn)安全隱患。系統(tǒng)主機置于井上，井下環(huán)網(wǎng)將井下監(jiān)控視頻數(shù)據(jù)傳輸?shù)骄线M行集中分析處理，支持35路1080P的視頻接入，以不減幀、降低分辨率、取子碼流等方式進行實時智能分析。同時支持向下兼容對D1標清視頻流的智能視頻分析。

對工作區(qū)規(guī)范佩戴安全帽功能的實現(xiàn)主要基于深度學習的目YOLO系列目標檢測方法，如圖3所示。以YOLOv3-Darknet53作為基線，在此基礎上進行了改進，生成YOLOX結構。所有組件全平臺可部署，與檢測的下游任務實現(xiàn)更深層次的結合，魯棒性強。視頻預警系統(tǒng)利用覆蓋井上、井下生產(chǎn)環(huán)節(jié)的工業(yè)視頻系統(tǒng)，對日常工作場景進行訓練及建模、從而通過人工智能技術實時對監(jiān)控場景進行視頻分析，識別生產(chǎn)過程中的異常實體、行為及場景。

3.2 軌道站人識別

系統(tǒng)通過視頻檢測人員，并監(jiān)測人員是否站在軌道上或行走在軌道中間。首先通過監(jiān)控視頻獲取圖像幀，劃定軌道區(qū)域后，利用目標檢測模型檢測行人，并計算行人檢測框與軌道區(qū)域的交并比，以及停留時長，根據(jù)預設的停留時間閾值及交并比閾值，確定行人是否站在軌道上停留，如果是則發(fā)出報警信號并推送給相關人員處理。

采用行人識別技術主要采用雙流神經(jīng)網(wǎng)絡，通過兩條路徑分別提取視頻行為的時空信息，而后采用恰當?shù)姆绞竭M行融合，如圖4所示。攝像頭通過將監(jiān)測到的軌道圖像輸入到Faster R-CNN行人識別網(wǎng)絡中，通過該網(wǎng)絡從而準確地識別出行人，在軌道區(qū)域設置警戒區(qū)域，也就是所謂閾值，當存在運動目標越過事先設置的警戒線進入警戒區(qū)域時，將報警信息傳回至監(jiān)控平臺，并發(fā)出警報信息。

3.3 趴蹬運輸車行為識別

系統(tǒng)可對井下運輸車運輸過程中的作業(yè)人員違規(guī)趴蹬運輸車輛行為進行檢測，若檢測到趴蹬車行為，則立即發(fā)送報警，并將趴蹬運輸車行為過程保存為視頻，以供回放和查證，通過行為注意力機制和深度學習的方法實現(xiàn)相關功能。

采用I3D模型來實現(xiàn)趴蹬運輸車行為識別技術，通過數(shù)據(jù)預處理、運動特征提取、行為歸類等步驟可以有效提取到行人動作特征，如圖5所示。通過數(shù)據(jù)預處理將與行為信息無關的圖像內容去除，在數(shù)據(jù)預處理中主要包括的內容有圖像去噪、背景去除等步驟；通過運動特征提取從圖像信息中提取出可以表征人體動態(tài)特點的信息，這些信息應能夠在既表現(xiàn)人體動態(tài)的同時又能提供可以區(qū)分于其他不同種類行為的信息。最終，通過I3D模型可以有效地提取出行人行為模型，并通過推理模塊判斷是否有扒車行為。

3.4 重點崗位人員脫崗識別

系統(tǒng)可以對煤礦調度室等重點崗位進行人員檢測，支持選定檢測區(qū)域和設置要求分析人員是否在崗。當檢測到人員離崗時長超過一定時長，則觸發(fā)報警，并將脫崗行為過程保存為視頻，以供回放和查證。首先劃定崗位區(qū)域，然后采用目標檢測模型實時檢測識別崗位區(qū)域內是否有人在崗，當目標崗位檢測到無人在崗時，開始統(tǒng)計脫崗時間，當脫崗時間大于一定閾值時，發(fā)送脫崗報警。

采用Faster RCNN網(wǎng)絡、YOLO網(wǎng)絡和SSD網(wǎng)絡來實現(xiàn)重點崗位人員脫崗識別技術。該算法可以直接預測目標類別和邊界框，針對不同大小的目標檢測，可以實現(xiàn)對多個人的檢測識別，通過相應真值的算法比較可以實現(xiàn)重點崗位人員脫崗識別。

3.5 膠帶跑偏檢測

系統(tǒng)通過在帶式輸送機膠帶上方安裝的隔爆型攝像儀，通過計算機視覺技術，檢測運行中的帶式輸送機膠帶運行狀態(tài)，如有跑偏及時報警。系統(tǒng)通過地面主機接收井下視頻數(shù)據(jù)進行集中處理和分析，一臺主機能夠同時對多路攝像頭進行檢測；能檢測并且識別檢測膠帶運行位置，檢測到膠帶運行位置偏離設定值，通過高亮的顏色顯示，上位機平臺立即顯示報信息，并立即發(fā)出語音警報提醒值班人員進行核實和處理；對檢測到的膠帶跑偏持截圖存照或保存為視頻數(shù)據(jù)，方便查證；對檢測到的膠帶跑偏時間點存儲到數(shù)據(jù)庫，便于統(tǒng)計分析；同時依托圖像及人工智能技術，膠帶跑偏檢測結果準確，也便于后續(xù)更新改進。

采用HRNet網(wǎng)絡來實現(xiàn)膠帶跑偏檢測功能，通過HRNet網(wǎng)絡獲得實時的膠帶邊緣，然后計算預測結果圖中邊緣中心線相對標簽圖中心線的偏移量，當偏移量波動超出某一閾值，視作傳送帶跑偏。

3.6 膠帶空載檢測

系統(tǒng)通過在帶式輸送機膠帶上方安裝的隔爆型攝像儀進而獲取膠帶實時運行情況，借助機器視覺技術檢測運行中帶式輸送機膠帶的空載狀態(tài)并報警，通過地面主機接收井下視頻數(shù)據(jù)進行集中處理和分析，一臺主機能夠同時對多路攝像頭進行檢測[19]；同時系統(tǒng)還可以檢測并且識別檢測區(qū)域煤量的大小，如果檢測到一段時間內煤量為零，通過高亮的顏色顯示，上位機平臺立即顯示報信息，并立即發(fā)出語音警報提醒值班人員進行核實和處理；同時對檢測到的膠帶空載支持截圖存照或保存為視頻數(shù)據(jù)，方便查證，對檢測到的膠帶空載時間點存儲到數(shù)據(jù)庫，便于統(tǒng)計分析。

采用SegNet網(wǎng)絡實現(xiàn)膠帶空載檢測，如圖6所示。SegNet網(wǎng)路中最后一個卷積層會輸出膠帶檢測結果類別，空載和非空載，網(wǎng)絡最后加上一個softmax層，由于是端到端，通過softmax求出所有每一個像素在所有類別最大的概率，最為該像素的標簽，最終完成圖像像素級別的分類，進而對膠帶空載情況進行判別。

3.7 井下煙火檢測

系統(tǒng)利用熱成像識別技術對膠帶、電機等工作環(huán)境進行實時溫度檢測，最大限度減少火災隱患。系統(tǒng)通過地面主機接收視頻數(shù)據(jù)進行集中處理和分析，檢測到監(jiān)控畫面中出現(xiàn)溫度過高時，上位機平臺立即顯示該報警信息，并立即發(fā)出語音警報提醒值班人員進行核實和處理。上位機平臺可對溫度過高報警信息進行即時處理以及在線查看回放視頻，查詢報警信息。

采用基于特征增強的圖像分割方法PSPNet來對熱成像圖進行區(qū)域分割和增強，如圖7所示。該模型提出的金字塔池化模塊能夠聚合不同區(qū)域的上下文信息，從而提高獲取全局信息的能力。通過PSPNet輸出煙火區(qū)域特征增強后的圖像，上位機平臺可對溫度過高報警信息進行即時處理以及在線查看回放視頻，查詢報警信息。

4 結 論

1)以煤礦等高危行業(yè)企業(yè)風險預警與防控系統(tǒng)為切入點，構建煤礦智能視頻預警系統(tǒng)，智能監(jiān)控井上、井下諸多工作場景，自動發(fā)現(xiàn)隱患并報警，有效提高海量視頻大數(shù)據(jù)的使用價值，利用人工智能和海量數(shù)據(jù)機器學習的視頻分析技術，動態(tài)自動評估煤礦風險，提升安全隱患管理水平。

2)構建煤礦安全生產(chǎn)風險指標體系，并建立行業(yè)和企業(yè)兩個層次的安全生產(chǎn)風險分析模型，以及相應的風險指標體系；通過安全生產(chǎn)統(tǒng)一信息平臺、預警一張圖系統(tǒng)，實現(xiàn)預警信息發(fā)布、反饋、評估。

3)詳細分析了煤礦井下7種典型智能視頻預警的應用場景，通過GIS地圖動態(tài)全景展示報警信息，并實現(xiàn)報警聯(lián)動、監(jiān)控查詢、信息推送，實時監(jiān)控，報警歷史查詢等功能，更加立體直觀展示風險預警信息。

4)下一步將構建煤礦智能視頻分析系統(tǒng)，通過海量數(shù)據(jù)的機器AI算法訓練，有效挖掘風險防控、預警信息的海量數(shù)據(jù)潛在價值，進而分析應用更多典型場景。