王曉光,梁皓越,趙忠山,張海濤,邵梓洋,劉光偉
(1.神華北電勝利能源有限公司, 內(nèi)蒙古 錫林浩特市 026000; 2.遼寧工程技術(shù)大學(xué), 遼寧 阜新市 123000)
視頻識別系統(tǒng)是通過識別生物特征、理解視頻內(nèi)容,集成其他檢測技術(shù)并創(chuàng)新,實(shí)現(xiàn)視頻監(jiān)控、圖像搜索等功能的系統(tǒng),可擴(kuò)大其在智能礦山中的應(yīng)用范圍,有效地提升露天礦山智能化水平。露天礦山可基于大數(shù)據(jù)學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò),利用人工智能算法開發(fā)基于視頻數(shù)據(jù)的AI識別預(yù)警系統(tǒng),分析和識別露天礦山生產(chǎn)現(xiàn)場常見的安全隱患,如調(diào)度室脫崗離崗、操作工人違章操作、駕駛司機(jī)接打電話、儲煤場自然發(fā)火、變電站煙火故障、區(qū)域入侵等,準(zhǔn)時、精確、自動傳輸報警信息,提高露天礦山生產(chǎn)過程的安全風(fēng)險管控和應(yīng)急處理能力。目前,露天礦山已基本實(shí)現(xiàn)在關(guān)鍵位置安裝高清攝像頭,在調(diào)度指揮中心實(shí)時調(diào)閱視頻信息。但大量高分辨率攝像頭的布置,只實(shí)現(xiàn)了露天礦山不同部分的視頻信息采集,當(dāng)突發(fā)事件發(fā)生時,從現(xiàn)場提取視頻數(shù)據(jù)并上傳,因露天礦現(xiàn)有存儲空間有限,無法完成對各類違章行為視頻圖像的智能識別和結(jié)構(gòu)化處理等。因而,提出通過智能視頻識別的方式來進(jìn)行露天礦山生產(chǎn)行為的智能管控。
經(jīng)整理分析,露天礦現(xiàn)有的異常場景主要包括以下9個方面。
(1)人員勞保用品違章行為。安全防護(hù)工作對于露天礦山從業(yè)人員尤為重要。勞保用品佩戴涵蓋:安全帽識別、防塵口罩識別、絕緣手套識別、焊接防護(hù)面具識別等場景,如圖1所示。
圖1 勞保用品穿戴不規(guī)范
(2)駕駛?cè)藛T違章行為。露天礦山駕駛司機(jī)違章行為包括:閉眼檢測、接打電話、未系安全帶、身份一致性檢驗(yàn)、內(nèi)視攝像頭異常、打哈欠檢測、分神檢測、雙手脫離方向盤、長時間作業(yè)、駕駛員離崗等,如圖2所示。
圖2 駕駛?cè)藛T違章
(3)破碎站卡塊分析。破碎站在對礦巖進(jìn)行破碎的過程中,常常發(fā)生礦巖物料物理尺寸超過破碎機(jī)額定破碎尺寸的物料,將破碎站卡住,影響露天礦生產(chǎn)效率,同時會對破碎站造成損害。
(4)重點(diǎn)區(qū)域入侵識別處置。露天礦山由于其獨(dú)特的生產(chǎn)工藝及其安全生產(chǎn)風(fēng)險隱患類型,露天礦爆破區(qū)域、滑坡區(qū)域、炸藥存儲車間、機(jī)修車間以及電纜存放區(qū)域等區(qū)域皆是露天礦山的重要管控區(qū)域,需要重點(diǎn)盯防,避免在生產(chǎn)過程中發(fā)生安全事故。部分區(qū)域入侵實(shí)例如圖3所示。
圖3 區(qū)域入侵
(5)重要崗位脫崗離崗。露天礦重要崗位主要是指露天礦山調(diào)度室、遠(yuǎn)程操控設(shè)備車間等地點(diǎn),露天礦山調(diào)度室需要24 h有人值守,當(dāng)有異常事件發(fā)生后,調(diào)度室人員需要第一時間將信息上報,同時針對異常事件的重要程度進(jìn)行現(xiàn)場協(xié)調(diào)處置等工作。因此,應(yīng)對重要崗位脫崗離崗情況進(jìn)行監(jiān)控,如圖4所示。
(6)外包大巴人數(shù)統(tǒng)計。為防止露天礦山運(yùn)輸大巴車人員超員,在露天礦山外包大巴車上安裝車輛人數(shù)計數(shù)攝像頭,防止發(fā)生車輛超員事件。
(7)儲煤倉煙火識別。煤炭自燃時會釋放CO、H2S、SO2等有害氣體,危害煤場工人的健康。同時煤炭自燃釋放出的大量熱量將威脅輸煤設(shè)備的安全運(yùn)行,而且大量煤炭熱量損失給露天礦造成巨大經(jīng)濟(jì)損失,應(yīng)對其進(jìn)行重點(diǎn)管控。
圖4 脫崗離崗
(8)露天采場設(shè)備違章。露天礦山運(yùn)行著大量的設(shè)備,設(shè)備在露天礦場內(nèi)運(yùn)行,彼此協(xié)同作業(yè),如果設(shè)備違章作業(yè),極易造成安全生產(chǎn)事故的發(fā)生。露天礦設(shè)備違章作業(yè)涵蓋:車輛停在高壓線下方、等卸車排隊無秩序、行駛車輛車距過近、等卸自卸車安全距離不足等。露天采場設(shè)備違章行為如圖5所示。
圖5 露天采場設(shè)備違章作業(yè)
(9)露天采場作業(yè)不規(guī)范。露天礦山生產(chǎn)過程中應(yīng)按照露天礦設(shè)計規(guī)范以及煤礦安全規(guī)程來嚴(yán)格執(zhí)行,若未嚴(yán)格按照上述操作規(guī)程及規(guī)范容易發(fā)生安全生產(chǎn)事故,如:排土場反坡不符合標(biāo)準(zhǔn)、排土場擋墻高度不足、排土場路燈未做安全擋墻、臨時加油未做安全措施等,如圖6所示。
為實(shí)現(xiàn)露天礦山智能視頻識別系統(tǒng)平臺的建設(shè),需要解決如下幾個關(guān)鍵問題:第一,露天礦山需要在露天礦辦公區(qū)、露天采場內(nèi)建設(shè)足夠帶寬的網(wǎng)絡(luò)環(huán)境,保證發(fā)生違章視頻時,可第一時間將違章視頻片段傳輸至系統(tǒng)平臺;第二,需要對上述違章場景進(jìn)行樣本庫積累和數(shù)據(jù)標(biāo)注,開發(fā)相應(yīng)深度學(xué)習(xí)和機(jī)器學(xué)習(xí)算法,保證違章識別算法的準(zhǔn)確度;第三,需要露天礦山攝像頭的像素及清晰度滿足要求。
圖6 露天采場作業(yè)不規(guī)范
目前,露天礦山已實(shí)現(xiàn)辦公區(qū)的網(wǎng)絡(luò)建設(shè),但大部分露天礦并未實(shí)現(xiàn)露天采場網(wǎng)絡(luò)全覆蓋。通過調(diào)研得知,國內(nèi)露天礦山采場網(wǎng)絡(luò)大部分上行帶寬在5 M以內(nèi),這部分網(wǎng)絡(luò)主要用于傳輸露天礦山生產(chǎn)類數(shù)據(jù),例如車輛定位以及車輛的工況類數(shù)據(jù)。單個300萬像素攝像頭4 M碼流每秒,根據(jù)碼流計算表,每秒數(shù)據(jù)量為512 kB。一個大型露天礦山至少有1000路攝像頭,因此,露天礦山智能視頻識別系統(tǒng)平臺的建設(shè)需要有足夠的帶寬來支撐礦山運(yùn)行過程中的違章圖片及視頻數(shù)據(jù)的傳輸。露天礦山大部分分布在偏遠(yuǎn)山區(qū),亟需建設(shè)露天礦山覆蓋采場及辦公區(qū)的基站網(wǎng)絡(luò),結(jié)合5G通信技術(shù),實(shí)現(xiàn)構(gòu)建露天礦山的網(wǎng)絡(luò)傳輸問題。
前期調(diào)研可知,國內(nèi)大型露天礦山,已經(jīng)在礦山關(guān)鍵位置布設(shè)了攝像頭,整體上都屬于標(biāo)清攝像頭,近幾年部分礦山進(jìn)行了攝像頭更新?lián)Q代,達(dá)到高清甚至達(dá)到超高清攝像頭。由于攝像頭像素制約,對視頻識別帶來巨大挑戰(zhàn)。同時,露天礦山一些位置并未對攝像頭進(jìn)行防塵等方面的保護(hù),導(dǎo)致攝像頭附著灰塵,影響視頻效果。因此,構(gòu)建露天礦山智能視頻識別系統(tǒng)平臺需要解決攝像頭清晰度以及需要充分考慮攝像頭的保護(hù)問題,防止外界因素對攝像頭的影響。
視頻圖像智能識別技術(shù)的核心算法有賴于對大量數(shù)據(jù)樣本進(jìn)行有效訓(xùn)練,例如深度卷積神經(jīng)網(wǎng)絡(luò)的算法模型準(zhǔn)確度主要依賴于有代表性的、海量的、圖像清晰的訓(xùn)練樣本,該訓(xùn)練模型的準(zhǔn)確度被定義為屬于數(shù)據(jù)驅(qū)動型的模型依賴。露天礦山的各類異常狀態(tài)行為由于前期電子化程度不夠,各類違章異常事件的圖像視頻樣本庫有限。但是,有一些露天礦礦山違章場景獲取圖庫樣本相對容易,例如:作業(yè)人員防塵口罩的佩戴、從業(yè)人員安全帽的佩戴、絕緣手套佩戴、焊接防護(hù)面具佩戴以及接打電話等,這些場景較容易獲得,從實(shí)現(xiàn)上來說,樣本的搜集相對容易。而一些異常場景,涉及到露天礦山生產(chǎn)環(huán)節(jié),獲取難度較大,例如:破碎站卡塊、皮帶堆煤、儲煤倉著火等場景。與此同時,露天礦山各類異常圖像視頻數(shù)據(jù)有一些被定義為保密數(shù)據(jù),無法采用公開共享的方式進(jìn)行大量圖像樣本數(shù)據(jù)的訓(xùn)練。因此,對于露天礦山智能視頻識別系統(tǒng)平臺的實(shí)現(xiàn),亟需解決各類異常場景小樣本的圖像庫的訓(xùn)練問題。
在標(biāo)注數(shù)據(jù)前,首先需清洗數(shù)據(jù),以獲得符合要求的數(shù)據(jù)。數(shù)據(jù)的清洗包括刪除無效數(shù)據(jù)、整理成規(guī)整格式等。因此,在獲得大量的露天礦山圖像樣本庫的基礎(chǔ)上進(jìn)行圖像、視頻數(shù)據(jù)的標(biāo)注是提高視頻識別準(zhǔn)確率高的關(guān)鍵問題。
露天礦山智能識別系統(tǒng)平臺基于“云邊融合”理念為基礎(chǔ)的AI云,即通過對圖片的學(xué)習(xí),加上深度算法,可以實(shí)現(xiàn)對圖片、視頻進(jìn)行前端與后端相結(jié)合的智能視頻識別+云端服務(wù)器。系統(tǒng)架構(gòu)以“感、知、用”為主要切入點(diǎn),提出了“感知邊緣計算、數(shù)據(jù)支撐平臺、系統(tǒng)行業(yè)應(yīng)用”新主線,通過邊緣節(jié)點(diǎn)、數(shù)據(jù)平臺和云中心來實(shí)現(xiàn)露天礦山智能識別系統(tǒng)的建設(shè)。系統(tǒng)總體架構(gòu)如圖7所示。
感知層-邊緣節(jié)點(diǎn):通過對視頻、圖片的數(shù) 據(jù)結(jié)構(gòu)化及對其它物聯(lián)數(shù)據(jù)的精準(zhǔn)感知,完成數(shù)據(jù)采集。
支撐層-支撐平臺:通過對業(yè)務(wù)的局部感知,實(shí)現(xiàn)對業(yè)務(wù)的局部認(rèn)知,完成對域內(nèi)數(shù)據(jù)的自主處理和及時響應(yīng)。
應(yīng)用層-行業(yè)應(yīng)用:完成跨域數(shù)據(jù)的統(tǒng)一、集成和處理,通過大數(shù)據(jù)分析實(shí)現(xiàn)全局感知,通過對跨域數(shù)據(jù)的碰撞和多維數(shù)據(jù)的分析,進(jìn)行全局把控和態(tài)勢分析。
圖7 露天礦山智能識別系統(tǒng)總體架構(gòu)
基于“AI云”理念,將整合視頻監(jiān)控系統(tǒng)、儲煤倉監(jiān)管系統(tǒng)、人臉識別系統(tǒng)、皮帶集控管理系統(tǒng)、機(jī)修車間安防等系統(tǒng),結(jié)合GIS 地圖發(fā)揮邊緣計算的優(yōu)勢,實(shí)現(xiàn)數(shù)據(jù)的綜合管理、分析和分級應(yīng)用。通過智能化建設(shè),實(shí)現(xiàn)所有節(jié)點(diǎn)和地域的數(shù)字化,集成多種系統(tǒng)應(yīng)用,實(shí)現(xiàn)基于數(shù)字化的統(tǒng)一管理。
系統(tǒng)通過本地文件流、RTSP網(wǎng)絡(luò)視頻流等方式將視頻數(shù)據(jù)接入至系統(tǒng)識別分析模塊進(jìn)行智能分析,并通過網(wǎng)絡(luò)數(shù)據(jù)流方式將車載識別分析等結(jié)果接入到系統(tǒng)內(nèi),進(jìn)行數(shù)據(jù)報警顯示、統(tǒng)計分析,見圖8。
圖8 視頻數(shù)據(jù)接入示意
RTSP是實(shí)時流協(xié)議(Real Time Streaming Protocol)的全稱,是一個網(wǎng)絡(luò)控制協(xié)議,用于娛樂、會議系統(tǒng)中控制流媒體服務(wù)器。RTSP處理流時會根據(jù)端點(diǎn)間可用帶寬大小,將音視頻等數(shù)據(jù)切割成小分組(packet)進(jìn)行傳輸,使得客戶端在播放一個分組的同時,可以解壓緩存中第二個甚至下載第三個分組。通過緩存和多碼率流技術(shù),用戶不會感到數(shù)據(jù)間有停頓。視頻數(shù)據(jù)傳輸流程如圖9所示。
圖9 視頻數(shù)據(jù)傳輸流程
(1)綜合展示。實(shí)現(xiàn)露天礦智能識別攝像頭系統(tǒng)聯(lián)網(wǎng)情況和攝像頭在線、離線情況的統(tǒng)計,實(shí)現(xiàn)對露天礦視頻分析情況和視頻分析類型分布的統(tǒng)計,包括出入口出貨運(yùn)車輛情況、儲煤場運(yùn)煤車輛情況、排土場車輛情況、運(yùn)輸設(shè)備的運(yùn)行狀態(tài)、攝像頭遮擋或挪動角度報警、人流量情況、調(diào)度室人員空崗情況。
(2)綜合分析。實(shí)現(xiàn)對煤礦出入口貨運(yùn)車輛情況、儲煤場運(yùn)煤車輛情況、排土場車輛情況、運(yùn)輸設(shè)備的運(yùn)行狀態(tài)、攝像頭遮擋或挪動角度報警、人流量情況、調(diào)度室人員空崗情況等日常分析結(jié)果的管理,可查看詳細(xì)的分析結(jié)果和證據(jù)資料。視頻分析結(jié)果統(tǒng)計信息可以根據(jù)不同攝像頭安裝位置調(diào)取,支持對攝像頭日常分析關(guān)聯(lián)查詢。
(3)報警管理。對煤礦不同地點(diǎn)的出入口貨運(yùn)車輛、儲煤場運(yùn)煤車輛、排土場車輛、運(yùn)輸設(shè)備運(yùn)行狀態(tài)、攝像頭遮擋或挪動角度、人流量情況、調(diào)度室人員空崗情況等報警信息及報警處置信息查詢統(tǒng)計,并關(guān)聯(lián)報警證據(jù)資料。
(4)實(shí)時監(jiān)測。實(shí)現(xiàn)露天礦實(shí)時視頻接入和在線狀態(tài)查詢。展示多路視頻的實(shí)時分析結(jié)果,并可關(guān)聯(lián)查看當(dāng)前攝像頭歷史報警信息。
(1)本文對露天礦山各類違章行為進(jìn)行分析,主要包括:人員勞保用品違章行為、駕駛?cè)藛T違章行為、破碎站卡塊分析、重點(diǎn)區(qū)域入侵識別處置、重要崗位脫崗離崗、外包大巴人數(shù)統(tǒng)計、儲煤倉煙火識別、露天采場設(shè)備違章、露天采場作業(yè)不規(guī)范等行為,為露天礦智能視頻識別分析提供了分析 場景。
(2)提出構(gòu)建露天礦智能視頻識別系統(tǒng)的總體架構(gòu),分為感知層、支撐層和應(yīng)用層。
(3)介紹了智能視頻識別系統(tǒng)的主要系統(tǒng)功能,包括綜合展示、綜合分析、報警管理、實(shí)時監(jiān)測等功能。
(4)露天礦山違章行為智能視頻系統(tǒng)的建設(shè)可實(shí)現(xiàn)對露天礦山各類違章行為的實(shí)時監(jiān)控,智能分析違章行為,提升露天礦山安全管理水平,為露 天礦山智能、安全生產(chǎn)提供技術(shù)手段。