馬永亮，張博洋，雷 軍

露天礦山視頻智能后處理系統(tǒng)設(shè)計與應(yīng)用

馬永亮1，張博洋2，雷 軍2

(1.江西銅業(yè)集團公司城門山銅礦，江西 九江市 332100；2.北銳人工智能科技有限公司，湖南 長沙 410131)

通過分析現(xiàn)有礦山視頻監(jiān)控系統(tǒng)應(yīng)用中存在的問題，提出建設(shè)視頻智能后處理系統(tǒng)，對設(shè)定的異常事件進行自動識別和告警，并提出系統(tǒng)建設(shè)的設(shè)備組成、層次架構(gòu)和應(yīng)用功能，對系統(tǒng)融合進入礦山生產(chǎn)管控系統(tǒng)的閉環(huán)管理提出具體解決方案，各特定異常事件自動識別的算法在銅礦山現(xiàn)場的識別率和應(yīng)用效果顯著。

露天礦山;視頻智能后處理;深度學(xué)習(xí);閉環(huán)管理;邊緣檢測

0 引 言

隨著視頻監(jiān)控技術(shù)水平的不斷完善和硬件成本的逐步降低，目前各露天礦山都建立起較為完備的視頻監(jiān)控系統(tǒng)，基本覆蓋生產(chǎn)過程的主要區(qū)域并具備高清晰顯示能力，但是在實際應(yīng)用中，依然存在以下幾點問題：

（1）監(jiān)控值班人員難以持續(xù)集中注意力，無法及時有效察覺安全威脅；

（2）圖像無法全部顯示，一般采取將重點區(qū)域投放大屏或通用巡視的方式；

（3）數(shù)據(jù)分析困難，監(jiān)控錄像不能有效分類存儲，導(dǎo)致后續(xù)數(shù)據(jù)分析工作非常耗時[1-2]。

深度學(xué)習(xí)技術(shù)的發(fā)展使得計算機圖像的識別能力得到極大提高，目前在人臉識別、行人追蹤、姿態(tài)識別、物體識別等方面得到了較為成熟的應(yīng)用，將深度學(xué)習(xí)在圖像識別領(lǐng)域的應(yīng)用與露天礦山視頻監(jiān)控系統(tǒng)相結(jié)合，建設(shè)視頻監(jiān)控智能后處理系統(tǒng)是對上述問題的有效解決手段[3]。

本文在原有露天礦山視頻監(jiān)控系統(tǒng)的基礎(chǔ)上，通過搭建分布式視頻處理服務(wù)器集群接入監(jiān)控網(wǎng)絡(luò)，獲取網(wǎng)絡(luò)高清攝像頭視頻流，訓(xùn)練專用識別模型進行在線分析，對違反安全規(guī)程的人員、關(guān)鍵生產(chǎn)設(shè)備異常狀態(tài)告警和進出卡口的人員車輛進行記錄，并將告警結(jié)果輸入閉環(huán)管控流程，以實現(xiàn)對影響礦區(qū)生產(chǎn)安全事件的快速處理和響應(yīng)。

1 系統(tǒng)架構(gòu)和功能設(shè)計

1.1 系統(tǒng)組成

露天礦山視頻智能后處理系統(tǒng)主要由各視頻分析服務(wù)器和存儲轉(zhuǎn)發(fā)服務(wù)器組成，如圖1所示，所有設(shè)備均通過網(wǎng)絡(luò)連接，前端連接網(wǎng)絡(luò)監(jiān)控攝像頭，后端連接礦生產(chǎn)管理中心。

視頻分析服務(wù)器集群由多個視頻分析服務(wù)器通過網(wǎng)絡(luò)連接組成，可采用集中式和分布式兩種形式，每個服務(wù)器連接若干數(shù)量的網(wǎng)絡(luò)攝像頭，并部署有視頻采集模塊和相應(yīng)的算法模塊，對輸入的視頻圖像進行分析，發(fā)現(xiàn)異常情況時生成事件記錄，同時產(chǎn)生截圖和視頻片段。

視頻分析服務(wù)器應(yīng)具備較快的視頻圖像分析處理能力。在滿足實時視頻圖像分析處理要求的同時，需要能夠同時分析和處理更多路輸入視頻。因此，視頻分析服務(wù)器需要配置若干塊GPU顯卡以支持需要大規(guī)模數(shù)據(jù)計算的視頻圖像處理，還需要配置較強的CPU，具有較好的多線程并發(fā)能力和較高的主頻。除此之外，較快的硬盤和網(wǎng)絡(luò)數(shù)據(jù)交換速度也是視頻分析服務(wù)器需要具備的能力[4]。

存儲轉(zhuǎn)發(fā)服務(wù)器由數(shù)據(jù)庫和視頻智能后處理管理系統(tǒng)組成，負(fù)責(zé)存儲視頻分析服務(wù)器推送的事件以及相應(yīng)的圖片和視頻片段，并將生成的事件通過視頻智能后處理管理系統(tǒng)推送給用戶和礦生產(chǎn)管理中心，用戶通過瀏覽器使用用戶名和密碼登陸管理系統(tǒng)，同時通過托盤小程序接收事件提醒。

各服務(wù)器以及服務(wù)器與用戶和礦生產(chǎn)管理中心的網(wǎng)絡(luò)連接均采用寬帶連接，礦山主干網(wǎng)絡(luò)帶寬應(yīng)在萬兆級，二級單位網(wǎng)絡(luò)帶寬應(yīng)在千兆級，視頻分析服務(wù)器和存儲轉(zhuǎn)發(fā)服務(wù)器接入視頻監(jiān)控專網(wǎng)，同時存儲轉(zhuǎn)發(fā)服務(wù)器通過主交換機與辦公網(wǎng)絡(luò)連接。

圖1 視頻智能后處理系統(tǒng)組成

1.2 系統(tǒng)架構(gòu)

系統(tǒng)采用分層架構(gòu)，共分為4層，如圖2所示，分別是連接層、基礎(chǔ)層、算法層、應(yīng)用層[5-6]。

圖2 視頻智能后處理系統(tǒng)架構(gòu)

1.3 系統(tǒng)功能

（1）算法識別內(nèi)容及性能參數(shù)。安全帽識別算法和外來人員識別算法是在人體識別算法基礎(chǔ)上實現(xiàn)的，安全帽識別算法的主要識別內(nèi)容是在采礦場和選礦廠的工作區(qū)內(nèi)，對出現(xiàn)的未按安全規(guī)定佩戴安全帽的人員進行識別，減小意外事件對人的傷害；外來人員識別算法主要應(yīng)用在排土場等生產(chǎn)工作區(qū)，對出現(xiàn)的未穿戴礦山制式工作服的人員進行識別，避免附近村民在生產(chǎn)工作區(qū)因撿拾礦石而導(dǎo)致安全生產(chǎn)隱患。

皮帶停止和偏移算法是對運送礦石皮帶的實時監(jiān)視，當(dāng)皮帶停止或發(fā)生明顯偏移時，及時提醒，避免因意外導(dǎo)致的生產(chǎn)終止或設(shè)備損壞；人員和車輛檢測是在進出礦區(qū)的卡口處，對進出礦區(qū)的人員車輛進行識別記錄。

各個算法的性能參數(shù)如表1所示。

（2）報警策略。報警在策略選擇上分兩種：提示和告警（見表2）。提示是無明顯風(fēng)險但需要記錄的事件發(fā)生時采取的動作，主要用于事后梳理、查詢；告警是存在風(fēng)險且有可能導(dǎo)致危險發(fā)生時采取的動作，主要用于事前警示、預(yù)防風(fēng)險。告警可根據(jù)需要設(shè)定不同的級別，采取不同的響應(yīng)措施。

表2 報警策略對比

1.4 閉環(huán)管理流程

針對需要告警的異常情況，需要采用閉環(huán)管理的方式確保告警得到了響應(yīng)，閉環(huán)管理的流程如圖3所示。

圖3 閉環(huán)管理流程

整個閉環(huán)管理涉及到兩個循環(huán)，一個循環(huán)在視頻智能后處理系統(tǒng)內(nèi)部，另一個循環(huán)在視頻智能后處理系統(tǒng)與礦生產(chǎn)管控中心之間。前者包含需要處置異常的相應(yīng)業(yè)務(wù)部門，是閉環(huán)管理的“行動”過程；后者加入礦生產(chǎn)管控中心，是閉環(huán)管理的“監(jiān)督”過程。

在異常事件出現(xiàn)后，首先對異常進行識別，生成告警事件，告警事件中含有是否已被響應(yīng)的信息，一方面根據(jù)告警信息的性質(zhì)和發(fā)生地點匹配相應(yīng)的責(zé)任單位，另一方面將告警事件發(fā)送至礦管理中心；如果責(zé)任單位來響應(yīng)，則持續(xù)性的發(fā)送告警信息，同時礦管理系統(tǒng)在判斷事件未被響應(yīng)時，則通過管理系統(tǒng)通知責(zé)任單位；如果責(zé)任單位已響應(yīng)，則上報至礦管理系統(tǒng)，管理閉環(huán)，從而實現(xiàn)了視頻智能后處理系統(tǒng)和礦管控系統(tǒng)的有機融合。

2 關(guān)鍵識別算法

2.1 基于深度學(xué)習(xí)的目標(biāo)檢測與圖像分類算法

深度學(xué)習(xí)技術(shù)是近十年來人工智能領(lǐng)域取得的最重要的突破之一，在計算機視覺、圖像與視頻分析、語音識別、自然語言處理等諸多領(lǐng)域取得了巨大成功。本項目采用深度學(xué)習(xí)技術(shù)來解決安全帽識別、外來人員識別車輛識別等應(yīng)用需求，基本思路是：采用基于深度學(xué)習(xí)的目標(biāo)檢測方法對視頻中出現(xiàn)的人體、安全帽、車輛等目標(biāo)進行檢測，采用基于深度學(xué)習(xí)的圖像分類方法進一步對人體圖像進行分類，判斷是否穿著制服，從而識別其是否為外來人員[7]。

對于是否為外來人員的判別，本項目采用基于深度學(xué)習(xí)的圖像分類方法對人體圖像進行是否穿著制服的分類。本項目設(shè)計了用于分類的卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)由若干卷積層、池化層交替堆疊而成，網(wǎng)絡(luò)最后幾層為全連接層，最后一層全連接層有兩個節(jié)點，即分別表示穿著制服和未穿制服的兩種類別。采集穿著制服和未穿制服的人體圖像作為數(shù)據(jù)集訓(xùn)練該分類網(wǎng)絡(luò)。

2.2 皮帶運行狀況識別算法

對于皮帶運行狀況的監(jiān)測包括皮帶上有礦石時停止運行的識別以及皮帶上無礦石仍然運行的識別。本項目提出的皮帶運行狀況識別算法分為兩個部分：皮帶上有無礦石的識別與皮帶是否運行的識別。通過對這兩個模塊識別的結(jié)果進行組合，就可以完成對皮帶運行狀況的監(jiān)測。

2.3 皮帶偏移識別算法

皮帶運行過程中，所傳送礦石重心位置的變化可能會引起皮帶運動的偏移。本項目通過攝像頭獲取皮帶在轉(zhuǎn)輪附近運轉(zhuǎn)的實時視頻，采用智能視頻圖像處理方法對皮帶偏移進行識別。通過研究皮帶偏移在視頻成像中呈現(xiàn)的規(guī)律，可以發(fā)現(xiàn)皮帶偏移最為顯著和最易為識別的特征是皮帶邊緣的運動變化。因此，本項目研發(fā)的皮帶偏移識別算法基本思路是：在轉(zhuǎn)輪附近選定包含皮帶邊緣的子區(qū)域，在該子區(qū)域內(nèi)進行皮帶邊緣直線的檢測，實時監(jiān)測皮帶邊緣直線的變化，當(dāng)皮帶邊緣直線的變化大于一定閾值時則認(rèn)為皮帶運動發(fā)生了偏移。

3 應(yīng)用案例

江西銅業(yè)集團城門山銅礦于2018年進行數(shù)字化礦山一期建設(shè)，更新了原有的礦區(qū)監(jiān)控網(wǎng)絡(luò)，組成了以采礦場、選礦廠和綜治保衛(wèi)為視頻匯聚節(jié)點，以數(shù)字高清網(wǎng)絡(luò)攝像頭、硬盤錄像機、視頻寬帶專網(wǎng)為基礎(chǔ)的高清數(shù)字化視頻監(jiān)控網(wǎng)絡(luò)，基本覆蓋礦區(qū)的關(guān)鍵區(qū)域。

由于更新后監(jiān)控網(wǎng)絡(luò)擁有接近200個攝像頭，僅依靠人工監(jiān)視的方法顯得力不從心，同時人員也難以保持長時間的注意力集中，因此亟需自動化的監(jiān)控告警方式促使監(jiān)控網(wǎng)絡(luò)發(fā)揮效能。經(jīng)過對礦山的監(jiān)控需求分析，共確定了5類自動監(jiān)控識別行為：生產(chǎn)區(qū)未佩戴安全帽、外來人員進入礦區(qū)、皮帶運行停止和偏移、卡口人員出入和卡口車輛出入。

3.1 測試結(jié)果

（1）測試內(nèi)容和方式。測試針對每個特定的場景選擇攝像頭，在不同的時間段截取視頻，通過人工計數(shù)事件觸發(fā)數(shù)和系統(tǒng)自動識別事件觸發(fā)數(shù)進行比對，其中，各功能選取的攝像頭數(shù)目和總時長如表3所示，由于攝像頭夜視效果有限，因此僅隨機選取日間光線較好的時間段進行測試。

（2）性能測試結(jié)果。經(jīng)過測試，結(jié)果見表4。

表3 各功能測試攝像頭數(shù)目和時長

表4 系統(tǒng)測試結(jié)果

測試結(jié)果顯示，系統(tǒng)的識別率均在85%以上，具有良好的應(yīng)用效果。

3.2 存在問題

（1）暗光線條件下識別率不高。由于礦山安裝的網(wǎng)絡(luò)高清攝像頭僅部分具備簡單的紅外夜視功能，在光線較暗的情況下存在觀察距離近、圖像不清晰和無色彩等問題，由于礦區(qū)不具備大范圍補光的條件，因此導(dǎo)致在夜間暗光線條件下對異常事件難以識別。

（2）室外環(huán)境下光線變化對識別的影響。針對外來人員的識別需要利用人員衣著顏色特征，因此在室外條件下，隨著時段不同，陽光的照射角度和亮度會使得人員衣著顏色在視覺上發(fā)生變化，以江銅集團的工作服為例，在正午陽光條件好的情況下工作服呈深藍色，在晨昏光線較弱時工作服呈藍黑色。此外，當(dāng)周圍背景反光較強時衣著的顏色也會變深，這些都是影響系統(tǒng)識別的不確定因素。

4 結(jié) 論

隨著網(wǎng)絡(luò)攝像頭、硬盤錄像機等硬件設(shè)備價格的不斷降低以及視頻監(jiān)控系統(tǒng)在礦山的廣泛應(yīng)用，海量監(jiān)控需求與監(jiān)控人力不足的矛盾日益突出，對于自動化智能化的實現(xiàn)監(jiān)控視頻特定目標(biāo)和事件識別顯得尤為重要。

近年來，隨著深度學(xué)習(xí)為代表的人工智能技術(shù)迅速發(fā)展，計算機視覺在行業(yè)的應(yīng)用不斷落地，為實現(xiàn)監(jiān)控視頻的智能后處理系統(tǒng)建設(shè)提供了可能。在礦山應(yīng)用該系統(tǒng)并與生產(chǎn)管理流程相結(jié)合，具備以下3點優(yōu)勢：一是充分利用了現(xiàn)有的基礎(chǔ)設(shè)施，在成本投入不大的情況下實現(xiàn)較好的效果；二是與生產(chǎn)管理和控制軟件形成閉環(huán)，縮短了中間由人來反應(yīng)的時間，提高了效率；三是釋放了人力，在提高監(jiān)控效果的同時降低了成本[8]。

隨著技術(shù)的不斷進步，計算機視覺與行業(yè)緊密結(jié)合的趨勢越來越明顯，隨著該項技術(shù)在礦山領(lǐng)域的應(yīng)用逐步深入，將會在國家節(jié)能減排、產(chǎn)業(yè)升級、智能制造、降本增效等方面發(fā)揮越來越顯著的 作用。

[1] 黃凱奇,陳曉棠,康運鋒,譚鐵牛.智能視頻監(jiān)控技術(shù)綜述[J].計算機學(xué)報,2015,38(6):1093-1118.

[2] 吳 群,王 田,王漢武,賴永炫,鐘必能,陳永紅.現(xiàn)代智能視頻監(jiān)控研究綜述[J].計算機應(yīng)用研究,2016,33(6):1601-1606.

[3] 黃鐵軍,鄭 錦,李 波,傅慧源,馬華東,薛向陽,姜育剛,于俊清.多媒體技術(shù)研究:2013——面向智能視頻監(jiān)控的視覺感知與處理[J].中國圖象圖形學(xué)報,2014,19(11):1539-1562.

[4] 高 云,胡 平.流媒體技術(shù)在礦山遠程視頻監(jiān)控系統(tǒng)中的應(yīng)用[J].金屬礦山,2010,39(9):107-110.

[5] 張立亞.礦山智能視頻分析與預(yù)警系統(tǒng)研究[J].工礦自動化,2017, 43(11):16-20.

[6] 王 琨,楊青松,張 民,鄧 帥,王曉鵬.視頻監(jiān)控系統(tǒng)在礦山生產(chǎn)中的應(yīng)用[J].信息技術(shù),2013,(30):29-30.

[7] 馬鈺錫,譚 勵,董 旭,于重重.面向智能監(jiān)控的行為識別[J].中國圖象圖形學(xué)報,2019,24(2):282-290.

[8] 杜素忠,張宇鵬.數(shù)字視頻監(jiān)控系統(tǒng)在海外礦山的應(yīng)用研究[J].冶金自動化,2018,42(5):7-11.

(2019-07-29)

馬永亮(1983—)，男，四川西昌人，本科，工程師，主要從事電氣自動化、礦山智能化、信息化管理工作，Email: 215634493@qq.com。