(中車永濟電機有限公司,山西 永濟 044500)
目前,企業(yè)的監(jiān)控系統(tǒng)已覆蓋廠區(qū)內(nèi)部重點生產(chǎn)區(qū)域和行政辦公區(qū)域,主要采用人員7×24小時的緊盯監(jiān)控屏幕的傳統(tǒng)監(jiān)控模式,存在如下方面的幾個問題[1-2]:
1)監(jiān)控人員的注意力不能長時間集中,面對海量的監(jiān)控視頻,監(jiān)控人員難以萬無一失的審查每個視頻的每個細節(jié),容易因個人疏忽而錯過將事故消除在萌芽階段的機會,甚至因此導致企業(yè)蒙受損失;
2)數(shù)據(jù)分析困難,傳統(tǒng)視頻監(jiān)控系統(tǒng)缺乏智能因素,視頻數(shù)據(jù)無法被有效的分類存儲,最多只能打上時間標簽,導致數(shù)據(jù)分析工作費時費力,并難以迅速有效獲取用戶感興趣的相關(guān)信息[3];
3)被動監(jiān)控,目前的視頻監(jiān)控系統(tǒng)僅起到一個“錄像”的工作,多數(shù)情況都是在事故已經(jīng)發(fā)生之后,通過視頻回放調(diào)閱的方式進行事后的查驗,但此時損失和影響已經(jīng)造成,無法挽回[3-4];
本文提出一種基于策略的廠區(qū)安全與監(jiān)控系統(tǒng),通過硬件采集終端、軟件管理平臺和安全監(jiān)測策略的組合方式[5-6],實現(xiàn)對廠區(qū)內(nèi)部關(guān)鍵區(qū)域的權(quán)限管控、危險識別、異常預警、報警轉(zhuǎn)發(fā)等功能,將傳統(tǒng)監(jiān)控系統(tǒng)的“被動監(jiān)控”模式提升為行為可智能識別和預警的“主動監(jiān)控”模式[7-8]。
系統(tǒng)采用B/S+硬件終端的系統(tǒng)架構(gòu),系統(tǒng)總體結(jié)構(gòu)如圖1所示,
圖1 系統(tǒng)架構(gòu)設(shè)計
在應用方面,系統(tǒng)提供基于PC客戶端操作方式和基于便攜式移動終端的兩種操作方式。
系統(tǒng)將安全策略以服務(wù)的形式進行封裝和調(diào)用,采用開放的平臺架構(gòu),實現(xiàn)提供符合標準接口的服務(wù)的擴展,針對目前的系統(tǒng)需求,系統(tǒng)在感知層只需網(wǎng)絡(luò)閘機和智能攝像頭實現(xiàn)權(quán)限管控和視頻信息采集。
基于策略的廠區(qū)安全與監(jiān)控管理系統(tǒng)阿是以硬件終端聯(lián)網(wǎng)為基礎(chǔ),以智能視頻分析為核心,以多種類型的大數(shù)據(jù)倉庫為存儲,以遠程授權(quán)、告警聯(lián)動等多種業(yè)務(wù)功能的綜合監(jiān)控平臺。
對于車間、辦公區(qū)域等需要管控的進出入口,提供網(wǎng)絡(luò)閘機的遠程授權(quán)和放行管控,管理員將權(quán)限規(guī)則(任務(wù)班組信息、角色、職責等)信息遠程下發(fā)到相應的閘機終端(包括區(qū)域權(quán)限、時間段權(quán)限),授權(quán)人員可刷卡進入相應的區(qū)域。
對于廠區(qū)內(nèi)部重點區(qū)域,提供基于視頻分析的異常行為監(jiān)控,通過計算機視覺技術(shù)、人體識別技術(shù)和人工智能技術(shù),實現(xiàn)特定區(qū)域、特定時間段自動監(jiān)控,自動分析視頻圖像數(shù)據(jù),識別出人體運動目標所做出的不同行為,并且分類出可疑人物、危險行為、突發(fā)事件異常發(fā)生,再及時準確的通知相關(guān)人員。
圖2 系統(tǒng)工作原理
系統(tǒng)工作原理如圖2所示,本系統(tǒng)在部署過程中包括車間、廠區(qū)關(guān)鍵區(qū)域、信息中心、管理人員辦公樓等環(huán)境。
1)企業(yè)車間入口分為人員進出通道(人門)和車輛物資進出通道(車門),在人門入口部署門禁系統(tǒng),以從MES系統(tǒng)中獲取的排產(chǎn)計劃為基礎(chǔ),進行車間人門通行權(quán)限的下發(fā);人門入口視頻監(jiān)控配置安全帽檢查策略,對進入車間人員是否佩戴安全帽進行檢查和告警;
2)廠區(qū)關(guān)鍵區(qū)域進行智能視頻監(jiān)控,對于倉庫等關(guān)鍵區(qū)域配置人員滯留、徘徊安全檢查策略,對于供配電等危險區(qū)域配置人員入侵(越界)檢測策略;
3)信息中心部署數(shù)據(jù)服務(wù)器和視頻處理服務(wù)器;
4)管理人員辦公室部署客戶端;
5)對移動人員和廠外人員部署終端軟件;
系統(tǒng)硬件選用市場成熟的標準件,無須定制加工,系統(tǒng)硬件選型要求如下,
系統(tǒng)采用全自動剪式門翼閘,門禁閘機部署在車間大門(人門),通過車間局域網(wǎng)與系統(tǒng)進行數(shù)據(jù)通訊,網(wǎng)絡(luò)閘機選型主要技術(shù)指標如表1所示。
表1 全自動剪式門翼閘技術(shù)參數(shù)
系統(tǒng)采用支持紅外補光的高分辨率網(wǎng)絡(luò)式相機,攝像頭部署在車間大門(人門)和廠區(qū)內(nèi)部關(guān)鍵區(qū)域,網(wǎng)絡(luò)攝像頭通過車間局域網(wǎng)與系統(tǒng)進行數(shù)據(jù)通訊,智能攝像頭選型主要技術(shù)指標如表2所示。
基于策略的廠區(qū)安全與監(jiān)控管理系統(tǒng)軟件平臺組成如圖3所示。
系統(tǒng)整體上由PC客戶端平臺和移動終端平臺組成,其中PC客戶端主要負責權(quán)限規(guī)則制定、權(quán)限下發(fā)、視頻采集、存儲與分析和告警與轉(zhuǎn)發(fā)功能,對于移動終端平臺使用人員,提供用戶認證、權(quán)限視頻監(jiān)控和告警查看功能。
PC客戶端平臺面向廠區(qū)內(nèi)部人員使用,以企業(yè)廠區(qū)和車間局域網(wǎng)為通信基礎(chǔ),面向不同權(quán)限的人員提供不同的功能服務(wù)。
表2 高清網(wǎng)絡(luò)智能攝像機參數(shù)
圖3 系統(tǒng)軟件平臺功能組成
3.1.1 任務(wù)管理
廠區(qū)安全與監(jiān)控管理系統(tǒng)以生產(chǎn)任務(wù)為主線,通過生產(chǎn)任務(wù)與班組信息的關(guān)聯(lián),實現(xiàn)人員門禁權(quán)限的批量動態(tài)分配,任務(wù)信息支持從現(xiàn)有系統(tǒng)中同步、支持外部數(shù)據(jù)導入、支持在系統(tǒng)中創(chuàng)建。
3.1.2 設(shè)備管理
在廠區(qū)環(huán)境中,針對重點監(jiān)控區(qū)域,采用網(wǎng)絡(luò)相機進行安全狀態(tài)的監(jiān)控,并結(jié)合相關(guān)視頻處理算法,對非法入侵、滯留、不規(guī)范操作等進行智能識別與實時上報。
1)門禁管理,實現(xiàn)對廠區(qū)內(nèi)部門禁設(shè)備的增加、編輯、刪除和授權(quán)操作,系統(tǒng)面向管理員角色,主要提供包括,門禁授權(quán)(人員、時間段)、實時監(jiān)控、出入記錄查詢統(tǒng)計、異常報警和遠程放行的功能。
圖4 門禁管理工作流程
2)視頻監(jiān)控管理,視頻監(jiān)控管理功能模塊實現(xiàn)對廠區(qū)內(nèi)部重點區(qū)域進行全面監(jiān)控與實時分析,包括視頻信號采集、存儲與展示、實時視頻流數(shù)據(jù)分析、視頻數(shù)據(jù)標簽化存檔和回放、視頻數(shù)據(jù)查詢與統(tǒng)計等功能。
3)安全策略管理,系統(tǒng)以算法組件的方式提供安全策略,包括入侵、徘徊、滯留、倒地等安全策略,后期可擴展標準接口的安全策略。
安全策略主要采用圖像識別和人員行為分析技術(shù),系統(tǒng)通過對智能攝像頭采集的視頻流幀數(shù)據(jù)的數(shù)字化處理、特征值提取,通過特征值與行為模型匹配,進行行為認定。
圖5 圖像識別和行為分析
1)人員入侵檢測策略,入侵檢測包括進入禁區(qū)檢測和越線檢測,進入?yún)^(qū)域檢測針對預定區(qū)域進行檢測,可設(shè)定警戒區(qū)域(區(qū)域大小、出入方向均可設(shè)),若目標出入該區(qū)域,服務(wù)器可立即檢測識別并實時報警,檢測時間也可以由用戶設(shè)定;越線檢測策略在服務(wù)器上設(shè)置一條或多條虛擬折線,設(shè)定越線方向后,任何符合該規(guī)則的越線目標可被檢測到并觸發(fā)實時報警;
2)人員徘徊、滯留檢測策略,徘徊、滯留檢測策略即探測在禁停區(qū)域逗留的目標是否超過用戶設(shè)定時間并觸發(fā)報警,當人員在警戒區(qū)內(nèi)滯留超過用戶自定義的時間時產(chǎn)生報警,滯留的判別不受人員在警戒區(qū)內(nèi)的行為影響。
3)人員佩戴安全帽檢測策略,系統(tǒng)自動識別人員是否佩戴安全帽。
4)人員倒地檢測策略,對在布防時間段內(nèi),規(guī)則區(qū)域內(nèi)的倒地行為進行目標產(chǎn)生報警。
3.1.3 報警管理
報警管理,實現(xiàn)對報警的查看、轉(zhuǎn)發(fā)、歷史報警信息日志管理, 報警數(shù)據(jù)包括:報警類型、報警拍照和報警短視頻。
1)報警查看,用戶可查看當前的報警信息,報警信息包括報警類型(入侵、滯留、徘徊等)、截圖和報警時間段視頻,可直接查看報警監(jiān)控區(qū)域視頻信息;
2)報警轉(zhuǎn)發(fā),報警轉(zhuǎn)發(fā)和聯(lián)動規(guī)則的定義,在中心監(jiān)控管理軟件設(shè)置下,統(tǒng)一快速接收現(xiàn)場監(jiān)控發(fā)送的報警信息并轉(zhuǎn)發(fā)給指定的客戶端,為所有系統(tǒng)管理的監(jiān)控設(shè)備提供報警接收轉(zhuǎn)發(fā)服務(wù)和遠程報警服務(wù);
3)報警信息管理,對歷史報警信息的記錄、分類、查詢、查看和數(shù)據(jù)導出標準格式的功能。
3.1.4 系統(tǒng)管理
系統(tǒng)管理,實現(xiàn)對人員、部門、權(quán)限、角色、系統(tǒng)日志的管理。
實現(xiàn)人員信息、部門信息、角色信息的同步、導入、新增、編輯、刪除的功能。
實現(xiàn)為角色分配權(quán)限的功能,根據(jù)不同角色分配不同權(quán)限,人員同角色對應。
實現(xiàn)系統(tǒng)日志的自動記錄、查詢、導出、清空、刪除等操作。
授權(quán)用戶可通過移動視頻監(jiān)控系統(tǒng)隨時隨地調(diào)取車間視頻監(jiān)控信息,對車間生產(chǎn)過程和車間關(guān)鍵區(qū)域進行視頻監(jiān)控。
1)用戶登錄,用戶憑借用戶名和密碼進行登錄操作;
2)視頻遠程監(jiān)控,用戶登錄系統(tǒng)后,可進行視頻遠程監(jiān)控,終端系統(tǒng)根據(jù)登錄用戶的權(quán)限,查看相關(guān)區(qū)域視頻信息;
3)圖形抓拍,用戶監(jiān)控過程中,可通過移動終端進行視頻圖形的抓拍操作;
4)報警查看,區(qū)域監(jiān)控預警信息可發(fā)送到移動終端,預警信息包括,報警類型、截圖、預警時間段視頻。
行為識別是憑借攝像頭采集的數(shù)據(jù)、根據(jù)觀測的場景條件,將某一動作變化識別成具體行為的過程,行為識別就是將圖像序列標注為某類行為模式的過程[5]。
本系統(tǒng)行為異常安全策略采用通過綜合分析運動軌跡和區(qū)域光流特征兩種特征變量,在多種環(huán)境下對異常行為進行識別。異常行為識別方法流程如圖6所示。
圖6 人體異常行為識別流程
基于運動軌跡的識別過程,通過判斷目標中心點軌跡曲線是否為閉合或者螺旋狀。如果運動軌跡不閉合且不呈螺旋狀,則說明目標在正常行進。反之,則目標處于徘徊狀態(tài),需要通過對區(qū)域光流特征進行分析,進一步判斷是否發(fā)生昇常行為[7]。
圖7 螺旋軌跡曲線及識別原理圖
求出目標運動軌跡的中心點(xz,yz),以(x0,y0)坐標原點,將運動區(qū)域平均分為8個子區(qū)域,依次判斷(x0,y0),(x1,y1),…,(xn-1,yn-1),(xn,yn)出現(xiàn)的區(qū)域。當目標軌跡中的各個位置點出現(xiàn)在各區(qū)域內(nèi)的概率相似時,則可以判定目標是在圍繞一個特定點運動,即目標處于近似徘徊狀態(tài),需要進一步判別是否為異常行為,運動軌跡分析法識別人體異常行為流程如下,
1)計算目標的中心點(xz,yz);
2)設(shè)坐標原點(x0,y0),通過坐標軸和兩條穿過原點的直線將目標運動區(qū)域平均分成8個區(qū)域,每個區(qū)域的度區(qū)間相同;
3)計算點(x0,y0),(x1,y1),…,(xn-1,yn-1),(xn,yn)出現(xiàn)在哪個子區(qū)域中,
4)通過步驟3)的統(tǒng)計結(jié)果,判斷目標軌跡是否呈螺旋曲線狀態(tài),如果判定目標軌跡的各個位置點在各個區(qū)域內(nèi)分布概率相同,則目標處于徘徊狀態(tài),需要利用區(qū)域流光特性做進一步的識別。
目標在視頻中進行的運動,可以看作是視頻序列中各個像素點運動的集合,所謂的光流就是對像素運動過程的一種描述。當目標進行移動時,圖像中的像素會產(chǎn)生位移,從而形成速度矢量,這種速度矢量就是目標像素的光流,而這些矢量的集合就是光流場。
假設(shè)相鄰的兩幀視頻圖像,基于光流場的亮度不變,即假定像素點在時刻t+δt運動到(x+δx,y+δy)位置,亮度保持不變,設(shè)I(x,y,t)代表圖像I中某一像素,則可以得到表達式:
I(x,y,t)=I(x+δt,y+δt,t+δt)
由于一般情況下亮度沿空間坐標和時間軸的變化是線性連續(xù)的,所有可以通過泰勒級數(shù)展開法進行變形,可以得到:
忽略高階項,兩邊同時對δt求導,得出光流的約束方程。
Ixu+Iyv= -It
為了檢測出人體的異常行為,如搏斗、破壞等。這些行為發(fā)生時,人的動作速度快,而且方向雜亂,區(qū)域光流持征幅值強度大,且和運動方向不一致。因此,選擇基于幅值加權(quán)的方向直方圖,對區(qū)域內(nèi)的光流特征描述。以此來判別目標是處于正常的徘徊狀態(tài),還是發(fā)生了搏斗、破壞等異常行為。
以企業(yè)廠區(qū)車間人員進出通道(人門)和倉庫存儲貴重金屬的區(qū)域為試點,在人門配置網(wǎng)絡(luò)閘機和智能攝像頭,管理人員將車間生產(chǎn)任務(wù)排產(chǎn)信息(班組信息)從MES系統(tǒng)中導出,通過系統(tǒng)遠程下發(fā)到網(wǎng)絡(luò)閘機,進行人員生產(chǎn)時間段的出入管控,對智能攝像頭配置人員安全帽佩戴檢查策略,進行安全監(jiān)控,對于倉庫貴重件數(shù)區(qū)域,對智能攝像頭配置人員入侵、人員徘徊、滯留安全策略,進行重點區(qū)域的監(jiān)控、自動告警轉(zhuǎn)發(fā)。
通過測試,車間人門處的網(wǎng)絡(luò)閘機可對當前時間段有生產(chǎn)任務(wù)的生產(chǎn)員工憑借工作IC卡刷卡方式進行正常放行(閘機識別率可達100%),對其他未授權(quán)人員進行阻止。
通過人門攝像頭配置的安全帽檢查策略,可對生產(chǎn)人員安全帽是否佩戴行為進行監(jiān)控和告警(對于單獨個人安全帽檢查識別率可達100%,對于群體檢查識別率可達95%)。
圖8 安全帽檢測試驗結(jié)果展示
通過測試,對于倉庫存放貴重金屬的終點區(qū)域,通過配置的人員入侵、徘徊、滯留安全策略,可對特定時間段,進入?yún)^(qū)域的人員動作進行實時監(jiān)控和危險動作預警(區(qū)域人員入侵識別率可達100%)。
以企業(yè)現(xiàn)有的硬件為基礎(chǔ),通過對廠區(qū)不同區(qū)域配置不同的安全策略算法,基于策略的廠區(qū)安全與監(jiān)控系統(tǒng)實現(xiàn)了廠區(qū)重點區(qū)域的權(quán)限管控和智能監(jiān)控,將現(xiàn)有的“被動監(jiān)控”模式提升為“主動監(jiān)控”模式,將事后查詢提升為事前預警,系統(tǒng)以服務(wù)插件方式進行安全策略的管理,后續(xù)可快速進行安全策略的擴展。
圖9 區(qū)域入侵檢測試驗結(jié)果展示