趙方 潘志剛 衛(wèi)晨

（1.西安航天化學(xué)動(dòng)力有限公司 陜西省西安市 710025 2.西安郵電大學(xué) 陜西省西安市 710121）

視頻監(jiān)控技術(shù)運(yùn)用以來，已經(jīng)從初期的全模擬系統(tǒng)，中期的數(shù)字化系統(tǒng)，發(fā)展到了網(wǎng)絡(luò)化系統(tǒng)，目前正在向智能視頻監(jiān)控系統(tǒng)蓬勃發(fā)展。生產(chǎn)企業(yè)引入視頻監(jiān)控系統(tǒng)，有利于各個(gè)監(jiān)督部門實(shí)時(shí)、遠(yuǎn)程掌握企業(yè)生產(chǎn)狀況，及時(shí)發(fā)現(xiàn)安全隱患。如果遇到不法事件，也能方便職能部門進(jìn)行取證，有效地震懾不法分子的違法行為[1]。但是，生產(chǎn)企業(yè)本身具有組織結(jié)構(gòu)龐大、結(jié)構(gòu)復(fù)雜、服務(wù)多元化、以及以此帶來的信息量巨大等特點(diǎn)。如果不使用科學(xué)和高效的智能系統(tǒng)，而是僅僅依靠人工來提高服務(wù)，會(huì)帶來很多問題。要讓視頻監(jiān)控系統(tǒng)智能化，就需要讓視頻監(jiān)控系統(tǒng)不僅能夠提供視頻數(shù)據(jù)，而且能夠自動(dòng)對(duì)視頻內(nèi)容進(jìn)行分析和處理，從而使得監(jiān)控系統(tǒng)從“看得見”轉(zhuǎn)變?yōu)椤翱疵靼住薄?/p>

智能視頻分析是計(jì)算機(jī)圖像視覺技術(shù)在安防領(lǐng)域的一個(gè)分支，是一種基于目標(biāo)行為的智能監(jiān)控技術(shù)[2]。在現(xiàn)代計(jì)算機(jī)強(qiáng)大的計(jì)算能力支持下，借助計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)、模式處理等方法，將場景中背景和目標(biāo)分離[3-5]，識(shí)別出真正的目標(biāo)，進(jìn)而分析并追蹤在攝像機(jī)場景內(nèi)出現(xiàn)的目標(biāo)行為[6-8]。近年來在人工智能領(lǐng)域最受關(guān)注的，非深度學(xué)習(xí)莫屬[9,10]。深度學(xué)習(xí)網(wǎng)絡(luò)在視頻數(shù)據(jù)處理時(shí)具有優(yōu)勢，因其深層結(jié)構(gòu)而可以從大量數(shù)據(jù)中自動(dòng)學(xué)習(xí)特征，從而避免了傳統(tǒng)方法手工設(shè)計(jì)提取特征的缺點(diǎn)，并成功運(yùn)用于圖像分類、人臉檢測、人臉識(shí)別、物體檢測、目標(biāo)跟蹤等領(lǐng)域[11-13]。通過訓(xùn)練可以自行抽取視頻流中的有用信息，視頻信號(hào)的監(jiān)控、提取、檢測到最后預(yù)警的全過程均不需要人為參與，具有全天候的可靠性。其次，不用增加其他硬件設(shè)備，提高已有視頻監(jiān)控系統(tǒng)中視頻資源的利用率，充分利用生產(chǎn)企業(yè)已有資源，不增加額外資金投入。通過視頻數(shù)據(jù)的大數(shù)據(jù)挖掘以及基于視頻大數(shù)據(jù)的智能化應(yīng)用，使得生產(chǎn)企業(yè)視頻監(jiān)控系統(tǒng)能夠從海量視頻數(shù)據(jù)資源中捕捉到監(jiān)控畫面中的異常，經(jīng)過比對(duì)就可以實(shí)現(xiàn)對(duì)可疑目標(biāo)的身份識(shí)別，及時(shí)發(fā)出報(bào)警信息，從而實(shí)現(xiàn)生產(chǎn)企業(yè)視頻監(jiān)控智能化。

針對(duì)生產(chǎn)企業(yè)重點(diǎn)區(qū)域監(jiān)控的問題，結(jié)合人員流動(dòng)的特點(diǎn)及安全管理的需求，本文以深度學(xué)習(xí)理論為依據(jù)，提出使用基于深度學(xué)習(xí)的智能視頻監(jiān)控系統(tǒng)來代替人工視頻監(jiān)控系統(tǒng)。最后按照標(biāo)準(zhǔn)化、易用性、可擴(kuò)展性等總體原則，設(shè)計(jì)并實(shí)現(xiàn)了智能視頻分析系統(tǒng)與視頻管理平臺(tái)，方便了生產(chǎn)企業(yè)對(duì)重點(diǎn)區(qū)域的監(jiān)控和管理。

1 智能視頻監(jiān)控系統(tǒng)的總體設(shè)計(jì)

1.1 設(shè)計(jì)原則

智能視頻監(jiān)控系統(tǒng)設(shè)計(jì)的主要原則是提取并識(shí)別視頻中的異常，并發(fā)出安全警報(bào)，減少企業(yè)的安全隱患。其次，系統(tǒng)的操作界面應(yīng)該簡單明了，便于操作，滿足企業(yè)易用性的需求，盡量減少工作人員的培訓(xùn)時(shí)間和企業(yè)費(fèi)用與負(fù)擔(dān)。系統(tǒng)的響應(yīng)時(shí)間應(yīng)該符合人的視覺和感覺范圍之內(nèi)，滿足用戶的需求。主系統(tǒng)與各個(gè)子系統(tǒng)之間的數(shù)據(jù)交換、修改和傳輸保持?jǐn)?shù)據(jù)一致和同步。對(duì)系統(tǒng)數(shù)據(jù)格式及類型要加以限制，并進(jìn)行驗(yàn)證。作為生產(chǎn)企業(yè)安防系統(tǒng)，系統(tǒng)內(nèi)的數(shù)據(jù)多數(shù)屬于生產(chǎn)企業(yè)內(nèi)部商業(yè)機(jī)密或者個(gè)人隱私，所以安全保密性對(duì)系統(tǒng)來說非常重要。只允許認(rèn)證用戶才能登陸該系統(tǒng)，系統(tǒng)對(duì)每個(gè)用戶都有權(quán)限設(shè)置，對(duì)登錄名、密碼以及用戶重要信息進(jìn)行加密，保證賬號(hào)信息安全。注重系統(tǒng)的整體安全性，在數(shù)據(jù)傳輸保存的環(huán)節(jié)使用先進(jìn)的安全技術(shù)減小數(shù)據(jù)丟失風(fēng)險(xiǎn)。

1.2 系統(tǒng)結(jié)構(gòu)

按照智能視頻監(jiān)控系統(tǒng)的應(yīng)用需求，主要由智能視頻識(shí)別系統(tǒng)和智能視頻管理系統(tǒng)兩部分組成，如圖1所示。將整個(gè)系統(tǒng)按業(yè)務(wù)流程分為兩大部分方便進(jìn)行分析與設(shè)計(jì)，其中視頻智能分析系統(tǒng)替代原有人工識(shí)別非法入侵的功能，進(jìn)行自動(dòng)識(shí)別；智能視頻管理系統(tǒng)為視頻分析系統(tǒng)的次級(jí)系統(tǒng)，進(jìn)行非法闖入事件的報(bào)警、記錄、查詢等功能。

圖1：智能視頻監(jiān)控系統(tǒng)設(shè)計(jì)

1.3 軟件平臺(tái)選取

（1）智能視頻服務(wù)器Linux 平臺(tái)：烏班圖（Ubuntu）。Ubuntu 具有出色的性能與良好的用戶界面，主流驅(qū)動(dòng)大都可以在安裝包中找到，而且預(yù)裝了許多常用軟件。

（2）數(shù)據(jù)庫是一個(gè)存放數(shù)據(jù)的倉庫，并按照一定的數(shù)據(jù)結(jié)構(gòu)來組織、存儲(chǔ)的，本系統(tǒng)采用MySQL 數(shù)據(jù)庫。

（3）集成開發(fā)環(huán)境：MyEclipse。MyEclipse 是對(duì)Eclipse IDE的擴(kuò)展，它是功能豐富的J2EE 集成開發(fā)環(huán)境，包括了完備的編碼、調(diào)試、測試和發(fā)布功能，完整支持HTML，Struts，JSF，CSS，Javascript，SQL，Hibernate。利用它我們就可以在數(shù)據(jù)庫和J2EE的開發(fā)、發(fā)布，以及應(yīng)用程序服務(wù)器的整合方面極大的提高工作效率。

2 視頻智能分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

2.1 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)與業(yè)務(wù)流程

生產(chǎn)企業(yè)視頻智能分析系統(tǒng)由視頻采集部分和視頻處理部分組成。視頻采集部分主要利用生產(chǎn)企業(yè)已有的基礎(chǔ)有線視頻監(jiān)控系統(tǒng)作為主干網(wǎng)絡(luò)，新增加的監(jiān)控區(qū)域需要增加新的線路或無線攝像頭。將采集到的視頻信號(hào)傳輸?shù)紺affe 服務(wù)器進(jìn)行實(shí)時(shí)判斷，當(dāng)發(fā)現(xiàn)有非法入侵事件時(shí)，視頻信息處理平臺(tái)發(fā)出信號(hào)交由智能視頻管理系統(tǒng)進(jìn)行處理。視頻智能分析系統(tǒng)結(jié)構(gòu)如圖2所示。

圖2：視頻智能分析系統(tǒng)結(jié)構(gòu)

視頻智能分析系統(tǒng)運(yùn)行流程為：攝像頭連續(xù)無間斷運(yùn)行采集所在區(qū)域的視頻信息，并將該視頻信息發(fā)送到視頻處理平臺(tái)。視頻處理平臺(tái)將視頻處理為格式化的信息后轉(zhuǎn)發(fā)到Caffe 服務(wù)器。Caffe 服務(wù)器中運(yùn)行著預(yù)先訓(xùn)練好的判斷模型（Model），當(dāng)視頻中出現(xiàn)的人是有許可的員工時(shí)服務(wù)器不做反應(yīng)，當(dāng)判斷出進(jìn)入該區(qū)域的人員沒有權(quán)限時(shí)向視頻信息平臺(tái)反饋確認(rèn)信號(hào)，視頻信息處理平臺(tái)接收到反饋信號(hào)后，將入侵信息發(fā)送至視頻信息管理系統(tǒng)，流程圖如圖3所示。

圖3：視頻智能分析系統(tǒng)運(yùn)行流程

2.2 智能視頻分析系統(tǒng)的實(shí)現(xiàn)

生產(chǎn)企業(yè)視頻智能分析系統(tǒng)由視頻采集部分和視頻處理部分組成。將采集到的視頻信號(hào)傳輸?shù)紺affe 服務(wù)器進(jìn)行實(shí)時(shí)判斷，當(dāng)發(fā)現(xiàn)有非法入侵事件時(shí)，視頻信息處理平臺(tái)發(fā)出信號(hào)交由智能視頻管理系統(tǒng)進(jìn)行處理。

2.2.1 智能視頻人臉識(shí)別

人臉具有區(qū)分不同個(gè)體身份的特征信息，這是人類視覺系統(tǒng)以人臉作為輸入確定人身份的基礎(chǔ)。智能視頻人臉識(shí)別分為視頻預(yù)處理、人臉檢測、特征提出和分類識(shí)別三部分。圖像預(yù)處理包括圖像變換、增強(qiáng)、邊緣檢測、恢復(fù)、分割等。人臉檢測是人臉識(shí)別的第一步，人臉檢測的準(zhǔn)確性對(duì)人臉識(shí)別有較大的影響。視頻中包含有大量的背景信息，而這些背景信息對(duì)人臉檢測毫無益處，必須要提取出含背景信息盡可能少的人臉圖像，并實(shí)現(xiàn)準(zhǔn)確定位。特征提取的目的是為了最小化類內(nèi)差異而最大化類間差異，另外一個(gè)作用是降低圖像的維數(shù)，減少圖像的冗余信息，是實(shí)現(xiàn)高性能人臉識(shí)別的關(guān)鍵。特征提取后，將己提取的特征與己知的人臉特征進(jìn)行比較，獲得人臉的類別信息。本系統(tǒng)中選用Caffe 框架，對(duì)采集到的數(shù)據(jù)進(jìn)行標(biāo)記，標(biāo)記好之后送入學(xué)習(xí)網(wǎng)絡(luò)，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練后的網(wǎng)絡(luò)就是一個(gè)模型，該模型能夠得到數(shù)據(jù)中的特征。

2.2.2 系統(tǒng)硬件方案

2.2.2.1 Caffe 的硬件環(huán)境

（1）CPU 的選擇。Caffe 支持CPU 訓(xùn)練和GPU 訓(xùn)練，如果采用CPU 訓(xùn)練，CPU 支持的線程數(shù)越多越好。若采用GPU 訓(xùn)練，則大量運(yùn)算由GPU 完成。本文采用GPU 訓(xùn)練。

（2）內(nèi)存的選擇。采用GPU 訓(xùn)練下，內(nèi)存頻率不是重要的影響因數(shù)。但由于深度學(xué)習(xí)算法中設(shè)計(jì)大量的參數(shù)，另外深度訓(xùn)練的每個(gè)batch 的原始數(shù)據(jù)都放在內(nèi)存中，導(dǎo)致深度學(xué)習(xí)算法對(duì)內(nèi)存的容量要求很高。本系統(tǒng)配置16 GB 內(nèi)存。

（3）GPU 的選擇。采用GPU 進(jìn)行訓(xùn)練，合適的顯卡至關(guān)重要。目前，Caffe 只支持Cuda 庫，而Cuda 庫是NVIDIA 顯卡專用，所以選擇Caffe 作為深度學(xué)習(xí)框架，必須使用NVIDIA 顯卡。本文使用NVIDIA-980Ti。

（4）硬盤的選擇。Caffe 采用單獨(dú)線程異步方式從硬盤中順序讀取數(shù)據(jù)，在正常情況下，機(jī)械硬盤的速度在GPU 速度不是很快下勉強(qiáng)夠用。硬盤容量和訓(xùn)練所需的數(shù)據(jù)集密切相關(guān)。本文硬盤采用1 TG。

2.2.2.2 攝像頭攝像頭主要用于視頻采集功能，能夠采集特定環(huán)境的視頻信息，具有分辨率高、自動(dòng)白平衡調(diào)整、圖像噪音小的優(yōu)點(diǎn)。

3 視頻管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

3.1 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)與業(yè)務(wù)流程

視頻管理系統(tǒng)主要由Web 管理服務(wù)器組成[15]。Web 管理服務(wù)器收到非法入侵信號(hào)后，控制連接繼電器的樹莓派在入侵處響起警報(bào)，并由數(shù)據(jù)庫保存入侵時(shí)間信息，并接收來自視頻處理平臺(tái)發(fā)出的入侵信息，其結(jié)構(gòu)如圖4所示。為保證數(shù)據(jù)安全，數(shù)據(jù)庫只與Web 管理服務(wù)器連接而不接入互聯(lián)網(wǎng)，只有Web 管理服務(wù)器才能操作數(shù)據(jù)庫，Web 管理服務(wù)器連接路由器與防火墻。

圖4：智能視頻管理系統(tǒng)結(jié)構(gòu)圖

視頻管理系統(tǒng)運(yùn)行流程為：Web 視頻管理服務(wù)器監(jiān)聽視頻分析系統(tǒng)發(fā)送的入侵信號(hào)，當(dāng)無輸入信號(hào)時(shí)保持監(jiān)聽；當(dāng)接收到信號(hào)時(shí)將入侵信號(hào)保存入日志數(shù)據(jù)庫，并控制連接繼電器的樹莓派發(fā)送報(bào)警信息。管理人員接到警報(bào)信息后前往處理，流程圖如圖5所示。

圖5：視頻管理系統(tǒng)流程圖

3.2 功能模塊組成

根據(jù)生產(chǎn)企業(yè)安全管理業(yè)務(wù)流程的調(diào)查分析，將生產(chǎn)企業(yè)智能視頻監(jiān)控系統(tǒng)劃分為四大管理模塊，分別為監(jiān)控信息管理模塊、警報(bào)信息管理模塊、安全管理模塊以及系統(tǒng)管理模塊，如圖6所示。

圖6：系統(tǒng)管理模塊

（1）監(jiān)控管理模塊：查看實(shí)時(shí)監(jiān)控畫面，對(duì)攝像頭云臺(tái)進(jìn)行調(diào)整，以及歷史入侵畫面的調(diào)取。

（2）警報(bào)信息管理模塊：發(fā)送和查看報(bào)警日志。

（3）安全管理模塊：對(duì)企業(yè)內(nèi)部用戶信息進(jìn)行增刪改查，以及設(shè)置員工的權(quán)限。

（4）系統(tǒng)管理模塊：對(duì)系統(tǒng)本身進(jìn)行配置，查看系統(tǒng)運(yùn)行狀態(tài)，管理系統(tǒng)設(shè)備，檢測系統(tǒng)各部分硬件功能是否正常。

3.3 網(wǎng)絡(luò)分層設(shè)計(jì)

根據(jù)生產(chǎn)企業(yè)智能視頻監(jiān)控系統(tǒng)各個(gè)管理模塊的設(shè)計(jì)目標(biāo)，將系統(tǒng)的核心業(yè)務(wù)分為三層，自上向下包括應(yīng)用層、支撐層以及網(wǎng)絡(luò)層三部分。智能視頻監(jiān)控系統(tǒng)、安全管理和系統(tǒng)管理部分組成完整的系統(tǒng)結(jié)構(gòu)，其架構(gòu)如圖7所示。

圖7：系統(tǒng)設(shè)計(jì)架構(gòu)圖

（1）應(yīng)用層：用戶在應(yīng)用層對(duì)軟件進(jìn)行操作。當(dāng)指定好系統(tǒng)監(jiān)控區(qū)域與相關(guān)報(bào)警流程后，智能視頻監(jiān)控系統(tǒng)會(huì)自動(dòng)運(yùn)行，提高了生產(chǎn)企業(yè)管理的可靠性與科學(xué)性，有效的減少相關(guān)人員的工作量。

（2）應(yīng)用支持層：主要完成系統(tǒng)的數(shù)據(jù)處理以及系統(tǒng)軟件的業(yè)務(wù)邏輯。自底向上使用的技術(shù)包括MySQL 數(shù)據(jù)庫管理系統(tǒng)、數(shù)據(jù)庫Hibernate 對(duì)象關(guān)系映射框架、SpringMVC 設(shè)計(jì)模式框架、Tomcat 應(yīng)用服務(wù)器、Shiro 權(quán)限管理框架以及使用瀏覽器對(duì)服務(wù)器發(fā)起請(qǐng)求的B/S 架構(gòu)[16]。

（3）網(wǎng)絡(luò)層：為系統(tǒng)提供了網(wǎng)絡(luò)與硬件支持，是系統(tǒng)實(shí)現(xiàn)的物理基礎(chǔ)，包括有線連接與無線連接的方式。

3.4 數(shù)據(jù)庫設(shè)計(jì)

數(shù)據(jù)庫設(shè)計(jì)中包含多張信息表。以入侵信息表（invade_info）為例，主要記錄入侵信息，包括記錄入侵設(shè)備的編號(hào)（varchar 類型），設(shè)備所處位置（varchar 類型），入侵時(shí)間（datetime 類型）和入侵次數(shù)，如圖8所示。

圖8：入侵信息表

3.5 視頻管理系統(tǒng)的實(shí)現(xiàn)

視頻管理系統(tǒng)按照功能主要?jiǎng)澐譃楣芾硐到y(tǒng)操作（包括管理系統(tǒng)登錄和用戶權(quán)限管理）、實(shí)時(shí)監(jiān)控畫面、監(jiān)控日志查詢等功能，如圖9所示。

圖9：視頻管理系統(tǒng)

4 總結(jié)

本文結(jié)合生產(chǎn)企業(yè)視頻監(jiān)控的應(yīng)用需求和深度學(xué)習(xí)網(wǎng)絡(luò)的特點(diǎn)，提出了一種采用深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行自動(dòng)監(jiān)控和視頻管理的系統(tǒng)?；贑affe 深度學(xué)習(xí)框架對(duì)生產(chǎn)企業(yè)監(jiān)控視頻進(jìn)行智能分析，并對(duì)主要功能進(jìn)行了模擬驗(yàn)證，包括視頻人臉檢測與識(shí)別等功能。對(duì)生產(chǎn)企業(yè)智能視頻管理系統(tǒng)進(jìn)行了實(shí)現(xiàn)，完成了員工權(quán)限管理、監(jiān)控視頻查看、入侵日志記錄與查詢等主要功能。