奚 吉,蔣銀忠

(1.常州工學(xué)院計(jì)算機(jī)信息工程學(xué)院,江蘇 常州 213002;2.江蘇省投資管理有限責(zé)任公司,南京 210005)

?

基于物聯(lián)網(wǎng)和視頻分析技術(shù)的監(jiān)獄智能監(jiān)控系統(tǒng)*

奚 吉1,蔣銀忠2*

(1.常州工學(xué)院計(jì)算機(jī)信息工程學(xué)院,江蘇 常州 213002;2.江蘇省投資管理有限責(zé)任公司,南京 210005)

提出了一種基于物聯(lián)網(wǎng)和視頻分析技術(shù)的監(jiān)獄智能監(jiān)控系統(tǒng)。該系統(tǒng)主要由監(jiān)控終端子系統(tǒng)以及犯人活動(dòng)網(wǎng)絡(luò)定位監(jiān)測(cè)子系統(tǒng)組成,并利用視頻分析技術(shù)對(duì)囚犯進(jìn)行智能行為監(jiān)控。實(shí)驗(yàn)結(jié)果表明:所提出的的透視變換及SVM的行為識(shí)別及目標(biāo)分類方法可以有效監(jiān)控罪犯行為,將監(jiān)控人員從“緊盯屏幕”的低級(jí)監(jiān)控模式中解放出來,能夠很好地提高監(jiān)控有效性,實(shí)現(xiàn)“人防、技防、物防”三位一體的最佳結(jié)合。

物聯(lián)網(wǎng);視頻分析;識(shí)別;運(yùn)動(dòng)檢測(cè);RFID;Zigbee

監(jiān)獄是關(guān)押、改造犯人的場(chǎng)所,是重要的國(guó)家機(jī)器之一。監(jiān)獄的安全防范,是社會(huì)穩(wěn)定、國(guó)家安寧的重要保證。鑒于本身的功能要求,監(jiān)獄對(duì)于安防系統(tǒng)在安全可靠性方面的要求要明顯高于其他行業(yè)。然而傳統(tǒng)的監(jiān)獄安防存在兩個(gè)主要方面的缺陷,主要表現(xiàn)在[1]:①信息孤島。監(jiān)獄安防由于系統(tǒng)涉及的領(lǐng)域很廣,包括網(wǎng)絡(luò)通信技術(shù),信息技術(shù),電子傳感入侵檢測(cè),視等多個(gè)子系統(tǒng)。但系統(tǒng)與系統(tǒng)之間的運(yùn)行都相對(duì)獨(dú)立,信息無法共享,相互之間沒有關(guān)聯(lián),形成信息孤島。一旦出現(xiàn)緊急事件,各系統(tǒng)之間無法及時(shí)關(guān)聯(lián)聯(lián)動(dòng),監(jiān)控圖像和其他安防資源不能共享,造成管理方不能直觀對(duì)應(yīng),浪費(fèi)人力、物力,造成管理效率低下。②被動(dòng)監(jiān)視。國(guó)內(nèi)監(jiān)獄廣泛使用的閉路監(jiān)控系統(tǒng)采用矩陣主機(jī)控制,通過電視墻監(jiān)視前端監(jiān)控畫面,采用長(zhǎng)延時(shí)模擬錄像機(jī)進(jìn)行錄像和回放。此類傳統(tǒng)的視頻監(jiān)控模式屬人為操控,工作人員需要監(jiān)視的視頻畫面數(shù)量,已經(jīng)遠(yuǎn)遠(yuǎn)超出人的接受能力,導(dǎo)致實(shí)際監(jiān)控效果低下[2]。

因此,針對(duì)傳統(tǒng)的監(jiān)獄安防系統(tǒng)的缺陷,本文提出了一套基于物聯(lián)網(wǎng)和視頻分析技術(shù)的罪犯監(jiān)控系統(tǒng)。該系統(tǒng)利用物聯(lián)網(wǎng)技術(shù)將各個(gè)子系統(tǒng)有機(jī)地形成一個(gè)網(wǎng)絡(luò)整體,確保信息的有效暢通,避免信息孤島的出現(xiàn)。另外通過智能視頻分析技術(shù)的應(yīng)用解決了傳統(tǒng)視頻監(jiān)控系統(tǒng)所一些固有的缺陷,實(shí)現(xiàn)了監(jiān)控方式由被動(dòng)到主動(dòng)的轉(zhuǎn)變,從而更好地能夠滿足監(jiān)獄安防系統(tǒng)對(duì)于安全的要求[3-4]。

1 系統(tǒng)總體方案

針對(duì)監(jiān)獄犯人行為識(shí)別與健康狀況信息采集的實(shí)際應(yīng)用,我們采用了如圖1所示的組網(wǎng)結(jié)構(gòu)。整個(gè)系統(tǒng)分4個(gè)層次:信息采集層,信息處理層,服務(wù)器層,管理和決策層。其中信息采集層如圖2,是整個(gè)系統(tǒng)的最底層,主要功能是實(shí)現(xiàn)數(shù)據(jù)的采集,將數(shù)據(jù)傳輸?shù)缴弦粚舆M(jìn)行處理。此層獲取的信息暫有:犯人健康狀況、犯人行為狀況以及犯人所在區(qū)域;信息處理層主要以Intel提供的EPCM-505C-ESDC嵌入式主板為核心,充分利用該板的資源,設(shè)計(jì)出一款多功能的犯人監(jiān)控終端。該層利用視頻分析、支持向量機(jī)等技術(shù)對(duì)從信息采集層采集得到的基礎(chǔ)進(jìn)行分析、處理,然后將獲取的數(shù)據(jù)根據(jù)自定義規(guī)范統(tǒng)一的數(shù)據(jù)包格式,提交給服務(wù)器層;最后兩層主要是方便PC端用戶之間的溝通、交流,實(shí)時(shí)了解發(fā)生異常的區(qū)域,查看行為異常犯人的圖片,使獄警做好應(yīng)對(duì)突發(fā)情況的緊急措施。

圖1 系統(tǒng)總體框架圖

圖2 基于嵌入式系統(tǒng)的犯人信息采集終端

2 系統(tǒng)設(shè)計(jì)

2.1 硬件設(shè)計(jì)

2.1.1 主電路設(shè)計(jì)

本系統(tǒng)的硬件部分主要集中在犯人監(jiān)測(cè)終端,監(jiān)測(cè)終端以EPCM-505C-ESDC嵌入式主板為核心,擴(kuò)展了系統(tǒng)所需的各種外圍設(shè)備,包括:電源模塊、攝像頭、Zigbee模塊、閱讀器模塊、移動(dòng)硬盤存儲(chǔ)模塊、鍵盤以及顯示器模塊等?？傮w接口框圖如圖1所示。

2.1.2 zigbee模塊硬件電路設(shè)計(jì)

圖3 總體接口框圖

本系統(tǒng)利用Zigbee構(gòu)建起一個(gè)無線傳感器網(wǎng)絡(luò),Zigbee模塊類似于移動(dòng)網(wǎng)絡(luò)基站。在整個(gè)網(wǎng)絡(luò)范圍內(nèi),每一個(gè)Zigbee網(wǎng)絡(luò)數(shù)據(jù)模塊之間可以相互通信,每個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)間的距離可以從標(biāo)準(zhǔn)的75 m無限擴(kuò)展?；赯igbee技術(shù)的無線傳感器網(wǎng)絡(luò)可最多容納65 000個(gè)設(shè)備[5],且網(wǎng)絡(luò)的自組織、自愈能力強(qiáng),通信可靠,每個(gè)Zigbee網(wǎng)絡(luò)節(jié)點(diǎn)不僅本身可以作為監(jiān)控對(duì)象,其所連接的傳感器直接進(jìn)行數(shù)據(jù)采集和監(jiān)控,還可以自動(dòng)中轉(zhuǎn)別的網(wǎng)絡(luò)節(jié)點(diǎn)傳過來的數(shù)據(jù)資料。在Zigbee網(wǎng)絡(luò)中,包含3種節(jié)點(diǎn)類型:網(wǎng)關(guān)節(jié)點(diǎn)、網(wǎng)絡(luò)協(xié)調(diào)節(jié)點(diǎn)、終端節(jié)點(diǎn)[6-7]。

Zigbee模塊硬件電路包含Zigbee終端節(jié)點(diǎn)模塊和Zigbee網(wǎng)關(guān)節(jié)點(diǎn)模塊。Zigbee終端節(jié)點(diǎn)模塊采集犯人健康信息,通過無線傳感器網(wǎng)絡(luò)將信息傳給Zigbee網(wǎng)關(guān)節(jié)點(diǎn)模塊,最后通過串口將信息傳給終端。整個(gè)模塊包含傳感器模塊、電源模塊、Atmega16最小系統(tǒng)模塊和Zigbee節(jié)點(diǎn)。各部分原理圖如下圖4和圖5所示。

圖4 Zigbee終端節(jié)點(diǎn)模塊原理圖

圖5 Zigbee網(wǎng)關(guān)節(jié)點(diǎn)模塊原理圖

2.2 軟件設(shè)計(jì)

2.2.1 軟件整體結(jié)構(gòu)

系統(tǒng)軟件設(shè)計(jì)思想為模塊化設(shè)計(jì)思想,采用Microsoft公司的Visual Studio2008調(diào)用底層API函數(shù)開發(fā)系統(tǒng)所需底層軟件模塊,主要以DLL和OCX為封裝形式。應(yīng)用軟件主要采用C#編程和Microsoft公司的SQL Sever2008數(shù)據(jù)庫(kù)等開發(fā)工具實(shí)現(xiàn)了系統(tǒng)的各項(xiàng)功能。其軟件架構(gòu)圖如圖6所示。

圖6 系統(tǒng)軟件架構(gòu)圖

2.2.2 終端軟件設(shè)計(jì)

終端軟件主要功能主要有兩個(gè):顯示和控制。

控制界面(圖7)被分成了3部分:視頻控制區(qū)、RFID及無線傳感網(wǎng)控制區(qū)、服務(wù)器連接控制區(qū),這3個(gè)控制區(qū)域功能相互獨(dú)立。界面簡(jiǎn)單操作方便,可以通過LCD觸控完成所有操作。

視頻控制區(qū)能夠打開關(guān)閉任意一路攝像頭,可以對(duì)攝像頭的參數(shù)進(jìn)行簡(jiǎn)單的設(shè)置,可以選擇圖像的來源。

RFID及無線傳感網(wǎng)控制區(qū)的主要功能是設(shè)置波特率,端口等基本的串口通信信息。

服務(wù)器連接控制區(qū)主要是負(fù)責(zé)連接服務(wù)器的,設(shè)置端口號(hào)以后選擇連接就能夠使終端連接到服務(wù)器。在終端的運(yùn)行過程中,參數(shù)以及圖像等信息就能夠通過網(wǎng)絡(luò)傳送至服務(wù)器。

圖7 終端控制界面

2.2.3 客戶端軟件設(shè)計(jì)

主操作界面主要組成有整體區(qū)域地圖、警報(bào)顏色提示、警燈提示、警報(bào)聲提示、系統(tǒng)時(shí)間、快捷工具欄、工作人員身份信息顯示、監(jiān)控實(shí)時(shí)信息顯示等幾個(gè)部分。其中主要部分為整體區(qū)域地圖、警報(bào)顏色提醒兩個(gè)部分。整體區(qū)域地圖是導(dǎo)入某大學(xué)的地圖用來模擬監(jiān)獄地圖,并預(yù)先設(shè)定幾個(gè)區(qū)域,同時(shí)將幾個(gè)區(qū)域的邊界的坐標(biāo)獲取存儲(chǔ)。在系統(tǒng)工作時(shí),如遇到異常警報(bào),客戶端根據(jù)終端發(fā)送的警報(bào)信息,獲取警報(bào)區(qū)域,根據(jù)該區(qū)域的坐標(biāo)采用C#語(yǔ)言中的GDI繪圖和Timer控件對(duì)區(qū)域進(jìn)行周期為2 s的顏色填充、清除。并將服務(wù)器發(fā)送過來的異常信息在監(jiān)控信息發(fā)布平臺(tái)窗口顯示。同時(shí)根據(jù)接收到的異常情況自動(dòng)彈出異常信息窗體,顯示對(duì)應(yīng)的異常信息,并更新服務(wù)器發(fā)送過來的異常信息。

3 圖像處理關(guān)鍵技術(shù)

3.1 透視變換

現(xiàn)實(shí)生活中的景物,由于觀察距離及方位不同在視覺上會(huì)引起不同的反映,這種現(xiàn)象就是透視現(xiàn)象。透視變換為三維空間中的物體到像平面的投影關(guān)系,是圖像上點(diǎn)的位置與空間物體表面對(duì)應(yīng)點(diǎn)的幾何投影關(guān)系,是由成像系統(tǒng)的幾何投影模型所決定[7-8]。

圖8 客戶端軟件主操作界面

圖9 重投影示意圖

透視變換采用中心投影法,投影中心稱為視點(diǎn),投影面置于視點(diǎn)與立體之間,將立體上與視點(diǎn)相連接所得的投影線與投影面的交點(diǎn)即為三維立體上相應(yīng)點(diǎn)的透視變換結(jié)果,透視變換常用于圖像的校正,可以反映成像時(shí)場(chǎng)景平面與成像平面不平行帶來的梯形失真和線性調(diào)頻現(xiàn)象[8-9]。

攝像機(jī)拍攝立體圖像時(shí),由于攝像機(jī)的俯仰旋轉(zhuǎn),攝像機(jī)的成像面與理想攝像機(jī)的成像面存在重投影關(guān)系,所以可以使用重投影變換將實(shí)際成像面變換為攝像機(jī)理想成像面。在透視投影中,將原圖像重新投影到另一個(gè)成像面上,稱為重投影變換,并將映射后得到的圖像稱為重投影圖像。

3.2 基于支持向量機(jī)的行為識(shí)別及目標(biāo)分類

人的行為識(shí)別和理解是計(jì)算機(jī)視覺研究領(lǐng)域一個(gè)備受關(guān)注的前沿方向,由于其在智能監(jiān)控、人機(jī)交互、運(yùn)動(dòng)員輔助訓(xùn)練、病人監(jiān)護(hù)、虛擬現(xiàn)實(shí)等方面有著廣泛的應(yīng)用前景而成為研究熱點(diǎn)。通常涉及到運(yùn)動(dòng)檢測(cè)、目標(biāo)分類、人的跟蹤及行為理解等幾個(gè)過程。目前行為識(shí)別與目標(biāo)分類的方法很多,有基于神經(jīng)網(wǎng)絡(luò)方法,基于動(dòng)態(tài)時(shí)間調(diào)整DTW方法,基于隱含馬爾可夫模型HMMs方法,基于句法技術(shù)方法,基于非確定論有限自動(dòng)機(jī)NFA方法,基于狀態(tài)空間方法等等[10]。

在基于神經(jīng)網(wǎng)絡(luò)的方法中,支持向量機(jī)SVM由于具有較好的性能在人的行為識(shí)別與分類得到了廣泛的研究和應(yīng)用。支持向量機(jī)是一種前饋網(wǎng)絡(luò)的線性機(jī),主要思想是建立一個(gè)超平面作為決策曲面,使得兩類模式向量分開的間隔最大,支持向量機(jī)是結(jié)構(gòu)風(fēng)險(xiǎn)最小化方法的近似實(shí)現(xiàn),在模式分類問題上提供較好的泛化性能。

圖10 支持向量機(jī)的體系結(jié)構(gòu)

4 系統(tǒng)測(cè)試

4.1 行為識(shí)別測(cè)試

測(cè)試目的:測(cè)試算法對(duì)人行為的類型判斷的準(zhǔn)確性。

測(cè)試內(nèi)容:對(duì)人的不同的行為的類型判斷的準(zhǔn)確率。

測(cè)試次數(shù):每個(gè)的7種不同行為各20次,共4人。

測(cè)試方法:不同的人員的進(jìn)行不同的行為演示進(jìn)行多次測(cè)量,對(duì)于每一個(gè)人,演示7種不同的行為,其中包括多人同時(shí)演示。

測(cè)試環(huán)境:實(shí)驗(yàn)室模擬環(huán)境、光線柔和、背景穩(wěn)定。

測(cè)試結(jié)果:如表1所示。

測(cè)試結(jié)果分析:通過本項(xiàng)測(cè)試發(fā)現(xiàn),在正常情況下程序算法對(duì)于走路、坐或蹲著、倒地、攀爬等行為異常能夠進(jìn)行準(zhǔn)確的判斷,在握手、打架斗毆、人群等行為異常的測(cè)試過程中判斷準(zhǔn)確性相對(duì)比較低。

表1 行為識(shí)別測(cè)試結(jié)果

4.2 進(jìn)出邊界事件測(cè)試

測(cè)試目的:測(cè)試人員邊界進(jìn)出異常的捕獲的準(zhǔn)確性。

測(cè)試內(nèi)容:區(qū)域內(nèi)外進(jìn)出邊界的捕獲的準(zhǔn)確率。

測(cè)試次數(shù):演示人員進(jìn)出模擬區(qū)域邊界各50次。

測(cè)試方法:演示人員自區(qū)域中間走出去與邊界直到監(jiān)控敏感區(qū)外,再走進(jìn)區(qū)域,進(jìn)行多次測(cè)量。

測(cè)試環(huán)境:室外模擬環(huán)境、晴朗、環(huán)境穩(wěn)定。

測(cè)試結(jié)果:如下表2所示。

表2 進(jìn)出邊界事件監(jiān)測(cè)結(jié)果

測(cè)試結(jié)果分析:通過本項(xiàng)測(cè)試發(fā)現(xiàn),在正常穩(wěn)定環(huán)境背景下程序算法對(duì)于邊界進(jìn)出異常的捕獲基本準(zhǔn)確。

5 總結(jié)

本文提出了一套基于物聯(lián)網(wǎng)和視頻分析技術(shù)的罪犯監(jiān)控系統(tǒng)。該系統(tǒng)綜合利用物聯(lián)網(wǎng)技術(shù)將各個(gè)子系統(tǒng)有機(jī)地形成一個(gè)網(wǎng)絡(luò)整體,避免信息孤島的出現(xiàn)。

另外通過智能視頻分析技術(shù)的應(yīng)用解決了傳統(tǒng)視頻監(jiān)控系統(tǒng)所一些固有的缺陷,通過實(shí)驗(yàn)驗(yàn)證了所提出的的透視變換及SVM的行為識(shí)別及目標(biāo)分類方法的有效性和可靠性,通過上述方法的應(yīng)用,可以有效監(jiān)控罪犯行為,將監(jiān)控人員從“緊盯屏幕”的低級(jí)監(jiān)控模式中解放出來,提高監(jiān)控有效性,有助于進(jìn)一步加強(qiáng)監(jiān)獄內(nèi)部正規(guī)管理、保障監(jiān)獄持續(xù)安全穩(wěn)定,應(yīng)對(duì)各類突發(fā)事件。因此本系統(tǒng)對(duì)維護(hù)社會(huì)和諧穩(wěn)定、促進(jìn)經(jīng)濟(jì)平穩(wěn)較快發(fā)展有著非常重要的社會(huì)意義和應(yīng)用價(jià)值[11]。

[1]王玉夫. 監(jiān)獄數(shù)字視頻監(jiān)控報(bào)警系統(tǒng)概述[J]. 中國(guó)公共安全,2009(8):52-58.

[2]張伯虎,楊金柱,陳建莉. 智能視頻監(jiān)控系統(tǒng)分析與應(yīng)用[J]. 安防科技,2006(11):68-73.

[3]李鑫. 監(jiān)獄的智能化安防系統(tǒng)[J]. 智能建筑與城市信息,2008(4):34-38.

[4]張華林,黃以平. 基于嵌入式的Internet遠(yuǎn)程監(jiān)控系統(tǒng)[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用,2009(8):49-52.

[5]楊君,詹林. 基于ZigBee無線傳感網(wǎng)絡(luò)的井下定位系統(tǒng)[J]. 計(jì)算機(jī)與現(xiàn)代化,2013(9):132-136.

[6]王志偉,錢承山,李俊,等. 基于無線傳感網(wǎng)絡(luò)的智能移動(dòng)監(jiān)控系統(tǒng)設(shè)計(jì)[J]. 電子器件,2013(6):25-29.

[7]宋利利. 基于嵌入式系統(tǒng)的圖像采集和預(yù)處理裝置設(shè)計(jì)[J]. 哈爾濱理工大學(xué)學(xué)報(bào),2010(3):42-47.

[8]王彪,王成儒,王芬芬. 固定場(chǎng)景下的多目標(biāo)運(yùn)動(dòng)檢測(cè)與跟蹤[J]. 計(jì)算機(jī)工程與設(shè)計(jì),2008,10(8):178-182.

[9]牛彥. 關(guān)于透視變換的研究[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖像學(xué)報(bào),2001,8(6):550-552.

[10]葉世偉,史忠植. 神經(jīng)網(wǎng)絡(luò)原理[M]. 北京:機(jī)械工業(yè)出版社,2004:199-242.

[11]張俊芳. 智能視頻監(jiān)控技術(shù)在監(jiān)獄中的應(yīng)用[J]. 價(jià)值工程,2010,35:97-103.

奚吉(1977-),男,漢族,江蘇常州人,東南大學(xué)博士,河海大學(xué)講師,主要研究方向?yàn)橹悄苄盘?hào)處理等,xijie952611@gmail.com;

蔣銀忠(1969-),男,工學(xué)碩士,東南大學(xué)動(dòng)力工程及工程熱物理專業(yè)畢業(yè),研究方向?yàn)闊崮軇?dòng)力工程及物聯(lián)網(wǎng)技術(shù)等,jiangyinzhong@jsgx.net。

ASmartMonitoringSystemBasedonInternetofThingsandVideoAnalysisTechnologyforPrison*

XIJi1,JIANGYinzhong2*

(1.School of Computer Information and Engineering,Changzhou Institute of Technology,Changzhou Jiangsu 213002,China;2.Jiangsu Provincial Investment and Management Corp.,Nanjing 210005,China)

An intelligent monitoring system is presented based on the prison IOT and video analysis technology. The system mainly consists of the monitoring terminal subsystem based on embedded platform,positioning monitoring subsystem which is based on the activities of prisoners networking technology. Video analysis technology is used for intelligent behavior monitoring of prisoners. Experimental results show that,the proposed perspective transformation and SVM classification method can effectively monitor the behavior of the prisoners,which free the monitors from the low-level monitoring mode and can improve the efficiency of monitoring to achieve the best combination of "air defense,anti-technology,anti-matter".

internet of things;video analysis;recognition;motion detection;RFID;ZIGBEE

項(xiàng)目來源:國(guó)家自然科學(xué)基金項(xiàng)目(61273266)

2014-04-08修改日期:2014-05-02

TP273

:A

:1005-9490(2014)06-1183-06

10.3969/j.issn.1005-9490.2014.06.035