郎宇博 孫 鵬 于德水 曹 陽 李愈鵬 陳彥伶

（中國刑事警察學(xué)院聲像資料檢驗技術(shù)系 遼寧 沈陽 110035）

監(jiān)控場景中遺留物檢測與報警系統(tǒng)開發(fā)

郎宇博 孫 鵬 于德水 曹 陽 李愈鵬 陳彥伶

（中國刑事警察學(xué)院聲像資料檢驗技術(shù)系 遼寧 沈陽 110035）

作為智能監(jiān)控系統(tǒng)的一部分，遺留物檢測系統(tǒng)的主要作用是檢測監(jiān)控場景中有意或者無意遺留下來的行李、包裹、車輛等目標(biāo)，并在檢測出可疑遺留目標(biāo)后發(fā)出警報，同時在視頻中對遺留物進行標(biāo)注。利用雙背景建模方法檢測遺留物掩膜，結(jié)合Camshift算法對疑似遺留物進行跟蹤。在跟蹤過程中，引入與搜索窗匹配的延遲因子方法避免遺留物的遮擋問題，成功實現(xiàn)并驗證了該方法對于遺留物檢測及報警的有效性。在此基礎(chǔ)上，利用EmguCV開源計算機視覺庫及Visual Studio2015和.NET框架，基于C#開發(fā)語言成功完成了視頻中遺留物檢測與報警系統(tǒng)的設(shè)計與實現(xiàn)。

遺留物檢測 雙背景建模 Camshift跟蹤

1 研究背景

自從“9·11”恐怖襲擊事件發(fā)生以來，全球的反恐怖主義形勢越發(fā)嚴(yán)峻，加強對恐怖襲擊事件的防范，大力打擊恐怖活動組織成為世界各國反恐工作的重點。我國面臨的恐怖勢力主要是新疆、西藏等邊境地區(qū)的民族獨立分子與極端宗教主義分子。在人流密集區(qū)域及政治敏感區(qū)域煽動暴亂及制造爆炸等是這些暴徒的主要攻擊手段。來自恐怖主義的威脅使得對于人流密集場所和安全級別較高的場所等重點區(qū)域的安防工作壓力陡增，因此，對于機場、車站等人群密集、人流量大、人員組成復(fù)雜的場所的監(jiān)控系統(tǒng)的智能化需求也越來越高。

正是在這種需求下，智能視頻監(jiān)控系統(tǒng)作為安全防范體系的重要組成部分得到了很大的發(fā)展。智能監(jiān)控系統(tǒng)是指在不需要人為干預(yù)的情況下，通過對視頻圖像序列的自動提取和分析，實現(xiàn)畫面內(nèi)目標(biāo)的定位、識別和跟蹤，在此基礎(chǔ)上完成目標(biāo)行為的判斷，一旦發(fā)現(xiàn)異常，主動向用戶發(fā)出警報，真正實現(xiàn)了“監(jiān)”、“控”結(jié)合打擊犯罪、反恐預(yù)警的目的[1]。

作為智能監(jiān)控系統(tǒng)的一部分，遺留物檢測系統(tǒng)的主要作用是檢測監(jiān)控場景中被有意或者無意遺留下來的行李、包裹、爆炸物、車輛等目標(biāo)，并在檢測出可疑遺留目標(biāo)后發(fā)出警報，同時在視頻中對遺留物進行標(biāo)注。2005年的倫敦地鐵爆炸案、2008年的昆明公交車爆炸案和2013年的波士頓馬拉松爆炸案都是兇手通過引爆放置在現(xiàn)場的爆炸物造成的。遺留物檢測與報警系統(tǒng)一經(jīng)發(fā)揮作用，可以有效地避免上述案件的再次發(fā)生，極大地減輕公安一線視頻偵查員的工作負擔(dān)，因此，視頻中遺留物檢測成為了反恐與安防領(lǐng)域內(nèi)的重要研究內(nèi)容。

本系統(tǒng)在雙背景建模法檢測遺留物的基礎(chǔ)上，利用Camshift算法對疑似遺留物進行跟蹤。跟蹤過程中，考慮到遺留物出現(xiàn)的被遮擋、移動等情況，引入了基于搜索窗匹配的延遲因子，成功實現(xiàn)并驗證了該方法對于遺留物檢測及報警的有效性。在此基礎(chǔ)上，利用EmguCV開源計算機視覺庫及Visual Studio2015和.NET框架，基于C#開發(fā)語言成功完成了視頻中遺留物檢測與報警系統(tǒng)的設(shè)計與實現(xiàn)。

2 理論依據(jù)

2.1 基于雙背景建模的遺留物檢測

基于背景模型的目標(biāo)物檢測是利用視頻內(nèi)容建立視頻的背景模型，通過視頻幀與背景模型做差即可得到視頻畫面中的前景目標(biāo)。而雙背景建模方法是建立兩個背景模型，其中一個是實時更新的背景模型，另一個是延遲更新的背景模型。當(dāng)視頻中存在遺留物時，由于遺留物品會在畫面中的固定位置存在一定時間，因此會在實時更新的背景模型上存在殘影，而延遲更新的背景模型則沒有變化，因此，可以利用這兩個模型做差找到其中存在的遺留物，從而實現(xiàn)遺留物的檢測[2]。

本文中把實時更新的背景圖像叫做“實時背景”，把延遲更新的背景圖像叫做“慢背景”?！皩崟r背景”的更新方式非常簡單，當(dāng)視頻中的一幀圖像輸入系統(tǒng)時，首先判斷該幀是否為視頻的第一幀或者最后一幀，如果是第一幀，則將該幀的灰度圖像初始化為當(dāng)前的“實時背景”，如果是最后一幀，則結(jié)束該循環(huán)。當(dāng)?shù)诙瑘D像輸入系統(tǒng)時，首先將其灰度化，并將其每一點像素值和“實時背景”的對應(yīng)像素值做比較，如果該像素值大于“實時背景”像素值，則“實時背景”相應(yīng)的像素值加上一個常數(shù)，反之，則“實時背景”相應(yīng)的像素值減去一個常數(shù)?！奥尘啊钡母路绞礁鼮楹唵危紫葘⒁曨l第n幀時的“實時背景”作為初值初始化為“慢背景”，此后每過n幀即將當(dāng)時的“實時背景”作為當(dāng)前的“慢背景”[3]。

在檢測遺留物時，我們只需要用當(dāng)前“實時背景”減去當(dāng)前“慢背景”即可得到遺留物的前景圖像。此時可以通過去噪、平滑、形態(tài)學(xué)處理等手段獲取更為精確的遺留物前景圖像，二值化后得到其掩膜，便于后續(xù)處理。

雙背景建模法的具體流程如圖1所示。

圖1 雙背景建模法流程圖

為了驗證算法有效性，選取AVSS 2007 i-LIDS遺留物檢測視頻庫中的一段視頻進行測試，圖2為算法運行結(jié)果。

圖2 雙背景建模算法運行結(jié)果

2.2 Camshift跟蹤算法

Camshift算法的全稱為“Continuously Adaptive Mean-SHIFT”，即連續(xù)自適應(yīng)Mean-SHIFT算法。該算法的流程是對視頻的每一幀圖像進行Mean-SHIFT搜索運算，并將視頻第k幀的Mean-SHIFT運算結(jié)果，即搜索窗的大小和中心點作為第k+1幀搜索窗口的初始值，如此迭代直至視頻最后一幀。由于采用了迭代的思想，因此該算法能夠隨著目標(biāo)的大小變化及比較緩慢的亮度變化進行調(diào)整，并且自適應(yīng)地變換跟蹤窗口的大小進行跟蹤。

該算法的流程分為以下幾個步驟：

（1）初始化算法搜索窗的大小和位置（本系統(tǒng)中，該值可以設(shè)為2.1節(jié)中檢測到的遺留物掩膜的最小外接矩形）；

（2）計算搜索窗內(nèi)圖像的色彩概率密度圖，并根據(jù)該色彩概率密度計算整幅圖像的反向投影圖；

（3）根據(jù)Mean-SHIFT算法，利用（1）（2）中的搜索窗初始位置及反向投影圖計算下一幀的搜索窗大小及位置；

（4）將（3）中計算得到的新搜索窗作為（2）的輸入，重復(fù)（2）、（3）中的步驟直至視頻結(jié)束。

該算法流程圖如圖3所示。

圖3 Camshift算法流程圖

2.3 基于搜索窗匹配的延遲因子

為了避免視頻中行人、車輛等對遺留物遮擋導(dǎo)致的跟蹤失敗，同時也為了能夠在遺留物被遺留超過規(guī)定時間后系統(tǒng)自動報警，本文設(shè)計了一組基于搜索窗匹配的延遲因子。

搜索窗矩形匹配的主要作用就是判斷兩幀中Camshift得到的搜索窗結(jié)果是否一致，如果搜索窗結(jié)果一致，則表明兩幀中跟蹤的疑似遺留物被成功跟蹤并且沒有被遮擋或移動；反之如果搜索窗結(jié)果不匹配，則證明跟蹤的目標(biāo)并不是遺留物或者遺留物出現(xiàn)遮擋、移動等現(xiàn)象，這時需要判斷延遲因子是否滿足閾值條件，如滿足，則繼續(xù)跟蹤，否則放棄跟蹤該目標(biāo)。搜索窗匹配的判定條件如下所示：

該延遲因子分為兩部分，第一部分是遺留物被檢測到的幀數(shù)，即“檢測數(shù)”，每當(dāng)兩幀的搜索窗匹配成功的話，“檢測數(shù)”加一，當(dāng)“檢測數(shù)”達到閾值時，即判定該物體為遺留物。第二部分是“漏檢數(shù)”，當(dāng)兩幀搜索窗匹配不成功時，系統(tǒng)并不會馬上判定該物品為非遺留物，因為漏檢可能是由于遮擋、光線變化等問題導(dǎo)致的，為了避免這種情況，采用“漏檢數(shù)”來判斷物品此時的狀態(tài)。每當(dāng)匹配不成功時，“漏檢數(shù)”加一，當(dāng)“漏檢數(shù)”到達一固定閾值時，則判定物品非遺留物。圖4為該方法流程圖。

3 系統(tǒng)設(shè)計與實現(xiàn)

3.1 UI界面的設(shè)計與實現(xiàn)

UI界面的主要作用就是與系統(tǒng)用戶進行交互的平臺，對于本系統(tǒng)來說，UI界面的主要功能有以下幾點：

（1）播放視頻，并且同時具備在視頻中標(biāo)注遺留物的功能；

（2）為用戶提供修改或選擇參數(shù)的接口，方便用戶針對現(xiàn)場視頻的不同，采取不同的參數(shù)來應(yīng)對，使系統(tǒng)的效率和準(zhǔn)確率更高；

（3）因為本系統(tǒng)暫時未設(shè)計網(wǎng)絡(luò)視頻播放的功能，試驗階段擬通過本地視頻播放模擬網(wǎng)絡(luò)視頻，因此需要提供打開視頻的按鈕；

（4）視頻文件基本信息的顯示；

（5）系統(tǒng)窗口的最小化及關(guān)閉功能。

圖4 基于搜索窗匹配的延遲因子方法流程圖

基于上述功能，在Visual studio 2015開發(fā)工具及.NET平臺的支持下，設(shè)計并開發(fā)了如圖5的系統(tǒng)UI界面。

圖5 系統(tǒng)主界面

主界面主要由標(biāo)題欄、視頻播放及報警區(qū)域、參數(shù)設(shè)置區(qū)域、視頻信息顯示區(qū)域及按鈕區(qū)域組成，各區(qū)域分布如圖6所示。

圖6 系統(tǒng)主界面功能區(qū)說明

視頻播放及報警區(qū)域主要功能是用來播放視頻畫面，并且當(dāng)視頻畫面中遺留物體超過一定時間后會標(biāo)注并報警。參數(shù)設(shè)置區(qū)域給用戶提供了兩組參數(shù)，第一組是遺留物大小和遺留時間的設(shè)置，遺留物大小就是設(shè)置畫面中可能出現(xiàn)遺留物的大小，而遺留時間則是當(dāng)系統(tǒng)檢測出疑似遺留物后，至少經(jīng)過多久才發(fā)出報警，用戶可以根據(jù)不同的需求及視頻環(huán)境進行設(shè)置，使得系統(tǒng)有更好的針對性。而第二組參數(shù)涉及背景建模方式、慢背景更新率及形態(tài)學(xué)處理階數(shù)，一般用戶不需要調(diào)整該組參數(shù)，高級用戶可以根據(jù)需求自行設(shè)定。

3.2 系統(tǒng)邏輯功能模塊的設(shè)計

根據(jù)設(shè)計方案，按照數(shù)據(jù)采集處理流程的視頻中遺留物檢測與報警系統(tǒng)總結(jié)構(gòu)如圖7所示。

圖7 系統(tǒng)結(jié)構(gòu)總圖

視頻數(shù)據(jù)讀入到系統(tǒng)之后，首先通過EmguCV中Capture類的QueryFrame方法將視頻文件分解成一幀幀圖像，然后利用幀圖像作為雙背景建模模塊的輸入去計算遺留物掩膜，接下來將掩膜的最小外接矩形作為初始搜索窗，使用Camshift算法迭代，最后利用搜索窗匹配判定該物品是否為遺留物，如為遺留物，則標(biāo)注并報警。

為了驗證本系統(tǒng)的有效性，使用AVSS 2007 i-LIDS遺留物檢測視頻庫中的一段視頻對系統(tǒng)進行測試。

首先，打開主界面，根據(jù)視頻質(zhì)量及攝像頭位置、遺留物尺寸等條件調(diào)整界面參數(shù)設(shè)置欄中的參數(shù)。對于測試視頻，使用系統(tǒng)默認(rèn)參數(shù)即可。然后點擊界面右下角的“打開視頻”按鈕，在“打開文件對話框”中選擇目標(biāo)視頻，點擊“確定”。此時，視頻開始播放，主界面顯示如圖8。

圖8 播放視頻界面

視頻播放到1724幀時，遺留物出現(xiàn)在畫面中，如圖9所示。

圖9 遺留物出現(xiàn)

由于遺留物之前處于運動狀態(tài)，因此系統(tǒng)此時并沒有檢測到該物品的存在。在視頻第2039幀時，系統(tǒng)檢測出疑似遺留物，并對其進行標(biāo)記。此時，由于遺留時間并未達到系統(tǒng)設(shè)置時間，因此沒有發(fā)出警報，效果見圖10。

此時可以看到視頻中不光標(biāo)記出了遺留物品，還標(biāo)記出了另外兩塊空白區(qū)域，這是因為地鐵車廂的運行對系統(tǒng)造成的干擾，地鐵車廂駛離該區(qū)域后，該區(qū)域搜索窗迅速擴散，由于搜索窗匹配系統(tǒng)的存在，很快就會排除該干擾，并不會造成誤報警。

圖 10 檢測出遺留物

直到視頻第2604幀時，遺留物到達遺留時間，系統(tǒng)開始標(biāo)記并報警，如圖11所示。

圖11 遺留物達到遺留時間，系統(tǒng)報警

視頻播放至第4007幀時，由于行人的走動，對該遺留物產(chǎn)生了遮擋，如圖12所示。

圖12 遺留物被行人遮擋

圖13 遮擋后系統(tǒng)繼續(xù)跟蹤

在遮擋后，雖然系統(tǒng)內(nèi)該遺留物“漏檢數(shù)”在增加，但是仍在閾值范圍內(nèi)，所以在遮擋消失之后系統(tǒng)可以繼續(xù)跟蹤該物品，如圖13所示。

4 結(jié)論

本系統(tǒng)利用了在遺留物檢測領(lǐng)域內(nèi)較為成熟的雙背景模型方法，結(jié)合Camshift對遺留物進行跟蹤，在此基礎(chǔ)上加入了基于搜索窗匹配的延遲因子避免遺留物出現(xiàn)的移動和遮擋等情況。在此理論基礎(chǔ)上，利用C#語言及.NET框架，在Visual studio 2015開發(fā)工具和EmguCV開源計算機視覺庫的支持下，設(shè)計并能開發(fā)出在Windows操作系統(tǒng)下運行的視頻中遺留物檢測與報警系統(tǒng)。實驗證明該系統(tǒng)能夠有效監(jiān)測視頻中遺留物并發(fā)出警報。

[1]齊明明.視頻監(jiān)控智能分析中移走檢測算法的研究[D].北京:北京郵電大學(xué),2008:1-6.

[2]范俊君,戰(zhàn)偉.一種基于雙背景模型的遺留物檢測方法[J].計算機系統(tǒng)應(yīng)用,2012(8):201-205.

[3]Singh A, Sawan S, Hanmandlu M, et al. An Abandoned Object Detection System Based on Dual Background Segmentation[C]// Sixth IEEE International Conference on Advanced Video and Signal Based Surveillance:2009. Italy: IEEE Computer Society, 2009:352-357.

（責(zé)任編輯：于 萍）

Abandoned Objects Detection and Alarm System Development in Surveillance Scene

LANG Yu-bo SUN Peng YU De-shui CAO Yang LI Yu-peng CHEN Yan-ling
(Audio-Visual and Image Technology Departmentof Criminal Investigation Police University of China Liaoning Shenyang 110035)

Abandoned objects detection system is a part of intelligent surveillance systems. The main function of the abandoned objects detection system is to detect items (e.g. luggage, parcels, etc.) and vehicles that are left over intentionally or unintentionally in the monitoring scene. When any suspicious abandoned object is detected, the system will alarm and marked them on the frame. Dual background model was used to detect the abandoned objects mask, and Camshift algorithm was used to track the position. During the tracking, a delay factor based on search window matching is proposed to avoid the occlusion of the abandoned objects, and the validity of the proposed method for the detection and alarm of the abandoned objects is successfully realized. Based on C# development language, the abandoned objects detection and alarm system are completed by using EmguCV, Visual Studio2015 and .NET framework.

Abandoned objects detection Dual background model Camshift

TP391.4

A

2095-7939(2017)02-0123-06

10.14060/j.issn.2095-7939.2017.02.025

2016-11-01

國家自然科學(xué)基金（編號：61307016）；遼寧省自然科學(xué)基金（編號：2014020193）；遼寧省高等學(xué)校優(yōu)秀人才支持計劃（編號：14021B171210Z）。

郎宇博（1989-），男，遼寧沈陽人，中國刑事警察學(xué)院聲像資料檢驗技術(shù)系助教，主要從事視頻檢索與數(shù)字圖像真?zhèn)螜z驗研究。