嚴(yán)余龍，孟朝暉

（河海大學(xué)計(jì)算機(jī)與信息學(xué)院，江蘇南京211100）

?

視頻監(jiān)控中遺留物與遺失物辨別方法的研究

嚴(yán)余龍，孟朝暉

（河海大學(xué)計(jì)算機(jī)與信息學(xué)院，江蘇南京211100）

摘要：為解決視頻監(jiān)控中遺留物與遺失物的辨別問題，提出一種基于靜止前景區(qū)域輪廓色彩對比度的辨別方法。該方法通過分析靜止前景區(qū)域中物體輪廓與當(dāng)前幀、背景幀的兩種顏色對比，分別計(jì)算出靜止前景物體輪廓與當(dāng)前幀、背景幀的顏色對比度，再結(jié)合兩者進(jìn)行遺留物與遺失物的辨別，解決了現(xiàn)有方法易受復(fù)雜環(huán)境干擾與時(shí)間復(fù)雜度大的問題。實(shí)驗(yàn)結(jié)果表明本方法相對于現(xiàn)有文獻(xiàn)提出的方法具有較高的魯棒性和較小的時(shí)間復(fù)雜度。

關(guān)鍵詞：視頻監(jiān)控；遺留物；遺失物；輪廓辨別

當(dāng)今社會(huì)人們利用各種終端設(shè)備對生活中的一些場所進(jìn)行安全監(jiān)測，視頻監(jiān)控設(shè)備作為安保人員的“眼睛”在生活中使用廣泛。從CCTV（C1ose Cjrcujt Te1evjsjon）到DVR（Djgjta1 Vjdeo Recorder）發(fā)展至如今常見的NVR（Net Vjdeo Recorder），監(jiān)控設(shè)備在不斷升級，安保人員需要處理的信息量也隨之劇增。視頻監(jiān)控中的遺留物是指在初始場景中不存在而被人為帶入的物體；遺失物是指初始場景中存在但被帶出的物體。遺留物與遺失物檢測作為視頻監(jiān)控中與人身和財(cái)產(chǎn)安全密切相關(guān)的問題備受人們關(guān)注。如何智能、自動(dòng)的辨別視頻監(jiān)控中的遺留與遺失物并發(fā)出警報(bào)受到研究人員的廣泛關(guān)注［1-8］。

1　相關(guān)工作

在視頻監(jiān)控研究領(lǐng)域，研究人員做了大量的工作來研究如何自動(dòng)、實(shí)時(shí)的檢測復(fù)雜場景中的遺留物與遺失物［1，4-8］。遺留物與遺失物檢測通常分為如下幾個(gè)步奏：背景建模，前景分割，靜止前景區(qū)域檢測，靜止前景塊分類，遺留物與遺失物辨別［1］，其中最后一步?jīng)Q定了遺留物與遺失物辨別的能力，通常做法是研究從視頻序列中提取出來的靜止物體與當(dāng)前幀和背景幀的相似性。國內(nèi)的一些研究［2-3］通常是提取出靜止前景物體，按照其與物主的位置關(guān)系和保持靜止的時(shí)間直接判定其為遺留物，而并不辨別其為遺留物或遺失物。對于辨別遺留物與遺失物的相關(guān)文獻(xiàn)，根據(jù)采用的特征可分為如下幾類：邊緣，顏色，動(dòng)態(tài)輪廓，或者它們的混合?；谶吘壍姆椒ǎ?］計(jì)算物體邊緣在像素級別上的累積梯度，如果得到的累積梯度值較小則判定為遺失物，相反則為遺留物；基于顏色的方法［5-6］認(rèn)為靜止前景物體邊緣區(qū)域應(yīng)該與背景非常相似，如果邊緣被覆蓋了則認(rèn)為是遺留物體，否則認(rèn)為是遺失物體，通常用區(qū)域的顏色直方圖進(jìn)行相似性檢測；混合方法［7］則是通過顏色與邊緣相結(jié)合以提高辨別的準(zhǔn)確度。基于邊緣與基于顏色方法的主要限制是它們需要背景在靠近靜止物體區(qū)域（對于顏色和邊緣而言）具有均勻的性質(zhì)，并且在前景分割時(shí)需要得到較好的前景。因此，通過這幾種方法進(jìn)行遺留物與遺失物辨別時(shí)由于限制條件較多，其準(zhǔn)確性將會(huì)大大降低。最近，一些研究者提出基于物體輪廓（動(dòng)態(tài)輪廓）的方法［8］，該方法通過調(diào)整物體輪廓來提高復(fù)雜環(huán)境下辨別時(shí)的魯棒性。然而，該方法的迭代性卻制約著視頻監(jiān)控系統(tǒng)的實(shí)時(shí)運(yùn)行。

文中提出了一種新的方法來辨別靜止前景物體為遺留物或遺失物，該方法利用物體輪廓在像素級別進(jìn)行顏色對比。與現(xiàn)有方法不同的是，它不需要特殊的背景屬性來適應(yīng)復(fù)雜的場景，也不需要精確的前景分割。實(shí)驗(yàn)表明此算法能夠適應(yīng)各種復(fù)雜場景，并且能夠達(dá)到實(shí)時(shí)操作。

2　算法描述

2.1算法整體框架

文中提出的辨別方法流程圖如圖1所示。從t時(shí)刻靜止物體初始輪廓開始，定義點(diǎn)集Ct=｛p1，…，pi，…，pN｝。其中pi代表靜止前景邊緣中第i個(gè)像素點(diǎn)的x與y坐標(biāo)，N代表輪廓中像素點(diǎn)的總個(gè)數(shù)。輪廓提取包括在點(diǎn)掃描時(shí)應(yīng)用Canny算子檢測當(dāng)前的靜止前景塊的結(jié)果中。然后，計(jì)算出靜止前景物體邊緣的每個(gè)像素點(diǎn)與當(dāng)前幀和背景幀中點(diǎn)的內(nèi)部和外部區(qū)域的平均對比度。

圖1　遺留物與遺失物辨別整體框架圖

其中，邊緣色彩對比度的計(jì)算公式定義如下：

上兩式中，z（·）表示像素顏色的具體對比分析方法，具體計(jì)算過程將在2.2節(jié)中作詳細(xì)介紹；Ft與Bt分別表示當(dāng)前幀與背景幀；表示前景輪廓與當(dāng)前幀的顏色對比結(jié)果，表示前景輪廓與背景幀的色彩對比結(jié)果。為提高魯棒性，利用所有通道顏色信息的平均值進(jìn)行計(jì)算。然后再計(jì)算兩者的差值得到一個(gè)判斷公式score，如下式：

最后將得到的score與一個(gè)閾值相比判斷此物體是遺留物還是遺失物。

2.2像素顏色對比

為了得到邊緣兩邊像素的顏色對比值，使用空間邊界的對比［6］。對每一個(gè)邊緣像素的輪廓，將其劃分成2L+1段，垂直于邊緣曲線，其中L代表邊緣曲線上像素點(diǎn)內(nèi)側(cè)與外側(cè)各取等長的L個(gè)像素，1為邊緣曲線上的像素點(diǎn)。然后比較邊緣曲線段上像素點(diǎn)兩端的顏色對比度，即計(jì)算以邊緣曲線像素點(diǎn)的兩端像素點(diǎn)P1和P0為中心，大小為M×M（M個(gè)像素點(diǎn)，且M＜L）的小窗口中像素的顏色對比值，如圖2所示。

圖2　物體輪廓色彩對比

其中（a）表示靜止前景物體掩膜；（b）表示從靜止物體提取出的邊緣曲線，并在邊緣曲線上每個(gè)像素點(diǎn)兩端進(jìn)行顏色對比；（c）表示邊緣曲線上一個(gè)像素點(diǎn)兩端進(jìn)行色彩對比。

每個(gè)邊緣像素點(diǎn)的兩個(gè)端點(diǎn)之間的顏色距離對比，即邊界空間顏色對比（boundary spatja1 co1or contrast），其定義如式（4）：

其中，WO和WI是視頻中第F幀靜止前景邊緣的第i個(gè)像素（可以是當(dāng)前幀或背景幀）的兩個(gè)端點(diǎn)PO和PI的M×M鄰域中計(jì)算出的平均顏色值（在RGB顏色空間）。本文中只考慮邊緣像素點(diǎn)p的兩個(gè)端點(diǎn)PO與PI存在，且該像素處于圖像邊界的內(nèi)部（不考慮那些處于圖像邊界以外的無效像素）的情況。由此可以得到邊緣像素對比度的平均值如式（5）：

其中，Kt表示前景邊緣像素中具有符合條件值的總數(shù)目，BSCC表示第i個(gè)像素的空間色彩對比值。本方法同時(shí)計(jì)算靜止前景區(qū)域與當(dāng)前幀和背景幀如式（1）與式（2）的對比度，并且組合起來得到一個(gè)值如式（3）所示。當(dāng)?shù)闹到咏?.0時(shí)表示該靜止前景物體為遺留物，相反如果得到一個(gè)較大的值，則表示該靜止物體為遺失物；同理，在相同情況下將會(huì)得到相反的結(jié)果。最后通過結(jié)合與得到一個(gè)綜合的評價(jià)值來判斷靜止前景物體為遺留物還是遺失物體。

3　實(shí)驗(yàn)研究與分析

文中使用vjsua1 studjo配置OpenCV2.4.4進(jìn)行實(shí)驗(yàn)平臺(tái)的搭建，計(jì)算機(jī)物理內(nèi)存為4 G，處理器型號(hào)為Inte1（R）Core （TM）j3 3.06 GHz。為了研究本文中提出算法的有效性，本文使用遺留物與遺失物辨別時(shí)常用的數(shù)據(jù)集ASODds作為實(shí)驗(yàn)視頻。下面選取其中一個(gè)名為“sofa”的實(shí)驗(yàn)視頻使用本文提出的算法，其結(jié)果如圖3所示。

其中（a）為視頻的第1幀；（b）為利用高斯背景模型實(shí)時(shí)建立的背景，該背景將會(huì)隨著光線等的微弱變化不斷的更新，但是行人、遺留物、遺失物較大的顏色變化將不會(huì)更新進(jìn)背景；（c）為利用背景差得到的靜止前景目標(biāo)，為方便起見，文中選取行人已經(jīng)走出場景的第1 800幀的前景；（d）為視頻第1 800幀，該幀已經(jīng)正確辨別出遺留物與遺失物。

為了讓實(shí)驗(yàn)具有較高的對比性，文中使用包含有真實(shí)數(shù)據(jù)的前景掩膜代替場景中的靜止物體。此外，對基于邊緣（ED［2］），顏色（CH［3］）和動(dòng)態(tài)輪廓（CO［5］）3個(gè)有代表性的方法作了比較。文中用辨別的正確率與時(shí)間復(fù)雜度作為度量標(biāo)準(zhǔn)。其中，正確率數(shù)據(jù)如表1中顯示，時(shí)間復(fù)雜性數(shù)據(jù)如表2所示。

表1與表2的結(jié)果表明本文提出的方法與基于邊緣和顏色的方法相比能夠得到更高的準(zhǔn)確度；而與基于動(dòng)態(tài)輪廓的方法相比，時(shí)間復(fù)雜度得到了顯著的改進(jìn)，并且在準(zhǔn)確度方面也有所提升。使用具有不同復(fù)雜性的實(shí)驗(yàn)視頻表明本方法具有較好的魯棒性，與此同時(shí)，本方法也大大降低了執(zhí)行時(shí)間。

圖3　對于實(shí)驗(yàn)視頻“sofa”使用本文提出算法

表1　各種方法在同平臺(tái)下辨別遺留物與遺失物的正確率

表1　各種方法在同平臺(tái)下辨別遺留物與遺失物花費(fèi)時(shí)間（ms）

4　結(jié)論

文中提出了一種新的辨別遺留物與遺失物的方法，該方法是基于靜止前景物體輪廓和視頻幀的顏色邊界，通過輪廓顏色對比來辨別靜止的前景物體是遺留物還是遺失物。實(shí)驗(yàn)結(jié)果表明本文提出的方法對于復(fù)雜環(huán)境下視頻序列中遺留物與遺失物辨別的問題具有較高的魯棒性，并且減小了時(shí)間復(fù)雜度。因此，本文提出的方法適用于開發(fā)復(fù)雜的環(huán)境中的實(shí)時(shí)應(yīng)用。另外本方法還可以用于檢測與過濾背景減除時(shí)產(chǎn)生的如鬼影或不正確地分割區(qū)域的像素的顏色的對比。

參考文獻(xiàn)：

［1］Tjan Y，F(xiàn)erjs R S，Lju H，et a1. Robust Detectjon of Abandoned and Removed Objects jn Comp1ex Survej11ance Vjdeos［J］. IEEE Transactjons on Systems Man & Cybernetjcs Part C，2011，41（5）：565 - 576.

［2］程換麗.視頻監(jiān)控中遺留物體的檢測研究［D］.石家莊：河北科技大學(xué)，2014.

［3］富吉勇.基于全方位視覺的遺留物及其放置者檢測的研究［D］.杭州：浙江工業(yè)大學(xué)，2011.

［4］Pao1o Spagno1o.An Abandoned/Removed Objects Detectjon A1gorjthm and Its Eva1uatjon on PETS Datasets.［J］. Vjdeo and Sjgna1 Based Survej11ance，2006. AVSS '06. IEEE Internatjona1 Conference on，2006：17.

［5］高軍.基于視頻分析的遺留及遺失物檢測［D］.大連：大連海事大學(xué)，2014.

［6］Ferrando S，Gera G，Regazzonj C. C1assjfjcatjon of Unattended and Sto1en Objects jn Vjdeo -Survej11ance System［J］. Vjdeo and Sjgna1 Based Survej11ance，2006. AVSS '06. IEEE Internatjona1 Conference on，2006：21.

［7］Wen J，Gong H，Zhang X，et a1. Generatjve mode1 for abandoned object detectjon［C］// Proceedjngs of the 16th IEEE jnternatjona1 conference on Image processjng. IEEE Press，2009：853-856.

［8］J，M，et a1. Djscrjmjnatjon of abandoned and sto1en object based on actjve contours［J］.2011 8th IEEE Internatjona1 Conference on Advanced Vjdeo and Sjgna1-Based Survej1-1ance（AVSS），2011（8）：101-106.

［9］Erdem C E，Sankur B，Teka1p A M. Performance measures for vjdeo object segmentatjon and trackjng.［J］. IEEE Trans Image Process，2004，13（7）：937 - 951.

Abandoned and removed object dlscrlmlnatlon ln vldeo survelllance

YAN Yu-1ong，MENG Zhao-huj
（School of Computer Science and Technology，Hohai University，Nanjing 211100，China）

Abstract:A nove1 approach js proposed for djscrjmjnatjng between abandoned or removed prevjous1y detected statjonary foreground regjons jn vjdeo survej11ance. It js based on measurjng the co1or contrast of the contour of the statjonary object under ana1ysjs at pjxe1 1eve1. Two contrasts are computed by ana1yzjng such a contour jn the current and background frames. Then，both are combjned for performjng the djscrjmjnatjon. Compared to the former 1jterature，jt so1ves the prob1ems of the comp1ex scene jnterference and hjgh tjme comp1exjty. The experjmenta1 resu1ts over a heterogeneous dataset contajnjng rea1 scenarjos demonstrate that thjs approach outperforms the re1ated 1jterature and great1y reduces the computatjona1 cost of the djscrjmjnatjon task，a11owjng rea1-tjme operatjon.

Key words:vjdeo survej11ance；abandoned object；removed object；djscrjmjnatjon

中圖分類號(hào)：TN02

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1674-6236（2016）07-0043-03

收稿日期：2015-05-20稿件編號(hào)：201505182

作者簡介：嚴(yán)余龍（1988—），男，江蘇鹽城人，碩士。研究方向：計(jì)算機(jī)視覺。