申明軍,歐陽寧,莫建文,張 彤

摘 要:在多攝像機(jī)智能視頻監(jiān)控系統(tǒng)中,主要的難點(diǎn)是在多個攝像機(jī)之間對相同的目標(biāo)建立正確的對應(yīng)關(guān)系,即目標(biāo)交接。利用目標(biāo)離開視野域的時間和空間作為約束條件,結(jié)合模板匹配的方法,對沒有視野重疊域的多攝像機(jī)監(jiān)控下的目標(biāo)進(jìn)行連續(xù)跟蹤。避免視野域內(nèi)將所有目標(biāo)進(jìn)行匹配,提高了交接的實(shí)時性和準(zhǔn)確率。

關(guān)鍵詞:視頻監(jiān)控;多攝像機(jī)跟蹤;顏色直方圖;目標(biāo)交接

中圖分類號:TP911.73文獻(xiàn)標(biāo)識碼:A

文章編號:1004-373X(2009)12-061-03

Multi-camera Object Tracking

SHEN Mingjun,OUYANG Ning,MO Jianwen,ZHANG Tong

(Graphic Information Institute,Guilin University of Electronic Technology,Guilin,541004,China)

Abstract:The main difficulty in multiple-camera tracking system is that the correct relationship to the same object between the multiple-camera is established.It can track the object in multi-camera video surveillance system of non-overlapping,using constraint conditions of the time and space when the object both leaving and entering the view of the camera,combined with the color histogram matching method.The immediacy and the accurate for avoiding the match to all of the objects in the view are improved.

Keywords:video surveillance;multi-camera tracking;color histogram;target handoff

0 引 言

由于具有直觀性等特點(diǎn),視頻檢測器被廣泛用來對各種環(huán)境、區(qū)域和場所進(jìn)行實(shí)時監(jiān)控。例如:社區(qū)和重要建筑物內(nèi)部的安全監(jiān)控,城市路網(wǎng)交通狀況的監(jiān)控,地鐵站和飛機(jī)場的監(jiān)控,以及停車場和超市的監(jiān)控等。受單個攝像機(jī)視域范圍的限制,為了適應(yīng)廣域監(jiān)控的需要,大量的視頻檢測器被廣泛安置在整個監(jiān)控區(qū)域中。隨著視頻檢測器數(shù)量的急劇增加,傳統(tǒng)的人工被動監(jiān)控已經(jīng)遠(yuǎn)遠(yuǎn)無法滿足監(jiān)控任務(wù)的需要。因此,實(shí)現(xiàn)可以代替人眼的智能自動監(jiān)控功能已成為視頻監(jiān)控研究的目標(biāo),大量的研究成果也隨之出現(xiàn)。

由于單攝像機(jī)的視野范圍有限,難以實(shí)現(xiàn)大范圍、多角度、長時間對人的跟蹤,這使得多攝像機(jī)的使用成為必然。多攝像機(jī)具有監(jiān)控范圍大,視野寬闊,全方位視點(diǎn)等優(yōu)點(diǎn),使得多攝像機(jī)環(huán)境下的人體跟蹤成為計算機(jī)視覺領(lǐng)域內(nèi)的一個主要研究方向。多攝像機(jī)監(jiān)控應(yīng)用可以很好地解決監(jiān)控中的阻塞問題,確保對目標(biāo)長時間多角度的跟蹤,可以彌補(bǔ)單攝像機(jī)監(jiān)控的不足。

多攝像機(jī)跟蹤中的目標(biāo)交接是建立在單攝像機(jī)的檢測和跟蹤基礎(chǔ)之上,對各個單攝像機(jī)的跟蹤結(jié)果進(jìn)行處理,從而得出正確的目標(biāo)網(wǎng)絡(luò)標(biāo)號。文獻(xiàn)[1]利用三維立體匹配算法,對目標(biāo)建立靈活的外觀模型,利用目標(biāo)基于地面的深度信息對目標(biāo)跟蹤,最后由多攝像機(jī)融合部分利用目標(biāo)的運(yùn)動軌跡以及時間空間線索進(jìn)行匹配。文獻(xiàn)[2]是利用外觀模型和軌跡相結(jié)合的方法進(jìn)行多攝像機(jī)目標(biāo)的跟蹤。在多攝像機(jī)的協(xié)同工作問題上,這里利用目標(biāo)距攝像機(jī)的距離作為限制條件,對攝像機(jī)在目標(biāo)的監(jiān)控進(jìn)行優(yōu)先安排。本文在單攝像機(jī)跟蹤的基礎(chǔ)上利用目標(biāo)的位置坐標(biāo)和時間對交接的目標(biāo)進(jìn)行匹配的范圍予以約束,利用顏色-空間直方圖匹配的方法對目標(biāo)進(jìn)行交接,達(dá)到連續(xù)的跟蹤。構(gòu)建2臺攝像機(jī)組成的實(shí)驗(yàn)平臺,驗(yàn)證可以實(shí)現(xiàn)連續(xù)跟蹤的目的。

1 多攝像機(jī)監(jiān)控的構(gòu)建

多攝像機(jī)的目標(biāo)監(jiān)控可以分為有重疊視域和無重疊視域兩種情況。這里主要討論沒有重疊視域情況下多攝像機(jī)監(jiān)控系統(tǒng)的目標(biāo)交接問題。

目標(biāo)交接的定義:當(dāng)對一個大的場景進(jìn)行監(jiān)控時,必須用到多個攝像機(jī)。假定有一個目標(biāo),當(dāng)前在攝像機(jī)C1的視野內(nèi),經(jīng)過一段時間后,該目標(biāo)進(jìn)入到攝像機(jī)C2的視野內(nèi),這時就必須確定目標(biāo)的身份,即目標(biāo)交接達(dá)到連續(xù)跟蹤的目的。目標(biāo)交接問題是多攝像機(jī)運(yùn)動目標(biāo)跟蹤系統(tǒng)中的一個關(guān)鍵步驟,在多攝像機(jī)運(yùn)動目標(biāo)跟蹤中起著舉足輕重的作用,只有在成功解決這個問題的基礎(chǔ)上,才能進(jìn)行相關(guān)的后續(xù)工作,如行為分析、場景理解等。因此,它在整個系統(tǒng)中的地位非常重要。圖1是存在重疊視野范圍的多攝像機(jī)系統(tǒng)示意圖。其中,C1,C2是兩臺攝像機(jī)。攝像機(jī)視野域之間是沒有重疊區(qū)域的。

圖1 無重疊域的多攝像機(jī)系統(tǒng)示意圖

2 多攝像機(jī)監(jiān)控的目標(biāo)交接

2.1 目標(biāo)的坐標(biāo)和時間約束

當(dāng)一個目標(biāo)進(jìn)入某個攝像機(jī)視野時,可能會出現(xiàn)以下2種情況:

(1) 此目標(biāo)之前在另外一個或者另外幾個攝像機(jī)的視野內(nèi),即為在其他攝像機(jī)中出現(xiàn)過的目標(biāo);

(2) 此目標(biāo)之前不在任何其他攝像機(jī)的視野內(nèi),也即為新目標(biāo)。為了判定此目標(biāo)是否為新目標(biāo)(即是否在其他攝像機(jī)中出現(xiàn)過),可以根據(jù)攝像機(jī)的視野邊界線來確定。

在用單攝像機(jī)運(yùn)動目標(biāo)檢測模塊檢測到有一個目標(biāo)Oj進(jìn)入或者離開攝像機(jī)Cj視野時,檢查目標(biāo)的質(zhì)心坐標(biāo)P(x,y)所在區(qū)域范圍是否在兩臺攝像機(jī)兩條相鄰視野邊界線的區(qū)域內(nèi),如圖2所示。C1,C2是兩臺攝像機(jī)的視野域。Area1,Area2分別是攝像機(jī)C1,C2毗鄰且沒有重疊域的視野部分。當(dāng)目標(biāo)由Area1行進(jìn)進(jìn)入Area2時,急需進(jìn)行目標(biāo)身份的確認(rèn),即進(jìn)行目標(biāo)的交接,對目標(biāo)進(jìn)行連續(xù)跟蹤。當(dāng)目標(biāo)由攝像機(jī)C1離開進(jìn)入攝像機(jī)C2時,記錄目標(biāo)從攝像機(jī)C1離開時刻T1和進(jìn)入攝像機(jī)C2的時刻T2。設(shè)T為離開攝像機(jī)C1到進(jìn)入攝像機(jī)C2的間隔時間限制,一般設(shè)為3~5 s。如果(T1-T2)≤T,對這兩個目標(biāo)進(jìn)行匹配,以確認(rèn)監(jiān)控網(wǎng)絡(luò)的標(biāo)號。如果目標(biāo)出現(xiàn)在C1,C2時,質(zhì)心坐標(biāo)不在Area1或者Area2區(qū)域范圍內(nèi),則將這個目標(biāo)當(dāng)作新目標(biāo)。對目標(biāo)給予坐標(biāo)和時間的約束,很大程度上減少了目標(biāo)交接時,進(jìn)行目標(biāo)直方圖匹配所需的匹配目標(biāo)直方圖個數(shù),提高了實(shí)時性和準(zhǔn)確性。

2.2 目標(biāo)空間-顏色直方圖及匹配

顏色直方圖是一種最直接反映目標(biāo)顏色信息的方法,但是一般的顏色直方圖只能反映出目標(biāo)顏色信息的統(tǒng)計特征。失去了目標(biāo)顏色的空間分布特征,而目標(biāo)顏色的空間分布特征對目標(biāo)而言是很重要的一種信息。文章采用一種基于顏色-空間二維直方圖進(jìn)行目標(biāo)匹配的方法。將目標(biāo)圖像分割成5×5的小塊,再將這些小塊按照與目標(biāo)質(zhì)心距離給予不同的權(quán)重重新組合成一種具有重疊方式的圖像塊;然后統(tǒng)計每塊區(qū)域內(nèi)的顏色直方圖,以得到該圖像的顏色-空間二維直方圖;最后結(jié)合目標(biāo)的時間-坐標(biāo)約束,對直方圖進(jìn)行匹配,利用得到的目標(biāo)直方圖進(jìn)行相似性的計算。

圖2 目標(biāo)質(zhì)心坐標(biāo)約束示意圖

2.2.1 空間-顏色直方圖

這里采用具有重疊方式的圖像分塊方法,通過在每一區(qū)域內(nèi)統(tǒng)計顏色直方圖來獲得顏色的空間分布信息。首先,將目標(biāo)圖像均分成5×5塊:A=[P1,P2,P4,P5,P7,P8],B=[P1,P2,P3,P4,P5,P6],C=[P2,P3,P5,P6,P8,P9],D=[P4,P5,P6,P7,P8,P9],E=[P10,P13,P15],F=[P10,P11,P12],G=[P12,P14,P17],H=[P15,P16,P17],如圖3所示。其中,E,F,G,H分別位于圖像的左、上、右、下部分,代表場景;A,B,C,D是對位于圖像中央主體部分的細(xì)分,分別代表目標(biāo)圖像主體的左半部、上半部、右半部和下半部。A,B,C,D四部分彼此是相互重疊的,這樣的分塊方法使每塊都包含了圖像的中心部分P5,從而在一定程度上避免了由于分塊過小而破壞目標(biāo)顏色完整性的缺點(diǎn),并保留足夠豐富的顏色信息。E,F,G,H的寬度較窄,這樣可以通過限定信息有效性的方法來提高匹配的準(zhǔn)確性。因此任意兩個子塊顏色直方圖的加權(quán)平均都相當(dāng)于對重疊區(qū)域進(jìn)行加權(quán)后,在兩個區(qū)域的并集內(nèi)統(tǒng)計的“加權(quán)”顏色直方圖,這更有利于突出圖像主要部分(重疊區(qū)域)的顏色分布特征。例如:顏色直方圖A+B 強(qiáng)調(diào)了圖像左上部分的特征;顏色直方圖A+C 強(qiáng)調(diào)了圖像垂直中間部分的特征。因此可以根據(jù)圖像內(nèi)容的空間分布更靈活和準(zhǔn)確地描述圖像的顏色特征。

圖3 目標(biāo)圖像分塊

由于人體目標(biāo)屬于非剛性目標(biāo),受到姿勢變化等的影響較大,目標(biāo)上半身中間的顏色信息給予較大的權(quán)重,而其他部分的顏色信息給予較小的權(quán)重。

2.2.2 目標(biāo)直方圖匹配

在單攝像機(jī)跟蹤基礎(chǔ)上得到目標(biāo)的顏色-空間直方圖。對于得到的直方圖在需要進(jìn)行交接時如2.1所述,使用Bhattacharyya系數(shù)方法可用來計算2個目標(biāo)圖像直方圖的相似程度。對于2個有m級的直方圖p和q,有:

p={pu}u=1,2,…,m,∑mu=1pu=1(1)

q={qu}u=1,2,…,m,∑mu=1qu=1(2)

式中:pu,qu表示在顏色直方圖p,q 中分別屬于顏色級數(shù)u的概率。直方圖p,q的相似度可以利用式(3)計算得到:

d(p,q)=1-∑mu=1puqu(3)

在將目標(biāo)直方圖顏色分塊后,計算兩個目標(biāo)分塊直方圖p,q的匹配程度時,計算這兩個直方圖的距離:

D(p,q)=∑8i=1ωidi(4)

式中:i=1,2,…,8,分別對應(yīng)A,B,C,D,E,F,G,H這8個分塊;ωi是每一個分塊的權(quán)重值,根據(jù)距離質(zhì)心的距離,可給予不同的權(quán)重值;di是兩個目標(biāo)直方圖對應(yīng)子塊的Bhattacharyya距離,這里得到的是一個Bhattacharyya系數(shù),即一個度量值。通過分析D(p,q)值可知兩個直方圖顏色不匹配的程度,從而得到正確的匹配結(jié)果。結(jié)合對交接目標(biāo)進(jìn)行的時間和坐標(biāo)限制,對目標(biāo)進(jìn)行正確的交接,以達(dá)到連續(xù)跟蹤的目的。

3 實(shí)驗(yàn)結(jié)果及分析

這里構(gòu)建一個由兩臺攝像機(jī)組成的沒有重疊視野域的實(shí)驗(yàn)平臺。單攝像機(jī)的跟蹤是采用blob跟蹤算法。對目標(biāo)進(jìn)行跟蹤,并構(gòu)建目標(biāo)的直方圖顏色模型。實(shí)際場景如圖4所示。圖4(a),(b)分別為攝像機(jī)C1,C2的視野域,兩臺攝像機(jī)間沒有重疊視野域。圖4(a)中有兩個目標(biāo),圖4(b)中沒有目標(biāo),穿越中間的區(qū)域間隔時間為3~5 s。

圖4 無重疊視野域的兩臺攝像機(jī)

圖5是目標(biāo)交接的結(jié)果。圖5(a)在C1第17幀中檢測到這個目標(biāo)2;圖5(c)在C2的第111幀中檢測到這個目標(biāo),這個目標(biāo)是C2中第1個目標(biāo),在C2中的標(biāo)號是1。C1_2表示這個目標(biāo)在第1臺攝像機(jī)中的標(biāo)號是2,即給出了目標(biāo)的網(wǎng)絡(luò)標(biāo)號,對其進(jìn)行連續(xù)的跟蹤。同樣,對第1個攝像機(jī)中的第3個目標(biāo)給出標(biāo)號C1_3,以達(dá)到統(tǒng)一標(biāo)號連續(xù)跟蹤的目的。

圖5 兩個目標(biāo)交接

參考文獻(xiàn)

[1]Zhao Tao,Aggarwal M,Kumar R,et al.Real-time Wid Area Multi-camera Stereor Tracking[A].IEEE Computer Society Coneference on Computer Vision and Pattern Rcognieiton,2005,1:976-983.

[2]Jinman Kang,Cohen I,Medioni G.Continuous Tracking within and across Camera Streams[A].2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition[C].2003,1:267-272.

[3]Yue Zhnaefng,Zhou S K,Chellappa R.Robust Two-camera Tracking Using Homognarhy[A].IEEE International Conference on Acoustics,Speech and Signal Processing[C].2004,3:1-4.

[4]Omar Javed,Sohaib Khan,Zeeshan Rasheed,et al.Camera Handoff: Tracking in Multiple Uncalibrated Stationary Cameras[J].Workshop Human Motion,2000:113-118.

[5]Jvaed O,Rasheed Z,Alatas O,et al.KNIGHTM:A Real-time Surveillance System for Multiple Overlapping and Non-overlapping Cameras[A].International Conefrence on multimedia and EXPO[C].2003,1:49-52.

[6]Utsumi A,Tetsutnai N.Human Tracking Using Multiple-Camera-based Head Appearance modeling[A].Sixth IEEE International Conference on Automatic Face and Gesture Reeongition[C].2004:657-662.

[7]陳偉宏.基于多攝像頭的目標(biāo)跟蹤算法研究[D].長沙:湖南大學(xué),2005.

[8]Javed O,Rasheed Z,Shafique K,et al.Tracking Across Multiple Cameras with Disjoint Views[A].Ninth IEEE International Conference on Computer Vision[C].2003(2):952-957.