江志浩 李旻先 趙春霞 邵晴薇

(南京理工大學計算機科學與工程學院 江蘇 南京 210094)

基于時空模型視頻監(jiān)控的行人活動預(yù)測算法

江志浩 李旻先 趙春霞 邵晴薇

(南京理工大學計算機科學與工程學院 江蘇 南京 210094)

在現(xiàn)代監(jiān)控和視頻檢索系統(tǒng)中，跨攝像頭行人跟蹤問題仍然是個挑戰(zhàn)，其原因是行人再識別時龐大的搜索空間,特別是當有大量的攝像頭和行人的時候。針對跨攝像頭行人再匹配計算量大，耗時久等問題，提出一種融合樣本數(shù)理統(tǒng)計和混合高斯分布的時空關(guān)系模型。該模型可以有效地預(yù)測行人活動，即當一個行人從一個攝像頭可視區(qū)域離開時，我們能夠預(yù)測該行人下一次直接進入攝像頭可視區(qū)域的時間和所在的出入點位置。根據(jù)預(yù)測的結(jié)果，極大地減少了行人再識別的匹配范圍，從而提高匹配識別的準確率，再依賴行人的表現(xiàn)模型和軌跡進行行人再識別，最終實現(xiàn)跨攝像頭行人持續(xù)跟蹤的目的。實驗結(jié)果表明了模型的表現(xiàn)與實際情況比較接近。

行人再識別 時空關(guān)系模型 活動預(yù)測

0 引 言

圖1 基于表現(xiàn)模型的行人再識別示意圖

然而，多攝像頭無重疊視域的行人跟蹤不同于傳統(tǒng)的行人再識別問題。由于在顏色、照明、觀測距離和角度等方面的差異[2,6,8]，我們僅僅依靠表現(xiàn)模型不足以準確地匹配行人。即使在多攝像頭中同一行人的特征很相似，由于龐大的搜索空間，對應(yīng)的問題仍然很難解決，特別是在大量的行人和攝像頭的情況下[11,15]。在視頻監(jiān)控的實際環(huán)境中，目標的運動和轉(zhuǎn)移的規(guī)律可以反映多攝像頭網(wǎng)絡(luò)的時空關(guān)系，一旦攝像頭之間的時空關(guān)系模型建立，多攝像頭無重疊視域的行人持續(xù)跟蹤算法可以得到時空關(guān)系上的約束，這對算法的效率有著明顯的提高。所以，我們需要解決目標關(guān)聯(lián)問題。

為了解決這個問題，研究人員近年來已經(jīng)提出了許多方法，例如將實際場景中的攝像頭視域和路徑轉(zhuǎn)換為圖結(jié)構(gòu)，通過拓撲圖來刻畫它們之間的關(guān)系。目前，對攝像頭網(wǎng)絡(luò)時空關(guān)系的建立主要基于監(jiān)督和無監(jiān)督學習方法[9]。監(jiān)督學習，即早期的人工干預(yù)的方法，主要適用于小的無重疊視域的攝像頭網(wǎng)絡(luò)，并不能很好地適應(yīng)系統(tǒng)的變化。無監(jiān)督學習，比如在線學習方法，具有一定的自適應(yīng)學習能力，但學習速度慢、學習適應(yīng)性不強。吉爾伯特等人[7]采用一種無監(jiān)督在線累積學習方法估計攝像頭間的拓撲關(guān)系。賈韋德等[8]采用基于高斯核和時間窗口的概率密度估計器估計拓撲關(guān)系。

基于以上考慮，本文提出了一種基于樣本數(shù)理統(tǒng)計和混合高斯分布SGMM(Spatiotemporal Gaussian Mixture Model)的時空關(guān)系模型反映攝像頭網(wǎng)絡(luò)的時空關(guān)系[10,13]。該模型旨在描述多攝像頭中目標運動和轉(zhuǎn)移關(guān)系的規(guī)律：當行人出現(xiàn)在一個攝像頭視域中時，我們可以預(yù)測該目標即將進入攝像頭的序號。該模型可以極大地減少搜索空間。此外，它更適合處理在視覺監(jiān)控應(yīng)用中經(jīng)常需要使用的龐大的數(shù)據(jù)集。實驗結(jié)果證明了該模型的有效性。

1 時空關(guān)系模型

攝像頭網(wǎng)絡(luò)拓撲結(jié)構(gòu)代表了運動目標在多攝像頭中的時間和空間轉(zhuǎn)移關(guān)系。本文中，多攝像頭的拓撲關(guān)系，也就是時空關(guān)系，主要包含每個攝像頭視域中出入點的位置以及移動目標在這些出入點之間的轉(zhuǎn)移時間[10]。在圖2中，通過對兩組行人的活動分析我們可以看出目標運動和轉(zhuǎn)移的規(guī)律性。為了更好地在非重疊視域的多攝像頭中對目標進行持續(xù)跟蹤，本節(jié)中，我們通過樣本統(tǒng)計和混合高斯分布建立一個時空關(guān)系模型預(yù)測目標活動，以達到約束行人再識別搜索范圍的目的。建立時空關(guān)系模型的流程如圖3所示，輸入行人活動樣本，輸出訓練好的時空關(guān)系模型。如果一個目標從一個攝像機視域離開穿越一段不可見的區(qū)域直接達到另一個攝像機視域，經(jīng)過的時間和這兩個視域之間的平均時間相差不大時，我們可以基于目標的表現(xiàn)模型(AM)進行匹配[12]。當差別較大時，我們就不再進行匹配，并判定該目標不是緩沖區(qū)的待匹配目標。如圖4所示，我們描述一個簡單的攝像頭網(wǎng)絡(luò)的拓撲結(jié)構(gòu)，使用節(jié)點圖進行表示，并將結(jié)點圖進一步細化為有向圖。圖中將攝像頭視域O中的出入點定義為節(jié)點集合P，E為節(jié)點之間的邊集合。特別指出的是，這些邊指的是兩點之間存在可直接達到的路徑。因此，圖模型可以定義為：

G=〈P,E〉pi∈P,e(i,j)∈E,1≤i,j≤N

(1)

其中pi表示圖中節(jié)點，e(i,j)表示直接從節(jié)點pi到pj的有向邊，N表示節(jié)點的數(shù)量。

圖2 行人活動分析示意圖

圖3 建立時空關(guān)系模型的流程圖

圖4 攝像機網(wǎng)絡(luò)拓撲關(guān)系和圖模型建立示意圖

1.1 空間關(guān)系模型

女人穿著一條改良后的火紅色旗袍，旗袍很短，齊膝蓋上幾寸的地方，旗袍的口子開得特別高，她側(cè)坐在那個六十來歲已經(jīng)禿了頂?shù)呐_灣畫商腿上，白花花的大腿就暴露了出來。畫商色瞇瞇地盯女人的大腿，手很不老實地在上面揉來捏去。

空間關(guān)系確立節(jié)點之間是否需要建立邊以及邊的方向。一般而言，只要攝像機位置固定，攝像機視域中出入點的位置也就相應(yīng)的確定了。如果兩個出入點之間可以一步到達，即中間不經(jīng)過其他點，我們將會在它們之間建立一條邊。而邊的方向由目標的移動方向決定。由于位置信息不好度量，我們用樣本統(tǒng)計建立出入點之間的邊。在這里，我們根據(jù)出入點的數(shù)量建立一個n×n的空矩陣，其中vij為目標樣本從節(jié)點pi到pj的數(shù)量，如果樣本目標直接從pi到pj，那么vij=vij+1。若vij>0，則表示pi到pj有直接可行路徑，令ρij為vij的頻率并定義為：

(2)

1.2 時間關(guān)系模型

圖模型的邊權(quán)重是由目標在不同出入點轉(zhuǎn)移的頻率決定的。我們用樣本學習的方法建立對運動目標的時間約束，并以此定義邊權(quán)值w(pi,pj),pi,pj∈P。通過統(tǒng)計目標在相鄰結(jié)點之間的轉(zhuǎn)移時間，我們得到了一個時間集合T=(t1,t2,…,tl)。圖5中，我們可以看到兩個攝像頭之間樣本轉(zhuǎn)移時間的分布圖，由于時間樣本集在實際場景中是以多峰形式存在的，我們采用高斯混合模型來刻畫樣本。

圖5 兩個攝像頭之間樣本轉(zhuǎn)移時間的分布圖

幸運的是，通過上述對樣本活動的統(tǒng)計，我們可知每個矩陣元素下的所有樣本的轉(zhuǎn)移時間。根據(jù)這些已有的轉(zhuǎn)移時間，我們利用C均值算法聚類，聚類數(shù)目控制在4個以內(nèi)，如果任意兩個聚類接近，則將它們合成一個新的聚類，從而形成m(m=1,2,3,4)個波峰，其中聚類m的個數(shù)為wij_m。記ρij_m為目標從pi到pj的時間區(qū)域在第m個峰值的頻率并定義為：

(3)

(4)

(5)

最后，由空間關(guān)系模型和時間關(guān)系模型我們可以建立攝像機網(wǎng)絡(luò)的時空關(guān)系模型，并利用該模型對目標活動進行預(yù)測。

2 活動預(yù)測

針對上一節(jié)中訓練好的時空關(guān)系模型，我們利用一組行人活動的測試集來進行目標活動的預(yù)測。令測試集為Total,預(yù)測正確的數(shù)量為Acc,那么totalAn(j,i,tb,te)表示活動A的第n條軌跡從pj進入，從pi離開以及它的進出時間tb和te。預(yù)測步驟如下：

1) 當測試集中的目標A從出入點pi離開時，我們根據(jù)式(3)得到pi到其他出入點的頻率ρij_m，由高到低，返回前k個，即這k個就是對目標到達下個出入點和其轉(zhuǎn)移時間域的預(yù)測：

(6)

2) 根據(jù)測試集中的活動totalA(n+1)(j′,i′,tb′,te′)，進行驗證，即totalA(n+1)中的j′與Prk中的pj一致且(tb′-te)∈E時，認為此次行人活動預(yù)測成功,否則為失?。?/p>

3) 對測試集中所有目標進行測試，統(tǒng)計準確的個數(shù)Acc，這樣我們可以得到一個準確率Pre：

(7)

經(jīng)過實驗驗證，該模型在測試集上的預(yù)測準確率已經(jīng)達到了83%，滿足在實際場景中應(yīng)用的需求，即認為建立的時空模型在現(xiàn)實場景中是有效的。

3 行人軌跡匹配

由于時空模型的預(yù)測，當一個目標離開一個攝像頭視域時，可以極大地縮小行人再識別的范圍。而對于行人再識別，我們打算采取軌跡間的匹配代替之前的行人圖片間的匹配。將預(yù)測范圍內(nèi)的所有軌跡作為待匹配的軌跡，鑒于每條軌跡的長度不等，我們對軌跡長度進行歸一化：選取l作為軌跡長度，若一個軌跡長度為L(L?l) ，擇取d=L/l，在軌跡中按等差數(shù)列差值為d抽取行人圖片，組成長度為l的軌跡。記目標在原攝像頭視域下的軌跡為tra0，待匹配的軌跡為traij_m_seq，表示為該目標有可能從i到j(luò)第m個時間區(qū)域下第seq個軌跡。將tra0和traij_m_seq進行匹配，選取RGB顏色距作為鑒別性特征，通過PCA降維處理，接著采用歐式距離進行計算，于是得到：

(8)

其中Dx,y為tra0中第x張圖和traij_m_seq中第y張圖的歐式距離，Sim0,ij_m_seq表示tra0和traij_m_seq的相似度。結(jié)合上述的ρij_m，最終得到：

traij_m_seq=arg max(Sim0,ijmseq·ρijm)

(9)

其中，traij_m_seq即為和tra0同一個目標的軌跡。依次類推，找到該目標的所有的軌跡，組成該目標的活動。

4 實驗結(jié)果與分析

在本節(jié)中，我們活動預(yù)測的實驗數(shù)據(jù)來源于PKU-SVD-B數(shù)據(jù)集，這其中的攝像頭網(wǎng)絡(luò)包含14個攝像機，每個攝像機有若干個出入點。攝像頭網(wǎng)絡(luò)間的時空關(guān)系模型即根據(jù)第2節(jié)中的方法訓練而得。

實驗方法如下：在建立攝像頭網(wǎng)絡(luò)時空關(guān)系模型階段，我們基于一組較大的行人活動的樣本集作為訓練集。訓練集包含目標活動經(jīng)過的攝像頭序號以及對應(yīng)的進入時間和結(jié)束時間。如表1所示，通過式(3)，計算求得從p10到其他出入點p4和p7的頻率ρij_m。

表1 從p10到其他出入點的頻率

在表1中，可以發(fā)現(xiàn)∑ρij_m≈1。這涵蓋了一個運動目標離開出入點p10后到達其他出入點的所有的可能性。進一步，在表2中，通過式(4)和式(5)，計算求得從p10到p4和p7轉(zhuǎn)移時間的混合高斯分布(μ,σ2)。

表2 從p10到p4的混合高斯分布

圖6反映了預(yù)測活動的準確率與訓練規(guī)模集的關(guān)系，可以發(fā)現(xiàn)訓練集規(guī)模從9到11時測試集的準確性的曲線上升較快，這是由訓練集的規(guī)模比較小所導致的。而在訓練集規(guī)模達到18以上，曲線變化比較平滑，這說明當訓練集的規(guī)模足夠大時，它將幾乎覆蓋實際場景中的絕大多數(shù)情況，已達到一個較為穩(wěn)定的水平，故而測試集的準確率的變化也就相對平緩。

圖6 訓練集規(guī)模從1到25變化時的預(yù)測活動準確率

表3列出了三組目標集的準確率，召回率和F值。本文結(jié)合目標的表現(xiàn)模型與時空關(guān)系模型預(yù)測的方法相比于傳統(tǒng)的只基于表現(xiàn)模型的方法在精度上有了較大的提高(約11%的提升)。實驗證明，本文所提出的方法在實際應(yīng)用中有較好的實用性。

表3 行人再識別精度對比

5 結(jié) 語

本文提出一種融合樣本數(shù)理統(tǒng)計和混合高斯分布的時空關(guān)系模型的跨攝像頭行人跟蹤方法。這個模型雖然簡單但在實際的攝像頭網(wǎng)絡(luò)中卻十分有效。在實驗中，該模型較為準確地預(yù)測了目標離開一個攝像頭視域后的去向。因此該模型能夠在實際應(yīng)用中幫助減少行人再識別問題的搜索空間，從而提高匹配識別的準確率，依賴行人的表現(xiàn)模型和軌跡進行行人再識別，最終實現(xiàn)跨攝像頭行人持續(xù)跟蹤的目的。然而，由于多攝像機網(wǎng)絡(luò)場景的復(fù)雜性行人目標移動過程中的移動速度等因素，如何將算法進一步擴大到更大范圍的應(yīng)用場景以及多樣化目標將是下一步的研究工作。

[1] Layne R,Hospedales T M,Gong S.Person Re-identification by Attributes[C]//British Machine Vision Conference (BMVC),2012.

[2] Snavely N,Hauagge D C.Image matching using local symmetry features[J].Computer Vision and Pattern Recognition (CVPR),2012 IEEE Conference onIEEE,2012,157(10):206-213.

[3] Bryan Prosser,Weishi Zheng,Shaogang Gong,et al.Person Re-Identification by Support Vector Ranking[J].British Machine Vision Conference (BMVC),2010,42(7):1-11.

[4] 劉少華,賴世銘,張茂軍.基于最小費用流模型的無重疊視域多攝像機目標關(guān)聯(lián)算法[J].自動化學報,2010,36(10):1484-1489.

[5] Liu C,Gong S,Loy C C,et al.Person Re-identification:What Features are Important[M].Springer Berlin Heidelberg,2012,7583:391-401.

[6] Wang X,Tieu K,Grimson W E L.Correspondence-free activity analysis and scene modeling in multiple camera views[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(1):56-71.

[7] Andrew Gilbert,Richard Bowden.Tracking Objects Across Cameras by Incrementally Learning Inter-camera Colour Calibration and Patterns of Activity[J].Lecture Notes in Computer Science,2006,3952:125-136.

[8] Wang X,Tieu K,Grimson E L.Correspondence-Free Activity Analysis and Scene Modeling in Multiple Camera Views[J].Pattern Analysis & Machine Intelligence IEEE Transactions on,2010,32(1):56-71.

[9] 呂真,張浩,連衛(wèi)民.多特征協(xié)同的雙層組合結(jié)構(gòu)行人監(jiān)控識別方法[J].計算機應(yīng)用與軟件,2015,32(9):170-174.

[10] 郭烈,張廣西,葛平淑,等.基于特征組合粒子濾波的行人跟蹤方法[J].計算機應(yīng)用與軟件,2013,30(11):4-7.

[11] 董永坤,王春香,薛林繼,等.基于TLD框架的行人檢測和跟蹤[J].華中科技大學學報:自然科學版,2013(s1):1284-1289.

[12] 李琦,邵春福,岳昊.視頻序列中面向行人的多目標跟蹤算法[J].北京理工大學學報,2013(2):178-184.

[13] 馬元元,李成龍,湯進,等.視頻監(jiān)控場景下行人衣著顏色識別[J].安徽大學學報:自然科學版,2015(5):23-30.

[14] Li W,Zhao R,Wang X.Human Re-identification with Transferred Metric Learning[M].Computer Vision-ACCV 2012 Springer Berlin Heidelberg,2013:31-44.

PEDESTRIAN ACTIVITY PREDICTION ALGORITHM IN SURVEILLANCE VIDEOS BASED ON SPATIOTEMPORAL MODEL

Jiang Zhihao Li Minxian Zhao Chunxia Shao Qingwei

(SchoolofComputerScienceandEngineering,NanjingUniversityofScienceandTechnology,Nanjing210094,Jiangsu,China)

In the modern monitoring and video retrieval systems, it is still a challenge to track pedestrian from multiple camera. The reason is that there is large search space in the process of the pedestrian re-identification, especially when there are a large number of cameras and pedestrians. In view of this, a spatiotemporal relationship model based on the sample statistics and mixture Gaussian distribution for multiple cameras pedestrian tracking is proposed. The model is able to predict the pedestrian activities effectively, which means, when the pedestrian disappears from one camera view, the model is able to predictthe time and place that the pedestrians will appear in another camera view. According to the results of prediction, the matching range of pedestrian re-identification is greatly reduced and the accuracy rate of matching is improved.The purpose of multiple cameras pedestrian tracking is finally realized by re-identifying the pedestrians' expression model and track. The experiment result demonstrates that the performance of the model is consistent with the observations in the extensive experiments.

Pedestrian re-identification Spatiotemporal model Activity prediction

2015-10-28。國家自然科學基金項目(61401212，61272220)。江志浩，碩士生，主研領(lǐng)域：圖形圖像技術(shù)與應(yīng)用。李旻先，講師。趙春霞，教授。邵晴薇，碩士生。

TP391.9

A

10.3969/j.issn.1000-386x.2017.01.027