江志浩 李旻先 趙春霞 邵晴薇

(南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 江蘇 南京 210094)

基于時(shí)空模型視頻監(jiān)控的行人活動(dòng)預(yù)測(cè)算法

江志浩 李旻先 趙春霞 邵晴薇

(南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 江蘇 南京 210094)

在現(xiàn)代監(jiān)控和視頻檢索系統(tǒng)中，跨攝像頭行人跟蹤問題仍然是個(gè)挑戰(zhàn)，其原因是行人再識(shí)別時(shí)龐大的搜索空間,特別是當(dāng)有大量的攝像頭和行人的時(shí)候。針對(duì)跨攝像頭行人再匹配計(jì)算量大，耗時(shí)久等問題，提出一種融合樣本數(shù)理統(tǒng)計(jì)和混合高斯分布的時(shí)空關(guān)系模型。該模型可以有效地預(yù)測(cè)行人活動(dòng)，即當(dāng)一個(gè)行人從一個(gè)攝像頭可視區(qū)域離開時(shí)，我們能夠預(yù)測(cè)該行人下一次直接進(jìn)入攝像頭可視區(qū)域的時(shí)間和所在的出入點(diǎn)位置。根據(jù)預(yù)測(cè)的結(jié)果，極大地減少了行人再識(shí)別的匹配范圍，從而提高匹配識(shí)別的準(zhǔn)確率，再依賴行人的表現(xiàn)模型和軌跡進(jìn)行行人再識(shí)別，最終實(shí)現(xiàn)跨攝像頭行人持續(xù)跟蹤的目的。實(shí)驗(yàn)結(jié)果表明了模型的表現(xiàn)與實(shí)際情況比較接近。

行人再識(shí)別 時(shí)空關(guān)系模型 活動(dòng)預(yù)測(cè)

0 引 言

圖1 基于表現(xiàn)模型的行人再識(shí)別示意圖

然而，多攝像頭無重疊視域的行人跟蹤不同于傳統(tǒng)的行人再識(shí)別問題。由于在顏色、照明、觀測(cè)距離和角度等方面的差異[2,6,8]，我們僅僅依靠表現(xiàn)模型不足以準(zhǔn)確地匹配行人。即使在多攝像頭中同一行人的特征很相似，由于龐大的搜索空間，對(duì)應(yīng)的問題仍然很難解決，特別是在大量的行人和攝像頭的情況下[11,15]。在視頻監(jiān)控的實(shí)際環(huán)境中，目標(biāo)的運(yùn)動(dòng)和轉(zhuǎn)移的規(guī)律可以反映多攝像頭網(wǎng)絡(luò)的時(shí)空關(guān)系，一旦攝像頭之間的時(shí)空關(guān)系模型建立，多攝像頭無重疊視域的行人持續(xù)跟蹤算法可以得到時(shí)空關(guān)系上的約束，這對(duì)算法的效率有著明顯的提高。所以，我們需要解決目標(biāo)關(guān)聯(lián)問題。

為了解決這個(gè)問題，研究人員近年來已經(jīng)提出了許多方法，例如將實(shí)際場(chǎng)景中的攝像頭視域和路徑轉(zhuǎn)換為圖結(jié)構(gòu)，通過拓?fù)鋱D來刻畫它們之間的關(guān)系。目前，對(duì)攝像頭網(wǎng)絡(luò)時(shí)空關(guān)系的建立主要基于監(jiān)督和無監(jiān)督學(xué)習(xí)方法[9]。監(jiān)督學(xué)習(xí)，即早期的人工干預(yù)的方法，主要適用于小的無重疊視域的攝像頭網(wǎng)絡(luò)，并不能很好地適應(yīng)系統(tǒng)的變化。無監(jiān)督學(xué)習(xí)，比如在線學(xué)習(xí)方法，具有一定的自適應(yīng)學(xué)習(xí)能力，但學(xué)習(xí)速度慢、學(xué)習(xí)適應(yīng)性不強(qiáng)。吉爾伯特等人[7]采用一種無監(jiān)督在線累積學(xué)習(xí)方法估計(jì)攝像頭間的拓?fù)潢P(guān)系。賈韋德等[8]采用基于高斯核和時(shí)間窗口的概率密度估計(jì)器估計(jì)拓?fù)潢P(guān)系。

基于以上考慮，本文提出了一種基于樣本數(shù)理統(tǒng)計(jì)和混合高斯分布SGMM(Spatiotemporal Gaussian Mixture Model)的時(shí)空關(guān)系模型反映攝像頭網(wǎng)絡(luò)的時(shí)空關(guān)系[10,13]。該模型旨在描述多攝像頭中目標(biāo)運(yùn)動(dòng)和轉(zhuǎn)移關(guān)系的規(guī)律：當(dāng)行人出現(xiàn)在一個(gè)攝像頭視域中時(shí)，我們可以預(yù)測(cè)該目標(biāo)即將進(jìn)入攝像頭的序號(hào)。該模型可以極大地減少搜索空間。此外，它更適合處理在視覺監(jiān)控應(yīng)用中經(jīng)常需要使用的龐大的數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果證明了該模型的有效性。

1 時(shí)空關(guān)系模型

攝像頭網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)代表了運(yùn)動(dòng)目標(biāo)在多攝像頭中的時(shí)間和空間轉(zhuǎn)移關(guān)系。本文中，多攝像頭的拓?fù)潢P(guān)系，也就是時(shí)空關(guān)系，主要包含每個(gè)攝像頭視域中出入點(diǎn)的位置以及移動(dòng)目標(biāo)在這些出入點(diǎn)之間的轉(zhuǎn)移時(shí)間[10]。在圖2中，通過對(duì)兩組行人的活動(dòng)分析我們可以看出目標(biāo)運(yùn)動(dòng)和轉(zhuǎn)移的規(guī)律性。為了更好地在非重疊視域的多攝像頭中對(duì)目標(biāo)進(jìn)行持續(xù)跟蹤，本節(jié)中，我們通過樣本統(tǒng)計(jì)和混合高斯分布建立一個(gè)時(shí)空關(guān)系模型預(yù)測(cè)目標(biāo)活動(dòng)，以達(dá)到約束行人再識(shí)別搜索范圍的目的。建立時(shí)空關(guān)系模型的流程如圖3所示，輸入行人活動(dòng)樣本，輸出訓(xùn)練好的時(shí)空關(guān)系模型。如果一個(gè)目標(biāo)從一個(gè)攝像機(jī)視域離開穿越一段不可見的區(qū)域直接達(dá)到另一個(gè)攝像機(jī)視域，經(jīng)過的時(shí)間和這兩個(gè)視域之間的平均時(shí)間相差不大時(shí)，我們可以基于目標(biāo)的表現(xiàn)模型(AM)進(jìn)行匹配[12]。當(dāng)差別較大時(shí)，我們就不再進(jìn)行匹配，并判定該目標(biāo)不是緩沖區(qū)的待匹配目標(biāo)。如圖4所示，我們描述一個(gè)簡(jiǎn)單的攝像頭網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，使用節(jié)點(diǎn)圖進(jìn)行表示，并將結(jié)點(diǎn)圖進(jìn)一步細(xì)化為有向圖。圖中將攝像頭視域O中的出入點(diǎn)定義為節(jié)點(diǎn)集合P，E為節(jié)點(diǎn)之間的邊集合。特別指出的是，這些邊指的是兩點(diǎn)之間存在可直接達(dá)到的路徑。因此，圖模型可以定義為：

G=〈P,E〉pi∈P,e(i,j)∈E,1≤i,j≤N

(1)

其中pi表示圖中節(jié)點(diǎn)，e(i,j)表示直接從節(jié)點(diǎn)pi到pj的有向邊，N表示節(jié)點(diǎn)的數(shù)量。

圖2 行人活動(dòng)分析示意圖

圖3 建立時(shí)空關(guān)系模型的流程圖

圖4 攝像機(jī)網(wǎng)絡(luò)拓?fù)潢P(guān)系和圖模型建立示意圖

1.1 空間關(guān)系模型

女人穿著一條改良后的火紅色旗袍，旗袍很短，齊膝蓋上幾寸的地方，旗袍的口子開得特別高，她側(cè)坐在那個(gè)六十來歲已經(jīng)禿了頂?shù)呐_(tái)灣畫商腿上，白花花的大腿就暴露了出來。畫商色瞇瞇地盯女人的大腿，手很不老實(shí)地在上面揉來捏去。

空間關(guān)系確立節(jié)點(diǎn)之間是否需要建立邊以及邊的方向。一般而言，只要攝像機(jī)位置固定，攝像機(jī)視域中出入點(diǎn)的位置也就相應(yīng)的確定了。如果兩個(gè)出入點(diǎn)之間可以一步到達(dá)，即中間不經(jīng)過其他點(diǎn)，我們將會(huì)在它們之間建立一條邊。而邊的方向由目標(biāo)的移動(dòng)方向決定。由于位置信息不好度量，我們用樣本統(tǒng)計(jì)建立出入點(diǎn)之間的邊。在這里，我們根據(jù)出入點(diǎn)的數(shù)量建立一個(gè)n×n的空矩陣，其中vij為目標(biāo)樣本從節(jié)點(diǎn)pi到pj的數(shù)量，如果樣本目標(biāo)直接從pi到pj，那么vij=vij+1。若vij>0，則表示pi到pj有直接可行路徑，令ρij為vij的頻率并定義為：

(2)

1.2 時(shí)間關(guān)系模型

圖模型的邊權(quán)重是由目標(biāo)在不同出入點(diǎn)轉(zhuǎn)移的頻率決定的。我們用樣本學(xué)習(xí)的方法建立對(duì)運(yùn)動(dòng)目標(biāo)的時(shí)間約束，并以此定義邊權(quán)值w(pi,pj),pi,pj∈P。通過統(tǒng)計(jì)目標(biāo)在相鄰結(jié)點(diǎn)之間的轉(zhuǎn)移時(shí)間，我們得到了一個(gè)時(shí)間集合T=(t1,t2,…,tl)。圖5中，我們可以看到兩個(gè)攝像頭之間樣本轉(zhuǎn)移時(shí)間的分布圖，由于時(shí)間樣本集在實(shí)際場(chǎng)景中是以多峰形式存在的，我們采用高斯混合模型來刻畫樣本。

圖5 兩個(gè)攝像頭之間樣本轉(zhuǎn)移時(shí)間的分布圖

幸運(yùn)的是，通過上述對(duì)樣本活動(dòng)的統(tǒng)計(jì)，我們可知每個(gè)矩陣元素下的所有樣本的轉(zhuǎn)移時(shí)間。根據(jù)這些已有的轉(zhuǎn)移時(shí)間，我們利用C均值算法聚類，聚類數(shù)目控制在4個(gè)以內(nèi)，如果任意兩個(gè)聚類接近，則將它們合成一個(gè)新的聚類，從而形成m(m=1,2,3,4)個(gè)波峰，其中聚類m的個(gè)數(shù)為wij_m。記ρij_m為目標(biāo)從pi到pj的時(shí)間區(qū)域在第m個(gè)峰值的頻率并定義為：

(3)

(4)

(5)

最后，由空間關(guān)系模型和時(shí)間關(guān)系模型我們可以建立攝像機(jī)網(wǎng)絡(luò)的時(shí)空關(guān)系模型，并利用該模型對(duì)目標(biāo)活動(dòng)進(jìn)行預(yù)測(cè)。

2 活動(dòng)預(yù)測(cè)

針對(duì)上一節(jié)中訓(xùn)練好的時(shí)空關(guān)系模型，我們利用一組行人活動(dòng)的測(cè)試集來進(jìn)行目標(biāo)活動(dòng)的預(yù)測(cè)。令測(cè)試集為Total,預(yù)測(cè)正確的數(shù)量為Acc,那么totalAn(j,i,tb,te)表示活動(dòng)A的第n條軌跡從pj進(jìn)入，從pi離開以及它的進(jìn)出時(shí)間tb和te。預(yù)測(cè)步驟如下：

1) 當(dāng)測(cè)試集中的目標(biāo)A從出入點(diǎn)pi離開時(shí)，我們根據(jù)式(3)得到pi到其他出入點(diǎn)的頻率ρij_m，由高到低，返回前k個(gè)，即這k個(gè)就是對(duì)目標(biāo)到達(dá)下個(gè)出入點(diǎn)和其轉(zhuǎn)移時(shí)間域的預(yù)測(cè)：

(6)

2) 根據(jù)測(cè)試集中的活動(dòng)totalA(n+1)(j′,i′,tb′,te′)，進(jìn)行驗(yàn)證，即totalA(n+1)中的j′與Prk中的pj一致且(tb′-te)∈E時(shí)，認(rèn)為此次行人活動(dòng)預(yù)測(cè)成功,否則為失?。?/p>

3) 對(duì)測(cè)試集中所有目標(biāo)進(jìn)行測(cè)試，統(tǒng)計(jì)準(zhǔn)確的個(gè)數(shù)Acc，這樣我們可以得到一個(gè)準(zhǔn)確率Pre：

(7)

經(jīng)過實(shí)驗(yàn)驗(yàn)證，該模型在測(cè)試集上的預(yù)測(cè)準(zhǔn)確率已經(jīng)達(dá)到了83%，滿足在實(shí)際場(chǎng)景中應(yīng)用的需求，即認(rèn)為建立的時(shí)空模型在現(xiàn)實(shí)場(chǎng)景中是有效的。

3 行人軌跡匹配

由于時(shí)空模型的預(yù)測(cè)，當(dāng)一個(gè)目標(biāo)離開一個(gè)攝像頭視域時(shí)，可以極大地縮小行人再識(shí)別的范圍。而對(duì)于行人再識(shí)別，我們打算采取軌跡間的匹配代替之前的行人圖片間的匹配。將預(yù)測(cè)范圍內(nèi)的所有軌跡作為待匹配的軌跡，鑒于每條軌跡的長(zhǎng)度不等，我們對(duì)軌跡長(zhǎng)度進(jìn)行歸一化：選取l作為軌跡長(zhǎng)度，若一個(gè)軌跡長(zhǎng)度為L(zhǎng)(L?l) ，擇取d=L/l，在軌跡中按等差數(shù)列差值為d抽取行人圖片，組成長(zhǎng)度為l的軌跡。記目標(biāo)在原攝像頭視域下的軌跡為tra0，待匹配的軌跡為traij_m_seq，表示為該目標(biāo)有可能從i到j(luò)第m個(gè)時(shí)間區(qū)域下第seq個(gè)軌跡。將tra0和traij_m_seq進(jìn)行匹配，選取RGB顏色距作為鑒別性特征，通過PCA降維處理，接著采用歐式距離進(jìn)行計(jì)算，于是得到：

(8)

其中Dx,y為tra0中第x張圖和traij_m_seq中第y張圖的歐式距離，Sim0,ij_m_seq表示tra0和traij_m_seq的相似度。結(jié)合上述的ρij_m，最終得到：

traij_m_seq=arg max(Sim0,ijmseq·ρijm)

(9)

其中，traij_m_seq即為和tra0同一個(gè)目標(biāo)的軌跡。依次類推，找到該目標(biāo)的所有的軌跡，組成該目標(biāo)的活動(dòng)。

4 實(shí)驗(yàn)結(jié)果與分析

在本節(jié)中，我們活動(dòng)預(yù)測(cè)的實(shí)驗(yàn)數(shù)據(jù)來源于PKU-SVD-B數(shù)據(jù)集，這其中的攝像頭網(wǎng)絡(luò)包含14個(gè)攝像機(jī)，每個(gè)攝像機(jī)有若干個(gè)出入點(diǎn)。攝像頭網(wǎng)絡(luò)間的時(shí)空關(guān)系模型即根據(jù)第2節(jié)中的方法訓(xùn)練而得。

實(shí)驗(yàn)方法如下：在建立攝像頭網(wǎng)絡(luò)時(shí)空關(guān)系模型階段，我們基于一組較大的行人活動(dòng)的樣本集作為訓(xùn)練集。訓(xùn)練集包含目標(biāo)活動(dòng)經(jīng)過的攝像頭序號(hào)以及對(duì)應(yīng)的進(jìn)入時(shí)間和結(jié)束時(shí)間。如表1所示，通過式(3)，計(jì)算求得從p10到其他出入點(diǎn)p4和p7的頻率ρij_m。

表1 從p10到其他出入點(diǎn)的頻率

在表1中，可以發(fā)現(xiàn)∑ρij_m≈1。這涵蓋了一個(gè)運(yùn)動(dòng)目標(biāo)離開出入點(diǎn)p10后到達(dá)其他出入點(diǎn)的所有的可能性。進(jìn)一步，在表2中，通過式(4)和式(5)，計(jì)算求得從p10到p4和p7轉(zhuǎn)移時(shí)間的混合高斯分布(μ,σ2)。

表2 從p10到p4的混合高斯分布

圖6反映了預(yù)測(cè)活動(dòng)的準(zhǔn)確率與訓(xùn)練規(guī)模集的關(guān)系，可以發(fā)現(xiàn)訓(xùn)練集規(guī)模從9到11時(shí)測(cè)試集的準(zhǔn)確性的曲線上升較快，這是由訓(xùn)練集的規(guī)模比較小所導(dǎo)致的。而在訓(xùn)練集規(guī)模達(dá)到18以上，曲線變化比較平滑，這說明當(dāng)訓(xùn)練集的規(guī)模足夠大時(shí)，它將幾乎覆蓋實(shí)際場(chǎng)景中的絕大多數(shù)情況，已達(dá)到一個(gè)較為穩(wěn)定的水平，故而測(cè)試集的準(zhǔn)確率的變化也就相對(duì)平緩。

圖6 訓(xùn)練集規(guī)模從1到25變化時(shí)的預(yù)測(cè)活動(dòng)準(zhǔn)確率

表3列出了三組目標(biāo)集的準(zhǔn)確率，召回率和F值。本文結(jié)合目標(biāo)的表現(xiàn)模型與時(shí)空關(guān)系模型預(yù)測(cè)的方法相比于傳統(tǒng)的只基于表現(xiàn)模型的方法在精度上有了較大的提高(約11%的提升)。實(shí)驗(yàn)證明，本文所提出的方法在實(shí)際應(yīng)用中有較好的實(shí)用性。

表3 行人再識(shí)別精度對(duì)比

5 結(jié) 語

本文提出一種融合樣本數(shù)理統(tǒng)計(jì)和混合高斯分布的時(shí)空關(guān)系模型的跨攝像頭行人跟蹤方法。這個(gè)模型雖然簡(jiǎn)單但在實(shí)際的攝像頭網(wǎng)絡(luò)中卻十分有效。在實(shí)驗(yàn)中，該模型較為準(zhǔn)確地預(yù)測(cè)了目標(biāo)離開一個(gè)攝像頭視域后的去向。因此該模型能夠在實(shí)際應(yīng)用中幫助減少行人再識(shí)別問題的搜索空間，從而提高匹配識(shí)別的準(zhǔn)確率，依賴行人的表現(xiàn)模型和軌跡進(jìn)行行人再識(shí)別，最終實(shí)現(xiàn)跨攝像頭行人持續(xù)跟蹤的目的。然而，由于多攝像機(jī)網(wǎng)絡(luò)場(chǎng)景的復(fù)雜性行人目標(biāo)移動(dòng)過程中的移動(dòng)速度等因素，如何將算法進(jìn)一步擴(kuò)大到更大范圍的應(yīng)用場(chǎng)景以及多樣化目標(biāo)將是下一步的研究工作。

[1] Layne R,Hospedales T M,Gong S.Person Re-identification by Attributes[C]//British Machine Vision Conference (BMVC),2012.

[2] Snavely N,Hauagge D C.Image matching using local symmetry features[J].Computer Vision and Pattern Recognition (CVPR),2012 IEEE Conference onIEEE,2012,157(10):206-213.

[3] Bryan Prosser,Weishi Zheng,Shaogang Gong,et al.Person Re-Identification by Support Vector Ranking[J].British Machine Vision Conference (BMVC),2010,42(7):1-11.

[4] 劉少華,賴世銘,張茂軍.基于最小費(fèi)用流模型的無重疊視域多攝像機(jī)目標(biāo)關(guān)聯(lián)算法[J].自動(dòng)化學(xué)報(bào),2010,36(10):1484-1489.

[5] Liu C,Gong S,Loy C C,et al.Person Re-identification:What Features are Important[M].Springer Berlin Heidelberg,2012,7583:391-401.

[6] Wang X,Tieu K,Grimson W E L.Correspondence-free activity analysis and scene modeling in multiple camera views[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(1):56-71.

[7] Andrew Gilbert,Richard Bowden.Tracking Objects Across Cameras by Incrementally Learning Inter-camera Colour Calibration and Patterns of Activity[J].Lecture Notes in Computer Science,2006,3952:125-136.

[8] Wang X,Tieu K,Grimson E L.Correspondence-Free Activity Analysis and Scene Modeling in Multiple Camera Views[J].Pattern Analysis & Machine Intelligence IEEE Transactions on,2010,32(1):56-71.

[9] 呂真,張浩,連衛(wèi)民.多特征協(xié)同的雙層組合結(jié)構(gòu)行人監(jiān)控識(shí)別方法[J].計(jì)算機(jī)應(yīng)用與軟件,2015,32(9):170-174.

[10] 郭烈,張廣西,葛平淑,等.基于特征組合粒子濾波的行人跟蹤方法[J].計(jì)算機(jī)應(yīng)用與軟件,2013,30(11):4-7.

[11] 董永坤,王春香,薛林繼,等.基于TLD框架的行人檢測(cè)和跟蹤[J].華中科技大學(xué)學(xué)報(bào):自然科學(xué)版,2013(s1):1284-1289.

[12] 李琦,邵春福,岳昊.視頻序列中面向行人的多目標(biāo)跟蹤算法[J].北京理工大學(xué)學(xué)報(bào),2013(2):178-184.

[13] 馬元元,李成龍,湯進(jìn),等.視頻監(jiān)控場(chǎng)景下行人衣著顏色識(shí)別[J].安徽大學(xué)學(xué)報(bào):自然科學(xué)版,2015(5):23-30.

[14] Li W,Zhao R,Wang X.Human Re-identification with Transferred Metric Learning[M].Computer Vision-ACCV 2012 Springer Berlin Heidelberg,2013:31-44.

PEDESTRIAN ACTIVITY PREDICTION ALGORITHM IN SURVEILLANCE VIDEOS BASED ON SPATIOTEMPORAL MODEL

Jiang Zhihao Li Minxian Zhao Chunxia Shao Qingwei

(SchoolofComputerScienceandEngineering,NanjingUniversityofScienceandTechnology,Nanjing210094,Jiangsu,China)

In the modern monitoring and video retrieval systems, it is still a challenge to track pedestrian from multiple camera. The reason is that there is large search space in the process of the pedestrian re-identification, especially when there are a large number of cameras and pedestrians. In view of this, a spatiotemporal relationship model based on the sample statistics and mixture Gaussian distribution for multiple cameras pedestrian tracking is proposed. The model is able to predict the pedestrian activities effectively, which means, when the pedestrian disappears from one camera view, the model is able to predictthe time and place that the pedestrians will appear in another camera view. According to the results of prediction, the matching range of pedestrian re-identification is greatly reduced and the accuracy rate of matching is improved.The purpose of multiple cameras pedestrian tracking is finally realized by re-identifying the pedestrians' expression model and track. The experiment result demonstrates that the performance of the model is consistent with the observations in the extensive experiments.

Pedestrian re-identification Spatiotemporal model Activity prediction

2015-10-28。國(guó)家自然科學(xué)基金項(xiàng)目(61401212，61272220)。江志浩，碩士生，主研領(lǐng)域：圖形圖像技術(shù)與應(yīng)用。李旻先，講師。趙春霞，教授。邵晴薇，碩士生。

TP391.9

A

10.3969/j.issn.1000-386x.2017.01.027