李虎，張二虎，段敬紅

LI Hu , ZHANG Erhu, DUAN Jinghong

（西安理工大學(xué)信息科學(xué)系，西安 710048，中國(guó)）

(Department of Information Science, Xi'an University of Technology, Xi’an 710048, China)

1 引 言

現(xiàn)代社會(huì)的快速發(fā)展，使得大規(guī)模的人群活動(dòng)日益增多，特別是在一些重大活動(dòng)中，由人群擁擠而引起的災(zāi)難屢見(jiàn)不鮮。因此，對(duì)人群人數(shù)進(jìn)行統(tǒng)計(jì)具有重要的研究意義。另外，人群人數(shù)統(tǒng)計(jì)也可用于商場(chǎng)等人群管理領(lǐng)域，以協(xié)助管理層進(jìn)行有效的管理；在車(chē)站等設(shè)施的出入通道進(jìn)行人群人數(shù)統(tǒng)計(jì)，可實(shí)時(shí)得到旅客的數(shù)量及區(qū)域分布情況，為科學(xué)調(diào)度和安全管理等提供重要的依據(jù)。

人群人數(shù)統(tǒng)計(jì)算法可以分為兩類(lèi)。一類(lèi)是基于人體分割的人數(shù)統(tǒng)計(jì)，它通過(guò)利用視頻或圖像當(dāng)中人的形狀、顏色和運(yùn)動(dòng)信息來(lái)實(shí)現(xiàn)人的分割和識(shí)別，進(jìn)而達(dá)到人數(shù)統(tǒng)計(jì)的目的。如 Sidenbladh[1]利用人體運(yùn)動(dòng)的光流信息，Gonzalez[2]利用了 KLT特征，Bradsk 和 Davisal[3]利用運(yùn)動(dòng)梯度信息實(shí)現(xiàn)人體分割?？傮w來(lái)說(shuō)，由于人體姿態(tài)、攝像機(jī)的視角、光照條件和背景條件的影響，分割問(wèn)題變得非常復(fù)雜。另一類(lèi)是基于統(tǒng)計(jì)回歸的人數(shù)統(tǒng)計(jì)算法。1995年英國(guó)的Davies等人[4]提出了一種基于人群人數(shù)與人群前景像素?cái)?shù)成線性關(guān)系的方法來(lái)估計(jì)人數(shù)。該方法簡(jiǎn)單易行，但誤差率依然會(huì)隨著人數(shù)的增多而顯著增大。近年來(lái)，部分學(xué)者開(kāi)始嘗試采用統(tǒng)計(jì)回歸方式進(jìn)行人數(shù)統(tǒng)計(jì)。Chan[5]將人群的流量近似為一個(gè)高斯過(guò)程，通過(guò)提取人群的分割特征信息和紋理特征信息，建立回歸模型。但在眾多的分割特征和紋理特征中，哪些特征建立的模型能更接近實(shí)際，目前的研究都是對(duì)這兩類(lèi)特征分開(kāi)進(jìn)行的，尚沒(méi)有一個(gè)很好的理論基礎(chǔ)。本文通過(guò)對(duì)這一問(wèn)題的分析，將分割特征信息和紋理特征信息結(jié)合在一起，通過(guò)PCA降維技術(shù)實(shí)現(xiàn)二者特征的有效融合。在回歸模型方面，本文首先采用多元線性回歸模型，得到特征量和人群人數(shù)之間關(guān)系的趨勢(shì)方向，然后利用在該方向上進(jìn)行高斯回歸，提高了回歸的精度。

2 本文算法

本文算法主要是通過(guò)主成分分析(PCA)和多元統(tǒng)計(jì)回歸模型相結(jié)合。首先，在特征提取階段，主要提取人群圖像的分割特征（包括：分割前景面積、前景周長(zhǎng)和周長(zhǎng)面積比率）和人群圖像的紋理特征。然后，應(yīng)用主成分分析(PCA)對(duì)特征數(shù)據(jù)進(jìn)行降維處理，以達(dá)到對(duì)數(shù)據(jù)進(jìn)行壓縮同時(shí)又最大程度地保持原有數(shù)據(jù)信息的目的。最后，建立多元線性回歸模型，以確定特征量和人群人數(shù)之間關(guān)系的趨勢(shì)方向，通過(guò)回歸出的趨勢(shì)方向，對(duì)高斯過(guò)程回歸模型進(jìn)行修正。圖1為本文算法框架圖。

圖1 本文算法流程圖Fig.1 The flow chart of the proposed algorithm

2.1 特征提取及降維

2.1.1 分割特征提取

首先采用高斯混合模型對(duì)人群視頻圖像進(jìn)行背景建模，然后采用背景減除技術(shù)獲取人群前景圖像，進(jìn)一步通過(guò)3C模型[6]消除檢測(cè)出的人群陰影并通過(guò)形態(tài)學(xué)運(yùn)算去除一些較小的孤立噪聲點(diǎn)，以此獲得最終的人群前景圖像。在人群前景圖像的基礎(chǔ)上，通過(guò)Canny邊緣檢測(cè)獲得人群邊緣圖像。具體的處理結(jié)果如圖2所示。

圖2 人群背景建模及前景提取Fig.2 Crowd background modeling and foreground extraction

在圖2基礎(chǔ)上，提取的分割特征有：

1）人群前景面積：統(tǒng)計(jì)如圖2(c)中白色像素點(diǎn)的個(gè)數(shù)；

2）人群前景周長(zhǎng)：統(tǒng)計(jì)如圖2(d)中白色的邊緣像素點(diǎn)個(gè)數(shù)；

3）周長(zhǎng)面積比率：人群前景周長(zhǎng)和面積的比值，此特征能夠測(cè)量人群前景的形狀復(fù)雜度，能夠很好的反映因人群遮擋而產(chǎn)生的人數(shù)變化。

2.1.2 紋理特征提取

Marana等人[7]的研究表明，不同密度的人群圖像對(duì)應(yīng)的紋理模式不同，高密度的人群在紋理上表現(xiàn)為細(xì)模式，低密度的人群在紋理上表現(xiàn)為粗模式。因此，紋理特征是人群人數(shù)估計(jì)的重要特征之一。

本文提取紋理特征采用灰度共生矩陣GLCM(Gray Level Co-occurrence Matrix)，它是計(jì)算一幅圖像在某一方向上相距某一距離的兩點(diǎn)具有相同強(qiáng)度的概率矩陣。從這個(gè)概率矩陣可以導(dǎo)出一些描述紋理特征的統(tǒng)計(jì)學(xué)參數(shù)。本文分別從0°、45°、90°、135°四個(gè)方向的灰度共生矩陣中分別提取對(duì)比度、熵、能量、同質(zhì)性和灰度相關(guān)統(tǒng)計(jì)參數(shù)，共計(jì) 20個(gè)特征，作為紋理特征。設(shè)灰度共生矩陣為，則：

2.1.3 PCA降維

PCA可以有效的找出數(shù)據(jù)中最“主要”的元素和結(jié)構(gòu)，去除噪音和冗余，將原有的復(fù)雜數(shù)據(jù)降維，揭示隱藏在復(fù)雜數(shù)據(jù)背后的簡(jiǎn)單結(jié)構(gòu)。本文將3個(gè)分割特征和20個(gè)紋理特征，共計(jì)23個(gè)特征串聯(lián)起來(lái)，然后采用PCA技術(shù)對(duì)該特征集進(jìn)行降維處理，找出特征數(shù)據(jù)中最“主要”的元素和結(jié)構(gòu)，去除噪音和冗余，供回歸模型使用。

2.2 高斯過(guò)程回歸算法

統(tǒng)計(jì)回歸是人群人數(shù)統(tǒng)計(jì)的關(guān)鍵步驟，常用的統(tǒng)計(jì)歸回方法有基于SVM回歸、基于BP神經(jīng)網(wǎng)絡(luò)回歸、多元線性回歸和高斯過(guò)程回歸等。本文采用高斯過(guò)程回歸，下面對(duì)其進(jìn)行簡(jiǎn)述[8]。

(1) 回歸模型

為輸出數(shù)據(jù)，人們希望能夠?qū)W習(xí)之間的響應(yīng)關(guān)系，即學(xué)習(xí)一個(gè)函數(shù)：

使其滿足:

對(duì)于非線性回歸，常采用映射φ，φ:RNH ，H是一個(gè)內(nèi)積空間。所以有：

如果ω假定一個(gè)先驗(yàn)概率N(0,I)，且假設(shè)ε是 N(0,σ2I)，那么 f和y都是高斯過(guò)程。其均值和方差計(jì)算如下：

令K=φTφ，則其每個(gè)元素為即為核函數(shù)。于是高斯過(guò)程回歸模型可以表示為：

(2) 預(yù)測(cè)

預(yù)測(cè)是指給定一個(gè)輸入值x，要求相應(yīng)的預(yù)測(cè)值 y*，即希望估算概率，其中，X=[x1, x2,.....,xn]為觀測(cè)到的樣本輸入向量，Y=[y1,y2,……,yn]為相應(yīng)的觀測(cè)輸出值向量。由式（11）可得到：

這里k(X, x)=k(x, X)T=[k(x, x1),.....k(x, xn)]T。令K=k(X, X)，根據(jù)高斯分布的性質(zhì)可以得到：

y*的估算值：

（3）核函數(shù)的選取

高斯過(guò)程模型的性質(zhì)完全由核函數(shù)決定。常用的核函數(shù)有線性核函數(shù)、多項(xiàng)式核函數(shù)、高斯核函數(shù)、基于表征周期函數(shù)的周期核函數(shù)等。由于人群人數(shù)統(tǒng)計(jì)模型是一個(gè)平穩(wěn)過(guò)程，因此這里選取高斯核函數(shù)(高斯核函數(shù)為平穩(wěn)核函數(shù))。

則由式(11)、(15)可以看出高斯模型中有三個(gè)未知參數(shù)，對(duì)于這三個(gè)未知參數(shù)可選用極大似然估計(jì)算法來(lái)求取。

2.3 基于多元線性回歸方向的高斯過(guò)程回歸方法

基于高斯過(guò)程回歸的人群人數(shù)統(tǒng)計(jì)算法認(rèn)為人群人數(shù)序列是一個(gè)有無(wú)限長(zhǎng)度的隨機(jī)過(guò)程，而其任意有限長(zhǎng)度的子序列符合高斯分布，其均值為0。但實(shí)際中人群人數(shù)序列并不是服從均值為0的高斯過(guò)程分布，而是在一個(gè)主方向上波動(dòng)。如圖3所示是多幅圖像中人群人數(shù)和人群前景周長(zhǎng)的關(guān)系圖，從圖中可以看出人群人數(shù)和人群前景周長(zhǎng)之間的關(guān)系是在一定方向上的高斯過(guò)程。為此，本文提出基于多元線性回歸方向的高斯過(guò)程回歸方法，即先采用多元線性回歸確定出該方向，然后在該方向上進(jìn)行高斯回歸。

圖3 人群人數(shù)與邊緣像素關(guān)系圖Fig.3 The relation between crowd count and the number of edge pixel

設(shè)PCA降維后的人群前景分割特征和紋理特征向量為 Xp=[xp1,xp2,…,xpn]，Yr為手工標(biāo)定的實(shí)際人數(shù)，Yml為多元線性回歸結(jié)果，Yg為高斯過(guò)程回歸的結(jié)果，Yc=Yr-Yml。則本文算法為：

（1）建立多元線性回歸模型Yml=fmlr(Xp)，用Yr和Xp訓(xùn)練該模型，以確定特征向量和人群人數(shù)之間關(guān)系的趨勢(shì)方向；

（2）建立高斯過(guò)程回歸模型Yg=fGpr(Xp)，用Yc和Xp訓(xùn)練該模型；

（3）由于步驟（2）中的高斯回歸模型是用手工標(biāo)定出來(lái)的實(shí)際人群人數(shù)Yr和多元線性回歸結(jié)果Yml的之差Yc來(lái)進(jìn)行回歸的，因此在實(shí)際應(yīng)用時(shí)，回歸出來(lái)的結(jié)果Yg表示估計(jì)出來(lái)的人群人數(shù)和多元線性回歸之差，即由此可得到估計(jì)的人群人數(shù)為：

圖4(a)是本文通過(guò)人群人數(shù)和人群前景周長(zhǎng)建立的多元線性回歸模型，圖4(b)是應(yīng)用本文算法對(duì)人群人數(shù)和人群前景周長(zhǎng)建立的回歸模型。

圖4 本文算法的模型實(shí)驗(yàn)結(jié)果Fig.4 The experimental result of the proposed model

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本實(shí)驗(yàn)所用的人群數(shù)據(jù)集來(lái)自文獻(xiàn)[5]，視頻拍攝于圣地牙哥加州大學(xué)（University of California,San Diego，簡(jiǎn)稱UCSD）一條人行道上的一個(gè)靜止的攝像頭。圖5給出了其中的兩幅人群圖像。

圖5 人群數(shù)據(jù)圖像Fig.5 The samples of the crowd image

3.2 評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)結(jié)果用兩個(gè)指標(biāo)量度：平均絕對(duì)誤差(Absolute Mean Error)和均方差(Mean Squared Error)。假設(shè)人數(shù)的真實(shí)數(shù)據(jù)為p(i)i=1,2,···,n ，估計(jì)數(shù)據(jù)是 y(i)i=1,2,···,n，則平均絕對(duì)誤差ErrT和均方差MSE的計(jì)算公式為：

3.3 實(shí)驗(yàn)結(jié)果及分析

在UCSD視頻集上測(cè)試本文提出的方法的性能。從UCSD中隨機(jī)抽取1700幅圖像，手工標(biāo)定出圖像當(dāng)中的人數(shù)。首先，用前1000幅圖像來(lái)對(duì)本文算法進(jìn)行模型訓(xùn)練；然后，用其余700幅來(lái)對(duì)模型進(jìn)行測(cè)試，并通過(guò)式(17)和式(18)來(lái)進(jìn)行模型的評(píng)價(jià)。表1為本文在UCSD視頻集上實(shí)現(xiàn)對(duì)各種算法的實(shí)驗(yàn)評(píng)價(jià)。

表1 模型評(píng)價(jià)結(jié)果Tab.1 The evaluation results of the proposed model

圖6給出了測(cè)試用的700幅圖像中手工標(biāo)定出的實(shí)際人數(shù)和估計(jì)出的人數(shù)的實(shí)驗(yàn)結(jié)果，其中紅點(diǎn)代表實(shí)際人數(shù)，綠點(diǎn)代表估計(jì)人數(shù)。

圖6 估計(jì)人數(shù)與標(biāo)定的實(shí)際人數(shù)對(duì)比圖Fig.6 The comparison of the estimated people number and the real number

從表1可得出以下結(jié)論：（1）應(yīng)用PCA降維后的特征，使得兩種統(tǒng)計(jì)模型的ErrT值和MSE值都有明顯的降低，可見(jiàn)用PCA降維后的特征量表述能力更強(qiáng)，區(qū)分度更高；（2）由于本文算法是多元線性和高斯回歸的結(jié)果之和，因此在本文的算法中使用PCA降維應(yīng)具有更好的效果；（3）本文算法的ErrT值和MSE值最低，相比之下更能準(zhǔn)確的統(tǒng)計(jì)人群人數(shù)，說(shuō)明本文算法是有效的。另外從圖6也可看出，手工標(biāo)定出的實(shí)際值和本文算法估計(jì)值非常接近，大部分誤差基本在1到3之間。

4 總結(jié)

本文通過(guò)分析多種人群特征以及其在高斯過(guò)程回歸和多元線性回歸兩種回歸算法下的實(shí)驗(yàn)數(shù)據(jù)，提出了結(jié)合分割特征和紋理特征相結(jié)合，通過(guò)PCA降維提取人群人數(shù)特征的方法，進(jìn)一步通過(guò)多元線性回歸和高斯過(guò)程回歸相結(jié)合的人群人數(shù)估計(jì)方法。實(shí)驗(yàn)證明，本文所提出的方法能夠更加準(zhǔn)確地估計(jì)人群人數(shù)。

[1]Hedvig Sidenbladh Michael J.Black.Learning image statistics for Bayesian tracking [C].Proceedings of Eighth IEEE International Conference on Computer Vision, 2001, Vol.2:709-716

[2]J J Gonzalez, I S Limis, P Fua , D Thalmann.Robust tracking and segmentation of human motion in an image sequence [C].Proceedings of 2003 IEEE International Conference on Acoustics,Speech,and Signal Processing, 2003, Vol.3:29-32

[3]A F Bobick , J W Davis.The representation and recognition of action using temporal templates[C].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 1997

[4]Davies A C, Jia Hong Yin, Velastin S A.Crowd monitoring using image processing [J].Electronics & Communication Engineering Journal, 1995, 7(1):37-47.

[5]Antoni B.Chan, Zhang-Sheng John, Liang Nuno Vasconcelos.Privacy Preserving Crowd Monitoring:Counting People without People Models or Tracking [C].In IEEE Conference on Computer Vision and Pattern Recognition, Anchorage, 2008

[6]E Salvador, A Cavallaro, T Ebrahhimi.Shadow Identification and Classification Using Invariant Color Models [C].IEEE,2001, 3:1545-1548

[7]Marana A N, Costa L F, Lotufo R A, Velastin S A.On the efficacy of texture analysis for crowd monitoring [C].Processding s of IEEE Conference on Computer Graphics, Image Processing and Vision, 1998:354-361

[8]沈赟.基于高斯過(guò)程的時(shí)間序列分析[D].上海：上海交通大學(xué)，2009