韓征彬，王宇，孟濤濤

（長春理工大學(xué) 電子信息工程學(xué)院，長春 130022）

近年來，隨著經(jīng)濟(jì)的發(fā)展，城市化進(jìn)程的加快，大城市的人口密度急劇增加，人群密度過高可能造成群體性的事件，尤其像一些如火車站，地鐵站，旅游景點(diǎn)等人群密集區(qū)域。因此，對公共區(qū)域進(jìn)行監(jiān)測和人數(shù)估計(jì)是十分有必要的。

基于視頻圖像的人群密度估計(jì)目前主要有兩個研究方向，主要有基于像素特征統(tǒng)計(jì)［1-4］和基于紋理特征［5，6］的人群密度估計(jì)算法?；谙袼亟y(tǒng)計(jì)的人群密度估計(jì)方法速度快，實(shí)時性好，可以實(shí)時處理視頻圖像，在人群密度較小時，可以取得較好的效果，但隨著密度變大，人群之間出現(xiàn)遮擋，檢測誤差變大。基于紋理特征的估計(jì)算法適合處理人群密度較高場景，但方法速度慢，實(shí)時性較差。本文是基于像素特征統(tǒng)計(jì)方法的人群數(shù)目估計(jì)，通過統(tǒng)計(jì)人群前景像素?cái)?shù)量進(jìn)行人數(shù)估計(jì)，但當(dāng)人群密度過高時，由于遮擋的影響，方法準(zhǔn)確性急劇下降。針對遮擋造成的誤差，盧曉威［7］提出了一種遮擋系數(shù)計(jì)算方法，對行人進(jìn)行邊緣檢測，設(shè)定一條與行人垂直的虛擬線，當(dāng)出現(xiàn)遮擋情況時，同一虛擬線上的相鄰邊緣點(diǎn)距離的期望將會縮小，同時，遮擋情況下邊緣點(diǎn)的數(shù)量也隨之變大。結(jié)合邊緣間隔和邊緣點(diǎn)數(shù)量計(jì)算遮擋系數(shù)，此方法容易受到背景邊緣的影響，邊緣檢測需要比較精確，且無法處理上下遮擋的影響。針對此問題，本文提出一種新的遮擋系數(shù)的計(jì)算方法，根據(jù)行人在圖像中的高度，行人前景像素的數(shù)量等特征來計(jì)算遮擋系數(shù)，以此來彌補(bǔ)遮擋造成的漏算，同時，本方法結(jié)合圖像區(qū)域劃分來消除攝像機(jī)透視效應(yīng)的影響，提高了人群計(jì)數(shù)的準(zhǔn)確度。

1 算法

通過統(tǒng)計(jì)前景像素進(jìn)行人群數(shù)目估計(jì)，首先提取視頻幀的前景圖像，根據(jù)行人在圖像中的高度對圖像進(jìn)行區(qū)域劃分，分別統(tǒng)計(jì)前景圖像中每一個連通區(qū)域的人數(shù)，相加得到最終的人數(shù)。

1.1 前景提取

以行人為前景的區(qū)域是本文的關(guān)注點(diǎn)，視頻圖像是以靜止的相機(jī)拍攝的，因此背景是靜態(tài)的，需要在靜止的背景下提取前景，常用的靜止背景下的前景目標(biāo)提取方法主要有靜態(tài)差分法，混合高斯模型GMM（Gaussian Mixture Model）和基于時空背景隨機(jī)更新的ViBe（Visual Background Extractor）模型等。

靜態(tài)差分法需要自主選擇一張沒有前景的圖像作為背景，然后將要測試的圖像減去背景圖像，就可以得到前景，該方法比較簡單，但是背景是固定的，無法更新［8］，不適應(yīng)背景變化的情形。

混合高斯背景模型是由Stauffer等［9］提出的經(jīng)典的自適應(yīng)背景建模方法，假設(shè)每個像素在時域上符合正態(tài)分布，在一定閾值范圍內(nèi)的像素判定為背景，并用來更新模型，不符合該分布的像素即為前景。高斯背景模型通過不斷地背景更新來適應(yīng)環(huán)境的變化。可以適用于背景緩慢變換的場景中，但是高斯背景模型對噪聲較為敏感，對背景復(fù)雜的場景不太適用。

ViBe算法［10］主要特點(diǎn)是隨機(jī)背景更新策略，由于像素的變化存在不確定性，很難用一個固定的模型來表征，ViBe算法基于這樣一個假設(shè)：在無法確定像素變化的模型時，隨機(jī)模型在一定程度上更適合模擬像素變化的不確定性。在模型中，背景模型為每個背景點(diǎn)存儲了一個樣本集，然后將每一個新的像素值和樣本集進(jìn)行比較來判斷是否屬于背景點(diǎn)?？梢灾廊绻粋€新的觀察值屬于背景點(diǎn)那么它應(yīng)該和樣本集中的采樣值比較接近。該算法性能優(yōu)于混合高斯背景模型，并且具有很好的抗噪能力。算法主要分為以下部分：

（1）模型的初始化

像素（m，n）表示某幀圖像的一個像素點(diǎn)，像素（m，n）的樣本集可以表示為S(m,n)={p1,p2,p3,...,pn}，每個樣本集的大小為n，一般取n=20。模型初始化，就是初始化樣本集，一般初始化在視頻的第一幀完成。每個像素有n個樣本集，初始化樣本集的方法不是唯一的，最直觀的方法就是根據(jù)像素（m，n）和像素（m，n）的領(lǐng)域來初始化，即將（m，n）的像素值和（m，n）的幾個領(lǐng)域值隨機(jī)賦給（m，n）對應(yīng)的n個樣本。

（2）像素的分類過程

初始化結(jié)束后需要檢測每一幀的前景圖像，要根據(jù)當(dāng)前幀的像素值和樣本集里的像素值進(jìn)行比對，得出當(dāng)前幀的某個像素值是不是前景圖像的像素值。具體過程如下：

設(shè)當(dāng)前幀為第k幀，pk(m,n)表示第k幀圖像（m，n）位置的像素值。如圖1，表示的是（m，n）位置像素集，p1至p4為（m，n）的樣本集，坐標(biāo)軸C為像素灰度值，圖1針對的是單通道灰度圖像。如果是RGB圖像，那么就需要是一個三維立體坐標(biāo)系，三個軸分別表示R，G和B。選定一個r，在距pk(m,n)值半徑r距離范圍內(nèi)的樣本值有p2，p3，在半徑r范圍內(nèi)的樣本值總數(shù)計(jì)為L，那么下圖L=2。依次處理所有像素，就能得出前景圖像了。其中min和r值需要預(yù)先設(shè)定的，本文中給出的值是2和10。

圖1 像素分類判別示意圖

（3）模型的更新策略

隨著環(huán)境的變化，例如光照或者背景物體的更新，需要更新背景模型。具體的更新策略：每一幀對當(dāng)前像素最多只更新一個樣本值，更新的概率為1/φ。如果要更新，那么更新的這個樣本值隨機(jī)抽取。同樣除了更新當(dāng)前像素，還有1/φ的更新概率要更新當(dāng)前像素的鄰域值，更新方法跟當(dāng)前像素相同。簡單地說，就是除了更新當(dāng)前像素的樣本值，也要更新鄰域的樣本值，只是是否更新是有一定概率的。

在選擇要替換的樣本集中的樣本值時候，一般是隨機(jī)選取一個樣本值進(jìn)行更新，這樣可以保證樣本值平滑的生命周期。由于是隨機(jī)的更新，這樣一個樣本值在時刻t不被更新的概率是(n-1)/n，假設(shè)時間是連續(xù)的，那么在dt的時間過去后，樣本值仍然保留的概率是

這表明樣本值在模型中的更新與時間t無關(guān)，更新策略是合適的［11］。

圖2（a）為原圖像，（b）為ViBe前景提取后的前景圖像，可以計(jì)算每個人平均所占有的前景像素?cái)?shù)，前景像素總數(shù)除以平均人前景像素?cái)?shù)即可得到總?cè)藬?shù)，但由于透視效應(yīng)的影響，遠(yuǎn)離相機(jī)的行人所占的前景像素?cái)?shù)相對少一些，直接根據(jù)正比關(guān)系計(jì)算出的人數(shù)會出現(xiàn)比較大的誤差。

圖2 原圖像和前景檢測圖像

1.2 區(qū)域劃分

如果不考慮透視效應(yīng)，例如文獻(xiàn)［4］中局部特征估計(jì)算法，未考慮透視效應(yīng)，沒有進(jìn)行區(qū)域劃分，整個場景用一個平均行人前景像素?cái)?shù)SP，統(tǒng)計(jì)前景圖像中所有前景像素?cái)?shù)，再除以SP即可得到場景中的人數(shù)，但因?yàn)橥敢曅?yīng)，靠近相機(jī)的行人前景像素?cái)?shù)比較多，遠(yuǎn)離相機(jī)的前景像素?cái)?shù)比較少，求得的人數(shù)會偏小。

圖3 不同位置的行人高度圖

針對透視效應(yīng)的影響，Donatello等人［12］提出一種以行人在圖像中的高度作為尺度基準(zhǔn)進(jìn)行區(qū)域劃分，該方法用在了不同子區(qū)域每個行人所占的角點(diǎn)數(shù)量不同，本文借鑒了文獻(xiàn)［12］的方法，根據(jù)行人高度進(jìn)行區(qū)域劃分，即跟蹤識別一個平均身高的人，統(tǒng)計(jì)他在不同位置的圖像高度，如圖3（a）（b）（c），行坐標(biāo)位置為158，116和75，高度為32，27和20，通過跟蹤統(tǒng)計(jì)，在坐標(biāo)系中描出位置和高度關(guān)系如圖4所示。

圖4 位置和身高關(guān)系圖

圖4中x軸表示行人的所在圖像的行坐標(biāo)row，單位為像素。y軸表示行人高度height，單位為像素，從圖4中可以看出位置和身高近似成一個線性關(guān)系，通過回歸擬合，位置和身高的線性關(guān)系為：

因此按照此公式進(jìn)行區(qū)域劃分，首先劃分靠近圖像底部的區(qū)域，在劃分上方區(qū)域，當(dāng)寬度小于人的高度時不再劃分。如圖5，可以看出劃分的子區(qū)域高度近似人在圖像中的高度。在此場景中，按照圖像從上到下，子區(qū)域編號1-n。

圖5 圖像區(qū)域劃分示意圖

每一個子區(qū)域前景像素?cái)?shù)和人數(shù)的比例關(guān)系不同。統(tǒng)計(jì)一個平均身高的人在不同區(qū)域的前景像素?cái)?shù)SP。統(tǒng)計(jì)人數(shù)是時，統(tǒng)計(jì)每個區(qū)域的像素?cái)?shù)，再除以SP即可以得到各個區(qū)域的人數(shù)，相加可以得到總的人數(shù)。如公式（3）：

式中，SubPxlNumk表示第k個子區(qū)域的前景像素?cái)?shù)，SPk表示第k個子區(qū)域的平均行人像素?cái)?shù)。在行人互相無遮擋的情況下，按照公式（3）可以得出一個比較準(zhǔn)確的人數(shù)估計(jì)，當(dāng)行人之間互相遮擋時，由于遮擋的影響，按照公式（3）估計(jì)得到人數(shù)會偏小一些。

1.3 計(jì)算遮擋系數(shù)

公式（3）按照子區(qū)域進(jìn)行人數(shù)統(tǒng)計(jì)，無法消除由于遮擋引起的誤差。因此，本文在得到前景圖像后，依次處理每一個連通區(qū)域，如果行人之間互相沒有遮擋，可以得到：

式中BlockPxlNumk表示第k個連通區(qū)域前景像素?cái)?shù)量，SPk表示連通區(qū)域質(zhì)心所在子區(qū)域的平均行人像素?cái)?shù)，m表示共有m個連通區(qū)域。

如果存在遮擋，可以得知公式（4）得到的人數(shù)會偏小一些，因此可以乘以一個比1大的系數(shù)，如公式（5）：

式中ωk為第k個連通區(qū)域的遮擋系數(shù)，計(jì)算過程如下。

一般的監(jiān)控相機(jī)都是斜向下安裝的，包括本文用到的視頻數(shù)據(jù)，經(jīng)過實(shí)驗(yàn)觀察，在此情形下大部分遮擋為以下形式，示意圖為圖6，虛線框?yàn)榍熬皥D像的外接矩形，高寬為BlockHeight和BlockWidth，兩個矩形為行人示意，陰影為遮擋部分。圖7為行人遮擋原圖像和前景圖像連通區(qū)域圖。

圖6 行人遮擋示意圖

圖7 行人遮擋原圖像和前景圖像連通區(qū)域圖

從圖6可以看出遮擋部分的高度越大，遮擋的越多，即BlockHeight越小，遮擋的越多，遮擋系數(shù)越大。當(dāng)行人位置在圖像靠上位置時，行人高度較低，相同的遮擋高度，遮擋人的面積較大，遮擋系數(shù)較大，BlockHeight一般是大于行人高度，且越接近，遮擋越多。在上下遮擋的情況下，當(dāng)上方行人偏左或者偏右也會影響遮擋部分的大小，針對單獨(dú)的人群前景區(qū)域，前景像素?cái)?shù)所占他們外接矩形的比例越大，遮擋系數(shù)越大。根據(jù)以上分析，本文計(jì)算遮擋系數(shù)時，綜合考慮外接矩形高度、行人高度、前景像素?cái)?shù)所占外接矩形的比例三個因素，如公式（6）所示，

式中SubHeight是行人的高度，也是行人所處的子區(qū)域高度，C為前景像素所占外接矩形的比例。

當(dāng)SubHeight固定時，BlockHeight越小，遮擋系數(shù)ω越大。當(dāng)行人位置在圖像中靠上時，遮擋高度不變時，SubHeight變小，BlockHeight變小，ω越大。當(dāng)C越大時，ω越大。分析得知，公式（6）符合遮擋系數(shù)與外接矩形高度、行人高度、前景像素?cái)?shù)所占外接矩形比例三個要素的變化關(guān)系。

2 實(shí)驗(yàn)結(jié)果和分析

為了驗(yàn)證本文的算法，在UCSD公共人群數(shù)據(jù)庫上進(jìn)行了測試。UCSD公共數(shù)據(jù)庫是美國加州大學(xué)圣地亞哥分校建立的，數(shù)據(jù)庫拍攝了兩個不同人行橫道。本文驗(yàn)證時采用其中的人行橫道1中的數(shù)據(jù)。

本文測試了5000幀圖像，并選取了3個人數(shù)區(qū)間不同的時間段1，2，3，人數(shù)分別在8至16，12至27，16至38之間，如圖8（a），（b）和（c）所示。時間段1是第4605幀到4870幀，時間段2是第15幀到第280幀，時間段3是第845幀到第1110幀。

圖8 各區(qū)間人數(shù)示意圖

將文獻(xiàn)4中未考慮透視效應(yīng)的局部特征估計(jì)算法，考慮透視效應(yīng)的區(qū)域劃分算法（公式3）和本文考慮透視效應(yīng)和遮擋的算法（公式5）進(jìn)行對比測試，分別對以上的三個時間段進(jìn)行測試，實(shí)驗(yàn)結(jié)果如圖9所示。

圖9 結(jié)果對比

由圖9可以看出，通過對不同人數(shù)區(qū)間段做對比測試，劃分區(qū)域的算法比不分的算法結(jié)果要好，本文考慮到遮擋的算法是最接近實(shí)際人數(shù)的。對三種算法計(jì)算標(biāo)準(zhǔn)差（MSE），得到結(jié)果如表1所示。

表1 標(biāo)準(zhǔn)差結(jié)果比對

由表1可以看出，本文算法計(jì)算的MSE在三個時間段上都是最小的，一定程度上減少遮擋的影響，提高了檢測的準(zhǔn)確率，但隨著人數(shù)增多，人群密度增大，MSE也逐漸變大，但仍然比其他兩種算法準(zhǔn)確。

3 結(jié)論

本文通過統(tǒng)計(jì)人群前景像素?cái)?shù)進(jìn)行人數(shù)估計(jì)，并且提出了一個新的遮擋系數(shù)的計(jì)算方法，用于減少行人之間相互遮擋引起的誤差。結(jié)合了區(qū)域劃分，根據(jù)行人在圖像中的高度對圖像進(jìn)行區(qū)域劃分處理，減少了因?yàn)橥敢曅?yīng)的影響。對5000幀圖像實(shí)驗(yàn)結(jié)果對比，本文算法提高了人群數(shù)目估計(jì)的準(zhǔn)確性，減少了因?yàn)樾腥苏趽鹾屯敢曅?yīng)引起的誤差。