胡亞洲, 周亞麗， 張奇志

(北京信息科技大學(xué) 自動(dòng)化學(xué)院，北京 100192)

0 引 言

當(dāng)今社會(huì)，城市發(fā)展十分迅速，大量人口不斷地涌入城市，給城市的治理造成了很大的困難。尤其一些人流量比較密集的地方，極易發(fā)生擁堵或踩踏等事故，比如火車站廣場(chǎng)等。人流過于密集為工作人員的管理帶來很大的困難，同時(shí)智慧城市的建設(shè)也在如火如荼的進(jìn)行中，智能監(jiān)控統(tǒng)計(jì)人流量也屬于智慧城市建設(shè)的一部分，因此，一套安全有效的高點(diǎn)行人檢測(cè)方案對(duì)智慧城市的建設(shè)是很有幫助的。

行人檢測(cè)的方法主要有方向梯度直方圖(Histogram of Oriented Gradient, HOG)和支持向量機(jī)(Supported Vector Machine,SVM)、AdaBoost和Haar分類器訓(xùn)練行人檢測(cè)模型、DPM行人檢測(cè)[1]和近幾年廣泛使用的深度學(xué)習(xí)行人檢測(cè)算法。2005年在IEEE國(guó)際計(jì)算機(jī)視覺與模式識(shí)別會(huì)議(IEEE Conference on Computer Vision and Pattern Recognition，CVPR)上，Dalal等[2]提出利用HOG進(jìn)行特征提取。HOG特征是一種在計(jì)算機(jī)視覺和圖像處理中用來進(jìn)行物體檢測(cè)的特征描述子，它通過計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來構(gòu)成特征。提取的HOG特征結(jié)合SVM分類器組成的算法，已經(jīng)被廣泛的在圖像處理目標(biāo)識(shí)別領(lǐng)域應(yīng)用，尤其在行人檢測(cè)中獲得了很好的效果，在工程項(xiàng)目上也廣泛使用[3]。雖然Papageorgiou等在人臉檢測(cè)上最先應(yīng)用Haar-like特征，但是在2001年Viola等[4]在Adaboost迭代算法的基礎(chǔ)上，使用Haar-like小波特征和積分圖方法進(jìn)行人臉檢測(cè)[5]，提取了關(guān)于人臉更好的特征，而且對(duì)AdaBoost迭代算法訓(xùn)練出的弱分類器進(jìn)行級(jí)聯(lián)，組成一個(gè)更好的強(qiáng)分類器，因而達(dá)到了更好的檢測(cè)效果,這次飛躍，在人臉檢測(cè)的歷史進(jìn)程中具有重大的意義。同樣Haar-like特征[6]在行人檢測(cè)上同樣適用。上述算法實(shí)現(xiàn)過程都是提取大量樣本的特征，通過學(xué)習(xí)記憶，到達(dá)再次出現(xiàn)行人的時(shí)候可以準(zhǔn)確地檢測(cè)出來，前提是人物的特征比較明顯。深度學(xué)習(xí)的概念由Hinton等于2006年提出，近幾年深度學(xué)習(xí)應(yīng)用非常廣泛，在計(jì)算機(jī)視覺，語音識(shí)別，自然語言處理方面都有廣泛的應(yīng)用。深度學(xué)習(xí)行人檢測(cè)的主要算法有Faster-Rcnn、SSD、Yolo，這些算法在目標(biāo)檢測(cè)領(lǐng)域都有很好的效果。2015年Ross Girshick團(tuán)隊(duì)在Fast-Rcnn基礎(chǔ)上提出了Faster-Rcnn，簡(jiǎn)單網(wǎng)絡(luò)目標(biāo)檢測(cè)(ZF模型)速度可以達(dá)到幀率17 f/s，在PASCAL VOC數(shù)據(jù)集上的準(zhǔn)確率為59.9%；復(fù)雜網(wǎng)絡(luò)幀率在5 f/s左右，準(zhǔn)確率可以達(dá)到78.8%[7]。雖然該算法速度慢，但是Faster-Rcnn是通過大量樣本自己去學(xué)習(xí)目標(biāo)的特征，在檢測(cè)效果上比傳統(tǒng)算法有了很大的提升，但是該算法需要在配置GPU顯卡的電腦上運(yùn)行，對(duì)計(jì)算機(jī)硬件的要求比較高，很多應(yīng)用場(chǎng)景不可能配置高性能的計(jì)算機(jī)，而且針對(duì)本文的高點(diǎn)行人檢測(cè)應(yīng)用場(chǎng)景，雖然樣本也足夠多，但是目標(biāo)物很小，特征不明顯，當(dāng)新的行人出現(xiàn)時(shí)分不清是目標(biāo)物還是噪聲。綜合分析，以上算法不適合現(xiàn)在的應(yīng)用場(chǎng)景，本文中處理的行人目標(biāo)很小，根本不能提取足夠的特征來進(jìn)行學(xué)習(xí)，所以排除了一些主流的行人檢測(cè)算法。

由于場(chǎng)景比較特殊，行人占據(jù)的像素很小，本文通過運(yùn)動(dòng)的特征來統(tǒng)計(jì)人數(shù)，常見的方法有加權(quán)平均背景建模、混合高斯背景建模、幀間差分法、背景差分法。混合高斯背景建模是基于像素樣本統(tǒng)計(jì)信息的背景表示方法，利用像素在較長(zhǎng)時(shí)間內(nèi)大量樣本值的概率密度等統(tǒng)計(jì)信息(如模式數(shù)量、每個(gè)模式的均值和標(biāo)準(zhǔn)差)表示背景[8]，然后通過視頻流中的當(dāng)前幀與背景幀做差分得到運(yùn)動(dòng)目標(biāo)，但是該算法的計(jì)算量比較大，因而對(duì)機(jī)器的性能要求較高，而且對(duì)于小物體檢測(cè)的效果不太理想。背景差分法是利用當(dāng)前輸入幀和背景差來獲取運(yùn)動(dòng)目標(biāo)，算法優(yōu)點(diǎn)是簡(jiǎn)單、處理速度快，且差分結(jié)果能直接提取運(yùn)動(dòng)目標(biāo)，不足是背景圖像會(huì)受到天氣和光線等外界因素的影響，需要對(duì)背景進(jìn)行動(dòng)態(tài)更新[9]。加權(quán)平均背景建模是一種簡(jiǎn)單、計(jì)算速度快但對(duì)環(huán)境光照變化和背景的多模態(tài)性比較敏感的一種背景建模算法。其基本思想是：計(jì)算每個(gè)像素的平均值作為它的背景模型。檢測(cè)當(dāng)前幀時(shí)，只需要將當(dāng)前幀像素值I(x,y)減去背景模型中相同位置像素的平均值u(x,y)，得到差值d(x,y)，將d(x,y)與一個(gè)閾值T進(jìn)行比較，得到輸出。幀間差分法是一種通過對(duì)視頻圖像序列中相鄰兩幀作差分運(yùn)算來獲得運(yùn)動(dòng)目標(biāo)輪廓的方法，它可以很好地適用于存在多個(gè)運(yùn)動(dòng)目標(biāo)和攝像機(jī)移動(dòng)的情況[10]。當(dāng)監(jiān)控場(chǎng)景中出現(xiàn)異常物體運(yùn)動(dòng)時(shí)，幀與幀之間會(huì)出現(xiàn)較為明顯的差別，兩幀相減，得到兩幀圖像亮度差的絕對(duì)值，但是大型廣場(chǎng)行人的像素很小，單純的用幀間差分法很難判斷運(yùn)動(dòng)物體屬于噪聲還是目標(biāo)。

針對(duì)上述算法分析，結(jié)合高點(diǎn)行人檢測(cè)的具體應(yīng)用場(chǎng)景，本文提出采用加權(quán)平均背景建模和幀間差分法相結(jié)合的算法實(shí)現(xiàn)高點(diǎn)行人檢測(cè)。背景建模實(shí)時(shí)更新背景與當(dāng)前幀進(jìn)行比較，同時(shí)幀與幀之間采用幀間差分法比較，對(duì)兩次比較的結(jié)果做差分，最后得出檢測(cè)的結(jié)果。

1 算法實(shí)現(xiàn)

1.1 虛擬線圈即檢測(cè)區(qū)域繪制

高點(diǎn)攝像頭可以實(shí)現(xiàn)大面積布控，但是很多區(qū)域并不是我們感興趣的區(qū)域，本文通過繪制虛擬線圈，可以有效地檢測(cè)對(duì)應(yīng)的感興趣區(qū)域。

虛擬線圈的設(shè)置主要有兩點(diǎn)目的，①手動(dòng)繪制檢測(cè)區(qū)域，實(shí)現(xiàn)只檢測(cè)目標(biāo)區(qū)域的行人;②由于處理數(shù)據(jù)的減少，提高了背景建模的效率，實(shí)時(shí)性更好。

1.2 背景建模

1.2.1背景提取

在統(tǒng)計(jì)運(yùn)動(dòng)物體時(shí)必須先建立場(chǎng)景的背景，這樣才可以準(zhǔn)確地統(tǒng)計(jì)出有用的前景信息，僅使用單幀圖片是無法獲得足夠的信息，因此需要在實(shí)時(shí)統(tǒng)計(jì)行人數(shù)量前先進(jìn)行背景建模。本文使用了多幀圖像平均的方法[11],其原理是：背景圖像的灰度值和運(yùn)動(dòng)物體灰度值有很大的差異，當(dāng)運(yùn)動(dòng)物體經(jīng)過背景圖像上的特定點(diǎn)時(shí)，這就會(huì)引起該位置像素的變化，所以通過計(jì)算一段時(shí)間的圖像的平均像素值，以此來獲得該場(chǎng)景的背景圖。本文中提取前N(N= 300)幀圖像進(jìn)行前期的背景建模，N取值越大，背景提取的效果越好。多幀平均算法的表達(dá)式如下:

(1)

式中:Bn為采集到第n幀圖像時(shí)系統(tǒng)建立的加權(quán)平均背景模型，存儲(chǔ)為灰度圖格式;N為加權(quán)平均的幀數(shù);fn,fn-1,fn,…,fn-N+1為系統(tǒng)所保留的連續(xù)N幀圖像。圖1為背景建模效果圖。

(a)原始幀

(b)100幀背景建模

(c)200幀背景建模

(d)300幀背景建模

從圖1(a)可以看到很多行人;圖1(b)是通過100幀的背景建模，行人已經(jīng)模糊，可以隱約看到行人，對(duì)于一直站著不動(dòng)的行人，會(huì)把這些行人當(dāng)作背景處理;圖1(c)是經(jīng)過200幀連續(xù)圖像背景建模的效果，實(shí)際背景效果比圖1(b)有一定的提升;圖1(d)是經(jīng)過300幀背景建模，可以發(fā)現(xiàn)背景的效果更加顯著，雖然還有瑕疵，這是因?yàn)楸尘敖５膸瑪?shù)影響，通過后續(xù)實(shí)時(shí)背景更新，背景效果會(huì)有更好的提升。

1.2.2背景差分

背景差分[12]是運(yùn)動(dòng)目標(biāo)檢測(cè)中一種常見的方法，它是利用當(dāng)前幀圖像與背景圖像的差分運(yùn)算來檢測(cè)出運(yùn)動(dòng)區(qū)域的一種算法。該算法實(shí)現(xiàn)的具體過程：①建立背景圖像；②當(dāng)前幀與背景圖像做差分運(yùn)算;③選擇一個(gè)合適的閾值，對(duì)差分圖像進(jìn)行二值化。

背景差分的公式表達(dá)為：

式中:Ck(x,y)為當(dāng)前幀圖像;Bk(x,y)為背景建模之后產(chǎn)生的背景圖像;Dk(x,y)為當(dāng)前幀圖像與背景圖像做差分得到的差分圖像。通過式(3)可以把差分圖像轉(zhuǎn)化為二值化圖像，若Dk(x,y)>T(T為二值化的閾值)，則Rk(x,y)=0，為運(yùn)動(dòng)的行人;Rk(x,y)=1為背景圖像。

該算法原理及實(shí)現(xiàn)過程較簡(jiǎn)單，根據(jù)高點(diǎn)檢測(cè)場(chǎng)景，通過調(diào)節(jié)參數(shù)及相關(guān)閾值可以準(zhǔn)確地檢測(cè)到運(yùn)動(dòng)目標(biāo)的位置、大小和形狀等相關(guān)信息，但是該算法受光線、天氣等外界條件變化的影響較大。

1.2.3背景更新

前期采集300幀圖像作為背景建模的樣本，但是外部的環(huán)境也是在緩慢變化的,如光線等，這些變化會(huì)對(duì)差分的結(jié)果產(chǎn)生影響，所以需要實(shí)時(shí)更新背景[13]，以適應(yīng)場(chǎng)景的變化，達(dá)到更好的檢測(cè)效果。背景實(shí)時(shí)更新是通過獲取的當(dāng)前幀與背景的加權(quán)平均所得，更新計(jì)算式如下：

(4)

式(4)說明新的1幀背景模型Bn可以由上一次計(jì)算得到的背景模型Bn-1，當(dāng)前fn以及fn-N幀遞推得到，這樣就實(shí)現(xiàn)了背景模型的更新。顯然，N值越大，得到的背景模型Bn就越接近于真實(shí)背景。

1.3 幀間差分法

幀間差分法[14]是一種通過對(duì)視頻圖像序列中相鄰兩幀作差分運(yùn)算來獲得運(yùn)動(dòng)目標(biāo)輪廓的方法，它可以很好地適用于存在多個(gè)運(yùn)動(dòng)目標(biāo)和攝像機(jī)移動(dòng)的情況。幀間差分法的優(yōu)點(diǎn)是：算法實(shí)現(xiàn)簡(jiǎn)單，程序設(shè)計(jì)復(fù)雜度低。對(duì)光線等場(chǎng)景變化不太敏感，能夠適應(yīng)各種動(dòng)態(tài)環(huán)境，穩(wěn)定性較好。其缺點(diǎn)是：該算法容易受到噪聲的干擾，如果消除不了噪聲，會(huì)產(chǎn)生很多的誤檢，對(duì)輸出結(jié)果有很大的影響。

1.4 背景建模與幀間差分法結(jié)合

單獨(dú)使用背景建模算法會(huì)受光線和天氣等的影響，尤其光線變化時(shí)背景建模的前景檢測(cè)方法易將背景檢測(cè)為前景,形成大片陰影或者大的“斑點(diǎn)”的缺陷，造成行人定位坐標(biāo)不準(zhǔn)確和產(chǎn)生誤檢。幀間差分法對(duì)光線不敏感，能夠適用各種動(dòng)態(tài)，可以有效克服光線的影響，但是對(duì)噪聲不敏感，由于行人目標(biāo)比較小，單獨(dú)使用幀間差分法會(huì)把噪聲誤判為行人，造成誤檢，使得統(tǒng)計(jì)結(jié)果不準(zhǔn)確。鑒于以上算法的優(yōu)缺點(diǎn)，本文將背景建模和幀間差分法結(jié)合起來，可以有效去除光線，噪聲等的影響，降低誤檢率，統(tǒng)計(jì)結(jié)果更為準(zhǔn)確。

1.5 人數(shù)統(tǒng)計(jì)

人數(shù)統(tǒng)計(jì)是行人檢測(cè)的核心，本文中使用輪廓檢測(cè)計(jì)算虛擬線圈內(nèi)連通區(qū)域的數(shù)量來統(tǒng)計(jì)人流量。具體實(shí)現(xiàn)過程如下：①背景建模后經(jīng)過背景差分輸出的圖像與幀間差分法輸出的圖像通過矩陣的與運(yùn)算得到最后的輸出；②對(duì)上述背景建模和幀間差分法輸出差分圖進(jìn)行二值化操作，并且使用形態(tài)學(xué)的方法處理連通域的邊緣噪聲和內(nèi)部無黏連區(qū)域，從而使得目標(biāo)區(qū)域的行人組成一個(gè)連通區(qū)，更好地檢測(cè)到輪廓;③通過計(jì)算輪廓的個(gè)數(shù)來統(tǒng)計(jì)人數(shù)。

2 實(shí) 驗(yàn)

為了驗(yàn)證文中所提算法，在VS2013環(huán)境下進(jìn)行了實(shí)驗(yàn)驗(yàn)證，并與原算法進(jìn)行比較。對(duì)監(jiān)控視頻進(jìn)行檢測(cè)，目標(biāo)是能準(zhǔn)確計(jì)算出行人數(shù)，不受周圍噪聲的影響。

本實(shí)驗(yàn)采用CPU2.5GHz、2GB內(nèi)存的計(jì)算機(jī)。采用的視頻分辨率為1 920×1 080，幀率為24幀/s。如圖2所示，截取視頻中的一幀，選取400×400作為原始圖像。

圖2 原始圖像

2.1 背景建模結(jié)果

圖3為背景建模算法檢測(cè)結(jié)果。其中，預(yù)處理階段所用參數(shù)：背景建模幀數(shù)N=300，閾值T=120，學(xué)習(xí)率α=0.01。從圖3可以看出，檢測(cè)效果受光線的影響使得框出的目標(biāo)區(qū)域變大，多個(gè)行人被同一個(gè)框圈住，導(dǎo)致人流計(jì)數(shù)產(chǎn)生較大的誤差，同時(shí)產(chǎn)生誤檢，把無人的區(qū)域誤判為行人。

圖3 背景建模算法效果

2.2 幀間差分法結(jié)果

該算法首先連續(xù)獲取兩幀原始圖片，并且經(jīng)過灰度變換轉(zhuǎn)化為單通道圖像，然后做差分，對(duì)差分后圖像進(jìn)行二值化，最后對(duì)二值化圖像做膨脹和腐蝕，輸出結(jié)果。相應(yīng)的處理參數(shù)：原始圖像的像素為400×400，二值化閾值T=20,實(shí)驗(yàn)結(jié)果如圖4所示。從圖4可以得到，幀間差分法對(duì)光線不敏感，可以有效克服光線的影響，但是受噪聲的影響很大，導(dǎo)致誤檢較多。

圖4 幀間差分法法效果

2.3 背景建模與幀間差分法結(jié)合后結(jié)果

在圖像二值化預(yù)處理階段，將背景建模后的差分圖和幀間差分法得到的差分圖相比較，既可以克服光線的影響也可以有效地減少由于噪聲因素產(chǎn)生的誤檢，可以更加準(zhǔn)確地統(tǒng)計(jì)人數(shù),檢測(cè)效果如圖5所示。從圖中可以發(fā)現(xiàn)，誤檢明顯減少，人物的位置框選也相對(duì)準(zhǔn)確，統(tǒng)計(jì)的人數(shù)的效果也有一定程度的提升。圖6為本實(shí)驗(yàn)的軟件界面及實(shí)驗(yàn)效果圖。

圖5 本文算法效果

圖6 軟件界面及統(tǒng)計(jì)結(jié)果

表1給出了單獨(dú)使用一種算法和算法結(jié)合后的實(shí)驗(yàn)結(jié)果?？梢园l(fā)現(xiàn),本文所采用的算法誤檢率最低。

表1 不同算法統(tǒng)計(jì)效果對(duì)比 個(gè)

3 結(jié) 語

本文提出了基于背景建模和幀間差分法相結(jié)合的的高點(diǎn)行人檢測(cè)方法。實(shí)驗(yàn)證明采用背景建模和幀間差分法相結(jié)合的算法要優(yōu)于單純使用一種算法，可以充分濾除噪聲，去除光照等影響。本文所設(shè)計(jì)的算法已經(jīng)被鄭州市火車站所采用，在誤差允許的范圍內(nèi)可以準(zhǔn)確地統(tǒng)計(jì)出人數(shù)，起到人數(shù)自動(dòng)預(yù)警的作用，同時(shí)也節(jié)省了大量的人力物力，為智慧城市建設(shè)作出貢獻(xiàn)。