徐小龍+谷宇章+王營冠+胡珂立

摘 要： 為改善視頻監(jiān)控中人流量檢測的準確性問題，提出一種利用頭發(fā)顏色特征的人流量跟蹤檢測方法。該方法對輸入圖像同時做如下兩個操作：基于頭發(fā)顏色特征的二值化和基于混合高斯模型的前景提取。對這兩者合并后的結果做特征判別就可以得到人頭區(qū)域。以人頭區(qū)域為目標進行跟蹤，分析運動軌跡特征后可以判斷行人的進出方向及數目。實驗表明該方法在雙向行走、行人密集及背景干擾條件下均有很高的正確率。并且，每幀圖像平均處理時間只需20 ms，完全可以滿足實時處理的要求。

關鍵詞： 人流量實時檢測； 人頭識別； 目標跟蹤； 顏色空間； 混合高斯模型

中圖分類號： TN911?34； TP391 文獻標識碼： A 文章編號： 1004?373X（2014）07?0092?06

Method of people counting real?time detection based on color feature

XU Xiao?long， GU Yu?zhang， WANG Ying?guan， HU Ke?li

（Key Laboratory of Wireless Sensor Network & Communication， Shanghai Institute of Microsystem & Information Technology， CAS， Shanghai 201800， China）

Abstract： In order to improve the accuracy of the people counting detection in video surveillance， a people tracking and detection method based on hair color feature is proposed in this paper. The input images are processed with the following two operations at the same time： binarization based on hair color feature and foreground extraction based on Gaussian mixture model. Through analyzing the merging results of the two operations， head regions can be got. By tracking head regions and trajectory analysis， the moving direction and number of visitors will easily come to the judgment. The experimental result shows that the method has the high?accuracy even in the conditions of bidirectional moving， dense crowd or background interference. Furthermore， the average processing time for per frame is only 20 ms. It can fully meet the requirements of real?time processing.

Keywords： people counting real?time detection； head recognition； object tracking； color space； Gaussian mixture model

0 引 言

人流量的檢測與分析在視頻監(jiān)控領域有著廣泛的應用，尤其像商場、車站、機場、體育館等公共場所都有著巨大的需求。實時且準確地統計出人流量對于公共交通，智能安防，商業(yè)統計等領域都是非常有必要的。正因為如此，人流量的檢測分析已經成為近些年來計算機視覺領域研究的一項熱點。

從20世紀90年代以來，隨著計算機視覺技術的發(fā)展很多基于視頻的人流量檢測方法被提出來。一種具有代表性的方法是根據圖像的底層特征進行建模統計場景中的人數[1?4]。提取的特征可以是特征點[5]，分割好的區(qū)域[1?3，5]，輪廓曲線[4， 6]等，然后利用聚類[3]，神經網絡[5]，高斯回歸[4]等方法進行建模統計出數目。Chen根據行人面積和HSI顏色信息跟蹤計算人數[7]，達到了較好的實時性。Borislav Antic等人先用背景差分提取前景[3]，然后基于Kmeans聚類估計行人數目，在特定的場景下獲得了不錯的效果。Yu等人提出了前景/背景邊緣模型（FBEM）[6]，捕獲前景邊緣，進行跟蹤計數。隨著機器學習技術的發(fā)展，一些基于目標識別來統計人流的方法也被提出來，代表性的研究有Zeng和Ma提出來的基于多級HOG?LBP特征的頭肩檢測方法[8]，Chen利用人體的對稱特性計算局部能量函數[9]，再結合Meanshift方法跟蹤計數，Wen采用AdaBoost訓練出人頭檢測器[10]，根據運動人頭的特征去除干擾后實現人數統計?；谧R別的方法往往有著良好的檢測精度，但是運算復雜度太高，不適合做實時處理。基于底層特征和基于目標識別這兩個方法都是在二維圖像中進行處理，在遇到遮擋、背景變化、人流擁擠等復雜情景下檢測準確率會大大降低，而基于立體視覺的方法可以很好地處理這些問題。近年來用立體視覺進行人流量統計的技術逐漸獲得重視，尤其是簡便的深度相機（如微軟的Kinect、華碩的Xtion等）問世后更是加速了其發(fā)展，Fu，Hsieh，Zhang，Oosterhout等人已在此方向做出了相關的研究[2，11?13]。

基于人頭的底層特征（顏色，形狀，大小等）來統計人數的方法具有運算復雜度低，易于做到實時處理的優(yōu)點，但是還是會存在色彩一致性[14]（Color Constancy）和背景噪聲等問題?；谇熬疤崛〉姆椒?，在行人之間距離很近的時候，如何準確地將運動目標分割是一個難點。實際應用中，使用垂直地面俯拍的攝像頭檢測人流可以簡化場景復雜度，減少行人之間相互遮擋的現象。即使人流密集的情況下，行人的身體發(fā)生接觸，人頭之間也很少會發(fā)生遮擋現象。因此本文提出了一種攝像頭俯拍場景下，結合頭部顏色特征和運動目標檢測的人流量分析方法，可以達到快速準確的檢測效果。

1 人流量統計方案

在本文提出的人流量檢測方案中，攝像頭采用垂直地面的方式安裝在天花板上，如圖1所示。首先，本方案需要在離線狀態(tài)下采集行人頭發(fā)顏色樣本，在不同顏色空間統計出有效的聚類區(qū)間。整個系統主要分成三個部分：行人檢測，行人跟蹤，行人計數，具體方案流程圖如圖2所示。行人檢測部分，對輸入的彩色圖像同時進行基于顏色特征的二值化操作和混合高斯背景差分操作，將兩者的結果融合并且做相關特征判別之后選擇出合適的人頭目標區(qū)域。行人跟蹤部分，以檢測到的人頭區(qū)域為目標進行跟蹤，記錄運動軌跡和Kalman預測。行人計數部分通過對運動軌跡的分析判斷，過濾掉錯誤信息，得到行人的行走方向和數目。

圖1 視頻監(jiān)控環(huán)境示意圖

圖2 人流量檢測流程圖

本方案能在行人同向、逆向行走，行人密集，甚至肩搭著肩行走時做出正確判決。并且本方案結合顏色特征和背景差分提取的前景，可以過濾掉背景中的干擾顏色，穩(wěn)定性高，實時性好。

2 行人檢測

行人檢測是人流量檢測過程中最關鍵的部分，因為它是后續(xù)行人跟蹤、行人計數的基礎，快速準確地檢測行人目標也是本文的一個研究重點。本文采用顏色特征和混合高斯背景建模相結合的方法，既能減少僅使用顏色特征的色彩一致性問題[14]及靜態(tài)干擾問題，也能減少背景建模時造成的行人難以分割[3]的問題。

2.1 提取發(fā)色區(qū)域

顏色是人類對可見光的感知，通常使用三個獨立的線性分量表示顏色，這樣便構成了三維的顏色空間。常見的顏色空間有RGB空間，HSV空間，LUV空間，YCbCr空間等，每種顏色空間都有各自適用的場景。

頭發(fā)顏色在一些顏色空間具有很好的聚類效果，Zhao和王長軍等人提出了在YCbCr空間進行聚類[15?16]，趙軍偉使用HSI空間進行聚類[17]。本文對頭發(fā)顏色進行樣本采集，并分別映射到如下顏色空間：HSV、LUV、YCbCr。本文采集大量發(fā)色樣本，使用240 349個發(fā)色像素點，對灰度值及不同空間映射結果進行了統計分析，如圖3所示。在灰度值，HSV空間的H分量，YCbCr空間的Cb、Cr分量和LUV空間的U、V分量均有很好的聚類效果。由于聚類特性會隨著亮度的變化而發(fā)生改變，為了弱化該影響，本文采用多個色彩分量結合的方式，共同確定人頭的有效區(qū)域。

根據采集的發(fā)色樣本，使用高斯混合概率模型對發(fā)色在不同色彩分量上的概率分布加以描述，從而根據發(fā)色信息對人頭區(qū)域進行提取[15]。某一像素點[xi]的概率密度函數表達式如下：

[p（xi）=j=1Mαj（2π）mΣjexp-12（xj-μj）TΣ-1j（xj-μj）] （1）

式中：[αj]表示某一像素點第[j]個高斯分布的權值；[μj]和[Σj]分別表示樣本的均值和方差?；旌细咚鼓Ｐ偷膮倒烙嬜畛Ｓ玫姆椒ㄊ荅M（Expectation Maximization）算法。使用EM估計參數后可以得到如表1所示的發(fā)色聚類區(qū)間。

根據表1的發(fā)色聚類區(qū)間對圖像進行二值化。對于像素點[Pi，]當它在不同色彩分量上的值分別位于各分量的聚類區(qū)間時，二值化后的結果為[Binary（Pi）=255，]否則[Binary（Pi）=0]，如表達式（2）所示：

[Binary（Pi）=255，if g（Pi）∈RGray&H（Pi）∈RH&Cb（Pi）∈RCb&Cr（Pi）∈RCr&U（Pi）∈RU&V（Pi）∈RV0，others] （2）

其中[g（Pi）、][H（Pi）、][Cb（Pi）、][Cr（Pi）、][U（Pi）、][V（Pi）]分別表示像素點[Pi]在不同顏色分量上的數值。

由于二值化之后，圖像中可能會存在大量凹洞，凸起，點噪聲等現象，所以利用形態(tài)學中的閉操作，即先腐蝕將細小的凸起濾除，再膨脹填補細小的凹洞，這樣可以提高后續(xù)操作的效果。

表1 發(fā)色聚類區(qū)間

[顏色分量＼&符號表示＼&聚類區(qū)間＼&灰度值＼&[RGray]＼&[9，40]＼&H（HSV）＼&[RH]＼&[0，5]&[110，180]＼&Cb（YCbCr）＼&[RCb]＼&[127，132]＼&Cr（YCbCr）＼&[RCr]＼&[127，133]＼&U（LUV）＼&[RU]＼&[95，100]＼&V（LUV）＼&[RV]＼&[133，141]＼&]

2.2 提取前景與合并

二值化之后可以得到滿足頭發(fā)顏色特征的區(qū)域，但是當背景中也有相似的顏色則會形成干擾。本文使用自適應的混合高斯背景建模法提取前景，再將前景與頭發(fā)區(qū)域進行混合，從而過濾掉靜態(tài)背景中的相似顏色干擾。

當行人稀疏的時候，相互之間沒有遮擋，所以背景差分提取出的前景不容易出現連通現象，判斷運動目標所在區(qū)域就變得容易。但是人流密集的情況下，不同目標的前景往往會形成連通區(qū)域，造成無法準確判斷單個目標直接計數。很多研究者在前景分割上做出了相關研究，使用Kmeans聚類[3]，根據面積大小劃分[7]等等，但準確度都無法保障。本文攝像頭垂直地面架設，人頭顏色區(qū)域形成連通的可能性是非常低的，所以發(fā)色區(qū)域與前景混合之后，既可以去除靜態(tài)背景中與頭發(fā)顏色相近的物體造成的干擾，又可以將前景圖像里的連通區(qū)域有效地分割。

在提取前景的時候需要注意，在提取出的運動目標內部容易出現空洞現象，為了減小空洞對合并后效果的影響，需要使用較大的膨脹系數來做膨脹，即使膨脹后使得不同的目標連通了也沒有關系。

2.3 特征判斷

上述操作完成之后想要判斷出人頭所在的區(qū)域還需要一系列的判決。首先混合之后得到的圖像會存在毛刺、空洞等問題，所以需要先使用形態(tài)學的方法對其進行閉運算（先膨脹再腐蝕）。接著提取閉運算后圖像的邊緣輪廓，本文使用的是精度較好的canny算子。對于得到的輪廓序列，需要通過相關的特征判斷才能確定人頭所在的區(qū)域。

由于人頭近似為一個圓形，所以對于輪廓的判斷主要依據如下幾點：[L：]輪廓的周長；[A：]輪廓包圍的面積；[B：]包含輪廓的最小矩形的面積；[Z：]占空比（A與B的比值）；[C：]離散度（[L2A]）。

其中輪廓周長及面積與攝像頭的架設高度有關系，需要根據實際情況確定，占空比和離散度通常不會有大的變化。若假想人頭區(qū)域是一個標準圓，占空比的理論值為[π4≈0.79，]離散度的理論值為[4π≈12.6，]由于在周長為定值的時候所能圍成的圖形中圓形面積最大，所以12.6為離散度的最小值。通過實驗比較發(fā)現占空比范圍選擇為0.6～1.0，離散度范圍選擇為12.6～22時效果較好。最終，符合這幾個判斷條件的輪廓便可以認為是人頭的輪廓。得到輪廓后將輪廓填充，便得到了可以用來進行目標跟蹤的人頭區(qū)域。

3 行人跟蹤

行人檢測得到了圖像中的人頭區(qū)域，通過對人頭區(qū)域的跟蹤，可以進而得到行人的數目和出入方向。將同一個目標的位置信息按時間連接起來，便可得到該目標的運動軌跡。如果行人檢測的結果很理想，目標的跟蹤也會變得簡單，但實際中可能會出現誤檢或漏檢，對此本文使用Kalman濾波器對行人的運動軌跡進行濾波和預測處理。

由于相鄰幀之間，同一個目標的位移不會發(fā)生突變，所以對于一條軌跡，找出跟它的預測位置最近的點作為新的軌跡點是合理的。如圖4所示，假設在[t]時刻對某條軌跡用Kalman濾波器進行預測，得到該軌跡[t+1]時刻的預測位置[Pt+1，][t+1]時刻距離[Pt+1]最近的目標點為[Ct+1，]若滿足下面的條件就可以將[Ct+1]添加到該軌跡當中：

[Dist（Pt+1，Ct+1）=（xp-xc）2+（yp-yc）2≤Max Dis] （3）

其中Max Dis表示預測位置與目標位置之間允許的最大偏移量，具體的取值根據實際情況加以確定。如圖4（a）所示，[Ct+1]和[Ct+2]分別在預測軌跡點的Max Dis范圍之內，所以可以添加到運動軌跡中。

圖4 跟蹤過程中的軌跡更新示意圖

若該軌跡沒有合適的目標點滿足上述公式（3），則將Kalman預測的位置添加進軌跡。如圖4（b）所示，[Ct+2]與軌跡預測點[Pt+2]的距離大于Max Dis，所以[Ct+2]不能加入已有的運動軌跡，而是將預測值[Pt+2]添加進運動軌跡。同時，如果一條軌跡連續(xù)多幀沒有新的軌跡點進入，則認為該軌跡終止了，具體的閾值根據實際情況進行選取，通常取值5～10 f便可以滿足要求。另外，如果存在某個目標點不屬于任何已有的軌跡，那么就以該點新建一條軌跡。至此，根據以上的跟蹤結果，便可以進一步對人流量進行統計分析了。

4 行人計數

為了得到行人的運動方向和數目，需要對得到的跟蹤軌跡進行分析。首先需要定義目標移動的方向，本文中定義平面圖中[y]增加的方向為進，減小的方向為出。

假設某一目標的運動軌跡為：

[Trace={（x0，y0），（x1，y1），…，（xn，yn）}] （4）

式中：[（x，y）]表示目標在圖像中的坐標，根據Trace可以計算出軌跡的總長度為distance。目標在[y]方向上的運動速度可以近似用相鄰幀之間，目標在[y]方向上的移動距離來表示：

[vy={y1-y0，y2-y1，…，yn-yn-1}] （5）

[vy]中正數的含義是運動方向為入，負數的含義是運動方向為出，由此統計出[vy]中正數的個數為[m。]

根據軌跡長度distance和[mn]的比值可以判斷一個軌跡的出入情況：

（1） 當distance[≥180&n≥15&mn≥0.7]時，判斷行人為進入，進入總人數加1；

（2） 當[distance≥180&n≥15&0≤mn≤0.3]時，判斷行人為出去，出去總人數加1；

（3） 當不滿足以上兩個條件時說明該軌跡為錯誤軌跡，將其剔除，不做計數。

對于上述判決條件中的數值，需要根據實際的視頻情況加以選取。

5 實驗結果與分析

為了驗證本文提出的人流量檢測方法，對多種不同類型的視頻進行了測試，包括行人同向行走、逆向行走、肩并肩、前后緊跟，以及存在背景顏色干擾等情況。本實驗在Windows 7操作系統下，使用Visual Studio+OpenCV實現，計算機處理器為Intel酷睿2，主頻2.93 GHz，內存4 GB，測試視頻大小為[480×360，]幀率為30 f/s。

如圖5（a）所示，為了準確測試本文方案的檢測效果，在場景中故意擺入一個跟人頭的顏色及大小近似的背包作背景干擾。從圖5（b）中可以看到，原始視頻中三個行人的頭部區(qū)域被有效檢測出來，同時引入的干擾物體由于顏色與發(fā)色接近也被檢測出來。圖5（c）是使用混合高斯背景差分檢測出的前景圖，由于干擾物體是靜止的，所以沒有被檢測出來，而且原始圖像中的三個人緊挨在一起行走，前景圖像重疊在一起，難以分割。將圖5（b）和圖5（c）做與操作得到圖5（d），此時背景干擾已經被濾除掉了，前景圖也因為顏色特征的差異而被有效地分割開來。接下來提取出目標輪廓，并對其特征進行分析，去除不合適的輪廓，得到人頭區(qū)域，結果分別見圖5（e）和圖5（f）。最后，對人頭區(qū)域進行跟蹤計數，效果見圖5（g）。

對于行人逆向行走、行人肩搭著肩行走和行人衣服與頭發(fā)顏色接近的情況，本文也做了實驗，結果如圖6所示，均有良好的檢測性能。實驗場景下，本文方案在PC機上平均處理速度約為17 ms/f，可以滿足實時處理的需要，并且準確率達到了95%以上。

6 結 語

本文提出了一種基于顏色特征的實時人流量檢測方法。通過對發(fā)色在不同顏色空間做出的聚類分析，可以準確地檢測出圖像中的人頭區(qū)域，結合背景差分的方法既可以濾除背景干擾又可以將前景進行分割。實驗結果表明，該方案具有很好的實時性和準確性，可以滿足視頻監(jiān)控領域的應用要求。但是，當行人戴帽子或者白發(fā)等情況發(fā)生時會降低本方案的檢測率，這是今后將著重研究的一個方向。同時，今后還將研究如何進一步降低算法復雜度，使該方案能在前端硬件上做到實時處理。

參考文獻

[1] LEFLOCH D， CHEIKH F A， HARDEBERG J Y， et al. Real?time people counting system using a single video camera [J]. Proceedings of SPIE， 2008， 6811： 9?20.

[2] VAN OOSTERHOUT T， BAKKES S， KROSE B J A. Head detection in stereo data for people counting and segmentation [C]// proceedings of the International Conference on Computer Vision Theory and Applications （VISAPP）. Moscow： [s.n.]， 2011： 620?625.

[3] ANTIC B， LETIC D， CULIBRK D， et al. K?means based segmentation for real?time zenithal people counting [C]// Proceedings of 2009 16th IEEE International Conference on Image Processing. [S.l.]： IEEE， 2009： 2537?2540.

[4] CHAN A B， LIANG Z S J， VASCONCELOS N. Privacy preserving crowd monitoring： Counting people without people models or tracking [C]// Proceedings of IEEE CVPR. [S.l.]： IEEE， 2008： 1766?1772.

[5] KONG D， GRAY D， TAO H. A viewpoint invariant approach for crowd counting [C]// Proceedings of 2006 18th International Conference on Pattern Recognition. Hong Kong， China： ICPR， 2006， 1187?1190.

[6] YU Sheng?sheng， CHEN Xiao?ping， SUN Wei?ping， et al. A robust method for detecting and counting people [C]// Proceedings of 2008 International Conference on Audio， Language and Image Processing. [S.l.]： ICALIP， 2008： 1545?1549.

[7] CHEN T H， CHEN T Y， CHEN Z X. An intelligent people?flow counting method for passing through a gate [C]// Proceedings of 2006 IEEE Conference on Robotics， Automation and Mechatronics. [S.l.]： IEEE， 2006： 97?102.

[8] ZENG Cheng?bin， MA H. Robust head?shoulder detection by pca?based multilevel hog?lbp detector for people counting [C]// proceedings of the 2010 20th International Conference on Pattern Recognition. Istanbul： ICPR， 2010： 2069?2072.

[9] CHEN L， TAO J， TAN Y P， et al. People counting using iterative mean?shift fitting with symmetry measure [C]// Proceedings of 2007 6th International Conference on Information， Communications & Signal Processing. [S.l.]： ICICSP， 2007： 1075?1078.

[10] 文嘉俊，徐勇，戰(zhàn)蔭偉.基于AdaBoost和幀間特征的人數統計[J].中國圖象圖形學報，2011（9）：1729?1735.

[11] FU H， MA H， XIAO H. Real?time accurate crowd counting based on RGB?D information [C]// proceedings of the 2012 19th IEEE International Conference on Image Processing （ICIP）. Orlando， FL： IEEE， 2012： 2685?2688.

[12] HSIEH C T， WANG H C， WU Y K， et al. A kinect?based people?flow counting system [C]// 2012 International Symposium on Intelligent Signal Processing and Communications Systems. New Taipei， China： ISPACS， 2012： 146?150.

[13] ZHANG Xu?cong， YAN J， FENG S， et al. Water filling： unsupervised people counting via vertical kinect sensor [C]// Proceedings of 2012 IEEE Ninth International Conference on Advanced Video and Signal?Based Surveillance. Beijing： IEEE， 2012： 215?220.

[14] LUCEY S， SRIDHARAN S， CHANDRAN V. A suitability metric for mouth tracking through chromatic segmentation [C]// Proceedings of 2001 International Conference on Image Processing. [S.l.]： ICIP， 2001， 3： 258?261.

[15] ZHAO Ming， SUN Di?hua， HE H P. Hair?color modeling and head detection [C]// Proceedings of 2008 7th World Congress on Intelligent Control and Automation. Chongqing， China： ICA， 2008： 7773?7776.

[16] 王長軍.基于視頻的目標檢測與跟蹤技術研究[D].杭州：浙江大學，2006.

[17] 趙軍偉，侯清濤，李金屏，等.基于數學形態(tài)學和HSI顏色空間的人頭檢測[J].山東大學學報：工學版，2013（2）：6?10.

[12] HSIEH C T， WANG H C， WU Y K， et al. A kinect?based people?flow counting system [C]// 2012 International Symposium on Intelligent Signal Processing and Communications Systems. New Taipei， China： ISPACS， 2012： 146?150.

[13] ZHANG Xu?cong， YAN J， FENG S， et al. Water filling： unsupervised people counting via vertical kinect sensor [C]// Proceedings of 2012 IEEE Ninth International Conference on Advanced Video and Signal?Based Surveillance. Beijing： IEEE， 2012： 215?220.

[14] LUCEY S， SRIDHARAN S， CHANDRAN V. A suitability metric for mouth tracking through chromatic segmentation [C]// Proceedings of 2001 International Conference on Image Processing. [S.l.]： ICIP， 2001， 3： 258?261.

[15] ZHAO Ming， SUN Di?hua， HE H P. Hair?color modeling and head detection [C]// Proceedings of 2008 7th World Congress on Intelligent Control and Automation. Chongqing， China： ICA， 2008： 7773?7776.

[16] 王長軍.基于視頻的目標檢測與跟蹤技術研究[D].杭州：浙江大學，2006.

[17] 趙軍偉，侯清濤，李金屏，等.基于數學形態(tài)學和HSI顏色空間的人頭檢測[J].山東大學學報：工學版，2013（2）：6?10.

[12] HSIEH C T， WANG H C， WU Y K， et al. A kinect?based people?flow counting system [C]// 2012 International Symposium on Intelligent Signal Processing and Communications Systems. New Taipei， China： ISPACS， 2012： 146?150.

[13] ZHANG Xu?cong， YAN J， FENG S， et al. Water filling： unsupervised people counting via vertical kinect sensor [C]// Proceedings of 2012 IEEE Ninth International Conference on Advanced Video and Signal?Based Surveillance. Beijing： IEEE， 2012： 215?220.

[14] LUCEY S， SRIDHARAN S， CHANDRAN V. A suitability metric for mouth tracking through chromatic segmentation [C]// Proceedings of 2001 International Conference on Image Processing. [S.l.]： ICIP， 2001， 3： 258?261.

[15] ZHAO Ming， SUN Di?hua， HE H P. Hair?color modeling and head detection [C]// Proceedings of 2008 7th World Congress on Intelligent Control and Automation. Chongqing， China： ICA， 2008： 7773?7776.

[16] 王長軍.基于視頻的目標檢測與跟蹤技術研究[D].杭州：浙江大學，2006.

[17] 趙軍偉，侯清濤，李金屏，等.基于數學形態(tài)學和HSI顏色空間的人頭檢測[J].山東大學學報：工學版，2013（2）：6?10.