高陳強，余迪虎，李 強，查 力

（重慶郵電大學 信號與信息處理重慶市重點實驗室 多媒體通信技術研究所，重慶 400065）

0 引言

傳統(tǒng)的基于視頻圖像的人流量統(tǒng)計的一般過程是：首先采用合適的方法進行運動目標檢測，然后通過形態(tài)學處理、區(qū)域分析、運動跟蹤等過程統(tǒng)計出人流量。在這個過程中，最重要的步驟是前期的運動目標檢測，常見的方法有幀差法、背景建模法、光流法等[3-5]。幀差法簡單、易于實現(xiàn)，但容易形成“空洞”；背景建模法穩(wěn)健性較強，但是當場景中運動目標占整個場景的比例較大且運動緩慢時，建模效果較差；光流法計算量最大，很難滿足實時性要求。此外，把機器學習技術應用到人流量統(tǒng)計也得到了一些研究，如Boosting[6]、神經(jīng)網(wǎng)絡[7]方法。該方法的一般思路是：首先利用機器學習方法檢測出行人，進而統(tǒng)計出人流量。為了達到較好的行人檢測效果，需要采集大量的訓練樣本，同時往往要求圖像的成像質量較好。該方法的難點之一是如何處理擁擠情況下的行人遮擋問題。

在實際應用中（如建筑物樓梯間人流量統(tǒng)計等），往往會遇到許多復雜場景，如檢測場景較??；行人在場景中占較大比例；行人之間出現(xiàn)遮擋等情況；行人的運動會影響整個場景的光照變化等。因此，傳統(tǒng)的方法以及基于機器學習的方法都很難取得較好的效果。本文提出了一種基于特征匹配的人流量統(tǒng)計方法。其核心思想是對行人穿過檢測區(qū)域這一過程的視頻提取特征，即用一個特征向量來描述這段視頻。該方法分為兩個階段：第一階段是采集少量有代表性的樣本，每個樣本由特征向量和對應的人數(shù)組成，并根據(jù)人數(shù)進行分類；第二階段是人流量統(tǒng)計階段，提取行人穿過檢測區(qū)域這一過程的視頻的特征向量，然后把該特征向量與樣本庫的每類樣本進行匹配，得到最佳的人數(shù)估計，然后累加每個過程中最佳人數(shù)估計，得到總人數(shù)。實驗結果表明，該方法具有較好的統(tǒng)計效果。

1 特征向量提取

1.1 特征向量提取區(qū)域及方法

把一段包含運動行人的視頻序列相鄰幀作差分，并將差分圖像二值化為只含0和1的二值圖像，則每幀二值化圖像中為“1”的像素點數(shù)與視頻幀數(shù)的對應關系如圖1所示。其中，橫軸表示視頻幀數(shù)，縱軸表示為“1”的像素點的個數(shù)。圖1中從第N1幀到第N2幀，即區(qū)間[N1，N2]為無運動目標通過的視頻段；從第N2幀到第N3幀，即區(qū)間[N2，N3]為運動目標進入檢測區(qū)到離開的視頻段。在下文中，稱區(qū)間[N2，N3]這樣的視頻段為“運動視頻段”。從圖1中可以清晰地看到有3段運動視頻段，從而可以提取3個特征向量分別對應這3個運動視頻段。

本文通過如下的方法從視頻序列中提取運動視頻段：首先判斷當前幀對應的差分圖像的二值化圖像中為“1”的像素點的個數(shù)，像素點個數(shù)大于閾值Nth時，認為該幀圖像中有運動目標，反之則無運動目標；然后提取連續(xù)出現(xiàn)運動目標的幀對應的幀數(shù)，得到這些連續(xù)幀對應的區(qū)間[a,b]，計算區(qū)間的長度length=b-a。對于運動目標在場景中沒有停留的情況，運動視頻段對應一個區(qū)間，對于運動目標在場景中有停留，運動視頻段對應連續(xù)幾個區(qū)間。最后設定閾值α和β(α＜β)：當length＞β時，該區(qū)間對應的視頻段為一段運動過程，提取該區(qū)間對應的視頻段可以得到一個運動視頻段；當α＜length＜β時，連續(xù)的幾段區(qū)間對應的視頻為一段運動視頻段，提取這幾段區(qū)間對應的視頻可以得到一個運動視頻段；當length＜α時，可以理解為該段視頻中的“運動目標”可能是噪聲等引起的，對應的視頻段不是所需要的運動視頻段。通過上述步驟可以有效地從視頻中提取運動視頻段。下文中，樣本庫的建立以及人流量統(tǒng)計階段的運動視頻段的提取都是根據(jù)上述方法實現(xiàn)的。

1.2 提取特征向量

特征向量的提取是本文的重點之一，不僅在第一階段的樣本庫的建立需要提取特征向量，而且在第二階段對人流量進行統(tǒng)計、提取特征向量也是必須的。通過如下方法可以提取一個描述運動視頻段時域和空域信息的特征向量。特征向量提取包括圖像處理、特征圖像提取以及特征向量提取。

1）圖像處理

為了較方便地提取特征向量以及減少計算量，本文采用灰度圖像。若視頻為彩色，首先將每幀視頻圖像轉化成灰度圖像，然后提取特征圖像。反之，直接提取特征圖像。

國際上有關環(huán)境管理和綠色生產的標準有很多，企業(yè)可以通過ISO14000的標準認證機制在內部建立起低碳生產和綠色管理的新體系，將企業(yè)生產、產品設計、工藝技術控制、包裝運輸、銷售服務等環(huán)節(jié)進行系統(tǒng)調整和重新建設，發(fā)揮出各方面、各部門在綠色生產和低碳發(fā)展上的優(yōu)勢和積極性，真正建立起企業(yè)生產、供應、管理的綠色鏈條，在企業(yè)內部將低碳經(jīng)濟轉化為可以執(zhí)行、操作和實施的操作和行為。

2）特征圖像提取

首先，提取第k-1幀和第k幀灰度圖像的差分圖像Dk，k∈(2,3,…)。并根據(jù)差分圖像提取行人區(qū)域，從而提取出視頻運動段的時域信息。然后，利用Sobel算子求出第k幀X方向的梯度圖像和Y方向的梯度圖像，提取視頻運動段的頻域信息，得到fxk(x,y)和 fyk(x,y)，其中fxk(x,y)和fyk(x,y)分別為第k幀圖像X，Y方向的梯度圖像像素值。最后根據(jù)差分圖像、X方向、Y方向梯度圖像，通過公式（1），求出當前幀的特征圖像fk(x,y)3）特征向量提取

在特征圖像提取階段，根據(jù)差分圖像可以得到行人在當前幀中的大致區(qū)域，以及該幀對應的特征圖像。特征圖像中存在大量的背景信息，而這些信息不是所需要的，甚至嚴重影響了有用的行人信息，使特征向量不能有效描述運動視頻段。為了提取更有效的行人信息，根據(jù)各個差分圖像行人區(qū)域，統(tǒng)計其對應的特征圖像中該區(qū)域的特征直方圖向量Xk=(x1,x2,…,xn)T，以及該區(qū)域總像素點的個數(shù)sumk。其中n表示劃分特征值域bin的個數(shù)。然后，累加所有特征圖像的Xk以及sumk，得到運動視頻段總的直方圖向量Xsum和總像素點個數(shù)Sum，其中

然后歸一化Xsum，得到特征向量X∈Rn。其中

2 基于特征匹配的人流量統(tǒng)計

常用的分類判別都是基于歐式空間，由于歐式空間受到量綱的限制，影響了系統(tǒng)性能。馬氏距離考慮模式特征參數(shù)的大小以及特征間的相關性，克服了歐氏距離受量綱影響的缺點。在此基礎上本文提出了基于馬氏距離特征匹配的人流量統(tǒng)計算法。

2.1 馬氏距離

馬氏距離[8-9]是由印度統(tǒng)計學家馬哈拉諾比斯（P.C.Mahalanobis）提出的，表示數(shù)據(jù)的協(xié)方差距離。馬氏距離常用平方形式表示。設Z為測試向量，M為樣本集(X1,X2,…,XK)的均值向量，C為該樣本總體的協(xié)方差矩陣，則向量Z到這個樣本均值的馬氏距離定義為

其中，均值向量M及協(xié)方差矩陣C分別為

向量Z到均值向量為M的類的馬氏距離表示的是Z與該模式類的相似性的大小，馬氏距離越小，說明模式Z與該模式類的相似程度越大；反之，說明相似程度越小。

2.2 基于馬氏距離特征匹配的人流量估計

為了估計運動視頻段中包含的人數(shù)，首先需要建立樣本庫，其流程圖如圖2所示。首先，根據(jù)特征向量的求取過程求出每個樣本運動視頻段的描述特征向量Zi∈Rn，表示第i個樣本特征向量。然后，加入標簽，即樣本序列中包含的人數(shù)Ni，從而得到帶標簽的特征向量Xi=(Zi,Ni)∈Rn＋1，Ni∈(1,2,…)。本文提取了60個帶標簽的特征向量，形成一個數(shù)據(jù)庫。最后，根據(jù)數(shù)據(jù)庫中的特征向量的標簽，將樣本分為不同的類，并根據(jù)式（6）和式（7），得到一個包含不同類的均值向量MNi和協(xié)方差矩陣CNi的樣本庫。

基于馬氏距離特征匹配的人流量統(tǒng)計算法的核心是第二階段的人流量統(tǒng)計。其算法流程圖如圖3所示。具體思路為：檢測視頻序列首次出現(xiàn)的運動視頻段，提取該運動視頻段的特征向量。然后根據(jù)式（5），計算該特征向量到樣本庫中各個類的馬氏距離。因為馬氏距離表示的是向量與模式類的相似性的大小，如果馬氏距離越小，其相似程度越大。因此，可以通過最小的馬氏距離得到當前運動視頻段最佳的人數(shù)估計。然后提取下一個運動視頻段的特征向量，得到該階段的最佳人數(shù)估計。通過累加各個運動視頻段的最佳人數(shù)估計，實現(xiàn)人流量的統(tǒng)計。

3 實驗結果分析

本文算法采用標準C/C＋＋語言實現(xiàn)，開發(fā)軟件平臺為VS2008和OpenCV，算法運行環(huán)境為CPU P42.2 GHz、內存1 Gbyte、Windows XP操作系統(tǒng)的PC機。攝像頭采集的視頻幀大小為320×240、幀速20 f/s（幀/秒）、AVI視頻格式。

利用大廈中樓梯間的人流量統(tǒng)計來驗證本文算法的有效性，圖4是幾幀代表圖像。通過式（1）可以得到圖4b和圖4d的特征圖像，分別對應圖5a和圖5b。其中圖5a是擁有1個運動目標的場景，而圖5b是擁有2個運動目標的場景。圖5a和圖5b運動區(qū)域分別為圖5c和圖5d虛線框區(qū)域，通過統(tǒng)計該區(qū)域的直方圖，得到特征向量。從圖5可以看出，人的特征主要由人的外輪廓決定，這在一定程度上減少了行人服裝、配飾等物品帶來的影響。

為了進一步顯示本文算法的穩(wěn)健性，與傳統(tǒng)的幀差法和背景建模法進行對比實驗，實驗結果如圖6所示。圖6a和圖6b為2張用幀差法求出的圖片，與圖5相比，幀差法求解的運動目標的輪廓不清晰，而且還出現(xiàn)了一些“空洞”。圖6c為使用高斯背景建模法仿真出來的一幅背景圖像，可以看出背景中還有人運動留下的痕跡，圖6d為對應的差分圖像。通過圖6中的4幅圖像，可以比較直觀地說明幀差法和背景建模法不適合樓梯間這種場景下的人流量統(tǒng)計。

表1是3種算法對2組視頻圖像的統(tǒng)計結果。從表1可以看出本文算法可以準確地統(tǒng)計人流量。對于單個行人通過的情況，檢測的誤檢率基本為零，多個行人同時通行的情況下，其誤檢率也不超過5%，低于背景減法和幀差法的誤檢率。

表1 3種算法的實驗結果

表2為本文算法在不同視頻下的運行的時間，可以看出本文的算法平均每秒可以檢測16～17幀圖像，運行速度基本等于輸入視頻播放速度，基本能夠保證實時性的要求。

表2 實時性分析

4 小結

針對樓梯間人流量統(tǒng)計這類復雜環(huán)境的應用，提出了一種基于馬氏距離特征匹配的人流量估計方法。實驗結果表明，對于單個行人的檢測，本文算法基本不會發(fā)生誤檢的情況，對于多個行人的情況，誤檢率也不超過5%。而且本文算法運算速度較快，能夠同時滿足實時性和精度的要求。但是該算法還有許多地方需要改進，當場景中人數(shù)較多時，其檢測精度會下降。這個問題的解決需要依賴于樣本訓練的精度，這也是本文下一步的研究重點。

[1]何小映，何紅.人流量統(tǒng)計系統(tǒng)設計[J].中國科技信息，2007（14）：97-98.

[2]侯俊，程燕.人流量統(tǒng)計視頻監(jiān)控系統(tǒng)[J].電視技術，2009，33（2）：63-65.

[3]董文明，吳樂華，姜德雷.基于背景重構的運動目標檢測算法[J].重慶郵電大學學報：自然科學版，2008，20（6）：754-757.

[4]ROSSI M，BOZZOLI A.Tracking and counting moving people[EB/OL].[2010-09-20].http：//ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=413857.

[5]PICCARDI M.Background subtraction techniques∶a review[EB/OL].[2010-09-20].http：//www-staff.it.uts.edu.au/～massimo/Background SubtractionReview-Piccardi.pdf.

[6]吳渝，向浩宇，劉群.一種基于網(wǎng)格的最近鄰SVM新算法[J].重慶郵電大學學報：自然科學版，2008，20（6）：706-709.

[7]方衛(wèi)寧，胡青梅，李娜，等.基于RBF神經(jīng)網(wǎng)絡的復雜場景人群目標的識別[J].北京交通大學學報：自然科學版，2009（4）：29-33.

[8]李玉榕，項國波.一種基于馬氏距離的線性判別分析分類算法[J].計算機仿真，2006，23（8）：86-88.

[9]齊敏，李大健，郝重陽.模式識別導論[M].北京：清華大學出版社，2009.