劉 磊，陳澤虹，張 勇，趙東寧,3

1)深圳大學(xué)ATR國防科技重點(diǎn)實(shí)驗(yàn)室, 廣東深圳518060；2)深圳大學(xué)信息工程學(xué)院, 廣東深圳518060；3) 哈爾濱工業(yè)大學(xué)(深圳)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，廣東深圳 518055

【電子與信息科學(xué)/ElectronicsandInformationScience】

深度圖像下基于頭部多特征的人數(shù)統(tǒng)計(jì)算法

劉 磊1，陳澤虹2，張 勇1，趙東寧2,3

1)深圳大學(xué)ATR國防科技重點(diǎn)實(shí)驗(yàn)室, 廣東深圳518060；2)深圳大學(xué)信息工程學(xué)院, 廣東深圳518060；3) 哈爾濱工業(yè)大學(xué)(深圳)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，廣東深圳 518055

在現(xiàn)實(shí)生活中，因人流量過大而引發(fā)的安全事故不勝枚舉．為了防止此類事故的發(fā)生，可通過視頻監(jiān)控的方式統(tǒng)計(jì)人數(shù)，及時(shí)對(duì)行人進(jìn)行限流和分流．提出一種有效的人數(shù)統(tǒng)計(jì)算法．該算法采用深度攝像機(jī)作為視頻采集源，通過分析和提取深度圖像下頭部的4個(gè)特征，實(shí)現(xiàn)行人頭部檢測，并依靠Kalman濾波技術(shù)實(shí)現(xiàn)對(duì)頭部目標(biāo)的跟蹤，進(jìn)而達(dá)到人數(shù)統(tǒng)計(jì)的目的．該算法對(duì)行人的不同發(fā)型具有一定適應(yīng)性，同時(shí)對(duì)輕微遮擋和多人環(huán)境下的頭部檢測均有良好效果．該算法人數(shù)統(tǒng)計(jì)平均準(zhǔn)確率達(dá)到88.6%．

數(shù)字圖像處理；深度圖像；區(qū)域生長；Kalman濾波；多特征；人數(shù)統(tǒng)計(jì)

為配合高人流量地區(qū)(如商場、車站和交通路況)安全等級(jí)劃分、人流量限制標(biāo)準(zhǔn)設(shè)定和應(yīng)急預(yù)案規(guī)劃，人數(shù)統(tǒng)計(jì)逐漸成為視頻監(jiān)控領(lǐng)域的一個(gè)重要分支．現(xiàn)階段基于圖像處理的人數(shù)統(tǒng)計(jì)算法主要是將攝像頭安裝在相關(guān)場所進(jìn)出口處的頂部，攝像頭采用垂直式拍攝，此方式有效降低了行人在運(yùn)動(dòng)中出現(xiàn)遮擋的概率，低遮擋率保證了行人頭部特征的完整性，易于算法對(duì)頭部特征的提?。狙芯吭诒ＷC行人頭部被準(zhǔn)確檢測的基礎(chǔ)上，對(duì)行人頭部進(jìn)行跟蹤，并通過相關(guān)策略對(duì)行人軌跡線進(jìn)行約束，最終實(shí)現(xiàn)人數(shù)的統(tǒng)計(jì)．

1 相關(guān)工作

根據(jù)選用攝像頭的類型，可以將人數(shù)統(tǒng)計(jì)算法分為：① 基于RGB攝像機(jī)的人數(shù)統(tǒng)計(jì)算法；② 基于深度攝像機(jī)的人數(shù)統(tǒng)計(jì)算法．基于RGB攝像機(jī)的頭部識(shí)別算法一般以頭部的顏色[1]、輪廓[2-3]和頭肩部模型[4]等為特征，利用顏色特征進(jìn)行頭部識(shí)別的方法易受外部光照和環(huán)境顏色的影響；頭部輪廓往往難以歸結(jié)到一個(gè)統(tǒng)一標(biāo)準(zhǔn)上，而且行人在運(yùn)動(dòng)中姿勢多樣，輪廓的變化范圍將更復(fù)雜，利用輪廓特征進(jìn)行識(shí)別難以達(dá)到較高的識(shí)別率；頭肩部模型判斷需要斜向式拍攝，由此導(dǎo)致行人頭部遮擋概率提升和遮擋面積的變大，利用頭肩部模型難以精確識(shí)別，只能大致估計(jì)．在此基礎(chǔ)上，部分學(xué)者利用上述特征，或采用其他特征，如Harr、局部二值模式(local binary pattern, LBP)和梯度直方圖(histogram of gradient, HOG)等，進(jìn)行訓(xùn)練和學(xué)習(xí)[5-8]，迭代優(yōu)化使識(shí)別率大幅提升，多數(shù)基于機(jī)器學(xué)習(xí)的方法識(shí)別率都能達(dá)到90%以上．除采用常規(guī)的特征提取方法之外，文獻(xiàn)[9]提出一種基于人體結(jié)構(gòu)的人數(shù)統(tǒng)計(jì)方法，該方法在圖像前景的基礎(chǔ)上，依靠頭部和身體形成的特殊角度為特征進(jìn)行提?。?/p>

深度攝像機(jī)的出現(xiàn)提供了一種新的圖像獲取方法．深度圖像是依靠目標(biāo)和攝像頭之間的距離形成的圖像，因此深度圖像可以簡單地理解為距離圖像．在垂直拍攝時(shí)，頭部區(qū)域距離攝像頭最近，則該區(qū)域像素值最小，人體由上往下，像素值逐漸增加，據(jù)此可將深度圖像下的頭部識(shí)別歸結(jié)為圖像的局部極值問題．Zhang等[10]根據(jù)現(xiàn)實(shí)中水的流動(dòng)特性提出Waterfill算法，該算法通過在圖像上模仿水滴的流動(dòng)方向和水滴停止點(diǎn)的控制，獲得表示頭部的局部極值點(diǎn)，具有較高的識(shí)別率和很強(qiáng)的物理實(shí)踐意義．其后研究結(jié)合Waterfill算法提出了更優(yōu)的頭部識(shí)別方案[11-12]．深度圖像中的頭部識(shí)別除采用尋找局部極值的方法之外，也可采用提取特征訓(xùn)練的方法實(shí)現(xiàn)[13-14]．文獻(xiàn)[14]在特征的選取上與一般的特征提取方法不同，其對(duì)頭部區(qū)域進(jìn)行多層多提取的方式提取頭部方向梯度直方圖并進(jìn)行訓(xùn)練和學(xué)習(xí)．文獻(xiàn)[15]依靠頭部區(qū)域邊緣像素點(diǎn)間的關(guān)系，制作頭部模板，從而實(shí)現(xiàn)對(duì)頭部的識(shí)別，同時(shí)，該作者還提出人體模板匹配算法[16]，進(jìn)一步提高頭部識(shí)別的準(zhǔn)確率，該算法對(duì)多人環(huán)境仍具有很強(qiáng)的識(shí)別效果，并對(duì)類似于人體的目標(biāo)具有很強(qiáng)的排除能力．

基于上述研究，本研究提出一種有效的人數(shù)統(tǒng)計(jì)算法．該算法采用深度攝像機(jī)作為視頻采集源，通過分析和提取深度圖像下頭部的4個(gè)特征，實(shí)現(xiàn)行人頭部的檢測，并依靠Kalman濾波技術(shù)實(shí)現(xiàn)對(duì)頭部目標(biāo)的跟蹤，進(jìn)而達(dá)到人數(shù)統(tǒng)計(jì)的目的．該算法對(duì)行人的不同發(fā)型具有一定的適應(yīng)性，同時(shí)對(duì)輕微遮擋和多人環(huán)境下的頭部檢測均有良好效果．該算法的人數(shù)統(tǒng)計(jì)平均準(zhǔn)確率達(dá)到88.6%．

2 算法描述

該算法主要由前景提取、頭部檢測和頭部跟蹤與人數(shù)統(tǒng)計(jì)3個(gè)模塊組成．為避免因圖像采集階段產(chǎn)生的噪聲對(duì)頭部檢測和跟蹤造成影響，前期需對(duì)深度圖像進(jìn)行預(yù)處理，即進(jìn)行中值濾波和鄰域填充等圖像處理操作[14]．

2.1 前景提取

前景提取是為了避免背景圖像對(duì)頭部檢測造成干擾，以及縮小頭部搜索區(qū)域的范圍，即減小ROI(region of interest)，達(dá)到降低算法計(jì)算量的目的．本研究采用背景靜態(tài)差分的方式實(shí)現(xiàn)前景提?。?/p>

背景模型的建立有兩個(gè)基本要求：① 建立背景模型時(shí)，拍攝區(qū)域內(nèi)不能含有動(dòng)態(tài)目標(biāo)；② 獲取的背景必須是穩(wěn)定背景．背景模型bg(x,y)為

(1)

其中，fk(x,y)為第k幀圖像， (x,y)表示圖像像素點(diǎn)的坐標(biāo)；n為背景建模時(shí)所需的幀圖像數(shù)量．本研究采用n幀圖像的均值作為背景模型，建立的模型為均值背景模型．

前景圖像的獲取依靠實(shí)時(shí)輸入圖像與均值背景圖像差分完成，其計(jì)算式為

mask(x,y)=

(2)

其中，mask(x,y)為前景圖像， (x,y)代表圖像像素點(diǎn)的坐標(biāo)；ft(x,y)為實(shí)時(shí)輸入圖像；t為圖像序列；Tbg為圖像閾值．

2.2 頭部檢測

2.2.1 頭部區(qū)域特征概述

本研究深度攝像頭采用頂部安裝，垂直拍攝的方式，結(jié)合深度圖像的成像特點(diǎn)(深度圖像的像素值和目標(biāo)距離攝像頭的距離成正比)，定義人頭部區(qū)域在深度圖像下的4個(gè)特征：

特征1(頭部區(qū)域像素值整體最小)：攝像頭垂直拍攝，頭部距離攝像頭最近，頭部區(qū)域的像素值整體小于人體其他部位的像素值．

特征2(頭部區(qū)域邊緣存在像素值階躍)：攝像頭垂直拍攝，頸部屬于拍攝盲區(qū)，頭部和肩部或者身體其他區(qū)域，在圖像上直接連接，所連接的2個(gè)區(qū)域由于頸部盲區(qū)的存在，像素值差異明顯．

特征3(頭部區(qū)域是圓弧曲面)：攝像頭垂直拍攝下，頭部形成1個(gè)橢圓形或類似橢圓形，橢圓內(nèi)的像素值小于橢圓邊緣像素值，所以，頭部區(qū)域呈現(xiàn)圓弧曲面的形狀．

特征4(頭部區(qū)域像素值平滑)：攝像頭垂直拍攝，人頭部區(qū)域像素值無劇烈波動(dòng)，像素值較為平滑．

據(jù)此定義的4個(gè)特征，攝像頭垂直拍攝下，深度圖像中的人頭部區(qū)域被描述為1個(gè)在垂直空間內(nèi)整體像素值最小且平滑的圓弧曲面，且曲面邊緣存在明顯的像素值階躍．

2.2.2 頭部區(qū)域檢測

根據(jù)上述描述的頭部區(qū)域特征，人頭部在深度圖像以圓弧區(qū)域的形式存在，且圓弧區(qū)域邊緣存在像素值階躍，所以頭部區(qū)域在深度圖像中屬于一個(gè)較為特殊的區(qū)域形式存在．在前景ROI區(qū)域的基礎(chǔ)上，通過區(qū)域生長算法分割出數(shù)量不等的子區(qū)域，再利用頭部的相關(guān)特征實(shí)現(xiàn)子區(qū)域的挑選，即實(shí)現(xiàn)頭部區(qū)域的檢測．

1)區(qū)域劃分

攝像頭垂直拍攝，人體頸部、腰部和腰部以下部分區(qū)域，屬于拍攝盲區(qū)，在圖像上會(huì)出現(xiàn)不同程度的缺失，最終導(dǎo)致盲區(qū)所連接區(qū)域在像素值層級(jí)上會(huì)出現(xiàn)不同程度的數(shù)值階躍．同時(shí)，人頭部區(qū)域內(nèi)具有像素值整體平滑的特性．上述兩個(gè)條件構(gòu)成了頭部區(qū)域可以被劃分成一個(gè)整體區(qū)域的基礎(chǔ)．

本研究利用區(qū)域生長算法實(shí)現(xiàn)圖像區(qū)域分割[14]，其原理可簡單概括為：在圖像中選取種子點(diǎn)，依次在種子點(diǎn)的鄰域內(nèi)不重復(fù)地選取滿足閾值標(biāo)準(zhǔn)的像素點(diǎn)，并將其納入到同一區(qū)域，再將該像素點(diǎn)作為新的種子點(diǎn)，當(dāng)且僅當(dāng)在種子點(diǎn)的鄰域內(nèi)沒有滿足閾值標(biāo)準(zhǔn)的像素點(diǎn)時(shí)，種子停止生長，一個(gè)區(qū)域劃分結(jié)束．種子點(diǎn)的閾值標(biāo)準(zhǔn)為

|P(n)-P(s)|

(3)

其中，P(n)和分P(s)別為鄰域像素點(diǎn)n和種子點(diǎn)s的像素值；T為種子生長閾值．

2)頭部子區(qū)域選取

前景ROI區(qū)域通過區(qū)域生長進(jìn)行分割后，被分割為數(shù)個(gè)子區(qū)域，由于頭部區(qū)域有其獨(dú)特的特征屬性，所以頭部區(qū)域的選取問題轉(zhuǎn)化為頭部特征與ROI子區(qū)域的匹配問題．下面分別定義頭部區(qū)域整體像素值最小特征和頭部圓弧區(qū)域特征的提取方法(圖1)．

在行人所占據(jù)的垂直空間內(nèi)，頭部區(qū)域的像素值整體最小，結(jié)合區(qū)域劃分的結(jié)果，頭部區(qū)域邊緣的像素值應(yīng)小于相鄰區(qū)域邊緣的像素值，用圖1中的橢圓代表頭部區(qū)域，由此定義如下判別方法．

圖1 頭部區(qū)域邊緣擴(kuò)展圓弧示意圖Fig.1 Expanding circle arc of edge of head region

步驟1在頭部區(qū)域邊緣有間隔的隨機(jī)取n個(gè)點(diǎn)，分別為P1,P2,…,Pn．

步驟2以每個(gè)點(diǎn)為弧心，在頭部區(qū)域的邊緣做半徑值為r的n個(gè)圓弧，分別為C1,C2,…,Cn．

步驟3在每個(gè)圓弧Ci(i=1,2,…,n)上有間隔的選取m個(gè)點(diǎn)，根據(jù)式(4)和式(5)計(jì)算m個(gè)像素點(diǎn)中像素值大于弧心像素值的個(gè)數(shù)Qi及其所占的比率R為

Qi=count

(sij-pi>0,j=1,2,…,m,i=1,2,…,n)

(4)

(5)

其中，count(·)表示統(tǒng)計(jì)括號(hào)內(nèi)符合條件個(gè)數(shù)的函數(shù)；sij表示第i圓弧上第j個(gè)像素點(diǎn)值；pi表示弧心像素點(diǎn)值；Tc是比率閾值．若Ri>Tc， 則認(rèn)為此圓弧為正圓弧，反之為負(fù)圓?。?/p>

步驟4統(tǒng)計(jì)頭部區(qū)域邊緣n個(gè)圓弧中正圓弧的數(shù)量N， 若滿足

(6)

則認(rèn)為當(dāng)前區(qū)域滿足頭部區(qū)域整體像素值最小的特性．其中，Tcp為正圓弧的比率閾值．

在區(qū)域邊緣等間隔取n個(gè)點(diǎn)是為了充分與相鄰區(qū)域進(jìn)行數(shù)值比較，盡可能多地捕捉到邊緣像素差信息，以保證頭部區(qū)域判別的準(zhǔn)確性．

頭部區(qū)域是圓弧曲面，類似于一個(gè)“凸”形區(qū)域．單一的圓弧曲線具有如下性質(zhì)：從圓弧曲線的一端到另一端的過程中，斜率值會(huì)不斷變化，但是斜率的正負(fù)僅變化1次．圓弧曲面可認(rèn)為是由無數(shù)條圓弧曲線構(gòu)成，圓弧曲面包含圓弧曲線的性質(zhì)，將圓弧曲線的性質(zhì)運(yùn)用到圓弧曲面上，提出圓弧曲面的4個(gè)判別步驟：

步驟1在圖2所示的頭部區(qū)域圓弧曲面的邊緣上有間隔的選取n(n為偶數(shù))個(gè)點(diǎn)P1,P2,…,Pn．

步驟3統(tǒng)計(jì)n/2條圓弧曲線中符合圓弧曲線特性(斜率正負(fù)一次變化)的數(shù)量q．

圖2 頭部區(qū)域圓弧曲面Fig.2 Arc surface of head region

深度圖像經(jīng)過區(qū)域劃分后，被分割成數(shù)個(gè)子區(qū)域，對(duì)每個(gè)子區(qū)域進(jìn)行上述兩個(gè)特征提取算法的篩選，最終篩選出人頭部區(qū)域．

2.3 頭部跟蹤與人數(shù)統(tǒng)計(jì)

在深度圖像中人為設(shè)定2條虛擬跟蹤判定線，當(dāng)且僅當(dāng)跟蹤的頭部目標(biāo)穿越了2條判定線后，才認(rèn)為此目標(biāo)是有效目標(biāo)．2條虛擬判斷線分別從時(shí)間和空間的角度對(duì)跟蹤目標(biāo)進(jìn)行限制，即保證目標(biāo)的“存活”時(shí)間達(dá)到一定要求，同時(shí)也保證目標(biāo)的起始點(diǎn)和終止點(diǎn)之間的歐式距離達(dá)到一定的要求，雙重要求避免了虛假目標(biāo)形成的軌跡線干擾．

對(duì)幀間目標(biāo)的跟蹤依靠Kalman濾波實(shí)現(xiàn)[20]，所建立的運(yùn)動(dòng)模型為勻加速模式．多目標(biāo)并存的情況下，Kalman濾波將對(duì)每個(gè)目標(biāo)建立數(shù)學(xué)模型，每個(gè)目標(biāo)狀態(tài)的預(yù)測值都需要相應(yīng)的觀測值進(jìn)行修正，以保證Kalman濾波對(duì)目標(biāo)狀態(tài)的準(zhǔn)確描述．為此需要建立目標(biāo)預(yù)測值和觀測值的最佳匹配策略．本研究以目標(biāo)的預(yù)測坐標(biāo)和觀測坐標(biāo)之間的歐式距離作為兩目標(biāo)的相似度，并形成相似度矩陣，由此將最佳匹配問題轉(zhuǎn)化為矩陣求解問題，矩陣求解結(jié)果就是目標(biāo)的最佳匹配結(jié)果．相似度的計(jì)算通過歐式距離實(shí)現(xiàn)，即目標(biāo)的預(yù)測坐標(biāo)(xp,yp)和(xo,yo)觀測坐標(biāo)的相似度計(jì)算為

(7)

其中，d表示目標(biāo)預(yù)測值和觀測值間的相似度，即歐式距離計(jì)算結(jié)果；x和y分別表示目標(biāo)在圖像上的橫縱坐標(biāo)．M個(gè)目標(biāo)的預(yù)測值與N個(gè)觀測值形成的相似度矩陣D為

(8)

其中，n和m的取值范圍分別為[1,N]和(1,M)． 相似度矩陣的最佳匹配策略為：目標(biāo)預(yù)測值與觀測值的最佳匹配必須保證兩者的相似度值在預(yù)測值與觀測值所在的行和列中都是最小值．

3 實(shí)驗(yàn)與分析

實(shí)驗(yàn)采用Kinect 2.0型攝像頭，其垂直對(duì)準(zhǔn)地面，安裝高度為3 m，實(shí)驗(yàn)測試環(huán)境在實(shí)驗(yàn)室的進(jìn)出口處，實(shí)驗(yàn)計(jì)算機(jī)的處理器為Intel Core i3 CPU，內(nèi)存4 GB，硬盤500 GB，算法仿真環(huán)境為Visual Studio 2013．

3.1 深度圖像區(qū)域劃分

區(qū)域劃分的目的是分割深度圖像，使得深度圖像以區(qū)域塊的形式存在．本研究提出的基于多特征的行人頭部檢測算法是區(qū)域劃分基礎(chǔ)上進(jìn)行，區(qū)域劃分的質(zhì)量直接影響到算法最終的檢測準(zhǔn)確率．圖3為利用區(qū)域生長算法在深度圖像上的劃分結(jié)果．從區(qū)域劃分的實(shí)驗(yàn)結(jié)果圖中可明顯看出，區(qū)域生長算法對(duì)頭部的劃分相當(dāng)完整，并未出現(xiàn)頭部和肩部粘連的現(xiàn)象．區(qū)域劃分的最佳結(jié)果即將頭部完整劃分成一個(gè)子區(qū)域，所以，區(qū)域劃分算法閾值與頭部區(qū)域邊緣的階躍值大小有關(guān)，將深度圖像歸一化到255的范圍后，行人平均頭肩部的范圍約為15(像素值)，所以本研究的區(qū)域分割閾值為15．

圖3 深度圖像和相應(yīng)的區(qū)域分割圖像Fig.3 (Color online) Depth images and corresponding segmented images

3.2 多樣性發(fā)型的頭部區(qū)域檢測

按照行人頭發(fā)的長度，可將行人分為短發(fā)行人和長發(fā)行人，短發(fā)行人特征明顯，易于檢測，長發(fā)行人發(fā)型多變，檢測難度較高．本研究對(duì)行人的檢測是基于圖像區(qū)域的，所以不同發(fā)型的行人只要在圖像上區(qū)域分割后的區(qū)域上滿足頭部的4個(gè)特征即可被判斷為頭部．下面應(yīng)用本研究所提的頭部檢測算法對(duì)各種不同發(fā)型的行人進(jìn)行頭部檢測，其中，發(fā)型類型有丸子頭、盤發(fā)、馬尾、披肩和戴帽子，如圖4所示．檢測結(jié)果表明本算法對(duì)不同發(fā)型的行人具有一定的適應(yīng)性．

圖4 多種發(fā)型的深度圖像分割和頭部檢測結(jié)果Fig.4 (Color online) Segmented results and head detection results of multi-hairstyle in depth images

3.3 遮擋與多人檢測

遮擋和多人環(huán)境下的人頭部檢測屬于行人頭部檢測的難點(diǎn)．由于行人間的身高不同等原因，行人在移動(dòng)過程中會(huì)出現(xiàn)不同程度的頭部遮擋，由此將導(dǎo)致頭部區(qū)域特征不明顯或者頭部區(qū)域部分缺失的問題，不利于行人頭部的檢測．

圖5 多人頭部檢測結(jié)果Fig.5 (Color online) Head detection results of multi-people

利用本算法在多人環(huán)境下的頭部檢測結(jié)果如圖5所示．其中，共5個(gè)行人，攝像頭的拍攝范圍基本被全部覆蓋．實(shí)驗(yàn)結(jié)果表明，該算法在多人環(huán)境下有良好的檢測效果，保證了頭部的正確檢測．

頭部部分遮擋下的行人檢測結(jié)果如圖6所示．其中，圖6(a)和(d)圖中實(shí)線圈所標(biāo)示的行人頭部被虛線圈所示的行人遮擋，兩者之間的身高差為5 cm．從實(shí)驗(yàn)結(jié)果可看出，當(dāng)頭部出現(xiàn)輕微遮擋，算法能正確檢測出被遮擋行人的頭部．當(dāng)出現(xiàn)更大面積遮擋時(shí)，由于特征被掩蓋，不能正確檢測，本算法僅適用于輕微遮擋下的頭部檢測．

圖6 頭部遮擋檢測結(jié)果Fig.6 (Color online) Detection results of head region overlapped

圖7 頭部跟蹤結(jié)果Fig.7 (Color online) Head track results

3.4 行人跟蹤與統(tǒng)計(jì)結(jié)果

跟蹤的目的是為了產(chǎn)生軌跡線，即記錄目標(biāo)的運(yùn)動(dòng)過程，人數(shù)統(tǒng)計(jì)是基于軌跡的運(yùn)動(dòng)趨勢完成的．圖7為行人跟蹤過程，行人在移動(dòng)過程中運(yùn)動(dòng)隨意性明顯，軌跡并不標(biāo)準(zhǔn)，但通過對(duì)目標(biāo)建立跟蹤模型，并通過幀間目標(biāo)關(guān)聯(lián)，可以實(shí)現(xiàn)對(duì)目標(biāo)的準(zhǔn)確跟蹤．

表1為人數(shù)統(tǒng)計(jì)結(jié)果，分別做了3次實(shí)驗(yàn)，其實(shí)驗(yàn)復(fù)雜度依次上升．序號(hào)1的實(shí)驗(yàn)對(duì)象是單個(gè)行人，不存在多人結(jié)伴行走的情況，準(zhǔn)確率為98%；序號(hào)2的實(shí)驗(yàn)對(duì)象是兩三個(gè)行人結(jié)伴行走，場景難度相對(duì)序號(hào)1的實(shí)驗(yàn)復(fù)雜，準(zhǔn)確率為87%；序號(hào)3的實(shí)驗(yàn)對(duì)象是多行人擁擠行走的復(fù)雜場景，準(zhǔn)確率為81%；平均準(zhǔn)確率為88.6%．

表1 人數(shù)統(tǒng)計(jì)結(jié)果

結(jié) 語

本研究利用深度攝像機(jī)(Kinect)為視頻拍攝源，提取深度圖像并分析，總結(jié)出人頭部在深度圖像中的4個(gè)特征，并在區(qū)域成功分割的基礎(chǔ)上，依靠對(duì)特征的提取實(shí)現(xiàn)了頭部的正確檢測，并通過實(shí)驗(yàn)驗(yàn)證了本算法針對(duì)行人的多發(fā)型、部分遮擋和多人情況均有良好的檢測效果．在頭部被正確檢測的基礎(chǔ)上，依靠Kalman濾波技術(shù)實(shí)現(xiàn)了頭部跟蹤，進(jìn)而根據(jù)行人的軌跡運(yùn)動(dòng)方向統(tǒng)計(jì)出進(jìn)出人數(shù)．但在相對(duì)復(fù)雜的場景下，本算法仍存在誤檢和漏檢問題，由此需要做進(jìn)一步分析，加強(qiáng)特征的提取方法，解決漏誤檢問題．

引文：劉 磊，陳澤虹，張 勇，等．深度圖像下基于頭部多特征的人數(shù)統(tǒng)計(jì)算法[J]. 深圳大學(xué)學(xué)報(bào)理工版，2017，34(6)：584-590.

/

[1] 孫棣華, 閆 川, 趙 敏, 等. 結(jié)合梯度與彩色直方圖的人頭識(shí)別[J]. 重慶工學(xué)院學(xué)報(bào)自然科學(xué), 2007, 21(12): 1-5.

Sun Dihua, Yan Chuan, Zhao Min, et al. Head detection based on gray gradient and color histogram[J]. Journal of Chongqing Institute of Technology, 2007, 21(12): 1-5.(in Chinese)

[2] Gardel A, Bravo I, Jimenez P, et al. Real time head detection for embedded vision modules[C]// IEEE International Symposium on Intelligent Signal Processing. San Diego, USA: IEEE Computer Society, 2007:1-6.

[3] Chen Juan, Wen Quan, Zhuo Chenglong, et al. Automatic head detection for passenger flow analysis in bus surveillance videos[C]// International Conference on Image and Signal Processing. San Diego, USA: IEEE Computer Society, 2012:143-147.

[4] Chua J L, Chang Y C, Lim W K. Visual based fall detection through human shape variation and head detection[C]// International Conference on Multimedia, Signal Processing and Communication Technologies (IMPACT). San Diego, USA: IEEE Computer Society, 2014: 61-65.

[5] Sim C H, Rajmadhan E, Ranganath S. Using color bin images for crowd detections[C]// IEEE International Conference on Image Processing. San Diego, USA: IEEE Computer Society, 2008:1468-1471.

[6] Luo Jun, Wang Jinqiao, Xu Huazhong, et al. Real-time people counting for indoor scenes[J]. Signal Processing, 2015,124:27-35.

[7] Cai Zebin, Yu Zhuliang, Liu Hao, et al. Counting people in crowded scenes by video analyzing[C]// IEEE Conference on Industrial Electronics and Applications. San Diego, USA: IEEE Computer Society, 2014:1841-1845.

[8] Gao Chenqiang, Li Pei, Zhang Yajun, et al. People counting based on head detection combining Adaboost and CNN in crowded surveillance environment[J]. Neurocomputing, 2016, 208:108-116.

[9] Aziz K, Merad D, Iguernaissi R, et al. Head detection based on skeleton graph method for counting people in crowded environments[J]. Journal of Electronic Imaging, 2016, 25(1): 013012-013025.

[10] Zhang Xucong, Yan Junjie, Feng Shikun, et al. Water filling: unsupervised people counting via vertical Kinect sensor[C]// IEEE the 9th International Conference on Advanced Video and Signal-Based Surveillance. San Diego, USA: IEEE Computer Society, 2012:215-220.

[11] Gao Chenqiang, Liu Jun, Feng Qi, et al. People-flow counting in complex environments by combining depth and color information[J]. Multimedia Tools and Applications, 2016, 75(15):1-17.

[12] Coskun A, Kara A, Parlaktuna M, et al. People counting system by using Kinect sensor[C]// International Symposium on Innovations in Intelligent Systems and Applications. San Diego, USA: IEEE Computer Society, 2015, 1-7.

[13] Rauter M. Reliable human detection and tracking in top-view depth images[C]// International Conference on Computer Vision and Pattern Recognition Workshops. San Diego, USA: IEEE Computer Society, 2013:529-534.

[14] Vera P, Zenteno D, Salas J. Counting pedestrians in bidirectional scenarios using zenithal depth images[C]// Mexican Conference on Pattern Recognition. New York, USA: Springer-Verlag, 2013:84-93.

[15] Oosterhout T V, Bakkes S, Kr?se B J A. Head detection in stereo data for people counting and segmentation[C]// Visapp-Sixth International Conference on Computer Vision Theory & Applications. Algarve, Portugal:[s. n.], 2011:470-479.

[16] Oosterhout T V, Englebienne G, Kr?se B. RARE: people detection in crowded passages by range image reconstruction[J]. Machine Vision and Applications, 2015, 26(5):561-573.

[17] Galcˇ ík F, Gargalík R. Real-time depth map based people counting[C]// International Conference on Advanced Concepts for Intelligent Vision Systems. New York, USA: Springer-Verlag, 2013:330-341.

[18] 王江峰. 基于軌跡片段關(guān)聯(lián)的目標(biāo)跟蹤與事件檢測方法研究[D]. 長沙: 國防科學(xué)技術(shù)大學(xué), 2011.

Wang Jiangfeng. Researches on object tracking and event detection based on tracklet association[D]. Changsha: National University of Defense Technology, 2011.(in Chinese)

[19] Chen C, Chang Y, Chen T, et al. People counting system for getting in/out of a bus based on video processing[C]// The Eighth International Conference on Intelligent Systems Design and Applications. Kaohsiung, China: IEEE Computer Society, 2008:565-569.

[20] Ristic B, Arulampalam S, Gordon N. Beyond the Kalman filter: particle filter for tracking application[J]. IEEE Transactions of Aerospace & Electronic Systems, 2004, 19(7): 37-38.

【中文責(zé)編：方圓；英文責(zé)編：木柯】

2016-12-20；Revised2017-05-15；Accepted2017-07-14

Doctor Zhao Dongning. E-mail:582101@qq.com

Apeoplecountingalgorithmbasedonmulti-featureofheadregionindepthimages

LiuLei1,ChenZehong2,ZhangYong1,andZhaoDongning2,3

1) ATR Key Laboratory of National Defense Technology, Shenzhen University, Shenzhen 518060, Guangdong Province, P.R.China2) College of Information Engineering, Shenzhen University, Shenzhen 518060, Guangdong Province, P.R.China3) School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen), Shenzhen 518055, Guangdong Province, P.R.China

In daily life, a great number of security accidents are caused by the excessive flow of people. In order to prevent the occurrence of such accidents, we propose an efficient algorithm to count the number of people by using video monitors and limit the flow of people in time. The algorithm uses the depth camera as a video capture device and realizes the detection of people’s heads by analyzing and extracting the four features of heads in depth image. The method uses Kalman filter technology to track the head and achieves the purpose of counting statistics. The proposed algorithm can effectively solve the head detection problem of complex scenes, such as hairstyle diversity and head part-occlusion. The average accuracy of the proposed algorithm reaches about 88.6%.

digital image processing; depth image; region growing; Kalman filter; multi-feature; people counting

Foundation：Natural Science Foundation of Guangdong Province (2015A030310172); Science and Technology Plan Projects of Shenzhen ( JCYJ20170302145623566, JCYJ20160331185006518)

：Liu Lei, Chen Zehong, Zhang Yong, et al. A people counting algorithm based on multi-feature of head region in depth images[J]. Journal of Shenzhen University Science and Engineering, 2017, 34(6): 584-590.(in Chinese)

TP 319

A

10.3724/SP.J.1249.2017.06584

廣東省自然科學(xué)基金資助項(xiàng)目(2015A030310172)；深圳市科技計(jì)劃資助項(xiàng)目(JCYJ20170302145623566, JCYJ20160331185006518)

劉 磊(1991—)，男，深圳大學(xué)碩士研究生．研究方向：圖像處理．E-mail：270568577@qq.com