張 華，劉宏立，徐 琨，馬子驥

湖南大學(xué) 電氣與信息工程學(xué)院，長(zhǎng)沙 410082

基于RGB-D相機(jī)的實(shí)時(shí)人數(shù)統(tǒng)計(jì)方法

張 華，劉宏立，徐 琨，馬子驥

湖南大學(xué) 電氣與信息工程學(xué)院，長(zhǎng)沙 410082

1 引言

人數(shù)統(tǒng)計(jì)系統(tǒng)在智能監(jiān)控中有著廣泛的應(yīng)用價(jià)值。地鐵站和火車站等重要公共場(chǎng)所的人數(shù)統(tǒng)計(jì)為控制客流提供精確的客流數(shù)據(jù)管理；公交車，電梯口等區(qū)域的客流量統(tǒng)計(jì)對(duì)公共安全防范和交通配置都有著重要的參考價(jià)值；大型超市和商場(chǎng)等企業(yè)在人數(shù)統(tǒng)計(jì)的基礎(chǔ)上進(jìn)行相關(guān)商業(yè)分析和數(shù)據(jù)挖掘可以輔助企業(yè)指導(dǎo)市場(chǎng)決策。因此，潛在的社會(huì)意義和市場(chǎng)應(yīng)用價(jià)值使人數(shù)統(tǒng)計(jì)成為當(dāng)前國(guó)內(nèi)外智能視頻監(jiān)控領(lǐng)域的研究熱點(diǎn)之一。

采用計(jì)算機(jī)視覺的人數(shù)統(tǒng)計(jì)方法主要分為2類：（1）基于可見光的人數(shù)統(tǒng)計(jì)；（2）基于深度傳感器的人數(shù)統(tǒng)計(jì)。基于可見光的人數(shù)統(tǒng)計(jì)具體可分為3種[1]：基于檢測(cè)的計(jì)數(shù)[2]、基于聚類的計(jì)數(shù)[3]和基于回歸的計(jì)數(shù)[4]?；跈z測(cè)的計(jì)數(shù)利用圖像的局部特征訓(xùn)練出的檢測(cè)器檢測(cè)圖像中是否有行人；基于聚類的計(jì)數(shù)采用非監(jiān)督的學(xué)習(xí)方法把運(yùn)動(dòng)場(chǎng)或者視覺特征相似的對(duì)象的相干特性軌跡聚類成一個(gè)運(yùn)動(dòng)的子集，通過統(tǒng)計(jì)子集的數(shù)量進(jìn)行行人計(jì)數(shù)；基于回歸的計(jì)數(shù)通過機(jī)器學(xué)習(xí)直接從底層圖像特征到人群密度的映射關(guān)系來統(tǒng)計(jì)行人數(shù)目。這幾種方法在實(shí)際應(yīng)用中容易受到運(yùn)動(dòng)人群遮擋、隨身物干擾、光線變化和目標(biāo)紋理變化等環(huán)境因素影響，導(dǎo)致計(jì)數(shù)準(zhǔn)確率低和魯棒性差。基于深度傳感器的人數(shù)統(tǒng)計(jì)主要采取的技術(shù)有飛行時(shí)間法（Time-Of-Flight，TOF）[5]、激光掃描和結(jié)構(gòu)光3種，前2種設(shè)備價(jià)格昂貴且精度沒有采用結(jié)構(gòu)光技術(shù)的RGB-D傳感器高，后者隨著微軟Kinect的推出逐漸成為研究的熱點(diǎn)。面對(duì)不同的應(yīng)用需求，基于RGB-D傳感器的人數(shù)統(tǒng)計(jì)方法的視角可分為頂視[6-8]和斜視[9-10]2個(gè)方向，頂視安裝簡(jiǎn)單，能直觀地解決人群遮擋問題。

本文受模擬降水的分水嶺算法[11-12]啟發(fā)，提出了一種新的D-RWS人數(shù)統(tǒng)計(jì)算法。傳統(tǒng)的模擬降水分水嶺變換目的是找到分水嶺，本方法處理的對(duì)象是包含行人的深度圖，目的是通過模擬降落的雨滴在深度地形圖找到指示行人頭部區(qū)域的集水盆地。在頂視深度圖上采用模擬降水的思路，解決了ROI分割的難題。本方法相對(duì)傳統(tǒng)基于視覺的方法具有以下優(yōu)點(diǎn)：（1）算法復(fù)雜度低，實(shí)時(shí)性能好，統(tǒng)計(jì)準(zhǔn)確率高；（2）魯棒性強(qiáng)，不受人群遮擋、光照變化、陰影等環(huán)境因素影響。

2 問題分析

本方法采取的RGB-D設(shè)備為以色列3D傳感技術(shù)公司PrimeSense推出的PrimeSensor，其輸出深度圖像分辨率為640×480，最大輸出幀率為60 f/s[13]。設(shè)備安裝如圖1（a）所示 ，使用垂直向下視角拍攝行人獲取頂視深度圖。不失一般性，行人的頭部相對(duì)身體其他部位總是距離PrimeSensor最近，即行人的頭部深度值是局部最小值。由圖1（b）和實(shí)際視頻分析可知，人群在擁擠時(shí)只有人頭之間不存在遮擋，由此定義ROI為深度圖中行人的頭部區(qū)域，檢測(cè)行人的數(shù)目等同于檢測(cè)行人頭部的數(shù)目。準(zhǔn)確檢測(cè)分割出行人的頭部后，對(duì)頭部質(zhì)心進(jìn)行簡(jiǎn)單的跟蹤和軌跡判斷可實(shí)現(xiàn)人數(shù)統(tǒng)計(jì)。系統(tǒng)的示意圖如圖1，其中圖1（a）是PrimeSensor頂視安裝場(chǎng)景，圖1（b）是PrimeSensor獲取的RGB圖和原始深度圖，深度圖的像素值等于以毫米為單位的深度值，圖1（c）是本文的總體流程圖。

圖1 系統(tǒng)概述

3 D-RWS算法

3.1 算法準(zhǔn)備

3.1.1 深度圖像修復(fù)

PrimeSensor深度攝像頭用CMOS紅外傳感器采集由投射器投射出的散斑結(jié)構(gòu)光，交由PS1080芯片進(jìn)行計(jì)算后得到最終的景深數(shù)據(jù)?；谥鲃?dòng)結(jié)構(gòu)光測(cè)量方法獲取的深度圖在目標(biāo)的邊緣區(qū)域和平滑區(qū)域存在空洞現(xiàn)象，如圖1（b）黑色區(qū)域所示（像素值為0），這些丟失深度信息的空洞區(qū)域會(huì)影響ROI分割效果，因此需對(duì)其進(jìn)行修復(fù)。

本文從實(shí)時(shí)性考慮出發(fā)提出了一種簡(jiǎn)單的從圖像邊緣到中心逐層填充像素的自適應(yīng)開關(guān)均值濾波處理方法，避免了傳統(tǒng)非線性濾波算法[14]復(fù)雜度大的問題。首先判斷深度圖I的像素點(diǎn)是否為噪聲點(diǎn)，將空洞像素的坐標(biāo)并放入集合Φ，非空洞區(qū)域的像素值保持不變。然后以Φ中的元素為中心，求出邊長(zhǎng)L=2BRsize+1的矩形濾波窗內(nèi)非空洞像素的個(gè)數(shù)，如式（1）中N所示。最后按式（2）求得濾波輸出值V，即矩形窗內(nèi)非空洞像素的平均值。保存本次計(jì)算的結(jié)果并作為有效像素參與Φ中下個(gè)空洞像素的均值填充計(jì)算，直到深度圖中沒有空洞像素，修復(fù)后的深度圖如圖2（c）所示。實(shí)驗(yàn)效果表明此輕量級(jí)的自適應(yīng)開關(guān)均值濾波修復(fù)方法能達(dá)到良好的修復(fù)效果。

3.1.2 前景提取

視頻中運(yùn)動(dòng)目標(biāo)的檢測(cè)常用背景差分法，背景差分法具有實(shí)時(shí)性能好和目標(biāo)檢測(cè)準(zhǔn)確的優(yōu)點(diǎn)，其最關(guān)鍵的部分是背景建模。經(jīng)典的背景模型包括混合高斯分布模型（Mixture of Gaussian，MoG）[15-16]、Kalman濾波器模型和視覺背景提取（Visual Background Extractor，VIBE）模型[17]。本文采取精度和魯棒性強(qiáng)的混合高斯背景建模方法，使用3個(gè)高斯分布模型對(duì)視頻中每個(gè)像素點(diǎn)的像素值序列建模，獲取的前景二值圖如圖2（a）所示。受攝像機(jī)噪聲的影響，圖2（a）存在大量雜散小塊噪聲區(qū)域，采用融合面積濾波的形態(tài)學(xué)開運(yùn)算處理，具體步驟如下：

（1）執(zhí)行形態(tài)學(xué)腐蝕操作，消除雜散的噪點(diǎn)區(qū)域。

（2）進(jìn)行區(qū)域面積濾波，即對(duì)腐蝕后的二值圖進(jìn)行4連通標(biāo)記，統(tǒng)計(jì)被標(biāo)記的區(qū)域個(gè)數(shù)和每個(gè)區(qū)域的像素個(gè)數(shù)，濾除區(qū)域像素個(gè)數(shù)小于閾值的小區(qū)域。

（3）對(duì)面積濾波后保留的大區(qū)域進(jìn)行形態(tài)學(xué)膨脹操作，得到去噪后平滑的前景二值圖，如圖2（b）所示。

（4）將去噪后的前景二值圖2（b）與前景修復(fù)的深度

P=1圖2（c）相乘，得到場(chǎng)景中的行人區(qū)域即前景深度圖，如圖2（d）所示。

對(duì)分辨率為160×120的視頻混合高斯背景建模實(shí)驗(yàn)每幀的處理時(shí)間約10 ms，能夠適應(yīng)復(fù)雜的場(chǎng)景變化，可有效、快速地提取前景目標(biāo)。

圖2 前景提取過程

3.2 ROI分割

根據(jù)深度圖像的地形學(xué)理解，深度值高的地方為山脊，深度值低的地方為盆地，隨機(jī)降落在地貌模型上的雨滴受重力的影響由地勢(shì)高的地方向地勢(shì)低的方向流動(dòng)。如圖3所示，假設(shè)依次降落的理想雨滴大小相等且互不影響，當(dāng)離散雨滴隨機(jī)降落在模型上，必將沿著山坡最陡峭路徑流入谷底，形成一個(gè)“集水盆地”?！凹璧亍本褪巧疃葓D中行人的頭部區(qū)域，從而實(shí)現(xiàn)了ROI的粗分割。設(shè) I(x，y)為前景區(qū)域(x，y)位置的深度值，M(x，y)為(x，y)位置的水滴數(shù)量。為遵循地形學(xué)約束保持集水盆地水面平坦，M(x，y)滿足：

如果 I(p1)≤ I(p2)，則 M(p1)≥ M(p2)，且 I(p1)+M(p1)≤I(p2)+M(p2)。

在此約束下，通過M(x，y)的分布可間接找出I(x，y)的局部極小值區(qū)域。

圖3 模擬降水示意圖

3.2.1 模擬降水分水嶺過程

ROI分割詳細(xì)過程見圖4。算法開始時(shí)先初始化雨滴分布函數(shù) M(x，y)為0。然后用前景最大像素值的2倍填充背景區(qū)域，以方便處理前景與背景過渡的邊界區(qū)域。

圖4 ROI分割流程圖

在整個(gè)模擬降水分水嶺過程中降落的雨滴總數(shù)定義如式（3）：

式中，sizef為前景區(qū)域的像素個(gè)數(shù)，K是控制雨滴總數(shù)的常數(shù)取經(jīng)驗(yàn)值50。所有雨滴隨機(jī)降落在前景區(qū)域，服從均勻分布。降落在同一個(gè)小區(qū)域的雨滴走過的路徑和最終停留的局部極小值區(qū)域基本相同，為加速算法執(zhí)行，設(shè)迭代時(shí)每次降落RN個(gè)雨滴。整個(gè)算法執(zhí)行過程可分為外循環(huán)和內(nèi)循環(huán)，外循環(huán)中雨滴按均勻分布隨機(jī)降落，直到RainNum個(gè)雨滴全部撒落在前景區(qū)域。內(nèi)循環(huán)則為降落的雨滴迭代尋找局部最小值的過程。

則外循環(huán)次數(shù)為：

雨滴倍數(shù)：

定義位置(x，y)各方向坡度：

式中，(xn，yn)是當(dāng)前位置(x，y)的8鄰域點(diǎn)，坡度表示當(dāng)前位置的總高度(I(x，y)+M(x，y))與其8鄰域點(diǎn)的高度差，坡度越大則該方向的重力勢(shì)能越大，優(yōu)先選擇該方向。當(dāng)8鄰域上網(wǎng)坡度都小于或等于閾值RD，表示該點(diǎn)為局部最小值點(diǎn)。

雨滴下降坡度最大方向：

每次內(nèi)循環(huán)都先初始化R=RN，求出各方向坡度。

當(dāng)D(x*，y*)-RD＞0，即最大坡度大于坡度閾值時(shí)，則當(dāng)前位置不是局部極小值區(qū)域，執(zhí)行坐標(biāo)跳轉(zhuǎn)x=x*，y=y*且R保持不變。

當(dāng) D(x*，y*)-RD≤0，即當(dāng)前位置8鄰域的最大坡度小于等于坡度閾值RD時(shí)，則判斷是局部極小值區(qū)域，當(dāng)前位置雨滴數(shù)目按公式（8）更新。

同時(shí)內(nèi)循環(huán)迭代執(zhí)行時(shí)雨滴按公式（9）遞減。

更新的R個(gè)水滴從位置(x，y)繼續(xù)選擇坡度最大的方向移動(dòng)，直到R小于或者等于0時(shí)內(nèi)循環(huán)結(jié)束。當(dāng)外循環(huán)次數(shù)iter執(zhí)行完畢，得到粗糙的ROI如圖5（a）所示。

圖5 D-RWS算法后處理

3.2.2 加速方法

在算法的迭代過程中，考慮到D(x*，y*)存在多個(gè)，采取智能選擇和前向優(yōu)化加速方法。此方法在內(nèi)循環(huán)中把雨滴分為2種：第一種是初始雨滴即外循環(huán)iter每次更新時(shí)隨機(jī)產(chǎn)生的未移動(dòng)位置的雨滴；另外一種是已經(jīng)移動(dòng)過的非初始雨滴。在初始雨滴移動(dòng)過程中，沒有上一步移動(dòng)方向參照，如果D(x*，y*)存在多個(gè)則從中隨機(jī)選擇一個(gè)作為雨滴的移動(dòng)方向。非初始雨滴選擇的移動(dòng)方向可分兩類：

（1）D(x*，y*)唯一存在則選擇僅有的最大值方向。

（2）當(dāng)多個(gè) D(x*，y*)存在時(shí)，引入權(quán)值矩陣 A，如圖6（a）所示，參考上一步移動(dòng)方向，優(yōu)先選擇權(quán)重較大的靠前方向，具體過程如下：

如圖6（b）所示，定義中心點(diǎn)8鄰域的方向S1到S8設(shè)雨滴從 O 沿著方向 i移動(dòng)到 O*，i=(1，2，…，8)。令O*各方向 j=(1，2，…，8)分別對(duì)應(yīng)S1到S8。對(duì)任意方向j

雨滴移動(dòng)時(shí)從多個(gè)D(x*，y*)方向中選擇權(quán)值最大的方向dir為：

圖6（b）列舉了O沿著方向3移動(dòng)到O*的權(quán)重分配情況，帶*號(hào)數(shù)字為權(quán)重。

圖6 權(quán)重矩陣和前向加速示意圖

3.3 算法后處理

D-RWS算法ROI分割部分執(zhí)行完畢后的雨滴分布結(jié)果如圖5（a），由圖可知頭部區(qū)域的面積和灰度值（深度）大，非ROI區(qū)域面積和灰度值小。為濾除部分非頭部局部極小值區(qū)域的噪聲影響，只有當(dāng)某個(gè)位置的雨滴數(shù)目（深度）和連通域像素個(gè)數(shù)（面積）大于閾值的像素點(diǎn)才最終保留為ROI。因此需采取形態(tài)學(xué)濾波后處理方法濾除非ROI區(qū)域，只保留頭部區(qū)域。具體過程如下：

（1）對(duì)原始雨滴分布圖進(jìn)行形態(tài)學(xué)腐蝕運(yùn)算，消除邊界點(diǎn)和噪聲區(qū)域。

（2）對(duì)腐蝕后的圖進(jìn)行深度濾波，濾除所有深度小于深度閾值的區(qū)域，即雨滴數(shù)目大于此閾值的區(qū)域才當(dāng)作頭部，深度濾波結(jié)果如圖5（b）所示。

（3）對(duì)步驟（2）處理后的圖片進(jìn)行4連通標(biāo)記，濾除區(qū)域像素點(diǎn)數(shù)小于面積閾值的小區(qū)域，結(jié)果如圖5（c）。

4 質(zhì)心跟蹤與計(jì)數(shù)

目標(biāo)跟蹤常用卡爾曼濾波和粒子濾波等算法，以上算法雖然魯棒性較好，但復(fù)雜度大，在多目標(biāo)的點(diǎn)跟蹤場(chǎng)景并不適用。根據(jù)待處理圖像幀的特點(diǎn)和實(shí)時(shí)性的要求，本文采用基于質(zhì)心空間歐氏距離最短法的運(yùn)動(dòng)目標(biāo)跟蹤算法[18]。算法將運(yùn)動(dòng)目標(biāo)的形心坐標(biāo)視為視頻運(yùn)動(dòng)對(duì)象的質(zhì)心坐標(biāo)，用空間歐氏距離最短法對(duì)視頻幀中各運(yùn)動(dòng)目標(biāo)質(zhì)心進(jìn)行關(guān)聯(lián)匹配，并跟蹤相鄰各幀匹配目標(biāo)繪制軌跡，如圖7左上角分圖。根據(jù)標(biāo)號(hào)判斷當(dāng)前幀中是否有目標(biāo)消失，若有目標(biāo)消失則判斷有行人進(jìn)出，且消失目標(biāo)數(shù)目為進(jìn)出人數(shù)總和。由目標(biāo)出現(xiàn)的起始點(diǎn)質(zhì)心坐標(biāo)、消失點(diǎn)質(zhì)心坐標(biāo)以及起始點(diǎn)與消失點(diǎn)之間的距離可判斷目標(biāo)的進(jìn)出方向并統(tǒng)計(jì)數(shù)目。

5 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)環(huán)境為：MacBook Air筆記本，1.8 GHz Intel Core i5 CPU和4 GB內(nèi)存，通過C++語(yǔ)言在Visual Studio 2010編程平臺(tái)下實(shí)現(xiàn)算法。PrimeSensor采用OpenNI軟件開發(fā)包。算法的執(zhí)行時(shí)間主要消耗在混合高斯背景建模和雨滴降落迭代的過程，為加速算法把原始640×480大小的深度圖片降采樣為160×120。實(shí)驗(yàn)系統(tǒng)界面及參數(shù)設(shè)置如圖7所示，其中n表示當(dāng)前幀的人數(shù)，t是以秒為單位的當(dāng)前幀全部處理時(shí)間，右下角紅色數(shù)字為區(qū)分不同目標(biāo)而設(shè)置的標(biāo)號(hào)。

圖7 系統(tǒng)界面及參數(shù)設(shè)置

5.1 性能測(cè)試與比較

表1是三組代表性場(chǎng)景現(xiàn)場(chǎng)測(cè)試的結(jié)果。設(shè)置PrimeSensor安裝高度為3 m，測(cè)試時(shí)間1 h，只統(tǒng)計(jì)出現(xiàn)在PrimeSensor視野中的人數(shù)。從表1中可看出，在普通場(chǎng)景電氣院中統(tǒng)計(jì)的正確率高達(dá)100%，而圖書館和某大型超市因客流量大且隨身干擾物多其準(zhǔn)確率稍有下降。例如在超市測(cè)試時(shí)有小孩的頭部緊靠著大人的肩膀，小孩被當(dāng)作了大人的一部分。雖然整個(gè)過程存在漏檢和誤檢，其總體正確率也維持在98%以上。

表1 實(shí)驗(yàn)結(jié)果

表2顯示了本文算法與當(dāng)前效果較好的文獻(xiàn)[7-8]方法的比較結(jié)果（表中文獻(xiàn)的數(shù)據(jù)均來自原作者論文中），從表中可知本方法的平均幀率可達(dá)40 f/s，平均計(jì)數(shù)準(zhǔn)確率達(dá)99.1%，速度和準(zhǔn)確率均優(yōu)于以上兩種算法，是目前處理速度和準(zhǔn)確率最好的算法之一。

表2 人數(shù)統(tǒng)計(jì)準(zhǔn)確率和速度比較

5.2 魯棒性測(cè)試

圖8、圖9和圖10分別為算法在人群密集場(chǎng)景、人頭粘連場(chǎng)景和復(fù)雜隨身物干擾場(chǎng)景的測(cè)試效果。在圖8中，行人不僅擁擠而且部分行人的手搭在其他人肩上形成交叉干擾。場(chǎng)景中共有8人，但只有7人的頭部出現(xiàn)，實(shí)際準(zhǔn)確檢測(cè)到7人，右下角行人因?yàn)橹挥屑绮砍霈F(xiàn)在場(chǎng)景中沒有統(tǒng)計(jì)。圖9是3個(gè)行人頭部倆倆粘連情況測(cè)試，D-RWS算法執(zhí)行結(jié)果中頭部沒有完全分離，但通過后處理步驟得到的最終ROI完全分離，準(zhǔn)確檢測(cè)到3個(gè)行人。如果行人的頭部緊密的挨在一起，使之融合成一個(gè)連通域則本文算法會(huì)漏檢，但這種特殊的情況發(fā)生的概率十分小，所以不會(huì)影響算法的整體性能。圖10是算法在復(fù)雜隨身物的場(chǎng)景下測(cè)試，行人的隨身物包括棒球帽，大書包，拉桿箱和籃球，從圖中可看出本方法能夠排除隨身物干擾準(zhǔn)確檢測(cè)到行人，算法的魯棒性較強(qiáng)。此外，本文算法采取的結(jié)構(gòu)光技術(shù)，能適應(yīng)室內(nèi)環(huán)境任意光照環(huán)境變化。由以上測(cè)試可知，本方法的魯棒性較強(qiáng)，綜合性能出色。

圖8 人群密集場(chǎng)景測(cè)試

圖9 頭部粘連場(chǎng)景測(cè)試

圖10 復(fù)雜隨身物干擾測(cè)試

5.3 關(guān)鍵參數(shù)選擇

圖11為每次降落雨滴數(shù)RN與坡度閾值RD兩個(gè)參數(shù)對(duì)算法處理速度的影響曲線，測(cè)試對(duì)象為某超市視頻幀序列。從圖11中可知，當(dāng)RN固定不變時(shí)平均每幀處理時(shí)間隨著RD的增加而顯著減少。因?yàn)镽D越大，內(nèi)循環(huán)迭代速度越快，但人數(shù)統(tǒng)計(jì)的準(zhǔn)確率也相應(yīng)地降低了。如果RD太小，算法迭代速度太慢，影響執(zhí)行效率，并且容易受到噪聲的影響?？傮w上，當(dāng)RD不變時(shí)，平均每幀處理時(shí)間隨著RN的增加而增加，當(dāng)RN增加時(shí)雖然外循環(huán)次數(shù)變少了，但是內(nèi)循環(huán)迭代步數(shù)增加了，而且內(nèi)循環(huán)迭代的過程主導(dǎo)了算法的執(zhí)行時(shí)間。

圖11 RD和RN與時(shí)間復(fù)雜度關(guān)系曲線圖

由圖12中可知，當(dāng)RN固定為25，RD在3～10范圍內(nèi)變化時(shí)，正確率能保持在98%以上。當(dāng)RD繼續(xù)變大時(shí)，內(nèi)循環(huán)迭代太快，以至于未能找到最佳極小值區(qū)域就停止迭代，導(dǎo)致準(zhǔn)確率緩慢下降。即使RD增大到與RN相等時(shí)正確率依然能保持在90%以上。由上述實(shí)驗(yàn)分析可知，本文方法對(duì)參數(shù)變化不敏感，泛化能力強(qiáng)。如果PrimeSensor高度相差不大，RD值可以保持不變。權(quán)衡算法的速度和精度，實(shí)驗(yàn)時(shí)最終選擇RN為25，RD 為8。

圖12 正確率與RD關(guān)系曲線圖（RN=25）

6 結(jié)束語(yǔ)

針對(duì)傳統(tǒng)相機(jī)及其采用的人數(shù)統(tǒng)計(jì)方法遇到的遮擋、光照變化、顏色和紋理等環(huán)境因素導(dǎo)致計(jì)數(shù)準(zhǔn)確率低的問題，提出一種基于RGB-D傳感器的D-RWS算法。D-RWS算法解決了人群前后遮擋的問題，增強(qiáng)了環(huán)境適應(yīng)的魯棒性，能高效準(zhǔn)確處理深度圖中ROI的局部極小值的特性。實(shí)際場(chǎng)景測(cè)試表明，本方法在精度、速度和魯棒性上比傳統(tǒng)方法都有顯著提高。但是，RGB-D傳感器采用結(jié)構(gòu)光技術(shù)也導(dǎo)致其視野范圍以及有效距離都較小，受太陽(yáng)光中的紅外成分影響而不能適應(yīng)室外環(huán)境，在今后的工作中考慮利用雙目立體匹配獲取深度圖實(shí)現(xiàn)人數(shù)統(tǒng)計(jì)。

[1]Loy C C，Chen K，Gong S，et al.Crowd counting and profiling：methodology and evaluation[M]//Modeling，simulation and visual analysis of crowds.New York：Springer，2013：347-382.

[2]Dollar P，Wojek C，Schiele B，et al.Pedestrian detection：an evaluation of the state of the art[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（4）：743-761.

[3]Rabaud V，Belongie S.Counting crowded moving objects[C]// IEEE Conference on Computer Vision and Pattern Recognition，2006：705-711.

[4]Chan A B，Vasconcelos N.Counting people with low-level features and Bayesian regression[J].IEEE Transactions on Image Processing，2012，21（4）：2160-2177.

[5]TannerR，StuderM，Zanoli A，etal.Peopledetection and tracking with TOF sensor[C]//IEEE 5th International Conference on Advanced Video and Signal Based Surveillance，2008：356-361.

[6]Fu H，Ma H，Xiao H.Scene-adaptive accurate and fast vertical crowd counting via joint using depth and color information[J].Multimedia Tools and Applications，2013：1-17.

[7]Zhu L，Wong K H.Human tracking and counting using the KINECT range sensor based on Adaboost and Kalman filter[M]//Advances in visual computing.Berlin：Springer，2013：582-591.

[8]Lin D T，Jhuang D H.A novel layer-scanning method for improving real-time people counting[C]//HCI，2013：661-665.

[9]Hsieh C T，Wang H C，Wu Y K，et al.A Kinect-based people-flow counting system[C]//2012 International Symposium on Intelligent Signal Processing and Communications Systems（ISPACS），2012：146-150.

[10]Fu H，Ma H，Xiao H.Real-time accurate crowd counting based on RGB-D information[C]//2012 19th IEEE International Conference on Image Processing（ICIP），2012：2685-2688.

[11]刁智華，趙春江，郭新宇，等.分水嶺算法的改進(jìn)方法研究[J].計(jì)算機(jī)工程，2010，36（17）：4-6.

[12]De Bock J，De Smet P，Philips W.A fast sequential rainfalling watershed segmentation algorithm[C]//Advanced Concepts for Intelligent Vision Systems.Berlin：Springer，2005：476-482.

[13]Min R，Choi J，Medioni G，et al.Real-time 3D face identification from a depth camera[C]//2012 21st InternationalConferenceonPatternRecognition（ICPR），2012：1739-1742.

[14]Camplani M，Salgado L.Efficient spatio-temporal hole filling strategy for kinect depth maps[C]//Proceedings of SPIE，2012，8920.

[15]Stauffer C，Grimson W E L.Adaptive background mixture models for real-time tracking[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition，1999，2.

[16]宋佳聲.動(dòng)態(tài)場(chǎng)景的自適應(yīng)高斯混合模型的研究[J].計(jì)算機(jī)工程與應(yīng)用，2012，48（1）：8-12.

[17]Barnich O，Van Droogenbroeck M.ViBe：a powerful random technique to estimate the background in video sequences[C]//IEEE International Conference on Acoustics，Speech and Signal Processing，2009：945-948.

[18]孫志海，朱善安.多視頻運(yùn)動(dòng)對(duì)象實(shí)時(shí)分割及跟蹤技術(shù)[J].浙江大學(xué)學(xué)報(bào)：工學(xué)版，2008，42（9）：1631-1635.

ZHANG Hua,LIU Hongli,XU Kun,MA Ziji

College of Electrical and Information Engineering,Hunan University,Changsha 410082,China

To solve problems such as occlusion and illumination changes that lead to low accuracy on conventional methods, a novel method D-RWS（Depth map based Rainfalling Watershed Segmentation）is proposed.Depth map is inpainted and foreground is extracted with the help of mixture of Gaussian background model.D-RWS algorithm is used to segment head area as Region Of Interest（ROI）.People are tracked and counted by analyzing trajectories,which associated by minimal Euclidean distance between the centers.Experimental results show that proposed people counting system can,on average, count people with an accuracy of 98%and operate at approximately 25 milliseconds per frame（40 f/s）.The accuracy and real-time performance fully meet the requirements of practical application.

RGB-D camera;PrimeSensor;people counting;Depth map based Rainfalling Watershed Segmentation（D-RWS）; centroid tracking

針對(duì)傳統(tǒng)人數(shù)統(tǒng)計(jì)方法因遮擋、光照變化導(dǎo)致準(zhǔn)確率低的問題，提出一種適用于深度圖的模擬降水分水嶺算法（Depth map based Rainfalling Watershed Segmentation，D-RWS）。修復(fù)深度圖并用混合高斯背景建模提取前景。利用D-RWS算法分割深度圖中感興趣的行人頭部區(qū)域（Region Of Interest，ROI）。采用質(zhì)心歐式距離最短法關(guān)聯(lián)各幀中同一目標(biāo)并跟蹤計(jì)數(shù)。實(shí)驗(yàn)結(jié)果表明：提出的方法準(zhǔn)確率能夠達(dá)到98%以上，平均每幀處理時(shí)間為25 ms（40 f/s），準(zhǔn)確率和實(shí)時(shí)性可滿足實(shí)際應(yīng)用的要求。

RGB-D相機(jī)；PrimeSensor；人數(shù)統(tǒng)計(jì)；D-RWS算法；質(zhì)心跟蹤

A

TP391.4

10.3778/j.issn.1002-8331.1404-0284

ZHANG Hua,LIU Hongli,XU Kun,et al.Real-time method for people counting based on RGB-D cameras.Computer Engineering and Applications,2014,50（23）：156-162.

國(guó)家自然科學(xué)基金（No.61172089）；湖南省科技廳資助項(xiàng)目（No.2014WK3001）。

張華（1989—），男，碩士研究生，研究方向?yàn)橛?jì)算機(jī)視覺、圖像處理；劉宏立（1963—），男，教授，博士生導(dǎo)師，研究方向?yàn)闊o線傳感網(wǎng)絡(luò)、移動(dòng)通信系統(tǒng)與軟件無線電、智能信息處理與傳輸技術(shù)；徐琨（1979—），男，博士研究生，研究方向?yàn)闊o線傳感網(wǎng)絡(luò)；馬子驥（1978—），男，講師，研究方向?yàn)闊o線通信技術(shù)、數(shù)字信號(hào)處理。E-mail：zh20923@163.com

2014-04-17

2014-06-13

1002-8331（2014）23-0156-07

CNKI網(wǎng)絡(luò)優(yōu)先出版：2014-09-18,http://www.cnki.net/kcms/doi/10.3778/j.issn.1002-8331.1404-0284.html