王勇 謝旭軒 王瑛

摘要：人群計(jì)數(shù)在智能視頻監(jiān)控領(lǐng)域是一個(gè)研究的熱點(diǎn)。傳統(tǒng)的人群統(tǒng)計(jì)技術(shù)，在低密度人群場(chǎng)景中有很好的效果，但是在高密度場(chǎng)景中表現(xiàn)欠佳。隨著卷積神經(jīng)網(wǎng)絡(luò)在圖像處理的技術(shù)突破，其具有對(duì)非線性映射的強(qiáng)大的學(xué)習(xí)能力，也適用于人群計(jì)數(shù)模型從圖像到人群數(shù)量非線性的關(guān)系。文中敘述了傳統(tǒng)的人群計(jì)數(shù)方法，介紹了基于卷積神經(jīng)網(wǎng)絡(luò)的經(jīng)典模型，最后介紹了密度圖的生成原理。

關(guān)鍵詞：人群計(jì)數(shù);視頻監(jiān)控;卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）15-0237-02

1引言

隨著我國(guó)科技技術(shù)突破，推動(dòng)視頻監(jiān)控設(shè)備迅速普及建設(shè)。傳統(tǒng)的視頻監(jiān)依賴工作人員對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)、回放、捕抓。這種人工處理方式是非常耗時(shí)，處理的信息滯后，無(wú)法對(duì)一些緊急安全狀況作出預(yù)警和報(bào)警。隨著計(jì)算機(jī)視覺的發(fā)展，智能視頻監(jiān)控應(yīng)運(yùn)而生，智能視頻監(jiān)控夠?qū)?dòng)態(tài)視頻圖像進(jìn)行檢測(cè)和識(shí)別，進(jìn)而對(duì)目標(biāo)進(jìn)行分析和理解，在公共安全、交通狀態(tài)等監(jiān)控有廣泛的應(yīng)用。它拋棄了低效率人工處理方式，實(shí)現(xiàn)高效處理視頻數(shù)據(jù)，讓視頻監(jiān)控設(shè)備更智能化，促進(jìn)了智慧城市的建設(shè)。而人群計(jì)數(shù)是智能視頻監(jiān)控領(lǐng)域的一個(gè)重要研究熱點(diǎn)。

人群計(jì)數(shù)在智能視頻監(jiān)控領(lǐng)域應(yīng)用主要是在車站、廣場(chǎng)等易發(fā)生突發(fā)事件區(qū)域。2015上海外灘廣場(chǎng)踩踏事件，主要原因人群過(guò)度擁擠導(dǎo)致人員摔倒發(fā)生疊壓，致使踩踏事件釀成。這直接導(dǎo)致的原因就是對(duì)高密度人群流量實(shí)時(shí)信息掌控能力不足，如果能通過(guò)智能視頻監(jiān)控對(duì)現(xiàn)場(chǎng)密集人群進(jìn)行智能分析及時(shí)預(yù)警，便能避免類似突發(fā)事件的發(fā)生。早期研究人員基于檢測(cè)、回歸、密度估計(jì)等方法實(shí)現(xiàn)了人群計(jì)數(shù)，但這些模型大多都要經(jīng)過(guò)對(duì)圖像進(jìn)行前景分割處理，而前景分割是一件很復(fù)雜的事情，及其影響性能，而基于深度學(xué)習(xí)實(shí)現(xiàn)了端到端的模型訓(xùn)練，具有很好的模型泛化、特征表達(dá)能力，使得在人群計(jì)數(shù)有廣泛的應(yīng)用，相比傳統(tǒng)的方法在性能、準(zhǔn)確度上有顯著提高。

2研究現(xiàn)狀

2.1傳統(tǒng)方法

傳統(tǒng)的人群計(jì)數(shù)主要分為直接和間接模型，直接模型包括基于檢測(cè)器方法;間接模型主要是基于回歸方法和基于密度估計(jì)。早期研究人員主要是通過(guò)滑動(dòng)窗口檢測(cè)器提取圖像中整體特征來(lái)檢測(cè)行人達(dá)到定量目的。整體的特征包括：Hoar小波、Edgelet特征等，然后通過(guò)分類器boost、隨機(jī)森林、支持向量機(jī)來(lái)學(xué)習(xí)以上特征;但是基于整體特征的模型適合低密度數(shù)據(jù)集，而對(duì)于高密度數(shù)據(jù)集效果很差。針對(duì)高密度集遮擋的場(chǎng)景，通過(guò)局部檢測(cè)的方法，利用人體某些特定部位，如人頭和肩膀表示人群特征。在遮擋的情況下局部特征相對(duì)于整體特征是比較容易提取的，使其結(jié)果更加準(zhǔn)確。基于回歸的方法，針對(duì)的是具有復(fù)雜的前景圖像，通過(guò)回歸模型建立人群特征和人群數(shù)量的映射函數(shù)，常用的回歸模型特征有邊緣、像素等，然后通過(guò)回歸模型SVM、線性回歸等來(lái)擬合人群特征和人群數(shù)量的函數(shù)關(guān)系。密度估計(jì)是基于回歸方法等改進(jìn)，該類模型建立的是人群特征和人群數(shù)量的非線性關(guān)系，在高密度場(chǎng)景特征提取融合了空間信息，Zou Y通過(guò)學(xué)習(xí)子空間中局部圖像特征和局部密度圖之間的線性關(guān)系，通過(guò)子空間的線性關(guān)系來(lái)代替整體空間的非線性關(guān)系來(lái)降低模型計(jì)算復(fù)雜度。

2.2基于深度學(xué)習(xí)模型

近年來(lái)隨著GPU的技術(shù)的突破，深度學(xué)習(xí)在圖像處理有很大的改進(jìn)，特別是基于CNN模型的應(yīng)用迅速普及，CNN具有很強(qiáng)的非線性學(xué)習(xí)能力，這點(diǎn)在人群計(jì)數(shù)中有很大的優(yōu)勢(shì)?；谏疃葘W(xué)習(xí)算法的人群計(jì)數(shù)實(shí)現(xiàn)了視頻數(shù)據(jù)端到端的訓(xùn)練，拋棄了傳統(tǒng)的回歸算法需要進(jìn)行前景分割。通過(guò)多層卷積提取的高層語(yǔ)義特征使得算法性能更加高效。

Y.Zhang等提出的MCNN模型，主要由不同大小的卷積核組成的三列卷積網(wǎng)絡(luò)，通過(guò)三列卷積網(wǎng)絡(luò)分別提取不同尺度人群圖像特征，然后將不同尺度特征經(jīng)過(guò)1x1卷積核融合，達(dá)到增強(qiáng)模型穩(wěn)定性目的。該模型從任意視角和不同密度估計(jì)人群數(shù)量，它的每列能夠自適應(yīng)不同尺度特征變化，對(duì)不同場(chǎng)景用不同核大小卷積運(yùn)算提取不同尺度特征。

D.B.Samm等提出的SWITCHCNN，該模型在MCNN回歸網(wǎng)絡(luò)模型上增加了一個(gè)選擇分類器網(wǎng)絡(luò)。它首先對(duì)輸入的視頻幀數(shù)據(jù)進(jìn)行局部采樣，將圖像分為不同的局部，作為分類器網(wǎng)絡(luò)的輸入。然后通過(guò)switch開關(guān)選擇最佳的回歸網(wǎng)絡(luò)，最終得出每個(gè)局部相應(yīng)的密度圖。模型優(yōu)點(diǎn)就是利用了視頻圖像不同幀之間人群密度變化來(lái)提高預(yù)測(cè)人群估計(jì)的準(zhǔn)確性。它的回歸網(wǎng)絡(luò)具有不同的感受域，針對(duì)各自適應(yīng)特定的規(guī)模輸入，使得該模型在大規(guī)模和透視變化中具有魯棒性。

Y.Li，x.Zhang等設(shè)計(jì)的CSRNET模型，該網(wǎng)絡(luò)主要包含前后兩個(gè)部分，前部分是一個(gè)卷積網(wǎng)絡(luò)用來(lái)提取2D特征，后部分是一個(gè)空洞卷積網(wǎng)絡(luò)使用擴(kuò)張卷積內(nèi)核來(lái)提取高密度集場(chǎng)景中多尺度上下文信息代替來(lái)池化操作。采用了端到端的訓(xùn)練方法。該模型摒棄了多列網(wǎng)絡(luò)膨脹的網(wǎng)絡(luò)結(jié)構(gòu)，這種網(wǎng)絡(luò)設(shè)計(jì)參數(shù)較多，計(jì)算復(fù)雜，性能低。而且后端空洞卷積網(wǎng)絡(luò)能夠更容易提取人頭的邊緣信息，從而得到更高的精度，在高密度集場(chǎng)景中具有很好的性能。

3基于密度圖生成原理

基于深度學(xué)習(xí)的人群計(jì)數(shù)，它的輸入是一張完整圖片，通過(guò)端到端的訓(xùn)練輸出是密度圖，然后對(duì)密度圖回歸積分（對(duì)像素點(diǎn)累加）就是最終要得圖片的相應(yīng)數(shù)量。在模型網(wǎng)絡(luò)訓(xùn)練之前先對(duì)圖片中人頭位置（xi）進(jìn)行標(biāo)注，記為δ（x-xi），那么這張圖片可以通過(guò)如下公式（1）數(shù)量化

4總結(jié)

基于深度學(xué)習(xí)的人群計(jì)數(shù)在近幾年受到了研究人員的廣泛關(guān)注，相比傳統(tǒng)的人群計(jì)數(shù)，卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征提取能力，在人群計(jì)數(shù)非線性關(guān)系中效果很好，對(duì)人群特征表征能力強(qiáng)，對(duì)人群計(jì)數(shù)存在的遮擋、光照、圖像透視畸形問(wèn)題，提供了很好的解決方案。