魏文戈 陳舒荻

摘? ?要：在計(jì)算機(jī)視覺領(lǐng)域，針對小角度俯拍下的站臺人群計(jì)數(shù)的研究工作較少，且計(jì)數(shù)精度普遍較低。人群計(jì)數(shù)算法往往通過圖像分割識別出圖片中的所有行人個(gè)體，并進(jìn)行數(shù)量統(tǒng)計(jì)，具有很重要的現(xiàn)實(shí)意義。然而現(xiàn)有的圖像分割算法往往只能適用于簡單場景下的簡單分割任務(wù)。由于小角度俯拍下的站臺場景中存在行人近大遠(yuǎn)小、行人互相遮擋和行人輪廓姿態(tài)多樣等原因，因此給有效分割計(jì)數(shù)帶來了較大的挑戰(zhàn)。針對這一任務(wù)，提出了距離自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)（Distance Adaptive Convolutional Neutral Network，簡稱DACNN），通過改進(jìn)回歸對象和設(shè)計(jì)距離自適應(yīng)卷積層，成功實(shí)現(xiàn)了對小角度俯拍下站臺人群的準(zhǔn)確計(jì)數(shù)。經(jīng)過一系列實(shí)驗(yàn)表明，該模型不僅計(jì)數(shù)精度高，而且計(jì)數(shù)速度較快、魯棒性良好，具有廣闊的運(yùn)用前景。

關(guān)鍵詞：小角度俯拍;站臺人群計(jì)數(shù);圖像分割;距離自適應(yīng)

中圖分類號：TP391 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼：A

Platform Crowd Counting Under Small Angle

WEI Wen-ge？覮，CHEN Shu-di

（College of Computer Science and Technology，Nanjing University of Aeronautics and Astronautics，Nanjing，Jiangsu 211106，China）

Abstract：In the field of computer vision，there are few research work on platform crowd counting under small angles and the counting accuracy is generally low. Crowd counting algorithms often identify all the individuals in the image through image segmentation，and make the counting of the crowd，which is of great practical significance. However，the existing image segmentation algorithms are often only applicable to simple segmentation tasks in simple scenes. Since the human body caused by small angles in the vicinity looks larger while in the distance seems small，the body block each other and have diverse stance，to effectively split the statistics becomes a great challenge. In response to this task，this paper proposes Distance Adaptive Convolutional Neutral Network （DACNN）. By designing a distance-adaptive convolutional layer and improving the model loss function，we can achieve a better performance under small angles of platform crowd counting. After a series of experiments show that the algorithm model not only has a high counting accuracy and fast counting speed，but also has good practicality，can be widely used.

Key words：small angle;platform crowd counting;image segmentation;distance-adaptive

人群計(jì)數(shù)，作為圖像識別的一個(gè)重要研究領(lǐng)域，通過圖像分割識別出圖片中的所有人群個(gè)體，并進(jìn)行數(shù)量統(tǒng)計(jì)，可廣泛運(yùn)用于安防等領(lǐng)域。目前針對小角度俯拍下的站臺人群計(jì)數(shù)的研究工作較少且準(zhǔn)確率較低，不能較好地應(yīng)用于復(fù)雜的實(shí)際場景中。由于監(jiān)控?cái)z像機(jī)小角度俯拍導(dǎo)致的站臺行人近大遠(yuǎn)小，行人互相遮擋和輪廓姿態(tài)多樣等問題，給有效分割計(jì)數(shù)帶來了較大挑戰(zhàn)。針對這一問題，提出了距離自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)（Distance Adaptive Convolutional Neutral Network），對傳統(tǒng)回歸對象進(jìn)行了改進(jìn)，并創(chuàng)新性地設(shè)計(jì)了距離自適應(yīng)卷積層，從而實(shí)現(xiàn)了對小角度俯拍下的站臺人群計(jì)數(shù)的有效計(jì)數(shù)。經(jīng)過一系列嚴(yán)謹(jǐn)?shù)膶?shí)驗(yàn)，證明了該模型計(jì)數(shù)精度高，實(shí)用性好。

主要貢獻(xiàn)如下：

1） 根據(jù)問題特性設(shè)計(jì)全新的回歸對象，較好地解決了由于行人遮擋和輪廓多樣所帶來的計(jì)數(shù)困難;

2） 設(shè)計(jì)并提出了距離自適應(yīng)卷積層，解決了行人近大遠(yuǎn)小所帶來的分割計(jì)數(shù)精度上的挑戰(zhàn);

3） 經(jīng)過橫向?qū)Ρ葘?shí)驗(yàn)，證明了該模型可在小角度俯拍下精確地進(jìn)行站臺人群計(jì)數(shù)，且計(jì)數(shù)速度較快、實(shí)用性較好。

1? ?相關(guān)工作

人群計(jì)數(shù)算法通過圖像分割識別出圖片中的所有行人個(gè)體，據(jù)此進(jìn)行人群計(jì)數(shù)。

1.1? ?圖像分割算法

傳統(tǒng)的圖像分割算法包括聚類法、直方圖法、邊緣檢測法、區(qū)域生長法、水平集方法等等。其中聚類法通過將圖像像素點(diǎn)進(jìn)行聚類以實(shí)現(xiàn)分割，但分割效果較差;直方圖法根據(jù)掃描結(jié)果建立直方圖并依照圖像中的峰和谷進(jìn)行分類，其效率較高;邊緣檢測法參照圖像邊緣像素點(diǎn)檢測結(jié)果進(jìn)行分割，被廣泛應(yīng)用于圖像處理;區(qū)域生長法聚合相似性像素并迭代分割;水平集方法使用符號函數(shù)記錄物體輪廓并分割，該方法也較為常用。

近幾年，深度學(xué)習(xí)逐漸成為圖像分割算法的主流。全卷積神經(jīng)網(wǎng)絡(luò)[1]首次將神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像分割中，利用多個(gè)卷積層和全連接層抽取特征，由反卷積層實(shí)現(xiàn)上采樣，但分割效果較差;DeepLab[2]通過空洞卷積較好地改善了分割效果;SegNet[3]在全卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上將全連接層替換為與卷積部分對稱的反卷積結(jié)構(gòu)，較大程度上改善了分割效果;Mask R-CNN[4]在Faster R-CNN[5]上增加掩碼分支以實(shí)現(xiàn)分割，并通過RoIAlign[4]結(jié)構(gòu)保留更多空間對稱性，提高了分割精度。

1.2? ?人群計(jì)數(shù)算法

目前關(guān)于人群計(jì)數(shù)算法的研究較多，但大多是針對簡單場景下的計(jì)數(shù)研究。文獻(xiàn)[6][7]通過多尺度和多通道嘗試讓卷積神經(jīng)網(wǎng)絡(luò)能夠分割計(jì)數(shù);文獻(xiàn)[8]對跨場景人群計(jì)數(shù)進(jìn)行了研究;文獻(xiàn)[9]基于視頻來統(tǒng)計(jì)行人數(shù)量;文獻(xiàn)[10]側(cè)重于研究通道場景下如何有效實(shí)現(xiàn)行人統(tǒng)計(jì);文獻(xiàn)[11]在視頻監(jiān)控中并行處理人群計(jì)數(shù)和密度分析;文獻(xiàn)[12]基于光流法實(shí)現(xiàn)人群計(jì)數(shù);文獻(xiàn)[13]通過PCA與多元統(tǒng)計(jì)回歸，為人群計(jì)數(shù)提供了新思路;文獻(xiàn)[14]將像素融合紋理特征用于行人統(tǒng)計(jì);文獻(xiàn)[15][16]把神經(jīng)網(wǎng)絡(luò)應(yīng)用于人群計(jì)數(shù)方法中;文獻(xiàn)[17][18]設(shè)計(jì)了動態(tài)場景監(jiān)控系統(tǒng)下的人群計(jì)數(shù)方法;文獻(xiàn)[19]通過視頻識別技術(shù)統(tǒng)計(jì)人流量;文獻(xiàn)[20]基于像素統(tǒng)計(jì)完成人群計(jì)數(shù)任務(wù);文獻(xiàn)[21]根據(jù)行人統(tǒng)計(jì)數(shù)據(jù)預(yù)報(bào)異常情況;文獻(xiàn)[22][23]側(cè)重于針對安防視頻中的人群計(jì)數(shù)應(yīng)用;文獻(xiàn)[24]總結(jié)了人群計(jì)數(shù)和密度估計(jì)的發(fā)展進(jìn)程并為后續(xù)研究提供了指導(dǎo);文獻(xiàn)[25]探索了人群密度自動統(tǒng)計(jì)系統(tǒng);文獻(xiàn)[26]基于特征點(diǎn)統(tǒng)計(jì)高密度人群。

在實(shí)際的應(yīng)用場景中，由于小角度俯拍下的站臺行人近大遠(yuǎn)小、互相遮擋且輪廓姿態(tài)多樣，導(dǎo)致現(xiàn)有研究均不能有效解決該挑戰(zhàn)。本文因此設(shè)計(jì)并提出了距離自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)，通過改進(jìn)回歸對象和設(shè)計(jì)距離自適應(yīng)卷積層，成功實(shí)現(xiàn)了對小角度俯拍下站臺人群的準(zhǔn)確計(jì)數(shù)。

2? ?距離自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)（DACNN）

在本節(jié)中，我們將詳細(xì)介紹如何針對小角度俯拍下的站臺人群計(jì)數(shù)設(shè)計(jì)距離自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)。

2.1? ?DACNN網(wǎng)絡(luò)結(jié)構(gòu)

DACNN前半部分網(wǎng)絡(luò)結(jié)構(gòu)繼承SegNet[3]網(wǎng)絡(luò)，經(jīng)過13個(gè)卷積層實(shí)現(xiàn)下采樣，再由對稱的13個(gè)反卷積層實(shí)現(xiàn)上采樣并得到和原圖像相同尺寸的上采樣結(jié)果。

DACNN后半部分網(wǎng)絡(luò)結(jié)構(gòu)通過距離自適應(yīng)卷積層實(shí)現(xiàn)上采樣結(jié)果到目標(biāo)分布圖的映射，如圖1。

2.2? ?設(shè)計(jì)回歸對象

傳統(tǒng)的人群計(jì)數(shù)算法中，圖像分割回歸對象設(shè)計(jì)為圖中每個(gè)行人的身體可見區(qū)域。由于小角度俯拍下站臺行人之間互相遮擋而且輪廓姿態(tài)多樣，因此原有的回歸對象容易受此干擾而影響最終的計(jì)數(shù)準(zhǔn)確率。

通過仔細(xì)觀察發(fā)現(xiàn)行人被遮擋最少的部分為頭部。因此本文設(shè)計(jì)每個(gè)行人頭部中心點(diǎn)作為新的回歸對象，并通過統(tǒng)計(jì)點(diǎn)數(shù)總和來完成人群計(jì)數(shù)。如圖2，新的回歸對象有效避免了行人近大遠(yuǎn)小所帶來的分割困難，并提高了模型分割計(jì)數(shù)準(zhǔn)確率。

3.3? ?距離自適應(yīng)卷積層

針對小角度俯拍站臺場景中行人呈現(xiàn)近大遠(yuǎn)小這一挑戰(zhàn)，本文創(chuàng)新性地設(shè)計(jì)了距離自適應(yīng)卷積層，根據(jù)行人距離的遠(yuǎn)近靈活調(diào)整動態(tài)高斯濾波核至最佳核大小以進(jìn)行高斯濾波。

當(dāng)距離與圖像水平方向成正相關(guān)時(shí)，動態(tài)高斯核大小計(jì)算公式如下：

當(dāng)距離與圖像垂直方向成正相關(guān)時(shí)，動態(tài)高斯核大小計(jì)算公式如下：

當(dāng)距離同時(shí)與圖像水平方向和垂直方向相關(guān)時(shí)，動態(tài)高斯核大小計(jì)算公式如下：

經(jīng)過高斯濾波后，由于每個(gè)單像素點(diǎn)的像素值被稀釋，直接訓(xùn)練會導(dǎo)致模型難以收斂。因此我們在高斯濾波之后針對性地進(jìn)行了像素值擴(kuò)增：

如圖3，經(jīng)過距離自適應(yīng)卷積層得到的行人頭部中心點(diǎn)分割效果呈現(xiàn)近大遠(yuǎn)小的特性，符合實(shí)際拍攝下的小角度俯拍站臺場景狀況，能更好地引導(dǎo)模型根據(jù)距離遠(yuǎn)近學(xué)得不同的圖像特征。同時(shí)遠(yuǎn)處行人的頭部中心點(diǎn)由于濾波核較小，像素值密度更大，成為模型側(cè)重學(xué)習(xí)的區(qū)域，從而明顯提升了模型計(jì)數(shù)精度。

對應(yīng)的，將最后得到的分割計(jì)數(shù)結(jié)果除以擴(kuò)增的倍數(shù)，即可得到該場景下人群的真實(shí)計(jì)數(shù)結(jié)果。

3? ?實(shí)驗(yàn)分析

采集了某高度擁擠的交通站臺上方監(jiān)控?cái)z像頭的拍攝視頻，按一定時(shí)間間隔提取足量幀圖像并進(jìn)行了人工標(biāo)注。

選取了該領(lǐng)域主流的FCN[1]模型和SegNet[3]模型，與DACNN模型進(jìn)行對比實(shí)驗(yàn)。在相同訓(xùn)練集上采用同樣的超參數(shù)設(shè)置進(jìn)行訓(xùn)練，并將收斂的模型在相同測試集上分別進(jìn)行了行人頭部中心點(diǎn)分割對比試驗(yàn)和人群計(jì)數(shù)準(zhǔn)確率對比試驗(yàn)。

圖4證明了距離自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)（DACNN）的行人頭部中心點(diǎn)分割效果超過了目前主流的FCN[1]網(wǎng)絡(luò)和SegNet[3]網(wǎng)絡(luò)。

表1證明了DACNN的人群計(jì)數(shù)準(zhǔn)確率優(yōu)于目前主流的FCN[1]網(wǎng)絡(luò)和SegNet[3]網(wǎng)絡(luò)。

5? ?結(jié)? ?論

目前針對小角度俯拍站臺場景下的人群計(jì)數(shù)研究工作較少。由于小角度俯拍下存在站臺行人近大遠(yuǎn)小、互相遮擋和輪廓姿態(tài)多樣等原因，現(xiàn)有算法的分割計(jì)數(shù)準(zhǔn)確率往往較低。針對這一問題，提出了距離自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)（DACNN），通過改進(jìn)回歸對象和設(shè)計(jì)距離自適應(yīng)卷積層，成功提升了小角度俯拍下的站臺人群計(jì)數(shù)的準(zhǔn)確率。并通過實(shí)驗(yàn)證明了該模型不僅計(jì)數(shù)準(zhǔn)確率高、速度快，而且實(shí)用性較好，具有廣闊的運(yùn)用前景。

參考文獻(xiàn)

[1]? ?LONG J，SHELHAMER E，DARRELL T. Fully convolutional networks for semantic segmentation[C]// Computer Vision and Pattern Recognition，IEEE，2015：3431—3440.

[2]? ?CHEN L C，PAPANDREOU G，KOKKINOS I，et al. DeepLab：semantic image segmentation with deep convolutional nets，atrous convolution，and fully connected CRFs[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2016，PP（99）：1—1.

[3]? ?BADRINARAYANAN V，HANDA A，CIPOLLA R. SegNet：a deep convolutional encoder-decoder architecture for robust semantic pixel-wise labelling[J]. Computer Science，2015.

[4]? ?HE K，GKIOXARI G，DOLLAR P，et al. Mask r-cnn[C]//Proceedings of the IEEE international conference on computer vision. 2017：2961—2969.

[5]? ?REN S，HE K，GIRSHICK R，et al. Faster R-CNN：towards real-time object detection with region proposal networks[C]// International Conference on Neural Information Processing Systems，MIT Press，2015：91—99.

[6]? ? ZENG L，XU X，CAI B，et al. Multi-scale convolutional neural networks for crowdcounting[J]. 2017.

[7]? ? ZHANG Y，ZHOU D，CHEN S，et al. Single-image crowd counting via multi-column convolutional neural network[C]// IEEE Conference on Computer Vision and Pattern Recognition，IEEE Computer Society，2016：589—597.

[8]? ? ZHANG C，LI H，WANG X，et al. Cross-scene crowd counting via deep convolutional neural networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，IEEE Computer Society，2015：833—841.

[9]? ? 陳登武. 基于視頻圖像的行人統(tǒng)計(jì)技術(shù)研究[D]. 南京：東南大學(xué)，2009.

[10]? 趙文影. 通道場景下人群計(jì)數(shù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 成都：電子科技大學(xué)，2014.

[11]? 柴進(jìn). 視頻監(jiān)控中的人數(shù)統(tǒng)計(jì)和人群密度分析[D]. 西安：西安電子科技大學(xué)，2011.

[12]? 高從文. 基于光流方法的人數(shù)統(tǒng)計(jì)與人群密度估計(jì)[D]. 北京：中國科學(xué)院研究生院，2011.

[13]? 李虎，張二虎，段敬紅. 基于PCA和多元統(tǒng)計(jì)回歸的人群人數(shù)統(tǒng)計(jì)方法[J]. 計(jì)算機(jī)工程與應(yīng)用，2014，50（11）：206—209.

[14]? 徐麥平，張二虎，陳亞軍. 融合像素與紋理特征的人群人數(shù)統(tǒng)計(jì)方法研究[J]. 西安理工大學(xué)學(xué)報(bào)，2015（3）：340—346.

[15]? 衣淑鳳. 基于小波變換和神經(jīng)網(wǎng)絡(luò)的人數(shù)統(tǒng)計(jì)方法研究[D].北京：北京工業(yè)大學(xué)，2004.

[16]? 李志英. 基于人工神經(jīng)網(wǎng)絡(luò)的人群流量統(tǒng)計(jì)系統(tǒng)[D].廣州：中山大學(xué)，2003.

[17]? 韓亞偉. 動態(tài)場景監(jiān)控系統(tǒng)中人數(shù)統(tǒng)計(jì)算法的研究[D].濟(jì)南：山東大學(xué)，2010.

[18]? 王海強(qiáng). 視頻監(jiān)控中人群人數(shù)統(tǒng)計(jì)方法研究[D].西安：西安理工大學(xué)，2016.

[19]? 黃秋嬌. 基于視頻識別技術(shù)的人群流量統(tǒng)計(jì)、特定人檢測[J]. 科技與生活，2011（14）：169—172.

[20]? 孫著研. 基于像素統(tǒng)計(jì)的人群數(shù)量檢測方法研究[J]. 數(shù)字技術(shù)與應(yīng)用，2016（10）：129—130.

[21]? 陳禹. 基于視頻的人群數(shù)量統(tǒng)計(jì)及異常檢測方法研究[D]. 沈陽工業(yè)大學(xué)，2015.

[22]? 徐麥平. 安防監(jiān)控中人群人數(shù)統(tǒng)計(jì)方法的研究[D].西安：西安理工大學(xué)，2015.

[23]? 黃敬埕. 視頻監(jiān)控中的人群密度估計(jì)和人數(shù)統(tǒng)計(jì)技術(shù)研究[D]. 杭州：杭州電子科技大學(xué)，2014.

[24]? 譚智勇，黃先開，袁家政，等. 人群密度估計(jì)和人數(shù)統(tǒng)計(jì)的研究進(jìn)展[C]// 網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會. 2015.

[25]? 張燏. 人群密度自動統(tǒng)計(jì)系統(tǒng)的研究與實(shí)現(xiàn)[D].成都：電子科技大學(xué)，2012.

[26]? 曾昭賢. 基于特征點(diǎn)的視頻高密度人群人數(shù)統(tǒng)計(jì)[D]. 長沙：國防科學(xué)技術(shù)大學(xué)，2011.