盛馨心 蘇穎 汪洋

摘 要： 利用空洞卷積設(shè)置不同空洞率，得到不同感受野的特點(diǎn)，提出一種基于深度卷積Visual Geometry Group19（VGG19）和空洞卷積相融合的結(jié)構(gòu).所采用的結(jié)構(gòu)不受輸入圖像尺寸以及分辨率影響，通過(guò)設(shè)置鋸齒狀空洞率，擴(kuò)大網(wǎng)絡(luò)的感受野，在保持分辨率良好的情況下，可以較為精確地定位目標(biāo)，提高檢測(cè)準(zhǔn)確性.經(jīng)驗(yàn)證，該算法在Shanghai-tech標(biāo)準(zhǔn)數(shù)據(jù)集上具有較高的實(shí)驗(yàn)準(zhǔn)確率.

關(guān)鍵詞： 人群計(jì)數(shù); Visual Geometry Group19（VGG19）; 空洞卷積; Shanghai-tech數(shù)據(jù)集

中圖分類號(hào)： TN 919.8 ?文獻(xiàn)標(biāo)志碼： A ?文章編號(hào)： 1000-5137（2019）05-0479-06

Abstract： A combined structure based on Visual Geometry Group19（VGG19） and dilated convolution with different receptive field was proposed for high density crowd counting in the paper.The structure adopted would not be affected by the size and resolution of the input image.By setting the serration dilation rate，the network receptive field was expanded，and the target could be accurately localized without any loss of resolution，which improved the accuracy of detection.Finally，the experimental results showed that the algorithm had higher accuracy on the standard data set of Shanghai-tech.

Key words： crowd counting; Visual Geometry Group19（VGG19）; dilated convolution; Shanghai-tech data set

0 引 言

人群計(jì)數(shù)是一種視覺(jué)認(rèn)知任務(wù)，目的在于準(zhǔn)確估計(jì)擁擠場(chǎng)景中的人數(shù)，通過(guò)對(duì)目標(biāo)區(qū)域的人群數(shù)量進(jìn)行分析，能夠?qū)υS多社會(huì)安全問(wèn)題起到一定的預(yù)警作用，從而實(shí)現(xiàn)資源的合理分配和調(diào)度.因此，人群計(jì)數(shù)問(wèn)題已經(jīng)成為計(jì)算機(jī)視覺(jué)領(lǐng)域的重要課題[1].然而人群在場(chǎng)景中的分布是多種多樣的，人群之間的遮擋、光照不均等各種干擾因素使人群計(jì)數(shù)問(wèn)題仍然具有挑戰(zhàn)性.

由于卷積神經(jīng)網(wǎng)絡(luò)（CNN）在各種視覺(jué)任務(wù)上取得的成功，許多針對(duì)人群計(jì)數(shù)的多尺度CNN架構(gòu)[2-3]性能取得了顯著的提升，這些方法通常采用多列卷積網(wǎng)絡(luò)估計(jì)靜止圖像中的人群數(shù)目.多列網(wǎng)絡(luò)通常采用兩列或三列對(duì)圖像特征進(jìn)行提取，并通過(guò)不同卷積核獲得不同大小的感受野，解決尺度變化等問(wèn)題.受圖像分割的啟發(fā)，空洞卷積[4]能夠在不影響分辨率的情況下擴(kuò)大感受野，讓每個(gè)卷積的輸出包含較大范圍的信息，彌補(bǔ)池化操作過(guò)程中信息的損失;而全卷積神經(jīng)網(wǎng)絡(luò)[5]沒(méi)有全連接層，全部采用卷積層對(duì)圖像進(jìn)行特征提取，因此輸入圖像的大小可以是任意的，同時(shí)可以大大減少參數(shù)量.鑒于空洞卷積和全卷積網(wǎng)絡(luò)的特點(diǎn)，本文作者采用全卷積的網(wǎng)絡(luò)架構(gòu)，以空洞卷積代替深度卷積網(wǎng)絡(luò)的全連接層，不僅可以擴(kuò)大圖像的感受野，還能減少網(wǎng)絡(luò)的參數(shù)量，提高了實(shí)驗(yàn)的準(zhǔn)確率和數(shù)據(jù)集的訓(xùn)練速度.

2 基于深度卷積和空洞卷積融合的網(wǎng)絡(luò)架構(gòu)

2.1 空洞率分析

2.1.1 不同空洞率分析

傳統(tǒng)的CNN對(duì)圖像進(jìn)行卷積操作之后再進(jìn)行池化操作，在降低圖像尺寸的同時(shí)增大感受野，但是池化層在降維的過(guò)程中會(huì)丟失一些重要信息，對(duì)提取圖像特征有一定的影響.通過(guò)圖像分割[4]實(shí)驗(yàn)可知，空洞卷積既能增大感受野又不丟失圖像信息，如圖1所示.

圖1（a）對(duì)應(yīng)空洞率為1的卷積.圖1（b）對(duì)應(yīng)空洞率為2的卷積，雖然實(shí)際的卷積核尺寸仍是3×3 pixels，但是相比于普通卷積，其感受野較大.如果前一層是空洞率為1的卷積，那么空洞率為2的卷積中每個(gè)像素點(diǎn)是前一層卷積的輸出，單個(gè)像素點(diǎn)的感受野為3×3 pixels，因此2層卷積的感受野為7×7 pixels.圖1（c）對(duì)應(yīng)空洞率為3的卷積，與圖1（b）同理，其感受野為13×13 pixels.

實(shí)施步長(zhǎng)為1的普通3×3 pixels卷積操作，三層之后，感受野才能達(dá)到7×7 pixels，而進(jìn)行空洞卷積，兩層操作之后，感受野就能達(dá)到7×7 pixels.在不進(jìn)行池化操作的情況下，空洞卷積操作能較快增大感受野，讓每個(gè)卷積輸出都包含較大范圍的信息.

疊加卷積的空洞率不同且最大公約數(shù)為1的結(jié)構(gòu)稱之為鋸齒狀結(jié)構(gòu)，符合條件的空洞率稱之為鋸齒狀空洞率.

2.1.2 相同空洞率分析

空洞率相同的空洞卷積的計(jì)算方式類似于棋盤(pán)格式，某一層得到的卷積結(jié)果，來(lái)自上一層獨(dú)立的集合，沒(méi)有相互依賴關(guān)系，因此該層的卷積結(jié)果之間沒(méi)有相關(guān)性，導(dǎo)致局部信息丟失.相同空洞率的情況下，空洞卷積操作的棋盤(pán)問(wèn)題如圖2所示.

圖2（a）對(duì)應(yīng)原始卷積，感受野為5×5 pixels;圖2（b）對(duì)應(yīng)卷積核一次疊加后的卷積，每個(gè)像素點(diǎn)為原始卷積的輸出，所以單個(gè)像素點(diǎn)的感受野為5×5 pixels，疊加后的感受野為9×9 pixels;圖2（c）與圖2（b）同理，最終得到的感受野為13×13 pixels.

[5] LONG J，SHELHAMER E，DARRELL T.Fully convolutional networks for semantic segmentation [J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2014，39（4）：640-651.

[6] ZHANG Y，ZHOU D，CHEN S，et al.Single-image crowd counting via multi-column convolutional neural network [C]//Computer Vision & Pattern Recognition.Las Vegas：IEEE，2016：589-597.

[7] KRIZHEVSKY A，SUTSKEVER I，HINTON G.ImageNet classification with deep convolutional neural networks [C]//Proceedings of the 25th International Conference on Neural Information Processing Systems.Lake Tahoe：ACM，2012：1097-1105.

[8] SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for large-scale image recognition [C]//International Conference on Learning Representations.San Diego：IEEE，2015：1150-1210.

[9] ZHANG C，LI H，WANG X，et al.Cross-scene crowd counting via deep convolutional neural networks [C]//Conference on Computer Vision and Pattern Recognition.Boston：IEEE，2015：833-841.

[10] SINDAGI V A，PATEL V M.Generating high-quality crowd density maps using contextual pyramid CNNs [C]//International Conference on Computer Vision.Venice：IEEE，2017：1879-1888.

[11] LI Y，ZHANG X，CHEN D.CSRNet：dilated convolutional neural networks for understanding the highly congested scenes [C]//Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：1091-1100.

（責(zé)任編輯：包震宇）