余珮嘉 張靖 謝曉堯

摘 要：基于卷積神經網絡的行人檢測器普遍采用圖像識別網絡，通常會引起多池化層導致小目標行人特征信息丟失、單一池化方法導致行人局部重要特征信息削弱甚至丟失等，針對以上問題，基于最大值池化和平均值池化方法，提出了一種自適應池化方法，結合通用目標檢測器Faster R-CNN，形成了有效的行人檢測器，達到增強行人局部重要特征信息、保留小目標行人有效特征信息的目的。對多個公開的行人數據集進行大量實驗，結果表明，與傳統(tǒng)的卷積神經網絡行人檢測器相比，所提方法將行人檢測漏檢率降低了2%～3%，驗證了方法的有效性。新方法改進了卷積神經網絡結構，在無人駕駛領域具有一定的參考價值。

關鍵詞：計算機神經網絡;卷積神經網絡;行人檢測;圖像識別;自適應池化;Faster R-CNN

中圖分類號：TP183 ? 文獻標志碼：A ? doi：10.7535/hbkd.2019yx06011

Abstract： Pedestrian detectors based on convolutional neural networks generally adopt image recognition network， which usually causes the following problems：1） multi-pool layers lead to the loss of feature information of small target pedestrian; 2） the single pool method leads to the weakening or even loss of the local important feature information of pedestrians. Therefore， based on the maximum pooling and average pooling methods， an adaptive pooling method is proposed， and combined with the Faster R-CNN， an effective pedestrian detector is formed， so as to enhance the local important feature information of pedestrians and retain the effective feature information of small target pedestrians. Through a large number of experiments on several public pedestrian datasets， the results show that compared with the traditional convolutional neural network pedestrian detector， the proposed method reduces the miss rate by about 2%～3%， which verifies the effectiveness of the method.

Keywords：computer neural network; convolution neural networks; pedestrian detection; image recognition; adaptive pooling; Faster R-CNN

在計算機視覺研究領域中，目標檢測作為一類基本問題得到了深入的研究[1-5]。近年來，在輔助駕駛、智能視頻監(jiān)控等應用背景下，行人檢測作為目標檢測中的一類重要應用，受到了國內外學術界和工業(yè)界的廣泛關注[6-9]。

過去10多年，出現了許多基于傳統(tǒng)人工設計特征的行人檢測方法。2005年，文獻[10]提出了一種描述圖像局部特征的方法，通過對局部區(qū)域中每個像素點的梯度方向和幅值進行統(tǒng)計，獲得了方向梯度直方圖（histograms of oriented gradients，HOG），與后續(xù)分類器結合，構成了有效的行人檢測器。文獻[11]提出了利用HOG特征與Boosted Cascad算法[12]級聯結構相結合，實現了行人的快速檢測。2009年，文獻[13]提出了基于積分通道特征（integrate channel features，ICF）的快速行人檢測器，不同于HOG的單一特征，ICF包含了圖像的多種通道特征，特征信息更加豐富，同時采用AdaBoost分類器構成的檢測器，從檢測精度和運行速度上都要優(yōu)于HOG檢測器。文獻[14]通過擴展HOG檢測器提出了可形變部件模型（deformable parts model，DPM），它是一種基于組件的檢測方法，對于遮擋類行人具有較好的檢測效果。文獻＼[15＼]對DPM方法進行了改進，增加了級聯檢測算法和分支定界算法，有效提高了檢測速度。文獻＼[16＼]提出了改進的顏色自相似性方法，能夠降低顏色自相似性維度，提升特征提取速度和行人檢測速度。

隨著卷積神經網絡（convolutional neural networks，CNNs）技術在計算機視覺領域的快速發(fā)展，基于CNNs的行人檢測取得了巨大進展。卷積神經網絡采用多層結構，目標物體的特征可以通過學習自動獲取。文獻[17]提出TA-CNN網絡，通過加入語義信息，比如行人輔助信息（如背包），場景信息（如樹）等，將多種信息融合用于處理行人檢測中的難例問題。文獻[18]提出將通道特征與基于卷積神經網絡的行人檢測器相融合，不光將通道特征加入，同時將卷積神經網絡中逐層的特征圖結合到最終的特征提取，豐富的特征顯著提升了行人的檢測精度。文獻[19]提出利用提升森林策略替換通用目標檢測器Faster R-CNN[2]的分類器，新的策略可以融合多種分辨率的特征圖，提升難例挖掘能力。文獻[20]提出對通用目標檢測器Faster R-CNN[2]進行改進，使其適合于行人檢測，其中一項重要改進是通過減少池化層數量達到調小降采樣因子，目的是保留更多行人的特征信息，尤其對小目標行人的檢測有較大提升。文獻[21]中為目標檢測建立專門的骨干特征提取網絡，通過減少池化層數量達到減少感受野的大小，較小感受野能提升小目標的識別精度和大目標的定位精度。上述的行人檢測器大多采用在圖像分類任務（比如ImagNet數據集）中獲得較好效果的分類網絡（比如AlexNet[3]，VGG16[4]）作為行人檢測器的特征提取網絡。但是使用分類網絡作為行人檢測的特征提取網絡會從以下方面導致特征信息丟失：1）分類網絡中普遍采用較多池化層，雖然可以降低網絡的計算量和增大感受野，對圖像分類任務有利，但是多層池化形成的較大特征步長作用在寬度較?。ū热?0像素）的目標行人上，將導致小尺寸行人特征信息丟失，進而降低識別結果的置信度（如Caltech數據集中，大部分行人的高×寬=80像素×40像素）;2）分類網絡中使用的池化層通常采用單一池化方法，如最大值池化（max pooling）或者平均值池化（average pooling），行人作為一類特殊目標，具有尺度較小、外形特征較復雜的特點，但是在對行人特征提取過程中，因使用單一池化方法，不僅獲取的特征信息粗糙，而且池化方法與局部特征不匹配會導致重要特征信息丟失。

針對以上問題，提出了基于自適應池化的行人檢測方法，該方法能夠根據行人身體各部位的特征，通過學習獲得適合的池化層，改善網絡特征提取能力。

1 理論基礎

池化方法是指池化區(qū)域中用總體統(tǒng)計特征來代替網絡在該區(qū)域的輸出。卷積神經網絡中使用池化方法可使網絡具有特征不變性、特征降維和防止過擬合等功能。

1.1 多次池化

從式（3）可以得到，經過n次池化，輸出特征圖的空間分辨率將逐級降低，池化次數越多，池化步長累積越大，丟失的信息也就越多，輸出特征圖的空間分辨率較原始圖像降低。對于行人這類小目標，原始圖像中行人的分辨率較小，比如Caltech數據集中，大部分行人的高×寬=80像素×40像素，池化步長越大，則丟失的行人特征信息越多。該多次池化特征提取示意圖如圖1所示。

1.2 自適應池化方法

基于卷積神經網絡的行人檢測器通常采用的池化方法為式（4）所示的最大值池化和式（5）所示的平均值池化。

最大值池化是指在每個池化區(qū)域中，選擇最大值的元素來表示池化區(qū)域的輸出，池化操作可以表示為yl+1ij_max=max（p，q）∈Rijxlpq，（4）式中：yl+1ij表示池化操作作用在區(qū)域Rij后的輸出;l表示卷積神經網絡的第l層特征圖;xlpq表示在池化區(qū)域Rij中，位置為（p，q）的元素。

平均值池化是指采用池化區(qū)域中所有元素的數學平均值來表示池化區(qū)域的輸出，可以表示為yl+1ij_ave=1N∑（p，q）∈Rijxlpq，（5）式中，N表示池化區(qū)域Rij中元素的個數。

雖然最大值池化和平均值池化兩種方法分別在很多研究中表現良好，但是這兩種池化方法對不同問題的處理效果差異較大，均不能同時兼顧。如圖2 a）所示的灰度圖像中，大部分像素點具有高灰度值，少部分像素點具有低灰度值，兩類像素點的值差異明顯，在圖像中的特征對比明顯。經過最大值池化后，具有低灰度值的像素點消失，只有高灰度值的像素點被保留，原始圖像中高低灰度值對比明顯的特征消失。如果采用平均值池化方法，仍保留了高低灰度值對比的特征。如圖2 b）所示的灰度圖像中，大部分像素點具有低灰度值，少部分像素點具有高灰度值，兩類像素點的值差異明顯，在圖像中的特征對比明顯。經過平均值池化后，高低灰度值對比的特征信息存在，但是被弱化。

如果采用最大值池化方法，高低灰度值對比明顯的特征信息仍然被保留[22]。

因此，無論采用以上哪種池化方法，考慮到行人身體結構的復雜性，在特征提取過程中，將引起特征信息的削弱甚至丟失。為此，文獻[22]提出了隨機混合池化方法，將最大值池化和平均值池化進行簡單線性連接，但是其線性連接系數為隨機數，不能可靠地學習對象的不同特征以獲得適合的池化層。為解決該問題，本文提出自適應池化方法，根據行人身體各部位的特征，通過學習獲得自適應池化層。該方法表示如下：ylij=fact（fcom（ylij_max，ylij_ave）），（6）式中：ylij_max和ylij_ave分別表示第l層中最大值池化和平均值池化在位置（i，j）的輸出值; fcom表示自適應連接函數，連接圖像中相同區(qū)域的最大值池化和平均值池化，本文采用卷積函數來實現fcon;fact為非線性激活函數。

為了實現對圖像中每個局部區(qū)域最大值池化和平均值池化的自適應連接，使用寬、高分別為1，通道為2的卷積核。非線性激活函數fact用于增強fcon的表達能力，文中采用線性整流（rectified linear unit， ReLU）函數作為非線性激活函數。圖3描述了自適應池化方法與普通池化方法結構的區(qū)別。

2 實驗結果與討論

Caltech[8]，CityPersons[20]和ETH[23]是目前研究中通常采用的數據集，每個數據集的圖片大小、分辨率等參數都存在明顯差異性，因此，為驗證本文所提方法的通用性和有效性，對這3個典型行人數據集進行測試，并分別與采用最大值池化方法和平均值池化方法的卷積神經網絡行人檢測器進行對比。

實驗采用基于CNNs的通用目標檢測器Faster R-CNN作為行人檢測器。在網絡訓練過程中，使用水平翻轉方法進行數據量的增廣，采用基于動量（Momentum）的隨機梯度下降（stochastic gradient descent，SGD）算法進行訓練，動量值設置為0.9，初始學習率設置為0.001。訓練中用于判定候選框中為正/負樣例的交并比（intersection-over-union，IoU）設置為0.5。

2.1 評價指標

采用文獻[8]所示的評價指標來評估行人檢測方法的性能。該評價指標描述了平均每張圖片不同錯誤正樣本數量（false positives per-image，FPPI）下對應的漏檢率（miss rate，MR）。FPPI具體指測試集中平均每張圖片錯誤正樣本數量。MR是漏檢率，指測試集圖片中沒有被框中的行人在整個測試集中的比率。FPPI與MR具有較強的相關性，FPPI值越大，MR值越小，為了比較不同行人檢測方法的性能，統(tǒng)一采用FPPI=10-1時不同方法對應的MR值為衡量標準，其中MR值越小，表示檢測方法越好。MR和FPPI如式（7）和式（8）所示：MR=∑Ngti=1GT（i）Ngt×100%，（7）式中：GT（i）是判斷標注框是否被匹配，未匹配則置為1，匹配則置為0;Ngt是測試數據集中標注框（ground truth）的總數。FPPI=∑Nbbi=1FP（i）N，（8）式中：FP（i）是檢測器的檢測結果是否框住行人，未框住則置為1，框住則置為0;N是測試數據集中圖片的總數。

2.2 Caltech數據集上的實驗結果與分析

Caltech數據集是由從大約10 h的視頻中提取出的圖片構成的。整個數據集分為訓練集和測試集2部分，訓練集共6個子集（set00-set05），測試集共5個子集（set06-set10）。數據集中的所有圖片大小均為640像素×480像素。表1列出了Caltech數據集的詳細信息。

表2中列舉了基于Faster R-CNN檢測網絡在不同數量池化層對應的行人檢測結果。從表2中可以得到，隨著池化層數量的增加，對應的池化步長相應增大，特征信息的丟失增多，表征行人檢測效果的漏檢率（MR）逐步增大，檢測性能降低。池化層數量過少，比如池化數目為2，池化步長為4，并不是提升檢測性能的有效方法，反而會使網絡可能出現過擬合情況。因為，當池化層數量為3、池化步長為8時，既能使網絡避免過擬合，行人特征具有不變性，又能有效控制特征信息丟失過多等問題。

為了驗證本文所提基于自適應池化的行人檢測方法，將其與基于最大值池化的行人檢測方法和基于平均值池化的行人檢測方法進行比較。實驗中，將3種池化方法分別應用于包含3個池化層的Faster R-CNN檢測網絡，使用相同的Caltech數據集。從表3中可以看出，最大值池化方法和平均值池化方法的漏檢率分別為16.93%和17.07%，而本文所提方法漏檢率為14.91%?？梢钥闯?，本文所提方法漏檢率明顯降低，對行人檢測的性能提升效果較好。

本文基于自適應池化方法改進Faster R-CNN目標檢測器，使其適用于行人檢測。改進后的行人檢測器與多個行人檢測器在Caltech數據集上進行比較。如圖4所示，進行比較的檢測器大體分為3類。1）基于傳統(tǒng)人工特征的檢測器，VJ，HOG，ACF+SDt，InformedHaar，ACF-Caltech+，LDCF檢測器;2）基于DPM的檢測器，MT-DPM，JointDeep，MT-DPM+Context;3）基于CNN的檢測器，SpatialPooling，TA-CNN。本文提出的基于自適應池化（AdaptPooling）方法改進的行人檢測取得了較好的檢測效果，MR為14.91%。

2.3 其他數據集上的實驗結果與分析

為了驗證所提方法在其他行人數據集上的通用性，采用與Caltech數據集有明顯差別的CityPersons數據集和ETH數據集進行實驗分析。

CityPersons數據集包含來自德國和鄰國不同城市的大量多樣化視頻，表4給出了CityPersons數據集的詳細信息。可以看出，CityPersons數據集不論是總體圖片數量還是各個子集圖片數量均少于Caltech數據集，但是CityPersons數據集的圖片分辨率較高，標注框質量較好。

采用相同方法在CityPersons數據集上進行訓練與測試。實驗結果如表5所示，最大值池化方法和平均值池化方法的漏檢率分別為19.26%和20.61%，而本文所提方法漏檢率為15.67%。可以看出，本文所提方法漏檢率明顯降低，對行人檢測的性能提升效果較好。

ETH數據集是由一對裝載于移動平臺上的雙目攝像頭拍攝得到的視頻。訓練數據集由490張圖片組成，測試數據集有1 803張圖片。訓練集的數據量很少，無法訓練具有較多參數的Faster R-CNN檢測器。本文在Caltech+CityPersons數據集上訓練檢測器，而使用ETH數據集進行測試。實驗結果如表6所示，最大值池化方法和平均值池化方法的漏檢率分別為22.01%和25.81%，而本文所提方法漏檢率為19.77%，漏檢率明顯降低，對行人檢測的性能提升效果較好。

對比表3、表5和表6的結果可以看出，將在Caltech+CityPersons數據集上訓練好的行人檢測器用于測試ETH數據集，雖然各種方法的漏檢率略微提高，但仍然能得到很好的效果，有較好的通用性。

2.4 運行時間

采用英偉達1080Ti顯卡對3種方法進行了測試，結果如表7所示。基于最大值池化和平均值池化的行人檢測器的運行時間都約為50 ms，所提出的自適應池化的行人檢測器的運行時間稍多一些，為58 ms，但與前兩種方法仍處于同一數量級。雖然注意到這是以略微增加的計算時間成本為代價（見表3），但是本文提出的基于自適應池化的行人檢測方法在Caltech數據集上達到了較好的檢測效果，漏檢率提高到14.91%。

通過在主流的公開數據集Caltech，CityPersons以及ETH上進行大量實驗，計算了漏檢率、運行時間，并分別與采用最大值池化方法和平均值池化方法的卷積神經網絡行人檢測器相比，本文所提出的方法均能降低漏檢率2%～3%，表明了本文所提方法是通用的和有效的。

3 結 語

提出了基于自適應池化的行人檢測方法，自適應池化方法考慮了行人特征的復雜性，在行人特征提取過程中，能根據行人身體的不同部位特征，將最大值池化和平均值池化進行自適應混合處理?；谧赃m應池化的行人檢測器，能獲得更加豐富的行人特征，對低分辨率的小目標行人的特征提取能力要明顯優(yōu)于采用單一池化方法的行人檢測器。通過對多個公開的標準行人數據集進行大量實驗，結果驗證了所提出的基于自適應池化的行人檢測方法能明顯提高行人檢測的精度，降低漏檢率，也可靈活應用于其他目標檢測器。未來的研究重點是進一步提升檢測精度，并對整個檢測系統(tǒng)進行算法優(yōu)化，降低檢測運行時間，更好地實現檢測系統(tǒng)的實時性。

參考文獻/References：

[1] GIRSHICK R. Fast R-CNN[C]//Proceedings of the IEEE International Conference on Computer Vision. Boston：IEEE，2015：1440-1448.

[2] REN Shaoqing， HE Kaiming， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015，39（6）：1137-1149.

[3] KRIZHEVSKY A，SUTSKEVER I，HINTON G E. ImageNet classification with deep convolutional neural networks[J].Advances in Neural Information Processing Systems，2012，25（2）：3065386.

[4] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. Computer Science，2014：1556v3.

[5] SZEGEDY C，LIU Wei，JIA Yangqing，et al. Going deeper with convolutions[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. Boston： IEEE，2015：7298594.

[6] 陳政宏，李愛娟，邱緒云，等.智能車環(huán)境視覺感知及其關鍵技術研究現狀[J].河北科技大學學報，2019，40（1）：15-23.

CHEN Zhenghong， LI Aijuan， QIU Xuyun， et al. Survey of environment visual perception for intelligent vehicle and its supporting key technologies[J].Journal of Hebei University of Science and Technology，2019，40（1）：15-23.

[7] 徐超，閆勝業(yè).改進的卷積神經網絡行人檢測方法[J].計算機應用， 2017，37（6）：1708-1715.

XU Chao，YAN Shengye.Improved pedestrian detection method based on convolutional neural network[J].Journal of Computer Applications，2017，37（6）：1708-1715.

[8] BENENSON R， OMRAN M， HOSANG J， et al.Ten years of pedestrian detection， what have we learned？[C]//European Conference on Computer Vision. Cham： Springer，2014： 613-627.

[9] DOLLAR P， WOJEK C， SCHIELE B， et al. Pedestrian detection： A benchmark[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. [S.l.]：[s.n.]，2009：304-311.

[10] DALAL N， TRIGGS B. Histograms of oriented gradients for human detection[C]//2005 IEEE Computer Society Conference on Com-puter Vision and Pattern Recognition（CVPR05）. San Diego：IEEE，2005：886-893.

[11] 葉林，陳岳林，林景亮.基于HOG的行人快速檢測[J].計算機工程， 2010，36（22）：206-207.

YE Lin，CHEN Yuelin， LIN Jingliang. Pedestrian fast detection based on histograms of oriented gradient[J].Computer Engineering， 2010， 36（22）：206-207.

[12] VIOLA P， JONES M J. Robust real-time face detection[J].International Journal of Computer Vision，2004，57（2）：137-154.

[13] DOLLR P， TU Z W， PERONA P， et al. Integral channel features[C]//Proceedings of the British Machine Vision Conference.London：[s.n.]，2009： 10.5244/C.23.91.

[14] ?FELZENSZWALB P F， MCALLESTER D A， RAMANAN D. A discriminatively trained， multiscale， deformable part model[C]//2008 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Alaska： IEEE， 2008：4587597.

[15] 柴恩惠， 智敏. 融合分支定界的可變形部件模型的行人檢測[J]. 計算機應用， 2017，37（7）： 2003-2007.

CAI Enhui， ZHI Min. Pedestrian detection based on deformable part model with branch and bound[J].Journal of Computer Applications，2017，37（7）：2003-2007.

[16] 顧會建，陳俊周.基于改進顏色自相似特征的行人檢測方法[J].計算機應用，2014，34（7）：2033-2035.

GU Huijian， CHEN Junzhou. Pedestrian detection based on improved color self-similarity feature[J].Journal of Computer Applications， 2014，34（7）：2033-2035.

[17] TIAN Yonglong， LUO Ping， WANG Xiaogang， et al. Pedestrian detection aided by deep learning semantic tasks[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Boston：[s.n.]，2015：5079-5087.

[18] MAO Jiayuan， XIAO Tete， JIANG Yuning， et al. What can help pedestrian detection？[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. [S.l.]：[s.n.]，2017：3127-3136.

[19] ZHANG Liliang， LIN Liang， LIANG Xiaodan， et al. Is Faster R-CNN doing well for pedestrian detection？[C]//European Conference on Computer Vision. Cham： Springer，2016：443-457.

[20] ZHANG Shanshan， BENENSON R， SCHIELE B. CityPersons：A diverse dataset for pedestrian detection[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.[S.l.]：[s.n.]，2017：4457-4465.

[21] LI Z， PENG C， YU G， et al. Detnet： Design backbone for object detection[C]//Proceedings of the European Conference on Computer Vision （ECCV）. [S.l.]：[s.n.]， 2018：334-350.

[22] YU Dingjun， WANG Hanli， CHEN Peiqiu， et al. Mixed pooling for convolutional neural networks[C]//The 9th International Conference on Rough Sets and Knowledge Technology（RSKT 2014）. Shanghai：[s.n.]， 2014：364-375.

[23] ESS A， LEIBE B， van GOOL L，et al. Depth and appearance for mobile scene analysis[C]//2007 IEEE 11th International Conference on Computer Vision. Rio de Janeiro：IEEE，2007：4409092.