邢志祥，顧凰琳，魏振剛，錢(qián) 輝，張 瑩，汪李金

(常州大學(xué)環(huán)境與安全工程學(xué)院，江蘇 常州 213164)

在車(chē)站、商場(chǎng)等人員密集的公共場(chǎng)所，如果發(fā)生突發(fā)事件，容易引起人群擁堵、踩踏等事故，如果對(duì)行人進(jìn)行有效的檢測(cè)和預(yù)警，可以及時(shí)阻止此類(lèi)事件的發(fā)生。行人檢測(cè)的方法有多種，近幾年來(lái)智能安監(jiān)技術(shù)、無(wú)人駕駛技術(shù)等由于計(jì)算機(jī)視覺(jué)的興起已成為研究的熱點(diǎn)，計(jì)算機(jī)視覺(jué)的快速發(fā)展也提供了許多新的行人檢測(cè)方法。

針對(duì)傳統(tǒng)的計(jì)算機(jī)行人檢測(cè)方法已有較多研究。如何鵬[1]提出了一種基于改進(jìn)背景減除法的類(lèi)圓形目標(biāo)檢測(cè)算法，這種方法可以降低背景變化和噪聲對(duì)檢測(cè)結(jié)果的影響，但也可能會(huì)出現(xiàn)目標(biāo)丟失和偽目標(biāo)的現(xiàn)象；陳亮[2]采用光流法的視頻分析技術(shù)對(duì)地鐵客流進(jìn)行了監(jiān)測(cè)，該技術(shù)可以較為準(zhǔn)確地反映對(duì)象的平移運(yùn)動(dòng)，但是步驟較為繁瑣、復(fù)雜。可見(jiàn)，一些傳統(tǒng)的計(jì)算機(jī)行人檢測(cè)方法都具有一定的局限性。

近幾年來(lái)隨著深度學(xué)習(xí)的快速發(fā)展，許多基于卷積神經(jīng)網(wǎng)絡(luò)的行人檢測(cè)方法開(kāi)始興起。本文基于卷積神經(jīng)網(wǎng)絡(luò)，主要研究了幾種不同的行人人頭檢測(cè)方法，通過(guò)不同的行人人頭特征提取與目標(biāo)檢測(cè)結(jié)構(gòu)組合的方式來(lái)探索最優(yōu)的行人人頭檢測(cè)方法。傳統(tǒng)方法對(duì)車(chē)站、商場(chǎng)、地鐵等人員密集的公共場(chǎng)所的客流進(jìn)行統(tǒng)計(jì)時(shí)，一般都是檢測(cè)行人，但由于行人高矮不一、胖瘦不均等原因，容易出現(xiàn)遮擋等情況，所以本文嘗試通過(guò)高位攝像頭采集行人的人頭數(shù)據(jù)，這樣可以減少遮擋的情況，從而更容易、準(zhǔn)確地統(tǒng)計(jì)客流。

1 卷積神經(jīng)網(wǎng)絡(luò)與行人人頭檢測(cè)算法

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)[3-4]是一種受到生物自然視覺(jué)感知啟發(fā)而建立的一種深度學(xué)習(xí)體系結(jié)構(gòu)，是一種至少使用一層卷積運(yùn)算來(lái)替代一般的矩陣乘法運(yùn)算的神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)主要由輸入層、卷積層、池化層、全連接層和輸出層構(gòu)成，其復(fù)合了多個(gè)卷積層和池化層對(duì)輸入數(shù)據(jù)進(jìn)行加工,并在連接層實(shí)現(xiàn)與輸出目標(biāo)之間的映射。卷積神經(jīng)網(wǎng)絡(luò)的經(jīng)典模型——LeNet-5的網(wǎng)絡(luò)結(jié)構(gòu)，見(jiàn)圖1。

圖1 卷積神經(jīng)網(wǎng)絡(luò)的經(jīng)典模型——LeNet-5的網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of the classical Convolutional Neural Network model -LeNet-5 network

對(duì)行人人頭的檢測(cè)可以看成是一個(gè)目標(biāo)檢測(cè)的問(wèn)題，目標(biāo)檢測(cè)一般要確定三個(gè)問(wèn)題：目標(biāo)定位、目標(biāo)檢測(cè)和目標(biāo)分類(lèi)。其中，目標(biāo)定位是確定候選區(qū)域，即確定行人人頭的位置；目標(biāo)檢測(cè)是對(duì)候選區(qū)域進(jìn)行特征提取，提取目標(biāo)分類(lèi)所需要的行人人頭特征；目標(biāo)分類(lèi)是通過(guò)提取的行人人頭特征來(lái)進(jìn)行所需要的分類(lèi)，本文主要分為兩類(lèi)，即‘是行人人頭’和‘非行人人頭’?；诰矸e神經(jīng)網(wǎng)絡(luò)的行人人頭檢測(cè)的主要步驟，見(jiàn)圖2。

圖2 基于卷積神經(jīng)網(wǎng)絡(luò)的行人人頭檢測(cè)的主要步驟Fig.2 Main steps of pedestrian head detection based on convolutional neural network

1. 1 行人人頭數(shù)據(jù)的采集

在行人人頭檢測(cè)時(shí)，需要對(duì)行人人頭進(jìn)行數(shù)據(jù)采集，本文在常州某車(chē)站安檢站臺(tái)處通過(guò)高位攝像頭采集行人的人頭數(shù)據(jù)，通過(guò)一段30 min的視頻監(jiān)控截取464張圖片并進(jìn)行標(biāo)簽，本文選取其中一張圖片的人頭候選區(qū)域作為例圖，見(jiàn)圖3。

圖3 行人人頭檢測(cè)圖像Fig.3 Images of pedestrian head detection

為了使采集的行人人頭圖像數(shù)據(jù)在試驗(yàn)中可以使用，必須將所需要的行人人頭圖像進(jìn)行歸一化處理后再進(jìn)行標(biāo)簽。由于是通過(guò)視頻截圖，圖像的分辨率是一致的，所以不需要再對(duì)行人人頭圖像進(jìn)行另外的歸一化處理，主要是對(duì)樣本進(jìn)行標(biāo)簽。通過(guò)Spyder軟件將行人人頭圖像數(shù)據(jù)導(dǎo)入，通過(guò)編寫(xiě)腳本程序來(lái)對(duì)樣本進(jìn)行標(biāo)簽，標(biāo)簽完成后就可以將行人人頭圖像數(shù)據(jù)和標(biāo)簽數(shù)據(jù)用來(lái)試驗(yàn)。圖3為通過(guò)腳本程序手動(dòng)選擇的行人人頭檢測(cè)區(qū)域，圖4為腳本程序運(yùn)行后與圖3相對(duì)應(yīng)打上標(biāo)簽的行人人頭數(shù)據(jù)標(biāo)簽，即將圖片里的行人人頭區(qū)域轉(zhuǎn)化為數(shù)據(jù)的形式以方便之后的試驗(yàn)。圖4中的第一行代表了本張圖片中的行人人頭區(qū)域個(gè)數(shù)，下面的數(shù)據(jù)則分別代表行人人頭區(qū)域的范圍(通過(guò)x、y軸的最大值、最小值來(lái)確定行人人頭區(qū)域范圍)。

圖4 行人人頭檢測(cè)數(shù)據(jù)標(biāo)簽Fig.4 Data label of pedestrian head detection

1. 2 特征提取網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)的特征提取網(wǎng)絡(luò)有多種形式，本文主要研究3種特征提取網(wǎng)絡(luò)：Inception模塊、ResNet特征提取網(wǎng)絡(luò)和MobileNet特征提取網(wǎng)絡(luò)。

(1) Inception模塊：Inception模塊最初是由Szegedy在2014年提出的，可以廣泛應(yīng)用到卷積神經(jīng)網(wǎng)絡(luò)中，目前主要的Inception模塊有Inception V1～V4[5-8]。其中，Inception V1主要構(gòu)建了1×1、3×3、5×5的卷積層和3×3的池化層，同時(shí)使用MLP池化和全局平均池化，擴(kuò)寬了卷積層網(wǎng)絡(luò)寬度，增加了網(wǎng)絡(luò)對(duì)尺度的適應(yīng)性；Inception V2提出了BN方法，同時(shí)使用兩個(gè)3×3的卷積核代替5×5的卷積核，在降低參數(shù)量的同時(shí)提高了網(wǎng)絡(luò)學(xué)習(xí)的能力；Inception V3引入了Factorization；Inception V4研究了Inception模塊結(jié)合Residual Connection。本文通過(guò)閱讀文獻(xiàn)選擇了較為常見(jiàn)的Inception V2特征提取網(wǎng)絡(luò)。

(2) ResNet特征提取網(wǎng)絡(luò)：ResNet特征提取網(wǎng)絡(luò)[9]是由何凱明博士的團(tuán)隊(duì)于2015年首次提出,ResNet網(wǎng)絡(luò)也稱(chēng)為深度殘差網(wǎng)絡(luò)，一般較常用的是Resnet 50和ResNet 101兩種類(lèi)型。ResNet網(wǎng)絡(luò)主要是應(yīng)用了一種叫identity mapping的連接方式，可以解決“隨著網(wǎng)絡(luò)加深，準(zhǔn)確率不下降”的問(wèn)題。

(3) MobileNet特征提取網(wǎng)絡(luò)：MobileNet特征提取網(wǎng)絡(luò)[10]是一種輕量級(jí)、低延遲的卷積神經(jīng)網(wǎng)絡(luò)模型，可以將標(biāo)準(zhǔn)卷積分解成一個(gè)深度卷積和一個(gè)1×1卷積核，通過(guò)深度可分離的卷積來(lái)構(gòu)建輕量級(jí)的深層神經(jīng)網(wǎng)絡(luò)，可廣泛應(yīng)用于物體檢測(cè)、細(xì)粒度分類(lèi)、人臉屬性識(shí)別和大規(guī)模地理定位等。

1. 3 目標(biāo)檢測(cè)結(jié)構(gòu)

目標(biāo)檢測(cè)結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)也有很多種類(lèi)，本次試驗(yàn)所用到的3種目標(biāo)檢測(cè)結(jié)構(gòu)為：Faster R-CNN、R-FCN和SSD。

(1) Faster R-CNN目標(biāo)檢測(cè)結(jié)構(gòu)：Faster R-CNN最初是由Girshick團(tuán)隊(duì)[11]于2015年提出的一種目標(biāo)檢測(cè)結(jié)構(gòu)，它是R-CNN、SPP-Net和Fast R-CNN等目標(biāo)檢測(cè)結(jié)構(gòu)系列的最終版，其準(zhǔn)確率和檢測(cè)速度都有了很大的提升。Faster R-CNN是主要由RPN候選框提取模塊和Fast R-CNN檢測(cè)模塊組成的算法，其中RPN候選框提取模塊可以輸出區(qū)域建議的物體分類(lèi)和預(yù)測(cè)物體的回歸邊界；Fast R-CNN檢測(cè)模塊是在得到的RPN候選框提取模塊中進(jìn)行最終的目標(biāo)檢測(cè)與分類(lèi)。具體的Faster R-CNN目標(biāo)檢測(cè)結(jié)構(gòu)的網(wǎng)絡(luò)框架，見(jiàn)圖5。

圖5 Faster R-CNN/R-FCN目標(biāo)檢測(cè)結(jié)構(gòu)的網(wǎng)絡(luò)框架Fig.5 Network framework of Faster R-CNN/R-FCN

(2) R-FCN目標(biāo)檢測(cè)結(jié)構(gòu)：R-FCN網(wǎng)絡(luò)是由代季峰等[12]于2016年首次提出的基于區(qū)域的全卷積神經(jīng)網(wǎng)絡(luò)，這是一種全新的目標(biāo)檢測(cè)結(jié)構(gòu)。R-FCN網(wǎng)絡(luò)在進(jìn)行目標(biāo)檢測(cè)時(shí)所有的步驟與Faster R-CNN網(wǎng)絡(luò)一樣(見(jiàn)圖5)，都是先確定候選框，再進(jìn)行目標(biāo)的檢測(cè)與分類(lèi)，不過(guò)它的主要目的是通過(guò)最大化共享計(jì)算來(lái)提升速度。

(3) SSD目標(biāo)檢測(cè)結(jié)構(gòu)：相比以上兩個(gè)目標(biāo)檢測(cè)的算法，SSD[13]的目標(biāo)檢測(cè)結(jié)構(gòu)網(wǎng)絡(luò)就簡(jiǎn)單了許多，它是由Wei Liu最先在ECCV 2016上提出的一種目標(biāo)檢測(cè)算法。盡管SSD網(wǎng)絡(luò)的目標(biāo)檢測(cè)率雖不如以上兩個(gè)目標(biāo)檢測(cè)算法，但是它的檢測(cè)速度卻大大提高了。SSD目標(biāo)檢測(cè)結(jié)構(gòu)將目標(biāo)檢測(cè)與分類(lèi)一體化，實(shí)現(xiàn)端對(duì)端的訓(xùn)練，它最大的特點(diǎn)是不同時(shí)考慮圖像每個(gè)位置的每個(gè)邊界及其分類(lèi)，而是選擇可信度最大者來(lái)進(jìn)行目標(biāo)檢測(cè)與分類(lèi)。SSD目標(biāo)檢測(cè)結(jié)構(gòu)的網(wǎng)絡(luò)框架，見(jiàn)圖6。

圖6 SSD目標(biāo)檢測(cè)結(jié)構(gòu)的網(wǎng)絡(luò)框架Fig.6 Network framework of SSD

2 基于卷積神經(jīng)網(wǎng)絡(luò)的行人人頭檢測(cè)模型試驗(yàn)設(shè)計(jì)與檢測(cè)結(jié)果分析

2. 1 模型試驗(yàn)設(shè)計(jì)

由前述可知，目標(biāo)檢測(cè)中特征提取網(wǎng)絡(luò)有Inception模塊、ResNet和MobileNet等，目標(biāo)檢測(cè)結(jié)構(gòu)有Faster R-CNN、SSD、R-FCN等。通過(guò)將不同行人特征提取網(wǎng)絡(luò)與目標(biāo)檢測(cè)結(jié)構(gòu)相組合的方式設(shè)計(jì)模型試驗(yàn)，對(duì)比研究各種行人人頭檢測(cè)組合模型的準(zhǔn)確率和檢測(cè)速度。因此，本次試驗(yàn)在采集的行人人頭數(shù)據(jù)庫(kù)的基礎(chǔ)上設(shè)計(jì)了基于卷積神經(jīng)網(wǎng)絡(luò)的行人人頭檢測(cè)組合模型，見(jiàn)表1。

表1 基于卷積神經(jīng)網(wǎng)絡(luò)的行人人頭檢測(cè)組合模型的試驗(yàn)設(shè)計(jì)

注：表中的“√”表示不同的特征提取網(wǎng)絡(luò)和目標(biāo)檢測(cè)結(jié)構(gòu)相互組合的選擇。

由于模型組合較多，本文僅選擇幾種比較具有可行性的模型組合方式來(lái)進(jìn)行研究。根據(jù)試驗(yàn)所設(shè)計(jì)的基于卷積神經(jīng)網(wǎng)絡(luò)的行人人頭檢測(cè)模型利用Tensor flow軟件進(jìn)行試驗(yàn)訓(xùn)練，并給出最終的試驗(yàn)數(shù)據(jù)。Tensor flow是一種使用數(shù)據(jù)流和圖來(lái)進(jìn)行數(shù)值計(jì)算的開(kāi)源軟件，主要用于機(jī)器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)的研究。

2. 2 模型檢測(cè)結(jié)果分析

2.2.1 不同組合模型的準(zhǔn)確率與檢測(cè)速度對(duì)比分析

不同的組合模型對(duì)行人人頭檢測(cè)的效果不同，本試驗(yàn)所得到的行人人頭檢測(cè)不同組合模型的準(zhǔn)確率和單張圖片檢測(cè)時(shí)間見(jiàn)表2和表3,不同組合模型的單張圖片檢測(cè)時(shí)間與準(zhǔn)確率效果圖見(jiàn)圖7。

表2 行人人頭檢測(cè)不同組合模型的準(zhǔn)確率

表3 行人人頭檢測(cè)不同組合模型的單張圖片檢測(cè)時(shí)間

由表2和表3可知，由目標(biāo)檢測(cè)結(jié)構(gòu)Faster R-CNN和R-FCN與各種特征提取網(wǎng)絡(luò)組成的組合模型比目標(biāo)檢測(cè)結(jié)構(gòu)SSD與各種特征提取網(wǎng)絡(luò)組成的組合模型的準(zhǔn)確率要高，但其檢測(cè)速度比由目標(biāo)檢測(cè)結(jié)構(gòu)為SDD與各種特征提取網(wǎng)絡(luò)組成的組合模型慢。由此可歸結(jié)出：①目標(biāo)檢測(cè)模型的準(zhǔn)確率與檢測(cè)速度有一定的相關(guān)性，一般來(lái)說(shuō)檢測(cè)模型的準(zhǔn)確率越高，其檢測(cè)速度則越低，因此需要平衡準(zhǔn)確率與檢測(cè)速度來(lái)探索最優(yōu)的目標(biāo)檢測(cè)模型；②不同的特征提取網(wǎng)絡(luò)也會(huì)影響目標(biāo)檢測(cè)模型的檢測(cè)效果，特征提取網(wǎng)絡(luò)的層數(shù)越多，目標(biāo)檢測(cè)模型的準(zhǔn)確率越高，但同時(shí)檢測(cè)速度越慢，如Faster R-CNN目標(biāo)檢測(cè)結(jié)構(gòu)在Resnet 50和Resnet 101不同特征提取網(wǎng)絡(luò)下的檢測(cè)效果不同。

圖7 行人人頭檢測(cè)不同組合模型的單張圖片檢測(cè)時(shí)間與準(zhǔn)確率效果圖Fig.7 Single image detection time and accuracy of different combined models for pedestrian head detection

通過(guò)分析圖7并結(jié)合本文的行人人頭檢測(cè)實(shí)例可知，可選擇Faster R-CNN目標(biāo)檢測(cè)結(jié)構(gòu)與Inception V2的特征提取網(wǎng)絡(luò)組合的目標(biāo)檢測(cè)模型，其在保證準(zhǔn)確率的同時(shí)也具有一定的實(shí)時(shí)可操作性，屬于最優(yōu)的目標(biāo)檢測(cè)模型，可以用于車(chē)站的行人人頭檢測(cè)。

2.2.2 不同平臺(tái)上各組合模型的檢測(cè)速度對(duì)比分析

為了研究各種行人人頭檢測(cè)組合模型在不同平臺(tái)上的檢測(cè)速度，本文設(shè)計(jì)了對(duì)比試驗(yàn)，即將這些組合模型分別在計(jì)算機(jī)單機(jī)和服務(wù)器平臺(tái)上運(yùn)行來(lái)進(jìn)行試驗(yàn)。計(jì)算機(jī)單機(jī)的操作系統(tǒng)為Windows10系統(tǒng)，CPU為Intel Core i5,主頻為2.10 GHz，無(wú)顯卡；服務(wù)器的系統(tǒng)為Ubuntu-16.04，CPU為Intel Xeon E5-2620 v4，單顯卡為GeForce GTX 1080 Ti，服務(wù)器端使用的處理計(jì)算機(jī)與計(jì)算機(jī)單機(jī)的配置相同。計(jì)算機(jī)單機(jī)和服務(wù)器平臺(tái)上相同圖片的單張檢測(cè)時(shí)間對(duì)比見(jiàn)表4。

表4 不同平臺(tái)上相同圖片的單張檢測(cè)時(shí)間對(duì)比

由表4可知，計(jì)算機(jī)單機(jī)對(duì)這些組合模型的檢測(cè)速度遠(yuǎn)遠(yuǎn)低于服務(wù)器平臺(tái)的檢測(cè)速度。因此在進(jìn)行實(shí)際的行人人頭檢測(cè)中，在考慮實(shí)時(shí)性的條件下，建議使用檢測(cè)效果較好的服務(wù)器平臺(tái)來(lái)進(jìn)行試驗(yàn)。

2.2.3 不同組合模型的檢測(cè)效果分析

本試驗(yàn)運(yùn)行后行人人頭檢測(cè)不同組合模型的效果圖，見(jiàn)圖8。

圖8 行人人頭檢測(cè)不同組合模型的檢測(cè)效果圖Fig.8 Model diagram of pedestrian head detection by different combined models

由圖8可見(jiàn)，不同特征提取網(wǎng)絡(luò)與目標(biāo)檢測(cè)結(jié)構(gòu)的組合模型對(duì)行人人頭檢測(cè)的效果不盡相同，其中Faster R-CNN目標(biāo)檢測(cè)結(jié)構(gòu)與各種特征提取網(wǎng)絡(luò)組成的組合模型幾乎都可以檢測(cè)出大部分的人頭，R-FCN目標(biāo)檢測(cè)結(jié)構(gòu)與ResNet101特征提取網(wǎng)絡(luò)組成的組合模型對(duì)行人人頭的檢測(cè)效果也較好，但目標(biāo)檢測(cè)結(jié)構(gòu)為SSD與各種特征提取網(wǎng)絡(luò)組成的組合模型的檢測(cè)精度沒(méi)有其他的組合模型高，且還存在漏檢的情況。因此，在考慮精度的條件下，建議選擇目標(biāo)檢測(cè)結(jié)構(gòu)為Faster R-CNN和R-FCN與各種特征提取網(wǎng)絡(luò)組成的組合模型對(duì)車(chē)站等公共場(chǎng)所的行人人頭進(jìn)行檢測(cè)。

3 結(jié) 論

本文利用基于卷積神經(jīng)網(wǎng)絡(luò)的組合模型對(duì)行人人頭檢測(cè)進(jìn)行試驗(yàn)研究與分析，得到以下結(jié)論：

(1) 在實(shí)際的行人人頭檢測(cè)過(guò)程中，使用Inception-V2特征提取網(wǎng)絡(luò)與Faster R-CNN目標(biāo)檢測(cè)結(jié)構(gòu)相組合的檢測(cè)方法，可以滿足準(zhǔn)確率和實(shí)時(shí)性的要求。

(2) 在行人人頭檢測(cè)研究的試驗(yàn)中，還需要考慮的是測(cè)試平臺(tái)的實(shí)用性，本文通過(guò)對(duì)比分析計(jì)算機(jī)單機(jī)與服務(wù)器平臺(tái)上的檢測(cè)速度，結(jié)果顯示試驗(yàn)在降低精度要求、滿足基本需求的情況下，采用計(jì)算機(jī)單機(jī)也可以完成行人人頭檢測(cè)任務(wù)。

計(jì)算機(jī)視覺(jué)技術(shù)的快速發(fā)展給人們帶來(lái)了很多便利，尤其在行人檢測(cè)方面，促使許多基于卷積神經(jīng)網(wǎng)絡(luò)的特征提取和目標(biāo)檢測(cè)方法也有了快速發(fā)展。本文研究的行人人頭檢測(cè)方法可以滿足準(zhǔn)確率和實(shí)時(shí)性的要求，如果再配備服務(wù)器資源，就可以順利地進(jìn)行各種目標(biāo)檢測(cè)模型的試驗(yàn)研究。該研究對(duì)客流統(tǒng)計(jì)具有一定的應(yīng)用價(jià)值，可以讓公共場(chǎng)所的管理人員及時(shí)了解客流情況，從而在發(fā)生火災(zāi)或其他突發(fā)事件時(shí)能及時(shí)疏散群眾，以避免安全事故的發(fā)生。