謝林江，季桂樹，彭 清，羅恩韜

中南大學(xué) 信息科學(xué)與工程學(xué)院，長沙 410083

1 引言

行人檢測指的是判斷待處理圖像或者視頻幀中是否含有行人，如果有行人，給出標(biāo)注。它是機(jī)動車輔助駕駛[1-3]、智能視頻監(jiān)控[4]、智能機(jī)器人以及人體行為分析[5-6]等應(yīng)用中的關(guān)鍵技術(shù)，近些年來成功地應(yīng)用于直升機(jī)等飛行器拍攝的圖片中[7]以及在地質(zhì)災(zāi)害中的受困人員搜尋與營救[8-9]等新興領(lǐng)域。但在實際應(yīng)用中行人圖像容易受到光照、穿著、姿態(tài)、遮擋以及拍攝角度的多樣性等影響，使得行人檢測成為計算機(jī)視覺領(lǐng)域的研究難點與熱點。目前，行人檢測的方法主要有傳統(tǒng)的檢測方法和基于神經(jīng)網(wǎng)絡(luò)的檢測方法。

傳統(tǒng)的檢測方法主要是通過圖像相鄰像素之間的關(guān)系來得到其特征表達(dá)。文獻(xiàn)[10]提出的梯度方向直方圖（histogram of oriented gradient，HOG）通過計算像素梯度方向直方圖來構(gòu)成特征。但是HOG特征的維度高，計算量大，難以滿足實時性的要求。文獻(xiàn)[11]利用積分圖技術(shù)來提高HOG特征的計算速度，但還是未能解決特征維度高的缺點。文獻(xiàn)[12]提出了局部二值模式（local binary pattern，LBP）算子，其根據(jù)每個像素點與周圍像素值大小比較進(jìn)行編碼，得到LBP特征圖譜，具有旋轉(zhuǎn)不變性和灰度不變性等顯著優(yōu)點。文獻(xiàn)[13]將LBP特征作為行人的特征描述子，同樣取得了較好的檢測效果。文獻(xiàn)[14]提出了模板匹配的方法，該方法雖然在檢測速度和檢測率上有所提高，但其需要人工標(biāo)注模板且存在泛化能力不強(qiáng)的缺點。

為了克服傳統(tǒng)方法中需要人工標(biāo)注模板以及特征維度高的缺點，文獻(xiàn)[15]將卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）應(yīng)用到行人檢測中，利用CNN具有從原始像素中學(xué)習(xí)辨別特征的能力，顯著減少了計算量。文獻(xiàn)[16]把區(qū)域提案網(wǎng)絡(luò)（region proposal network，PRN）和級聯(lián)分類器相結(jié)合，運用到行人檢測中，提高了檢測的準(zhǔn)確率。文獻(xiàn)[17]提出了多尺度CNN模型（multi-scale CNN，MS-CNN），在不同層生成一個目標(biāo)檢測子網(wǎng)，提高了CNN對小物體的檢測能力。文獻(xiàn)[18]通過對行人屬性分析和語義任務(wù)來優(yōu)化行人檢測，降低了誤檢率。

本文結(jié)合了復(fù)雜的行人姿態(tài)、背景屬性以及人眼視覺行為的分析，在網(wǎng)絡(luò)的卷積層前加入選擇性注意層，以減少復(fù)雜背景的干擾，同時突出了行人特征，以達(dá)到更高的檢測結(jié)果。為了驗證本文方法的優(yōu)越性，分別在INRIA、NICTA和Daimler行人數(shù)據(jù)集上進(jìn)行實驗，與傳統(tǒng)的CNN模型檢測效果進(jìn)行對比，實驗結(jié)果表明，改進(jìn)的CNN模型具有更高的準(zhǔn)確率。

本文主要貢獻(xiàn)有：（1）提出一種改進(jìn)的CNN模型，即在傳統(tǒng)CNN的基礎(chǔ)上增加了一個選擇性注意層，用來模擬人眼的選擇性注意功能；（2）在選擇性注意層，分析了兩種選擇性處理方法，并與傳統(tǒng)CNN模型進(jìn)行實驗對比，分析不同處理對檢測結(jié)果的影響，找到最佳的處理方式；（3）將改進(jìn)的CNN模型在INRIA、NICTA和Daimler行人數(shù)據(jù)集上進(jìn)行實驗，取得了比傳統(tǒng)模型更好的效果。

2 相關(guān)理論

2.1 選擇性注意原理

為了對目標(biāo)的存在性做出判斷，傳統(tǒng)CNN在卷積過程中會對整幅圖片進(jìn)行無差別特征提取，但實際上人們所關(guān)注的內(nèi)容通常僅僅是圖像中很少的一部分。這種特征提取方式不僅加重了分析難度，又造成了計算的浪費。文獻(xiàn)[19-20]在對貓和猴的視覺皮層研究時，發(fā)現(xiàn)了一些對外界某種具有一定方向或朝向的刺激有強(qiáng)烈反應(yīng)的視神經(jīng)細(xì)胞，被稱為方向選擇性細(xì)胞。文獻(xiàn)[21]研究發(fā)現(xiàn)人眼在面對復(fù)雜場景時能夠迅速地將注意力集中并優(yōu)先處理一些顯著的目標(biāo)上，這里存在一個視覺選擇性注意機(jī)制，這種機(jī)制使得視覺皮層在有限的神經(jīng)元下很好地處理視覺信息。

文獻(xiàn)[22]通過對視覺注意研究，提出了一個稱為特征整合理論的視覺注意假設(shè)，把注意力選擇分為并行特征提取和串行特征融合兩個階段。文獻(xiàn)[23]提出了一個視覺選擇性注意模型，將選擇性注意應(yīng)用到目標(biāo)檢測上，在計算結(jié)構(gòu)上模擬人腦的視覺選擇性神經(jīng)機(jī)制，最終計算得到應(yīng)用場景的視覺顯著圖。文獻(xiàn)[24-25]通過對原圖像提取候選檢測區(qū)域來模擬人眼的選擇性注意功能，加快了檢測速度。

以上方法都是采取候選框策略來模擬選擇性注意功能，更小的候選框意味著更快的計算速度。然而在實驗中發(fā)現(xiàn)，當(dāng)目標(biāo)在原圖像中占比過大或者很小時，候選框可能未能完全覆蓋目標(biāo)或者還有很大一部分背景區(qū)域，這樣就會給檢測任務(wù)帶來困難。并且人眼在觀察物體的時候并不是簡單地框出一個候選區(qū)，還會感知整個區(qū)域的結(jié)構(gòu)或邊緣信息，之后再進(jìn)行細(xì)節(jié)上的處理[26-27]。

在行人檢測中，行人背景變化多樣，姿態(tài)也存在一定變化，但是行人的整體結(jié)構(gòu)卻相對固定。因此本文嘗試在整個區(qū)域應(yīng)用選擇性注意原理，對輸入圖像進(jìn)行紋理或者梯度操作，突出行人結(jié)構(gòu)。實驗證明，在行人檢測中，與不進(jìn)行預(yù)處理相比，改進(jìn)的CNN模型能有效提高行人識別率。

2.2 圖像預(yù)處理

在行人圖像中，通常存在著光照強(qiáng)度變化、視角變化、行人姿態(tài)變化以及行人背景多樣性等干擾。為了減少這些干擾對CNN的影響，對行人圖像進(jìn)行選擇性處理，突出行人結(jié)構(gòu)特征，是一種可行的方式。根據(jù)方向選擇性細(xì)胞對圖像的紋理與邊緣表現(xiàn)出較強(qiáng)的選擇性，本文將分析在選擇性注意層分別采用紋理預(yù)處理和梯度預(yù)處理對實驗結(jié)果的影響。

2.2.1 紋理特征預(yù)處理

圖像紋理特征描述了圖像或者圖像區(qū)域所對應(yīng)的物體的表面性質(zhì)，其本質(zhì)是研究圖像相鄰像素點灰度的空間分布情況。LBP紋理特征是一種局部紋理描述算子[28]，其在圖像紋理上具有較好的表達(dá)能力。LBP紋理特征具有旋轉(zhuǎn)不變性和灰度不變性且對光照變化不敏感。文獻(xiàn)[29]將LBP紋理特征作為行人特征的描述子，在實際應(yīng)用中取得了較好的效果。LBP的基本思想是：以窗口中心點(x,y)的灰度值為閾值，用相鄰的8個灰度值與其進(jìn)行比較，若相鄰像素的灰度值大于中心點的值，則該像素標(biāo)記為1，否則標(biāo)記為0，從像素點(x-1,y+1)逆時針排列得到二進(jìn)制編碼，最后轉(zhuǎn)換為十進(jìn)制數(shù)即為像素點(x,y)的特征值。本文采用的窗口大小為3×3，則LBP特征的計算公式為：

其中，(xc,yc)為3×3鄰域的中心元素，它的像素值為ic；ip代表鄰域內(nèi)其他點的像素值；s(x)為符號函數(shù)，定義如下：

其LBP特征生成圖如圖1所示。

Fig.1 Schematic diagram of calculation of3×3LBP operator圖1 3×3LBP算子計算示意圖

對圖像每個像素依次進(jìn)行LBP特征計算，可得到該圖像的LBP紋理特征圖。

2.2.2 梯度預(yù)處理

圖像在計算機(jī)中以數(shù)字圖像的形式存儲，即圖像是離散的數(shù)字信號，因此可以把圖像看成一個二維離散函數(shù)，函數(shù)的求導(dǎo)即為圖像梯度。

定義1（梯度圖像）設(shè)f(x,y)表示一幅圖像，F(xiàn)y為圖像水平方向的梯度，F(xiàn)x為圖像垂直方向的梯度，則有：

其中，f(i,j)為圖像(i,j)點的像素值。然后計算梯度圖像Grad(x,y)：

梯度圖像能夠更好地適應(yīng)圖像的變化趨勢，通過計算梯度，可以去除圖像上的局部極小值和噪聲，而且可以去掉與邊界無關(guān)的信息，突出行人邊緣輪廓。

3 本文CNN模型

卷積神經(jīng)網(wǎng)絡(luò)作為一種前饋神經(jīng)網(wǎng)絡(luò)，是近年發(fā)展起來，并引起學(xué)者廣泛重視的一種高效識別方法。其通過局域感受野、權(quán)值共享和池化實現(xiàn)識別位移、縮放和扭曲不變性。局域感受野指的是網(wǎng)絡(luò)層的神經(jīng)元與前一層的某個區(qū)域內(nèi)的神經(jīng)單元連接，通過局域感受野，每個神經(jīng)元可以提取初級的視覺特征；權(quán)值共享使得卷積神經(jīng)網(wǎng)絡(luò)只需要較少的參數(shù)就能完成對數(shù)據(jù)的訓(xùn)練；池化通過降低特征的分辨率減少計算量，防止過擬合。在行人檢測中，為了減少復(fù)雜背景對檢測效果的干擾，本文提出一種改進(jìn)的CNN模型，即在第一個卷積層前加入一個選擇性注意層。模型結(jié)構(gòu)如圖2所示。

Fig.2 Preprocessing CNN model圖2 預(yù)處理CNN模型

3.1 選擇性注意層

傳統(tǒng)CNN在卷積過程中直接對原圖像進(jìn)行特征抽取。通過研究發(fā)現(xiàn)，在行人檢測中，行人圖像通常以房屋、道路、車輛為背景，且行人的非剛性特點，致使CNN在特征提取過程中時常會學(xué)習(xí)到其他錯誤的特征，干擾最終檢測效果。

在傳統(tǒng)CNN的輸入層后加入選擇性注意層，模擬人眼的選擇性注意功能。選取LBP紋理預(yù)處理和梯度預(yù)處理為該層運算。圖3是部分樣本不同預(yù)處理效果對比。從圖3（a）與圖3（b）的對比可以得出，圖3（b）把圖3（a）的行人的背景差異全部轉(zhuǎn)為紋理的差異，并突出了行人輪廓。再對比圖3（c），梯度圖像過濾掉了絕大部分噪聲，僅僅保留了圖像的邊界信息。實驗表明，當(dāng)把LBP紋理預(yù)處理作為該層運算操作時，比傳統(tǒng)CNN具有更高的識別率。

Fig.3 Effect contrast on different pretreatments of some samples圖3 部分樣本不同預(yù)處理效果對比

3.2 卷積層

卷積是卷積神經(jīng)網(wǎng)絡(luò)的特征提取操作，其過程如圖4所示。

在卷積層，特征圖的每一個神經(jīng)元與前一層的局部感受野相連接，與一個卷積核進(jìn)行卷積，經(jīng)過卷積操作提取圖像的局部特征。卷積層的計算公式為：

Fig.4 Convolution operation diagram圖4 卷積操作示意圖

其中，表示第l層的第j個特征圖；為網(wǎng)絡(luò)權(quán)重（卷積核）；f(x)為激活函數(shù)；為偏置；Xil-1為網(wǎng)絡(luò)的輸入。CNN的輸入為初始圖像或者卷積層和下采樣層生成的特征圖。卷積核內(nèi)部的參數(shù)和偏置通過反向傳播算法進(jìn)行訓(xùn)練，卷積核的初始值為隨機(jī)生成，偏置b的初始值為0。卷積核的大小確定了運算區(qū)域的大小，卷積核中權(quán)值的大小對應(yīng)了其節(jié)點的貢獻(xiàn)能力，權(quán)值越大貢獻(xiàn)越大，反之越小。

3.3 下采樣層

在下采樣層中，為了減少網(wǎng)絡(luò)參數(shù)，并提高對圖像平移、伸縮不變性，在計算圖像局部特征時，需要對圖像局部進(jìn)行統(tǒng)計和分析，得到該局部的特征表達(dá)，這個統(tǒng)計和分析過程在CNN中被稱作為池化。池化的基本原理是根據(jù)圖像相對不變性的屬性，對圖像相鄰區(qū)域的特征信息進(jìn)行聚合統(tǒng)計。具體操作為：

其中，down(x)為池化函數(shù)；表示第l層第j個特征圖對應(yīng)的權(quán)重系數(shù)；b為偏置。對于一幅圖像I，尺寸為M×N，采樣窗口為s×s，則得到特征圖的大小為(M/s)×(N/s)，本文CNN的采樣窗口為2×2。最常見的兩種池化方法為平均值池化和最大值池化。平均值池化是對池化域內(nèi)所有值求和并取其平均值作為下采樣特征圖的特征值；最大值池化則是取池化域中的最大值作為下采樣特征圖的特征值。本文采用的是平均池化，將池化的結(jié)果加上偏置b進(jìn)行計算，遍歷原特征圖的池化域后，得到下采樣特征圖。

4 實驗與分析

為了驗證本文算法的性能，在INRIA[30]、NICTA[31]和Daimler[32]3個公開的行人數(shù)據(jù)集上進(jìn)行測試。對于每個數(shù)據(jù)集，先將兩個數(shù)據(jù)集中的所有圖像大小縮放為128×64像素，然后在相同條件下重復(fù)10次實驗，每次實驗迭代（epoch）200次，每次批序列（batch size）大小為32張圖像，取10次結(jié)果的平均值為實驗的最終結(jié)果。采用均方誤差和正確率對模型進(jìn)行評價。實驗使用英特爾i7-4510U處理器，8 GB內(nèi)存，GeForce840M顯卡，在Matlab2016環(huán)境下進(jìn)行。

4.1 INRIA數(shù)據(jù)集測試結(jié)果

INRIA行人數(shù)據(jù)集是當(dāng)前使用最廣泛的靜態(tài)行人檢測數(shù)據(jù)庫，拍攝條件多樣化，背景復(fù)雜，存在人體遮擋、光線強(qiáng)度變化等情形，檢測難度較大。該庫分為訓(xùn)練集和測試集，訓(xùn)練集中有2 416張正樣本和912張不含行人的負(fù)樣本，測試集中有1 126張正樣本和300張負(fù)樣本。

在INRIA數(shù)據(jù)集上，對本文CNN模型采用LBP紋理和梯度兩種不同預(yù)處理方式進(jìn)行對比實驗。圖5是兩種不同處理方式的均方誤差及正確率隨迭代次數(shù)變化曲線圖。

從圖5（a）可以看出，梯度預(yù)處理的均方誤差曲線在訓(xùn)練初期波動較大，繼續(xù)增加訓(xùn)練次數(shù)，二者都得到了收斂，但LBP紋理預(yù)處理方式比梯度預(yù)處理方式收斂得更快更好。從圖5（b）可以看出，LBP紋理處理方式的正確率始終高于梯度預(yù)處理方式的正確率。由上可知，采用LBP紋理預(yù)處理方式優(yōu)于梯度預(yù)處理方式。結(jié)合圖3可以發(fā)現(xiàn)，采用梯度處理后的圖像僅僅留下圖中行人及其他背景物體的輪廓，其他大部分都是黑色，致使CNN無法學(xué)習(xí)更加詳盡的特征，最終使得檢測率不高。因此本文將采用LBP紋理預(yù)處理作為選擇性注意層運算方式。

然后繼續(xù)分析本文改進(jìn)的CNN模型和傳統(tǒng)CNN模型實驗效果的對比，如圖6所示。

由圖6（a）可知，兩種模型的均方誤差曲線收斂都比較快，而從圖6（b）中可以發(fā)現(xiàn)，在訓(xùn)練初期，傳統(tǒng)CNN模型與本文CNN模型的正確率曲線波動都比較大且二者的差別不大，但隨著迭代次數(shù)的增加，二者的正確率曲線逐漸穩(wěn)定，且本文CNN模型的正確率曲線在傳統(tǒng)CNN模型之上。再結(jié)合表1可以看出，相對于傳統(tǒng)CNN模型而言，本文CNN模型的正確率提高了3.33%，達(dá)到了96.14%。

Fig.5 Result comparison of different pretreatments圖5 不同預(yù)處理結(jié)果對比

Fig.6 Result comparison of different CNN models圖6 不同CNN模型結(jié)果對比

Table 1 Correct rate comparison of different pretreatments表1 不同預(yù)處理正確率對比

圖7是不同CNN模型部分錯誤分類樣本。從圖7（a）中可以看出，即使是很明顯的行人也不能正確分類，卻把形狀輪廓與行人相似的負(fù)樣本誤認(rèn)為是行人，而圖7（b）中的行人衣著與背景十分相似，對于某些圖片，即使是人眼也可能誤判。

由此可以說明，傳統(tǒng)CNN模型在行人檢測中更加容易被復(fù)雜背景影響，本文改進(jìn)的CNN模型在選擇性注意層采用LBP紋理預(yù)處理能夠有效地去除圖像復(fù)雜背景對CNN網(wǎng)絡(luò)的影響，突出行人特征，提高行人檢測率。

為了驗證本文CNN模型的魯棒性和泛化能力，本文用NICTA和Daimler行人數(shù)據(jù)庫對改進(jìn)的CNN模型進(jìn)行了實驗。

Fig.7 Partial misclassification samples of different CNN models圖7 不同CNN模型部分錯誤分類樣本

4.2 NICTA數(shù)據(jù)集測試結(jié)果

NICTA是一個規(guī)模較大的靜態(tài)行人數(shù)據(jù)庫，包含25 551張行人圖像和5 207張非行人圖像，并且對部分樣本進(jìn)行了平移、旋轉(zhuǎn)、縮放等變換，增加了檢測難度。本文從以上樣本集中隨機(jī)選取了一部分作為實驗樣本集，樣本集組成如表2所示。

Table 2 NICTAintegrated sample composition表2 NICTA樣本集成分組成

將學(xué)習(xí)效率（alpha）設(shè)為1，批訓(xùn)練樣本數(shù)量（batchsize）設(shè)為50，實驗中對網(wǎng)絡(luò)模型訓(xùn)練200次，得到其均方誤差及正確率變化曲線，如圖8所示。從圖中可以看出，傳統(tǒng)CNN模型的檢測效果低于本文改進(jìn)的CNN模型。NICTA樣本集中存在著平移、旋轉(zhuǎn)、縮放等變換，而CNN中的卷積操作能很好地適應(yīng)這種變換。

Fig.8 Result comparison of different CNN models on NICTAdata set圖8NICTA數(shù)據(jù)集不同CNN模型測試結(jié)果對比

4.3 Daimler數(shù)據(jù)集測試結(jié)果

Daimler行人數(shù)據(jù)集是采用車載攝像機(jī)獲取的，它分為檢測和分類兩個數(shù)據(jù)集，每個數(shù)據(jù)集包含訓(xùn)練和測試兩部分，而每個訓(xùn)練和測試又分為正樣本和負(fù)樣本。檢測數(shù)據(jù)集的訓(xùn)練樣本集有正樣本15 560張，負(fù)樣本6 744張。該訓(xùn)練集是車載視角拍攝，相比于前兩個數(shù)據(jù)集而言，更加貼近真實情況。

本文從以上樣本集中隨機(jī)選取了9 400張圖片（4 700個正樣本和4 700個負(fù)樣本）作為訓(xùn)練集和4 000張圖片（2 000個正樣本和2 000個負(fù)樣本）作為測試集。樣本集組成如表3所示。

同樣將學(xué)習(xí)效率（alpha）設(shè)為1，批訓(xùn)練樣本數(shù)量（batchsize）設(shè)為50，實驗中對網(wǎng)絡(luò)模型訓(xùn)練200次，得到其均方誤差及正確率變化曲線，如圖9所示。

從圖9中同樣可以看出，本文CNN模型的正確率高于傳統(tǒng)CNN模型的正確率。通過在Daimler數(shù)據(jù)集上的對比再一次說明了本文CNN模型要優(yōu)于傳統(tǒng)CNN模型。但對比前兩個數(shù)據(jù)集的表現(xiàn)，這種優(yōu)勢不太明顯，可能是因為車載視角拍攝的圖像背景復(fù)雜度較低，使得兩種CNN模型差別并不是十分明顯。

Table 3 Daimler Integrated sample composition表3 Daimler樣本集成分組成

Fig.9 Result comparison of different CNN models on Daimler data set圖9 Daimler數(shù)據(jù)集不同CNN模型測試結(jié)果對比

之后根據(jù)前面的實驗結(jié)果，在INRIA和Daimler兩個數(shù)據(jù)集進(jìn)行交叉驗證。具體步驟如下：首先采用INRIA數(shù)據(jù)集訓(xùn)練本文CNN模型，再用Daimler數(shù)據(jù)集進(jìn)行測試，然后再把訓(xùn)練集和測試集相互對調(diào)進(jìn)行實驗，結(jié)果如表4所示。從表4中可以看出，在不同的數(shù)據(jù)集進(jìn)行交叉驗證的實驗中，本文CNN模型的正確率都優(yōu)于傳統(tǒng)CNN模型，本文CNN模型具有更好的泛化能力。

Table 4 Comparison of cross test results for different CNN models表4 不同CNN模型的交叉測試結(jié)果對比

Table 5 Comparison of recognition rate for different characteristics on Daimler data set表5 不同算法在Daimler數(shù)據(jù)集的識別率對比

從正確率來看，傳統(tǒng)CNN模型高于其他檢測方法，而本文改進(jìn)的CNN模型比傳統(tǒng)CNN模型的正確率更高，達(dá)到了99.78%；從耗時來看，本文CNN模型的檢測速度明顯優(yōu)于其他算法。結(jié)合表1可以發(fā)現(xiàn)，不管是從正確率還是從耗時來考慮，本文CNN模型都具有很大優(yōu)勢。經(jīng)過不斷調(diào)節(jié)網(wǎng)絡(luò)參數(shù)最終發(fā)現(xiàn)傳統(tǒng)CNN模型在網(wǎng)絡(luò)層數(shù)為9時達(dá)到了最高準(zhǔn)確率，而本文改進(jìn)的CNN模型在網(wǎng)絡(luò)層數(shù)為8時準(zhǔn)確率已經(jīng)高于傳統(tǒng)CNN模型。由此可以得出，圖像在經(jīng)過選擇性注意層處理后，CNN能夠更加快速地提取到行人特征。

5 結(jié)束語

本文針對現(xiàn)有的行人檢測方法難以處理背景復(fù)雜的行人樣本的問題，提出根據(jù)人眼的選擇性注意功能，對傳統(tǒng)CNN進(jìn)行改進(jìn)，加入選擇性注意層，對復(fù)雜的行人圖像進(jìn)行預(yù)處理。在3個公開的行人數(shù)據(jù)集上，對本文CNN模型進(jìn)行交叉驗證以及與傳統(tǒng)方法進(jìn)行對比，實驗表明，本文CNN模型能更好地提取行人特征，其在Daimler數(shù)據(jù)集上的識別準(zhǔn)確率達(dá)到了99.78%。結(jié)果顯示本文CNN模型優(yōu)于傳統(tǒng)的行人檢測方法，具有一定的可行性和使用價值。

本文分析了不同預(yù)處理方式對檢測效果的影響，發(fā)現(xiàn)選用預(yù)處理的方式要適當(dāng)，過度的預(yù)處理會使得圖像留下的特征太少，致使CNN無法學(xué)習(xí)到足夠多的特征，影響檢測率。并且研究發(fā)現(xiàn)，LBP紋理預(yù)處理方式能夠有效地過濾圖像背景噪聲，突出行人特征，最終提高CNN的檢測率。

同時，在深度學(xué)習(xí)中，利用合理的先驗知識對數(shù)據(jù)進(jìn)行適當(dāng)?shù)念A(yù)處理，能夠去除一定的噪聲，突出數(shù)據(jù)特征，使其在解決實際問題時更加有效，為今后的研究指明了方向。

[1]Liu Xiao,Tao Dacheng,Song Mingli,et al.Learning to track multiple targets[J].IEEE Transactions on Neural Networks&Learning Systems,2015,26(5):1060-1073.

[2]Li Xiaofei,Li Lingxi,Flohr F,et al.A unified framework for concurrent pedestrian and cyclist detection[J].IEEE Transactions on Intelligent Transportation Systems,2017,18(2):269-281.

[3]Biswas S K,Milanfar P.Linear support tensor machine with LSK channels:pedestrian detection in thermal infrared images[J].IEEE Transactions on Image Processing,2017,26(9):4229-4242.

[4]Huang Shiyao,Ying Xianghua,Rong Jiangpeng,et al.Camera calibration from periodic motion of a pedestrian[C]//Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition,Las Vegas,Jun 27-30,2016.Washington:IEEE Computer Society,2016:3025-3033.

[5]Bera A,Kim S,Manocha D.Realtime anomaly detection using trajectory-level crowd behavior learning[C]//Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition Workshops,Las Vegas,Jun 26-Jul 1,2016.Washington:IEEE Computer Society,2016:1289-1296.

[6]Pan Lei.Real-time detection method of abnormal event in crowds based on image entropy[J].Journal of Frontiers of Computer Science and Technology,2016,10(7):1044-1050.

[7]Smedt F D,Hulens D,Goedeme T.On-board real-time tracking of pedestrians on a UAV[C]//Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops,Boston,Jun 7-12,2015.Washington:IEEE Computer Society,2015:1-8.

[8]Minaeian S,Liu Jian,Son Y J.Vision-based target detection and localization via a team of cooperative UAV and UGVs[J].IEEE Transactions on Systems Man and Cybernetics Systems,2016,46(7):1005-1016.

[9]Bertuccelli L F,Cummings M L.Operator choice modeling for collaborative UAV visual search tasks[J].IEEE Transactions on Systems Man and Cybernetics:Part A Systems and Humans,2012,42(5):1088-1099.

[10]Dalal N,Triggs B.Histograms of oriented gradients for human detection[C]//Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,San Diego,Jun 20-26,2005.Washington:IEEE Computer Society,2005:886-893.

[11]Kim S,Cho K.Trade-off between accuracy and speed for pedestrian detection using HOG feature[C]//Proceedings of the IEEE 3rd International Conference on Consumer Electronics,Berlin,Sep 9-11,2013.Piscataway,IEEE,2014:207-209.

[12]Ojala T,Harwood I.A comparative study of texture measures with classification based on feature distributions[J].Pattern Recognition,1996,29(1):51-59.

[13]Mu Yadong,Yan Shuicheng,Liu Yi,et al.Discriminative local binary patterns for human detection in personal album[C]//Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition,Anchorage,Jun 23-28,2008.Washington:IEEE Computer Society,2008:1-8.

[14]Gavrila D M.A Bayesian,exemplar-based approach to hier-archical shape matching[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(8):1408-1421.

[15]Szarvas M,YoshizawaA,Yamamoto M,et al.Pedestrian detection with convolutional neural networks[C]//Proceedings of the 2005 Intelligent Vehicles Symposium,Las Vegas,Jun 6-8,2005.Piscataway:IEEE,2005:224-229.

[16]Zhang Liliang,Lin Liang,Liang Xiaodan,et al.Is faster RCNN doing well for pedestrian detection?[C]//LNCS 9906:Proceedings of the 14th European Conference on Computer Vision,Amsterdam,Oct 11-14,2016.Berlin,Heidelberg:Springer,2016:443-457.

[17]Cai Zhaowei,Fan Quanfu,Feris R S,et al.A unified multiscale deep convolutional neural network for fast object detection[C]//LNCS 9908:Proceedings of the 14th European Conference on Computer Vision,Amsterdam,Oct 11-14,2016.Berlin,Heidelberg:Springer,2016:354-370.

[18]Tian Yonglong,Luo Ping,Wang Xiaogang,et al.Pedestrian detection aided by deep learning semantic tasks[C]//Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition,Boston,Jun 7-12,2015.Washington:IEEE Computer Society,2015:5079-5087.

[19]Hubel D H,Wiesel T N.Receptive fields of single neurones in the cat's striate cortex[J].Journal of Physiology,1959,148(3):574-591.

[20]Hubel D H,Wiesel T N.Receptive fields of optic nerve fibres in the spider monkey[J].Journal of Physiology,1960,154(3):572-580.

[21]Itti L,Koch C,Niebur E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(11):1254-1259.

[22]Treisman A M,Gelade G.A feature integration theory of attention[J].Cognitive Psychology,1980,12(1):97-136.

[23]Koch C,Ullman S.Shifts in selective visual attention:towards the underlying neural circuitry[J].Human Neurobiology,1985,4(4):219-227.

[24]Guo Mingwei,Zhao Yuzhou,Zhang Chenbin,et al.Fast object detection based on selective visual attention[J].Neurocomputing,2014,144(20):184-197.

[25]Salah AA,Alpaydin E,Akarun L.A selective attention-based method for visual pattern recognition with application to handwritten digit recognition and face recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(3):420-425.

[26]Deubel H,Schneider W X.Saccade target selection and object recognition:evidence for a common attentional mechanism[J].Vision Research,1996,36(12):1827-1837.

[27]Johansson R S,Westling G,B?ckstr?m A,et al.Eye-hand coordination in object manipulation[J].Journal of Neuroscience,2001,21(17):6917-6932.

[28]Chu Miao,Tian Shaohui.An extraction method for digital camouflage texture based on human visual perception and isoperimetric theory[C]//Proceedings of the 2nd International Conference on Image,Vision and Computing,Chengdu,Jun 2-4,2017.Piscataway:IEEE,2017:158-162.

[29]Li Baopu,Yang Can,Zhang Qi,et al.Condensation-based multi-person detection and tracking with HOG and LBP[C]//Proceedings of the 2014 IEEE International Conference on Information and Automation,Hailar,Jul 28-30,2014.Piscataway:IEEE,2014:267-272.

[30]INRIA person dataset[DB/OL].[2017-09-25].http://pascal.inrialpes.fr/data/human/.

[31]Daimler.Daimler pedestrian detection benchmark dataset[DB/OL].[2017-09-25].http://www.gavrila.net/Research/Pedestrian_Detection/Daimler_Pedestrian_Benchmark_D/Daimler_Mono_Ped_Detection_Be/daimler_mono_ped_detection_be.html.

[32]NICTA.Data61 predestrian dataset[DB/OL].[2017-09-25].https://data.csiro.au/dap/landingpage?pid=csiro:23454&v=1&d=true.

[33]Ikemura S,Fujiyoshi H.Human detection by Haar-like filtering using depth information[C]//Proceedings of the 21st International Conference on Pattern Recognition,Tsukuba,Nov 11-15,2012.Washington:IEEE Computer Society,2012:813-816.

[34]Abd-Almageed W,Davis L S.Human detection using iterative feature selection and logistic principal component analysis[C]//Proceedings of the IEEE International Conference on Robotics and Automation,Pasadena,May 19-23,2008.Piscataway:IEEE,2008:1691-1697.

附中文參考文獻(xiàn)：

[6]潘磊.基于圖像熵的密集人群異常事件實時檢測方法[J].計算機(jī)科學(xué)與探索,2016,10(7):1044-1050.