胡慶新，王磊

（合肥工業(yè)大學 計算機與信息學院 安徽 合肥 230009）

基于多特征的紅外圖像行人檢測

胡慶新，王磊

（合肥工業(yè)大學 計算機與信息學院 安徽 合肥 230009）

基于提高紅外圖像行人檢測準確率的目的，提出了一種基于多特征的紅外行人檢測算法。首先提取訓練樣本的梯度方向直方圖特征和強度自相似性特征，利用二者相結合得到聯(lián)合特征訓練支持向量機（SVM），之后利用滑動窗口法対整幅紅外圖像進行遍歷，用訓練好的SVM進行分類檢測。在LSI Far Infrared Pedestrian Dataset數(shù)據(jù)庫上實驗證明，基于多特征的檢測方法相較于單一特征的方法提高了紅外行人檢測的精度，降低了誤檢率和漏檢率。

紅外行人檢測；梯度方向直方圖；強度自相似特征；支持向量機

行人檢測就是把圖像中出現(xiàn)的行人從背景中分割出來并精確定位，行人檢測是計算機視覺領域的研究難點與熱點［1］。紅外圖像相較于可見光圖像而言具有明顯的優(yōu)勢，一般而言，紅外圖像中的行人的亮度比背景的亮度要高，且?guī)缀醪皇苣w色，紋理和陰影等因素的影響，紅外圖像中對行人目標的識別檢測在軍事偵察、安全監(jiān)控、輔助駕駛、機器視覺等領域有著重要的應用。因此，紅外圖像中的行人檢測具有重要的研究價值和意義。

經(jīng)過多年的研究，研究者們已經(jīng)提出了多種多樣的檢測方法，針對紅外圖像特點，許多利用了基于閾值分割的方法來進行紅外圖像中行人的檢測［2］，通過構建行人模板來進行行人檢測［3］，利用特征提取和機器學習來進行行人檢測［4］。

在可見光圖像行人檢測領域，Dollar［1］對于 16種最流行的行人檢測算法進行了分析研究和性能比較，發(fā)現(xiàn) Stefan Walk［5］提出的顏色自相似性特征（Color Self-Similarity，CSS）同經(jīng)典的HOG特征［6］相結合取得的檢測效果較好，受到CSS特征的啟發(fā)，Alina Miron［7］提出了適用于紅外圖像行人檢測的強度自相似特征（Intensity Self-Similarity，ISS），本文中我們考慮結合ISS特征和經(jīng)典的HOG特征，利用多特征訓練支持向量機，進行紅外圖像中的行人檢測。

1 算法總體設計

基于多特征的紅外圖像行人檢測主要分成訓練和檢測兩個階段，在訓練階段分別提取正負樣本的ISS特征和HOG特征，對SVM進行訓練；在檢測階段，對于輸入的待檢測圖片，進行滑動窗口遍歷，對于遍歷得到的子圖片提取其ISS特征和HOG特征，利用訓練好的SVM對其進行判別，經(jīng)過窗口合并輸出檢測結果。原理框圖如圖1所示。

圖1 本文算法原理框圖Fig.1 The diagram of this algorithm

2 特征提取

2.1 強度自相似性特征

通過對紅外圖像的大量觀察，我們發(fā)現(xiàn)在一幅包含行人的紅外圖像中，頭部區(qū)域和人體的四肢的像素值具有較高的相似性，而人體的軀干部分由于受到衣物遮擋等原因的影響，所輻射出的熱量值較未受遮擋的區(qū)域要低，所表現(xiàn)出的像素值偏低。基于此，我們利用強度自相似性特征［7］（Intensity Self-Similarity，ISS），將其用于紅外圖像行人檢測領域中。圖2是紅外圖像中行人可視化強度自相似性效果圖，展示了人體的相似度信息，將行人樣本圖片分成若干個區(qū)域，在圖中標定了4個區(qū)域（頭部，軀干，四肢，背景），可以看出各個區(qū)域?qū)南嗨贫刃Ч麍D，在對應區(qū)域的效果圖中，其他區(qū)域亮度越高，則說明與標定區(qū)域越相似。

圖2 強度自相似性可視化效果圖Fig.2 Visualized images of Intensity Self-Similarity

首先，將一幅包含完整行人的樣本圖片分成n個固定大小的區(qū)域cell，統(tǒng)計各個cell的直方圖信息。

之后對兩兩cell之間的直方圖進行相似度的對比，這樣就獲得了一個關于相似度的n*（n-1）/2維的向量，對于兩個直方圖H1和H2相似度的計算常用的方法有以下幾種：

關于相似度的計算，考慮到我們要處理的數(shù)據(jù)量較大，所以只利用了卡方系數(shù)和相交系數(shù)這兩種方式進行了試驗，最后發(fā)現(xiàn)相交系數(shù)這種相似度比較方法計算簡單且實驗結果較好。

2.2 梯度方向直方圖特征

Dalal［6］在2005年提出了梯度方向直方圖特征（Histogram of Oriented Gradients，HOG），人體的局部形狀能夠通過局部梯度強度的分布和邊緣方向很好地表現(xiàn)出來。下面針對我們樣本的HOG特征提取進行介紹。

首先，利用［-1，0，1］模板計算樣本圖像的梯度表示，求出每個像素點的梯度模值和方向，其中Gx（x，y）表示橫向梯度，Gy（x，y）表示縱向梯度，I（x，y）表示原始圖片。

其次，將大小為32×64的樣本按照8×8像素的單元（cell）進行劃分，從而得到了32個cell，將梯度方向（0°-180°）分成9個區(qū)間（bins），各像素點的角度信息由θ（x，y）確定，各像素點的梯度幅度由G（x，y）確定，統(tǒng)計各個cell中每個像素點的方向，以此為投票依據(jù)，以梯度幅值為投票權重，得到每個cell的梯度方向直方圖。

之后，令相鄰的cell（2×2）組成一個塊（block），相鄰block之間有一半的區(qū)域是重疊的。將block中的4個cell的梯度方向直方圖串聯(lián)起來，利用L2-norm范式進行歸一化，得到block的梯度方向直方圖特征。

最后將所有的block的梯度方向直方圖特征串聯(lián)起來就得到了我們整幅樣本圖像的HOG特征。

3 實驗結果及分析

本實驗的數(shù)據(jù)集采用的是Daniel［8］等人提供的LSI Far Infrared Pedestrian Dataset。數(shù)據(jù)集分為兩個部分Classification dataset和Detection Dataset。在我們的實驗當中，訓練集和測試集均選自 Classification dataset數(shù)據(jù)集，我們從中隨機挑選了2 384張正樣本和3 190張負樣本分別作為我們訓練集的正負樣本，挑選了1 506張正樣本和2 877張負樣本分別作為我們測試集的正負樣本。圖3是我們選取的部分正負樣本圖片，其中第一行是部分正樣本，第二行是部分負樣本。

圖3 部分正負樣本圖片F(xiàn)ig.3 Several positive and negative samples

在提取樣本圖像的ISS特征階段，我們首先要考慮將32×64 pixels大小的樣本圖片分成若干個cell。對于cell大小的選取有以下3個方案2×2 pixels，4×4 pixels，8×8 pixels。cell大小為2×2時，樣本被分成了512個cell，最終的特征向量維數(shù)將超過10萬維，維數(shù)過大，因此不選取這種方式。cell大小為4×4時，樣本被分成了128個cell，最終的特征向量維數(shù)為8 128維。cell大小為8×8時，樣本被分成了32個cell，最終的特征向量維數(shù)為496維。所以，我們就主要對4×4和8×8兩個方案進行比較。在8×8的方案中，又考慮到cell重疊的影響，將8×8的方案又分為兩個子方案，即相鄰cell無重疊和相鄰cell重疊一半，無重疊時分成的cell個數(shù)是32個，最后的向量維數(shù)為496維，重疊一半時分成的cell個數(shù)是105個，最后生成的向量維數(shù)是5 460維。

為了直觀的顯示不同大小cell對實驗結果的影響，我們采用DET（detection error tradeofff）曲線來進行分析，DET曲線即對數(shù)尺度下的誤檢率（FPPW，F(xiàn)alse positive per window）對漏檢率（Miss Rate）曲線，橫坐標表示誤檢率，縱坐標表示漏檢率。計算方法如下所示：

其中，F(xiàn)P（False Positive）表示被預測模型預測為正的負樣本，TN（True Negative）表示被預測模型預測為負的負樣本，F(xiàn)N（False Negative）表示被預測模型預測為負的正樣本，TP （True Positive）表示被預測模型預測為正的正樣本。

在誤檢率相同的情況下，漏檢率越低，則正確檢測率就越高，表現(xiàn)在DET曲線上，即曲線越低越好。由于我們的測試集圖片樣本數(shù)據(jù)在10-3級別，所以主要在誤檢率FPPW為10-3級別進行分析討論，圖4（a）中表明了cell大小的影響，在FPPW為10-3時，cell大小為4*4時的漏檢率為10.42%，cell大小為8×8，且cell無重疊時的漏檢率為15.94%，cell大小為8×8，且cell有一半重疊時的漏檢率為17.66%，因此，對于cell大小的選取定為4×4 pixels，這樣也就確定了最終的ISS特征向量維數(shù)為8 128維。

在ISS特征提取的第二個問題是統(tǒng)計cell中的直方圖信息，此處的直方圖是對0～255這個灰度值范圍進行劃分，分成8個區(qū)域（8bins），16個區(qū)域（16bins），32個區(qū)域（32bins），對處在這些區(qū)域的像素個數(shù)進行統(tǒng)計。如圖4（b）所示，在FPPW為10-3時，bins大小為8時的漏檢率為15.8%，bins大小為16時的漏檢率為10.36%，bins大小為32時的漏檢率為9.429%，在此綜合考慮到ISS特征的向量維度較大和漏檢率的影響，所以對于bins大小的選取我們定為16。

在ISS特征提取的第3個問題是計算cell直方圖的相似度方法的選取。如圖4（c）所示，在FPPW為10-3時，用相交系數(shù)得到的漏檢率為10.42%，用卡方系數(shù)得到的漏檢率為21.98%。相交系數(shù)方法漏檢率明顯低于卡方系數(shù)，所以最終選擇利用相交系數(shù)來進行cell直方圖相似度的計算。

圖4 關于ISS特征的不同參數(shù)選取的DET曲線Fig.4 DET curves of different parameter selection of ISS feature

最后對相似度再統(tǒng)一進行歸一化，就得到了最終要求的ISS強度自相似性特征。此外，還針對ISS特征適用分類器進行了討論分析，本文我們采用SVM作為本實驗的分類器，這就涉及到了SVM核函數(shù)的選取，在圖4（d）中我們選取線性核和RBF核來進行支持向量機性能的比較，在FPPW為10-3時，使用線性核的漏檢率為14.48%，使用RBF核的漏檢率為10.42%。所以選擇RBF核SVM來進行分類實驗。

最后我們將得到ISS特征和HOG特征串聯(lián)起來，得到聯(lián)合特征向量，如圖5所示，在FPPW為10-3時，聯(lián)合特征的漏檢率為0.79%，HOG特征的漏檢率為2.52%，ISS特征的漏檢率為10.42%。結果顯示利用聯(lián)合特征方法對于檢測率的提高有明顯的增加，在測試集中的實驗檢測精度高達99.78%。

在整幅圖片上進行行人檢測時，采用滑動窗多尺度遍歷圖片的方法進行檢測，對檢測窗口進行縮放，縮放比例設為1.2，這是針對行人尺度大小不同而進行的必要工作，會導致對同一目標產(chǎn)生多個檢測結果，在此引入檢測窗口的合并。當兩窗口相交的面積與兩窗口面積的比值均大于0.7時，計算兩窗口的平均位置和平均大小，融合檢測窗口，最后就得到了最終的檢測結果。部分檢測結果如圖6所示。

圖5 3種算法的DET曲線Fig.5 The DET curves of three algorithms

4 結束語

圖6 部分檢測結果Fig.6 Several detection results

文中通過結合紅外圖像中行人的輪廓和強度相似性等信息，提出了一種基于HOG和ISS特征的紅外行人檢測算法，檢測精度得到了明顯的提高。但本算法也有以下不足，首先聯(lián)合特征的維度較高，不利于算法的實時性；其次，在檢測整幅圖片的時候利用的是滑動窗口法，窗口將遍歷很多不包含行人的區(qū)域，這同樣造成了大量時間的浪費，不利于算法實時性。在今后我們要尋找可靠有效的感興趣區(qū)域提取方法，對行人可能存在的區(qū)域進行簡單的粗定位，再在特定區(qū)域進行遍歷特征提取分析，相信這將大大提高本算法的實時性。

［1］Dollar P，Wojek C，Schiele B，et al.Pedestrian detection:An evaluation of the state of the art［J］.Pattern Analysis and Machine Intelligence，IEEE Transactions on，2012，34（4）:743-761.

［2］高晶，孫繼銀，劉婧，等.基于區(qū)域模糊閾值的前視紅外目標識別［J］.光學精密工程，2012，19（12）:3056-3063.

［3］楊陽，楊靜宇.基于顯著性分割的紅外行人檢測［J］.南京理工大學學報，2013，37（2）:251-256.

［4］Li W，Zheng D，Zhao T，et al.An effective approach to pedestrian detection in thermal imagery［C］//Natural Computation（ICNC），2012 Eighth International Conference on.IEEE，2012:325-329.

［5］Walk S，Majer N，Schindler K，et al.New features and insights for pedestrian detection［C］//Computer vision and pattern recognition（CVPR），2010 IEEE conference on.IEEE，2010: 1030-1037.

［6］Dalal N，Triggs B.Histograms of oriented gradients forhuman detection［C］//Computer Vision and Pattern Recognition，2005.CVPR 2005.IEEE Computer Society Conference on.IEEE，2005，1:886-893.

［7］Miron A，Besbes B，Rogozan A，et al.Intensity self-similarity features for pedestrian detection in far-infrared images［C］//Intelligent Vehicles Symposium（IV），2012 IEEE.IEEE，2012: 1120-1125.

［8］Olmeda D，Premebida C，Nunes U，et al.Pedestrian Classification and Detection in Far Infrared Images［J］.Integrated Computer-Aided Engineering，2013（20）:347-360.

Pedestrian detection in infrared images based on multi-features

HU Qing-xin，WANG Lei
（Hefei University of Technology，School of Computer&Information，Hefei 230009，China）

In order to improve the accuracy of pedestrian detection in infrared images，an infrared pedestrian detection method is proposed in this paper.Firstly extract train samples′Histogram of Oriented Gradients feature and Intensity Self-Similarity feature，combine these two features to train support vector machine（SVM），then use sliding window method to traverse an infrared image，the trained SVM is used to classification and detection.Experiments in LSI Far Infrared Pedestrian Dataset prove that based on multi-features method compared with based on single feature method improve infrared pedestrian detection accuracy，reduce the false positive rate and miss rate.

infrared pedestrian detection；histogram of Oriented Gradients；Intensity Self-Similarity；Support Vector Machine

TP391.4

A

1674－6236（2016）04-0182-04

2015-03-24 稿件編號：201503325

胡慶新（1965—），男，河北邯鄲人，碩士，副教授。研究方向：信號與信息處理，圖形圖像處理。