張金慧+吳斌+邵延華

摘要：行人檢測在計算機視覺領(lǐng)域中越來越廣泛的應(yīng)用，使其有著重要的研究意義。盡管技術(shù)得到了顯著的改進，行人檢測仍然是一個存在挑戰(zhàn)的難題，需要更精確更高效的算法。針對HOG特征的傳統(tǒng)檢測方法中存在的問題，該文提出一種融合顏色自相似性（CSS）特征的方法。利用顏色自相似性特征與描述人體輪廓特征的HOG特征互補，CSS反映圖像內(nèi)在幾何布局和形狀屬性的特性，為提高檢測效率，使用經(jīng)主成分分析法（PCA）降維處理HOG和CSS特征。實驗采用INRIA數(shù)據(jù)集作為訓(xùn)練樣本訓(xùn)練SVM。對比單一使用HOG，該文的方法在檢測速度和準(zhǔn)確性上得到有效提高。實驗結(jié)果也驗證了本算法的有效性。

關(guān)鍵詞：行人檢測；梯度方向直方圖；顏色自相似性；融合

中圖分類號：TP391 文獻標(biāo)識碼：A 文章編號：1009-3044（2018）02-0146-03

Method Human Detection Based on HOG and CSS Characteristics

ZHANG Jin-hui， WU Bin， SHAO Yan-hua

（School of information and engineering， Southwest University of Science and Technology，Mianyang 621010， China）

Abstract： Pedestrian detection is becoming more and more widely used in the field of computer vision， and it has important research significance. Despite the significant improvements in technology， pedestrian detection is still a challenging problem， requiring more accurate and efficient algorithms. For the existing problems in the traditional detection of HOG， this paper proposes a method of fusing color self similarity （CSS） features. CSS is complementary to the HOG that describes the human contour features. CSS reflects the intrinsic geometric and shape attributes of the image. To improve the detection efficiency， we use the principal component analysis （PCA） to reduce the dimension of the HOG and CSS. The INRIA data set is used as training sample to train SVM. Compared with single use of HOG， this method has been effectively improved in detection speed and accuracy. The experimental results also verify the effectiveness of the algorithm.

Key words： pedestrian detection； HOG； CSS； fusion

1 背景

人類只需要幾眼就能分辨事物和人，確認事件性質(zhì)并發(fā)現(xiàn)可能存在的危險。不同視覺刺激的正確解釋是人類能夠完成復(fù)雜任務(wù)的關(guān)鍵，特定的計算機視覺算法旨在以單幀或者一系列幀的形式自動解讀場景的視覺內(nèi)容，并作出相應(yīng)的反應(yīng)[1]。隨著整個社會AI技術(shù)的發(fā)展和推廣，行人檢測成為多個領(lǐng)域中許多高級應(yīng)用的關(guān)鍵技術(shù)。而且，越來越強大的硬件系統(tǒng)的誕生使行人檢測在精度和效率方面得到了顯著的改進。

人與物之間相互遮擋、人體姿勢變化、服飾多樣、光照強弱、背景雜波以及視角等原因使準(zhǔn)確快速地檢測行人的難度加大。為提高行人檢測的檢測準(zhǔn)確率，提高檢測速度，國內(nèi)外研究人員經(jīng)歷了十多年的研究，提出了各種方案，取得了很好的研究成績。根據(jù)現(xiàn)有技術(shù)的總結(jié)分類，可將檢測技術(shù)的方法分為基于行人模型、基于特征分類和基于深度學(xué)習(xí)的方法等，其中大多數(shù)都是基于特征分類的，常用到的特征有Haar特征[2]、梯度方向直方圖（HOG）[3]、尺度不變特征（SIFT）[4]、局部二進制模式（LBP）[5]、顏色自相似性特征（CSS）[6]、協(xié)方差[7]以及局部自相似性特征（LSS）[8]等。其中，Haar特征適用于有固定結(jié)構(gòu)的目標(biāo)；SIFT特征具有強烈方向及亮度性，適合檢測圖像幾何和光學(xué)變化較弱的目標(biāo)；最初LBP的特征主要用于識別人臉；HOG特征主要是描述人體的輪廓信息，在圖像的局部單元格上進行操作，能很好地識別出人體動作的細微變化。但由于HOG特征的計算量大，對外界噪聲干擾魯棒性不強，在進行檢測時會出現(xiàn)漏檢和誤檢。由于使用單一特征檢測存在一定的局限性，本文將結(jié)合顏色自相似性特征，在視頻幀圖像中提取HOG和CSS特征，融合這兩個特征獲得描述行人的特征算子，結(jié)合SVM分類檢測。

2 算法分析

當(dāng)改變圖像幾何或者光照時，HOG特征能保持良好的不變性。HOG特征對人體的邊緣輪廓有比較強的描述能力，只要行人大體上保持直立狀態(tài)，即便是有細微的變化，使用HOG也能有較好的檢測效果。但HOG對背景以及身體軀干特征描述不明顯，并且穩(wěn)定性差。而CSS特征更容易捕捉人體軀干等信息，所以將這兩種特征聯(lián)合起來描述行人，在獲得行人梯度信息的同時，也能獲取身體的顏色信息，一定程度上加多行人的描述特征信息可以提高檢測的準(zhǔn)確度。endprint

本文的行人檢測算法步驟如下：

1） 輸入視頻源圖像，高斯降噪處理和歸一化處理。

2） 提取圖像預(yù)處理后的HOG和CSS特征，構(gòu)成[α]、[β]特征集。

3） 分別計算HOG、CSS特征的特征值、特征向量和協(xié)方差矩陣。

4） PCA降維處理HOG特征、CSS特征并串行融合構(gòu)成特征C。

5） 將特征C輸入線性SVM進行判別檢測。

本文中行人檢測的流程圖如下所示：

2.1 HOG特征

2005年，Dalal等提出使用HOG結(jié)合SVM的方法，在檢測行人時取得較好的效果，成為經(jīng)典的行人檢測方法。HOG特征描述了圖像局部區(qū)域的梯度強度以及梯度方向分布，能很好地表達行人的外觀和形狀，對光照和小量的偏移具有很好的魯棒性能。但HOG特征的維度比較高，滿足不了實時性檢測的要求。近年來，有不少的研究人員致力于研究行人檢測，提出各種改進基于HOG的檢測方法，有效地改善了檢測效果。HOG特征提取的具體步驟：

①采用伽瑪壓縮進行用全局圖像歸一化。此步驟可有效減少光照和對比度對圖像的影響。

②計算圖像梯度并統(tǒng)計局部圖像梯度信息。把樣本圖像分割成若干8×8像素的單元細胞（cell），計算每個cell的一個1-D的加權(quán)梯度方向直方圖；每個單元內(nèi)將[-π2，π2]的梯度方向平均劃分成9個區(qū)間（bin），統(tǒng)計各個方向bin區(qū)間的像素梯度幅值，得到一個9維特征向量。

③計算塊中的直方圖。每相鄰4個單元（2×2 cell）為一個塊（block），聯(lián)起4個單元的特征向量得到該塊的36維梯度方向直方圖向量。

④特征向量歸一化。采用L2-Norm with Hysteresis threshold方式歸一化特征向量，并將直方圖向量中的bin值限制在0.2以下，歸一化處理后的特征向量對光照、陰影、邊緣對比度等具有更好的不變性。

⑤生成HOG特征。組合起來所有塊中的HOG描述向量，生成最后的特征向量，得到的特征向量描述圖像檢測窗口中的的圖像內(nèi)容。比如，用塊大小的窗口掃描對樣本圖像，移動步長為一個單元，將最后所有的塊的特征串聯(lián)起來生成樣本圖像中行人的特征。本文中采用樣本圖像大小為64×128，最后就獲得3780維的HOG特征向量。

2.2 顏色自相似性

作為圖像的一項重要辨別信息，顏色特征不會受圖像的旋轉(zhuǎn)、平移以及尺度變化等改變，并且由于計算簡單和其穩(wěn)定性，顏色在圖像處理中得到廣泛的研究和應(yīng)用。顏色是人類識別圖像的感知特征之一，基于顏色特征的信息檢索漸漸成為圖像信息搜索中的一項重要的方式。

行人衣著服飾多色，行走的姿勢各樣，在識別行人的過程中，使能準(zhǔn)確描述行人的特征的難度加大。但行人的身體具有一定的結(jié)構(gòu)特性，身體本身和服飾在某種程度上具備一定的自相似性，比如人臉的膚色與兩只手臂的皮膚顏色，或者是兩條褲腿、兩只腳的顏色等都有一定的對稱性。利用人體結(jié)構(gòu)部位具有相對穩(wěn)定的特征，Walk等人提出一種在某顏色通道上的自相似性特征。CSS特征是根據(jù)人眼視覺對顏色的認識習(xí)慣，描述圖像中不同區(qū)域間的顏色的相似性關(guān)系。顏色自相似性特征（CSS）提取步驟如下：

①空間轉(zhuǎn)換。對輸入的彩色樣本圖像進行顏色空間轉(zhuǎn)換，轉(zhuǎn)換到HSV空間，分別為在H、S、V的三個顏色通道上的圖像（圖3），并分別在這三個通道圖像上構(gòu)建和提取特征。

②統(tǒng)計直方圖信息。顏色自相似性特征是基于某個圖像通道R的一個矩形框內(nèi)數(shù)值之和的矩形特征的。對兩個矩形[C1]、[C2]（兩矩形塊的長寬相同，在同一圖像中位置不同）通過下式作差，衡量它們的相似度。

[MRC=u，v∈Cx，y，w，hRu，v]（1），[FRC1，C2=MRC1-MRC2]

（2）

③條件約束。假如矩形塊之間的位置相差比較大，光照等會帶來比較大的影響。因此，需要對矩形塊位置引入領(lǐng)域約束。

[C1x-C2x≤ra-1C1w] （3）

[C1y-C2y≤ra-1C1h] （4）

上式中[x]、[y]、[w]、[h]分別是矩形的左上頂點坐標(biāo)和寬高，[ra]是領(lǐng)域約束值（一般默認取3）。本文中的兩個矩形塊相似性比較采用的是差值比較，比值結(jié)果在約束范圍內(nèi)，差值在4以內(nèi)，則認為兩矩形塊相似對稱，檢測為人的可能性較高。

④生成CSS特征。將圖像中所有塊的直方圖信息組合起來形成最終的CSS特征向量。比如，統(tǒng)計一副大小為64×128的HSV直方圖信息，將其分割成8×8的小塊，則共有8×16=128個塊，分別將第1個塊與其后127個塊求直方圖相交的距離，繼續(xù)將第2個塊與其后126個塊分別求直方圖相交的距離，以此類推，生成一個描述顏色自相似性的N×（N-1）/2=8128（N=128）維度的特征。

2.3 PCA降維

由上可知，HOG特征和CSS特征的維度都比較高，導(dǎo)致獲得的描述行人的特征中存在大量的冗余信息，會影響檢測速率，對此，本文將在HOG與CSS特征提取后加入PCA降維處理，即對原樣本空間進行空間變化，將其投影到一個新的維度較低、相互正交的空間上，最后生成HOG-PCA，CSS-PCA特征。

一般是通過此公式計算特征主成分：

[y=UTxi-x] （5）

其中y為主成分特征，[x]為訓(xùn)練樣本的特征均值，[xi]為需降維的特征，[UT]為協(xié)方差矩陣，其計算公式有：

[UT=1Nn=1Nxi-xxi-xT] （6）

進一步的，基于HOG的降維步驟：1）計算訓(xùn)練樣本HOG特征均值[x1]；2）計算HOG的特征值、特征向量以及協(xié)方差矩陣[U1]；3）取計算得到的協(xié)方差矩陣前p個主成分，分別對每個HOG特征降維，得到降維處理后的HOG特征。endprint

2.4 特征融合

當(dāng)物體遮擋住行人時，HOG特征檢測效果會受到影響，CSS特征由于其特征的本性可以很好的處理這種情況。而且，單純使用HOG特征在檢測過程中需對圖像進行縮放，在不同的尺度下計算特征，這樣會降低行人檢測的速度，CSS特征能克服此不足。并行融合特征的方式相對復(fù)雜，而串行特征融合的方法簡單易行，運算量少。因此，本文中根據(jù)HOG與CSS特征提取原理以及特征特點等的不同，采用串行融合方式。合并后的特征為：[γ=αβ，α∈A，β∈B，γ∈C]（7），[α]，[β]和[γ]分別代表HOG-PCA和CSS-PCA。

3 實驗結(jié)果及分析

3.1 實驗背景

本文的實驗環(huán)境為64位Windows8和 MATLAB2012，計算機的配置為2.8GHz CPU和6GB內(nèi)存，采用INRIA數(shù)據(jù)集，訓(xùn)練集中包含2416張行人圖像的正樣本和2436張負樣本（從數(shù)據(jù)集中的1218張負樣本圖像中每張隨機截取2張圖像）。INRIA數(shù)據(jù)庫的圖像背景多樣，行人姿勢多變，更接近模擬復(fù)雜的現(xiàn)實場景，實用性較強，檢測結(jié)果更為準(zhǔn)確。

至于PCA維數(shù)為多少時，檢測效果最優(yōu)，需要經(jīng)過多次實驗才能確定?；贗NRIA行人數(shù)據(jù)庫，對比多個主成分值的實驗效果，結(jié)果如下圖所示：

上表中的結(jié)果顯示，PCA維度p取值在大約為300時，HOG檢測效果達到峰值，而PCA維度p取值為2000左右時，CSS檢測識別效果呈現(xiàn)最優(yōu)。下表將列舉出降維后的融合特征和未進行降維處理的融合特征在訓(xùn)練時間、檢測時間以及識別率的比較。

3.2 實驗結(jié)果

本文采用的檢測方法，相比較于使用單一HOG特征，融合分別降維處理后的兩個特征在識別率和識別效率上得到提高。輸入一段監(jiān)控視頻，經(jīng)過本算法的檢測，顯示的檢測結(jié)果如下所示：

4 結(jié)束語

本文提出一種利用PCA降維的HOG特征與顏色自相似性特征融合的行人檢測方法，對比使用單一一種特征檢測，改善檢測效果，驗證了此方法的有效性。利用PCA將HOG特征的維數(shù)從3780維降至300維，串行融合顏色自相似性特征，結(jié)合線性SVM分類器判斷檢測，提高行人識別率，也降低了整個過程中的訓(xùn)練時間和檢測時間。本文提出的方法雖然在檢測速度和準(zhǔn)確率上有了一定的提高，但是在情景復(fù)雜的環(huán)境中實現(xiàn)準(zhǔn)確的檢測還存在一定的難度，要達到實時檢測的要求還需要進一步的改進，所以下一步的可以考慮再融合一個LBP紋理特征解決檢測精度的問題，并引入積分圖等方法解決計算復(fù)雜度的問題。

參考文獻：

[1] Tome D， Monti F， Baroffio L， et al. Deep Convolutional Neural Networks for pedestrian detection[J]. Signal Processing-image Communication， 2016，47（C）：482-489.

[2] Mohan A， Papageorgiou C， Poggio T. Example-based object detection in images by components[J]. PAMI， 2001， 23（4）：349-361.

[3] Dalal N， Triggs B. Histograms of oriented gradients for human detection[C]. CVPR， 2005： 886-893.

[4] Lowe D G. Distincive image features from scale-invariant keypoints[C]. IJCV， 2004.

[5] Mu Y， Yan S， Liu Y， et al. Discriminative local binary patterns for human detection in personal album[C]. CVPR， 2008： 1-8.

[6] Walk S， Majer N， Schindler K， et al. New features and insights for pedestrian detection[C]. CVPR， 2010： 1030-1037.

[7] Tuzel O， Porikli F， Meer P. Pedestrian detection via classification on Riemannian manifolds[J]. PAMI， 2008， 30（10）：1713-1727.

[8] 顧志航，陳淑榮.一種基于HOG與LSS融合的行人檢測算法[J].微型機與應(yīng)用，2016，35（8）：37-39，43.endprint