肖華軍，趙曙光，張 樂（東華大學(xué)　信息科學(xué)與技術(shù)學(xué)院，上海 201600）

基于HOG-LBP特征融合的頭肩檢測研究

肖華軍，趙曙光，張 樂
（東華大學(xué)信息科學(xué)與技術(shù)學(xué)院，上海 201600）

提出了一種基于HOG-LBP特征融合的人體頭肩檢測方法，其要點(diǎn)是將人體頭肩圖像等分為多個(gè)部分重疊的塊，從每個(gè)塊內(nèi)提取HOG和LBP特征并加以融合，以得到更有效的人體頭肩的邊緣輪廓和紋理特征，融合后的特征送入支持向量機(jī) SVM（Support Vector Machine）通過Bootstrapping的方式進(jìn)行訓(xùn)練，得到最終的判別模型。實(shí)驗(yàn)結(jié)果表明，該方法的檢測效果優(yōu)于基于單一HOG、LBP特征的方法。

梯度方向直方圖；局部二值模式；頭肩檢測；支持向量機(jī)

0　引言

近年來，行人檢測是計(jì)算機(jī)視覺、圖像處理、模式識別領(lǐng)域中一個(gè)十分重要的研究方向。傳統(tǒng)的行人檢測特征提取方法都將人體目標(biāo)作為一個(gè)整體，從大量包含人體目標(biāo)的圖像集中學(xué)習(xí)并提取整體特征，然后采用統(tǒng)計(jì)分類技術(shù)進(jìn)行目標(biāo)檢測與分類。然而這種識別方法由于沒有利用圖像中人體的局部信息，比如人體目標(biāo)存在局部遮擋、姿態(tài)發(fā)生較大變化等情況下，會導(dǎo)致整體特征的顯著變化，對人體目標(biāo)檢測的準(zhǔn)確性造成很大的影響。由于人體頭肩呈現(xiàn)比較固定的類似“Ω”形狀和不易被遮擋等優(yōu)點(diǎn)，為行人的準(zhǔn)確檢測提供了先決條件。

當(dāng)前頭肩檢測大致分為基于知識的方法和基于統(tǒng)計(jì)學(xué)習(xí)的方法。在基于知識的方法方面，MERAD D［1］等人提出利用骨架圖的方法檢測頭肩，該方法首先是前景圖像的提取，然后用骨架描述前景圖像，接著在骨架圖中找到人體的頭部。Chen Juan［2］等人假定頭肩為俯視圖像并接近圓形，通過 Hough圓檢測頭肩輪廓，然后把檢測到的輪廓與YUV顏色空間的U、V顏色直方圖匹配，從而實(shí)現(xiàn)頭肩的檢測與定位。在基于統(tǒng)計(jì)學(xué)習(xí)的方法方面，Li Min［3］等人提出基于Haar特征的級聯(lián)分類器和局部HOG特征的AdaBoost分類器的先粗后細(xì)的篩選來檢測頭肩；Li Zhixuan［4］等人采用 Edgelet和 LBP特征融合，送入real AdaBoost構(gòu)造頭肩檢測分類器等等。

由于現(xiàn)實(shí)中的頭肩顏色、輪廓等先驗(yàn)知識存在較大差異，無法用統(tǒng)一的形式來描述。但是可以選用基于統(tǒng)計(jì)模式識別的方法，通過對大量樣本的學(xué)習(xí)來獲得頭肩的描述規(guī)則，自動分析頭肩與非頭肩的細(xì)微差別。基于此，本文根據(jù)人體頭肩的特點(diǎn)，提出了一種基于HOGLBP特征融合的人體頭肩檢測方法。

1　相關(guān)特征介紹

1.1HOG特征

HOG描述是在一個(gè)網(wǎng)格密集、大小統(tǒng)一的細(xì)胞單元（Cell）上計(jì)算，并且為了提高性能，還采用了重疊的局部對比度歸一化技術(shù)。其主要思想是：在一幅圖像中，局部目標(biāo)的表象和形狀能夠被梯度或邊緣的方向密度分布很好地描述。按照Dalal［5］提出的方法，HOG特征提取方法包括 5個(gè)步驟：顏色空間 Gamma校正、計(jì)算梯度、統(tǒng)計(jì)單元內(nèi)的方向梯度、重疊塊內(nèi)的梯度強(qiáng)度的歸一化、塊內(nèi)直方圖組合成HOG特征向量。下面簡要介紹以上五個(gè)步驟。

（1）顏色空間Gamma校正

為了減少光照因素的影響，一般情況下，首先需要將整幅圖像進(jìn)行歸一化。但是后來研究人員通過實(shí)驗(yàn)發(fā)現(xiàn)，顏色空間標(biāo)準(zhǔn)化處理對實(shí)驗(yàn)結(jié)果影響不大，分析其原因，可能是接下來的計(jì)算過程中的特征歸一化處理也能達(dá)到相似的效果。這樣在實(shí)際應(yīng)用中，這個(gè)計(jì)算步驟可以省略。

（2）梯度的計(jì)算

設(shè)像素（x，y）處的灰度值為 I，梯度幅值為 G，梯度方向?yàn)?θ，采用［-1，0，1］的一維中心梯度算子，計(jì)算水平方向和垂直方向的梯度分別如下：

然后計(jì)算該像素點(diǎn)的梯度強(qiáng)度和方向：

對于RGB彩色圖像，即對每個(gè)顏色通道計(jì)算梯度，選取梯度幅值最大的顏色通道所對應(yīng)的梯度作為該像素點(diǎn)的梯度。

（3）將圖像窗口區(qū)域劃分成均勻分布的單元（如8× 8像素大小的單元），每相鄰的2×2單元組合成一個(gè)小區(qū)域塊。在小塊內(nèi)的每個(gè)像素以幅值作為權(quán)值投票到近鄰單元直方圖的相應(yīng)梯度方向柱里。不考慮梯度方向的正負(fù)，即將方向轉(zhuǎn)化到0°～180°內(nèi)，直方圖取9個(gè)方向柱。

（5）將所有小塊的特征向量串聯(lián)起來，形成窗口的HOG特征。

1.2LBP特征

LBP［6］最早是作為一種有效的紋理描述算子提出來的，由于其對圖像局部紋理特征的卓越描繪能力而獲得了十分廣泛的應(yīng)用。LBP算子的特點(diǎn)是計(jì)算高效、判別性強(qiáng)且對單調(diào)的灰度級變化具有不變性。

基本的LBP算子是對于圖像中的每一個(gè)像素點(diǎn)，以該點(diǎn)的灰度值作為閾值，對其3×3鄰域內(nèi)的像素灰度值作比較，若周圍8個(gè)像素點(diǎn)的值大于閾值，則為1，否則為0。按照一定的順序比較，得到一個(gè)8位的二進(jìn)制數(shù)，以此二進(jìn)制數(shù)作為對該像素點(diǎn)的響應(yīng)。圖1所示為提取過程。

圖1　基本LBP算子

其計(jì)算公式如下：

后來，基本LBP算子被進(jìn)一步推廣為使用不同大小和形狀的鄰域。采用圓形的鄰域并結(jié)合雙線性插值運(yùn)算，從而可以獲得任意半徑和任意數(shù)目的鄰域像素點(diǎn)。圖2給出幾種不同圓形鄰域的LBP算子。

圖2　LBP采樣圖

其中P是采樣點(diǎn)的數(shù)目，R是采樣半徑。

對于一個(gè)局部二進(jìn)制模式，在將其二進(jìn)制位串視為循環(huán)的情況下，如果其中包含的從0到1或者從1到0轉(zhuǎn)變不超過2個(gè)，這樣局部二進(jìn)制模式統(tǒng)一為一致性模式。例如模式 00000000（0個(gè)轉(zhuǎn)變）和 01110000（2個(gè)轉(zhuǎn)變）都是一致性模式。而模式 00100010（4個(gè)轉(zhuǎn)變）和01010011（6個(gè)轉(zhuǎn)變）都是非一致性模式。經(jīng)過映射，編碼方式由256種縮短為59種，使得特征向量的維數(shù)減少。當(dāng)背景中噪聲邊緣成分多時(shí)，HOG特征的表現(xiàn)不足，而LBP算子的一致性模式可濾除這類噪聲，彌補(bǔ)這一缺陷。將各個(gè)一致性模式對應(yīng)到直方圖柱，而所有的非一致性模式都?xì)w為一個(gè)柱。

2　HOG-LBP特征融合

特征提取是人體頭肩檢測中最為關(guān)鍵的環(huán)節(jié)之一，提取具有鑒別意義的特征對準(zhǔn)確檢測人體頭肩起著重要作用。特征融合技術(shù)既融合了多種特征的有效鑒別信息，又能消除大部分冗余的信息，從而實(shí)現(xiàn)了信息的有效壓縮，節(jié)約了信息存儲空間，有利于加快運(yùn)算速度和進(jìn)行信息的實(shí)時(shí)處理。目前常用的特征融合方法為串行融合和并行融合。

設(shè)模式樣本空間Ω上存在兩個(gè)不同的特征空間A、B，對于任意模式樣本 ε∈Ω，設(shè)它對應(yīng)的兩個(gè)特征向量分別為 α∈A和 β∈B，串行融合后的特征矩陣 γ=（α，β）。若特征向量α和β分別為n和m維，由組合原理可知，其組合后的串行特征空間為（n+m）維。并行融合后的特征矩陣γ=α+iβ，其中i為虛數(shù)單位。若兩組特征α 與β的維數(shù)不等，則低維的特征向量用零補(bǔ)足，此時(shí)特征矩陣維數(shù)為max｛dim（A），dim（B）｝。

串行特征向量的計(jì)算過程如圖3所示，分別計(jì)算HOG特征直方圖和LBP特征直方圖，串行連接形成聯(lián)合直方圖。

圖3　聯(lián)合直方圖

3　實(shí)驗(yàn)過程及結(jié)果分析

3.1實(shí)驗(yàn)樣本

為了測試HOG特征和 LBP特征融合的有效性，建立了一個(gè)基于行人頭肩的數(shù)據(jù)庫。數(shù)據(jù)庫圖片大多通過現(xiàn)有的行人樣本集，手工摳取人體頭肩區(qū)域形成樣本圖片，用于訓(xùn)練與測試。原始行人及負(fù)樣本集來自INRIA、MIT樣本集以及網(wǎng)上收集的一些人物圖片。訓(xùn)練庫包含了2 500個(gè)正樣本和5 500個(gè)負(fù)樣本，部分正樣本圖片如圖4所示。

圖4　部分正樣本圖像

3.2樣本HOG和LBP特征計(jì)算以及融合

本文實(shí)驗(yàn)中，樣本HOG特征計(jì)算步驟：對正負(fù)樣本集中每一幅大小 32×32的灰度圖片（這里采用灰度圖片是考慮計(jì)算量大小的影響，并且對最終的檢測結(jié)果影響微?。?，計(jì)算矩形HOG特征描述子R-HOG，設(shè)定的Cell大小為8×8，Block的大小為 16×16，滑動步長是以一個(gè)Cell的寬度大小，HOG特征計(jì)算的具體過程如下：

（1）為了減少光照等的影響，首先對樣本圖像進(jìn)行Gamma標(biāo)準(zhǔn)化，本實(shí)驗(yàn)中這一步驟省略。

（2）計(jì)算灰度圖像中各個(gè)像素點(diǎn)x方向和y方向的梯度，采用簡單的［-1，0，1］模板計(jì)算梯度的方向和幅值。

（3）在每個(gè) Cell內(nèi)，設(shè)定投影方向?yàn)?9個(gè) bin，用各個(gè)像素點(diǎn)的梯度幅值作為權(quán)重，投票統(tǒng)計(jì)各Cell的梯度方向加權(quán)直方圖，此直方圖的維數(shù)為9。

（4）對一個(gè) Block（Block之間有重疊）內(nèi)的 4個(gè) Cell采用L2-norm進(jìn)行歸一化處理，然后統(tǒng)計(jì) 4個(gè) Cell的梯度直方圖，維數(shù)為36。

（5）每幅圖像需要計(jì)算 HOG特征向量的 Block數(shù)目為：（（32-16）/8+1）（（32-16）/8+1），最后串聯(lián)圖像中所有的Block，計(jì)算得到的HOG特征向量的維數(shù)是：9×36= 324維。

本實(shí)驗(yàn)中，樣本LBP特征計(jì)算步驟：對正負(fù)樣本集中每一幅大小為32×32的灰度圖片，采用基于滑動窗口的LBP特征提取。滑動窗口針對圖像算法的一般描述如下：在一幅大小為W×H的圖像中，按一定規(guī)律移動w×h的窗口（W＞＞w，H＞＞h），對窗口內(nèi)像素點(diǎn)進(jìn)行一系列運(yùn)算，運(yùn)算結(jié)束后窗口向右或向下移動一步，直至完成對整幅圖像的處理。設(shè)定窗口的大小為16×16，并設(shè)定窗口在水平方向和垂直方向的滑動步長為窗口寬度的一半。LBP特征計(jì)算的具體過程如下：

（2）根據(jù)窗口內(nèi)計(jì)算的 LBP特征值，計(jì)算每個(gè)窗口的直方圖，即每個(gè)LBP特征值出現(xiàn)的次數(shù)，然后采用L2-norm進(jìn)行歸一化處理，此直方圖的維數(shù)為59。

（3）每幅圖像需要計(jì)算LBP特征向量的窗口數(shù)目為：（（32-16）/8+1）（（32-16）/8+1），最后串聯(lián)圖像中所有窗口的統(tǒng)計(jì)直方圖，計(jì)算得到的LBP特征向量的維數(shù)是：9×59=531維。

最后，將樣本HOG特征向量和LBP特征向量串行連接形成聯(lián)合特征向量。

3.3分類器訓(xùn)練

在目標(biāo)檢測分類器算法中，應(yīng)用比較廣泛的是線性SVM和AdaBoost算法。SVM在分類器過程中主要通過核函數(shù)，將線性不可分的低維空間轉(zhuǎn)換為線性可分的高維空間，但訓(xùn)練過程中，容易出現(xiàn)數(shù)據(jù)分類失衡的問題。本文選擇了線性SVM分類器訓(xùn)練，并且使用交叉驗(yàn)證的方法選擇SVM最優(yōu)參數(shù)，使分類器對輸入的訓(xùn)練樣本分類精度最高。

3.4實(shí)驗(yàn)結(jié)果與分析

本文用HOG特征、LBP特征以及本文的HOG-LBP融合特征，結(jié)合SVM分類器進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)測試圖像大小為 352×384，算法基于 OpenCV2.4.9修改，運(yùn)行在VS2012環(huán)境下，Inter Core i3-3220（3.30 GHz）的四核處理器和4 GB內(nèi)存的電腦上。實(shí)驗(yàn)結(jié)果如表1所示。

表1　不同特征檢測的實(shí)驗(yàn)結(jié)果

分析表1可知，采用SVM分類器進(jìn)行訓(xùn)練，HOGLBP融合特征與HOG特征、LBP特征相比，能有效地降低誤檢率和漏檢率，但是由于融合特征的維數(shù)增加，融合特征檢測時(shí)間比單一特征的檢測時(shí)間要長。

基于本文的HOG-LBP特征融合，結(jié)合SVM分類器，對INRIA庫測試集圖像進(jìn)行多尺度遍歷后的識別效果如圖5所示，其中圖 5（a）、圖 5（b）都進(jìn)行了較為準(zhǔn)確的多目標(biāo)檢測，其中圖 5（a）中的人體頭肩有部分遮擋也可檢測出，圖5（b）中遠(yuǎn)處的人體頭肩也可檢測出。圖 5（c）和圖 5（d）展示了部分誤檢與漏檢，漏檢是由于人體頭肩的形變過大或遮擋引起，誤檢則是因?yàn)槲矬w的輪廓與人體頭肩輪廓很相似。

圖5　INRIA測試集檢測結(jié)果

4　結(jié)束語

本文提出了一種基于HOG-LBP融合特征的人體頭肩的檢測方法，融合的特征不僅準(zhǔn)確地表征了人體頭肩輪廓信息，而且能夠?qū)θ梭w頭肩輪廓紋理有很好的描述。實(shí)驗(yàn)結(jié)果表明，本文所提的算法可以達(dá)到較好的識別效果。

［1］Zheng Jin，Zhang Wan，Li Bo.Pedestrain detection based on background modeling and head-shoulder recognition［C］. IEEEInternationalConferenceonWaveletAnalysisand Pattern Recognition（ICWAPR），2012：227-232.

［2］Chen Juan，Wen Quan，Zhuo Chenglong，et al.Automatic head detection for passenger flow analysis in bus surveillance videos［C］.International Congress on Image and Signal Processing（CISP）.2012：143-147.

［3］Li Min，Zhang Zhaoxiang.Rapid and robust human detection and tracking based on omega-shape feature［C］.IEEE International Conference on Image Processing（ICIP），2009：2545-2548.

［4］Li Zhixuan，Zhao Yanyun.Pedestrian detection in single frame by edgelet-LBP part detectors［C］.IEEE International Conference on Advanced Video and Signal-Based Surveillance（AVSS），2013：420-425.

［5］DALAL N，TRIGGS D.Histograms of oriented gradients for human detection［C］.Proceedings of Conference on Computer Vision and Pattern Recognition，San Diego，2005：886-893.

［6］OJALA T，PIETIKAINEN M，MAENPAA T.Multiresolution gray-scale and rotation invariant texture classification with local binary pattern［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（7）：971-987.

［7］顧炯，趙曙光，王宏斌.基于 Joint HOG特征復(fù)雜場景下的頭肩檢測［J］.電子設(shè)計(jì)工程，2012（7）：58-62.

［8］黃炎，范賜恩，朱秋平，等.聯(lián)合梯度直方圖和局部二值模式特征的人體檢測［J］.光學(xué)精密工程，2013（4）：1047-1052.

［9］Zhao Yang.Theories and applications of LBP：a survey［C］. Zhengzhou：7thInternational Conference on Intelligent Com-

puting，2012：112-120.

［10］AHONEN T，ABDEOUR H，MATTI P.Face recognition with local binary patterns［C］.Proceedings of the 8th Europen Conference on Computer Vision，2004：469-481.

Head-shoulder detection HOG-LBP-based feature fusion

Xiao Huajun，Zhao Shuguang，Zhang Le
（College of Information Science and Technology，Donghua University，Shanghai 201600，China）

This paper presents a people′s head-shoulder detection method based on HOG-LBP feature fusion.The important problem is that head-shoulder image is divided into a plurality of overlapping blocks，in order to get a more effective head-shoulder edge contour and texture features，HOG and LBP features are extracted from each block and make integration，and the features are fused into support vector machine SVM （Supprot Vector Machine）and are trained by Bootstrapping way to get the final discriminative model.Experimental results show that the effect of this method is superior detection method based on a single HOG，LBP features.

Histogram of Gradient（HOG）；Local Binary Pattern（LBP）；head-shoulder detection；Supporting Vector Machine（SVM）

TP391.41

A

1674-7720（2015）05-0043-04

（2014-12-04）

肖華軍（1988-），男，研究生，主要研究方向：圖形處理、模式識別。

趙曙光（1965-），男，博士，教授，主要研究方向：電子設(shè)計(jì)自動化、電路進(jìn)化設(shè)計(jì)、模式識別與智能系統(tǒng)。

張樂（1987-），男，研究生，主要研究方向：可逆邏輯電路綜合與優(yōu)化。