邵逢仙,李 峰,周書仁

(長沙理工大學(xué)計(jì)算機(jī)與通信工程學(xué)院,長沙410004)

離散小波變換Haar-LL的行人檢測研究

邵逢仙,李 峰,周書仁

(長沙理工大學(xué)計(jì)算機(jī)與通信工程學(xué)院,長沙410004)

提出一種基于二維離散Haar小波變換的局部二值模式(LBP)與局部梯度模式(LGP)的特征融合方法。對(duì)圖像進(jìn)行二維離散Haar小波變換,得到4個(gè)不同頻率的子圖像,對(duì)低頻部分子圖像提取LBP特征,對(duì)3個(gè)高頻部分子圖像提取LGP特征,將3個(gè)LGP特征并接融合后與LBP特征串接融合進(jìn)行行人檢測。在Matlab環(huán)境下利用支持向量機(jī)(SVM)對(duì)INRIA數(shù)據(jù)集進(jìn)行5組實(shí)驗(yàn),分別將該方法與梯度方向直方圖(HOG)、金字塔梯度方向直方圖(PHOG)、LBP、LGP進(jìn)行檢測率、檢測時(shí)間、光照魯棒性以及噪聲魯棒性對(duì)比。綜合各項(xiàng)實(shí)驗(yàn)數(shù)據(jù)表明,該方法在光照魯棒性以及噪聲魯棒性方面都能取得更好的效果。

二維離散小波變換;行人檢測;局部二值模式特征;局部梯度模式特征;特征融合;支持向量機(jī)

1 概述

當(dāng)前行人檢測技術(shù)越來越受到重視,行人檢測對(duì)于交通部門提高駕駛安全性、保障行人生命安全具有非常重要的作用;此外,行人檢測技術(shù)對(duì)于研究智能監(jiān)控系統(tǒng)以及某些智能終端也有非常積極的作用。行人檢測技術(shù)已經(jīng)成為智能輔助駕駛系統(tǒng)、人體行為分析以及智能監(jiān)控系統(tǒng)領(lǐng)域的研究方向。近年來也應(yīng)用在航拍圖像、受害者營救等新興領(lǐng)域里。行人檢測技術(shù)可以大致看成如下過程:判斷輸入圖片(或者視頻幀)是否包含行人,若包含行人,則給出其位置信息,并且進(jìn)行精確定位。

行人檢測一般分為基于運(yùn)動(dòng)的方法和基于形狀的方法?；谶\(yùn)動(dòng)的方法[1]通過分析行人的步態(tài)周期性來識(shí)別行人,其對(duì)顏色、光照等影響比較小,但是只能用于識(shí)別運(yùn)動(dòng)行人,且容易受運(yùn)動(dòng)目標(biāo)干擾;基于形狀的方法有基于模板匹配的方法、基于統(tǒng)計(jì)分類的方法等,目前用的比較廣泛的是基于統(tǒng)計(jì)分類的方法。其主要通過分類器對(duì)行人進(jìn)行識(shí)別,但是需要大量的訓(xùn)練數(shù)據(jù)來提高其魯棒性。

近些年,研究人員提出了一系列行人檢測方法,包括基于梯度方向的直方圖(Histogram of Oriented Gradient,HOG)檢測子[2-3]、PHOG檢測子[4,5]、多特征融合的行人檢測方法[6]、基于部件的檢測方法[7]等。以上方法是針對(duì)靜態(tài)圖片的檢測方法,采用多尺度窗口掃描方案[8],在一定程度上取得了不錯(cuò)的效果,但其檢測準(zhǔn)確率、檢測效率以及實(shí)時(shí)性方面仍然有待提高。因此,行人檢測問題仍然是機(jī)器視覺領(lǐng)域的一個(gè)研究難點(diǎn)和熱點(diǎn)。

文獻(xiàn)[9-10]提出了局部二值模式(Local Binary Pattern,LBP)描述子用來刻畫圖像的紋理信息。該特征具有計(jì)算速度快的優(yōu)點(diǎn),但是LBP算子在圖像比較模糊或者光照變化強(qiáng)烈等成像條件較差時(shí),不能有效地刻畫出圖像的紋理特征。

文獻(xiàn)[11]提出一種類似LBP的局部梯度模式(Local Gradient Pattern,LGP)特征用來刻畫行人,該特征在某些情況下相比LBP特征表現(xiàn)更好,然而某些情況下其表現(xiàn)仍不如LBP特征。

近年來,很多人將小波變換[12-13]應(yīng)用于信號(hào)分析、圖像處理、計(jì)算機(jī)分類與識(shí)別等眾多領(lǐng)域。本文對(duì)圖像進(jìn)行二維離散Haar小波變換,對(duì)提取出的細(xì)節(jié)信息分別進(jìn)行LBP與LGP特征提取,并將2種特征結(jié)合到一起,形成一種新的特征,進(jìn)行行人檢測。

2 相關(guān)工作

2.1 二維離散小波變換

圖像可以看作是一個(gè)二維矩陣,每次小波變換之后,圖像矩陣便分解為4個(gè)大小為原尺寸1/4的子塊頻帶區(qū)域,如圖1所示,分別包含了相應(yīng)頻帶的小波系數(shù),相當(dāng)于在水平和豎直方向上進(jìn)行的隔點(diǎn)采樣。

圖1 二維離散小波變換

原始圖像經(jīng)過二維離散小波變換后,可以得到4個(gè)原圖像尺寸1/4的子圖像,分別是低頻部分分解系數(shù)(LL)、水平方向分解系數(shù)(LH)、垂直方向分解系數(shù)(HL)和對(duì)角線方向分解系數(shù)(HH)。如圖2所示,左邊圖像為原始圖像,右邊圖像為經(jīng)過二維離散Haar小波變換后的4幅子圖像。從圖2中可以看出,經(jīng)過分解后的子圖都是原圖像的1/4大小,并且原圖像的大部分信息被低頻部分(LL)很好地保留,而其他3幅子圖像僅保留著一些高頻輪廓信息。

圖2 二維離散Haar小波分解示例

2.2 LBP算子

LBP特征首先是求取圖像中各個(gè)像素點(diǎn)與其相鄰的像素點(diǎn)在灰度上的二值關(guān)系;接著對(duì)二值關(guān)系按照二進(jìn)制加權(quán)規(guī)則形成局部二值模式;最后對(duì)該區(qū)域采用直方圖序列作為圖像二值模式。最基本的LBP方法定義為對(duì)于任意3×3的窗口,可以得到g0,g1,g2,g3,g4,g5,g6,g7,gc9個(gè)像素點(diǎn)的灰度值。以該窗口中心點(diǎn)的灰度值(gc)為閾值,對(duì)窗口內(nèi)的像素作二值化處理,則其紋理T的分布可定義為:

接著根據(jù)像素在圖中排序的不同位置按照式(2)進(jìn)行加權(quán)求和,結(jié)果便是該窗口的LBP值。

具體如圖3所示。中間像素點(diǎn)灰度值為60,其余各點(diǎn)灰度值分別為70,20,20,120,120,20,20,50。LBP模式=10011000,LBP=128×1+64×0+32× 0+16×1+8×1+4×0+2×0+1×0=152。

圖3 LBP原理示意圖

2.3 LGP算子

局部梯度模式(LGP)描述子是應(yīng)用在計(jì)算機(jī)視覺領(lǐng)域,用于目標(biāo)檢測的特征描述子。LGP方法一般定義為在任意的3×3的窗口可以得到9個(gè)像素點(diǎn)的灰度值。外圍8個(gè)點(diǎn)g0,g1,g2,g3,g4,g5,g6,g7分別與中間點(diǎn)(gc)作差后的值的絕對(duì)值h0,h1,h2,h3,h4,h5,h6,h7與這個(gè)8個(gè)點(diǎn)的平均值hc(即閾值)進(jìn)行比較,若大于閾值則記為1,小于則記為0,然后對(duì)8個(gè)值進(jìn)行二進(jìn)制編碼,可以表示為如下公式:

其中,i=0,1,2,3,4,5,6,7。

然后根據(jù)每個(gè)值的不同位置進(jìn)行加權(quán)求和:

具體如圖4所示。中間像素點(diǎn)灰度值為60,其余各點(diǎn)灰度值分別為70,20,20,120,120,20,20,50,則hc=37.5。于是LGP模式=01111110,LGP= 128×0+64×1+32×1+16×1+8×1+4×1+2× 1+1×0=126。

圖4 LGP原理示意圖

對(duì)一幅128×64的圖,每一個(gè)點(diǎn)的LGP或者LBP值都是一個(gè)0～255之間的數(shù),將得到128×64的表,若將這些值全部作為特征勢必會(huì)造成數(shù)據(jù)量很大,采用LBP特征的方式對(duì)整個(gè)圖像求直方圖,將維度降為256維。

2.4 LGP與LBP的比較

2.4.1 LGP相比LBP的優(yōu)點(diǎn)

如圖5所示,當(dāng)前景和背景的灰度值一起變化時(shí),LBP與LGP計(jì)算的二進(jìn)制編碼值都相同,可見2種描述方式的結(jié)果是一樣的。

圖5 LBP與LGP表示方法對(duì)比1

當(dāng)前景和背景局部變化時(shí),LGP是不變的,而 LBP是變化的。如圖6所示,當(dāng)前景不變,背景灰度值變小時(shí)采用LBP描述的相同輪廓下的二進(jìn)制編碼值不同,而采用LGP描述方式描述的相同輪廓的二進(jìn)制編碼值仍然相同。

圖6 LBP與LGP表示方法對(duì)比2

如圖7所示,當(dāng)背景不變,前景灰度值變大時(shí),采用LBP描述的相同輪廓下的二進(jìn)制編碼值不同,而采用LGP描述的相同輪廓下的二進(jìn)制編碼值仍然相同。

圖7 LBP與LGP表示方法對(duì)比3

這是由LBP與LGP各自的閾值取值不同所決定的。LBP的閾值就是該點(diǎn)的灰度值,那么周圍像素點(diǎn)的灰度值變化很有可能引起最后得到的編碼發(fā)生改變,而LGP采用的是周圍像素灰度值與中間值差的絕對(duì)值作為閾值,當(dāng)周圍像素點(diǎn)灰度值發(fā)生變化的同時(shí),閾值也隨之改變,故而得到編碼值與變化前是相同的。由此可見,LGP比LBP描述的魯棒性好。

2.4.2 LGP相比LBP的缺點(diǎn)

然而當(dāng)中間像素點(diǎn)值是四周像素點(diǎn)灰度值的中間值時(shí),其LBP二進(jìn)制編碼值與9個(gè)像素點(diǎn)灰度值都相同描述的LBP二進(jìn)制編碼值完全不同,而采用LGP方式則是一樣的,如圖8所示。

圖8 LBP與LGP表示方法對(duì)比4

3 多特征融合

為了充分發(fā)揮2種特征提取方式(LGP,LBP)的長處,本文通過有效融合的方法來實(shí)現(xiàn)。本文提出了一種基于Haar小波變換的LGP-LBP特征融合方法(Haar-LL方法)。該方法首先對(duì)圖像進(jìn)行二維離散Haar小波變換,對(duì)得到的LL部分提取LBP特征,對(duì)得到的其他3個(gè)部分分別提取LGP特征,實(shí)驗(yàn)證明將提取的3個(gè)部分高頻輪廓信息的LGP特征進(jìn)行并拼接再與LBP特征串接后效果最佳。這樣可以利用小波變換對(duì)圖像進(jìn)行降維,從而達(dá)到減少提取特征時(shí)間的目的,同時(shí)也一定程度上彌補(bǔ)了LBP對(duì)光照和以及噪聲圖像魯棒性差的缺點(diǎn)。

4 基于特征融合的行人檢測

SVM[14]是一種基于分類邊界的方法,在將低維空間中的曲線或者曲面映射到高維空間中的直線或平面時(shí),其計(jì)算量大為減少。在將低維空間映射到高維空間的同時(shí),也計(jì)算了2個(gè)數(shù)據(jù)在高維空間的內(nèi)積,使計(jì)算量回歸到低維空間計(jì)算的量級(jí)。分類器性能的好壞在很大程度上取決于核函數(shù)的類型、懲罰系數(shù)C以及核函數(shù)參數(shù)。常用的核函數(shù)是多項(xiàng)式核函數(shù)、徑向 基核函數(shù)以及Sigmoid核函數(shù)。不同的核函數(shù)對(duì)SVM在分類效果和時(shí)間上都有很大的影響。本文通過多次實(shí)驗(yàn)發(fā)現(xiàn)使用線性核函數(shù)分類效果最佳。本文按照圖9所示的處理框架進(jìn)行行人檢測試驗(yàn)。

圖9 行人檢測框架

5 實(shí)驗(yàn)比較及結(jié)果分析

本文設(shè)計(jì)了5個(gè)實(shí)驗(yàn)進(jìn)行性能測試對(duì)比。用于實(shí)驗(yàn)的樣本采用INRIA行人數(shù)據(jù)庫。INRIA是法國國家信息與自動(dòng)化研究所的簡稱,其重點(diǎn)研究領(lǐng)域?yàn)橛?jì)算機(jī)科學(xué)、控制理論及應(yīng)用數(shù)學(xué)。INRIA數(shù)據(jù)集中只有直立行人,且每個(gè)行人的高度超過100像素。本實(shí)驗(yàn)中,訓(xùn)練正樣本2 416幅行人圖像,負(fù)樣本2 500幅非行人圖像。測試正樣本1 126幅圖像,負(fù)樣本1 059幅圖像;分類器采用的是SVM,因?yàn)镾VM在解決小樣本、非線性數(shù)據(jù)問題中具有許多特有的優(yōu)勢。INRIA Person行人檢測樣本庫中的部分訓(xùn)練正樣本如圖10所示。

圖10 INRIA檢測樣本庫中的部分訓(xùn)練正樣本

5.1 不同方法的檢測效果分析

為了驗(yàn)證本文方法的優(yōu)越性,本文設(shè)計(jì)4組實(shí)驗(yàn),分別與HOG,PHOG,LBP,LGP等方法進(jìn)行對(duì)比。

從圖11可以看出,對(duì)于單幅樣本(128×64)而言,本文方法與LBP方法、LGP方法大致相當(dāng),消耗時(shí)間略高于LBP方法,但是相比HOG與PHOG有很大優(yōu)勢,且5.23 ms的檢測效率對(duì)于實(shí)際應(yīng)用來說能夠接受。僅犧牲一小部分檢測效率來換取檢測性能的提升是值得的。

圖11 不同特征提取單幅樣本時(shí)間

從圖12可以看出,對(duì)于相同訓(xùn)練樣本及測試樣本,在同樣的環(huán)境下,本文方法與LBP方法性能大致相當(dāng),本文方法高于LBP方法及LGP方法約1個(gè)百分比、高于HOG方法與PHOG方法約2個(gè)百分比。由于本文方法是在LBP方法基礎(chǔ)上進(jìn)行融合,因此該方法保留了原LBP方法的優(yōu)點(diǎn),同時(shí)又對(duì)LBP方法的不足之處進(jìn)行了改善,故性能比LBP方法好。

圖12 不同特征檢測準(zhǔn)確率

衡量一個(gè)方法的優(yōu)劣一般采用 TP(True Positive)、FP(False Positive)、TN(True Negative)、FN(False Negative)作為衡量標(biāo)準(zhǔn)。TP表示行人檢測為行人,FP表示非行人檢測為行人,TN表示非行人檢測為非行人,FN則表示行人檢測為非行人。而本文關(guān)心的是行人的檢測效率,故采用TP和FN即可,TP越大或者FN越小,說明方法的誤檢率和漏檢率越低,其方法的性能就越好。

從圖13可以看出,對(duì)于相同訓(xùn)練樣本及測試樣本,在同樣的環(huán)境下本文方法的TP為1 074(正樣本數(shù)為1 126),與LGP,LBP等方法相差不大,但是遠(yuǎn)大于HOG,PHOG方法。

圖13 不同特征檢測的TP值

FN同樣是衡量一個(gè)方法優(yōu)劣性的重要指標(biāo),本文對(duì)4種方法進(jìn)行同環(huán)境對(duì)比后的結(jié)果如圖14所示。從圖14可知,本文方法的FN為52,比其他方法都要低。

圖14 不同特征檢測的FN值

5.2 魯棒性對(duì)比

為了驗(yàn)證本文方法與當(dāng)前主流方法的魯棒性對(duì)比,本文設(shè)計(jì)了如下實(shí)驗(yàn)。

本實(shí)驗(yàn)選取1 000幅樣本(500正樣本+500負(fù)樣本),分別加入0.05,0.04,0.03,0.02,0.01這5種不同參數(shù)的高斯噪聲,然后分別用LBP方法與本文方法進(jìn)行對(duì)比,如圖15所示。從實(shí)驗(yàn)結(jié)果來看,無論噪聲情況怎樣,本文方法效果都略好于LBP方法,比同等情況下其他方法效果好很多。

本文實(shí)驗(yàn)同樣采用1 000幅樣本(500正樣本+ 500負(fù)樣本),分別對(duì)其進(jìn)行光照減弱及增強(qiáng)實(shí)驗(yàn),分別將灰度值-100,-80,-60,-40,-20,+20, +40,+60,+80,+100,得到10組樣本,采用LBP, HOG,PHOG,LGP以及本文方法進(jìn)行檢測,如圖16所示。從圖中可以看出本文方法及LBP,LGP等基于紋理的方法對(duì)于光照魯棒性效果不如基于梯度的HOG,PHOG等方法。相比同樣基于紋理的方法,本文方法在光照增強(qiáng)的部分和LGP,LBP等方法性能基本一致,但是對(duì)于光照減弱部分效果明顯比LBP, LGP等方法好。

圖15 不同特征的噪聲魯棒性對(duì)比

圖16 不同特征的光照魯棒性對(duì)比

5.3 本文方法的實(shí)驗(yàn)效果圖

基于上述較高識(shí)別率的情況下,在 Detect Human行人樣本測試庫里進(jìn)行了大圖片中行人檢測實(shí)驗(yàn)。其部分效果如圖17所示。

圖17 Detect Human行人樣本測試效果圖

6 結(jié)束語

本文對(duì)LBP方法以及另一種類似LBP方法的LGP方法的優(yōu)劣進(jìn)行比較,發(fā)現(xiàn)其各自的優(yōu)缺點(diǎn),提出結(jié)合小波特征的方法對(duì)其進(jìn)行融合,在SVM線性分類器下得到比較好的分類效果,從與當(dāng)前主流方法進(jìn)行對(duì)比可以看出,本文方法在光照魯棒性以及噪聲魯棒性方面都能取得比較好的效果。但是由于行人的衣著、姿態(tài)、拍攝角度等因素的影響,對(duì)于行人檢測的性能還有待進(jìn)一步提高。

[1] 蘇松志,李紹滋,陳淑媛,等.行人檢測技術(shù)綜述[J].電子學(xué)報(bào),2012,40(4):814-820.

[2] Dalal N,Triggs B.Histograms of Oriented Gradients for Human Detection[C]//Proc.of International Conference on Computer Vision&Pattern Recognition. Montbonnot,France:[s.n.],2005:886-893.

[3] 葉 林,陳岳林,林景亮.基于HOG的行人快速檢測[J].計(jì)算機(jī)工程,2010,36(11):206-210.

[4] Bosch A,Zisserman A,Munoz X.Representing Shape with a Spatial Pyramid Kernel[C]//Proc.of the 6th ACM International Conference on Image and Video Retrieval.New York,USA:[s.n.],2007:401-408.

[5] 袁 杰,魏寶剛,王李冬.一種綜合PHOG形狀和小波金字塔能量分布特征的圖像檢索方法[J].電子學(xué)報(bào), 2011,39(9):2114-2119.

[6] Dollár P,Belongie S,Perona P.The Fastest Pedestrian Detector in the West[C]//Proc.of the British Machine Vision Conference.[S.l.]:BMVA Press,2010:1-11.

[7] Gan Guolong,Cheng Jian.Pedestrian Detection Based on HOG-LBP Feature[C]//Proc.of 7th International Conference on Computational Intelligence and Security. [S.l.]:IEEE Press,2011:1184-1187.

[8] Dollar P,Babenko B,BelongieS,etal.Multiple Component Learning for Object Detection[C]//Proc.of the 10th European Conference on Computer Vision. [S.l.]:IEEE Press,2008:21l-224.

[9] Ojala T,Pietikinen M,Harwood D.A Comparative Study of Texture Measures with Classification Based on Feature Distribution[J].Pattern Recognition,1996,29(1):51-59.

[10] Zhao Guoying,Ahonen T.Rotation-invariant Image and Video Description with Local Binary Pattern Features [J].IEEE Transactions on Image Processing,2012,21 (4):1465-1477.

[11] Jun Bongjin,Choi I,Kim D.Local Transform Features and Hybridization forAccurate Face and Human Detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(6):1423-1436.

[12] Zhang Xinyang,Zhang Renjin.The Technology Research in Decomposition and Reconstruction of Image Based on Two-dimensional Wavelet Transform[C]//Proc.of the 9th International Conference on Fuzzy Systems and Knowledge Discovery.[S.l.]:IEEE Press,2012:1998-2000.

[13] Kulkarni J S.Wavelet Transform Applications[C]//Proc. ofthe 3rd InternationalConference on Electronics Computer Technology.[S.l.]:IEEE Press,2011:11-17.

[14] Lin Kengpei,Chen M S.On the Design and Analysis of thePrivacy-preserving SVM Classifier[J].IEEE Transactions on Knowledge and Data Engineering,2011, 23(11):1704-1717.

編輯 顧逸斐

Research on Pedestrian Detection of Discrete Wavelet Transform Haar-LL

SHAO Feng-xian,LI Feng,ZHOU Shu-ren
(School of Computer&Communication Engineering,Changsha University of Science&Technology,Changsha 410004,China)

This paper presents a two-dimensional discrete wavelet transform Haar Local Binary Pattern(LBP)with Local Gradient Pattern(LGP)feature fusion method Haar-LL.The image of the two-dimensional discrete wavelet transform Haar,to thereby obtains four different frequency sub-images,and extracts the low frequency part of the LBP feature,three high-frequency sub-images of the LGP feature extraction,and takes the three characteristics of LGP parallel fusion and LBP features for serial fusion.Under the Matlab environment using Support Vector Machine(SVM)on the INRIA data set for five experimental groups INRIA dataset experiments carried out on five groups,respectively,with Histograms of Oriented Gradients(HOG),Pyramid of Histograms of Orientation Gradients(PHOG),LBP,LGP detection rate,detection time,light and noise robustness contrast.Comprehensive various experimental data show that the robustness of illumination and noise is better.

two-dimensional discrete wavelet transform;pedestrian detection;Local Binary Pattern(LBP)feature;

1000-3428(2014)09-0204-06

A

TP391

10.3969/j.issn.1000-3428.2014.09.041

湖南省自然科學(xué)基金資助項(xiàng)目(12JJ6057);湖南省教育廳科研基金資助項(xiàng)目(13B132);長沙市科技計(jì)劃基金資助項(xiàng)目(K1203015-11)。

邵逢仙(1989-),男,碩士研究生,主研方向:模式識(shí)別,圖像處理;李 峰,教授、博士;周書仁,博士。

2013-09-29

2013-11-06E-mail:sfx9000@163.com

Local Gradient Pattern(LGP)feature;feature fusion;Support Vector Machine(SVM)