基于快速級(jí)聯(lián)分類器的行人檢測(cè)方法研究*

高嵩，杜晴嵐，陳超波

(西安工業(yè)大學(xué)電子信息工程學(xué)院，陜西 西安 710021)

摘要：行人檢測(cè)是圖像處理、計(jì)算機(jī)視覺等方面研究的重要環(huán)節(jié)，通常用于視頻監(jiān)控和智能車輛等領(lǐng)域。行人檢測(cè)圖像易受到背景的影響，常用的幀差法及單純訓(xùn)練分類器法在行人檢測(cè)中存在著準(zhǔn)確率低、分類訓(xùn)練算法復(fù)雜、實(shí)時(shí)性差等問題。首先采用改進(jìn)型幀差法獲取行人運(yùn)動(dòng)信息，然后利用直方圖坐標(biāo)對(duì)應(yīng)劃分出運(yùn)動(dòng)區(qū)域，最后通過訓(xùn)練雙特征級(jí)聯(lián)分類器對(duì)運(yùn)動(dòng)區(qū)域進(jìn)行檢測(cè)識(shí)別。實(shí)驗(yàn)結(jié)果表明，本方法可以有效減少誤檢和漏檢現(xiàn)象，檢測(cè)時(shí)間平均減少了32.77 ms，檢測(cè)準(zhǔn)確率平均提高了10%以上，因此本方法有效提高了識(shí)別準(zhǔn)確率和識(shí)別速度。

關(guān)鍵詞：改進(jìn)型幀差法；Haar特征；Shapelet特征；級(jí)聯(lián)分類器

中圖分類號(hào)：TP391.4 文獻(xiàn)標(biāo)志碼：A

doi:10.3969/j.issn.1007-130X.2015.06.022

收稿日期：*2014-05-23;修回日期：2014-06-30

基金項(xiàng)目：國家自然科學(xué)基金資助項(xiàng)目(61271362)；陜西省國際科技合作重點(diǎn)項(xiàng)目(2015KW-024)；西安市技術(shù)轉(zhuǎn)移促進(jìn)工程項(xiàng)目(CXY1441(3))

作者簡(jiǎn)介:

通信地址：710021 陜西省西安市未央?yún)^(qū)草灘鎮(zhèn)西安工業(yè)大學(xué)電子信息工程學(xué)院

Address:College of Electronic and Information Engineering,Xi’an Technological University,Caotan Town,Weiyang District,Xi’an 710021,Shaanxi,P.R.China

Apedestriandetectionmethodbasedonrapidcascadeclassifier

GAOSong,DUQing-lan,CHENChao-bo

(CollegeofElectronicandInformationEngineering,Xi’anTechnologicalUniversity,Xi’an710021,China)

Abstract:Pedestrian detection is an important part of image processing and computer vision research, and it is usually used in the field of video surveillance and smart vehicles.Pedestrian images are vulnerable to the background,and using common methods such as frame difference and training classifier to detect pedestrian has problems such as low accuracy rate,algorithm complexity and poor real-time pedestrian detection.In this paper we use an improved frame-difference method to obtain the pedestrian movement information.Then we utilize histogram coordinates to divide the movement region correspondingly.Finally,the motion area is detected and recognized by training a double feature cascade classifier. Experimental results show that our method can effectively reduce false and missed phenomenon,the average detection time is reduced by 32.77 ms,and the average detection accuracy is increased by more than 10%.The recognition accuracy and speed are improved effectively.

Keywords:improvedframedifference;Haarfeature;Shapeletfeature;cascadeclassifier

1引言

靜態(tài)背景下的行人檢測(cè)通常采用背景減除、幀差法以及光流法等方法。研究人員在前人研究的基礎(chǔ)上不斷改進(jìn)，提出了一些新的方法。AbdelkadirMM等人[1]提出了一種基于子空間的背景建模方法，使背景模型適應(yīng)更多場(chǎng)景下的行人檢測(cè)。YinHong-peng[2]利用直接幀差法結(jié)合三幀差法，克服單純使用幀差法的漏檢情況。XiongJing-yi等人[3]通過引入擴(kuò)展相位相關(guān)技術(shù)對(duì)初始運(yùn)動(dòng)進(jìn)行預(yù)測(cè)，提高了光流法在大規(guī)模運(yùn)動(dòng)和強(qiáng)大的噪聲影響的圖像中的檢測(cè)率。

對(duì)行人的識(shí)別通常采用基于模板匹配的方法、基于統(tǒng)計(jì)學(xué)和特征提取的方法以及近幾年出現(xiàn)的基于神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)等方法。國內(nèi)外研究學(xué)者多年來一直致力于研究如何提高行人識(shí)別的準(zhǔn)確率。JinLi-zuo等人[4]提出了基于分層模型的模板匹配方法，在對(duì)象遮擋的情況下進(jìn)行行人的檢測(cè)識(shí)別。曲永宇等人[5]提出了HOG特征結(jié)合顏色特征的行人檢測(cè)算法，提高了檢測(cè)精度。李良等人[6]提出了基于LBP層次特征提取的方法，在人臉表情識(shí)別的領(lǐng)域有很好的適用性。張彥峰等人[7]提出了M-AsyAdaBoost算法，通過新的樣本權(quán)重分配方法，提高訓(xùn)練器的識(shí)別能力。XiaLi-min等人[8]利用立體視覺和神經(jīng)網(wǎng)絡(luò)的方法進(jìn)行行人識(shí)別，克服了傅里葉變換的不足，有良好的重構(gòu)性和多分辨分析的功能，提高了有效性。

本文基于前期的學(xué)習(xí)研究，提出了一種基于改進(jìn)型幀差法的快速級(jí)聯(lián)分類器算法，利用改進(jìn)型幀差法獲取行人運(yùn)動(dòng)信息，確定行人區(qū)域的邊界坐標(biāo)，獲取行人運(yùn)動(dòng)區(qū)域，通過訓(xùn)練雙特征級(jí)聯(lián)分類器檢測(cè)行人運(yùn)動(dòng)區(qū)域，完成行人的識(shí)別與標(biāo)記。

2方法

2.1改進(jìn)型幀差法

靜態(tài)背景下的行人運(yùn)動(dòng)分析通常采用幀間差分法，對(duì)相鄰兩幀圖像做差分運(yùn)算并利用它們之間的相關(guān)性獲取運(yùn)動(dòng)目標(biāo)。例如，假設(shè)Fk-1(x,y)和Fk(x,y)分別為視頻序列中連續(xù)的兩幀，差分后的圖像的表達(dá)式為Dk(x,y)，計(jì)算過程如下：

(1)

閾值T的選取可以依據(jù)經(jīng)驗(yàn)指定某一數(shù)值，本文采用最大類間方差法即大律法。該方法是由日本學(xué)者大律提出的，是一種自適應(yīng)的閾值確定方法。假設(shè)前景像素點(diǎn)占圖像總點(diǎn)數(shù)的比例為x，平均灰度為Ux，背景點(diǎn)數(shù)占圖像的比例為y，平均灰度為Uy，則圖像總的平均灰度U=xUx+yUy，前景圖像與背景圖像的方差計(jì)算公式如下：

(2)

即D=xy(Ux-Uy)(Ux-Uy)，當(dāng)方差D最大時(shí)背景和前景的差異最大，此時(shí)的灰度值即為最佳閾值T。將Dk(x,y)與選取的閾值T比較，

當(dāng)Yk(x,y)為0時(shí)，此時(shí)圖像為背景圖像，當(dāng)Yk(x,y)為1時(shí)，此時(shí)圖像為前景圖像。

實(shí)驗(yàn)選取在校園內(nèi)拍攝到的一組視頻共378幀進(jìn)行幀差運(yùn)算，截取其中相鄰的240、241兩幀(如圖1、圖2所示)，幀差運(yùn)算后的圖像(如圖3所示)。從圖3可以觀察到行人的大致輪廓，然而此時(shí)的行人輪廓不夠清晰完整。因此，要對(duì)幀差后的結(jié)果進(jìn)行改進(jìn)，對(duì)其進(jìn)行對(duì)減反轉(zhuǎn)以及形態(tài)學(xué)的處理，二值化的圖像進(jìn)行先腐蝕后膨脹的運(yùn)算，行人的邊界被填充，高斯濾波去除噪聲，此時(shí)可以獲得較為完整的行人信息(如圖4所示)。

Figure 1　Section 240 of video sequence 圖1　視頻序列第240幀

Figure 2　Section 241 of video sequence 圖2　視頻序列第241幀

Figure 3　Computation result of frame difference 圖3　幀差運(yùn)算結(jié)果

Figure 4　Computation result of improved frame difference 圖4　改進(jìn)后的幀差運(yùn)算結(jié)果

2.2人體運(yùn)動(dòng)區(qū)域提取

經(jīng)過幀差運(yùn)算和形態(tài)學(xué)處理后的圖像可以看到行人的輪廓，差分圖像的直方圖中可以反映噪聲和運(yùn)動(dòng)目標(biāo)的統(tǒng)計(jì)特性，分別對(duì)水平方向和垂直方向做投影，獲取水平方向和垂直方向的直方圖，觀察波峰位置。以水平方向?yàn)槔?，記錄水平方向上左右兩個(gè)波峰的坐標(biāo)位置，將坐標(biāo)對(duì)應(yīng)到原圖中即為行人區(qū)域的左右邊界；同理通過垂直方向的直方圖投影，可以確定行人區(qū)域的上下邊界坐標(biāo)。如圖5所示，由圖5a的水平投影可以獲得運(yùn)動(dòng)區(qū)域的行坐標(biāo)的左右邊界，圖5b的垂直投影可以獲得運(yùn)動(dòng)區(qū)域的列坐標(biāo)的上下邊界。

Figure 5　Horizontal and vertical projection histogram for movement area 圖5　運(yùn)動(dòng)區(qū)域的水平和垂直投影直方圖

Figure 7　Haar features 圖7　Haar特征

將直方圖獲得的邊界坐標(biāo)對(duì)應(yīng)到原圖中，分別獲取行人運(yùn)動(dòng)區(qū)域的左右和上下邊界，從而將行人圖像的范圍縮小至黑色框內(nèi)(如圖6所示)。分類器只需要在縮小的范圍內(nèi)進(jìn)行檢測(cè)識(shí)別，使得搜索范圍大大縮小，從而提高了運(yùn)算速度。

Figure 6　Pedestrian movement area 圖6　行人運(yùn)動(dòng)區(qū)域

2.3特征選取

常用的人體特征描述子主要有Haar特征[9]、HOG特征、Shapelet特征、edgelet特征以及LBP局部特征算子[9]。Haar特征最早由Papa等人研究并且用于人臉識(shí)別，Dalal將HOG特征引入了行人識(shí)別分析的領(lǐng)域，YaoW等人將Shapelet特征與Haar特征相結(jié)合用于行人檢測(cè)[9],Deren提出的edgelet特征[9]，可以檢測(cè)行人的邊緣特征，Ojala提出了LBP局部算子[9]，通過局部的特征識(shí)別行人。Haar特征是一種基于灰度的矩形特征，常用的分為四類：水平特征、線性特征、點(diǎn)特征和對(duì)角特征，本文從水平、垂直、45°等幾個(gè)不同的方向?yàn)閯澐值乃悸?，形?1種特征矩形，如圖7所示。

矩形特征的特征值是用來表示行人區(qū)域與背景區(qū)域的灰度值的對(duì)比度，這個(gè)數(shù)值越大則表明對(duì)比度越強(qiáng)烈，邊緣特征越明顯，極有可能存在行人。特征值的計(jì)算如公式(3)所示：

(3)

其中，F(xiàn)表示的是整個(gè)矩形特征的特征值，u表示的是白色區(qū)域與黑色區(qū)域的倍數(shù)關(guān)系，S(x,y)表示的是像素點(diǎn)(x,y)的灰度值，A表示的是黑色區(qū)域，B表示的是白色區(qū)域。

edgelet特征是一種邊緣特征，如圖8所示，該特征描述子通過計(jì)算圖中像素點(diǎn)的法向量和法向量的內(nèi)積，分析各局部像素點(diǎn)之間的關(guān)系來檢測(cè)，是一個(gè)局部特征而非整體特征。利用edgelet特征計(jì)算選取的某個(gè)點(diǎn)(x,y)特征值，它的響應(yīng)特征值P的計(jì)算如公式(4)所示：

(4)

Figure 8　edgelet features 圖8　edgelet特征

除了以上兩種特征描述子之外，還有HOG特征描述子以及LBP特征描述子，對(duì)比常用的幾種特征描述子，HOG特征維度較高、計(jì)算復(fù)雜，LBP特征在圖像模糊或者光照強(qiáng)度變化較為明顯的時(shí)候不適用。Haar特征在矩形特征明顯的時(shí)候有較高的檢測(cè)率，edgelet特征對(duì)于局部的輪廓方向較為敏感。單獨(dú)使用一個(gè)特征描述子有時(shí)只能在某一個(gè)特征較為明顯的時(shí)候有高的檢測(cè)率。因此，使用混合特征可以從不同方面來刻畫圖像的特征，從而提高行人的檢測(cè)識(shí)別率，因此本文采用Haar特征結(jié)合edgelet特征的雙特征描述子訓(xùn)練分類器。

2.4級(jí)聯(lián)分類器

在工程實(shí)際中，如果要直接構(gòu)造一個(gè)具有高分類精度的強(qiáng)分類器很難，通?？梢圆捎肂oosting算法。它是一種框架算法，首先通過訓(xùn)練已有的樣本獲得一個(gè)弱分類器，要求該分類器要比隨機(jī)預(yù)測(cè)的性能好；然后把得到的弱分類器分別加入Boosting的算法框架中，形成一個(gè)強(qiáng)分類器。但是，Boosting算法要預(yù)先知道弱分類器的正確率的下限，這些先驗(yàn)知識(shí)的獲取很難，因此又提出了AdaBoost算法。它是一種可以調(diào)整投票權(quán)重的算法，通過計(jì)算每次迭代過程中每一個(gè)弱分類器的分類錯(cuò)誤來調(diào)整其在強(qiáng)分類器中的權(quán)重。

本文級(jí)聯(lián)分類器的設(shè)計(jì)思路如圖9所示。

Figure 9　Constitute of cascade classifier 圖9　級(jí)聯(lián)分類器構(gòu)成

算法步驟如下所述：

輸入：訓(xùn)練樣本集合

A={(x1,y1),(x2,y2),…,(xn,yn)},xi∈X,yi∈Y,

迭代次數(shù)N。

初始化：權(quán)重分布向量Dt(i)=1/n,i=1,2,…,n，設(shè)定訓(xùn)練誤差的期待值為σ；

執(zhí)行:Fort=1,2,…,N

(1)按照分布Dt(i)對(duì)A進(jìn)行抽樣，產(chǎn)生At；

(3)計(jì)算Wt對(duì)A訓(xùn)練的誤差:

其中，I為布爾函數(shù)， 1表示真， 0表示假；

Ifεt<σ，則輸出分類器Wt。

本文通過引入雙特征的弱分類器，計(jì)算不同特征所對(duì)應(yīng)的訓(xùn)練誤差，增加錯(cuò)誤的分類器權(quán)重，減小正確的分類器權(quán)重，當(dāng)訓(xùn)練誤差降低到足夠小時(shí)，可以輸出一個(gè)強(qiáng)分類器，這一過程實(shí)際上就是每一個(gè)弱分類器對(duì)結(jié)果進(jìn)行加權(quán)投票。然而弱分類器可能會(huì)對(duì)同一個(gè)目標(biāo)重復(fù)檢測(cè)，因此需要對(duì)結(jié)果進(jìn)行合并，對(duì)邊界有相交的檢測(cè)結(jié)果，取其頂點(diǎn)的最大值和最小值作為新的頂點(diǎn)，從而合并為一個(gè)結(jié)果。

3實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)選取校園內(nèi)的多處不同地點(diǎn)進(jìn)行視頻采集，在OpenCV中編寫程序進(jìn)行算法檢測(cè)，完成行人的檢測(cè)識(shí)別。選取其中比較有代表性的兩組圖像展示實(shí)驗(yàn)結(jié)果，檢測(cè)結(jié)果由黑色矩形框出，第一組視頻是在圖書館南側(cè)拍攝的，視頻總長(zhǎng)度為378幀，截取其中的第232幀展示運(yùn)算結(jié)果(圖10～圖12);第二組視頻是在教2樓東側(cè)拍攝的，視頻總長(zhǎng)度為198幀，截取其中第175幀展示結(jié)果(圖13～圖15)。

Figure 10　Section 232 of video sequence 1 圖10　視頻1第232幀原圖

Figure 11　Result of common frame difference method 圖11　普通幀差法結(jié)果圖

Figure 12　Result of the proposed algorithm 圖12　本文算法結(jié)果圖

Figure 13　Section 175 of video sequence 2 圖13　視頻2第175幀原圖

Figure 14　Result of common frame difference method 圖14　普通幀差法結(jié)果圖

Figure 15　Result of the proposed algorithm 圖15　本文算法結(jié)果圖

圖11和圖14是采用普通幀差法結(jié)合AdaBoost算法進(jìn)行行人檢測(cè)的結(jié)果，圖12和圖15為本文采用的方法。通過觀察實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，第一組實(shí)驗(yàn)中混疊的行人在圖11中沒有被檢測(cè)出來，圖12中檢測(cè)了出來，圖11中漏檢的遠(yuǎn)端的行人在圖12中也被檢測(cè)了出來。第二組實(shí)驗(yàn)中發(fā)生混疊的行人在圖14中沒有被檢測(cè)出來，圖15則檢測(cè)了出來，因此改進(jìn)了的幀差法降低了行人的漏檢率，提高了行人檢測(cè)識(shí)別的準(zhǔn)確率。但是，圖11中位于圖像右側(cè)幾乎完全重疊的兩個(gè)行人沒有被檢測(cè)出來，因此算法今后還要在以上兩個(gè)方面做進(jìn)一步的改進(jìn)，研究如何在行人幾乎完全重疊的情況下進(jìn)行檢測(cè)識(shí)別。分別選取視頻序列中的連續(xù)80幀，記錄出現(xiàn)的總行人數(shù)，記錄本文方法與單純采用幀差法各自檢測(cè)出的行人總數(shù)，對(duì)比兩種方法的檢測(cè)準(zhǔn)確率。其中第一組實(shí)驗(yàn)的80幀總?cè)藬?shù)為561人，第二組實(shí)驗(yàn)的80幀總?cè)藬?shù)為317人，由表1中數(shù)據(jù)可以看出，第一組實(shí)驗(yàn)檢測(cè)率提高了10.22%，第二組實(shí)驗(yàn)檢測(cè)率提高了20.50%。

Table 1　 Comparison of detection accuracy between

對(duì)比本文方法與單純采用AdaBoost訓(xùn)練分類器方法的運(yùn)算速度，由表2中數(shù)據(jù)可以發(fā)現(xiàn)，第一組實(shí)驗(yàn)的運(yùn)算速度由120.45ms減少至87.76ms，運(yùn)算速度提高了32.69ms;第二組實(shí)驗(yàn)的運(yùn)算速度由105.38ms減少至72.53ms，運(yùn)算速度提高了32.85ms，運(yùn)算速度平均提高了32.77ms，因此滿足了實(shí)時(shí)性的要求。

Table 2　 Comparison of computational speed between

4結(jié)束語

(1)本文通過改進(jìn)型幀差法提取運(yùn)動(dòng)區(qū)域，減小了分類器需要檢測(cè)的區(qū)域大小和背景圖像的干擾，從而降低了檢測(cè)的錯(cuò)誤率，檢測(cè)速度得以加快。

(2)本文通過訓(xùn)練雙特征的級(jí)聯(lián)分類器，提高了分類器識(shí)別的準(zhǔn)確率。

(3)經(jīng)過仿真結(jié)果驗(yàn)證，本文提出的方法提高了檢測(cè)準(zhǔn)確率，運(yùn)算速度得以加快。

參考文獻(xiàn):

[1]AbdelkadirMM.Researchondetectingmovingobjectsusingbackgroundsubtractionandframedifference[D].Harbin：HarbinEngineeringUniversity,2012.

[2]YinHong-peng,ChaiYi,YangSX,etal.Fast-movingtargettrackingbasedonmeanshiftandframe-differencemethods[J].JournalofSystemsEngineeringandElectronics, 2011,22(4).587-592.

[3]XiongJing-yi,LuoYu-pin,TangGuang-rong.Animprovedopticalflowmethodforimageregistrationwithlarge-scalemovements[J].ActaAutomaticaSinica, 2008,34(7):760-764.

[4]JinLi-zuo,WuTi-rui,LiuFeng,etal.Hierarchicaltemplatematchingforrobustvisualtrackingwithsevereocclusions[C]//ProcofZTECommunications, 2012:54-59.

[5]QuYong-Yu,LiuQing,GuoJian-ming,etal.PedestriandetectionbaesdonHOGandcolorfeatures[J].JournalofWuhanUniversityofTechnology, 2011,33(4):134-138.(inChinese)

[6]LiLiang,GaoNa.ExpressionrecognitionalgorithmbasedonthecharacteristicsofLBPlevel[J].JournalofHenanPolytechnicUniversity(NaturalScience), 2013,32(6):732-735.(inChinese)

[7]ZhangYan-feng,HePei-kun.Animprovedalgorithm-M-AsyAdaBoost[J].TransactionsofBeijingInstituteofTechnology, 2011,31(1):64-73.(inChinese)

[8]XiaLi-min,WangQian,WuLian-shi.Vision-basedbehaviorpredictionofballcarrierinbasketballmatches[J].JournalofCentralSouthUniversity, 2012,19(2):2142-2151.

[9]GaoYu.HumanmovementdetectionbasedonHaarfeature[D].Changchun:JilinUniversity, 2013.(inChinese)

參考文獻(xiàn)：附中文

[5]曲永宇，劉清，郭建明，等.基于HOG和顏色特征的行人檢測(cè)[J].武漢理工大學(xué)學(xué)報(bào)，2011,33(4):134-138.

[6]李良，高娜.基于LBP層次特征的表情識(shí)別算法[J].河南理工大學(xué)學(xué)報(bào)(自然科學(xué)版)，2013,32(6):732-735.

[7]張彥峰，何佩琨.一種改進(jìn)的AdaBoost算法-M-AsyAdaBoost[J].北京理工大學(xué)學(xué)報(bào)，2011,31(1):64-73.

[9]高宇.基于Haar特征的運(yùn)動(dòng)人體檢測(cè)[D].長(zhǎng)春：吉林大學(xué)，2013.

高嵩(1966-),男,湖北安陸人，博士，教授，研究方向?yàn)閺?fù)雜系統(tǒng)智能控制和自主智能體技術(shù)。E-mail:gaosong@xatu.edu.cn

GAOSong,bornin1966,PhD,professor,hisresearchinterestsincludeintelligentcontrolofcomplexsystems，andautonomousagenttechnology.

杜晴嵐(1989-),女,陜西富平人，碩士生，研究方向?yàn)樾腥藱z測(cè)與識(shí)別。E-mail:wo450498056@yeah.net

DUQing-lan,bornin1989,MScandidate,herresearchinterestincludespedestriandetectionandrecognition.

陳超波(1978-),男,浙江寧波人，碩士，副教授，研究方向?yàn)榭刂评碚撆c控制工程。E-mail:choby@xatu.edu.cn

CHENChao-bo,bornin1978,MS,associateprofessor,hisresearchinterestsincludecontroltheory,andcontrolengineering.