趙金金，姚漢利，鮑文霞

(安徽大學(xué) 電子信息工程學(xué)院,安徽 合肥 230601)

基于部件模型及顏色信息的行人檢測(cè)

趙金金，姚漢利，鮑文霞

(安徽大學(xué) 電子信息工程學(xué)院,安徽 合肥 230601)

行人識(shí)別是人工智能與模式識(shí)別領(lǐng)域內(nèi)一個(gè)新興的研究方向，具有極其廣泛的應(yīng)用前景。但是由于人體是一個(gè)非剛性的運(yùn)動(dòng)體，相對(duì)普通物體的檢測(cè)增加了不少難度?？勺冃尾考Ｐ退惴▽?duì)行人檢測(cè)有著不錯(cuò)的效果，在此基礎(chǔ)上提出了一種對(duì)傳統(tǒng)的部件模型的改進(jìn)方法，彌補(bǔ)了顏色特征在行人檢測(cè)時(shí)的丟失。其基本思想是：使用傳統(tǒng)的DPM方法對(duì)待檢測(cè)窗口進(jìn)行檢測(cè)，然后判斷檢測(cè)的得分是否屬于可疑區(qū)間,如果屬于則進(jìn)一步使用基于顏色特征的分類器對(duì)可疑區(qū)域進(jìn)行檢測(cè)，判斷結(jié)果由兩次的決策值共同決定。在INRIA數(shù)據(jù)庫(kù)的檢測(cè)結(jié)果表明，基于多決策的行人檢測(cè)方法能夠在幾乎不影響檢測(cè)速度的同時(shí)提髙檢測(cè)準(zhǔn)確率，為精準(zhǔn)地對(duì)圖片或視頻中的行人做進(jìn)一步的分析提供了有利的基礎(chǔ)。

行人檢測(cè)；色彩空間；可變形部件模型；可疑區(qū)間；多決策

1 概 述

行人目標(biāo)的識(shí)別與檢測(cè)技術(shù)是對(duì)行人做視覺(jué)分析的基礎(chǔ)，只有在此基礎(chǔ)之上人們才可以進(jìn)一步對(duì)人體行為理解、高級(jí)人機(jī)接口、人體運(yùn)動(dòng)分析、智能監(jiān)控以及智能駕駛系統(tǒng)[1]等領(lǐng)域進(jìn)行深入研究。因此，行人檢測(cè)逐漸成為模式識(shí)別和計(jì)算機(jī)視覺(jué)領(lǐng)域中的研究熱點(diǎn)。

行人檢測(cè)的主要內(nèi)容是利用計(jì)算機(jī)視覺(jué)技術(shù)，在無(wú)人干預(yù)的情況下，對(duì)視頻圖像進(jìn)行分析和處理，并從中提取有用信息，實(shí)現(xiàn)對(duì)動(dòng)態(tài)場(chǎng)景中行人的定位、跟蹤和識(shí)別。但是由于人體是非剛性的，四肢和各個(gè)關(guān)節(jié)可以呈現(xiàn)很多角度的轉(zhuǎn)動(dòng)及伸展，所以人體可以呈現(xiàn)的姿態(tài)千變?nèi)f化，在檢測(cè)時(shí)如果用單一固定的檢測(cè)模板通常效果并不理想。目前行人檢測(cè)的方法大多數(shù)是基于機(jī)器學(xué)習(xí)，其主要包含兩個(gè)方面，一個(gè)是特征描述算子，另一個(gè)是學(xué)習(xí)方法。對(duì)于人體特征通常又分成三大類[2]：底層特征、組合特征和深度學(xué)習(xí)特征。底層特征是指邊緣、紋理和顏色等圖像的基本特征;組合特征是多種底層特征的組合,或是底層特征的高階統(tǒng)計(jì)特征;深度學(xué)習(xí)特征是指通過(guò)深度學(xué)習(xí)從圖像原始數(shù)據(jù)中學(xué)習(xí)到的特征。特征描述算子HOG[3]是當(dāng)前使用特別廣泛的底層特征[4-6]，它刻畫了圖像局部梯度值和方向。為了能夠較好地讓模型去適應(yīng)物體的變化，可變形部件模型[7]是在HOG的基礎(chǔ)上添加部件模型的一種改進(jìn)算法。由于部件模型算法在進(jìn)行行人識(shí)別時(shí)對(duì)顏色空間信息的丟失，提出了利用顏色空間信息RGB與DPM算法相結(jié)合的行人檢測(cè)算法，增加RGB檢測(cè)可以在一定程度上提高檢測(cè)的準(zhǔn)確性。

具體的算法流程如圖1所示。其中，S0為部件模型檢測(cè)得分；T為閾值；sp為可疑區(qū)間；S1為顏色空間檢測(cè)得分。

圖1 算法流程

2 基于DPM模型的目標(biāo)識(shí)別

可變形部件模型(DPM)是Felzenszwalb等提出的一種非常成功的目標(biāo)檢測(cè)算法，曾在PASCAL VOC中連續(xù)獲得07，08，09年的檢測(cè)冠軍。選擇DPM是由于人體姿態(tài)的多樣性以及個(gè)體差異，傳統(tǒng)固定的單一模型對(duì)復(fù)雜人體的匹配有較大的不足，而DPM在HOG行人檢測(cè)框架[8]的基礎(chǔ)上引入了可變形部件，這樣就能夠讓模型去適應(yīng)物體的變化。

特征描述器具體的訓(xùn)練過(guò)程簡(jiǎn)述如下：

(1)將圖像分成小的連通區(qū)域，叫做細(xì)胞單元(cell)；

(2)采集細(xì)胞單元中各像素點(diǎn)的梯度或邊緣的方向直方圖[9]；

(3)在多個(gè)細(xì)胞單元內(nèi)進(jìn)行對(duì)比度歸一化，然后組合這些直方圖就可以構(gòu)成特征描述器。

DPM模型包括一個(gè)覆蓋整個(gè)目標(biāo)的粗糙的根濾波器(見(jiàn)圖2(a))和若干個(gè)表示目標(biāo)各個(gè)部件的高分辨率的部件濾波器(見(jiàn)圖2(b))。根過(guò)濾器能夠在較粗糙的分辨率上近似覆蓋整個(gè)目標(biāo)物體，部件過(guò)濾器是在更高分辨率上覆蓋物體中較小的部件。如建立人臉的模型，根濾波器捕捉的是整個(gè)人臉邊界這些粗糙信息，部件濾波器可以捕捉眼睛、鼻子、嘴這些細(xì)節(jié)信息。

圖2 DPM行人模型

DPM模型使用了多尺度特征金字塔(multi-scale feature pyramid)在不同的伸縮尺度中提取特征，這樣訓(xùn)練出的模版也是多尺度的，因此能夠適應(yīng)待檢測(cè)圖片的大小在一定尺度上的伸縮變化。

目標(biāo)的檢測(cè)主要根據(jù)待檢測(cè)目標(biāo)和人體模型的匹配得分來(lái)判斷。目標(biāo)假設(shè)的得分等于每個(gè)濾波器在各自位置的得分減去此位置相對(duì)于根位置的變形花費(fèi)(deformation cost)再加上偏差值，其中位置的變形花費(fèi)衡量了部件偏離其理想位置的程度：

(1)

其中，F(xiàn)i為第i個(gè)部件的濾波器；H為特征金字塔；pi=(xi,yi,li)為第i個(gè)濾波器所在的層和位置坐標(biāo)；di為部件的每個(gè)可能位置相對(duì)于錨點(diǎn)位置的變形花費(fèi)；(dxi,dyi)給出了第i個(gè)部件相對(duì)于其錨點(diǎn)位置的位移：

(dxi,dyi)=(xi,yi)-(t·(x0,y0)+vi)

(2)

其中，(x0,y0)是根濾波器在其所在層的坐標(biāo)；部件濾波器的分辨率是根濾波器的t倍，所以為了統(tǒng)一到部件濾波器所在層需乘以t；vi為部件i的錨點(diǎn)相對(duì)于根的坐標(biāo)偏移。

使用非極大值抑制方法對(duì)每個(gè)檢測(cè)框進(jìn)行整合后,得到一個(gè)得分圖,每個(gè)分?jǐn)?shù)代表對(duì)象位于這個(gè)位置的可能性。

3 顏色空間

根據(jù)不同的應(yīng)用可以把顏色空間分為以下三大類：TV系統(tǒng)顏色空間、計(jì)算機(jī)圖像顏色空間、國(guó)際照明委員會(huì)顏色空間(International Commission on Illumination,CIE)。TV顏色包括YUV、YIQ和YCbCr等，計(jì)算機(jī)圖像顏色包括HSV、HIS和RGB等，Cffi顏色包括LUV、XYZ和Lab等。Wang等[10]在比較各種顏色空間用于行人檢測(cè)之后，得出結(jié)論:OE-Lab、CIE-LUV、HSV、HSI對(duì)于行人檢測(cè)有很好的效果。文中分別采用LUV和RGB，根據(jù)文獻(xiàn)[11]中提出的色彩空間的特征提取方法進(jìn)行檢測(cè)實(shí)驗(yàn)。

3.1cell直方圖計(jì)算

首先將訓(xùn)練樣本(或待檢測(cè)窗口)分割成無(wú)重疊的單個(gè)cell。分別計(jì)算每個(gè)cell的累計(jì)直方圖，其中直方圖由這個(gè)cell中所有顏色通道的連接而得。然后對(duì)cell中的直方圖進(jìn)行歸一化，最終得到的一幅包含整個(gè)樣本的Cell-histogram圖。具體操作時(shí)，將圖片分割成12*5個(gè)cell。

3.2方向?yàn)V波

根據(jù)文獻(xiàn)[11]提出的方法，定義了4種方向?yàn)V波，在每種濾波器下分別計(jì)算臨近c(diǎn)ell的直方圖不相似度，具體計(jì)算如下：

d(i,j,k)=dissim(celli,j,cellik,jk)

(3)

其中，k(k∈{1,2,3,4})表示濾波器的種類，如圖3所示；celli,j表示圖像中位于i行j列的cell的顏色累計(jì)直方圖；(ik,jk)表示針對(duì)不同濾波器相對(duì)于celli,j的偏移位置。

dismiss(·)選用的是直方圖相交的方式進(jìn)行匹配，具體計(jì)算如下：

(4)

圖3 4種方向?yàn)V波

3.3池化

實(shí)驗(yàn)中使用最大池去篩選所有方向?yàn)V波器下的最大不相似度。這是因?yàn)樯窠?jīng)元之間存在CRF[12]的抑制效果,所以通過(guò)最大池去增加特征的空間不變性。具體的池化操作如下：

H(i,j,k)=max(d(m,n,k))

( 5 )

其中，k∈{1,2,3,4}。I,J分別為由i和j擴(kuò)展所得針對(duì)k的不同取值，對(duì)應(yīng)的I,J有下列規(guī)定：

(6)

H作為最終的顏色特征用作訓(xùn)練分類器以及在待檢測(cè)窗口進(jìn)行檢測(cè)。

4 定義可疑區(qū)間

當(dāng)利用可變形部件模型檢測(cè)到的分?jǐn)?shù)S0大于閾值時(shí)，判斷S0是否屬于所定義的可疑區(qū)間，若不屬于，結(jié)束判斷，若屬于，就重新對(duì)DPM判定為行人的區(qū)域進(jìn)行RGB或者LUV顏色空間的檢測(cè)并得到檢測(cè)得分S1。若S1大于0，則判定檢測(cè)窗口是行人；若S1小于0，則判斷非行人。具體流程見(jiàn)圖1。實(shí)驗(yàn)選取了4個(gè)可疑區(qū)間(sp)進(jìn)行對(duì)比。其中sp的取值范圍如下：

sp≤P(P=-0.4,0,0.4,0.8)

(7)

5 實(shí)驗(yàn)結(jié)果與分析

文中訓(xùn)練數(shù)據(jù)采用的是INRIA數(shù)據(jù)集，選取正樣本為INRIA訓(xùn)練集中所有2 416個(gè)行人，負(fù)樣本為1 218個(gè)；測(cè)試集為INRIA測(cè)試集中所有圖片，其中正樣本568，負(fù)樣本462個(gè)。

5.1判斷標(biāo)準(zhǔn)

實(shí)驗(yàn)使用重疊率作為行人是否準(zhǔn)確定位的標(biāo)準(zhǔn)。重疊率的定義為檢測(cè)結(jié)果與真實(shí)值之間重疊區(qū)域的大小占它們之和的百分比：

(8)

其中，Rd表示對(duì)同一目標(biāo)使用NMS[13]合并之后的有效框；Rg表示數(shù)據(jù)庫(kù)標(biāo)記的行人區(qū)域。

重疊率的閾值固定為0.5，當(dāng)檢測(cè)到的roverlap大于閾值時(shí)，則判定該有效框?qū)儆赥rue Positive,否則判定為False Positive。

5.2顏色空間的對(duì)比

在RGB顏色空間中，使用LIBSVM[14]對(duì)顏色空間進(jìn)行訓(xùn)練，參數(shù)設(shè)置為‘-s 1 -t 0 -c 0.1 -g 0.8’。實(shí)驗(yàn)時(shí)將檢測(cè)窗口固定為每9*9為一個(gè)cell,分別對(duì)不同窗口大小對(duì)準(zhǔn)確度的影響進(jìn)行實(shí)驗(yàn)。如表1所示，將窗口分割成12*5個(gè)cell時(shí)準(zhǔn)確率較高。

表1 不同的窗口大小對(duì)準(zhǔn)確度的影響

使用同樣的訓(xùn)練參數(shù)以及12*5個(gè)cell作為窗口大小，實(shí)驗(yàn)中分別就顏色空間的LUV和RGB特征單獨(dú)在INRIA數(shù)據(jù)庫(kù)上進(jìn)行檢測(cè)，LUV特征的準(zhǔn)確率為81.89%，而RGB的準(zhǔn)確率達(dá)到87.004%，結(jié)果表明RGB特征在INRIA數(shù)據(jù)庫(kù)中的檢測(cè)效果優(yōu)于LUV特征。

5.3整體的實(shí)驗(yàn)效果

在DPM檢測(cè)部分使用作者訓(xùn)練好的INRIA模型，閾值T的取值范圍T∈(-1,-0.8,…,0.8)。然后對(duì)不同的可疑區(qū)間進(jìn)行對(duì)比。實(shí)驗(yàn)表明，在RGB空間中，發(fā)現(xiàn)在可疑區(qū)間p=0時(shí)，效果最好，而在LUV空間中，p=-0.4效果最好。

實(shí)驗(yàn)分別對(duì)比了p=-0.4的LUV空間和p=0的RGB空間在INRIA數(shù)據(jù)庫(kù)下的檢測(cè)效果。實(shí)驗(yàn)結(jié)果表明，在LUV空間中，DPM-LUV的效果和DPM效果相差不是特別大，而在RGB空間中，DPM-RGB的效果相對(duì)傳統(tǒng)的DPM來(lái)說(shuō)有了一定的進(jìn)步，如圖4和圖5所示。

圖4 整體的實(shí)驗(yàn)效果對(duì)比

圖5 DPM和DPM-RGB在INRIA測(cè)試集上的實(shí)驗(yàn)效果

6 結(jié)束語(yǔ)

文中分析了行人檢測(cè)中由于行人非剛性所造成的檢測(cè)難點(diǎn)，結(jié)合實(shí)驗(yàn)效果較好的DPM算法和顏色空間的算法進(jìn)行行人檢測(cè)，分別在RGB空間和LUV空間設(shè)定不同的可疑區(qū)間進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果表明，在INRIA數(shù)據(jù)庫(kù)中，DPM-RGB的檢測(cè)效果取得了一定的提升，有效減少了False Positive,但是會(huì)增加少量的Miss。下一步將嘗試在RGB空間中使用不同的濾波進(jìn)行檢測(cè)以及對(duì)多決策條件進(jìn)行優(yōu)化。

[1] 賈慧星,章毓晉.車輛輔助駕駛系統(tǒng)中基于計(jì)算機(jī)視覺(jué)的行人檢測(cè)研究綜述[J].自動(dòng)化學(xué)報(bào),2007,33(1):84-90.

[2] 萬(wàn)雪飛.基于雙人體可變形部件模型的深層人體檢測(cè)[D].大連:大連海事大學(xué),2016.

[3] Dalal N,Triggs B.Histograms of oriented gradients for human detection[C]//IEEE computer society conference on computer vision and pattern recognition.Washington DC:IEEE,2005:886-893.

[4] 孫 昀,劉富強(qiáng),李志鵬.基于空間梯度直方圖的行人檢測(cè)算法[J].中國(guó)圖象圖形學(xué)報(bào),2008,13(10):1825-1828.

[5] 黃 茜,顧杰峰,楊文亮.基于梯度向量直方圖的行人檢測(cè)[J].科學(xué)技術(shù)與工程,2009,9(13):3646-3651.

[6] 李夢(mèng)涵,熊淑華,熊 文,等.多尺度級(jí)聯(lián)行人檢測(cè)算法的研究與實(shí)現(xiàn)[J].計(jì)算機(jī)技術(shù)與發(fā)展,2014,24(8):10-13.

[7] Felzenszwalb P F, Girshick R B,Mcallester D,et al.Object detection with discriminatively trained part-based models[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2010,32(9):1627-1645.

[8] Jiménez P G,Bascón S M,Moreno H G,et al.Traffic sign shape classification and localization based on the normalized FFT of the signature of blobs and 2D homographies[J].Signal Processing,2008,88(12):2943-2955.

[9] Dalal N.Finding people in images and videos[D].France:Institut National Polytechnique de Grenoble-INPG,2006.

[10] Wang Q,Pang J,Liu G,et al.Color maximal-dissimilarity pattern for pedestrian detection[C]//Proceedings of the 21st international conference on pattern recognition.[s.l.]:[s.n.],2012:1952-1955.

[11] Wang Q,Pang J,Qin L,et al.Justifying the importance of color cues in object detection:a case study on pedestrian[M].[s.l.]:[s.n.],2013:387-397.

[12] Serre T,Wolf L,Bileschi S,et al.Robust object recognition with cortex-like mechanisms[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2007,29(3):411-426.

[13] Wojek C,Dollar P,Schiele B,et al.Pedestrian detection:an evaluation of the state of the art[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2012,34(4):743-761.

[14] Chang C C,Lin C J.LIBSVM:a library for support vector machines[J].ACM Transactions on Intelligent Systems and Technology,2011,2(3):1-27.

PedestrianDetectionBasedonPartModelandColorInformation

ZHAO Jin-jin，YAO Han-li，BAO Wen-xia

(School of Electronics and Information Engineering,Anhui University，Hefei 230601,China)

Pedestrian recognition is an emerging research in artificial intelligence and pattern recognition,and owns the extremely widespread application prospect.However,because the human body is a non-rigid body motion,it increases a lot of difficulty compared with ordinary objects detection.Deformable Part Model (DPM) algorithm has a good effect on pedestrian detection.On the basis of that,an improved algorithm for the traditional DPM is presented to makes up for the loss of color features in the pedestrian detection.Its thought is following:using the traditional DPM for detection of window,then judging whether the classification decision value belongs to the suspicious interval or not.If it does,the classifier based on RGB feature will make the further classification on characteristics,and the results are decided by the two decision values jointly.The experimental results in INRIA database show that the proposed algorithm can raise the detection accuracy without impact on detection speed,and provide the basis for further analysis of pedestrians in pictures or videos.

pedestrian detection;color space;deformable part model;suspicious interval;multiple decisions

2016-12-28

2017-04-28 < class="emphasis_bold">網(wǎng)絡(luò)出版時(shí)間

時(shí)間：2017-08-01

國(guó)家自然科學(xué)青年基金(61401001)

趙金金(1993-),男,碩士研究生,CCF會(huì)員(70493G),研究方向?yàn)閳D像處理和計(jì)算機(jī)視覺(jué)；鮑文霞,副教授,通訊作者,研究方向?yàn)橛?jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺(jué)。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170801.1559.082.html

TP391

A

1673-629X(2017)11-0058-04

10.3969/j.issn.1673-629X.2017.11.012