曾接賢,程 瀟

(南昌航空大學(xué)計(jì)算機(jī)視覺(jué)研究所,江西南昌 330063)

?

結(jié)合單雙行人DPM模型的交通場(chǎng)景行人檢測(cè)

曾接賢,程 瀟

(南昌航空大學(xué)計(jì)算機(jī)視覺(jué)研究所,江西南昌 330063)

針對(duì)日常交通場(chǎng)景下,行人目標(biāo)易被遮擋,影響行人檢測(cè)效果的問(wèn)題,提出一種結(jié)合單行人和雙行人DPM模型的交通場(chǎng)景行人檢測(cè)方法.該方法首先從INRIA、ETH等行人數(shù)據(jù)集中提取訓(xùn)練樣本的DPM特征,通過(guò)LatentSVM方法訓(xùn)練得到單、雙人DPM模型;然后采用分類(lèi)檢測(cè)方法,將交通場(chǎng)景行人分為單獨(dú)分布行人和混合分布行人兩類(lèi).檢測(cè)時(shí)首先使用雙行人模型SDP-DPM對(duì)目標(biāo)圖像進(jìn)行目標(biāo)匹配,如果沒(méi)有檢測(cè)到雙行人目標(biāo),則判定為單獨(dú)分布行人情況,轉(zhuǎn)而使用單行人模型SP-DPM進(jìn)行檢測(cè),并保存檢測(cè)結(jié)果;如果檢測(cè)到雙行人目標(biāo),則判定為混合分布行人情況,此時(shí)先保存對(duì)應(yīng)的雙行人濾波響應(yīng),再使用單行人模型進(jìn)行二次檢測(cè),并將兩次檢測(cè)的結(jié)果進(jìn)行加權(quán)結(jié)合.實(shí)驗(yàn)結(jié)果表明,本文算法能夠在行人相互遮擋嚴(yán)重的交通環(huán)境下,有效檢測(cè)出行人,整體精度優(yōu)于傳統(tǒng)的DPM算法和當(dāng)前行人檢測(cè)的主要流行算法.

行人檢測(cè);DPM;遮擋;交通場(chǎng)景

1 引言

行人檢測(cè)作為目標(biāo)檢測(cè)中的一個(gè)重要方面,由于其在輔助駕駛系統(tǒng)、視頻監(jiān)控以及機(jī)器人等領(lǐng)域的有效應(yīng)用,受到了工業(yè)和學(xué)術(shù)界的廣泛關(guān)注.近十年來(lái),行人檢測(cè)研究主要圍繞特征選取和分類(lèi)方式這兩個(gè)方向展開(kāi),其檢測(cè)精度趨于實(shí)用化、檢測(cè)速度趨于實(shí)時(shí)化[1].

行人檢測(cè)的特征主要分為基于梯度、顏色、輪廓三類(lèi),具體包括Haar-like[2]特征、形狀上下文[3]、頭肩檢測(cè)的Edgelet算子[4]、梯度直方圖HOG[5]以及最新的深度信息depth[6]等.其中,基于梯度的HOG(Histogram of Oriented Gradien)是目前使用最廣泛的行人特征描述子,該描述子對(duì)光照變化和目標(biāo)細(xì)小偏移的情況仍能有效刻畫(huà)出人體的邊緣特征.Dollar[7]對(duì)比了當(dāng)前幾種最高水平的行人檢測(cè)方法,結(jié)論表明沒(méi)有任何單一特征可超越HOG.針對(duì)HOG在行人目標(biāo)輪廓不清晰等情況下的檢測(cè)局限性,有學(xué)者選擇將局部二值模式LBP[8]、運(yùn)動(dòng)特征[9]、顏色特征[10]以及樣本共性的后驗(yàn)特征[11]作為額外特征與HOG算子結(jié)合,用于提供有效的補(bǔ)充信息.Wojek[12]將多種特征相融合,訓(xùn)練出一個(gè)新的檢測(cè)模型,雖然其表現(xiàn)超過(guò)了各類(lèi)單一檢測(cè)算子,但在行人目標(biāo)遮擋較嚴(yán)重的場(chǎng)景下依然無(wú)法滿足檢測(cè)要求.

行人檢測(cè)的分類(lèi)方法主要可分為線性分類(lèi)和非線性分類(lèi)兩類(lèi).傳統(tǒng)的SVM[7]和Adaboost[13]是線性分類(lèi)方法中的代表,它們?cè)谠缙诘腗IT行人數(shù)據(jù)集上達(dá)到了100%檢測(cè)的效果,但無(wú)法檢測(cè)姿勢(shì)變化復(fù)雜或受到遮擋的行人目標(biāo).非線性分類(lèi)方法中,文獻(xiàn)[14,15]都是通過(guò)將SVM與實(shí)際應(yīng)用場(chǎng)景特征相結(jié)合,提升了分類(lèi)性能.Walk[16]對(duì)ROC曲線區(qū)域的直接Boosting優(yōu)化,在INRIA數(shù)據(jù)集上得到了當(dāng)前最佳的FPPI結(jié)果,但在行人遮擋嚴(yán)重的數(shù)據(jù)集,如Caltech上的表現(xiàn)依舊不能讓人滿意.文獻(xiàn)[17]將多分類(lèi)器增強(qiáng)算法MCBoost(Multiple Classifier Boosting)使用到圖像和視覺(jué)特征上進(jìn)行協(xié)同聚類(lèi)(Co-Clustering),解決了行人檢測(cè)中多類(lèi)別和多視角問(wèn)題,但計(jì)算復(fù)雜度過(guò)高,檢測(cè)速度較慢.W.Ouyang[18]通過(guò)Deep Learning的分類(lèi)方法,為單行人被遮擋的部位和可見(jiàn)部位之間建立判別式深度模型,以此去估計(jì)檢測(cè)概率.Hosang[19]將多種特征引入深度卷積網(wǎng)絡(luò)中訓(xùn)練,拓寬行人檢測(cè)的特征選擇方式.Felzenszwalb[20]在傳統(tǒng)的HOG特征基礎(chǔ)上,提出包含可變部件的新的目標(biāo)檢測(cè)方法DPM(Deformable Part Model),相比于HOG特征,DPM在目標(biāo)遮擋情況下的檢測(cè)精度有一定程度的提高,他們雖然沒(méi)有從根本上解決遮擋問(wèn)題對(duì)行人檢測(cè)的影響,但為行人檢測(cè)提供了新的思路.

綜上所述,如何對(duì)存在遮擋的行人進(jìn)行有效檢測(cè),是當(dāng)前行人檢測(cè)研究的重點(diǎn).與傳統(tǒng)的選取行人可見(jiàn)部位提取特征的行人檢測(cè)方法不同,本文選擇將行人間的遮擋情況作為用于提高檢測(cè)效果的重要特征模型,采用改進(jìn)的DPM特征方法,訓(xùn)練出包含單人部件的雙人DPM模型,用于檢測(cè)傳統(tǒng)行檢算子不易檢測(cè)的雙行人遮擋目標(biāo),并根據(jù)交通場(chǎng)景下行人的分布狀態(tài),構(gòu)建單行人模型和雙行人模型相結(jié)合的并聯(lián)檢測(cè)方法.

2 檢測(cè)模型設(shè)計(jì)

為有效解決行人間遮擋因素對(duì)行人檢測(cè)的影響,針對(duì)人群的混合特征,尤其是雙行人間的遮擋情況,根據(jù)可變部件模型DPM,本文設(shè)計(jì)了三種行人檢測(cè)的特征模型:用于單行人目標(biāo)檢測(cè)的SP-DPM(Single Pedestrian Deformable Part Model)模型;用于雙行人遮擋目標(biāo)定位的DP-DPM(Double Pedestrian Deformable Part Model) 模型;以及用于分割出雙行人遮擋目標(biāo)中單個(gè)行人的SDP-DPM(Single Double Pedestrian Deformable Part Model)模型.

2.1 DPM特征

可變部件模型DPM是從HOG特征中發(fā)展所得.DPM特征除利用梯度算子計(jì)算樣本的梯度特征外,添加了彈簧變形模型概念,提出了分離檢測(cè)目標(biāo)對(duì)象的組件和部件的方法.每個(gè)DPM模型都包含一個(gè)根濾波器和n個(gè)可變部件濾波器,其中單個(gè)可變部件濾波器的分辨率是根濾波器的兩倍.由于根濾波器和部件濾波器的分辨率不同,因此對(duì)于待測(cè)樣本采集DPM特征,也可看做是對(duì)圖片在兩種不同分辨率下采集HOG特征.檢測(cè)算子進(jìn)行目標(biāo)匹配計(jì)算得分時(shí),使用滑動(dòng)窗口掃描法,檢測(cè)窗口的得分等于根濾波器與部件濾波器的得分之和.由于DPM采用的是多尺度的檢測(cè)方式,每個(gè)部件的得分是此部件的各個(gè)空間尺度位置得分的最大值,而每個(gè)部件的空間位置得分是部件在該子窗口上濾波器的得分減去變形花費(fèi).

對(duì)于單個(gè)部件的得分采用式(1)計(jì)算.

-di·φd(dx,dy))

(1)

式(1)的l表示特征金字塔第l層,Di,l(x,y)表示在點(diǎn)x,y處第個(gè)部件能達(dá)到的最大得分,Ri,l是該部件分類(lèi)器與對(duì)應(yīng)特征向量卷積后得到的響應(yīng)得分,di·φd(dx,dy)表示此部件相對(duì)中心位置的變形花費(fèi).

整個(gè)檢測(cè)窗口的得分采用式(2)計(jì)算.

(2)

2.2 單行人模型(SP-DPM)設(shè)計(jì)

INRIA數(shù)據(jù)集作為當(dāng)前使用最多的行人數(shù)據(jù)集,其訓(xùn)練集有正樣本614張,負(fù)樣本1218張,其中的行人目標(biāo)基本為站立行走狀態(tài),高度大小在(80～120)pix范圍.本文選擇INRIA行人訓(xùn)練集作為單行人樣本集,提取行人圖片的DPM特征,通過(guò)Felzenszwalb[20]的目標(biāo)訓(xùn)練方法進(jìn)行訓(xùn)練.訓(xùn)練所得單行人模型SP-DPM如圖1所示.

圖1(a)是根濾波器的可視化,圖1(b)是部件濾波器的可視化,由此可見(jiàn)根分類(lèi)器(濾波器)工作圖層的分辨率是部件濾波器工作圖層的分辨率的兩倍.圖1(c)是各部件中心相對(duì)于根濾波器位置的空間模型,白色濃度越大表示部件中心偏離根濾波器的位置越遠(yuǎn),即距離損失越大,它體現(xiàn)了彈簧形變的概念,可用于提高非剛體及遮擋物體的檢測(cè)效果.

2.3 雙行人模型(DP-DPM)設(shè)計(jì)

根據(jù)文獻(xiàn)[20]的描述,DPM方法具有應(yīng)用于行人檢測(cè)的潛力,然而,當(dāng)面向Caltech等交通行人數(shù)據(jù)庫(kù)時(shí),由于行人間互相遮擋的干擾,單行人DPM模型還無(wú)法得到足夠的檢測(cè)精度.本文面向一對(duì)存在互相遮擋的行人目標(biāo),將其中的遮擋行人和被遮擋行人聯(lián)合建立模型,訓(xùn)練出一種新的雙行人DPM模型.該模型共享可變部件和統(tǒng)一的根濾波器,可以實(shí)現(xiàn)雙行人定位.

2.3.1 雙行人樣本采集

據(jù)文獻(xiàn)[21]的統(tǒng)計(jì)調(diào)查,行人處于正常交通環(huán)境下時(shí),雙人行走的概率處于28～42%,其中對(duì)于車(chē)載拍攝角度,主要面對(duì)的是側(cè)面、正面和背面結(jié)伴的行人,而且正面和背面的行人模型比較相似.Tang[22]通過(guò)訓(xùn)練TUD數(shù)據(jù)集中側(cè)面遮擋的行人,一定程度降低了遮擋對(duì)行人檢測(cè)的影響.文獻(xiàn)[23]指出,結(jié)合多種數(shù)據(jù)集選取訓(xùn)練集的方法,能夠提高檢測(cè)的泛化能力.綜合上述兩點(diǎn)原因,本文選擇從TUD-Brussels和ETH兩種不同數(shù)據(jù)庫(kù)制作了專(zhuān)用的雙行人數(shù)據(jù)庫(kù).該雙行人數(shù)據(jù)庫(kù)拓展了Tang的訓(xùn)練方案,分別制作側(cè)面雙行人樣本和截取正面雙行人樣本.

側(cè)面雙行人樣本的制作過(guò)程如圖2所示:圖2(a)在TUD-Brussels數(shù)據(jù)庫(kù)中選取只包含單行人的原始圖片;圖2(b)采用顏色容差法,從原圖中提取出獨(dú)立的行人目標(biāo)樣本,其單個(gè)樣本大小為(30-120)pix;圖2(c)另選一張單行人樣本圖作為背景圖片;圖2(d)將提取出的單行人目標(biāo)融合到另一張單行人樣本圖中.

隨機(jī)選取行人樣本的圖片背景以及行人所在位置,人為設(shè)置行人之間的身體遮擋程度.此程度的具體分類(lèi)由被遮擋行人的像素占其單獨(dú)分割出來(lái)像素大小的比重決定.根據(jù)Dollar[7]中的調(diào)查顯示,日常交通行人遮擋程度主要在(10%～80%)的范圍內(nèi)平均分布.因此,對(duì)于合成的140對(duì)不同的雙行人樣本,將每對(duì)雙行人之間的遮擋程度(10%～80%)分為五個(gè)級(jí)別,如圖3所示.根據(jù)上述方法,制作了700張側(cè)面雙行人樣本圖片.

由于ETH行人數(shù)據(jù)庫(kù)中,正面拍攝的行人素材較多,本文選擇從此數(shù)據(jù)庫(kù)制作正面雙行人樣本.文獻(xiàn)[7]指出單行人的檢測(cè)易受到行人本身長(zhǎng)寬比變化的影響,因此本文根據(jù)兩個(gè)彼此遮擋行人各自寬度的可見(jiàn)部分大小比例來(lái)制作正面雙行人樣本,如圖4所示,主要分為(1:1.5,1:2,1:2.5)這三個(gè)常見(jiàn)比例(其中,單個(gè)行人的高度分布在(30～100)pix),每個(gè)比例截取200對(duì)雙行人目標(biāo),共計(jì)制作了600張正面雙行人樣本圖片.

2.3.2 雙行人模型(DP-DPM)訓(xùn)練過(guò)程

本文將雙行人樣本作為DPM框架的訓(xùn)練樣本,為互相遮擋的兩個(gè)行人構(gòu)建統(tǒng)一的DPM模型.不同于Fel[20]依賴(lài)于包圍盒的長(zhǎng)寬比,本文通過(guò)不同的遮擋層級(jí)和行人可視部分大小比例來(lái)初始化訓(xùn)練模型.對(duì)于行人檢測(cè)中常見(jiàn)的外在因素,如人物的姿態(tài)類(lèi)型,衣著變化等,通過(guò)DPM模型中不同組件的外在參數(shù)降低影響.本文從2.3.1節(jié)制作的雙行人樣本集中選取400幅正面雙行人樣本和300幅側(cè)面雙行人樣本作為訓(xùn)練集,剩余的200幅正面雙行人樣本和400幅側(cè)面雙行人樣本作為測(cè)試集,具體數(shù)據(jù)如表1所示.

表1 雙人樣本數(shù)據(jù)

本節(jié)的雙行人模型和傳統(tǒng)DPM模型一致,同樣使用組件混合結(jié)構(gòu),每個(gè)單獨(dú)的組件都是一個(gè)星形模型,每對(duì)行人共同擁有一個(gè)粗糙的根濾波器和n個(gè)代表目標(biāo)各部件的清晰可變?yōu)V波器.對(duì)于當(dāng)前雙行人DPM模型來(lái)說(shuō),隱藏變量的向量定義為z=(c,p0,…,pi,…,pn),其中c代表混合組件,pi=(xi,yi,li)定義了各濾波器在圖片的具體位置(xi,yi)和所處特征金字塔級(jí)數(shù).雙行人目標(biāo)在此空間位置的假設(shè)得分等于每個(gè)濾波器在隱藏位置pi的得分,減去他們相對(duì)于根濾波器的變形花費(fèi),再加上偏差值,其具體表達(dá)式如式(3)所示.

score(p0,…,pn)

(3)

式(3)中Fi表示一個(gè)w*h大小的濾波器;H是特征金字塔;Fi·φ(H,pi)代表第i個(gè)濾波器在pi位置的得分;di·φd(dxi,dyi)作為當(dāng)前濾波器相對(duì)根濾波器的變形花費(fèi);當(dāng)i為0時(shí),當(dāng)前濾波器即為根濾波器本身,變形花費(fèi)無(wú)需計(jì)算,b表示變形偏差值.

本文使用〈β,ψ(x,z)〉定義雙人模型假設(shè)的非標(biāo)準(zhǔn)化得分,其中向量β代表根濾波器、部件濾波器以及彈簧變形系數(shù)的串聯(lián)向量,ψ(x,z)表示堆積的HOG金字塔特征以及樣本的部件位移特征.對(duì)于一個(gè)DPM模型來(lái)說(shuō),當(dāng)組件確定時(shí),不為零.由此,可以獲得這樣的結(jié)構(gòu)變形,〈β,ψ(x,z)〉=〈βc,ψc(x,z)〉.對(duì)于待測(cè)圖片的檢測(cè)過(guò)程,就是求隱藏變量Z:arg max(z)[β,ψ(x,z)]的最大值.

采用集合D=(〈x1,y1〉,…,〈xN,yN〉)表示正、負(fù)樣本的訓(xùn)練集.xi對(duì)應(yīng)集合的正、負(fù)樣本,其中存在雙行人目標(biāo)的圖片為正樣本,無(wú)檢測(cè)目標(biāo)的交通背景圖片為負(fù)樣本;yi∈{-1,1}代表判斷樣本正負(fù)標(biāo)記.通過(guò)latent SVM進(jìn)行訓(xùn)練得到模型參數(shù)β和隱藏變量Z的最優(yōu)值,再經(jīng)過(guò)迭代運(yùn)算,獲得式(4)二次方程的解.

sb.t.yi〈β,ψ(xi,z)〉≥1-ξi

(4)

2.4 單行人部件構(gòu)成的雙行人模型(SDP-DPM)

通過(guò)2.3.2節(jié)的訓(xùn)練方法得到用于檢測(cè)雙行人目標(biāo)的DP-DPM模型.然而,僅定位出雙行人目標(biāo)的位置是不夠的,還需要將一對(duì)行人中的單一行人各自區(qū)分出來(lái),即從高分辨率的部件濾波器中,提取出單行人包圍盒.本節(jié)將對(duì)傳統(tǒng)的DPM模型進(jìn)行改進(jìn),不再將單個(gè)行人的頭、手臂等作為若干部件,而是將一對(duì)行人中的兩個(gè)單個(gè)行人本身,作為行人部件使用.通過(guò)線性分割的方法,從原本雙行人DP-DPM模型中,分離出單個(gè)行人作為組成部件.這種由單行人部件構(gòu)成的雙行人模型,稱(chēng)之為SDP-DPM.

對(duì)于DP-DPM雙行人模型,通過(guò)線性分類(lèi)的方法來(lái)獲得具有單獨(dú)行人部件的雙行人目標(biāo)模型,單行人部件包圍盒定義如式(5)所示.

Bi=gi(z)Tac+εi

(5)

式(5)中的Bi表示構(gòu)成高分辨率的混合部件濾波器;ac表示單一行人部件目標(biāo)對(duì)象的包圍盒估計(jì)位置回歸系數(shù),由正樣本的組件訓(xùn)練估計(jì)得到;代表雙行人DPM對(duì)象組件序號(hào)的索引值;gi(z)是一個(gè)維向量,主要由n個(gè)混合排列的部件濾波器的共有寬度組成;εi為一個(gè)噪聲系數(shù),代表理想單行人部件包圍盒位置和實(shí)際分離出的位置之間的偏差.

通過(guò)式(5)的線性分類(lèi),將原本包含n個(gè)可變部件的雙行人DPM組件分割為包含兩個(gè)單行人部件的SDP-DPM形式,它用于在定位到雙行人位置的同時(shí),準(zhǔn)確分割出兩個(gè)單行人目標(biāo).其具體模型可視化如圖5所示.

3 交通場(chǎng)景的行人檢測(cè)算法

通過(guò)2.4節(jié)的理論分析,雙行人模型SDP-DPM適合于兩兩間互相遮擋的行人目標(biāo)的檢測(cè).然而,對(duì)于場(chǎng)景條件復(fù)雜的交通場(chǎng)景行人,場(chǎng)景中常存在多個(gè)行人,且行人數(shù)量和分布位置也總是隨時(shí)變化.本文將交通場(chǎng)景中的行人分布情況分為以下兩類(lèi):第一類(lèi)為單獨(dú)分布行人,即行人目標(biāo)各自分散,不存在相互遮擋的狀態(tài);第二類(lèi)為混合分布行人,場(chǎng)景中既包含單獨(dú)的行人目標(biāo),也存在互相遮擋的人群.兩種行人分布場(chǎng)景的具體表現(xiàn)如下圖6所示.

為了能檢測(cè)出互相遮擋的雙行人目標(biāo)的同時(shí),保持獨(dú)立行人的檢測(cè)精度,本文針對(duì)人群分布多變的交通場(chǎng)景,將場(chǎng)景中人群的分布情況信息作為約束條件,提出一種單行人和雙行人模型相結(jié)合的多行人檢測(cè)算法MultiPD-DPM(Multiple Pedestrian Detection Deformable Part Model).該算法流程如圖7所示.

如圖7所示,左邊訓(xùn)練部分描述了從單、雙行人樣本集中訓(xùn)練得到單行人模型SP-DPM和雙行人模型SDP-DPM的過(guò)程,具體見(jiàn)本文第2章.右邊檢測(cè)部分,先使用雙行人模型SDP-DPM對(duì)待測(cè)圖像進(jìn)行目標(biāo)匹配,如果沒(méi)有檢測(cè)到雙行人目標(biāo),則判定當(dāng)前場(chǎng)景為圖6中的單獨(dú)分布行人場(chǎng)景,轉(zhuǎn)而使用單行人模型SP-DPM,并保存單行人檢測(cè)結(jié)果;如果顯示存在雙行人目標(biāo),則判定當(dāng)前場(chǎng)景為圖6中的混合分布行人場(chǎng)景,此時(shí),首先保存對(duì)應(yīng)的雙行人濾波響應(yīng);再使用單行人模板進(jìn)行二次檢測(cè);最后,將單行人和雙行人目標(biāo)的得分判定閾值各自放縮為原始的1/2,對(duì)于兩種行人模板得到的濾波響應(yīng),按照各50%比例,進(jìn)行加權(quán)結(jié)合,得到最終的檢測(cè)結(jié)果.

4 實(shí)驗(yàn)及結(jié)果分析

4.1 單行人模型(SP-DPM)檢測(cè)實(shí)驗(yàn)

為了驗(yàn)證單行人模型(SP-DPM)對(duì)于提高非剛體及遮擋物體的檢測(cè)效果,分別使用2.2節(jié)訓(xùn)練所得的單行人DPM模型SP-DPM和傳統(tǒng)HOG方法對(duì)于INRIA行人數(shù)據(jù)庫(kù)的檢測(cè)集(其中包含288張圖片,和488個(gè)行人目標(biāo))進(jìn)行測(cè)試,其測(cè)試結(jié)果如表2所示.可以看出,SP-DPM方法在檢測(cè)率和誤檢率上都有一定程度的提高.

表2 HOG和SP-DPM方法的檢測(cè)結(jié)果對(duì)比表

4.2 雙行人模型(DP-DPM)檢測(cè)實(shí)驗(yàn)

為了驗(yàn)證雙行人模型(DP-DPM)定位雙行人目標(biāo)的能力,使用2.3.2節(jié)訓(xùn)練所得的DP-DPM雙行人模型對(duì)雙行人目標(biāo)圖片進(jìn)行檢測(cè).對(duì)于圖8(a)中一對(duì)相互遮擋的行人,首先DP-DPM雙行人模型的可變部件均勻分布在它們周?chē)?如圖8(b)所示的分布在一對(duì)行人周?chē)男】?最后DP-DPM雙行人模型準(zhǔn)確定位出雙行人目標(biāo)位置,如圖8(c)所示的完整劃定出一對(duì)行人位置的大框包圍盒.

將DP-DPM雙行人模型用于2.3.2節(jié)中雙人檢測(cè)集的檢測(cè)上,其檢測(cè)結(jié)果統(tǒng)計(jì)如表3所示.表3的結(jié)果表明DP-DPM雙行人模型具備準(zhǔn)確定位雙人目標(biāo)的能力.

表3 DP-DPM檢測(cè)結(jié)果

4.3 單行人部件模型(SDP-DPM)檢測(cè)實(shí)驗(yàn)

為了測(cè)試SDP-DPM算子在行人遮擋情況下的檢測(cè)性能,將訓(xùn)練出的雙行人模型SDP-DPM和單行人模型SP-DPM分別用于2.3.2節(jié)的雙行人測(cè)試集進(jìn)行檢測(cè),兩種模型在不同遮擋程度的檢測(cè)對(duì)比結(jié)果如圖9所示.

從圖9可以看出,單行人模型SP-DPM檢測(cè)遮擋程度40%以?xún)?nèi)的圖片時(shí),基本能分別定位出單個(gè)行人,但遮擋面積到達(dá)60%以后,單行人模型的檢測(cè)精度便受到影響,此時(shí)趨向于將雙行人目標(biāo)判定為單人目標(biāo).對(duì)于雙行人模型SDP-DPM,在以上五種遮擋級(jí)別時(shí),都能將雙行人目標(biāo)中單一行人劃分出來(lái).

以檢測(cè)精度和召回率作為評(píng)判準(zhǔn)則,使用SP-DPM和SDP-DPM兩種模型分別對(duì)2.3.2節(jié)中的雙行人測(cè)試集進(jìn)行檢測(cè),其統(tǒng)計(jì)結(jié)果如圖10所示.雙行人模型SDP-DPM的檢測(cè)結(jié)果在同等精確度時(shí),其召回率領(lǐng)先單行人模型SP-DPM.另外雙行人模型的最終檢測(cè)精確度也比單行人模型高了將近10%.以上結(jié)果表明,雙行人模型SDP-DPM比傳統(tǒng)的單行人DPM模型更適用于雙行人遮擋條件下的行人檢測(cè).

4.4 多行人檢測(cè)算法(MultiPD-DPM)實(shí)驗(yàn)

本文選用兩個(gè)評(píng)價(jià)準(zhǔn)則來(lái)評(píng)估該行人檢測(cè)算法的性能,即行人檢測(cè)的漏檢率和虛警率.這兩種評(píng)價(jià)標(biāo)準(zhǔn)可以用單一的ROC圖來(lái)表示.本文使用的標(biāo)定數(shù)據(jù)和評(píng)價(jià)代碼由Dollar[7]提供.

為了驗(yàn)證本文提出的多行人檢測(cè)算法(MultiPD-DPM)的檢測(cè)效果,使用行檢數(shù)據(jù)庫(kù)中遮擋情況最密集的Caltech數(shù)據(jù)庫(kù)作為測(cè)試集,將本文提出的多行人檢測(cè)算法(MultiPD-DPM)與當(dāng)前流行行人檢測(cè)算法進(jìn)行對(duì)比,實(shí)驗(yàn)結(jié)果如圖11所示.

從圖11(a)可以看出,本文多行人檢測(cè)算法MultiPD-DPM相比于雙行人模型SDP-DPM方法,在大部分虛警率下的漏檢率都更低,并且將整體的平均漏檢率從50%降低到39%,這表明對(duì)于日常交通環(huán)境,融合了單雙行人算子分類(lèi)檢測(cè)優(yōu)點(diǎn)的MultiPD-DPM方法對(duì)于不同行人分布狀態(tài)的檢測(cè)范圍和適應(yīng)性更強(qiáng).圖11(b)是將本文的MultiPD-DPM算法與當(dāng)前流行的三種行人檢測(cè)方法對(duì)比,其結(jié)果顯示,本文算法在平均漏檢率和虛警率上的表現(xiàn)都優(yōu)于當(dāng)前的流行方法,證明基于遮擋模型的檢測(cè)思路相比于傳統(tǒng)方法,更有利于提升行人檢測(cè)效果.

5 結(jié)論

為了解決行人檢測(cè)中目標(biāo)行人易形變,互相遮擋等問(wèn)題,本文采用當(dāng)前目標(biāo)檢測(cè)中表現(xiàn)最好的DPM特征,通過(guò)彈簧形變特性來(lái)減小行人檢測(cè)中的目標(biāo)形變的影響,將雙行人間的相互遮擋情況作為有效的訓(xùn)練樣本,截取制作了相應(yīng)的雙行人數(shù)據(jù)庫(kù).本文通過(guò)線性分類(lèi)的方法,分割出帶有單行人部件的雙行人模型SDP-DPM,有效的將雙行人目標(biāo)中互相遮擋的單個(gè)行人精確的檢測(cè)出來(lái).

基于對(duì)行人數(shù)量變化頻繁的交通場(chǎng)景的分類(lèi),本文提出一種將單行人檢測(cè)模型SP-DPM和雙行人檢測(cè)模型SDP-DPM相結(jié)合的多人檢測(cè)算法MultiPD-DPM,既解決了雙行人遮擋目標(biāo)的檢測(cè)問(wèn)題,也保證了單一行人目標(biāo)的檢測(cè)精度.在行人數(shù)據(jù)集Caltech上的實(shí)驗(yàn)結(jié)果表明,本文算法能夠精確識(shí)別日常交通環(huán)境下的各類(lèi)行人目標(biāo),抗干擾能力較強(qiáng),識(shí)別效果整體優(yōu)于當(dāng)前的主要流行算法.

本文的局限性與研究展望:(1)本文使用的行人數(shù)據(jù)庫(kù)是基于車(chē)載視角拍攝,對(duì)于其他監(jiān)控視角的行人檢測(cè)還無(wú)法兼顧,因此收集更多視角的交通行人數(shù)據(jù)是需要進(jìn)一步進(jìn)行的工作;(2)當(dāng)場(chǎng)景轉(zhuǎn)為地鐵站、醫(yī)院等行人分布更加密集的公共場(chǎng)所,引入三人甚至更多的DPM模型是否更適合檢測(cè)環(huán)境,還有待進(jìn)一步的研究.

[1]蘇松志,李紹滋,陳淑媛,等.行人檢測(cè)技術(shù)綜述[J].電子學(xué)報(bào),2012,40(4):814-820.

Su Song-zhi,Li Shao-zi,Chen Shu-yuan,et al.A survey on pedestrian detection[J].Acta Electronica Sinica,2012,40(4):814-820.(in Chinese)

[2]Viola P,Jones M J.Robust real-time face detection [J].IEEE Transactions on International Journal of Computer Vision,2004,57(2):137-154.

[3]Yuanyuan D,Jing X.Contextual boost for pedestrian detection [A].IEEE Conference on Computer Vision and Pattern Recognition[C].Rhode Island,American:IEEE,2012.2895-2902.

[4]B Wu,R Nevatia.Detection of multiple,partially occluded humans in a single image by bayesian combination of edgelet part detectors [A].IEEE Conference on Computer Vision and Pattern Recognition [C].Beijing,China:IEEE,2005.90-97.

[5]N Dalal,B.Triggs.Histograms of oriented gradients for human detection[A].IEEE Conference on Computer Vision and Pattern Recognition [C].San Diego,USA:IEEE 2005.886-893

[6]Ningbo Wang,Xiaojin Gong,Jilin Liu.A new depth descriptor for pedestrian detection in RGB-D images [A].IEEE Conference on International Conference on Pattern Recognition [C].Tsukuba,Japan:IEEE,2012.3688-3691.

[7]Dollar P,Wojek C,Schiele B,et al.Pedestrian detection:an evaluation of the state of the art [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,99:1-20.

[8]Xiaoyu W,Han T X,Shuicheng Y.An HOG-LBP human detector with partial occlusion handling [A].IEEE Conference on International Conference on Computer Vision[C].Kyoto,JAPAN:IEEE,2009:32-39.

[9]Viola P,Jones M J,Snow D.Detecting pedestrians using patterns of motion and appearance[J].IEEE Transactions on International Journal of Computer Vision,2005,63(2):153-161.

[10]S Walk,N Majer,K Schindler,et al.New features and insights for pedestrian detection[A].IEEE Conference on Computer Vision and Pattern Recognition[C].San Francisco,USA:IEEE,2010.1030-1037.

[11]劉威,段成偉,遇冰,等.基于后驗(yàn) HOG特征的多姿態(tài)行人檢測(cè)[J].電子學(xué)報(bào),2015,43(2):217-224.

Liu Wei,Duan Cheng-wei,Yu Bing,et al.Method research on vehicular infrared pedestrian detection based on local features[J].Acta Electronica Sinica,2015,43(2):217-224.(in Chinese)

[12]Wojek C,Schiele B.A Performance Evaluation of Single and Multi-Feature People Detection[M].Pattern Recognition.Springer Berlin Heidelberg,2008:82-91.

[13]Zhu Q,Yeh M C,Cheng K T,et al.Fast human detection using a cascade of histograms of oriented gradients[A].IEEE Conference on International Conference on Computer Vision[C].New York,American:IEEE,2006.1491-1498.

[14]田廣,戚飛虎.移動(dòng)攝像機(jī)環(huán)境下基于特征變換和SVM的分級(jí)行人檢測(cè)算法[J].電子學(xué)報(bào),2008,36(5):1024-1028.

TIAN Guang,QI Fei-hu.Feature transformation and SVM based hierarchical pedestrian detection with a monocular moving camera[J].Acta Electronica Sinica,2008,36(5):1024-1028.(in Chinese)

[15]王國(guó)華,劉瓊,莊家俊.基于局部特征的車(chē)載紅外行人檢測(cè)方法研究[J].電子學(xué)報(bào),2015,43(7):1444-1448.

WANG Guo-hua,LIU Qiong,ZHUANG Jia-jun.Method research on vehicular infrared pedestrian detection based on local features[J].Acta Electronica Sinica,2015,43(7):1444-1448.(in Chinese)

[16]S Paisitkriangkrai,C Shen,A van den Hengel.Efficient pedestrian detection by directly optimize the partial area under the roc curve[A].IEEE Conference on International Conference on Computer Vision[C].Sydney,Australia:IEEE,2013.1057-1064.

[17]W R Schwartz,A Kembhavi,D Harwood,et al.Human detection using partial least squares analysis[A].IEEE Conference on International Conference on Computer Vision[C].Kyoto,Japan:IEEE,2009.24-31.

[18]W Ouyang,Wang X Joint deep learning for pedestrian detection[A].IEEE Conference on Computer Vision and Pattern Recognition [C].Portland,USA:IEEE,2013.2056-2063.

[19]Hosang J,Omran M,Benenson R.Taking a deeper look at pedestrians[A].IEEE Conference on Computer Vision and Pattern Recognition [C].Boston,USA:IEEE,2015.4073-4082.

[20]P.Felzenszwalb,R.B.Grishick,D.McAllister,et al.Object detection with discriminatively trained partbased models[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2010,32(9):1627-1645.

[21]Meng W,Wei L,Xiaogang W.Transferring a generic pedestrian detector towards specific scenes[A].IEEE Conference on Computer Vision and Pattern Recognition[C].Rhode Island,American:IEEE,2012.3274-3281.

[22]Tang S,Andriluka M,Schiele B.Detection and tracking of occluded people[J].IEEE Transactions on International Journal of Computer Vision,2014,110(1):58-69.

[23]Benenson R,Omran M,Hosang J,et al.Ten years of pedestrian detection,what have we learned[A].IEEE Conference on European Conference on Computer Vision[C].Columbus,USA:IEEE,2014.613-627.

曾接賢 男,1958年10月出生于江西樂(lè)安,碩士,南昌航空大學(xué)教授.主要研究方向?yàn)閳D像處理、模式識(shí)別和計(jì)算機(jī)視覺(jué).

E-mail:zengjx58@163.com

程 瀟 男,1991年7月出生于江西上饒,碩士研究生.主要研究方向?yàn)閳D像處理、模式識(shí)別和計(jì)算機(jī)視覺(jué).

Pedestrian Detection Combined with Single and Couple Pedestrian DPM Models in Traffic Scene

ZENG Jie-xian,CHEN Xiao

(InstituteofComputerVision,NanchangHangkongUniversity,Nanchang,Jiangxi330063,China)

In this paper,a new kind of pedestrian detection method is investigated;the single DMP model is combined with the couple pedestrian DPM to solve the pedestrian detection problem because of the pedestrian visual occlusion under common traffic models.This method extracts DPM feature through dataset such as INRIA,ETH,and then obtains the single/couple DPM model through LatentSVM training method.Moreover,the traffic pedestrian.distribution scene can be classified and divided first and then separated and remixed by the classification detention method.Firstly the target image will match with couple pedestrian template SDP-DPM.Secondly if couple pedestrian target can not be detected,the scene will be classified as single distribution,and then matching template will switch to single pedestrian template,the results will be saved.Thirdly when the couple pedestrian are detected,the distribution will be classified and mixed,and then corresponding couple pedestrian filtering response can be saved.Finally the second matching will launch with single pedestrian template,weighted sum of the two detection results.The test proved that the method stated above can efficiently detect pedestrians under scenes that pedestrian heavily cover each other,and this method also can be more accurately compared with the traditional DPM method and other popular detection methods.

pedestrian detection;DPM;occlusion;traffic scene

2015-06-29;

2016-03-15;責(zé)任編輯：藍(lán)紅杰

國(guó)家自然科學(xué)基金(No.61165011，No.61263046);江西省青年科學(xué)基金(No.20132BAB211021)

TP391

A

0372-2112 (2016)11-2668-08

??學(xué)報(bào)URL:http://www.ejournal.org.cn

10.3969/j.issn.0372-2112.2016.11.015