周劍宇， 梁 棟， 唐 俊

(安徽大學(xué) 電子與信息工程學(xué)院，安徽 合肥 230601)

0 引 言

目前人體目標(biāo)檢測(cè)方法主要分為三大類(lèi)：DPM法[1,2]、深度學(xué)習(xí)法[3]、決策森林法[4,5]。這三類(lèi)方法在行人檢測(cè)方面都能夠獲得比較好的結(jié)果。本文提出基于決策森林的方法。文獻(xiàn)[6]中梯度方向直方圖(histograms of oriented gradients,HOG)特征的提出，為近年來(lái)的人體目標(biāo)檢測(cè)提供了最為有效的特征。HOG特征[7～10]能夠通過(guò)邊緣的方向密度分布較好地描述出目標(biāo)的輪廓信息。文獻(xiàn)[5]提出積分通道特征(integral channel feature，ICF)的概念，將HOG特征通道與3個(gè)顏色特征通道以及一個(gè)梯度幅值特征通道結(jié)合在一起，通過(guò)計(jì)算各個(gè)通道上的積分圖像，在保證檢測(cè)效果的同時(shí)，能夠獲取更快的速度。文獻(xiàn)[4]則提出了一種基于ICF的優(yōu)化算法，即聚合通道特征(aggregation channel feature，ACF)，根據(jù)自然圖像中尺度不變性的特性，利用鄰近尺度進(jìn)行快速特征金字塔的多尺度計(jì)算。文獻(xiàn)[5]提出，對(duì)低階特征進(jìn)行濾波提取出高階特征，將高階特征輸入增強(qiáng)型決策森林，達(dá)到較好的檢測(cè)效果。

本文提出了一種基于先驗(yàn)知識(shí)的人體檢測(cè)方法。不同于文獻(xiàn)[7]的使用整個(gè)行人檢測(cè)器用于區(qū)域建議，提出了使用人體上半身檢測(cè)器。實(shí)驗(yàn)表明，所提方法提升人體檢測(cè)器的性能。

1 基于先驗(yàn)知識(shí)的Haar-Like特征

Haar-like特征是檢測(cè)中常用的二階特征，在計(jì)算機(jī)視覺(jué)領(lǐng)域內(nèi)Haar-like特征經(jīng)常用于人臉檢測(cè)。但是將傳統(tǒng)的Haar-like特征與傳統(tǒng)的一階通道特征結(jié)合在一起去訓(xùn)練人體檢測(cè)器時(shí)，并不能很好提升檢測(cè)器的檢測(cè)效果。受到Haar-like特征在人臉檢測(cè)中取得較好的結(jié)果的啟發(fā)，嘗試在ACF檢測(cè)方法的基礎(chǔ)上，加入二階的Haar-like特征來(lái)進(jìn)行人體檢測(cè)。

通過(guò)觀察可以發(fā)現(xiàn)，在遮擋現(xiàn)象不可避免時(shí)，上半身以及頭部被遮擋的往往能夠保持較好的輪廓特征。針對(duì)此現(xiàn)象，根據(jù)人體身形中頭部以及肩膀部分所形成的投影特點(diǎn)，設(shè)計(jì)了一個(gè)人體上半身模型。隨后，根據(jù)該模型提供的先驗(yàn)知識(shí)，設(shè)計(jì)了一個(gè)基于人體上半身特點(diǎn)的Haar-Like特征模板族。

1.1 人體半身模型

首先，根據(jù)人體上半身的投影特點(diǎn)，可以設(shè)計(jì)一個(gè)人體形狀模型。然后，使用不同大小尺寸的模板在這個(gè)上半身模型上進(jìn)行滑動(dòng)，據(jù)此能夠生成若干個(gè)不同的Haar-Like特征。模板族及部分不同大小的模板示例如圖1所示。

圖1 特征模板示例

為了方便計(jì)算以及提高運(yùn)算效率，所設(shè)計(jì)的人體模板均勻分割成相同大小的矩形塊。每一個(gè)矩形塊將對(duì)應(yīng)于一定的權(quán)重，此權(quán)重則將用于二階特征的計(jì)算。

根據(jù)梯度向量生成人體模型的邊緣圖以及分割效果如圖2所示。

圖2 人體模型的邊緣圖以及分割效果

如圖2所示，可以通過(guò)分割結(jié)果圖清晰地看出，整個(gè)人體上半身模型可以看成3個(gè)部分：頭部、上半身以及背景。這三個(gè)部分在圖像中具有不同的顏色或者紋理特征。在給不同部分中的每一個(gè)矩形塊設(shè)置不同的特征權(quán)重之后，將這些矩形塊的特征權(quán)重則與上文提到的不同大小尺寸的模板相結(jié)合，構(gòu)成提出的人體檢測(cè)器的先驗(yàn)知識(shí)。通過(guò)實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，該先驗(yàn)知識(shí)能夠有效提高檢測(cè)器的魯棒性。

在對(duì)圖像進(jìn)行分割計(jì)算時(shí)，將圖像分割成60像素×60像素大小的圖像塊，而文中提出的二階特征提取及計(jì)算都是在這一系列圖像塊的基礎(chǔ)上進(jìn)行的。再將這些圖像塊以6像素×6像素大小為計(jì)算單元進(jìn)行劃分，劃分所得的每一個(gè)計(jì)算單元?jiǎng)t與上文所述的一個(gè)矩形塊相對(duì)應(yīng)。

1.2 特征模板族生成

根據(jù)1.1中所設(shè)計(jì)的人體上半身模型以及特征模板族的概念，通過(guò)將每個(gè)矩形塊權(quán)重賦予不同尺寸的模板中，即可得到特征模板族。

1)特征模板為一列固定高和寬的矩形框。所有的矩形框的寬度為1～4個(gè)計(jì)算單元，高度為1～3個(gè)計(jì)算單元，據(jù)此可以算得12個(gè)不同的尺寸大小矩形框。利用這些不同尺寸的矩形框滑動(dòng)人體上半身模型，就可以生成一組Haar-Like特征。

特征模板尺寸大小符合如下條件

M={(w,h)|w≤Wmax,h≤Hmax,w,h∈N+}

(1)

式中M為模板所有尺寸的集合，w為模板的寬度，h為模板的高度，Wmax為模板的寬度上限，Hmax為模板的高度上限。

2) 人體上半身模型是由3個(gè)部分構(gòu)成：頭部、上半身、背景。i表示矩形塊在人體上半身模型中的橫坐標(biāo)，j表示其縱坐標(biāo)，P(i,j)為矩形塊在模型中的位置。人體模型內(nèi)矩形塊的權(quán)重符合等式

(2)

式中W(i,j)為人體上半身模型內(nèi)，位置坐標(biāo)為P(i,j)矩形塊的的權(quán)重。Phead，Pbody，Pbackground分別為人體半身模型中頭部、上半身和背景區(qū)域包含的所有矩形塊位置坐標(biāo)。

由1.1節(jié)可知，人體上半身模型被分割成了若干個(gè)矩形塊，而每個(gè)矩形塊對(duì)應(yīng)某一特定的權(quán)重，所以，當(dāng)模板矩形框滑過(guò)模型時(shí)，該矩形框內(nèi)每個(gè)矩形塊的權(quán)重構(gòu)成了一個(gè)Haar-Like特征。最后生成的每一個(gè)特征模板都符合如下條件

F={(m,Wf)|m∈M,Wf∈R2}

(3)

式中m為該Haar-Like特征的尺寸大小，Wf為尺寸大小為m特征模板矩陣。

1.3 Haar-Like特征計(jì)算

在計(jì)算Haar-Like特征之前，先對(duì)全圖進(jìn)行聚合通道特征的提取。聚合通道特征包含10個(gè)通道的特征，10個(gè)通道分別是：LUV顏色的3個(gè)顏色通道特征，1個(gè)梯度幅度的通道特征，6個(gè)方向的梯度直方圖的通道特征。在得到10個(gè)通道的特征之后，分別對(duì)這些特征進(jìn)行Haar-Like特征的提取。單個(gè)Haar-Like特征的具體計(jì)算步驟如下：

1) 將聚合通道特征的每一個(gè)通道的特征圖分割成60像素×60像素大小的圖像塊。

2) 使用Haar-Like特征模板通過(guò)滑窗的方式提取該圖像塊上每一個(gè)位置的Haar-Like特征值。Haar-Like特征圖上位置(x,y)對(duì)應(yīng)的權(quán)重矩陣計(jì)算方式

W(x,y,w)=Fmodel(m)?C(x,y,m)

(4)

式中m為該Haar-Like特征的尺寸大小，F(xiàn)model(m)為尺寸為m的某一個(gè)特征模板，特征模板Fmodel(m)中，權(quán)重為1的計(jì)算元是增性算子，權(quán)重為-1的計(jì)算元是減性算子，權(quán)重為0的計(jì)算元是是中性算子。C(x,y,m)為聚合通道特征圖上起始位置為(x,y)尺寸為m的矩形區(qū)域。?表示的是兩個(gè)相同尺寸矩陣逐個(gè)元素相乘運(yùn)算，W(x,y,m)為Fmodel(m)與C(x,y,m)兩個(gè)矩陣內(nèi)元素逐個(gè)相乘的結(jié)果，即為特征圖坐標(biāo)為(x,y)處的權(quán)重矩陣。

3) 根據(jù)每一個(gè)位置的權(quán)重矩陣，計(jì)算出整個(gè)Haar-Like特征圖，特征圖上每一個(gè)位置的特征值的大小與該位置上權(quán)重矩陣的關(guān)系

(5)

式中F(x,y,m)為Haar-Like特征圖上位置為(x,y)上，尺寸大小為m的某一個(gè)Haar-Like特征值。sum(Wadd(x,y,m))為該Haar-Like特征內(nèi)增性算子在W(x,y,m)對(duì)應(yīng)位置權(quán)重的和。sum(Wdec(x,y,m))為該Haar-Like特征內(nèi)減性算子在W(x,y,m)對(duì)應(yīng)位置權(quán)重的和。中性算子對(duì)應(yīng)的一階特征值則不做處理。Numadd和Numdec則分別為該Haar-Like特征內(nèi)增性算子以及減性算子的個(gè)數(shù)。

2 本文方法

根據(jù)基于上半身先驗(yàn)知識(shí)的Haar-Like特征能夠較好的描述人體上半身的特點(diǎn)，為了更好地獲得檢測(cè)效果，引入基于上半身先驗(yàn)知識(shí)的Haar-Like特征與ACF特征來(lái)提高檢測(cè)器的準(zhǔn)確性。

利用訓(xùn)練所得的兩個(gè)檢測(cè)器，具體的檢測(cè)過(guò)程

1)提取出測(cè)試圖像的ACF特征以及Haar-Like特征；

2)再分別對(duì)提取到的兩類(lèi)特征進(jìn)行滑窗，將滑窗得到的檢測(cè)塊送入對(duì)應(yīng)的特征檢測(cè)器進(jìn)行檢測(cè)；

3)檢測(cè)塊被檢測(cè)出包含行人的被標(biāo)記為候選框，即bbshaar和bbsacf;bbshaar是Haar-Like特征檢測(cè)器檢測(cè)結(jié)果的邊界框，bbsacf是ACF特征檢測(cè)器檢測(cè)結(jié)果的候選框。

4)將bbshaar和bbsacf疊加在一起得到BBS，之后對(duì)BBS使用非極大值抑制原理，獲得最終的檢測(cè)結(jié)果。

3 實(shí)驗(yàn)與分析

3.1 實(shí) 驗(yàn)

實(shí)驗(yàn)所使用的數(shù)據(jù)集為INRIA數(shù)據(jù)集。該數(shù)據(jù)集中訓(xùn)練正樣本共有614張，共計(jì)2 416個(gè)行人，測(cè)試集有正樣本288張，共計(jì)1 126個(gè)行人。訓(xùn)練負(fù)樣本有1218張，測(cè)試負(fù)樣本有453張。樣本的尺寸大小都為64×128。在Haar-Like的特征提取過(guò)程中，使用訓(xùn)練正樣本標(biāo)注的上一半圖像作為訓(xùn)練數(shù)據(jù)。在檢測(cè)過(guò)程中，將Haar-Like特征檢測(cè)器檢測(cè)出的邊界框的高度乘以2，寬度保持不變作為最后的邊界框結(jié)果。

Haar-Like特征檢測(cè)器的訓(xùn)練分為4個(gè)階段進(jìn)行，4個(gè)階段分別使用了16，64，256和1 024個(gè)弱分類(lèi)器，并且決策樹(shù)的深度都為4。在訓(xùn)練的第一個(gè)階段，使用隨機(jī)生成的10 000負(fù)樣本；而用于訓(xùn)練的總負(fù)樣本數(shù)則不超過(guò)50 000個(gè)。

文中設(shè)計(jì)的人體半身模型大小為6×6個(gè)計(jì)算單元，特征模板的大小從1×1個(gè)計(jì)算單元到4×3個(gè)計(jì)算單元。根據(jù)設(shè)計(jì)的不同尺寸對(duì)人體半身模型進(jìn)行滑窗提取，一共可以獲得100個(gè)Haar-Like特征模板。當(dāng)使用該Haar-Like特征模板族對(duì)大小為60像素×60像素的圖像進(jìn)行特征提取時(shí)，一共可以提取出71 620個(gè)特征。

3.2 實(shí)驗(yàn)結(jié)果分析

為了保證算法的檢測(cè)效果，在實(shí)驗(yàn)過(guò)程當(dāng)中，實(shí)驗(yàn)使用了相同的訓(xùn)練樣本以及測(cè)試樣本，對(duì)ACF，pAUCBoost[13]，HOG-LBP[12]，ChnFtrs[5]和本文方法的檢測(cè)效果進(jìn)行了對(duì)比實(shí)驗(yàn)。在實(shí)驗(yàn)中，使用召回率、平均對(duì)數(shù)漏檢率、漏警率和PR曲線對(duì)檢測(cè)器的檢測(cè)效果進(jìn)行評(píng)估。從實(shí)驗(yàn)對(duì)比結(jié)果可以看出使用級(jí)聯(lián)的檢測(cè)算法有著較好的檢測(cè)結(jié)果。5種檢測(cè)方法的召回率結(jié)果對(duì)比如表1所示。

表1 本文算法與其他算法對(duì)比 %

5種算法對(duì)比實(shí)驗(yàn)的PR曲線結(jié)果如圖3(a)所示。

通過(guò)對(duì)ACF，pAUCBoost，HOG-LBP，ChnFtrs與本文方法的比較，可以看出：在結(jié)合了Haar-Like特征之后，檢測(cè)器的檢測(cè)效果有一定程度的提升，本文方法的召回率提高到了94.57 %。相比于傳統(tǒng)的ACF算法，本文提出的方法召回率提升了大約2 %，平均對(duì)數(shù)漏檢率降低了0.63 %。而相比于ChnFtrs算法，本文提出的方法召回率提升了大約2.89 %，平均對(duì)數(shù)漏檢率降低了4.53 %。

如圖3(b)所示，通過(guò)對(duì)檢測(cè)結(jié)果的PR曲線和ROC曲線的觀察以及對(duì)其召回率和平均對(duì)數(shù)漏檢率的分析，可以看出：在結(jié)合了基于先驗(yàn)Haar-Like特征檢測(cè)器具有更好的檢測(cè)精度。本文算法檢測(cè)效果如圖4所示。

圖3 5種算法的PR和ROC曲線

圖4 本文方法檢測(cè)效果示意

4 結(jié)束語(yǔ)

考慮ACF算法中只提取了顏色和梯度的特征，本文設(shè)計(jì)了結(jié)合基于先驗(yàn)知識(shí)的Haar-Like特征的人體檢測(cè)方法。能夠根據(jù)人體上半身的輪廓特點(diǎn)，增強(qiáng)檢測(cè)器對(duì)人體特征的描述能力。實(shí)驗(yàn)結(jié)果表明：結(jié)合基于先驗(yàn)知識(shí)的Haar-Like特征的檢測(cè)方法能夠彌補(bǔ)ACF特征對(duì)人體輪廓描述的不足，從而能夠?qū)z測(cè)結(jié)果有一定的提升。