游 峰 李福樑 馮瓊瑩 張榮輝 裴玉龍 徐建閩
(1.華南理工大學(xué)土木與交通學(xué)院 廣州510640;2.新疆交通科學(xué)研究院 烏魯木齊830000;3.哈爾濱工業(yè)大學(xué)交通科學(xué)與工程學(xué)院 哈爾濱150090)
為有效地保護(hù)行人安全,及時(shí)警告駕駛員避免與行人碰撞,行人檢測(cè)技術(shù)已成為車輛主動(dòng)安全與汽車安全輔助駕駛技術(shù)的研究熱點(diǎn)。視頻檢測(cè)方法因成本低廉,靈活性好,有較強(qiáng)魯棒性,受到工程應(yīng)用和理論研究領(lǐng)域的廣泛關(guān)注[1]。
目前,基于視頻的行人檢測(cè)研究,大多采用P.Viola等[2]提出的基于 Harr-like特征的方法,該方法具備一定的實(shí)時(shí)性。但與人臉相比,行人模式具有更大的外觀差異,直接應(yīng)用于行人檢測(cè)的效果并不理想。A.Iketani[3]研究的行人檢測(cè)系統(tǒng)使用多個(gè)攝像機(jī),采用立體成像技術(shù),結(jié)合神經(jīng)網(wǎng)絡(luò)的方法確定行人在圖像中的位置及尺寸。R.Cutler等[4]提取行人圖像的差分圖像,建立運(yùn)動(dòng)行人的感興趣區(qū)域,采用時(shí)頻化方法分析圖像中的行人是否存在周期性的運(yùn)動(dòng),實(shí)現(xiàn)行人的識(shí)別和跟蹤。Karaulova等[5]建立了人體運(yùn)動(dòng)學(xué)的分層模型,用于單目視頻序列中人體的跟蹤。V.Philomin等[6]應(yīng)用背景相減法提取行人的邊緣特征,用Procrustes法進(jìn)行行人的識(shí)別和跟蹤。Liang Zhao[7]利用自閉塞的輪廓線或身體局部的側(cè)面輪廓線對(duì)行人進(jìn)行跟蹤。O.Masoud等[8]利用動(dòng)態(tài)的矩形匹配建立行人模型,允許行人模型在圖像空間中重疊,解決可能出現(xiàn)行人重疊或遮擋問題。孫慶杰[9]利用側(cè)影的人體模型及其概率模型,提出了1種基于矩形擬合的人體檢測(cè)算法。鄭南寧等[10]通過Gabor濾波器提取圖像中行人的特征,利用訓(xùn)練得到的分類器將行人從圖像中分割出來(lái)。魏福祿等[11]將雷達(dá)與攝像機(jī)結(jié)合運(yùn)用,實(shí)現(xiàn)基于多源信息和融合方法的行人檢測(cè)。
上述多數(shù)基于機(jī)器學(xué)習(xí)的檢測(cè)方法具備較高的準(zhǔn)確度,但其算法復(fù)雜,實(shí)時(shí)性差。筆者在前人研究成果的基礎(chǔ)上,完善了Harr-like的行人特征庫(kù),引入優(yōu)化更新權(quán)重的方法,改進(jìn)了傳統(tǒng)Adaboost算法,提出1種基于級(jí)聯(lián)分類器的行人檢測(cè)方法,實(shí)現(xiàn)對(duì)行人區(qū)域快速精確檢測(cè)。
Adaboost算法是1995年由Yoav Freund和Robert E.Schapire[11-12]提出的,算法是1個(gè)簡(jiǎn)單弱分類算法的提升過程,通過不斷的訓(xùn)練,提高數(shù)據(jù)的分類能力。根據(jù)每次訓(xùn)練樣本的分類是否正確,以及上1次的總體分類準(zhǔn)確率,來(lái)確定每個(gè)樣本的權(quán)值。并與每次訓(xùn)練所得到的弱分類器融合起來(lái),形成最后的強(qiáng)分類器[13]。
Haar-like特征定義為黑色矩形和白色矩形在圖像子窗口中對(duì)應(yīng)區(qū)域的灰度級(jí)總和之差。筆者在前人研究工作的基礎(chǔ)上,構(gòu)建出9類矩形特征,見圖1。這些特征反映了人體形狀的全局特性和局部特性,更能凸顯行人的外觀差異特性。
圖1 Harr-like特征示意圖Fig.1 Viola Jones's Harr-like features
為加快Harr-like特征的運(yùn)算,采用積分圖運(yùn)算方法[15]。如圖2所示,積分圖像在1點(diǎn)的值為區(qū)域A的灰度級(jí)總和,簡(jiǎn)記為A;2,3,4點(diǎn)的對(duì)應(yīng)值分別為A+B,A+C,A+B+C+D。分析幾何特征可知,由1,2,3,4點(diǎn)圍成的矩形區(qū)域D的灰度級(jí)總和可以表示為1+4-2-3。積分圖中坐標(biāo)點(diǎn)(x,y)處的值定義為原圖中左上角的像素值之和:式中:ii(x,y)為積分圖在(x,y)處的值;i(x′,y′)為原始圖像中對(duì)應(yīng)位置的像素值。ii(x,y)通過下式迭代計(jì)算
式中:s(x,y)為行的積分和,且s(x,-1)=0,ii(-1,y)=0。
圖2 積分圖計(jì)算Fig.2 Computing sum of pixels in a rectangular region using the integral image
為加快分類器訓(xùn)練過程,筆者改進(jìn)了Adaboost算法,該算法使每1個(gè)弱分類器對(duì)應(yīng)于1個(gè)特征,根據(jù)錯(cuò)誤率最小的原則選擇弱分類器,改進(jìn)Adaboost的算法描述如下,定義X表示樣本空間;Y為樣本類別標(biāo)識(shí)集合,此處限定Y={1,0},分別對(duì)應(yīng)樣本的正和負(fù)。假定共有K個(gè)特征。
已知(x1,y1),(x2,y2),…,(xn,yn)構(gòu)成訓(xùn)練樣本集。其中:xi∈X,yi∈Y。假設(shè)樣本集中共有Np個(gè)正樣本;Nn個(gè)負(fù)樣本,Np+Nn=N。
1)歸一化樣本權(quán)重分布。
2)對(duì)于每個(gè)特征,在給定的樣本權(quán)重分布下訓(xùn)練弱分類器。
式中:vj為第j個(gè)特征的特征值;θj為閾值;pt∈{-1,1}為不等號(hào)的偏置方向,j=1,2,…,K。
3)計(jì)算每個(gè)弱分類器對(duì)樣本集的分類錯(cuò)誤率。
4)選擇第t輪訓(xùn)練的最優(yōu)弱分類器ht(x)。
令k=argminjet,j
則ht(x)=ft,k(x),并且對(duì)樣本集的分類錯(cuò)誤率ξt=et,k。
5)更新樣本權(quán)重。
若xi被ht正確分類則εt=0,否則εt=1。
最終的強(qiáng)分類器由T個(gè)弱分類器線性疊加而成。
由改進(jìn)Adaboost算法的訓(xùn)練過程可知,構(gòu)建的簡(jiǎn)單分類器對(duì)分類正確的樣本減少其權(quán)重;否則,增加其權(quán)重。因此,離線訓(xùn)練的簡(jiǎn)單分類器可不斷強(qiáng)化對(duì)分類錯(cuò)誤樣本的訓(xùn)練。
系統(tǒng)采用Visual 2010和Intel OpenCV聯(lián)合開發(fā)而成,硬件配置為Intel i5 CPU+4G DDR內(nèi)存。輸入系統(tǒng)的圖像分辨率為640像素×480像素,行人檢測(cè)頻率可達(dá)25幀/s以上。
訓(xùn)練樣本分為負(fù)樣本和正樣本。其中負(fù)樣本指其他不包含行人的任意圖像;正樣本是指包含待檢行人樣本圖像,部分負(fù)和正樣本分別見圖3、圖4。為提高系統(tǒng)的檢測(cè)速度,將正樣本尺寸縮放成16像素×32像素的圖像,負(fù)樣本尺寸縮放成640像素×480像素的圖像。實(shí)驗(yàn)使用的圖像部分源于INRIA Person訓(xùn)練樣本庫(kù),另一部分由試驗(yàn)現(xiàn)場(chǎng)獲取。實(shí)驗(yàn)最終選擇訓(xùn)練樣本共3 947個(gè),其中正樣本圖像926幅,負(fù)樣本圖像3 021幅。
圖3 訓(xùn)練負(fù)樣本Fig.3 Non-pedestrian samples
圖4 訓(xùn)練正樣本Fig.4 Some pedestrian samples
通過Intel OpenCV Library[16]提供的工具進(jìn)行訓(xùn)練。實(shí)驗(yàn)結(jié)果表明,當(dāng)訓(xùn)練循環(huán)次數(shù)T=200時(shí),構(gòu)成的強(qiáng)分類器可獲得較好的檢測(cè)效果。
為進(jìn)一步提高算法的實(shí)時(shí)性,筆者設(shè)計(jì)了級(jí)聯(lián)分類器,即被檢行人窗口依次通過每1級(jí)分類器,若全部通過每1級(jí)分類器檢測(cè)的區(qū)域即為行人區(qū)域,否則為非目標(biāo)區(qū)域。行人候選區(qū)域分割的級(jí)聯(lián)分類器結(jié)構(gòu)見圖5。
在級(jí)聯(lián)分類器中,每1級(jí)分類器均由改進(jìn)的Adaboost算法訓(xùn)練獲得的強(qiáng)分類器構(gòu)成。該級(jí)聯(lián)分類器離線訓(xùn)練時(shí),為每級(jí)分類器設(shè)置通過的閾值(文中取99.5%),使得大多數(shù)行人樣本得以訓(xùn)練通過。
圖5 級(jí)聯(lián)分類器檢測(cè)過程的示意圖Fig.5 Scheme of cascade classifier
通過應(yīng)用行人目標(biāo)訓(xùn)練的級(jí)聯(lián)分類器,在圖像中尋找行人目標(biāo),并用矩形區(qū)域表示行人區(qū)域。級(jí)聯(lián)分類器以不同比例的掃描窗口對(duì)圖像進(jìn)行遍歷,由于掃描窗口對(duì)尺寸和位置變化比較敏感,可能導(dǎo)致同一目標(biāo)在不同的掃描窗口中被檢測(cè),從而造成行人目標(biāo)出現(xiàn)重疊區(qū)域。為此,采用平均矩形方法,如圖6所示,如果行人目標(biāo)矩形R1與行人目標(biāo)矩形R2相交,相交面積S(圖中灰色部分所示)。分別計(jì)算行人目標(biāo)矩形R1、R2,以及相交部分的面積S1,S2和S,根據(jù)下式計(jì)算其比值ξ1,ξ2。
當(dāng)ξ1,ξ2均大于0.7時(shí),對(duì)2個(gè)檢測(cè)窗口的4個(gè)端點(diǎn)求平均值,最終合并為1個(gè)矩形,否則視為不同的行人目標(biāo)。將平均矩形法與其他方法進(jìn)行對(duì)比,如表1可知,平均矩形法對(duì)行人的檢測(cè)和誤檢都有較好改善。
表1 平均矩形法與其他方法的對(duì)比Tab.1 Comparison of average rectangle method with other methods %
圖6 平均窗口合并示意圖Fig.6 The average merger diagram window
實(shí)驗(yàn)表明,選擇對(duì)分類器檢測(cè)窗口進(jìn)行縮放更為有效。為檢測(cè)出各個(gè)尺度下的行人目標(biāo),設(shè)置分類器檢測(cè)窗口的縮放比例系數(shù)為1.2倍。如圖7所示,通過使用離線訓(xùn)練的分類器對(duì)CCD采集圖像進(jìn)行實(shí)時(shí)搜索,實(shí)現(xiàn)圖像中行人目標(biāo)的在線檢測(cè)。
圖中矩形框?yàn)樾腥藱z測(cè)的結(jié)果。圖7(a)~(c)為1個(gè)行人的檢測(cè),其中:圖(a)圖中存在斑馬線,圖(b)為雨天環(huán)境的復(fù)雜場(chǎng)景,圖(c)中行人膚色為黑色,在以上復(fù)雜場(chǎng)景情況下都能取得較好的行人檢測(cè)結(jié)果。圖7(d)~(f)為2個(gè)行人的檢測(cè)結(jié)果,其中圖7(d)中行人攜帶物體,圖7(e)和圖7(f)分別為行人背面和行人側(cè)面,上述情況均破壞行人的正面特征,但筆者所設(shè)計(jì)的分類器也能較好對(duì)行人進(jìn)行檢測(cè)。圖7(g)~(i)為多個(gè)行人的檢測(cè)結(jié)果,圖7(g)中行人位置相對(duì)分散,圖7(h)中人群中行人存在遮擋,圖7(i)中行人并排而行,均在較大程度上破壞了單個(gè)行人的特征,但文中所述算法仍有較好的檢測(cè)效果。對(duì)于圖7(i)由于其中2人間隔過小,導(dǎo)致漏檢,這與矩形特征的性能有關(guān)。
此外,筆者用PETS 2001測(cè)試集中的6個(gè)圖像序列和自拍的圖像序列來(lái)對(duì)比評(píng)測(cè)算法的性能(與viola等人提出的算法)。如表2所列,筆者所提出的行人檢測(cè)器的訓(xùn)練性能與viola算法相同,總檢出率為91.0%,總誤報(bào)率為1.84×10-6。
圖7 程序?qū)π腥藱z測(cè)結(jié)果Fig.7 Pedestrian detection results
表中圖像序列1~6分別對(duì)應(yīng)PETS 2001測(cè)試集中相應(yīng)視頻,即data/testing/camera1~6;圖像序列7,8對(duì)應(yīng)自拍視頻的圖像序列。應(yīng)用本文所述方法檢測(cè)大小為640像素×480像素的圖像,平均檢測(cè)時(shí)間約為115 ms。從表中數(shù)據(jù)可知,筆者設(shè)計(jì)的算法,行人檢測(cè)率高于Viola算法,且對(duì)誤報(bào)率也有較大改善。
表2 文中提出算法與viola方法的對(duì)比Tab.2 Comparison of the proposed algorithm with Viola’s
筆者采用Harr-like特征提取行人特征,使用積分圖快速計(jì)算矩形特征,提高了算法的效率。對(duì)傳統(tǒng)的Adaboost算法引入優(yōu)化更新權(quán)重的方法,提出1種基于級(jí)聯(lián)分類器的行人檢測(cè)方法,實(shí)現(xiàn)對(duì)行人區(qū)域快速精確檢測(cè)。實(shí)驗(yàn)表明,改進(jìn)的Adaboost算法比傳統(tǒng)算法在相同訓(xùn)練層數(shù)下識(shí)別率更高,在相同識(shí)別率下改進(jìn)算法所需的訓(xùn)練層數(shù)較少,更能適應(yīng)行人檢測(cè)的實(shí)時(shí)要求;對(duì)復(fù)雜交通環(huán)境有較強(qiáng)的魯棒性。但是,當(dāng)行人嚴(yán)重遮擋,或行人在圖像中所占像素過少,行人的檢測(cè)性能仍需進(jìn)一步完善,因此如何改進(jìn)訓(xùn)練權(quán)值的更新規(guī)則以及對(duì)行人典型特征的提取,將是下一步研究工作的重點(diǎn)。
[1] 郭 烈,趙宗艷,聶 倩,等.利用腿部區(qū)域HOG特征的行人檢測(cè)方法[J].計(jì)算機(jī)工程與應(yīng)用,2013,49(1):217-221.
[2] Viola P,Jones M,Snow D.Detecting pedestrians using pat-terns of motion and appearance[J].Computer Vision,2005(2):153-161.
[3] Iketani A,Kuno A,Nagai Y.Real-time surveillance system detecting persons in complex scenes[J].Real-time Imaging,2001,7(5):433-446.
[4] Cutler R,Davis L.Robust real-time periodic motion detection,analysis,and applications[J].IEEE Transactions on Pattern Analysis and Machine Intelligence.2000(1):781-796.
[5] Karaulova I,Hall P,Marshall A.A hierarchical model of dynamics for tracking people with a single video camera[C]∥Proceedings of the British Machine Vision Conference.Bristol,UK:BMVC,2000:11-14.
[6] Philomin V,Duraiswami R,Davis L.Pedestrian tracking from a moving vehicle[C]∥11th Asian Conference on Computer Vision.Heidelberg,Germany:Springer Verlag,2002:335-346.
[7] Zhao L.Dressed Human Modeling,Detection and Parts Localization[D].Pittsburgh:The Robotics Institute,Carnegie Mellon University,2001.
[8] Masoud O,Papanikolopoulos N.Robust pedestrian tracking using a model-based approach[C]∥IEEE Conference on Intelligent Transportation Systems.Piscataway,United States:IEEE,1997:338-343.
[9] 孫慶杰.靜態(tài)圖像中人體檢測(cè)技術(shù)研究[D].北京:中國(guó)科學(xué)院軟件研究所,2004.
[10] Cheng H,Zheng N,Qin J.Pedestrian detection using sparse gabor filter and support vector machine[C]∥IEEE Intelligent Vehicles Symposium.Las.Vegas,United states:IEEE,2005:583-587.
[11] 魏福祿,曲昭偉,江 晟,等.基于多源信息融合的行人檢測(cè)實(shí)時(shí)性方法研究[J].交通信息與安全,2012(3):43-47.
[12] Ke Z,Al E.A Cache replacement policy to salvage discarded predictions from hardware prefetchers[J].IEEE/ACM International Symposium on Cluster,2011(1):265-274.
[13] Jacobson N,F(xiàn)reund Y,Nguyen T.An online learning Approach to occlusion boundary detection[J].IEEE Transactions on Image Processing,2012(1):252-261.
[14] Rakate G R E A.Advanced pedestrian detection system using combination of Haar-like features,Adaboost algorithm and edgelet-shapelet[C]∥3rd IEEE International Conference on Computational Intelligence and Computing Research.Coimbatore,India:IEEE Signal Process,2012:143-152.
[15] 朱誼強(qiáng).基于Adaboost算法的實(shí)時(shí)行人檢測(cè)系統(tǒng)[J].計(jì)算機(jī)測(cè)量與控制,2006,14(11):1462-1465.
[16] 劉遠(yuǎn)志,潘宏俠,趙潤(rùn)鵬.基于 OpenCV和 Adaboost算法的人臉檢測(cè)[J].機(jī)械管理開發(fā),2012(1):185-186.