張榮輝,李福樑,周喜,蔣同海,游峰*,徐建閩,楊三強(qiáng)
(1.中國科學(xué)院新疆理化技術(shù)研究所,烏魯木齊830011;2.華南理工大學(xué)土木與交通學(xué)院,廣州510640;3.新疆交通科學(xué)研究院,烏魯木齊830000)
一種基于激光與視頻信息時(shí)空數(shù)據(jù)融合的行人檢測(cè)方法
張榮輝1,李福樑2,周喜1,蔣同海1,游峰*2,徐建閩2,楊三強(qiáng)3
(1.中國科學(xué)院新疆理化技術(shù)研究所,烏魯木齊830011;2.華南理工大學(xué)土木與交通學(xué)院,廣州510640;3.新疆交通科學(xué)研究院,烏魯木齊830000)
針對(duì)城市交通行人安全問題,本文提出了一種基于激光與視頻數(shù)據(jù)融合的行人檢測(cè)方法.通過激光與視頻數(shù)據(jù)空間和時(shí)間上的融合,將激光數(shù)據(jù)映射到圖像坐標(biāo);在激光聚類過程中,采用K-means聚類算法對(duì)激光云點(diǎn)進(jìn)行聚類分析,然后運(yùn)用行人寬度模型提取候選行人區(qū)域;在基于圖像的行人檢測(cè)過程中,選取頭肩、軀干以及腿部人體特征部位,采用Haar-like特征集和Boosting算法進(jìn)行訓(xùn)練,得到部位檢測(cè)器;最后,基于貝葉斯決策的組合策略對(duì)候選行人區(qū)域進(jìn)行有效判定.實(shí)驗(yàn)結(jié)果表明,本文所述算法有較好的檢測(cè)精度和實(shí)時(shí)性能.
智能交通;行人檢測(cè);激光點(diǎn)云;機(jī)器視覺;K-means算法;Boosting算法;貝葉斯決策;智能交通系統(tǒng)
行人是城市交通的主要參與者,通過對(duì)行人的檢測(cè)、跟蹤及其運(yùn)動(dòng)軌跡分析,可為城市道路交通安全監(jiān)管平臺(tái)提供有效的主動(dòng)預(yù)警.其中,行人檢測(cè)的準(zhǔn)確性與實(shí)時(shí)性,將直接影響后續(xù)工作和系統(tǒng)使用性能.然而行人姿態(tài)各異、模式多樣、中遠(yuǎn)距離特征信息不明顯,加之錯(cuò)綜復(fù)雜的道路交通環(huán)境,使得行人檢測(cè)成為一項(xiàng)極具挑戰(zhàn)的課題.總結(jié)行人檢測(cè)面臨的挑戰(zhàn)困難主要有:第一,復(fù)雜的道路環(huán)境中,存在著大量輪廓像人的對(duì)象,例如行道樹、標(biāo)牌等,導(dǎo)致較高的檢測(cè)虛警;第二,行人衣著顏色樣式各異,導(dǎo)致基于顏色特征或人體邊緣的檢測(cè)算法效果不佳[1,2];第三,人是鉸鏈對(duì)象,形體姿態(tài)各異,無法使用單個(gè)模型來表示所有可能的形狀,也無法用所有形狀特征建立模型;第四,當(dāng)前基于視頻檢測(cè)的行人檢測(cè)方法檢測(cè)耗時(shí)較多,系統(tǒng)實(shí)時(shí)性較差,較難直接運(yùn)用于安全輔助駕駛系統(tǒng).
在已有行人檢測(cè)方法中,基于視頻信息或激光信息的檢測(cè)方法主要有:Viola[3]等人提出了一種基于圖像灰度和運(yùn)動(dòng)信息的行人檢測(cè)方法,該方法在攝像機(jī)靜止且光照緩慢變化的情況下比較有效,但是不適用于攝像機(jī)運(yùn)動(dòng)的場(chǎng)合;Wu Bo[4]等人使用行人邊緣特征集作為訓(xùn)練樣本,利用Adaboost分類器對(duì)不同行人部位進(jìn)行訓(xùn)練,并通過貝葉斯模型得到檢測(cè)結(jié)果,當(dāng)行人近且邊緣特征清晰時(shí)檢測(cè)效果較佳,其余情況下檢測(cè)誤警率較高;田廣[5]等人提出一種coarse-to-fine的行人檢測(cè)方法,先初選行人區(qū)域,進(jìn)而進(jìn)行驗(yàn)證,該方法實(shí)時(shí)性較難保證;錢惠佳[6]等人提出一種基于激光雷達(dá)與視頻的行人檢測(cè)方法,根據(jù)激光雷達(dá)的深度信息匹配行人上半身模板,在通過基于Hausdorff距離的模板匹配方法進(jìn)行驗(yàn)證,其主要缺點(diǎn)是受模板特征限制.
在上述研究基礎(chǔ)上,為了提高行人檢測(cè)的檢測(cè)精度和檢測(cè)速率,提出一種適應(yīng)于安全輔助駕駛系統(tǒng)的行人檢測(cè)方法:在第一階段,通過激光信息產(chǎn)生候選行人區(qū)域;第二階段,采用基于人體部位的視頻檢測(cè)進(jìn)行行人區(qū)域判定.在候選行人區(qū)域?qū)用妫瑧?yīng)用K-means聚類算法對(duì)前方障礙物進(jìn)行分類,通過行人寬度模型對(duì)行人目標(biāo)進(jìn)行甄別,得到候選行人區(qū)域;在視頻檢測(cè)判定層面,根據(jù)人體形體特征,采用頭肩(head-shoulder)、軀干(torso)、腿(leg)部位特征,通過boosting方法訓(xùn)練得到部位檢測(cè)器.最后,通過在不同場(chǎng)景環(huán)境下的試驗(yàn),驗(yàn)證了本方法的檢測(cè)精度與檢測(cè)速率.
2.1 空間上的數(shù)據(jù)融合
空間上數(shù)據(jù)信息融合以車輛坐標(biāo)系為基準(zhǔn)坐標(biāo)系,實(shí)現(xiàn)四者坐標(biāo)系的統(tǒng)一.其中激光測(cè)距儀坐標(biāo)系與車輛坐標(biāo)系均為二維坐標(biāo)系,進(jìn)行相應(yīng)坐標(biāo)轉(zhuǎn)換即可;攝像機(jī)坐標(biāo)系與圖像坐標(biāo)系轉(zhuǎn)換,可通過攝像機(jī)內(nèi)部參數(shù)標(biāo)定轉(zhuǎn)換;攝像機(jī)坐標(biāo)系與圖像坐標(biāo)系轉(zhuǎn)換定義為:通過在視頻流中提取的障礙物特征信息,利用攝像機(jī)成像的幾何原理估算出障礙物與攝像機(jī)的相對(duì)距離,本文采用單幀靜態(tài)圖像模型[7],將三維距離轉(zhuǎn)換為二維信息.
通過上述坐標(biāo)標(biāo)定統(tǒng)一可以將激光坐標(biāo)映射到圖像坐標(biāo)系中,實(shí)現(xiàn)激光數(shù)據(jù)幀與圖像信息在空間上的融合.
2.2 時(shí)間上的數(shù)據(jù)融合
由于激光測(cè)距儀與CCD攝像頭采集頻率不同,在給定觸發(fā)信號(hào)情況下,一幀激光數(shù)據(jù)和圖像數(shù)據(jù)對(duì)應(yīng)的時(shí)刻不盡相同.為此,本文采用基于航位推算下的坐標(biāo)變換方法實(shí)現(xiàn)兩者時(shí)間上數(shù)據(jù)融合.
如圖1所示,XWOWYW為世界坐標(biāo)系,XVOVYV為車輛坐標(biāo)系,p點(diǎn)代表行人,(xw,yw)、(xv,yv)分別是行人在世界坐標(biāo)系、車輛坐標(biāo)系下的位置坐標(biāo),(x,y)為車輛坐標(biāo),由于激光和攝像機(jī)采集數(shù)據(jù)幀頻率不同,車輛坐標(biāo)在這2個(gè)時(shí)刻之間發(fā)生了偏移.為此,我們以攝像機(jī)時(shí)刻為基準(zhǔn),通過基于航位推算的坐標(biāo)變換方法建立聯(lián)系[8],如下式:
式中(x1b,y1b)、(x1a,y1a)分別為攝像機(jī)與激光時(shí)刻下的位置坐標(biāo),攝像機(jī)與激光時(shí)刻之間的車輛位置坐標(biāo)差,即(xb-xa,yb-ya)通過上述坐標(biāo)變換即可求得,從而求得與攝像機(jī)時(shí)刻相對(duì)應(yīng)的激光時(shí)刻的行人位置坐標(biāo),實(shí)現(xiàn)時(shí)間上數(shù)據(jù)信息融合.
圖1 基于航位推算的坐標(biāo)變換Fig.1 Coordinate transformation based on DR
3.1 基于激光的候選行人區(qū)域選擇
激光獲取了大量的數(shù)據(jù),其中包括潛在的行人候選區(qū)域及非行人區(qū)域,為此如何對(duì)這些區(qū)域進(jìn)行劃分成為了關(guān)鍵.但是,由于激光數(shù)據(jù)海量且復(fù)雜,必須先對(duì)激光數(shù)據(jù)進(jìn)行預(yù)處理.文中采用K-means聚類算法對(duì)激光信息進(jìn)行預(yù)處理,進(jìn)而采用行人寬度模型對(duì)行人目標(biāo)進(jìn)行甄別.
通過K-means聚類分析,各聚類中包含行人和其他障礙物.在此提出一種基于寬度信息的行人判別模型,即以聚類中心為核心,查找不同類型目標(biāo)的邊界特征,由此獲取目標(biāo)的寬度,并與實(shí)驗(yàn)所設(shè)定的閾值相比較,最終甄別行人目標(biāo)行人寬度的計(jì)算公式為
通過多次實(shí)驗(yàn)數(shù)據(jù)分析,文中目標(biāo)行人的寬度為0.28~0.62m,即當(dāng)目標(biāo)的寬度在限定的范圍時(shí),我們將對(duì)應(yīng)的聚類標(biāo)記為行人目標(biāo),否則為非目標(biāo)區(qū)域.在此基礎(chǔ)上,運(yùn)用透視變換矩陣,根據(jù)行人高度及其聚類寬度信息,得到不同距離下行人在圖像中的高度與寬度,如圖2所示.
圖2 候選行人區(qū)域提取結(jié)果Fig.2 The resultofcandidate pedestrian area
3.2 基于人體部位的行人區(qū)域判定
3.2.1 部位特征檢測(cè)算法概述
選取頭肩、軀干、腿構(gòu)造人體部位檢測(cè)器,各部位檢測(cè)器采用haar-like特征集,用Boosting算法訓(xùn)練.各部位檢測(cè)器僅掃描與候選行人相對(duì)應(yīng)的圖像區(qū)域,大大節(jié)約了檢測(cè)時(shí)間,提高了算法實(shí)時(shí)性,同時(shí)能很好地檢測(cè)行走,跑動(dòng),和旋轉(zhuǎn)的行人,部位檢測(cè)器分割如圖3所示.
圖3 人體部位特征定義Fig.3 Characteristic partofpedestrian
對(duì)得到的候選行人區(qū)域,根據(jù)上述人體部位位置為每個(gè)候選行人產(chǎn)生假設(shè)部位,然后根據(jù)各部位檢測(cè)器的實(shí)際檢出框與候選者的假設(shè)部位的相似程度判斷其是否為行人,算法步驟如下所示:
Step 1為圖像中候選行人區(qū)域設(shè)置一個(gè)大小為候選行人區(qū)域檢出框,1.2倍的矩形框?yàn)樾腥伺卸▍^(qū)域.
Step 2各個(gè)部位檢測(cè)器在相應(yīng)部位檢測(cè)區(qū)域檢測(cè)相應(yīng)的部位.
Step 3根據(jù)每個(gè)檢出框的響應(yīng)值、大小及其位置從中選擇最好的檢出框.
Step 4基于貝葉斯決策的組合算法,根據(jù)在每個(gè)候選者上部位檢測(cè)器的檢出結(jié)果,判斷候選者是人還是非人.
人體特征部位的檢測(cè)算法流程圖如圖4所示.
圖4 人體特征部位的檢測(cè)算法流程圖Fig.4 Flow Chartofpedestrian partcharacteristic detection
3.2.2 基于貝葉斯決策的行人區(qū)域判定
貝葉斯決策能夠在不完全情報(bào)下,對(duì)部分未知的狀態(tài)用主觀概率估計(jì),用貝葉斯公式對(duì)發(fā)生概率進(jìn)行修正,其能夠?qū)z測(cè)結(jié)果或需要采集新的信息進(jìn)行科學(xué)的判斷,對(duì)檢測(cè)結(jié)果進(jìn)行數(shù)量化的判斷.為此為了更佳的整合各個(gè)部位檢測(cè)器的檢測(cè)效果,文中采用貝葉斯決策組合部位檢測(cè)器檢測(cè)結(jié)果.
將候選行人X劃分為頭肩檢測(cè)區(qū)Xhs、軀干檢測(cè)區(qū)Xto、和腿部檢測(cè)區(qū)Xle,yi=1表示人體的部位i被檢測(cè)出,i∈{hs,to,le} ,yla=1表示為候選行人區(qū)域,否則為非候選行人區(qū)域.候選行人X的頭肩、軀干和腿部均能夠被檢測(cè)出的概率可用公式表示.
設(shè)Fi(Xi)為部位i檢測(cè)器的響應(yīng)值,則每個(gè)部位檢測(cè)器的后驗(yàn)概率可表示為
式中Ti為部位i檢測(cè)器的分類器閾值,試驗(yàn)中設(shè)定為95%,TRi為部位i檢測(cè)器各分類器的正樣本的權(quán)重和,可表示為
在一個(gè)候選行人里頭肩檢測(cè)區(qū)Xhs、軀干檢測(cè)區(qū)Xto、和腿部檢測(cè)區(qū)Xle都能被檢測(cè)出的概率為
更近一步的,設(shè)ci∈{0,1},i∈{hs,to,le},對(duì)于一個(gè)候選行人區(qū)域事實(shí)上為行人的概率可表示為
實(shí)驗(yàn)中經(jīng)激光處理得到的候選行人區(qū)域中存在著行人與非行人目標(biāo),精度約在86.3%.因此,需要采用貝葉斯決策對(duì)候選行人區(qū)域進(jìn)行進(jìn)一步判別,行人目標(biāo)的置信度l(X)為表示為
則基于貝葉斯決策的組合檢測(cè)器輸出可表示為
訓(xùn)練人體部位檢測(cè)器的正樣本由3 230張人體圖片組成,其中925個(gè)來自M IT的行人圖像庫、1 861張來自INRIA實(shí)驗(yàn)室,其余為實(shí)驗(yàn)獲取圖片.按照?qǐng)D3給出的部位比例對(duì)根據(jù)正樣本集圖像進(jìn)行裁剪,并統(tǒng)一處理成16像素×32像素;負(fù)樣本來自INRIA訓(xùn)練樣本庫和試驗(yàn)現(xiàn)場(chǎng)獲取,約4 000張圖片,統(tǒng)一處理成640像素×480像素.實(shí)驗(yàn)車上裝載SICK公司的LMS511激光測(cè)距儀和羅技網(wǎng)絡(luò)攝像頭,計(jì)算機(jī)配置為Intel i5CPU+4G DDR內(nèi)存.
圖5 檢測(cè)結(jié)果圖例說明Fig.5 Graphic explain ofdetection result
為了全方位評(píng)估本文算法的實(shí)時(shí)性及其精確性,本文在校園及其周圍不同場(chǎng)景下,對(duì)超過5 000幀圖像進(jìn)行了檢測(cè),部分檢測(cè)結(jié)果如圖6所示.
場(chǎng)景(a)中,針對(duì)簡單場(chǎng)景下的單人或者相隔較遠(yuǎn)的雙人目標(biāo)均能夠精確生成候選行人區(qū)域(如圖5中標(biāo)示框1所示),在候選行人區(qū)域的基礎(chǔ)上通過部位檢測(cè)器能有效對(duì)行人部位進(jìn)行判定(如圖5中標(biāo)示框2所示),通過貝葉斯決策最終確定行人目標(biāo)(如圖5中標(biāo)示框3所示).
場(chǎng)景(b)中,針對(duì)有車輛、自行車及行道樹等干擾的情況下,對(duì)有序并排行走的行人能夠精確檢測(cè)標(biāo)示,但是當(dāng)行人緊密并排行走時(shí),系統(tǒng)易將其標(biāo)示為同一個(gè)行人,存在漏檢現(xiàn)象.
場(chǎng)景(c)中,針對(duì)多行人目標(biāo)緊密行走的情況下,激光測(cè)距儀能夠有效地對(duì)行人目標(biāo)聚類,生成候選行人區(qū)域,并很好地對(duì)候選行人區(qū)域檢測(cè)判定.但是當(dāng)行人部位被完全遮擋時(shí),系統(tǒng)無法確認(rèn),存在漏檢現(xiàn)象.
場(chǎng)景(d)中,針對(duì)夜間光線不佳的情況下,通過激光與視頻信息融合,能夠有效減少光線等因素的影響,精確實(shí)現(xiàn)行人目標(biāo)檢測(cè)識(shí)別.總體來說,針對(duì)單行人目標(biāo)簡單場(chǎng)景、有車輛自行車及行道樹等干擾場(chǎng)景、行人目標(biāo)緊密并排行走場(chǎng)景、夜間場(chǎng)景及在其他不同場(chǎng)景情況下,提出的算法均能夠?qū)崿F(xiàn)有效行人目標(biāo)檢測(cè).
同時(shí),為了檢測(cè)所述算法的檢測(cè)性能,我們?cè)O(shè)計(jì)重現(xiàn)了Viola、BoWu及田廣等的行人檢測(cè)系統(tǒng),在相同的實(shí)驗(yàn)條件下,進(jìn)行性能分析比較,并記錄了基于單一視頻或者單一激光的檢測(cè)性能,如表1所示.對(duì)比Viola算法,在車輛運(yùn)動(dòng)的實(shí)際檢測(cè)環(huán)境下,文中所述算法不僅提高了檢出率,而且大幅度提高檢測(cè)速率,檢測(cè)時(shí)間減少約0.6秒/幀;對(duì)比Bo Wu算法,改用Boosting算法訓(xùn)練行人樣本,有效提高了檢測(cè)精度,檢出率增加約13%,同時(shí)提高了中遠(yuǎn)距離的行人檢測(cè)效果;對(duì)比田廣算法,采用激光測(cè)距儀確定行人通過激光選擇候選行人區(qū)域,避免對(duì)幀圖像進(jìn)行全景搜索,有效提高了行人檢測(cè)時(shí)間,檢測(cè)速率高達(dá)0.116s/幀,但是受限于激光的行人候選區(qū)域預(yù)判精度,降低了檢出率約2%;對(duì)比單一視頻和單一激光算法,充分利用了圖像檢測(cè)細(xì)粒度高,以及激光檢測(cè)實(shí)時(shí)性高、深度信息獲取能力強(qiáng)等特點(diǎn),在檢測(cè)速率和檢出率上均有大幅提升,大大提高了檢測(cè)系統(tǒng)的綜合性能.
表1 本文檢測(cè)算法與v io la、Bo W u及田廣算法檢測(cè)性能分析Table 1 Detection performance analysis with Viola Bo Wu and Tian Guang method
圖5 實(shí)際場(chǎng)景行人檢測(cè)結(jié)果Fig.5 The resultofpedestrian detection in actualscene
本文提出了一種基于激光與視頻信息時(shí)空數(shù)據(jù)融合的行人檢測(cè)方法,通過激光測(cè)距儀與攝像頭之間空間與時(shí)間上的數(shù)據(jù)融合,將激光數(shù)據(jù)投影至圖像坐標(biāo)中,進(jìn)而采用基于人體部位的組合檢測(cè)方法對(duì)候選行人區(qū)域進(jìn)行有效驗(yàn)證,行人檢測(cè)速率達(dá)0.116秒/幀,檢出率達(dá)91.6%.總結(jié)本文特點(diǎn)主要有:
(1)采用激光信息提取候選行人區(qū)域,避免對(duì)圖像進(jìn)行全景搜索,有效提高了算法的檢測(cè)速度,檢測(cè)速率的提高有利于在汽車安全輔助駕駛系統(tǒng)中的實(shí)踐應(yīng)用.
(2)采用人體部位描述行人特征,不受形體姿態(tài)、衣著顏色樣式等影響.
(3)利用各部位的歷史信息和檢出部位的幾何信息,通過貝葉斯決策能排除大量的可疑且很難排除的候選行人,提高了檢測(cè)精度.
[1]Zeng B,Wang G J,Lin X G.Color self-similarity feature based real-time pedestrian detection[J].Journal of Tsinghua University.2012,52(4):571-574.
[2]王愛麗,董寶田,王澤勝.融合背景差分的二次重構(gòu)和內(nèi)外標(biāo)記分水嶺的行人檢測(cè)方法[J].交通運(yùn)輸系統(tǒng)工程與信息,2014,14(4):66-72.[WANG A L,DONG B T,WANG Z S.Pedestrian detection of integrating BSbased on quadratic reconstruction and IE marker watershed[J].Journal of Transportation Systems Engineering and Information Technology,2014,14(4): 66-72.]
[3]Viola P,Jones M J,Snow D.Detecting pedestrians using patterns of motion and appearance[J].International JournalofComputer Vision,2005,63(2):153-161.
[4]Wu Bo,Nevatia.Detection and tracking of multiple, partially occluded humans by Bayesian combination of edgelet based detectors[J].International Journal of Computer Vision,2007,75(2):247-266.
[5]田廣,戚飛虎.單目移動(dòng)拍攝下基于人體部位的行人檢測(cè)[J].系統(tǒng)仿真學(xué)報(bào),2006,18(10):2906-2910.[TIAN G,QIFH.Component-based pedestrian detection with monocular moving camera[J].Journal of System Simulation,2006,18(10):2906-2910.]
[6]錢慧佳,楊明.一種基于激光雷達(dá)和視覺的行人檢測(cè)方法[J].上海交通大學(xué)學(xué)報(bào),2010,44(07):945-950. [QIAN H J,YANG M.A pedestrian method based on laser scanner and camera[J].Journal of Shanghai Jiaotong University,2010,44(07):945-950.]
[7]郭磊,徐友春,李克強(qiáng),等.基于單目視覺的實(shí)時(shí)測(cè)距方法研究[J].中國圖象圖形學(xué)報(bào),2006,11(02):122-129. [GUO L,XU Y C,LI K Q,et al.Study on real-time distance detection based onmonocular vision technique [J].Journal of Image and Graphics.2006,11(02):122-129.]
[8]李顥.基于視覺的智能車輛自主導(dǎo)航方法研究[D].上海交通大學(xué),2009.[LI H.Vision based intelligent vehicle autonomous navigation[D].Shanghai Jiaotong University,2009.]
A Pedestrian Detection M ethod under Tim e-space Data Fusion Based on Laser and Video In form ation
ZHANG Rong-hui1,LIFu-liang2,ZHOU Xi1,JIANG Tong-hai1,YOU Feng2,XU Jian-m in2,YANG San-qiang3
(1.Xinjiang Technical Instituteof Physics&Chemistry,ChineseAcademy of Sciences,Urumqi830011,China;2.Schoolof Civil Engineering and Transportation,South China University of Technology,Guangzhou 510640,China;3.Xinjiang Academy of Communication Science,Urumqi830000,China)
A pedestrian detection method based on laser and video information fusion is proposed concerning the pedestrian safety problem in urban traffic.Laser data are projected to image coordinate system through spatialand temporal combination of laserand video data.In the processof laser clustering,K-means clustering algorithm is adopted to conduct clustering analysis on laser point clouds,while pedestrian w idth model is employed to extract candidate pedestrian region.In the process of pedestrian detection, characteristic partof pedestrian such as head-shoulders,body and legs are selected,and Haar-like feature is adopted and trained through Boosting algorithm.The obtained part detector is used to detect pedestrian, deciding the validity of candidate pedestrian region through composition strategy based on Bayesian decision.The result of the experiment shows that the proposed algorithm has preferable real-time and detection performance.
intelligent transportation;pedestrian detection;laser point cloud;compute vision; K-means algorithm;Boosting algorithm;Bayesian decision;ITS
1009-6744(2015)03-0049-07
TN216
A
2014-10-29
2015-03-28錄用日期:2015-04-07
國家自然科學(xué)基金(51208500,51408237,51108192);中國博士后科學(xué)基金(2012M521824,2013T60904);新疆維吾爾自治區(qū)自然科學(xué)基金(2013211B36,2013211B43).
張榮輝(1981-),男,江西廣豐人,博士、副研究員.
youfeng77@126.com