楊立娜,黃影平,胡 興

1(上海理工大學 光電信息與計算機工程學院,上海 200093) 2(嘉興學院 機電工程學院,浙江 嘉興 314000)E-mail:122299755@qq.com

1 引 言

智能汽車的研究方興未艾.環(huán)境辨識是智能汽車的基本模塊,也是其開展自主駕駛的前提,一項基本的任務是對障礙物的探測與辨識.現(xiàn)有的研究側(cè)重于對單一類型障礙物的探測,對多類型障礙物的同時探測并且識別的研究相對較少.實際上,對于行駛在城區(qū)環(huán)境的智能車輛,不僅要能夠探測到各種障礙物,而且要能夠辨識它們的類型,以便車輛采取相應的保護措施.本文針對多類型障礙物的辨識問題開展研究,提出了基于貝葉斯分類器的多類型障礙物的辨識方法.

交通場景中的障礙物主要包括車輛和行人,因此用于智能車輛的障礙物檢測主要針對這兩類目標.這方面的工作可謂浩如煙海,檢測方法基本可以分為兩類:基于先驗知識的和基于機器學習的方法.文獻[1,2]綜述了車輛檢測的研究現(xiàn)狀,文獻[3,4]綜述了行人檢測的研究現(xiàn)狀.基于先驗知識的方法主要利用預先已知的車輛或行人的某些圖形特征來進行檢測.例如,將對車輛的檢測過程分為假設生成和假設驗證兩個階段.首先根據(jù)車輛的對稱性、陰影、形狀和顏色、水平/垂直邊緣,或者視差圖來確定圖像中可能的車輛目標區(qū)域,再通過基于模板匹配或基于特征的方法來校驗假設區(qū)域是否有車輛目標存在,排除非車輛目標.對行人的檢測,有基于行人的頭部與肩膀的模板匹配方法;有的利用行人的腿部運動特征;有的通過計算人體運動區(qū)域(手,腳)的光流來分析運動周期性;有的直接利用各種姿態(tài)的行人2維或3維模板進行匹配.不同于上述方法,基于機器學習的方法所采用的特征對于辨識的作用不是預先知道的,而是依靠大量的數(shù)據(jù)樣本通過訓練提取出來的.機器學習的目的有兩個:一是降低數(shù)據(jù)的維度,獲取能反映模式本質(zhì)屬性的特征;二是獲取具有高分辨率的分類器.這類方法的性能取決于特征提取的算法和分類器的設計,也很大程度上取決于訓練的圖像庫是否涵蓋待測模式的變化.常采用的特征有梯度直方圖(HOG)、Harr-like特征、SIFT特征等.在分類器設計方面,主要采用決策樹、支持向量機(SVM)和AdaBoost等.這類方法的共同點是:他們都是針對某一種特定的障礙物來提取特征和設計分類器,是一種二值分類.這些方法只能探測到某一種特定的目標,而不能同時探測和辨識多種類型的障礙物.

隨著圖像處理、模式識別、機器學習方法的快速發(fā)展,道路障礙物辨識技術在智能交通系統(tǒng)中扮演著非常重要的角色.在近幾年里,針對車輛辨識技術的研究受到廣泛關注.Bir Bhanu等人[5]通過提取車輛的后臉、車牌和尾燈的低維特征集,應用混合動態(tài)貝葉斯網(wǎng)絡將目標分為“小轎車-小貨車-SUV/小型貨車-未知物體”四類.Vijay UKani等人[6]使用背景差分方法提取汽車的SIFT特征并應用人工神經(jīng)網(wǎng)絡和支持向量機方法分別將汽車車型細分為“騎行者-公共汽車-小汽車-小貨車-卡車-三輪車“六類.而深度學習作為機器學習領域異常火熱的研究方向越來越受到業(yè)界的高度關注.卷積神經(jīng)網(wǎng)絡,尤其是Faster R-CNN(Faster Region-convolutional neural networks)在圖像分類和目標檢測上展示了許多優(yōu)點.Wang Xin-chen等人[7]就提出了一種基于Faster R-CNN的方法將車輛類型分為“小汽車-公共汽車-小貨車-卡車”四類,實驗獲得了較高的魯棒性和檢測精度.文獻[8]將Faster R-CNN方法進行了修改實現(xiàn)了對車輛的檢測和識別,使平均的分類精度達到了91.98%.

而針對行人和車輛等多類障礙物的辨識研究相對較少.在近十年的文獻中,楊欣等人[9]采用一種基于集成學習的二叉樹支持向量機的方法實現(xiàn)了“汽車-摩托車-行人-自行車-背景”的多目標分類.Liang Chung-Wei等人[10]將靜態(tài)的外觀特征與光流時空熵值相結(jié)合通過SVM將運動目標分為“行人-汽車-摩托車-自行車”四類.Ion Giosan[11]通過提取目標的HOG、LBP和紋理等視覺碼本等特征,應用Boosting分類器將目標分為“汽車-行人-電線桿”等多類障礙物.Lun Zhang等人[12]提出了一個新的外觀描述子MB-LBP,通過AdaBoost算法并結(jié)合多分支回歸樹將目標分為“汽車-貨車-卡車-人-自行車-人群”等七類.Silviu Bota 等人[13]首先通過三維信息對目標進行粗分類,再利用目標的運動特征對其進行細分類,最后用決策樹將目標分為“小汽車-卡車-行人-欄桿-其它”五類.

綜上分析可以看出,車載的對于單類障礙物的檢測技術發(fā)展迅速,且分類精度較高.而對于多類障礙物的同時檢測與辨識仍然有待深入的研究.針對這一問題,本文通過立體視覺方法獲得目標的幾何形狀特征(長度、寬度和高度),采用具有強大不確定知識表達能力的混合貝葉斯網(wǎng)絡建立分類模型,實現(xiàn)對多種車輛、行人以及騎行者的分類.

2 目標檢測、特征與目標類型

目標分類的前提是對目標的檢測.本文采用立體視覺原理,對圖像進行深度分層,根據(jù)位置來分割目標,實現(xiàn)對多類障礙物的同時檢測.這部分的工作在我們發(fā)表的論文[14,15]中有詳細介紹.上述方法的基本思想是利用立體視覺的三維重建能力,將2維圖像轉(zhuǎn)換到3維空間,根據(jù)空間位置來分割物體.此方法可以同時檢測出不同類型的障礙物(與其形狀和運動狀態(tài)無關).探測目標的同時,可以檢測到目標的長、寬、高尺寸以及目標的遮擋情況.本文采用上述四個特征對目標進行分類.待辨識的目標類型有:行人、騎行者、小汽車、小貨車、卡車五類.

3 貝葉斯網(wǎng)絡分類模型

貝葉斯網(wǎng)絡是一種用于描述變量間不確定性因果關系的圖形網(wǎng)絡模型,由節(jié)點,有向連線和節(jié)點概率表組成.其中節(jié)點表示變量,是目標類型(隱藏節(jié)點)和目標特征(觀察節(jié)點);有向連線代表節(jié)點間的因果依賴關系.節(jié)點可以是離散變量,也可以是連續(xù)變量.每個節(jié)點用一個條件概率表(離散變量)或者條件概率分布(連續(xù)變量)來描述其父節(jié)點對它的影響程度[16].本工作中使用包含離散變量和連續(xù)變量的混合型貝葉斯網(wǎng)絡.采用貝葉斯網(wǎng)絡建立分類模型就是預先根據(jù)經(jīng)驗或者訓練來確定網(wǎng)絡的結(jié)構(各節(jié)點之間的因果關系),以及變量的節(jié)點概率表.然后,將測量得到的觀察節(jié)點(特征)的值代入模型,反向推理目標的類型.

3.1 網(wǎng)絡結(jié)構學習

對貝葉斯網(wǎng)絡進行學習的本質(zhì)是找到一個最可靠、最客觀地反應變量之間獨立與依賴關系的有向無環(huán)圖DAG(Directed Acyclic Graph).首先是網(wǎng)絡結(jié)構學習,即給定一個變量集V和其上觀察的數(shù)據(jù)集D,找到一個和D擬合度最高的網(wǎng)絡結(jié)構模型.這是一個NP問題,沒有最優(yōu)解,但可以通過基于評分搜索和基于約束的方法對網(wǎng)絡結(jié)構進行學習.本文使用加入預設經(jīng)驗的NPC[17]算法來確定網(wǎng)絡結(jié)構.NPC算法是基于約束的學習方法,是結(jié)合必要路徑條件概念對由Peter Spirtes所提出的PC算法[18]的改進.

1)?變量集S1,S2?V{a,b},那么

a)g(a,b,S1)<0,并且g(b,a,S2)<0,并且

b)?x∈S1,變量a到變量x間存在無向邊,并且

c)?y∈S2,變量b到變量y間存在無向邊,

或者

2)在a和b之間存在邊的數(shù)量大于等于2的SC(Recursive Complete Path)路徑[17].

貝葉斯網(wǎng)絡的框架只有在滿足這種條件下才是最優(yōu)的.反過來說,并非所有符合此條件的框架都是最優(yōu)的.因此這只是一個必要條件.顯然,必要路徑條件要求在缺少邊緣的附近存在某些邊和路徑.

加入預設經(jīng)驗的NPC算法的具體實現(xiàn)步驟:

1)根據(jù)經(jīng)驗指定或去除結(jié)構約束對;

2)利用統(tǒng)計數(shù)據(jù)對除指定或去除結(jié)構約束對外的所有變量對進行條件獨立性檢驗;

3)對于任意一對不是條件獨立的變量間添加一條邊.否則結(jié)合“必要路徑條件”定義在其鄰近節(jié)點中搜索生成具有很多邊的無向圖作為學習的框架;

4)通過碰撞識別方法確保出現(xiàn)無向環(huán);

5)利用碰撞原理和條件獨立約束對那些能夠確定因果關系的邊指定方向,而對構成邊的兩個節(jié)點是條件獨立的無向邊進行刪除,生成不確定的網(wǎng)絡結(jié)構;

6)找出模糊區(qū)域(剩余的無向鏈接),引入用戶經(jīng)驗對模糊區(qū)域給予確認,確定相互依賴的因果關系并確保沒有定向環(huán)發(fā)生.

3.2 網(wǎng)絡參數(shù)學習

首先給整個網(wǎng)絡的條件概率參數(shù)隨機初始化θ,設θt是關于參數(shù)θ的當前估計,Dt是基于θt將數(shù)據(jù)集D修補而得到的完整數(shù)據(jù).然后分以下兩步進行迭代,直到收斂.

1)E步(Expectation step)

在EM的第t次迭代過程中計算θ的期望對數(shù)似然函數(shù):

Q(θ|θt)=Eθ{logf(X|θ)|y}

(1)

其中,X是概率密度為f的完整數(shù)據(jù)(未觀測)的隨機變量.而y=g(x)是觀測數(shù)據(jù).

2)M步(Maximization step)

求得使Q(θ|θt)達到最大的θ的取值.

重復上述過程,θ將收斂到貝葉斯網(wǎng)絡中具有最大可能的條件概率表(離散變量)或條件概率分布(連續(xù)變量).連續(xù)變量的條件概率分布用高斯分布來描述.

4 實驗及結(jié)果分析

4.1 實驗設置

本文選擇KITTI[20]公共數(shù)據(jù)庫訓練數(shù)據(jù)集中的38864個樣本數(shù)據(jù)對網(wǎng)絡模型進行訓練與測試.其中25000個樣本用做訓練數(shù)據(jù)集,包括2926個行人,18399個小汽車、1887個小貨車、1084個騎行者和704個卡車.余下的13864個樣本用做測試數(shù)據(jù)集.圖1為每一目標的典型樣本圖.KITTI提供了所有樣本的類型及三維尺寸的真實值.訓練和測試數(shù)據(jù)集的樣本類別分布如表1所示.實驗是在一臺Intel(R)Core(TM)i5-3210M、CPU為2.50GHz、內(nèi)存為4G的計算機上運行,算法在貝葉斯網(wǎng)絡開發(fā)應用軟件Hugin Expert(1)http://www.hugin.com上執(zhí)行.

圖1 目標樣本圖Fig.1 Pictures of the samples

4.2 實驗結(jié)果

4.2.1 結(jié)構訓練的結(jié)果

采用基于必要路徑條件準則的NPC約束學習算法依據(jù)觀測數(shù)據(jù)對網(wǎng)絡結(jié)構進行學習.設顯著性水平為0.05,通過卡方統(tǒng)計量做假設檢驗來確定邊的存在與否,從而確定貝葉斯網(wǎng)絡的結(jié)構,然后利用碰撞原理和條件獨立約束對那些能夠確定因果關系的邊指定方向,生成如圖2(a)所示的不確定的網(wǎng)絡結(jié)構.

表1 訓練和測試樣本分布Table 1 Distribution of training and testing samples

圖2中每個節(jié)點詳細描述如下:

·Type:其取值為5種可能的目標類型:行人、騎行者、小汽車、小貨車、卡車,離散隱藏變量,size=5.

·occluded:目標是否遮擋,0-不遮擋,1-第1類遮擋,2-第2類遮擋,3-第3類遮擋,離散觀察變量,size=4.

·length:目標實際長度,連續(xù)觀察變量.

·width:目標實際寬度,連續(xù)觀察變量.

·height:目標實際高度,連續(xù)觀察變量.

圖2 訓練生成的貝葉斯網(wǎng)絡結(jié)構Fig.2 Bayesian network structure generated by training

圖2(a)中無方向的連線說明該網(wǎng)絡結(jié)構中還不確定它們之間是否存在因果關系.而NPC算法優(yōu)于PC算法的關鍵在于它對這些無方向的連接不隨意指定,而是可以通過用戶交互來決定這些模糊區(qū)域的解析.結(jié)合經(jīng)驗可以確定目標類型(Type)與是否遮擋(occluded)的因果關系,但道路目標的長度(length)、寬度(width)、高度(height)三者之間是否存在因果關系不能確定,由算法自行生成的網(wǎng)絡結(jié)構如圖2(b)所示.本文在利用NPC算法對網(wǎng)絡結(jié)構進行學習之前預先去除了這三者之間的結(jié)構約束,獲得更為合理的貝葉斯網(wǎng)絡結(jié)構,如圖2(c)所示.

4.2.2 參數(shù)訓練的結(jié)果

按圖2(c)加入預設經(jīng)驗的NPC網(wǎng)絡結(jié)構模型進行參數(shù)訓練,將迭代次數(shù)設置為0,收斂閾值設置為10-4,使學習過程忽略最大迭代次數(shù),只要達到收斂閾值時便終止學習.訓練后得到三個連續(xù)變量(length,width,height)的條件概率分布如表2所示.其中,MeanH、MeanL、MeanW分別代表目標實際高度、長度,寬度的均值;VarianceH、VarianceL、VarianceW分別代表目標實際高度、長度、寬度的方差.一個離散變量(occluded)的條件概率表如表3所示.

表2 連續(xù)變量(height,length,width)的均值與方差(單位:米)Table 2 Mean and variance of continuous variables(m)

表3 離散變量(occluded)的條件概率表(單位:%)Table 3 Conditional probability table for discrete variables(%)

4.2.3 測試結(jié)果

測試數(shù)據(jù)集由13864個目標組成,如表1所示包括1561個行人,543個騎行者,10343個小汽車,1027個小貨車和390個卡車.由圖2(c)網(wǎng)絡結(jié)構產(chǎn)生的混淆矩陣如表4所示,它顯示了觀測到的狀態(tài)與預測的匹配程度.第一行說明了1561個行人樣本中有1548個被正確分類,13個被錯分為騎行者.

表4 混淆矩陣Table 4 Confusion matrix

表5列出了采用圖2(b)和圖2(c)兩種分類模型的性能參數(shù)對比結(jié)果.其中：

表5 兩種分類結(jié)構的性能參數(shù)對比結(jié)果(%)Table 5 Comparison of two classification model structures(%)

結(jié)果顯示:不管哪種方法,在盡量少的“誤診”(FPR)基礎上,盡可能多地檢驗出正樣本(TPR)的是行人類別,同時它的查準率也最高.而小貨車具有最低的真正率和查準率.小汽車的真負率最大.從圖1和表2也可以看出,行人和車輛相比三維尺寸特征顯著,所以分類效果最好.而小貨車的分類精度相對較低,主要是因為小貨車與小汽車的外觀與尺寸相似,尤其小貨車長度被部分遮擋時更容易致使小貨車被誤分為小汽車.另外,小貨車的訓練樣本數(shù)量相對較少也是導致分類精度偏低的一個因素.

表6 TPR與其他研究方法的比較(%)Table 6 Comparison with other research work(%)

從表5的對比結(jié)果可以看出,加入預設經(jīng)驗的NPC網(wǎng)絡結(jié)構與直接使用NPC網(wǎng)絡結(jié)構在對行人、騎行者和小汽車的分類上效果類似,但它對小貨車和卡車的分類精度明顯提高.另外從對總的測試集的分析來看,加入預設經(jīng)驗的NPC網(wǎng)絡結(jié)構的錯誤率明顯降低為2.9%.

4.2.4 與其他方法的比較

表6為采用圖2(c)結(jié)構的真正率(TPR)與第1節(jié)所述相關研究方法的對比結(jié)果.可以看出本方法對小汽車正樣本的預測與文獻[10]中所述方法相當,對小貨車的正確預測效果一般.而對行人、卡車及騎行者的分類效果明顯優(yōu)于其他方法.

5 結(jié) 論

本文采用貝葉斯網(wǎng)絡建立辨識模型,將檢測到的道路目標分成行人、騎行者、小汽車、小貨車、卡車五類.所提方法優(yōu)于現(xiàn)有同類工作.NPC算法的關鍵在于它在生成不確定的網(wǎng)絡結(jié)構后,可以通過經(jīng)驗來決定一些無方向的連接.本文采用的加入預設經(jīng)驗的NPC方法構建的貝葉斯網(wǎng)絡,使分類模型結(jié)構更加合理.下一步的工作:一方面擴大貨車的數(shù)據(jù)集以提高它的分類精度;另一方面將采用動態(tài)貝葉斯網(wǎng)絡結(jié)構來提高復雜場景下道路目標分類系統(tǒng)識別的可靠性與準確性.