郭迎, 趙祥模, 梁睿琳, 王潤民

(1.長安大學(xué) 車聯(lián)網(wǎng)教育部-中國移動(dòng)聯(lián)合實(shí)驗(yàn)室,陜西 西安 710018; 2.長安大學(xué) 信息工程學(xué)院,陜西 西安 710018)

自動(dòng)駕駛車輛是指利用激光雷達(dá)或者人工智能視覺技術(shù),自動(dòng)識(shí)別并躲避障礙物,從而實(shí)現(xiàn)車輛的正常運(yùn)行。但由于障礙物等干擾,時(shí)有發(fā)生自動(dòng)駕駛車輛碰撞、牽引等相關(guān)問題,從而產(chǎn)生不同嚴(yán)重程度的交通事故,主要原因是自動(dòng)駕駛車輛對(duì)障礙物的識(shí)別不夠準(zhǔn)確,誤差較大。為了保證自動(dòng)駕駛車輛的安全,優(yōu)化車輛行駛途中的障礙物感知識(shí)別精度是非常有必要的。鄭云水等[1]研究出的雷達(dá)數(shù)據(jù)檢測(cè)法,通過GPS獲取分段擬合車輛行駛軌跡情況,在輔助定位的作用下獲取車輛當(dāng)前位置。通過雷達(dá)檢測(cè)前方行駛路面,利用坐標(biāo)變換在雷達(dá)檢測(cè)區(qū)域內(nèi)確定識(shí)別障礙物位置。何堅(jiān)等[2]提出一種慣性傳感器融合檢測(cè)法,建立地面障礙物空間模型。通過融合慣性參數(shù),計(jì)算相機(jī)傾角來保證拍攝障礙物的世界坐標(biāo)準(zhǔn)確無誤。設(shè)定檢測(cè)閾值,利用慣性傳感器劃分動(dòng)態(tài)障礙物完成障礙物感知識(shí)別。Bae等[3]根據(jù)慣性測(cè)量單元傳感器估計(jì)的航向角和霍爾傳感器計(jì)算的移動(dòng)距離,估計(jì)跟蹤路徑和實(shí)際移動(dòng)距離誤差。Pang等[4]針對(duì)某型飛行器設(shè)計(jì)了一種綜合線性時(shí)變模型預(yù)測(cè)控制器。在建立飛行器兩自由度運(yùn)動(dòng)學(xué)模型的基礎(chǔ)上,利用線性時(shí)變理論建立了飛行器軌跡跟蹤系統(tǒng)的誤差模型。通過二次規(guī)劃優(yōu)化問題求解實(shí)現(xiàn)飛行器避障路徑規(guī)劃。高維岳等[5]提出基于單目視覺的車輛前方障礙物檢測(cè)方法。該方法通過YOLOv4算法檢測(cè)車輛前方多種障礙物,并使用邊緣檢測(cè)算法優(yōu)化檢測(cè)準(zhǔn)確性。但上述方法受到障礙物移動(dòng)的影響,增加了障礙物感知誤差,最終造成感知效果較差。另一方面,上述研究對(duì)象與本文研究的自動(dòng)駕駛車輛存在一定差距,感知效果差異較大。

本文通過雙目視覺相機(jī)獲取車輛行駛過程中不同角度的相同場(chǎng)景圖像,分析左右眼視差,推導(dǎo)車輛所在坐標(biāo)以及障礙物的三維坐標(biāo)。約束雙目視覺完成障礙物的特征識(shí)別和匹配,實(shí)現(xiàn)多類型障礙物的感知。

1 雙目視角下的約束條件設(shè)計(jì)

假定在相同靜止場(chǎng)景的雙目視覺角度C1和C2下呈現(xiàn)的車輛前方投影圖像,立體坐標(biāo)點(diǎn)[6]p在雙目成像圖中顯示的對(duì)應(yīng)投影點(diǎn)分別用p1和p2表示,且立體坐標(biāo)點(diǎn)的投射點(diǎn)數(shù)是以極線為準(zhǔn)的線性推導(dǎo)[7],利用極性幾何約束,給出車輛雙目攝像機(jī)姿態(tài)之間的相對(duì)位置關(guān)系,并結(jié)合雙目視角下攝像機(jī)的實(shí)際運(yùn)動(dòng)信息,可實(shí)現(xiàn)雙視角下的獨(dú)立運(yùn)動(dòng)檢測(cè)。

當(dāng)攝像機(jī)沒有校正時(shí),可以用基本矩陣F21表達(dá)對(duì)極幾何限制,基礎(chǔ)矩陣將同一三維點(diǎn)在多個(gè)角度上的投影點(diǎn)連接:

(1)

式中p1、p2為投影點(diǎn)。

在雙目視覺攝影設(shè)備下,左眼相機(jī)l和右眼相機(jī)r構(gòu)成了雙目視覺立體相機(jī)系統(tǒng),通過Cv,n(v=r,l;n=1,2,…,t)表示n時(shí)刻的系統(tǒng)狀態(tài),在一對(duì)立體影像中的相鄰幀[9]內(nèi),包含4組對(duì)視覺極線的約束條件,分別為{Frt,r(t+1),Frt,l(t+1),Flt,r(t+1),Flt,l(t+1)},其中Frt,r(t+1)和Flt,l(t+1)無法單獨(dú)完成對(duì)運(yùn)動(dòng)障礙物的感知識(shí)別,一方面是因?yàn)闃O線限制條件無法檢測(cè)到與相機(jī)運(yùn)動(dòng)方向已知的運(yùn)動(dòng)目標(biāo);另一方面,當(dāng)雙目視覺下運(yùn)動(dòng)幅度較小時(shí),基本約束矩陣對(duì)障礙物特征匹配的誤差相對(duì)不敏感。因?yàn)閿z像機(jī)的相對(duì)幾何關(guān)系以及攝像機(jī)Cr,t、Cl,r+1、Cl,t、Cr,t+1等不同運(yùn)動(dòng)狀態(tài)幅度較大,由此可以有效對(duì)基本矩陣[10]進(jìn)行穩(wěn)定估計(jì),在雙目視覺車載攝像機(jī)光軸相交的情況下,不存在能完全符合基本矩陣約束條件的獨(dú)立運(yùn)動(dòng)矢量。

{Frt,l(t+1),Flt,r(t+1)}實(shí)質(zhì)上是2套相互交織的對(duì)極幾何約束,稱為多視角下的極線約束條件,多視極線約束結(jié)合了雙目攝像機(jī)視覺下的位置和運(yùn)動(dòng)信息,能夠?qū)Κ?dú)立的運(yùn)動(dòng)異常進(jìn)行穩(wěn)定檢測(cè),定義多視像素的直線距離度量投射像素點(diǎn)與立體交錯(cuò)極線的偏差:

d=α(|lr,t·pr,t|+ll,t+1·pl,t+1)+

β(|ll,t·pl,t|+lr,t+1·pr,t+1)

(2)

式中:|lv,n·pv,n|(v=r,l;n=t,t+1)為投影點(diǎn)pv,n與其相應(yīng)的交叉極線lv,n的豎向距離;α、β表示標(biāo)準(zhǔn)化的權(quán)重系數(shù),運(yùn)動(dòng)障礙的投射點(diǎn)不能滿足多個(gè)視覺角度下的極線限制,像素點(diǎn)距離與其對(duì)應(yīng)的極線距離相對(duì)較長,相對(duì)于對(duì)應(yīng)極線相對(duì)較短的靜態(tài)場(chǎng)景,d可以用來衡量相對(duì)獨(dú)立的運(yùn)動(dòng)。

2 基于雙目視覺的障礙物特征立體匹配

通過高斯濾波濾除道理圖像中摻雜的復(fù)雜環(huán)境帶來的噪聲,通過直方圖均衡化實(shí)現(xiàn)道路圖像的自適應(yīng)預(yù)處理,有效減少車輛在復(fù)雜環(huán)境下行駛過程中遇到的光照變化影響,同時(shí)對(duì)局部細(xì)節(jié)的對(duì)比度進(jìn)行適應(yīng)性增強(qiáng),方便障礙物感知時(shí)角點(diǎn)[11]的提取。通過卷積函數(shù)算子從雙目視覺圖像中提取障礙物特征的角點(diǎn),能夠穩(wěn)定去噪,調(diào)節(jié)道路圖像的光照條件,算子為:

(3)

Q=det(H)-k×tr2(H),k=0.04

(4)

此時(shí)可以得到道路圖像中提取障礙物特征的角點(diǎn)結(jié)果,圖像經(jīng)過預(yù)處理后,呈現(xiàn)的障礙物特征分布相對(duì)均勻,在不同角點(diǎn)下能夠獲得更多的環(huán)境信息。

雖然卷積函數(shù)算子在提取障礙物角點(diǎn)的過程中,能夠最大程度地檢測(cè)到角點(diǎn)像素極坐標(biāo),但無法完全滿足自動(dòng)駕駛車輛對(duì)環(huán)境的感知精準(zhǔn)度,這時(shí)需要進(jìn)一步計(jì)算求出各個(gè)角點(diǎn)對(duì)應(yīng)的具體亞像素坐標(biāo),通過二次多項(xiàng)式計(jì)算,并逐漸逼近角點(diǎn)反映的真實(shí)函數(shù)值。針對(duì)任意隨機(jī)角點(diǎn)I而言,其像素極坐標(biāo)的精確位置可通過反應(yīng)函數(shù)I(x,y)表示:

I(x,y)=a1x2+a2y2+a3xy+a4x+a5y+a′

(5)

式中a1,a2,…,a′表示未知權(quán)重參數(shù)[12]。

通過已經(jīng)計(jì)算得出的角點(diǎn)坐標(biāo)(x,y)相鄰的9個(gè)像素點(diǎn),組建包含未知權(quán)重參數(shù)值的超定方程組,對(duì)二次多次多項(xiàng)式進(jìn)行偏導(dǎo)求解,得出與亞角點(diǎn)對(duì)應(yīng)的極大值點(diǎn):

(6)

在預(yù)處理時(shí),道路圖像的亮度差別很大,作出大量的補(bǔ)償調(diào)整后,考慮到降低實(shí)際運(yùn)算量、提高障礙物特征匹配速度需求,使用下列像素灰度差的平方和,作為相似度向量的障礙物角點(diǎn)匹配衡量指標(biāo):

(7)

在障礙物匹配時(shí),首先設(shè)置一個(gè)查找窗口,重新計(jì)算式(7),計(jì)算左視圖對(duì)應(yīng)實(shí)際角點(diǎn),和右視圖搜索窗口中心尺寸為J×K的障礙物圖像相似程度,求出最大值,在前后2個(gè)方向計(jì)算并比較結(jié)果。通過上述操作,可以將符合唯一限制條件的匹配對(duì),作為初始條件開始匹配。

基于初始配對(duì)結(jié)果利用隨機(jī)采樣算法,反復(fù)隨機(jī)抽取最小值點(diǎn)集,提高像素點(diǎn)集正確匹配的占比,通過聯(lián)機(jī)求出基礎(chǔ)矩陣狀態(tài),自動(dòng)駕駛汽車行駛過程中,所有采集的特征點(diǎn)都是在極線的限制下進(jìn)行,可有效地提高雙目視角下障礙物的特征匹配速度[13]。

為了消除錯(cuò)誤的障礙物特征匹配結(jié)果,引進(jìn)連續(xù)性假設(shè)約束,通過對(duì)雙目視差進(jìn)行限制,如果2個(gè)點(diǎn)在同一個(gè)表面上非常接近,那么二者在左右視圖影像上投射和形成的向量方向也大體非常接近。

在獲得三維環(huán)境信息時(shí),對(duì)符合連續(xù)限制條件的多個(gè)匹配點(diǎn),求解獲得障礙物匹配點(diǎn)所對(duì)應(yīng)的車輛坐標(biāo),再通過計(jì)算獲得完整的世界坐標(biāo)系,通過世界坐標(biāo)系中三維坐標(biāo)的分布情況和成像效果,可以大致重構(gòu)出雙目視覺效果下車輛前方的環(huán)境輪廓。

3 自動(dòng)駕駛車輛雙目視覺障礙物感知識(shí)別

當(dāng)自動(dòng)駕駛車輛行駛的路面上沒有任何障礙物時(shí),該情況為路面理想點(diǎn)云密度[14],這種點(diǎn)云密度狀態(tài)和距離有關(guān),與路面的實(shí)際平整度無關(guān),為描述路面距離的平滑曲線。

在自動(dòng)駕駛汽車行駛路面上的任意障礙物所在點(diǎn)P,其投影到雙目視覺攝像機(jī)中將會(huì)形成2個(gè)存在一定視差的對(duì)應(yīng)像點(diǎn),研究障礙物所在點(diǎn)與雙目視覺攝像機(jī)之間的距離以及存在的視差關(guān)系可得:

L′=Bf/d′

(8)

式中:L′表示障礙物所在點(diǎn)與攝像機(jī)之間的距離;B表示雙目視覺攝像機(jī)的基線距離;f表示攝像機(jī)的聚焦;d′雙目視覺之間存在的視差。

通過對(duì)式(8)變換偏導(dǎo)計(jì)算,可以得到雙目攝像機(jī)的視差變化率與距離變化率之間的函數(shù)關(guān)系:

(9)

在復(fù)雜交通環(huán)境下,對(duì)自動(dòng)駕駛車輛的障礙檢測(cè)過程中,首先應(yīng)先設(shè)置好雙目視覺攝像機(jī),在此基礎(chǔ)上不改變其基線距離和相機(jī)焦距,通過引進(jìn)調(diào)整系數(shù)Ks將函數(shù)關(guān)系簡化:

Ks=-Bf

(10)

視差與距離2種參數(shù)變化率間函數(shù)關(guān)系簡化為:

Δd′/ΔL′=Ks·L′-2

(11)

通過式(9)可知,視差變化率和距離變化率之間存在著非線性函數(shù)關(guān)系,實(shí)際距離越近,產(chǎn)生的視差越大。當(dāng)視差的真實(shí)分辨率[15]保持在一定范圍內(nèi)時(shí),在近距離范圍內(nèi)通過視差可以計(jì)算出分辨率高、點(diǎn)云散點(diǎn)數(shù)量較多,且距離差距小的視覺圖像。當(dāng)距離不斷拉大時(shí),在同樣的分辨率之下,通過視差計(jì)算出的圖像視覺效果距離差會(huì)逐漸變大,點(diǎn)云散點(diǎn)數(shù)量同樣跟著逐漸下降。在這一特性基礎(chǔ)上,建立車輛行駛路面的理想點(diǎn)云密度擬合模型,計(jì)算無障礙物情況下雙目視覺的點(diǎn)云密度柵格圖,通過累計(jì)圖中的所有散點(diǎn)進(jìn)行擬合處理,得到相應(yīng)的理想路面點(diǎn)云圖:

ρ3D=f(L′)=1.026 107L′-2 081

(12)

式(12)為車輛行駛路面的理想狀態(tài)下,同一點(diǎn)位上點(diǎn)云密度ρ3D和距離之間存在的非線性關(guān)聯(lián)情況。通過點(diǎn)云散點(diǎn)數(shù)量及密度分析可知,路面與其存在的障礙物間夾角越大,同樣距離下障礙物在雙目視覺攝像機(jī)上透射的像素點(diǎn)越多,點(diǎn)云圖的散點(diǎn)數(shù)量直接影響圖像呈現(xiàn)的像素,因此障礙物所在區(qū)域范圍內(nèi)的散點(diǎn)數(shù)量更多?？梢酝ㄟ^散點(diǎn)閾值約束點(diǎn)云密度柵格位置,憑借設(shè)立閾值比較和分割處理,判斷障礙物所在位置。在點(diǎn)云散點(diǎn)圖上感知檢測(cè)障礙物的步驟為:

1)計(jì)算雙目視覺下,不同視差情況的點(diǎn)云圖,再逐步簡化點(diǎn)云圖;

2)將點(diǎn)云圖簡化后的成像投影到路面的柵格圖中,統(tǒng)計(jì)出各個(gè)散點(diǎn)在柵格中的投影數(shù)量,得到點(diǎn)云密度的真實(shí)柵格圖;

3)在無障礙物情況下,擬合雙目視覺攝像機(jī)的配置情況,得出理想狀態(tài)下的點(diǎn)云密度柵格圖;

4)利用設(shè)定閾值篩選分割出柵格圖中障礙物所在真實(shí)區(qū)域范圍:

υ/ρ3D>Tρ

(13)

式中:υ表示真實(shí)點(diǎn)云密度;ρ3D表示理想點(diǎn)云密度;Tρ表示閾值。根據(jù)閾值比較公式,當(dāng)柵格圖中真實(shí)密度和理想密度之間的比值大于設(shè)定閾值時(shí),證明自動(dòng)駕駛車輛行駛道路上的障礙物在柵格圖中,否則不在柵格圖內(nèi);

5)通過函數(shù)濾波去除掉柵格圖中障礙物所在的孤點(diǎn),實(shí)現(xiàn)障礙物點(diǎn)位連接;

6)將障礙物所在區(qū)域的柵格圖重新投射到雙目視覺攝像機(jī)的原始圖像中,著重標(biāo)記出障礙物所在區(qū)域范圍,跟進(jìn)具體位置。

4 障礙物感知方法性能實(shí)驗(yàn)

為了驗(yàn)證本文所研究的障礙物感知方法是否有效,以及方法的具體性能,進(jìn)行多方面的實(shí)驗(yàn)測(cè)試。

4.1 實(shí)驗(yàn)設(shè)置

在安全區(qū)域內(nèi),設(shè)置車輛行駛障礙物實(shí)驗(yàn)環(huán)境,對(duì)同一道路上的不同障礙物情況進(jìn)行感知檢測(cè)。實(shí)驗(yàn)環(huán)境中設(shè)置5-6、6種不同大小的障礙物,其中障礙物分為動(dòng)態(tài)和靜態(tài)2種,如行走中的行人、騎車的人以及停放在路邊的車輛等。上述障礙物分布在車輛行駛過程中的不同位置如圖1所示。

圖1 障礙物設(shè)置情況Fig.1 Obstacle setting

4.2 結(jié)果分析

1)識(shí)別效果分析。

利用本文方法對(duì)雙目視覺灰度圖像進(jìn)行障礙物特征提取和融合,判斷雙目視覺下對(duì)障礙物的感知是否清晰無誤,原始的雙目圖像如圖2所示。

圖2 雙目攝像機(jī)采集圖像樣本的預(yù)處理Fig.2 Image samples collected by binocular camera

通過圖2中的圖像對(duì)比可以觀察到,圖內(nèi)存在大量的屬于同一物體但不連通的區(qū)域,在雙目視覺雖然感知范圍更加廣泛,但是單視覺之間存在一定的視差。左右目相機(jī)分別拍攝各自視覺范圍內(nèi)的景象,通過雙目視覺相機(jī)的綜合機(jī)制將其融合后,得到完整且視角廣泛的圖像信息。本文根據(jù)圖1的左右目圖像識(shí)別和匹配障礙物特征,得到結(jié)果如圖3所示。

圖3 雙目視覺障礙物特征識(shí)別Fig.3 Binocular visual obstacle feature recognition

在不同距離下對(duì)左右視差灰度圖像二值化處理,測(cè)試到不同區(qū)域內(nèi)的障礙物位置特征,通過特征識(shí)別和匹配,可以清晰地捕捉到左右目圖像中的障礙物輪廓。此時(shí)將左右目圖像雙目視覺約束后,得到完整視覺如圖4所示。雙目視覺圖像下的障礙物感知識(shí)別非常清晰,從視覺角度可以判斷所提障礙物感知方法有效。

圖4 雙目視覺障礙物感知識(shí)別效果Fig.4 Binocular visual obstacle perception and recognition effect

2)特征匹配結(jié)果分析。

分別利用本文方法、雷達(dá)數(shù)據(jù)檢測(cè)法[1]、慣性傳感器融合檢測(cè)法[2]和單目視覺感知方法[5],提取車輛行駛圖中的障礙區(qū)域特征點(diǎn),分析特征點(diǎn)與實(shí)際障礙物的匹配結(jié)果。4種方法特征匹配對(duì)比實(shí)驗(yàn)結(jié)果如圖5所示。當(dāng)視覺角度不斷變化增加時(shí),4種方法在提取障礙物特征點(diǎn)后,特征點(diǎn)匹配的準(zhǔn)確率會(huì)隨之下降。其中,3種對(duì)比方法的匹配正確率,受到視覺角度變化的影響較大,當(dāng)角度變化角度接近直角時(shí),正確率相對(duì)較低。本文方法受到視覺角度變化的影響則相對(duì)穩(wěn)定,特征點(diǎn)匹配度總體較高,在視覺角度變化較大時(shí),仍能夠準(zhǔn)確識(shí)別障礙物的特征點(diǎn),并對(duì)其進(jìn)行準(zhǔn)確匹配。

3)感知檢測(cè)誤差結(jié)果分析。

為保證實(shí)驗(yàn)結(jié)果的準(zhǔn)確性,將實(shí)驗(yàn)次數(shù)設(shè)置在10次,統(tǒng)計(jì)4種方法對(duì)障礙物的感知檢測(cè)誤差,結(jié)果如圖6所示。雷達(dá)數(shù)據(jù)檢測(cè)法[1]和慣性傳感器融合檢測(cè)法[2]對(duì)障礙物的感知檢測(cè)誤差相對(duì)較高,最大感知誤差分別為2.7 cm和2.2 cm,單目視覺感知方法[5]對(duì)障礙物的感知檢測(cè)誤差最大值為1.3 cm,而本文方法下的感知誤差整體維持在0.8 cm以內(nèi),在實(shí)驗(yàn)前期幾次實(shí)驗(yàn)時(shí),感知誤差略有增大現(xiàn)象,但隨著實(shí)驗(yàn)次數(shù)的不斷增加,誤差開始逐漸降低,和其他3種方法相比,感知誤差更小,檢測(cè)障礙物的準(zhǔn)確性和精度更好。

圖6 不同方法下障礙物感知誤差情況Fig.6 Obstacle perception error under different methods

4)定位時(shí)間結(jié)果分析。

采用所提方法、雷達(dá)數(shù)據(jù)檢測(cè)法[1]、慣性傳感器融合檢測(cè)法[2]和單目視覺感知方法[5],提取車輛行駛圖中的障礙物,對(duì)比不同方法所用的定位時(shí)間。定位時(shí)間越長,自動(dòng)駕駛車輛障礙物感知效率越低,相反,定位時(shí)間越短,自動(dòng)駕駛車輛障礙物感知效率越高,不同方法的實(shí)驗(yàn)結(jié)果如圖7所示。A～E為動(dòng)態(tài)障礙物、F～J為靜態(tài)障礙物。分析圖7中的數(shù)據(jù)可知,針對(duì)不同類型的障礙物感知定位,動(dòng)態(tài)類型的障礙物感知定位時(shí)間普遍高于靜態(tài)障礙物。其中,動(dòng)態(tài)障礙物和靜態(tài)障礙物本文方法的感知定位時(shí)間分別在15 ms和11 ms附近波動(dòng),雷達(dá)數(shù)據(jù)檢測(cè)法[1]、慣性傳感器融合檢測(cè)法[2]和單目視覺感知方法[5]的感知定位時(shí)間分別在17、13、18 ms和14、18和12 ms附近波動(dòng)。對(duì)比發(fā)現(xiàn),在不同類型的障礙物下本文方法的感知定位時(shí)間均低于3種對(duì)比方法,表明本文方法應(yīng)用下的自動(dòng)駕駛車輛障礙物感知效率高于3種對(duì)比方法。

圖7 不同方法下障礙物感知定位時(shí)間情況Fig.7 Obstacle perception and location time under different methods

5 結(jié)論

1)在多視覺角度極線約束下,通過對(duì)障礙物進(jìn)行特征識(shí)別和匹配,有效地解決了障礙物感知識(shí)別不準(zhǔn)確的問題。

2)通過研究極線問題,解決了雙目攝像機(jī)不能在相同移動(dòng)方向上探測(cè)障礙物的問題。

3)本文方法能夠準(zhǔn)確識(shí)別不同類型的路面障礙物,同時(shí)視覺匹配準(zhǔn)確率高,感知誤差整體維持在0.8 cm以內(nèi),感知定位時(shí)間分別在15 ms和11 ms附近波動(dòng),所提方法具有較好的障礙物感知性能。

本文主要針對(duì)的是固定場(chǎng)景多障礙物類型進(jìn)行感知,但是實(shí)際行駛過程中,自動(dòng)駕駛的場(chǎng)景是動(dòng)態(tài)多變的,下一步將重點(diǎn)分析不同駕駛場(chǎng)景中的障礙物感知效果。