李 看 雷 斌 李慧云
1(武漢科技大學(xué) 機(jī)械自動(dòng)化學(xué)院 武漢 430000)
2(中國科學(xué)院深圳先進(jìn)技術(shù)研究院 深圳 518055)
隨著我國經(jīng)濟(jì)的快速發(fā)展,國內(nèi)汽車保有量持續(xù)增加。國家公安交通部數(shù)據(jù)顯示,截至 2019 年底,全國汽車保有量達(dá) 2.6 億輛,其中私家車保有量達(dá) 2.07 億輛[1]。龐大的汽車使用量,給社會(huì)生活帶來諸多嚴(yán)峻挑戰(zhàn),如交通擁堵、環(huán)境污染、事故高發(fā)等。據(jù)國家統(tǒng)計(jì)局統(tǒng)計(jì),2018 年全年交通事故死亡人數(shù)高達(dá) 63 194 人[2]。而交通事故發(fā)生的主要原因是駕駛?cè)藛T的失誤,相關(guān)交通碰撞研究表明,配備自動(dòng)駕駛技術(shù)的車輛可以有效減少事故發(fā)生,降低交通事故率[3]。此外,自動(dòng)駕駛配合車聯(lián)網(wǎng),進(jìn)行多車協(xié)作,能最大化汽車?yán)寐?,緩解交通壓力和環(huán)境污染。如上所述,自動(dòng)駕駛是未來亟需發(fā)展的一項(xiàng)關(guān)鍵技術(shù)。這一技術(shù)主要由四大核心構(gòu)成:環(huán)境感知、精確定位、路徑規(guī)劃和控制[4]。其中,環(huán)境感知是指無人車通過車載傳感器(如相機(jī)、雷達(dá))獲得并感知環(huán)境相關(guān)信息,從而為后續(xù)無人車自主決策提供依據(jù),對(duì)自動(dòng)駕駛的實(shí)現(xiàn)起著舉足輕重的作用。道路幾何信息是環(huán)境感知的重要信息之一,其規(guī)定道路的幾何形狀及車輛的前進(jìn)方向等。只有當(dāng)無人車感知到準(zhǔn)確的道路幾何信息后,決策系統(tǒng)才能確定行駛的方向與速度。
道路幾何信息的感知方法主要包括車道線檢測、高精度地圖和多信息融合三大類。(1)車道線檢測:由于車道線區(qū)域一般比馬路上其他區(qū)域具有更顯眼的顏色且利于辨別,因此傳統(tǒng)車道線檢測一般使用色域變換、感興趣區(qū)域提取、邊緣檢測、霍夫變換、卡爾曼濾波及粒子濾波等方法[5-7]。近年來,隨著卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)的興起,出現(xiàn)了許多新穎的檢測方法。例如,Pan 等[8]提出片到片的卷積方式,強(qiáng)化了長條形物體的先驗(yàn)信息,將車道線檢測的準(zhǔn)確率提升至 96.53%;Ghafoorian 等[9]融合生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)和語義分割網(wǎng)絡(luò)(Semantic Segmentation Network),得到 EL-GAN 網(wǎng)絡(luò),使得分割結(jié)果與標(biāo)簽值更貼近,免除了后操作處理(Postprocessing);Li 等[10]基于 Faster R-CNN 修改方形待選區(qū)域?yàn)榫€性待選區(qū)域,提高了網(wǎng)絡(luò)檢測線性物體的性能。在車道線清晰可見的情況下,車道線檢測是獲取道路幾何的首選。(2)高精度地圖(High Definition Map):與普通的電子地圖不同,高精度地圖擁有車道級(jí)別的精度,同時(shí)包含車道線、紅綠燈、交通標(biāo)識(shí)等靜態(tài)交通信息[11]。使用高精度地圖獲得車道幾何信息的關(guān)鍵在于定位的精度。只有獲得厘米級(jí)別的定位精度,無人車才能有效定位自身位置,結(jié)合地圖得到正確的道路幾何信息。在定位精度足夠且擁有高精度地圖的情況,這是一種穩(wěn)定高效獲得道路幾何信息的方法。(3)多信息融合:車輛在行駛過程中,除了可觀測到的車道線外,周圍的其他車輛以及道路兩旁的靜止物體也可以給道路幾何提供參考。因此,采用濾波的框架,將諸多與道路幾何相關(guān)的信息融合在一起,能夠得到更精確的道路幾何信息。例如,Eidehall 等[12]將車輛跟蹤和車道線檢測放到同一個(gè)濾波框架,提高了算法在面對(duì)復(fù)雜環(huán)境時(shí)的魯棒性;Hammarstrand 等[13]結(jié)合多段回旋曲線提出一種貝葉斯融合框架,通過車道線形狀、前車信息、路旁反射物等精確估計(jì)出車前 200 m 的道路幾何信息。多信息融合能夠通過采用多種與車道相關(guān)的不確定信息,求解出最優(yōu)的車道幾何信息。
常規(guī)場景下,以上方法均能良好地工作。例如,在高速路和城市路況中車道線清晰可見的情況下,車道線檢測方法表現(xiàn)優(yōu)異;在建筑開闊,全球定位系統(tǒng)(Global Positioning System,GPS)信號(hào)無干擾的情況下,基于高精度地圖的方法能快速獲得道路幾何信息;在高速路上,相關(guān)信息較多時(shí),多信息融合能最大程度地利用相關(guān)信息,提升估計(jì)精度。但是,要實(shí)現(xiàn)全工況自動(dòng)駕駛,特殊場景也需要考慮。除以上常規(guī)場景外,日常生活中也常見道路擁擠、高樓林立的路況。此外,由于現(xiàn)代城市道路擁擠且車道線被遮擋嚴(yán)重,車道線檢測和多信息融合的方法常常失效。而精確定位依賴于 GPS 傳感器,由于高樓遮擋了 GPS 信號(hào),使得定位中產(chǎn)生多路徑效應(yīng),從而導(dǎo)致精度下降,因此無法使用高精度地圖獲得道路幾何信息。在交通擁擠的市內(nèi)道路中,如何利用有限的觀測信息來獲得道路幾何信息仍需深入研究。
為探索從較少車道相關(guān)信息中得到道路幾何信息,本文提出一種利用前車相對(duì)信息與本車信息結(jié)合的新穎道路幾何估計(jì)方法。首先,用毫米波雷達(dá)(Radar)和慣性測量單元(Inertial Measurement Unit,IMU)獲得前車相對(duì)本車的距離、速度、相對(duì)方位角以及本車的角速度,構(gòu)成觀測空間;然后,結(jié)合本車與前車的運(yùn)動(dòng)學(xué)模型以及道路模型建立預(yù)測模型,關(guān)聯(lián)狀態(tài)空間與觀測空間建立觀測模型,使用無損卡爾曼濾波[14]估計(jì)出道路曲率。本研究所提出的道路幾何估計(jì)方法在觀測信息較少的情況下工作良好,且在車道嚴(yán)重遮擋、GPS 丟失這類極端情況下,仍能提供道路幾何信息作為參考。
本文針對(duì)的是道路擁擠的市內(nèi)交通,如圖 1 所示。為了更清晰具體地描述問題,作以下假設(shè):首先,認(rèn)為道路位于二維平面中,忽略地面斜率帶來的影響;其次,因?yàn)楸疚牡哪繕?biāo)是對(duì)車道曲率進(jìn)行估計(jì),所以車道岔口以及合并處不在本文考慮的范圍內(nèi);最后,假設(shè)前方車輛行駛過程中,車身大致沿著車道中軸線前進(jìn),車道線遮擋嚴(yán)重,駕駛在高樓之間的車輛因?yàn)槎嗦窂叫?yīng)無法獲得精確 GPS 信號(hào)。
圖1 擁堵場景與測試場景Fig. 1 Congestion scenarios and test scenarios
在以上假設(shè)前提下,本文方法的整體架構(gòu)如圖 2 所示。從交通場景中獲得道路幾何的方法,本質(zhì)上是對(duì)可觀測到的數(shù)據(jù)進(jìn)行處理,估計(jì)出道路幾何信息。若可觀測數(shù)據(jù)中包含精確定位,則使用高精度地圖即可;若可觀測數(shù)據(jù)中不包含精確定位,但包含車道線,則對(duì)車道線進(jìn)行檢測;此外,還可以結(jié)合其他車輛以及路旁靜態(tài)物體,進(jìn)行多信息融合估計(jì)車道幾何。但若以上信息均無法獲得,且可觀測數(shù)據(jù)中包含前車以及 IMU 信息,則使用基于前車的道路幾何估計(jì)方法。該方法主要由數(shù)據(jù)處理和濾波模塊組成。其中,數(shù)據(jù)處理模塊將毫米波雷達(dá)和 IMU 的數(shù)據(jù)轉(zhuǎn)換成觀測空間中的變量;濾波模塊搭建系統(tǒng)的預(yù)測模型以及觀測模型,使用無損卡爾曼濾波估計(jì)出道路曲率。
圖2 整體架構(gòu)Fig. 2 Architecture
圖3 采樣密度對(duì)比Fig. 3 Sampling density comparison
自動(dòng)駕駛中,常用的傳感器有相機(jī)、毫米波雷達(dá)、激光雷達(dá)和 IMU。為了獲得本車的角速度、速度及前車的相對(duì)信息(如相對(duì)距離、速度、方位角等),分別使用 IMU、輪速傳感器和毫米波雷達(dá)。所包括的三軸加速度計(jì)、三軸陀螺儀,分別用來測量物體在三維空間的加速度和角速度,通過使用 IMU 外參矩陣將陀螺儀得到的角速度轉(zhuǎn)換到車體坐標(biāo),得到本車偏航角角速度,記為 ;最后,輪速傳感器用來測量汽車車輪轉(zhuǎn)速,由車輪轉(zhuǎn)速以及車輪的半徑得到本車的速度,記為v。
由毫米波雷達(dá)和 IMU 獲得前車相對(duì)信息以及本車信息后,通過本車、前車以及道路模型三者的關(guān)系構(gòu)建出狀態(tài)空間,并基于無損卡爾曼濾波框架給出對(duì)應(yīng)的預(yù)測模型以及觀測模型。
2.2.1 狀態(tài)空間
狀態(tài)空間是指系統(tǒng)中決定系統(tǒng)狀態(tài)的變量集合。本文研究對(duì)象主要包括道路、本車、前車。首先對(duì)常用的道路模型分析得到道路的狀態(tài)變量,然后增加本車與前車相關(guān)的狀態(tài)變量,從而得到狀態(tài)空間的變量集合。道路模型描述道路的形狀,即向前延伸過程中道路曲率如何變換。其中,曲率越小,半徑越大,道路越接近直線;曲率越大,半徑越小,道路越陡峭。由此可知,曲率劇烈變換的道路表明道路突然變緩或突然變陡峭,這些對(duì)于駕駛都是不利的。因此道路的曲率常常緩慢增加或減少,可由一條回旋曲線表征(如圖 5)。曲率隨徑向距離的增加而線性變化,
圖4 毫米波雷達(dá)數(shù)據(jù)處理Fig. 4 Radar data processing
圖5 回旋曲線Fig. 5 Clothoid curve
圖6 本車和前車以及道路的關(guān)系Fig. 6 Relationship between host car and leading car and road
圖7 前車在本車車體坐標(biāo)系下的方位角Fig. 7 The azimuth of the preceding vehicle in the coordinate system of the vehicle body
如前所述,本文構(gòu)建了系統(tǒng)的狀態(tài)空間,分析并給出預(yù)測模型以及觀測模型。模型中擁有非線性部分,因此使用非線性卡爾曼濾波器進(jìn)行濾波。常用的非線性卡爾曼濾波器有擴(kuò)展卡爾曼濾波器和無損卡爾曼濾波器兩種。其中,無損卡爾曼濾波是無損變換與標(biāo)準(zhǔn)卡爾曼濾波體系的結(jié)合,通過無損變換使非線性系統(tǒng)適用于線性假設(shè)下的標(biāo)準(zhǔn)卡爾曼濾波。結(jié)合公式(7)和(13),得到無損卡爾曼濾波的預(yù)測與更新公式(14):
本文采用 Car Learning to Act(Carla)軟件進(jìn)行模擬實(shí)驗(yàn)。其中,Carla[16]是一款用于自動(dòng)駕駛訓(xùn)練、驗(yàn)證以及測試的開源軟件。如圖 8 所示,Carla 駕駛場景基于虛擬引擎(Unreal Engine)構(gòu)建,使用 C++ 進(jìn)行開發(fā),同時(shí)提供 Python 接口,具有數(shù)據(jù)易獲取、環(huán)境豐富、開源、接口靈活等特點(diǎn)。它分為服務(wù)器端(Server)和客戶端(Client)。其中,服務(wù)器端負(fù)責(zé)地圖搭建、數(shù)據(jù)交互功能;客戶端向用戶提供接口以控制車輛運(yùn)行、設(shè)置傳感器等。值得一提的是,真實(shí)車輛上的大部分傳感器在 Carla 中均可仿真獲得,如灰度相機(jī)、深度相機(jī)、激光雷達(dá)、毫米波雷達(dá)、IMU 等。
圖8 Carla 介紹Fig. 8 Introduction of Carla
仿真過程中,總共生成 28 輛車來模擬環(huán)境,其中包括本車、前車以及左右兩車道各 13 輛車。本車裝載有毫米波雷達(dá)以及 IMU 兩個(gè)傳感器,對(duì)應(yīng)的參數(shù)配置如表 1 所示,示例數(shù)據(jù)如圖 9 所示。駕駛過程中,前車由 Carla 中交通管理模塊(Traffic Manager)接管,處于自動(dòng)駕駛模式,沿著當(dāng)前車道中軸線前行。本車通過客戶端交互,處于手動(dòng)駕駛模式,同時(shí)傳感器獲得的數(shù)據(jù)以 15 fps 的幀率保存到本地,本車的速度也通過 Carla 中接口函數(shù)調(diào)用保存到本地。本文使用 Carla 自帶的地圖 Town 5 作為測試地圖,從中選出 3 段作為測試路段,如圖 10 所示。三個(gè)測試路段周圍分別有高樓、普通樓房以及高架橋,道路均依次由 3 段直線、曲線、直線所組成。同時(shí),為模擬自動(dòng)駕駛中由于多路徑效應(yīng)導(dǎo)致的定位下降問題,分別對(duì)上述 3 個(gè)路段設(shè)置了定位誤差(10 m、5 m、20 m)。在以上 3 個(gè)測試場景中,分別進(jìn)行 10 次測試,總共 30 次實(shí)驗(yàn),將所保存的數(shù)據(jù)依次離線處理,得到最后的結(jié)果。
表1 傳感器配置Table 1 Sensor configuration
圖9 示例數(shù)據(jù)Fig. 9 Sample data
圖10 實(shí)驗(yàn)路段Fig. 10 Test road
3.2.1 估計(jì)結(jié)果
圖 11 為本車在場景 1 中的測試結(jié)果。該場景由 3 段路組成,分別是直線、曲線和直線,對(duì)應(yīng)的曲率分別為 0、0.033、0。圖中綠色實(shí)線表示真實(shí)值;藍(lán)色虛線表示本文方法估計(jì)值;橫坐標(biāo)表示本車在行駛過程中的采樣次數(shù),采樣的頻率為 15 fps;縱坐標(biāo)表示曲率,即半徑的倒數(shù)。
3.2.2 對(duì)比分析
本研究分別在 3 個(gè)不同道路曲率路段進(jìn)行測試,同時(shí) 3 個(gè)路段的環(huán)境設(shè)置也不同。其中,路段 1 曲率和路段 3 曲率較大,路段 2 曲率較??;路段 1 周圍有高樓,路段 2 相對(duì)空曠,路段 3 位于高架橋之下。本研究對(duì) 3 類環(huán)境分別設(shè)置定位誤差為 10 m、5 m、20 m。
圖11 路段 1 實(shí)驗(yàn)結(jié)果Fig. 11 Experiment output in the road 1
三個(gè)場景下的實(shí)驗(yàn)對(duì)比結(jié)果如圖 12 所示。其中,綠色實(shí)線代表真實(shí)值;藍(lán)色虛線代表本文估計(jì)的結(jié)果;紅色點(diǎn)表示基于地圖的結(jié)果。因?yàn)槊總€(gè)場景下存在定位誤差,所以基于地圖的方法在查詢所在位置的曲率時(shí)存在以下情況:(1)定位正確,曲率正確;(2)定位到反向車道,曲率相反;(3)定位到前后不同的路段上,曲率為前后路段的曲率。例如在圖 12(a)中,采樣次數(shù)在 80~100 次時(shí),曲率可能為 0.031,即正確曲率;可能為 0,即前一部分路段曲率;可能為-0.031,即反向車道曲率。對(duì)比基于地圖的方法,本文方法更貼合真實(shí)值。將 3 幅圖對(duì)比分析發(fā)現(xiàn),基于地圖的方法對(duì)環(huán)境依賴嚴(yán)重,從場景 2 到場景 1 再到場景 3,周圍遮擋物越多,定位精度越差,得到的曲率值結(jié)果也越差。而本文方法只依賴前車以及本車的自身狀態(tài),對(duì)環(huán)境的魯棒性更強(qiáng),3 幅圖的誤差較相近。
圖12 3 個(gè)路段的實(shí)驗(yàn)結(jié)果Fig. 12 Experiment output of three roads
針對(duì) 3 個(gè)場景,分別做了 10 次實(shí)驗(yàn),結(jié)果如圖 13 所示。從圖 13 可看出,藍(lán)色虛線(基于地圖方法)的波動(dòng)程度依次是(c)>(a)>(b)。這是因?yàn)榫投ㄎ徽`差而言,場景 3>場景 1>場景 2,定位誤差越大,誤差范圍越大,曲率結(jié)果錯(cuò)誤的可能性也越大。另一方面,三個(gè)場景下基于本文方法得到的結(jié)果波動(dòng)較小,相對(duì)更加穩(wěn)定。這也再次驗(yàn)證相比基于地圖的方法,在定位誤差較大的情況下,本文方法能對(duì)環(huán)境遮擋有更好的魯棒性,輸出更穩(wěn)定的估計(jì)結(jié)果。
對(duì)圖 13 中 10 次實(shí)驗(yàn)結(jié)果求均值,得到 2 種方法在 3 個(gè)場景下的平均均方根誤差。三個(gè)場景下,本文方法的平均均方根誤差分別為 0.003 3、0.001 9、0.004 6;基于地圖方法的平均均方根誤差分別為 0.031 4、0.020 7 和 0.033 4。與基于地圖的方法相比,本文方法定位精度分別提升了 89.5%、90.8% 和 86.2%。同時(shí),如圖 12 所示,場景 3 的曲率值>場景 1 的曲率值>場景 2 的曲率值,表明場景曲率越大,本文方法估計(jì)結(jié)果誤差越大??赡艿脑蚴乔试酱?,前車與本車相對(duì)角度差越大,預(yù)測模型的誤差也越大。
圖13 均方根誤差Fig. 13 Root mean square error
現(xiàn)階段獲得道路幾何信息的場景,主要集中在道路空曠、路況可見度良好的情況,如高速路、車流量較少的市內(nèi)道路。Hammarstrand 等[13]在高速路場景下,利用車道線、其他車輛、路旁障礙物等估計(jì)出車前 200 m 的道路幾何信息。Ghafoorian 等[9]在路況清晰的市內(nèi)路上,使用生成對(duì)抗網(wǎng)絡(luò)和語義分割網(wǎng)絡(luò)檢測車道線來得到道路幾何。此外,在定位準(zhǔn)確情況下,使用高精度地圖可以得到道路幾何信息[11]。但是,對(duì)于車道線被遮擋、定位不準(zhǔn)的情況,尚未有深入研究。而本文提出的方法在這種特殊情況下,不依賴車道線以及定位精度,仍能工作良好;與基于地圖的方法相比,本文方法精度提高了 86%。本研究的不足之處在于,未在真實(shí)的場景下對(duì)所提出的方法進(jìn)行驗(yàn)證,且實(shí)際情況中的定位誤差可能與仿真實(shí)驗(yàn)中給定的不同。
真正的自動(dòng)駕駛需要覆蓋全部場景,因此,在車道線遮擋、高樓林立的市內(nèi)交通條件下,如何獲得道路幾何信息仍需要深入研究。針對(duì)這一特殊場景,本文提出一種基于前車相對(duì)信息的道路幾何估計(jì)方法,僅依靠前車相對(duì)本車的位置、速度、角度以及本車自身信息作為觀測信息,避免了因車道線信息丟失而無法獲得道路幾何以及因定位失效導(dǎo)致高精度地圖匹配誤差大的問題。在仿真軟件 Carla 上進(jìn)行的實(shí)驗(yàn)結(jié)果表明,本文方法相比高精度地圖匹配的結(jié)果精度提升了 86% 以上。在城市道路觀測信息受到限制的條件下,本文方法可以為無人駕駛輸出更為可靠的轉(zhuǎn)向角等信息。