焦新宇，楊殿閣，江 昆，曹 重，謝詩超，王思佳

（汽車安全與節(jié)能國家重點實驗室，智能新能源汽車協(xié)同創(chuàng)新中心，清華大學(xué)汽車工程系，北京 100084）

前言

智能汽車駕駛決策是無人駕駛實現(xiàn)的關(guān)鍵技術(shù)。經(jīng)典的決策方法是基于人工控制邏輯，結(jié)合環(huán)境感知和車輛動力學(xué)模型生成車輛行駛軌跡［1-2］。這種明確的控制邏輯最大優(yōu)勢就是可靠性高，但卻因為場景和環(huán)境動態(tài)的高度復(fù)雜性和多變性，需要人工針對性設(shè)定各種復(fù)雜的控制邏輯，這就需要人類知識的積累可以覆蓋車輛行駛時的各種場景和意外情況。

人工智能技術(shù)特別是深度學(xué)習(xí)等端到端學(xué)習(xí)技術(shù)的發(fā)展為車輛行駛軌跡的決策提供了全新的思路［3-4］，可以實現(xiàn)從傳感信息到行駛軌跡或行駛控制指令的端到端預(yù)測，就可以避免復(fù)雜的車輛動力學(xué)控制模型和人工邏輯。NVIDIA公司使用深度神經(jīng)網(wǎng)絡(luò)［5］，實現(xiàn)了較精確的從圖像到轉(zhuǎn)向盤轉(zhuǎn)角的端到端車輛控制，COMMA.AI公司也進(jìn)行了類似的研究［6］。百度公司也致力基于深度學(xué)習(xí)的端到端自動駕駛，公布了阿波羅計劃，并公布了Roadhackers數(shù)據(jù)庫，含有10 000km的攝像頭行駛數(shù)據(jù)等，對無人駕駛研究進(jìn)行支持。

基于百度Roadhackers數(shù)據(jù)庫與端到端學(xué)習(xí)機(jī)制，可以對智能車無人駕駛控制邏輯進(jìn)行探索，實現(xiàn)從圖像到行駛軌跡曲率的預(yù)測，進(jìn)而可以支持行駛方向和轉(zhuǎn)向盤的直接控制。但由于數(shù)據(jù)庫中訓(xùn)練數(shù)據(jù)有限，原始數(shù)據(jù)中存在駕駛員行為決策不定性的因素，基于該數(shù)據(jù)實現(xiàn)行駛軌跡曲率的準(zhǔn)確預(yù)測存在很大困難。為此，本文中對行駛軌跡進(jìn)行量化，建立行駛軌跡曲率預(yù)測模型，并提出合理的評價體系。此后，采用端到端學(xué)習(xí)機(jī)制研究直接從圖像到行駛軌跡曲率的預(yù)測，針對其性能不佳的問題，采用場景切分和特征預(yù)提取進(jìn)行優(yōu)化，并對其進(jìn)行試驗驗證。

1 行駛軌跡曲率預(yù)測模型與評價體系

建立行駛軌跡曲率預(yù)測模型，給出行駛軌跡曲率和軌跡位置坐標(biāo)以及轉(zhuǎn)向盤轉(zhuǎn)角的關(guān)系。在此基礎(chǔ)上，考慮曲率的波動量，建立行駛軌跡曲率的評價體系。

1.1 行駛軌跡及轉(zhuǎn)向盤轉(zhuǎn)角與行駛軌跡曲率換算模型

行駛軌跡曲率可以定量地反映行駛軌跡的彎曲程度。實際數(shù)據(jù)采集中，可以由GPS信息計算曲率。為計算給定點軌跡曲率，取其前后各10個點，共21個點，擬合三次方程并計算曲率。

通過車輛建模，即可實現(xiàn)轉(zhuǎn)向盤轉(zhuǎn)角和曲率的換算。以線性2自由度車輛模型為例：

式中：δ為轉(zhuǎn)向盤轉(zhuǎn)角；k為曲率；u為速度；K為穩(wěn)定性因數(shù)；L為軸距；n為轉(zhuǎn)向系角傳動比。使用更精確的車輛模型，可以實現(xiàn)轉(zhuǎn)向盤轉(zhuǎn)角和行駛軌跡曲率更精確的對應(yīng)。

由上述分析可知，行駛軌跡曲率可以對行駛軌跡的彎曲程度進(jìn)行反映，且可以和轉(zhuǎn)向盤轉(zhuǎn)角相互換算。因此，實現(xiàn)圖片到行駛軌跡曲率的預(yù)測，即可化為對行駛軌跡和轉(zhuǎn)向盤轉(zhuǎn)角的預(yù)測。

1.2 行駛軌跡曲率預(yù)測評價體系

在軌跡規(guī)劃或軌跡預(yù)測中，均需對所得軌跡的優(yōu)劣進(jìn)行量化評價?，F(xiàn)有軌跡規(guī)劃或預(yù)測中，一般只能通過直觀顯示［1］或車道中心線偏移距［2，5］來評價。但是，以車道中心線為標(biāo)準(zhǔn)僅適用于車道保持，且不能反映轉(zhuǎn)彎方向的預(yù)測性能。

針對上述問題，本文中提出一種更為全面合理的軌跡預(yù)測評價體系。以行駛軌跡曲率預(yù)測模型進(jìn)行量化，以均方根誤差和相關(guān)系數(shù)對預(yù)測軌跡曲率的數(shù)值進(jìn)行評價，并基于允許誤差的思想，對預(yù)測正確率進(jìn)行評價。由于轉(zhuǎn)彎方向?qū)Π踩兄匾饬x，單獨對方向預(yù)測提出一個評價指標(biāo)。

行駛軌跡曲率預(yù)測評價體系由4個評價指標(biāo)組成，如圖1所示。

圖1 行駛軌跡曲率預(yù)測評價體系

1.2.1 均方根誤差與相關(guān)系數(shù)

回歸分析中，常用均方根誤差RMSE與相關(guān)系數(shù)r進(jìn)行評價：

1.2.2 預(yù)測正確率與方向正確率

在實際的交通場景中，不同人類駕駛員的駕駛軌跡曲率是不同的，轉(zhuǎn)向盤抖動也導(dǎo)致駕駛軌跡曲率的波動。因此，計算預(yù)測正確率時，應(yīng)在數(shù)據(jù)庫人類駕駛員數(shù)據(jù)基礎(chǔ)上允許一定的誤差。

據(jù)牛清寧［7］的研究，在正常駕駛情況下，時間窗為20s時，轉(zhuǎn)向盤轉(zhuǎn)角標(biāo)準(zhǔn)差約為0.973°。采用線性2自由度車輛模型將其換算為曲率波動，車輛模型參數(shù)選為：穩(wěn)定性因數(shù)K=0.0015s2／m2，軸距L=3m，轉(zhuǎn)向系角傳動比n=15。高速公路場景下，取車速為30m／s，代入式（1）得

額外考慮到不同駕駛員的駕駛軌跡曲率的差異，計算預(yù)測正確率時，取2.5×10-4m-1作為允許誤差。

方向正確率計算中，考慮到安全性的要求，允許誤差應(yīng)取較小值，取曲率絕對值小于1×10-4m-1為直行。取曲率左轉(zhuǎn)為正，右轉(zhuǎn)為負(fù)，預(yù)測曲率和實際曲率符號相同則視為方向預(yù)測正確。

2 基于端到端學(xué)習(xí)機(jī)制的行駛軌跡曲率預(yù)測

卷積神經(jīng)網(wǎng)絡(luò)是一種典型的端到端學(xué)習(xí)模型，適于組織圖像中的特征，被用于NVIDIA和COMMA.AI公司從圖像到轉(zhuǎn)向盤轉(zhuǎn)角的端到端預(yù)測。使用百度Roadhackers數(shù)據(jù)庫，卷積神經(jīng)網(wǎng)絡(luò)輸入端為圖片像素值，輸出端為軌跡曲率數(shù)值，原理框圖見圖2。

圖2 圖片 -軌跡曲率預(yù)測原理框圖

軌跡曲率預(yù)測基于COMMA.AI公司的卷積神經(jīng)網(wǎng)絡(luò)模型，如圖3所示。

圖3 卷積神經(jīng)網(wǎng)絡(luò)端到端學(xué)習(xí)模型

神經(jīng)網(wǎng)絡(luò)輸入為3×320×160的RGB圖像矩陣，綜合使用卷積層、Dropout層和全連接層，輸出層含有1個節(jié)點，與曲率標(biāo)簽對應(yīng)。

訓(xùn)練集為百度Roadhackers數(shù)據(jù)庫中的81 484張行駛圖片及對應(yīng)曲率，測試集為12 760張。每次訓(xùn)練采樣500張圖片，共訓(xùn)練50次。

測試結(jié)果曲率 時間曲線如圖4所示。

評價結(jié)果：均方根誤差 RMSE=2.9773×10-4m-1，相關(guān)系數(shù)r=0.3326，預(yù)測正確率64.4%，方向正確率61.1%。

可以看出，端到端預(yù)測結(jié)果的預(yù)測正確率和方向正確率均較低，且均方根誤差較大，相關(guān)系數(shù)也較低，預(yù)測結(jié)果存在大量不符合實際的波動。

圖4 卷積神經(jīng)網(wǎng)絡(luò)端到端行駛軌跡曲率預(yù)測

以端到端學(xué)習(xí)機(jī)制為基礎(chǔ)的智能汽車自主決策，當(dāng)相同環(huán)境信息輸入網(wǎng)絡(luò)時，其輸出結(jié)果必然一致。而真實駕駛中，人類駕駛員針對同樣的環(huán)境輸入，可能由于不同的駕駛?cè)蝿?wù)和自身個性而進(jìn)行不同的行為決策。面向經(jīng)典監(jiān)督學(xué)習(xí)的數(shù)據(jù)庫圖片-標(biāo)簽形式下，行為決策的不定性在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中難以體現(xiàn)，加深網(wǎng)絡(luò)或結(jié)合強(qiáng)化學(xué)習(xí)進(jìn)行決策，也難以解決這一問題。

進(jìn)行場景劃分，預(yù)先進(jìn)行行為決策，包含駕駛員的主觀因素，在駕駛模式固定的前提下，利用神經(jīng)網(wǎng)絡(luò)進(jìn)行軌跡決策或車輛控制，則可以避免上述的神經(jīng)網(wǎng)絡(luò)行為決策困難的問題。

另外，圖片中含有大量無關(guān)信息，如天空、樹木、建筑物等，神經(jīng)網(wǎng)絡(luò)難以提取周圍車輛、車道線等有效信息。經(jīng)過上述討論，以場景切分實現(xiàn)決策固化，以特征預(yù)提取降低神經(jīng)網(wǎng)絡(luò)的預(yù)測難度，能夠?qū)崿F(xiàn)對端到端的預(yù)測結(jié)果的優(yōu)化。

3 場景切分與特征預(yù)提取

3.1 高速公路行駛場景切分

國內(nèi)外主流研究將高速公路行駛場景切分為跟馳和變道兩種［8-9］?？紤]無前車的自由流，將高速公路行駛分為車道保持和變道兩種場景。

3.2 變道場景特征預(yù)提取

變道場景下，車輛行駛方向的快速變化，引起圖片中車道線位置的快速變化，因此，車道線信息是變道場景行駛軌跡曲率預(yù)測中的有效信息，將其進(jìn)行預(yù)提取，可以進(jìn)一步提高預(yù)測性能。

車道線識別的任務(wù)可以由機(jī)器視覺或手動標(biāo)注的方法來實現(xiàn)，如圖5所示。

為提高神經(jīng)網(wǎng)絡(luò)的預(yù)測性能，必須保證其訓(xùn)練集和測試集的準(zhǔn)確性。圖5（b）為基于LIM等［10］的車道線識別方法進(jìn)行優(yōu)化后的結(jié)果，出現(xiàn)一些漏判和錯判。而圖5（a）的手動提取結(jié)果，將原始車道和目標(biāo)車道的3條車道線標(biāo)注出來，保證了神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)集的準(zhǔn)確性。

圖5 車道線識別方法對比

車道線原始數(shù)據(jù)為6個坐標(biāo)點，將坐標(biāo)點數(shù)據(jù)處理為直線解析式y(tǒng)=kx＋b，經(jīng)過預(yù)處理后，即可將3條車道線信息以6個數(shù)據(jù)的形式儲存。

4 基于場景切分和特征預(yù)提取的行駛軌跡曲率預(yù)測

以變道場景為例，以端到端學(xué)習(xí)機(jī)制為基礎(chǔ)，說明基于場景切分和特征預(yù)提取的行駛軌跡曲率預(yù)測優(yōu)化方法的有效性。

將車道線畫在圖片上突出表達(dá)，即可輸入卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。此外，將圖片中車道線的數(shù)學(xué)特征輸入BP神經(jīng)網(wǎng)絡(luò)，還可實現(xiàn)車道線- 軌跡曲率的預(yù)測，并進(jìn)行連續(xù)圖片數(shù)據(jù)輸入優(yōu)化。系統(tǒng)方案如圖6所示。

圖6 變道場景行駛軌跡曲率預(yù)測方案

4.1 卷積神經(jīng)網(wǎng)絡(luò)變道場景行駛軌跡曲率預(yù)測

使用與端到端曲率預(yù)測中相同的卷積神經(jīng)網(wǎng)絡(luò)端到端學(xué)習(xí)模型，以1 700張圖片及對應(yīng)曲率為訓(xùn)練集，測試集為500張。采用場景切分和特征預(yù)提取的方法，針對變道場景，將車道線畫在圖片上，再輸入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

預(yù)測結(jié)果如圖7所示，圖中正負(fù)交替的峰反映了測試集左右交替的變道行為。

將場景切分和特征預(yù)提取優(yōu)化結(jié)果與端到端的預(yù)測結(jié)果對比，如表1所示。

圖7 基于車道線提取的變道場景軌跡曲率預(yù)測

表1 卷積神經(jīng)網(wǎng)絡(luò)端到端與優(yōu)化結(jié)果對比

由表1看出，場景切分和特征預(yù)提取使4項評價指標(biāo)均有大幅改善。由圖7可知，曲線趨勢可以較好地反映出來。

通過實車試驗對上述優(yōu)化方法進(jìn)行驗證。以地基增強(qiáng)的差分GPS采集車輛位置坐標(biāo)，以攝像頭同步采集行駛圖片，試驗設(shè)備如圖8所示。

圖8 試驗設(shè)備與安裝

進(jìn)行場景切分和特征預(yù)提取優(yōu)化后，基于車道線提取的變道場景曲率預(yù)測的試驗結(jié)果見圖9。

與使用百度數(shù)據(jù)訓(xùn)練的優(yōu)化結(jié)果進(jìn)行對比，如表2所示。

圖9 基于車道線提取的變道場景曲率預(yù)測試驗驗證

表2 卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化結(jié)果試驗驗證

由表2可知，試驗數(shù)據(jù)訓(xùn)練結(jié)果相關(guān)系數(shù)略低于百度數(shù)據(jù)訓(xùn)練結(jié)果，而均方根誤差、預(yù)測正確率和方向正確率則略好。4項指標(biāo)數(shù)值上都較為接近，試驗結(jié)果證明了基于車道線提取的卷積神經(jīng)網(wǎng)絡(luò)變道場景曲率預(yù)測方法的有效性。

可見，經(jīng)過場景切分和特征預(yù)提取后，在相同的行為決策模式內(nèi)，端到端學(xué)習(xí)對人類駕駛員的駕駛模式的模仿和預(yù)測性能有了大幅提高。

4.2 BP神經(jīng)網(wǎng)絡(luò)變道場景行駛軌跡曲率預(yù)測

在場景切分和特征預(yù)提取的系統(tǒng)方案中，已做出變道行為決策之后，前方車輛、障礙物等引發(fā)變道決策的因素可以不必繼續(xù)考慮，僅用車道線信息作為輸入，即可完成變道動作。為此，可以使用神經(jīng)網(wǎng)絡(luò)直接實現(xiàn)車道線- 軌跡曲率的預(yù)測。變道場景下，本車道和目標(biāo)車道的車道線斜率和截距特征只需6個數(shù)據(jù)表達(dá)，可以使用節(jié)點數(shù)量較少的BP神經(jīng)網(wǎng)絡(luò)，結(jié)構(gòu)如圖10所示。

圖10 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

訓(xùn)練集為與卷積神經(jīng)網(wǎng)絡(luò)預(yù)測中相同的1 700張變道場景圖片車道線數(shù)據(jù)及對應(yīng)曲率，測試集為500張。訓(xùn)練結(jié)果見圖11。

將均經(jīng)過場景切分和特征預(yù)提取優(yōu)化后的BP神經(jīng)網(wǎng)絡(luò)的車道線- 軌跡曲率預(yù)測與卷積神經(jīng)網(wǎng)絡(luò)端到端學(xué)習(xí)預(yù)測結(jié)果進(jìn)行對比，如表3所示。

由表3可以看出，車道線- 軌跡曲率的預(yù)測結(jié)果在4項指標(biāo)上均優(yōu)于卷積神經(jīng)網(wǎng)絡(luò)的結(jié)果。這是因為BP神經(jīng)網(wǎng)絡(luò)輸入的是純車道線信息，而卷積神經(jīng)網(wǎng)絡(luò)的預(yù)測中，雖然突出顯示了車道線，但是圖片中仍有天空、樹木等其它信息。同時，這也體現(xiàn)了端到端學(xué)習(xí)的潛力，在數(shù)據(jù)量較大時，可能學(xué)習(xí)到更多的有效特征。

圖11 變道場景車道線- 軌跡曲率預(yù)測

表3 車道線- 軌跡曲率與端到端學(xué)習(xí)預(yù)測對比

由于實際駕駛的時空連續(xù)性，每一時刻的駕駛決策不僅與當(dāng)前時刻的環(huán)境輸入有關(guān)，還與此前一段時間的環(huán)境輸入有關(guān)。據(jù)此進(jìn)行連續(xù)輸入優(yōu)化，將連續(xù)5張圖片所提取的車道線特征數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)的輸入，訓(xùn)練結(jié)果如圖12所示。

圖12 連續(xù)輸入車道線- 軌跡曲率預(yù)測結(jié)果

將車道線 軌跡曲率預(yù)測的5張連續(xù)圖片預(yù)測結(jié)果和單張輸入預(yù)測結(jié)果進(jìn)行對比，如表4所示。

表4 車道線- 軌跡曲率預(yù)測連續(xù)輸入優(yōu)化

由表4看出，連續(xù)5張圖片輸入下，各項指標(biāo)全面優(yōu)于單張圖片，說明考慮行駛的時空連續(xù)性使預(yù)測更為準(zhǔn)確。

對上述性能最佳的BP神經(jīng)網(wǎng)絡(luò)連續(xù)輸入曲率預(yù)測結(jié)果，通過行駛軌跡 曲率換算模型計算行駛軌跡，并投影到道路平面進(jìn)行可視化，如圖13所示。白色實線為實際軌跡，黑色點為預(yù)測軌跡。

圖13 連續(xù)輸入車道線- 軌跡曲率預(yù)測結(jié)果可視化

由圖13可見，預(yù)測軌跡和實際軌跡較為接近，實現(xiàn)了較為準(zhǔn)確的軌跡預(yù)測。

對連續(xù)輸入車道線- 軌跡曲率預(yù)測進(jìn)行試驗驗證，訓(xùn)練集取1 000張圖片數(shù)據(jù)，測試集為470張，預(yù)測效果見圖14。

圖14 連續(xù)輸入車道線- 軌跡曲率預(yù)測試驗驗證

評價結(jié)果：均方根誤差 RMSE=1.5645×10-4m-1，相關(guān)系數(shù)r=0.9141，預(yù)測正確率96.0%，方向正確率98.7%。

可以看出，試驗驗證結(jié)果的評價指標(biāo)反映出的性能較好，均方根誤差很小，相關(guān)系數(shù)、預(yù)測正確率和方向正確率均較高，說明在實際應(yīng)用中，在變道場景的固定決策模式下，僅用車道線信息進(jìn)行軌跡預(yù)測的方法是合理的。

5 結(jié)論

基于端到端學(xué)習(xí)機(jī)制，直接從圖像實現(xiàn)行駛軌跡曲率的準(zhǔn)確預(yù)測，從而為實現(xiàn)車輛方向的直接控制提供依據(jù)。

（1）建立了行駛軌跡曲率預(yù)測模型，實現(xiàn)了對行駛軌跡的量化表達(dá)。在此基礎(chǔ)上，建立了合理的行駛軌跡曲率預(yù)測評價體系。

（2）使用卷積神經(jīng)網(wǎng)絡(luò)端到端學(xué)習(xí)模型，利用百度Roadhackers數(shù)據(jù)庫，進(jìn)行了行駛軌跡曲率預(yù)測，并指出行為決策的不定性帶來的困難，提出通過場景切分預(yù)先進(jìn)行行為決策，以實現(xiàn)預(yù)測性能優(yōu)化的思想。

（3）以變道場景為例，通過車道線特征預(yù)提取實現(xiàn)了端到端學(xué)習(xí)預(yù)測性能優(yōu)化。此外，利用BP神經(jīng)網(wǎng)絡(luò)，實現(xiàn)了從車道線特征到行駛軌跡曲率的預(yù)測，并進(jìn)行了連續(xù)圖片數(shù)據(jù)輸入優(yōu)化。利用場景切分和特征預(yù)提取方法在變道場景下實現(xiàn)了較為準(zhǔn)確的軌跡預(yù)測，并得到了試驗驗證。