高鎮(zhèn)海，鮑明喜，高 菲，唐明弘

（吉林大學(xué)，汽車仿真與控制國家重點實驗室，長春 130022）

前言

為使自動駕駛汽車安全有效地在復(fù)雜的交通場景中行駛，需要具備預(yù)測周圍車輛意圖和未來軌跡的能力［1-4］。由于車輛未來的預(yù)測空間具有多樣性，即不同的車輛在相同的場景下有不同的表現(xiàn)，即未來有多種可能性的結(jié)果，預(yù)測未來的不確定性問題導(dǎo)致軌跡預(yù)測存在多模態(tài)屬性（一般性換道、加速換道、車道保持），使得軌跡預(yù)測成為一個具有挑戰(zhàn)性的問題。

為解決動態(tài)環(huán)境下長時域預(yù)測準(zhǔn)確度低的問題，基于深度學(xué)習(xí)在軌跡預(yù)測方面受到廣泛學(xué)者的關(guān)注。張曉寧［5］基于LSTM 構(gòu)建了高速公路下車輛軌跡預(yù)測模型，考慮位置、加速度、橫擺角速度等因素進行預(yù)測。張一恒［6］主要通過Bi-LSTM 構(gòu)建駕駛意圖識別模型，并針對駕駛?cè)藛T的駕駛風(fēng)格進行具體分析。李亞秋等［7］基于EKF 的BP 神經(jīng)網(wǎng)絡(luò)構(gòu)建了高速公路數(shù)據(jù)訓(xùn)練模型，但僅識別換道和車道保持兩種意圖。Xie等［8］僅基于LSTM 神經(jīng)網(wǎng)絡(luò)構(gòu)建的車道變換的數(shù)據(jù)驅(qū)動模型，沒有考慮車道保持等駕駛行為對模型的影響。Lin 等［9］基于時空注意力LSTM 著重分析了歷史軌跡和相鄰車輛對目標(biāo)車輛的影響，缺乏對駕駛意圖的可解釋性。Xiao 等［10］基于UB-LSTM 構(gòu)建了高速公路的車輛行為意圖模型和軌跡預(yù)測模型去預(yù)測車輛未來單模態(tài)軌跡，能有效識別車輛未來的行為意圖但模型輸出的軌跡與真實軌跡有較大的誤差，須進一步通過優(yōu)化的方式擬合車輛軌跡。

近期大量學(xué)者為模擬未來軌跡的不確定性以及充分表示預(yù)測空間，通過學(xué)習(xí)潛在變量［11］來表現(xiàn)軌跡的多模態(tài)屬性，例如VAES［12-13］和GANS［14］。Tang等［11］通過引入潛在變量和并行的神經(jīng)網(wǎng)絡(luò)來構(gòu)建模型架構(gòu)捕獲多模態(tài)屬性。同時大量工作聚焦于光柵或者柵格圖像處理環(huán)境建模交互，應(yīng)用卷積網(wǎng)絡(luò)［15-19］和循環(huán)神經(jīng)網(wǎng)絡(luò)提取環(huán)境信息。Deo 等［20-22］提出基于卷積社交池的LSTM 網(wǎng)絡(luò)模型，該方法預(yù)測了未來交通車輛行駛軌跡的分布情況，但忽略了交通車輛間交互作用的影響。Cui 等［23］將每個參與者的周圍環(huán)境編碼為柵格圖像，作為深度卷積網(wǎng)絡(luò)的輸入。

然而，前期基于數(shù)據(jù)驅(qū)動構(gòu)建的軌跡預(yù)測模型均是通過歷史時域信息預(yù)測未來單模態(tài)軌跡，沒有充分表征目標(biāo)車輛的未來預(yù)測空間和分析駕駛行為意圖對模型的影響。并且基于柵格圖像的方法預(yù)測車輛的多模態(tài)屬性，導(dǎo)致所提出的模型產(chǎn)生兩大問題：（1）造成稀疏卷積，浪費計算資源；（2）很難具有解釋性。

因此，為充分表示車輛行為預(yù)測空間，減輕模型復(fù)雜度，解決預(yù)測的固有不確定性，減少運動規(guī)劃的安全問題，本文通過深度提取環(huán)境特征信息提出一種基于概率密度的多模態(tài)預(yù)期軌跡預(yù)測（probabilistic multi-modal expected trajectory prediction，PMETP）模型。該模型從歷史環(huán)境信息直接生成多種可能發(fā)生未來行為（左換道，車道保持，右換道，左加速換道，右加速換道）。PMETP 是基于Seq2seq 編碼器-解碼器架構(gòu)構(gòu)建，包含交通車輛行為意圖識別模塊和軌跡預(yù)測模塊。同時在PMETP 模型中對自動駕駛交通車輛及其所處駕駛場景進行具體化意圖預(yù)測，可為自動駕駛車輛安全高效地決策規(guī)劃提供先驗知識。

1 運動預(yù)測理論闡述

本文將預(yù)期軌跡預(yù)測表示為通過目標(biāo)車輛和其周圍交通車輛的歷史特征信息預(yù)測車輛每一時間步未來位置的概率分布。PMETP 旨在為處于復(fù)雜高動態(tài)環(huán)境中的交通車輛生成多條可能的且具有安全的軌跡，充分表示未來預(yù)測空間。

1.1 環(huán)境特征信息

在復(fù)雜的動態(tài)交通環(huán)境中，自動駕駛交通車輛軌跡預(yù)測不僅考慮被預(yù)測車輛的運動狀態(tài)，而且還應(yīng)考慮被預(yù)測車輛的環(huán)境信息，即周邊交通車輛的特征信息、被預(yù)測車輛與周邊交通車輛以及周邊交通車輛之間的交互作用特征信息。為使運動預(yù)測模型理解車輛間的交互式行為，輸入信息包括被預(yù)測車輛歷史特征信息及環(huán)境特征信息，輸入信息如式（1）所示。

圖1 被預(yù)測車輛方位示意圖

1.2 駕駛行為意圖分類

無人駕駛車輛在駕駛過程中會產(chǎn)生直線行駛、左換道、右換道、轉(zhuǎn)向等多種駕駛行為，在無人駕駛車輛行駛過程中，被預(yù)測車輛的具體駕駛行為影響本車認知所處復(fù)雜的交通行駛環(huán)境。換道場景示意圖如圖2 所示。圖2（a）中表征當(dāng)被預(yù)測車輛發(fā)生正常換道時，本車無人駕駛決策可進行車道保持和左右換道等駕駛策略。圖2（b）中表征當(dāng)被預(yù)測車輛產(chǎn)生加速換道的駕駛行為時，本車行駛策略基于此駕駛行為判斷本車與被預(yù)測車輛之間碰撞風(fēng)險程度增大，造成嚴(yán)重的交通事故，因此本車的行駛策略避免發(fā)生車輛碰撞產(chǎn)生保持現(xiàn)狀或者向右換道的駕駛行為。無人駕駛車輛在動態(tài)交通環(huán)境中行駛時，換道行為的產(chǎn)生一般是由兩種原因造成：（1）為了獲取更大的行駛空間，滿足車輛的高效行駛；（2）為了避免碰撞風(fēng)險，降低車與車之間的事故發(fā)生率。因此，在本文中，針對左、右換道具體駕駛行為意圖劃分為加速換道和一般換道，即駕駛行為意圖分為左換道、車道保持、右換道、左加速換道和右加速換道5 種類別，如圖3 所示。當(dāng)預(yù)測時域內(nèi)的平均速度大于歷史時域平均速度7.2 km/h，則定義為加速換道，反之，車輛意圖為正常行駛狀態(tài)下的左、右換道。

圖2 換道場景示意圖

圖3 駕駛行為意圖示意圖

2 概率多模態(tài)預(yù)期軌跡預(yù)測模型

2.1 模型架構(gòu)

本文提出的PMETP 由駕駛行為意圖識別模塊和交通車輛預(yù)期軌跡預(yù)測模塊組成，如圖4 所示。自動駕駛交通車輛駕駛行為意圖識別模塊基于車輛歷史編碼狀態(tài)信息輸出當(dāng)前時刻車輛在車道保持、左換道、右換道、左加速換道和右加速換道等5 種駕駛行為概率。交通車輛預(yù)期軌跡預(yù)測模塊基于歷史編碼信息以及駕駛行為意圖概率輸出未來時域車輛軌跡的概率分布。

圖4 PMETP架構(gòu)

基于LSTM 和MLP 構(gòu)建的自動駕駛交通車輛行為意圖識別模塊，輸入交通車輛的歷史特征信息，通過歸一化指數(shù)函數(shù)（Softmax 函數(shù)）計算各駕駛行為意圖的概率。LSTM［24］是門控循環(huán)神經(jīng)網(wǎng)絡(luò)，包含遺忘門、輸入門、輸出門以及與隱藏狀態(tài)形狀相同的記憶細胞。設(shè)自動駕駛交通車輛當(dāng)前時刻整體環(huán)境的歷史狀態(tài)特征信息M為車輛運動預(yù)測模型的輸入向量，C=(c1，c2，c3，c4，c5)為駕駛行為意圖識別模塊輸出的意圖類別向量，c1～c5分別代表車道保持、左換道、右換道、左加速換道、右加速換道5 種駕駛意圖類別。駕駛意圖類別概率向量為

式中ωi=P（ci|M）為駕駛意圖為ci的概率，i=1，2，3，4，5。

交通車輛預(yù)期軌跡預(yù)測模塊由全連接層、編碼器、解碼器、MLP 和MDN 網(wǎng)絡(luò)構(gòu)成，全連接層網(wǎng)絡(luò)提取交通車輛歷史狀態(tài)的特征信息作為編碼器的輸入，編碼器為提高當(dāng)前狀態(tài)的前后關(guān)聯(lián)性采用循環(huán)神經(jīng)網(wǎng)絡(luò)LSTM將輸入的特征信息編碼成上下文向量，并采用雙向LSTM和單向LSTM結(jié)合方法增強提取前向過程中的環(huán)境特征信息。編碼器生成的上下文向量和駕駛行為意圖識別模塊輸出的行為識別向量生成車輛軌跡信息中間向量并作為解碼器的輸入。MLP網(wǎng)絡(luò)和MDN 網(wǎng)絡(luò)輸入解碼器的輸出向量，使模型在基于意圖識別的基礎(chǔ)上，預(yù)測未來軌跡的概率分布。

2.2 交通車輛行為意圖識別模塊

交通車輛行為意圖識別模塊根據(jù)被預(yù)測車輛及其周邊交通車輛的運動狀態(tài)和交互作用信息理解其運行規(guī)律，能準(zhǔn)確識別車輛當(dāng)前狀態(tài)的駕駛意圖，模型框架見圖4。整個模型由MLP 和LSTM 層組合搭建完成。歷史狀態(tài)信息M首先經(jīng)過具有128 個神經(jīng)元、激活函數(shù)為Leaky Relu 的全連接層（fully connected layers，F(xiàn)C），編碼后的向量傳遞至深層循環(huán)神經(jīng)網(wǎng)絡(luò)中，深層循環(huán)神經(jīng)網(wǎng)絡(luò)采用雙層LSTM網(wǎng)絡(luò)結(jié)構(gòu)，隱藏特征為256，Dropout 比率為0.5。每一時間步LSTM 單元讀取當(dāng)前時間步的輸入特征信息M和歷史時間步的隱藏狀態(tài)Ht-1，更新當(dāng)前時間步的隱藏狀態(tài)Ht，即Ht=f(Ht-1，M）。最后經(jīng)過MLP神經(jīng)網(wǎng)絡(luò)和Softmax 函數(shù)輸出車道保持、左換道、右換道、左加速換道和右加速換道5 種駕駛意圖類別概率矩陣C。softmax函數(shù)為

式中：zn為第n個駕駛行為意圖的輸出值，駕駛行為意圖多分類的輸出值在［0，1］范圍內(nèi)且和為1 的概率分布；m為駕駛行為意圖分類的類別數(shù)量。

車輛行為意圖識別模塊采用多分類交叉熵作為損失函數(shù)，采用Adam 優(yōu)化器，學(xué)習(xí)率為0.000 2。車輛行為意圖識別模塊損失函數(shù)為

式中：Lc為行為意圖識別模塊損失函數(shù)；yn是第n個樣本標(biāo)簽的獨熱編碼；pn為第n個預(yù)測樣本的類別概率。

2.3 編碼器與解碼器

交通車輛預(yù)期軌跡預(yù)測模塊是由全連接層、編碼器、解碼器、MLP 和MDN 網(wǎng)絡(luò)構(gòu)成，其中，編碼器由雙向深層循環(huán)神經(jīng)LSTM 網(wǎng)絡(luò)、單向深層循環(huán)神經(jīng)LSTM 網(wǎng)絡(luò)組成，解碼器的輸入是編碼器輸出的中間向量以及經(jīng)過全連接層特征提取后的行為意圖識別模塊輸出的概率向量Ω組成。車輛當(dāng)前時間步的狀態(tài)不僅與之前歷史時刻的時序狀態(tài)有關(guān)，還和未來的狀態(tài)有關(guān)。被預(yù)測車輛當(dāng)前時刻的特征信息通過雙向深度循環(huán)神經(jīng)LSTM 網(wǎng)絡(luò)同時獲得歷史時刻的時序信息和未來時刻的時序信息，組成上下文信息去判斷車輛當(dāng)前的狀態(tài)特征。

歷史狀態(tài)信息M經(jīng)過兩個具有256 個神經(jīng)元、激活函數(shù)為Tanh 的全連接層，分別傳入雙向深層循環(huán)神經(jīng)LSTM 網(wǎng)絡(luò)、單向深層循環(huán)神經(jīng)LSTM 網(wǎng)絡(luò)，隱藏特征為512，Dropout 比率為0.5。最后由MDN和MLP網(wǎng)絡(luò)輸出被預(yù)測車輛6 s后預(yù)測的軌跡數(shù)據(jù)。

2.4 混合密度網(wǎng)絡(luò)

MDN 是1960 Christopher Bishop 提出用高斯混合模型和神經(jīng)網(wǎng)絡(luò)解決多值映射問題。為使交通車輛更符合駕駛行為多樣性和體現(xiàn)預(yù)測未來軌跡的不確定性，通過MDN 網(wǎng)絡(luò)預(yù)測未來軌跡坐標(biāo)的概率分布。本文選擇6 個高斯函數(shù)的組合作為MDN 的核函數(shù)，則MDN層輸出的軌跡分布概率為

式中：x為輸入特征參數(shù)；o為車輛某一時刻的位置；n為混合核函數(shù)的個數(shù)；αi(x)為模型權(quán)重系數(shù)；μi(x)為第i個核函數(shù)的中心。

確保模型權(quán)重系數(shù)總和為1，且各項均大于0，同時指數(shù)運算保證σi為正。

使用極小化負對數(shù)的極大似然函數(shù)損失函數(shù)為優(yōu)化目標(biāo)。損失函數(shù)為

式中：Xobs為所預(yù)測車輛的歷史軌跡序列；Ck為駕駛行為預(yù)測階段預(yù)測出的駕駛行為；G為軌跡預(yù)測階段預(yù)測出的車輛未來軌跡的高斯分布。

3 基于HighD數(shù)據(jù)集試驗分析

3.1 數(shù)據(jù)集

本文選取德國亞琛工業(yè)大學(xué)汽車工程研究所發(fā)布的HighD［25］自然車輛軌跡數(shù)據(jù)集用于訓(xùn)練、驗證和測試。HighD 軌跡數(shù)據(jù)采樣頻率為25 Hz，為符合試驗場景并減少計算成本，將HighD 數(shù)據(jù)集采樣頻率定為8 Hz，HighD數(shù)據(jù)集場景圖如圖5所示。

圖5 HighD數(shù)據(jù)集場景圖

3.2 數(shù)據(jù)預(yù)處理

自動駕駛交通車輛行為意圖識別模塊共提取HighD 數(shù)據(jù)集27 137 條軌跡數(shù)據(jù)，其中203 139 條車道保持、29 361 條左換道、35 820 條右換道、4 102 條左加速換道、4 715 條右加速換道駕駛軌跡，并添加相對應(yīng)的標(biāo)簽（0，1，2，3，4）。每次采樣序列的步長為3 s，預(yù)測序列的步長為6 s。車輛的換道軌跡分類步驟如下。

（1）提取軌跡與車道線的交點，作為換道點。

（2）計算其軌跡點的偏航角θ

式中：xt、yt是車輛t時刻的橫縱坐標(biāo)；xt+1、yt+1是車輛t+1時刻的橫縱坐標(biāo)。

（3）|θ|＜θb（換道起始點航向角閾值），定義為直線行駛，反之定義為換道。

（4）確定換道時域、換道起始點以及換道結(jié)束點，換道軌跡示意圖如圖6所示。

圖6 換道軌跡示意圖

（5）確定換道軌跡。將HighD 中80%作為訓(xùn)練集、10%作為驗證集、10%作為測試集。最后，需要對所有提取的數(shù)據(jù)做標(biāo)準(zhǔn)化處理，以便于神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練。

3.3 交通車輛行為意圖識別模塊性能分析

交通車輛行為意圖識別模塊的精度對車輛輸出軌跡具有至關(guān)重要的作用。采用負對數(shù)似然損失（negative loglikehood loss，NLL）為模型的損失函數(shù)。車輛行為意圖分類器采用的評價指標(biāo)為精確率、召回率、F1-score、準(zhǔn)確率。輸入歷史軌跡時域3 s，由表1 可知，行為意圖識別性能指標(biāo)均較好，車輛駕駛行為精確率p均達到90%以上；直線行駛、左換道和右換道駕駛行為召回率達到97%以上，左加速換道和右加速換道駕駛行為達到81%以上；F1-score 反映了精確率和召回率的平均水平，直線行駛、左換道和右換道駕駛行為F1-score 達到97%以上，左加速換道和右加速換道駕駛行為達到85%以上；準(zhǔn)確率反映了模型的好壞程度，模型的準(zhǔn)確率達到了98%以上，表明車輛行為意圖識別模塊具有較好意圖識別能力，滿足車輛運動預(yù)測模塊的要求。

表1 行為意圖識別性能度量

3.4 完整模型性能分析

圖7 中顯示在直線行駛和換道兩種場景下車輛不同時域的多模態(tài)預(yù)測結(jié)果。每個圖都顯示了車輛過去3 s的歷史軌跡和未來6 s的預(yù)測軌跡。圖7（a）中主要展現(xiàn)了直線行駛場景下PMETP 的影響?；诋?dāng)前駕駛環(huán)境及目標(biāo)車輛的歷史軌跡，PMETP 預(yù)測目標(biāo)車輛將繼續(xù)保持直行狀態(tài)。然而，在預(yù)測過程中，PMETP 基于歷史軌跡信息預(yù)測目標(biāo)車輛的行為意圖和未來軌跡均不會發(fā)生換道。圖7（b）和圖7（c）主要展現(xiàn)了換道場景下相鄰車道和同車道的車輛對PMETP的影響，間隔0.84 s。由圖中可以看出，被預(yù)測車輛處于擁擠的最右側(cè)車道，中間車道的車速高于右側(cè)車道。圖7（b）表明基于當(dāng)前環(huán)境和車輛的歷史軌跡，目標(biāo)車輛沒有發(fā)生明顯的換道（轉(zhuǎn)向）行為，然而，PMETP 除了預(yù)測最高的概率為繼續(xù)保持在當(dāng)前車道上，仍然能預(yù)測出較小的概率為向中間車道移動，并且能距離換道點5.16 s 處判斷車輛有換道行為。圖7（c）中被預(yù)測車輛有略微的轉(zhuǎn)向行為趨勢，車輛歷史軌跡繼續(xù)朝向中間車道，PMETP基于當(dāng)前環(huán)境和歷史軌跡信息預(yù)測目標(biāo)車輛未來軌跡主要走向是一致的，但在未來時域的后期預(yù)測兩條中間車道的軌跡，并且能距離換道點2.64 s 處判斷車輛有換道行為。通過HighD 的測試集可以看出，本文提出的PMETP 在預(yù)測多模態(tài)分布中具有良好的表現(xiàn)。

圖7 PMETP模型多模態(tài)軌跡預(yù)測

本文以6 s 預(yù)測軌跡和真實軌跡均方根誤差（root mean square error，RMSE）和負對數(shù)似然（negative log likelihood，NLL）函數(shù)作為PMETP 預(yù)測結(jié)果的評價指標(biāo)。對多模態(tài)分布的軌跡預(yù)測模型，通過最大的概率軌跡計算RMSE。通過模型生成的軌跡分布和真實軌跡的NLL比較單模態(tài)和多模態(tài)分布的優(yōu)劣。

本文對比以下幾個模型在6 s 內(nèi)的RMSE 和NLL以檢驗?zāi)Ｐ偷挠行浴?/p>

（1）constant velocity（CV）：采用定速卡爾曼濾波器作為基礎(chǔ)模型。

（2）social LSTM（S-LSTM）：該方法由Alahi 等提出。每輛車都通過LSTM 建模交互，隱藏狀態(tài)在每次迭代中使用社會池化層進行池化，在輸入軌跡坐標(biāo)的基礎(chǔ)上，增加車輛速度、周車信息。

（3）XY-LSTM：基于本文架構(gòu)，輸入被預(yù)測車輛和周圍車輛的位置特征信息。

（4）V-LSTM：在XY-LSTM 基礎(chǔ)上增加車輛的速度特征信息。

（5）E1-LSTM：在V-LSTM 基礎(chǔ)上增加被預(yù)測車輛和周圍車輛的交互作用信息。

（6）E2-LSTM：在E1-LSTM 基礎(chǔ)上增加周圍車輛之間的交互作用信息。

（7）PMETP：本文描述的完整模型，包括行為意圖識別和編碼器-解碼器生成的多模態(tài)預(yù)測模型。

圖8 和圖9 分別表示基于HighD 數(shù)據(jù)集的各模型RMSE 和NLL 比較結(jié)果?？梢钥闯?，考慮被預(yù)測車輛和周圍車輛的交互作用特征信息的模型（SLSTM、E1-LSTM、E2-LSTM、PMETP）的RMSE 要明顯低于XY-LSTM 和V-LSTM，說明車輛間的交互作用對運動預(yù)測是很重要的因素之一。并且在短時域內(nèi)基于CV 模型和基于LSTM 模型的RMSE 值接近，表明基于模型的預(yù)測方法只適合應(yīng)用在較短時間內(nèi)需要預(yù)測的自動駕駛車輛，也證明了LSTM 在長時域預(yù)測具有較強的優(yōu)勢。同時，根據(jù)所提出的基于HighD 數(shù)據(jù)集各個模型之間的RMSE和NLL對比，6 s內(nèi)RMSE 的平均誤差PMETP 依次降低了45.93%、3.72%、34.76%、29.6%、10.7%、5.51%，6 s 內(nèi)NLL的平均誤差PMETP 依次降低了5.04%、28.29%、22.49%、16.06%、8.7%。由此表明本文提出的PMETP 在評價指標(biāo)中均低于其它模型，且生成的多模態(tài)概率分布更符合真實的軌跡，具有明顯的優(yōu)勢。

圖8 基于HighD數(shù)據(jù)集的各模型RMSE比較結(jié)果

圖9 基于HighD數(shù)據(jù)集的各模型NLL比較結(jié)果

4 結(jié)論

為充分表示車輛行為預(yù)測空間，解決預(yù)測的固有不確定性，本文提出一種基于概率密度的多模態(tài)預(yù)期軌跡預(yù)測模型。

（1）不僅考慮被預(yù)測車輛的運動狀態(tài)，而且還考慮被預(yù)測車輛的環(huán)境信息，即周邊交通車輛的特征信息、被預(yù)測車輛與周邊交通車輛以及周邊交通車輛之間的交互作用特征信息，同時基于偏航角提取車輛的分類標(biāo)簽，為PMETP 模型提供了數(shù)據(jù)支撐。

（2）通過駕駛行為意圖識別模塊預(yù)測目標(biāo)車輛在車道保持、左換道、右換道、左加速換道和右加速換道的駕駛行為概率。并通過MDN 高斯核函數(shù)預(yù)測未來軌跡位置的概率分布。

（3）通過精確率、召回率、F1-score、準(zhǔn)確率評價指標(biāo)對駕駛行為意圖識別模塊進行分析，模型的準(zhǔn)確率達到了98%以上。同時本文比較所提出的PMETP 和不同模型的RMSE 和NLL。6 s內(nèi)RMSE 的平均誤差PMETP 依次降低了45.93%、3.72%、34.76%、29.6%、10.7%、5.51%，6 s 內(nèi)NLL 的平均誤差PMETP 依次降低了5.04%、28.29%、22.49%、16.06%、8.7%。

后續(xù)將進一步研究地圖、交通狀態(tài)等因素在多模態(tài)軌跡預(yù)測方面的應(yīng)用。