張新鋒 王萬寶 柳歡 趙娟

（1.長安大學(xué)，汽車運輸安全保障技術(shù)交通行業(yè)重點實驗室，西安 710064；2.長安大學(xué)，汽車學(xué)院，西安 710064）

主題詞：換道意圖識別 自動駕駛 長短期記憶網(wǎng)絡(luò) 注意力機制 交互信息

1 前言

據(jù)統(tǒng)計，人為駕駛失誤是大多數(shù)交通事故的主要原因之一，其中18%的交通事故發(fā)生在換道過程中[1]。自動駕駛車輛準確、高效地識別出周圍車輛的換道意圖，可以幫助車輛作出合理決策，大幅降低交通事故發(fā)生的風(fēng)險。

針對自動駕駛車輛換道意圖識別，已有大量研究。如Schreier 等[2]提出利用因果和診斷證據(jù)在貝葉斯網(wǎng)絡(luò)中對車輛的行為進行建模，但無法考慮車輛動態(tài)變化，導(dǎo)致識別性能不佳。Gindele 等[3]利用動態(tài)貝葉斯網(wǎng)絡(luò)對車輛的駕駛意圖進行建模，但需要大量的參數(shù)設(shè)置和模型假設(shè)；Kumar 等[4]提出基于支持向量機和貝葉斯濾波的換道意圖預(yù)測方法，但僅利用車輛當前狀態(tài)，無法充分利用駕駛數(shù)據(jù)的時間特征；Li 等[5]提出隱馬爾可夫模型和貝葉斯濾波結(jié)合的算法，將駕駛行為分解為各種子行為，以提高識別性能，但忽略了時間序列信息之間的聯(lián)系。因此，傳統(tǒng)機器學(xué)習(xí)方法無法充分利用歷史時序信息，忽略了車輛前、后時刻信息的關(guān)聯(lián)性，導(dǎo)致在長時域范圍內(nèi)的識別性能受限。

近年來，許多學(xué)者將深度學(xué)習(xí)應(yīng)用于車輛換道意圖識別研究。如Zyner 等[6]利用長短時記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)預(yù)測車輛在十字路口的駕駛意圖，但未考慮周圍車輛信息，導(dǎo)致精度受限；Tang等[7]將經(jīng)典的單層LSTM 擴展到多層LSTM，以增加模型的非線性成分，提高算法的魯棒性，但僅利用LSTM 提取車輛交互信息；宋曉琳等[8]通過構(gòu)造收益函數(shù)來描述目標車輛不同駕駛行為的收益，對車輛間的交互行為進行建模，將收益輸入LSTM 網(wǎng)絡(luò)，得到較高的識別精度。與傳統(tǒng)機器學(xué)習(xí)相比，深度學(xué)習(xí)方法能夠更加準確地描述復(fù)雜的駕駛行為，在識別精度上更具優(yōu)勢[9]。

在高速動態(tài)復(fù)雜的交通場景中，車輛之間有較強的交互關(guān)系。現(xiàn)有研究大多僅關(guān)注目標車輛自身的狀態(tài)信息，導(dǎo)致精度和預(yù)判能力受到限制。因此，本文利用目標車輛的運動狀態(tài)信息以及與周圍車輛之間的時空交互信息，引入注意力機制，基于卷積神經(jīng)網(wǎng)絡(luò)和長短時記憶網(wǎng)絡(luò)理論，提出基于融合注意力機制的卷積殘差雙向長短時記憶（CNN Residual BiLSTM Attention，CRBiLSTMA）車輛換道意圖識別模型。

2 CRBiLSTMA車輛換道意圖識別模型

2.1 殘差雙向長短時記憶網(wǎng)絡(luò)結(jié)構(gòu)

2.1.1 LSTM網(wǎng)絡(luò)結(jié)構(gòu)

車輛換道意圖識別屬于典型的時序分類問題，而LSTM 是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)，能夠解決長時間序列訓(xùn)練中的梯度消失和爆炸問題，因此LSTM網(wǎng)絡(luò)在該應(yīng)用中具有良好的性能。單個LSTM單元結(jié)構(gòu)如圖1所示。

圖1 LSTM單元結(jié)構(gòu)

LSTM單元的計算公式如下：

式中，It為輸入門；Ot為輸出門；Ft為遺忘門；σ為Sigmoid非線性激活函數(shù)；Wi、Wo、Wf、Wc和bi、bo、bf、bc分別為各部分的權(quán)重矩陣和偏置項；xt為t時刻的輸入；Ht為t時刻的隱藏狀態(tài)；Ct為t時刻的記憶細胞，其作用是保留長期信息；為當前時間步的候選記憶細胞；tanh 為雙曲正切非線性激活函數(shù)；⊙為哈達瑪（Hadamard）乘積。

2.1.2 多層雙向長短時記憶網(wǎng)絡(luò)結(jié)構(gòu)

為了使模型學(xué)習(xí)到更多深層的信息，將單層LSTM網(wǎng)絡(luò)堆疊形成多層LSTM網(wǎng)絡(luò)。與傳統(tǒng)的單層LSTM網(wǎng)絡(luò)相比，多層LSTM 網(wǎng)絡(luò)結(jié)構(gòu)可以顯著增加非線性分量，從而提高模型的泛化能力和魯棒性。雙向長短時記憶（Bi-directional Long Short-Term Memory，BiLSTM）網(wǎng)絡(luò)由2個LSTM子層組成：前向LSTM（FW LSTM）層和反向LSTM（BW LSTM）層。與LSTM 不同，BiLSTM 網(wǎng)絡(luò)具有雙向特性，因此可以通過FW LSTM和BW LSTM相結(jié)合充分考慮時序信息，將前、后信息雙向傳遞，有助于解決長期依賴性問題并提高預(yù)測精度。BiLSTM單元的最終輸出為：

2.1.3 殘差連接

多層BiLSTM網(wǎng)絡(luò)的深化和復(fù)雜性的增加容易導(dǎo)致梯度消失問題，使得學(xué)習(xí)效率降低，模型精度提升微弱[10]。受到殘差神經(jīng)網(wǎng)絡(luò)（Residual Network）的啟發(fā)，為了解決優(yōu)化瓶頸問題，將殘差連接引入模型，得到殘差雙向長短時記憶（Residual BiLSTM）模型，如圖2所示。

圖2 殘差BiLSTM車輛換道意圖識別模型

2.2 注意力機制

在處理時間序列問題時，可通過注意力機制[11]對不同時刻的序列數(shù)據(jù)賦予不同的權(quán)重。在根據(jù)車輛歷史軌跡和交互信息進行意圖識別時，不同時刻的軌跡數(shù)據(jù)信息重要程度不同，通過注意力機制調(diào)整權(quán)重，可以使模型更好地提取到重要的深層換道特征。因此將注意力機制引入本文的卷積殘差BiLSTM模型中。注意力機制原理如圖3所示，其中softmax為激活函數(shù)。

圖3 注意力機制原理

注意力機制計算可以分為3 個步驟，即信息輸入、計算注意力權(quán)重系數(shù)α、根據(jù)α計算輸入信息的加權(quán)平均值：

a.信息輸入：X=(x1,x2,…,xT)為數(shù)量為T的輸入信息；

式中，Wv、Wk、Wq為權(quán)重系數(shù)矩陣；q為輸入序列中與換道意圖識別相關(guān)的查詢向量。

c.信息加權(quán)平均：注意力權(quán)重系數(shù)αi表示相對于查詢向量q的第i個信息受關(guān)注程度，將其與v進行加權(quán)求和，可以得到注意力層輸出：

2.3 CRBiLSTMA車輛換道意圖識別模型

本文基于循環(huán)神經(jīng)網(wǎng)絡(luò)構(gòu)建了一種CRBiLSTMA車輛換道意圖識別模型，其結(jié)構(gòu)如圖4所示。

圖4 CRBiLSTMA車輛換道意圖識別模型

該模型由輸入層、卷積層、殘差BiLSTM 層、注意力層、softmax層和輸出層組成。特征信息較多時，輸入的軌跡數(shù)據(jù)尺寸較大，可能會導(dǎo)致模型訓(xùn)練過慢以及準確率下降，而卷積神經(jīng)網(wǎng)絡(luò)具有局部連接和權(quán)值共享的特點，能夠?qū)崿F(xiàn)對高維數(shù)據(jù)的處理并提取車輛之間深層的時空交互信息；基于LSTM網(wǎng)絡(luò)對處理時序數(shù)據(jù)分類問題的優(yōu)勢，選取LSTM網(wǎng)絡(luò)對車輛的歷史軌跡和交互信息進行換道意圖預(yù)測；針對深層BiLSTM 模型的優(yōu)化瓶頸問題，引入殘差神經(jīng)網(wǎng)絡(luò)的殘差連接來解決；在卷積殘差BiLSTM模型的基礎(chǔ)上引入注意力機制來優(yōu)化該模型，調(diào)整不同時刻多層BiLSTM網(wǎng)絡(luò)輸出的權(quán)重，使模型從不同時刻的數(shù)據(jù)中更好地提取到換道特征。最后將注意力層的輸出利用softmax層，將多個神經(jīng)元的輸出映射到(0,1)區(qū)間，視為不同換道意圖的概率分布，將概率最大的換道行為作為模型的意圖識別結(jié)果。

3 換道意圖特征參數(shù)選擇

現(xiàn)有研究的換道意圖主要根據(jù)目標車輛的歷史軌跡信息提取換道特征。當車輛尚未表現(xiàn)出關(guān)鍵的典型換道特征時，例如，車輛還未穿過車道線，僅使用目標車輛本身的運動信息不足以預(yù)測車輛的未來換道意圖。因此，除了目標車輛本身的信息外，還應(yīng)考慮目標車輛周圍車輛的信息，通過對車輛間的時空交互信息，提取深層的換道特征，來提前預(yù)測目標車輛的換道意圖。

在高速動態(tài)復(fù)雜的交通場景中，為了使模型更好地理解車輛的交互作用，提取車輛之間深層的時空交互信息，輸入信息[12]應(yīng)包括目標車輛本身及周圍車輛的信息，輸入信息可表示為：

式中，E(t)為目標車輛在t時刻的信息；H(t)為周圍車輛在t時刻的信息；Tp為歷史時域，即輸入車輛軌跡序列的長度。

設(shè)目標車輛在t時刻的狀態(tài)信息集合為：

目標車輛與周圍車輛的位置關(guān)系如圖5所示。

圖5 目標車輛及其周圍車輛位置示意

設(shè)周圍車輛集合為：

周圍車輛的位置信息和速度信息可表示為：

假設(shè)目標車輛的周圍車輛數(shù)量為m，實際行駛中會出現(xiàn)某個位置不存在車輛的情況，因此m≤6。若周圍某個位置（相對于目標車輛的正前、正后、左前、左后、右前、右后）的車輛不存在，則根據(jù)該車相對于目標車輛的位置，將該位置車輛信息設(shè)置為，其中，d為車道寬度。

4 試驗與結(jié)果分析

4.1 數(shù)據(jù)集

為了驗證2.3 節(jié)所提出的CRBiLSTMA 車輛換道意圖模型在高速動態(tài)復(fù)雜交通場景中的車輛換道意圖識別性能，這里選取NGSIM數(shù)據(jù)集[13]中的高速公路數(shù)據(jù)作為分析數(shù)據(jù)集。根據(jù)研究需求，選取其中的US-101 和I-80高速公路路段車輛軌跡數(shù)據(jù)集，每個數(shù)據(jù)集記錄了車輛位置、GPS 坐標、速度、車輛類型等信息，采樣周期為10 Hz。研究區(qū)域路段結(jié)構(gòu)如圖6所示。

圖6 I-80和US-101研究路段

4.2 數(shù)據(jù)預(yù)處理

NGSIM 數(shù)據(jù)集的軌跡數(shù)據(jù)存在一定的誤差和噪聲，如US-101路段車輛2的加速度與時間的關(guān)系，如圖7 所示。從圖7 中可以發(fā)現(xiàn)：車輛在較短的時間內(nèi)頻繁出現(xiàn)急加速和急減速相互切換的情況[14]，這是不符合實際的；此外，根據(jù)統(tǒng)計發(fā)現(xiàn)數(shù)據(jù)集中還存在8.99%的數(shù)據(jù)具有超過±3 m/s2的異常加速度現(xiàn)象。

圖7 US-101路段車輛2加速度-時間關(guān)系

為了避免車輛運動信息中的誤差和噪聲對試驗結(jié)果的影響，可以采用Savitzky-Golay 濾波器[15]對其進行平滑處理，計算流程如下：

設(shè)一個窗口內(nèi)待擬合的數(shù)據(jù)組為x[i]，i=-m,…0,…m，i的取值為(2m+1)個連續(xù)的整數(shù)值，構(gòu)造一個n階多項式（n≤2m+1）來擬合數(shù)據(jù)：

式中，bnk為系數(shù)。

擬合數(shù)據(jù)點與原數(shù)據(jù)點的殘差平方和為：

使用最小二乘法，要使擬合效果最好，則殘差平方和應(yīng)E最小，令E對該多項式的系數(shù)bnk求偏導(dǎo)等于0：

式中，r=0,1,…,n。

當需要擬合的點數(shù)量m、多項式的階次n、待擬合的數(shù)據(jù)x[i]已知時，即可確定該多項式。

這里采用3 階Savitzky-Golay 濾波器，窗口長度為21，以US-101路段中車輛2的加速度為例，濾波器平滑前、后的車輛加速度對比如圖8所示。由圖8可以看出，濾波后的加速度數(shù)據(jù)平滑性更顯著，能夠為模型提供更符合實際的高速公路車輛行駛測試數(shù)據(jù)。

圖8 車輛加速度濾波結(jié)果

4.3 數(shù)據(jù)提取與標注

將從數(shù)據(jù)集中提取的軌跡片段分為車道保持、左換道和右換道3類，并添加相應(yīng)的標注[16]。軌跡提取劃分過程如下：

a.確定換道點和航向角。如圖9所示，從車輛的一段左換道軌跡中求取車輛在換道過程中與車道線的交點B，定義為換道點。設(shè)車輛位置為(x,y)，則車輛在前進方向上每個時刻的航向角為：

圖9 車輛左換道序列標注示意

b.確定換道過程點。換道點確定后，即可通過車輛的航向角θ確定換道過程的起點和終點。沿著換道點向前、后兩側(cè)遍歷所有時刻的車輛航向角θ。如果|θ|≤θs（θs為車道變換的起始航向角閾值）連續(xù)5次（目的是減少由數(shù)據(jù)噪聲引起的模型誤判），則將第1 次達到閾值θs的位置向前1 s（目的是更早識別出車輛的換道意圖）獲得的點A定義為換道起點，同理，如果|θ|≤θe（θe為車道變換的結(jié)束航向角閾值）連續(xù)5次，第1次達到閾值θe的點C定義為換道終點。將車輛從換道起點行駛到換道終點之間的位置點定義為換道過程點[17]。

c.軌跡標注。為了充分利用數(shù)據(jù)，使用滑動窗口提取車輛軌跡數(shù)據(jù)。選取窗口大小Tp=10，若提取軌跡的最后一個采樣點在換道起點A和換道終點C之間，則將該軌跡序列標記為左換道序列0。同理，將右換道序列標記為1；將直線行駛車輛的全部軌跡標注為2。

基于以上方法，本文從數(shù)據(jù)集中共提取了93 311條標簽為0 的左換道序列、36 305 條標簽為1 的右換道序列、641 848 條標簽為2 的保持直行序列。由于各類樣本數(shù)據(jù)量差別較大，會導(dǎo)致模型識別結(jié)果準確率虛高。為了減少由樣本比例失衡引起的過擬合問題，各類樣本統(tǒng)一隨機選取36 305個序列，并按8∶1∶1的比例將數(shù)據(jù)集劃分為訓(xùn)練集、驗證集和測試集。

4.4 意圖識別模塊性能分析

針對車輛換道意圖識別問題，常用以下指標進行性能評價：

a.準確率Acc，指分類正確的樣本占總樣本數(shù)量的比例：

式中，STP、STN、SFP、SFN分別為真正例、真負例、假正例、假負例數(shù)量。

b.精確率P，指真正例占被預(yù)測為正的樣本總數(shù)的比例：

c.召回率R，指真正例占所有實際為正類樣本總數(shù)的比例：

d.F1，指精確率P與召回率R的調(diào)和平均值：

本文提出的CRBiLSTMA 車輛換道意圖識別模型由3 層BiLSTM 堆疊，學(xué)習(xí)率設(shè)置為0.000 1，批量處理尺寸（Batch size）設(shè)置為64，各層之間的隨機失活（Dropout）設(shè)置為0.2，使用交叉熵損失函數(shù)（Cross Entropy），采用自適應(yīng)動量評估（Adam）優(yōu)化器，輸入歷史軌跡長度Tp=10。識別算法基于Python3.9.7語言編寫，基于Pytorch1.11.0 框架實現(xiàn)。識別結(jié)果利用混淆矩陣圖來表征，評價指標結(jié)果以及混淆矩陣如表1 和圖10所示。

表1 模型性能評價

圖10 換道意圖識別模型混淆矩陣

由表1 和圖10 可知，所提出的CRBiLSTMA 模型的總體準確率達到了97.44%，3類駕駛意圖的精確率都到達了94%以上，說明意圖識別模型能夠準確識別車輛的換道行為。左、右換道行為的識別精確率接近，高達98%以上，高于車道保持的識別率，這是因為車輛在實際直線行駛過程中會發(fā)生左右晃動。由于車輛晃動，軌跡數(shù)據(jù)的橫向坐標會發(fā)生抖動，造成模型容易將保持直行誤判為換道行為。而且，左右換道行為的換道特征差別明顯，模型將左（右）換道行為誤判為右（左）換道的概率較低，從而導(dǎo)致左、右換道行為的識別精確率高于車道保持行為。

為了進一步驗證所提出模型的性能，選取LSTM模型、SLSTM 模型、RBiLSTM 模型和CRBiLSTM 模型與本文所提出的CRBiLSTMA 模型進行對比分析，并利用同一測試集進行驗證。模型性能對比結(jié)果如表2所示。

表2 五種模型性能評價對比

分析表2 可以發(fā)現(xiàn)，所提出的CRBiLSTMA 模型的識別準確率高于其他模型，總體準確率達到了97.44%。進一步分析發(fā)現(xiàn)：SLSTM 模型與LSTM 模型相比，準確率提高了8.19百分點，說明在車輛意圖識別過程中，考慮目標車輛周圍的車輛信息時，SLSTM 模型能夠?qū)换ミM行隱式建模，通過交互感知特征能夠明顯提高識別準確率；RBiLSTM 模型與SLSTM 模型相比，準確率提高了2.48 百分點，說明BiLSTM 網(wǎng)絡(luò)可以通過在神經(jīng)網(wǎng)絡(luò)中建立雙向連接來解決長期依賴問題并提高預(yù)測準確率，且引入了殘差連接可以解決多層BiLSTM 網(wǎng)絡(luò)學(xué)習(xí)效率降低的問題；CRBiLSTM 模型與RBiLSTM 模型相比，準確率提高了0.41 百分點，說明輸入層的數(shù)據(jù)先經(jīng)過一維卷積神經(jīng)網(wǎng)絡(luò)能夠提取更深層的信息；CRBiLSTMA 模型與CRBiLSTM 模型相比，準確率提高了0.15百分點，說明通過引入注意力機制調(diào)整不同時間幀的數(shù)據(jù)權(quán)重，能夠更好地考慮時間序列之間的內(nèi)在聯(lián)系。

因此，本文提出的CRBiLSTMA 模型由于引入了殘差連接、卷積神經(jīng)網(wǎng)絡(luò)和注意力機制，對輸入信息的換道特征提取能力更強，具有更高的換道意圖識別精度。

然而，對于高速動態(tài)自動駕駛車輛而言，必須具有更高的提前預(yù)測換道意圖的能力，對周圍車輛的車道變換意圖預(yù)判時間有著更高的要求。將車輛從當前位置行駛到車道變換的位置所需要的時間定義為預(yù)判時間。高速公路環(huán)境下車輛的換道時間一般在3.5～6.0 s范圍內(nèi)，平均持續(xù)時間為5.0 s 可以完成一次換道[18-19]。從測試集的換道車輛中挑選預(yù)判時間分別為3.0 s，2.5 s，2.0 s，1.5 s，1.0 s，0.5 s 的軌跡序列作為輸入，本文所提出的CRBiLSTMA模型在不同預(yù)判時間下的識別性能如表3所示。

表3 不同預(yù)判時間下模型識別性能評價對比

由表3可知，隨著被預(yù)測車輛駛向換道點，向左、向右換道意圖識別準確率均逐漸提高。當預(yù)判時間為2.5 s 時，本文所提出的CRBiLSTMA 模型即可準確識別出換道意圖，整體準確率達到90%以上。

進一步對比分析不同預(yù)判時間下各模型的識別準確率，結(jié)果如圖11所示。

圖11 不同預(yù)判時間的識別結(jié)果

由圖11 可知，隨著被預(yù)測車輛駛向換道點，5 種模型的意圖識別準確率都逐漸提高。通過SLSTM模型與LSTM模型對比分析可知，在預(yù)判時間較長，即車輛換道特征不顯著時，考慮目標車輛與周圍車輛的交互信息，能夠明顯提升識別精度。并且隨著預(yù)判時間的增大，識別準確率的提升也尤為顯著。在預(yù)判時間為1～3 s 時，本文所提出的CRBiLSTMA模型識別準確率最高，此時，車輛還未穿過車道線，即車輛尚未表現(xiàn)出明顯的換道典型特征，表明該模型能夠從數(shù)據(jù)中更早、更準確地提取深層的換道特征，且有更高的識別精度。假設(shè)在換道點前、后各占2.5 s時間，本文所提出的模型能夠在車輛執(zhí)行換道動作前作出恰當預(yù)判。

5 結(jié)束語

本文針對高速動態(tài)復(fù)雜交通場景下自動駕駛車輛換道意圖識別問題，通過注意力機制調(diào)整LSTM 不同時刻的權(quán)重，并考慮車輛之間的交互性，將目標車輛與周圍車輛之間的信息通過CNN 網(wǎng)絡(luò)進行融合，提出了CRBiLSTMA 車輛換道意圖識別模型，基于NGSIM 數(shù)據(jù)集驗證了模型的有效性，并通過LSTM、SLSTM、RBiLSTM、CRBiLSTM 等模型與本文所提出的CRBiLSTMA 模型進行對比分析，結(jié)果表明：

a.CRBiLSTMA 模型的整體識別準確率最高，達到97.44%。而且通過對比發(fā)現(xiàn)考慮交互信息時，識別準確率能夠得到明顯提升。

b.CRBiLSTMA 模型由于引入殘差連接、卷積神經(jīng)網(wǎng)絡(luò)和注意力機制，使得模型提取輸入信息的換道特征能力更強，換道意圖識別精度更高。

c.隨著預(yù)判時間的縮短，CRBiLSTMA 模型的意圖識別準確率逐漸提高，在預(yù)判時間為1～3 s時，模型識別準確率最高，在換道前2.5 s 內(nèi)即可準確識別車輛換道意圖，準確率可達90%以上，具有更好的意圖識別和預(yù)判能力。