何東 趙茂杰 王梓楠
(重慶交通大學(xué),重慶 400074)
高速混行環(huán)境下,自動(dòng)駕駛車(chē)輛可以通過(guò)車(chē)聯(lián)網(wǎng)技術(shù)實(shí)時(shí)共享彼此的駕駛意圖,理解當(dāng)前的行駛環(huán)境,但是人工駕駛汽車(chē)無(wú)法與車(chē)聯(lián)網(wǎng)發(fā)生相關(guān)信息的交換,自動(dòng)駕駛汽車(chē)只能通過(guò)人工駕駛汽車(chē)外在的行為特征對(duì)駕駛員的意圖(直行、左換道、右換道等)進(jìn)行推斷。
目前,駕駛意圖識(shí)別方法可以分為基于傳統(tǒng)機(jī)器學(xué)習(xí)的駕駛意圖識(shí)別方法和基于深度學(xué)習(xí)的駕駛意圖識(shí)別方法。在基于深度學(xué)習(xí)的方法中,神經(jīng)網(wǎng)絡(luò)模型和長(zhǎng)短時(shí)記憶(Long Short-Term Memory,LSTM)網(wǎng)絡(luò)模型應(yīng)用較為廣泛[1]。Huang 等[2]將深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)(Deep-Learning Neural Network,DNN)應(yīng)用于換道行為辨識(shí),對(duì)復(fù)雜的換道行為特征進(jìn)行有效擬合,但DNN對(duì)時(shí)序特征的捕捉能力較弱,因此近年來(lái)該模型關(guān)注度較低。LSTM 網(wǎng)絡(luò)因其具有強(qiáng)烈的時(shí)序捕捉能力,十分貼合駕駛意圖識(shí)別的應(yīng)用場(chǎng)景,是當(dāng)前研究者關(guān)注的重點(diǎn)[3]。Phillips 等[4]通過(guò)對(duì)采集的十字路口交通數(shù)據(jù)使用LSTM 搭建意圖識(shí)別模型,實(shí)現(xiàn)對(duì)左轉(zhuǎn)、右轉(zhuǎn)和直行意圖的預(yù)測(cè),驗(yàn)證了LSTM網(wǎng)絡(luò)對(duì)真實(shí)采集時(shí)序數(shù)據(jù)特征的捕捉能力。黃玲等[5]提出了一種高速公路人機(jī)混行環(huán)境下基于LSTM神經(jīng)網(wǎng)絡(luò)的換道意圖識(shí)別模型,該模型在人機(jī)混行環(huán)境下對(duì)車(chē)輛換道行為具有較高的識(shí)別精度,其改進(jìn)在于引入均方根傳播(Root Mean Square propagation,RMSpro)算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的超參數(shù),以規(guī)避人工調(diào)參帶來(lái)的影響?;蒿w等[6]使用雙向長(zhǎng)短時(shí)記憶(Bidirectional Long Short-Term Memory,Bi LSTM)網(wǎng)絡(luò)模型識(shí)別駕駛行為中的異常狀態(tài),將Bi LSTM 與全連接神經(jīng)網(wǎng)絡(luò)(Fully Connected Neural Network,F(xiàn)CNN)相結(jié)合,充分發(fā)揮了二者的優(yōu)勢(shì)。
從研究進(jìn)程和相應(yīng)的指標(biāo)來(lái)看,深度學(xué)習(xí)模型總體表現(xiàn)優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)模型。以LSTM 模型為代表的深度學(xué)習(xí)模型以強(qiáng)大的擬合能力與對(duì)時(shí)間序列特征的捕捉能力使其在駕駛意圖識(shí)別上的表現(xiàn)整體強(qiáng)于傳統(tǒng)機(jī)器學(xué)習(xí)模型。然而,部分研究還存在周?chē)?chē)輛交互特征考慮不足、忽視駕駛風(fēng)格、人工調(diào)參困難等問(wèn)題。
本文提出一種基于改進(jìn)Bi LSTM 網(wǎng)絡(luò)的駕駛意圖識(shí)別模型,以目標(biāo)車(chē)輛軌跡序列、駕駛風(fēng)格、周?chē)?chē)輛的交互特征作為模型的輸入,并使用鯨魚(yú)優(yōu)化算法對(duì)模型的超參數(shù)進(jìn)行尋優(yōu)來(lái)規(guī)避人工調(diào)參。最后對(duì)NGSIM數(shù)據(jù)集的數(shù)據(jù)進(jìn)行處理、驗(yàn)證,證明該模型在車(chē)輛駕駛意圖識(shí)別方面具有較高的準(zhǔn)確性。
LSTM 神經(jīng)網(wǎng)絡(luò)是循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks,RNN)的一類(lèi)變種,相較于RNN,它通過(guò)引入“門(mén)”結(jié)構(gòu)和細(xì)胞概念控制信息的流動(dòng),從而克服了困擾RNN 的梯度爆炸及梯度消失問(wèn)題。該網(wǎng)絡(luò)最基本的單元結(jié)構(gòu)如圖1 所示,它與RNN 的區(qū)別在于,該單元結(jié)構(gòu)中存在遺忘門(mén)(Forget Gate)、更新門(mén)(Input Gate)、輸出門(mén)(Output Gate)3 種特殊的“門(mén)”結(jié)構(gòu)以及用于儲(chǔ)存和傳遞之前時(shí)刻狀態(tài)信息的細(xì)胞(Cell)結(jié)構(gòu),以實(shí)現(xiàn)信息的流通[7]。圖1 中,xt為當(dāng)前時(shí)刻t的輸入,ht、Ct分別為t時(shí)刻的輸出信息和存儲(chǔ)在細(xì)胞中的狀態(tài)信息為輸入門(mén)對(duì)輸入xt進(jìn)行信息更新后產(chǎn)生的新的輸入向量,σ為sigmoid 激活函數(shù),ft、it、Ot分別為遺忘門(mén)、輸入門(mén)、輸出門(mén),wf、wi、wo分別為遺忘門(mén)、輸入門(mén)、輸出門(mén)的權(quán)重系數(shù),wc為(t-1)時(shí)刻與t時(shí)刻的連接權(quán)重系數(shù)。
圖1 LSTM基本單元結(jié)構(gòu)
LSTM 雖然解決了RNN 存在的問(wèn)題,但它自身只能利用過(guò)去的特征信息,而忽略了未來(lái)的信息,故在此基礎(chǔ)上誕生了Bi LSTM 神經(jīng)網(wǎng)絡(luò)[8]。該模型包含2個(gè)獨(dú)立的LSTM網(wǎng)絡(luò),模型所需的參數(shù)分別以正向和反向的形式輸入到2個(gè)LSTM網(wǎng)絡(luò)中,然后將2 個(gè)網(wǎng)絡(luò)提取出的特征向量進(jìn)行拼接獲得模型最終特征向量,經(jīng)過(guò)正向和反向的特征提取,最終的拼接向量同時(shí)擁有過(guò)去和未來(lái)的信息,其結(jié)構(gòu)流程如圖2 所示。為正向運(yùn)算過(guò)程為反向運(yùn)算過(guò)程:
圖2 Bi LSTM結(jié)構(gòu)流程
式中,f為激活函數(shù)為t時(shí)刻正向LSTM 網(wǎng)絡(luò)的輸出分別為正向偏置和權(quán)重為t時(shí)刻反向LSTM網(wǎng)絡(luò)的輸出分別為反向偏置和權(quán)重。
將正向LSTM 網(wǎng)絡(luò)及反向LSTM 網(wǎng)絡(luò)的輸出向量拼接在一起,即為Bi LSTM網(wǎng)絡(luò)的輸出:
本文基于Bi LSTM 網(wǎng)絡(luò)搭建駕駛意圖識(shí)別模型,模型架構(gòu)如圖3所示。
圖3 Bi LSTM駕駛意圖識(shí)別模型
圖3中,時(shí)間序列輸入層將Xt=(x1,x2,x3,…,xt)分別輸入正向和反向LSTM 網(wǎng)絡(luò),序列中的每一個(gè)時(shí)刻t的輸入xt在該模型中都會(huì)獲得正向輸出和反向輸出再進(jìn)行拼接獲得向量將xt'輸入到全連接層中獲得輸出yt=wxt'+b,其中w、b為全連接層的權(quán)重和偏置。將yt輸入SoftMax 層,通過(guò)激活函數(shù)獲得t時(shí)刻輸入的左換道、右換道、直行3 種類(lèi)別各自的概率,然后使用分類(lèi)層將概率最大的類(lèi)別輸出,作為當(dāng)前時(shí)刻的駕駛意圖。
Bi LSTM 網(wǎng)絡(luò)的超參數(shù)對(duì)模型的性能影響較大,隱含層節(jié)點(diǎn)數(shù)、學(xué)習(xí)率是其中重要的超參數(shù)指標(biāo)。隱含層節(jié)點(diǎn)數(shù)越多,模型的性能越好,精度也會(huì)越高,但需要的計(jì)算資源會(huì)越大,也越耗時(shí),且節(jié)點(diǎn)數(shù)超過(guò)一定閾值后反而會(huì)降低模型的性能,但節(jié)點(diǎn)數(shù)過(guò)小則可能不會(huì)收斂,準(zhǔn)確率也會(huì)降低;學(xué)習(xí)率的選擇決定模型能否收斂,學(xué)習(xí)率過(guò)大時(shí)模型難以收斂,學(xué)習(xí)率過(guò)小時(shí)模型訓(xùn)練耗時(shí)更長(zhǎng),且可能陷入“局部最優(yōu)”陷阱。
正確選擇隱含層節(jié)點(diǎn)數(shù)和學(xué)習(xí)率既可以提高訓(xùn)練速度,也能提高模型精度。因此,為獲取這2個(gè)超參數(shù)的最優(yōu)解,本文使用鯨魚(yú)優(yōu)化算法(Whale Optimization Algorithm,WOA)對(duì)Bi LSTM 的損失函數(shù)進(jìn)行尋優(yōu),算法迭代曲線收斂且損失函數(shù)結(jié)果最小時(shí)對(duì)應(yīng)的超參數(shù)即為最優(yōu)解。WOA Bi-LSTM 的算法流程如圖4所示。其中,p為行為選擇概率,X(t)為t時(shí)刻鯨魚(yú)所處的位置,X*(t)為最佳包圍位置,Xrand(t)為當(dāng)前隨機(jī)鯨魚(yú)個(gè)體的位置,D、D'、D"分別為當(dāng)前鯨魚(yú)個(gè)體與最佳個(gè)體、最佳包圍位置、隨機(jī)鯨魚(yú)個(gè)體之間的距離,A、C分別為權(quán)重系數(shù),b為常量系數(shù),l為[-1,1]區(qū)間上的隨機(jī)數(shù)。
圖4 WOA-Bi LSTM 算法流程
鯨魚(yú)優(yōu)化算法通過(guò)模擬鯨魚(yú)族群的捕獵行為來(lái)更新優(yōu)化參數(shù),該算法包括包圍獵物、攻擊獵物和隨機(jī)搜尋獵物3 個(gè)環(huán)節(jié)[9]。每條鯨魚(yú)的位置都代表一個(gè)可行解,對(duì)于N個(gè)待優(yōu)化參數(shù),可將鯨魚(yú)的位置設(shè)定為X=(x1,x2,x3,…,xN)。
使用WOA 模型對(duì)Bi LSTM 網(wǎng)絡(luò)的損失函數(shù)進(jìn)行尋優(yōu)。優(yōu)化算法的迭代次數(shù)均設(shè)置為50次,優(yōu)化器均使用Adam,損失函數(shù)設(shè)為交叉熵,WOA- Bi LSTM 模型中的鯨魚(yú)種群數(shù)設(shè)為30 個(gè),迭代次數(shù)設(shè)為20 次,Bi LSTM 網(wǎng)絡(luò)的輸入為目標(biāo)車(chē)輛的運(yùn)動(dòng)狀態(tài)特征方程構(gòu)造的駕駛意圖數(shù)據(jù)集;根據(jù)WOA 模型迭代收斂的輸出結(jié)果,適應(yīng)度曲線收斂時(shí)的適應(yīng)度對(duì)應(yīng)的鯨魚(yú)位置向量即為最優(yōu)解,對(duì)應(yīng)的最優(yōu)隱含層節(jié)點(diǎn)數(shù)為82個(gè),最優(yōu)學(xué)習(xí)率為0.001 6。
交互場(chǎng)景中通常存在多個(gè)交通參與者,自動(dòng)駕駛汽車(chē)會(huì)受到周?chē)?chē)輛間交互的影響,交互特征的選擇對(duì)于準(zhǔn)確識(shí)別人工駕駛車(chē)輛的意圖至關(guān)重要??紤]到橫向距離對(duì)車(chē)輛行駛安全的重要性[10],將橫向距離作為交互特征之一引入駕駛意圖識(shí)別任務(wù),設(shè)li、di分別為第i輛目標(biāo)車(chē)輛與自動(dòng)駕駛汽車(chē)的橫、縱向相對(duì)距離,周?chē)?chē)輛交互特征fsocial可表達(dá)為:
式中,xi為第i輛目標(biāo)車(chē)與自動(dòng)駕駛汽車(chē)的橫、縱向相對(duì)距離構(gòu)成的向量。
交互特征描述的是自動(dòng)駕駛車(chē)輛與周?chē)?chē)輛的交互行為,識(shí)別駕駛意圖還需選擇目標(biāo)車(chē)輛的運(yùn)動(dòng)狀態(tài)特征ft=(v,a,x,y,vy,ay),其中v、a分別為目標(biāo)車(chē)輛的速度、加速度,x、y分別為目標(biāo)車(chē)輛的縱、橫坐標(biāo),vy、ay分別為目標(biāo)車(chē)輛的橫向速度、橫向加速度。
不同風(fēng)格的駕駛員面臨相同駕駛場(chǎng)景時(shí)產(chǎn)生的駕駛意圖有所不同,因此,精準(zhǔn)識(shí)別目標(biāo)車(chē)輛的駕駛意圖還需要引入其駕駛風(fēng)格特征,其特征向量為:
綜上所述,駕駛意圖識(shí)別模型的輸入iv由交互特征、目標(biāo)車(chē)輛運(yùn)動(dòng)狀態(tài)特征、駕駛風(fēng)格特征構(gòu)成:
完成特征參數(shù)選取后,需要對(duì)NGSIM 數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行篩選并提取相應(yīng)的特征數(shù)據(jù),同時(shí),分類(lèi)模型是有監(jiān)督學(xué)習(xí)模型,需要對(duì)駕駛意圖數(shù)據(jù)進(jìn)行車(chē)輛行為標(biāo)注。Deo 等[11]針對(duì)該問(wèn)題提出了一種通過(guò)時(shí)間標(biāo)定換道行為的方法,首先尋找車(chē)輛在換道點(diǎn)的時(shí)刻t,然后將車(chē)輛處于區(qū)間[t-4 s,t+4 s]的車(chē)輛行為標(biāo)定為左、右換道,但Wang 等[12]通過(guò)對(duì)NGSIM 數(shù)據(jù)集的觀察發(fā)現(xiàn),許多車(chē)輛在t-4 s時(shí)刻并未產(chǎn)生換道意圖,仍然處于車(chē)道保持狀態(tài),因此直接根據(jù)4 s 的時(shí)間標(biāo)定換道行為存在一定誤差。而李文禮等[13]使用橫向位移達(dá)到車(chē)道寬作為換道完成的標(biāo)定參數(shù),提高了換道行為標(biāo)定的準(zhǔn)確率。受以上研究的啟發(fā),本文提出一種結(jié)合橫向位移的滑動(dòng)窗口算法對(duì)相應(yīng)數(shù)據(jù)進(jìn)行提取并賦予標(biāo)簽,如圖5所示。
圖5 改進(jìn)滑動(dòng)窗口數(shù)據(jù)提取算法
由圖5可知,改進(jìn)的數(shù)據(jù)提取方法定義為:找尋車(chē)輛換道點(diǎn)St對(duì)應(yīng)的時(shí)刻t,然后提取車(chē)輛軌跡序列中t-4 s 和t+4 s 時(shí)刻對(duì)應(yīng)的采樣點(diǎn)并計(jì)算二者橫向位移的差值。若該差值大于車(chē)道寬3.75 m,則將該條軌跡標(biāo)定為換道成功。若該差值小于3.75 m,則以換道點(diǎn)所在的時(shí)刻為中心,在兩端取相互對(duì)稱(chēng)的2 個(gè)采樣點(diǎn)S1、S2并計(jì)算二者橫向位移的差值,當(dāng)該差值達(dá)到3.75 m 時(shí),則將S1對(duì)應(yīng)的時(shí)刻t1定義為換道起始時(shí)刻,將S2對(duì)應(yīng)的時(shí)刻t2定義為換道結(jié)束時(shí)刻,落入?yún)^(qū)間[t1,t2]的采樣點(diǎn)均為換道過(guò)程點(diǎn)。
用以上方法對(duì)NGSIM 數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行換道行為標(biāo)定,并采用前文駕駛意圖識(shí)別模型進(jìn)行數(shù)據(jù)處理,提取時(shí)長(zhǎng)為4 s的軌跡序列作為試驗(yàn)時(shí)模型的輸入數(shù)據(jù),最終共獲取樣本數(shù)據(jù)23 800 組,其中左換道標(biāo)簽數(shù)據(jù)4 977 組、右換道標(biāo)簽數(shù)據(jù)6 331組、直行標(biāo)簽數(shù)據(jù)12 492 組,按7∶1.5∶1.5 的比例將數(shù)據(jù)集劃分成訓(xùn)練集、驗(yàn)證集和測(cè)試集。
選擇使用不同超參數(shù)的Bi LSTM 網(wǎng)絡(luò)作為試驗(yàn)對(duì)比,網(wǎng)絡(luò)的迭代次數(shù)均設(shè)置為50 次,損失函數(shù)均為交叉熵?fù)p失函數(shù),各模型參數(shù)設(shè)置及在訓(xùn)練集上的訓(xùn)練耗時(shí)和最后一次迭代的準(zhǔn)確率如表1 所示。訓(xùn)練時(shí)各模型損失函數(shù)下降曲線及準(zhǔn)確率上升曲線分別如圖6、圖7所示。
表1 不同超參數(shù)網(wǎng)絡(luò)訓(xùn)練集表現(xiàn)
圖6 損失函數(shù)下降曲線
圖7 準(zhǔn)確率上升曲線
從表1、圖6、圖7中可以看出,WOA-Bi LSTM 在各模型中損失函數(shù)最低、收斂速度最快、性能最優(yōu)。此外,從表1中可以看出,學(xué)習(xí)率及隱含層節(jié)點(diǎn)數(shù)對(duì)模型的準(zhǔn)確率和訓(xùn)練耗時(shí)均有影響。在采用與WOA-Bi LSTM 相同的學(xué)習(xí)率的條件下,選擇Bi LSTM1 和Bi LSTM2 這2 個(gè)不同隱含層節(jié)點(diǎn)數(shù)的網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí),隱含層節(jié)點(diǎn)數(shù)增加,模型的準(zhǔn)確率提高,但是訓(xùn)練所需的時(shí)間和計(jì)算資源也會(huì)隨之增加。此外,當(dāng)隱含層節(jié)點(diǎn)數(shù)到達(dá)一定閾值后,增加隱含層節(jié)點(diǎn)數(shù)反而可能導(dǎo)致準(zhǔn)確率下降,這在WOA-Bi LSTM 和Bi LSTM2 中均有所體現(xiàn)。當(dāng)選擇與WOA-Bi LSTM 節(jié)點(diǎn)數(shù)相同的網(wǎng)絡(luò)Bi LSTM3、Bi LSTM4 進(jìn)行訓(xùn)練時(shí),相較于較小初始學(xué)習(xí)率的模型,較大初始學(xué)習(xí)率的模型訓(xùn)練所需的時(shí)間較短,但準(zhǔn)確率相對(duì)較低。而學(xué)習(xí)率數(shù)值過(guò)小,會(huì)使網(wǎng)絡(luò)陷入局部最優(yōu),同樣降低模型的識(shí)別準(zhǔn)確率,例如Bi LSTM3 網(wǎng)絡(luò)。雖然該網(wǎng)絡(luò)在損失函數(shù)上的表現(xiàn)較為優(yōu)異,但其識(shí)別準(zhǔn)確率卻是所有模型中最低的。
綜上所述,選擇合理的隱含層節(jié)點(diǎn)數(shù)和初始學(xué)習(xí)率對(duì)模型的性能有較大影響。使用優(yōu)化后的Bi LSTM 對(duì)測(cè)試集數(shù)據(jù)進(jìn)行識(shí)別,結(jié)果如圖8 所示。其中:前3 行白色方格給出了模型辨識(shí)正確的樣本數(shù)量和該類(lèi)駕駛意圖辨識(shí)正確的樣本數(shù)占測(cè)試集總樣本數(shù)的比例;深灰色方格給出了模型辨識(shí)錯(cuò)誤的樣本數(shù)量和該類(lèi)駕駛意圖辨識(shí)錯(cuò)誤的樣本數(shù)占測(cè)試集總樣本數(shù)的比例;第4 列淺灰色方格給出了模型對(duì)各類(lèi)駕駛意圖辨識(shí)正確的樣本數(shù)占該類(lèi)別駕駛意圖總樣本數(shù)的比例;第4 行淺灰色方格給出了該類(lèi)別駕駛意圖辨識(shí)準(zhǔn)確率;第4 行白色方格給出了模型在測(cè)試集上的總體辨識(shí)準(zhǔn)確率。
圖8 測(cè)試集混淆矩陣
從圖8 中可以看出,模型在測(cè)試集上的識(shí)別準(zhǔn)確率較高,達(dá)到97.5%,且模型對(duì)右換道數(shù)據(jù)識(shí)別準(zhǔn)確率(97.2%)大于左換道數(shù)據(jù)識(shí)別準(zhǔn)確率(95.3%),這是因?yàn)樽髶Q道訓(xùn)練數(shù)據(jù)相對(duì)于右換道較少,模型在訓(xùn)練時(shí),對(duì)于右換道特征的理解學(xué)習(xí)強(qiáng)于左換道,但二者的識(shí)別準(zhǔn)確率均較高,說(shuō)明模型對(duì)于左、右換道識(shí)別能力較強(qiáng)。
本文針對(duì)高速混行環(huán)境下周?chē)?chē)輛的駕駛意圖識(shí)別問(wèn)題,首先,提出一種結(jié)合橫向位移的滑動(dòng)窗口算法對(duì)NGSIM 數(shù)據(jù)集的數(shù)據(jù)進(jìn)行處理、提取并構(gòu)造駕駛意圖特征數(shù)據(jù)集,然后基于該數(shù)據(jù)集提出一種改進(jìn)雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)駕駛意圖識(shí)別模型,并使用鯨魚(yú)優(yōu)化算法對(duì)該模型中的學(xué)習(xí)率和隱含層節(jié)點(diǎn)數(shù)進(jìn)行超參數(shù)優(yōu)化,以規(guī)避人工調(diào)參對(duì)模型性能的負(fù)面影響。通過(guò)對(duì)比發(fā)現(xiàn),鯨魚(yú)優(yōu)化算法獲得的最優(yōu)超參數(shù)可有效提高模型的識(shí)別準(zhǔn)確率。在NGSIM 數(shù)據(jù)集測(cè)試集上,模型的識(shí)別準(zhǔn)確率達(dá)到了97.5%,左、右換道和直行的識(shí)別準(zhǔn)確率分別為95.3%、97.2%、98.3%,識(shí)別耗時(shí)為1.35 s,表明該模型能夠?qū)崟r(shí)精確識(shí)別駕駛意圖,為周?chē)?chē)輛的軌跡預(yù)測(cè)提供幫助。