郭應(yīng)時 張瑞賓, 陳元華 李天明 蔣春燕

（1.長安大學(xué)，西安 710064；2.桂林航天工業(yè)學(xué)院，桂林 541004）

主題詞：觀測數(shù)據(jù) 卷積神經(jīng)網(wǎng)絡(luò) 雙向長短期記憶 時空關(guān)系 軌跡預(yù)測

1 前言

近年來，激光雷達(dá)、攝像頭等傳感器被廣泛應(yīng)用在無人駕駛車輛上，用于獲取交通環(huán)境下目標(biāo)車輛的行駛軌跡、速度、加速度、車間距等觀測數(shù)據(jù)。利用觀測數(shù)據(jù)開展?fàn)顟B(tài)估計、軌跡預(yù)測、意圖識別、行為分析、風(fēng)險評估等領(lǐng)域的研究，可有效降低交通事故發(fā)生率。劉創(chuàng)等人提出將由長短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)處理的具有同權(quán)重的車輛歷史軌跡信息作為全局特征，融合卷積池化提取軌跡信息作為局部特征用于軌跡預(yù)測；溫惠英等人提出采用LSTM的編碼器-解碼器結(jié)構(gòu)生成預(yù)測時段換道軌跡，聯(lián)合訓(xùn)練生成模型和判別模型實現(xiàn)對車輛換道軌跡的預(yù)測；趙文杰等人提出一種改進(jìn)交互式多模型（Interacting Multiple Model，IMM）算法，采用概率鄰接矩陣表示路網(wǎng)模型中的路網(wǎng)節(jié)點，建立運動目標(biāo)動力學(xué)模型，結(jié)合馬爾可夫轉(zhuǎn)移矩陣提高軌跡預(yù)測精度；游蘭等人提出一種改進(jìn)序列到序列（Sequence-to-Sequence，Seg2Seg）模型，使用門控循環(huán)單元網(wǎng)絡(luò)將歷史時空序列編碼為上下文向量，并將門控循環(huán)單元網(wǎng)絡(luò)作為解碼器來預(yù)測船舶軌跡的時空序列；譚紫陽等人提出一種基于改進(jìn)極限學(xué)習(xí)機和深度神經(jīng)網(wǎng)絡(luò)的融合方法，使用修正線性單元函數(shù)替換激活函數(shù)，并使用均方根反向傳播算法來優(yōu)化深度神經(jīng)網(wǎng)絡(luò)實現(xiàn)對車輛軌跡的長期預(yù)測；張宏鵬提出一種卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）方法，通過訓(xùn)練和測試具有不同層數(shù)和卷積核數(shù)的網(wǎng)絡(luò)找出預(yù)測誤差最小的網(wǎng)絡(luò)對目標(biāo)軌跡進(jìn)行實時預(yù)測；段曉磊等人提出一種粒子濾波與LSTM網(wǎng)絡(luò)，通過幀差法對運動目標(biāo)進(jìn)行檢測，建立追蹤目標(biāo)的運動模型來學(xué)習(xí)目標(biāo)的運動特征，實現(xiàn)對丟失目標(biāo)位置的預(yù)測。

綜上所述，相關(guān)研究多集中在根據(jù)目標(biāo)物體自身數(shù)據(jù)進(jìn)行狀態(tài)預(yù)測，較少考慮目標(biāo)車輛與復(fù)雜交通環(huán)境的時空交互關(guān)系。因此，本文通過一維卷積神經(jīng)網(wǎng)絡(luò)提取由車載激光雷達(dá)等傳感器所采集的車輛運動狀態(tài)觀測數(shù)據(jù)的潛在時空關(guān)系特征，將其輸入雙向長短期記憶網(wǎng)絡(luò)進(jìn)行訓(xùn)練，構(gòu)建1DCNN-BiLSTM 模型用于預(yù)測目標(biāo)車輛運動趨勢，為無人駕駛車輛行駛提供合理的路徑規(guī)劃，從而提高行駛安全性。

2 問題分析

復(fù)雜交通場景下目標(biāo)車輛軌跡預(yù)測是根據(jù)其自身運行狀態(tài)并結(jié)合周邊環(huán)境時空交互關(guān)系估計未來狀態(tài)。為使模型挖掘真實交通數(shù)據(jù)中的潛在特征，輸入數(shù)據(jù)應(yīng)包括待預(yù)測目標(biāo)車輛類型參數(shù)、運行狀態(tài)參數(shù)、與周圍車輛的時空關(guān)系參數(shù)等。復(fù)雜交通場景下目標(biāo)車輛運行狀態(tài)模型如圖1所示，模型應(yīng)包含與周圍車輛的時空交互信息，其輸入特征向量)可以表示為：

圖1 復(fù)雜交通場景目標(biāo)車輛運行狀態(tài)模型

式中，、分別為預(yù)測目標(biāo)車輛的長度和寬度；、分別為預(yù)測目標(biāo)軌跡的橫、縱坐標(biāo)；、分別為預(yù)測目標(biāo)的瞬時速度和瞬時加速度；為周圍車輛相對預(yù)測目標(biāo)的瞬時距離；為預(yù)測目標(biāo)與前車的時距。

3 相關(guān)理論

3.1 卷積神經(jīng)網(wǎng)絡(luò)

CNN 輸入層的數(shù)據(jù)通過所建立的多個濾波器逐層進(jìn)行卷積和池化，對數(shù)據(jù)間潛在拓?fù)浣Y(jié)構(gòu)特征進(jìn)行提取，網(wǎng)絡(luò)越深，所提取特征越抽象，進(jìn)而所獲得特征的魯棒性越好。卷積層內(nèi)的卷積核對上層輸出的數(shù)據(jù)特征進(jìn)行卷積操作，利用激活函數(shù)構(gòu)建特征矢量輸出，其數(shù)學(xué)模型為：

1DCNN的卷積核相應(yīng)采用1維結(jié)構(gòu)，每個卷積層和池化層的輸出也相應(yīng)地為1維特征矢量，1DCNN工作原理如圖2所示。

圖2 1DCNN工作原理

3.2 長短期記憶網(wǎng)絡(luò)

LSTM 是在傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）基礎(chǔ)上進(jìn)化而來的，其內(nèi)部的存儲器單元可指示網(wǎng)絡(luò)對歷史信息的遺忘時間及新信息的更新時間，可有效改善網(wǎng)絡(luò)學(xué)習(xí)過程中由反向傳播誤差所引起的梯度爆炸及梯度消失的問題，通過捕獲長距離依賴關(guān)系實現(xiàn)對序列信息的有效學(xué)習(xí)，LSTM 結(jié)構(gòu)如圖3所示。

圖3 LSTM結(jié)構(gòu)

LSTM結(jié)構(gòu)單元的數(shù)學(xué)模型為：

4 模型構(gòu)建

4.1 模型框架

針對復(fù)雜交通場景下目標(biāo)車輛軌跡預(yù)測問題，本文向所建立的目標(biāo)車輛軌跡預(yù)測模型輸入復(fù)雜交通場景下目標(biāo)車輛在(-2)、(-1)、時刻狀態(tài)觀測數(shù)據(jù)的特征向量、、，預(yù)測模型可輸出目標(biāo)車輛在(+1)時刻的運動軌跡數(shù)據(jù)：

所提出的基于1DCNN-BiLSTM 的目標(biāo)車輛軌跡預(yù)測模型如圖4 所示，將由傳感器采集的目標(biāo)車輛具有時序關(guān)系的運動狀態(tài)觀測歷史數(shù)據(jù)輸入1DCNN進(jìn)行潛在特征提取，處理后的數(shù)據(jù)通過BiLSTM 網(wǎng)絡(luò)獲得目標(biāo)車輛在未來時刻的運動軌跡。

圖4 基于1DCNN-BiLSTM的目標(biāo)車輛軌跡預(yù)測模型

4.2 模型實現(xiàn)

實現(xiàn)基于1DCNN-BiLSTM 的目標(biāo)車輛軌跡預(yù)測模型的流程如下：

b.將歸一化處理后無量綱的數(shù)據(jù)送入1維卷積神經(jīng)網(wǎng)絡(luò)的卷積層，提取數(shù)據(jù)間的潛在關(guān)系：

c.卷積操作后的非線性變換數(shù)據(jù)通過修正線性單元（Rectified Linear Unit，ReLU）激活函數(shù)實現(xiàn)潛在時空關(guān)系特征提取，送入如圖5所示的BiLSTM網(wǎng)絡(luò)結(jié)構(gòu)，通過前向LSTM層、后向LSTM層捕獲序列間長期依賴關(guān)系：

圖5 BiLSTM網(wǎng)絡(luò)結(jié)構(gòu)

d.將有效擬合后的數(shù)據(jù)y依次通過2 個全連接層，輸出軌跡預(yù)測值。

5 試驗結(jié)果與分析

本文通過如圖6 所示的搭載有多種傳感器的智能車輛試驗平臺采集數(shù)據(jù)，平臺集成了激光雷達(dá)、毫米波雷達(dá)、GPS定位模塊、慣導(dǎo)系統(tǒng)、工控機（包含CAN 通訊卡）等硬件設(shè)備，通過上、下位機控制系統(tǒng)可以開展智能汽車相關(guān)試驗任務(wù)。

圖6 智能車輛試驗平臺

為了方便分析復(fù)雜交通場景下目標(biāo)車輛自身運行狀態(tài)及與周圍車輛的時空交互關(guān)系，選擇數(shù)據(jù)采集試驗車為目標(biāo)車輛。目標(biāo)車輛的長度、寬度為數(shù)據(jù)采集試驗車的車長和車寬；目標(biāo)車輛軌跡橫、縱坐標(biāo)、采用時刻試驗車車載GPS 定位模塊實時獲取的車輛橫、縱坐標(biāo)值；目標(biāo)車輛瞬時速度由試驗車車載CAN 通訊卡獲取，目標(biāo)車輛瞬時加速度由瞬時速度求導(dǎo)獲?。恢車囕v相對預(yù)測目標(biāo)的瞬時位置是通過分析車載激光雷達(dá)采集的周圍車點云數(shù)據(jù)獲取，利用激光雷達(dá)采集點云的距離閾值范圍，篩選出的相鄰車道對預(yù)測目標(biāo)運動影響最大的周圍車輛相對位置信息；目標(biāo)車輛與前車時距通過車載毫米波雷達(dá)獲取的與前車的距離計算出目標(biāo)車輛與前車的碰撞時間獲得。

圖7 所示為試驗數(shù)據(jù)采集瞬態(tài)場景，表示某時刻試驗數(shù)據(jù)采集車與同一車道行駛的前車以及相鄰車道的周圍車輛所處的位置情況。試驗過程中，32 線激光雷達(dá)采集數(shù)據(jù)周期為0.5 s，數(shù)據(jù)采集地點為某城市的繞城高速公路，是基于同一試驗數(shù)據(jù)采集車所獲取的道路環(huán)境數(shù)據(jù)，試驗數(shù)據(jù)采集車的部分?jǐn)?shù)據(jù)如表1所示。

圖7 試驗數(shù)據(jù)采集瞬態(tài)場景

表1 試驗數(shù)據(jù)采集車的部分?jǐn)?shù)據(jù)

為了測試1DCNN-BiLSTM算法性能，選取智能車輛試驗平臺所獲取的激光雷達(dá)原始數(shù)據(jù)中連續(xù)800幀的觀測數(shù)據(jù)作為樣本，構(gòu)建1DCNN-BiLSTM 模型，進(jìn)行軌跡預(yù)測。算法測試平臺所采用的編程語言為Python 3.6，配備NVIDIA GeForce GTX 1650獨立顯卡、主頻為2.4 GHz的IntelCorei5-9300處理器，內(nèi)存16 GB。將該800組觀測數(shù)據(jù)進(jìn)行劃分，其中前560 組數(shù)據(jù)作為訓(xùn)練集，后240組數(shù)據(jù)作為測試集，利用ADAM函數(shù)進(jìn)行算法優(yōu)化，學(xué)習(xí)率設(shè)置為0.01，窗口長度為4，每批處理樣本的數(shù)量為8 個。采用均方誤差（Mean Squared Error，MSE）和平均絕對誤差（Mean Absolute Error，MAE）進(jìn)行評價：

式中，為MSE值；為MAE值；P為時刻預(yù)測值；R為時刻真實值；為樣本數(shù)量。

如圖8、圖9 所示為利用1DCNN-BiLSTM 模型在訓(xùn)練集和測試集上分別對目標(biāo)車輛軌跡橫、縱坐標(biāo)、進(jìn)行預(yù)測的均方誤差、平均絕對誤差損失。圖8 中的1DCNN-BiLSTM 模型在訓(xùn)練集和測試集上分別對、預(yù)測的均方誤差損失曲線的變化趨勢一致；圖9中的1DCNN-BiLSTM模型在訓(xùn)練集和測試集上分別對、預(yù)測的平均絕對誤差損失曲線的變化趨勢一致。結(jié)果表明，模型對目標(biāo)車輛軌跡具有良好的預(yù)測效果。

圖8 1DCNN-BiLSTM模型預(yù)測的均方誤差損失

圖9 1DCNN-BiLSTM模型預(yù)測的平均絕對誤差損失

為了進(jìn)一步對比不同算法的預(yù)測性能，分別選取全鏈接（Fully Connected，F(xiàn)C）、LSTM、BiLSTM 等傳統(tǒng)網(wǎng)絡(luò)模型與本文所提出的1DCNN-BiLSTM 網(wǎng)絡(luò)模型進(jìn)行對比，其層結(jié)構(gòu)、輸出形狀、參數(shù)數(shù)量如表2所示。

表2 對比試驗網(wǎng)絡(luò)模型

如圖10、圖11 所示為利用LC、LSTM、BiLSTM、1DCNN-BiLSTM 模型在訓(xùn)練集和測試集分別對目標(biāo)車輛軌跡橫、縱坐標(biāo)、預(yù)測的均方誤差、平均絕對誤差損失對比，如表3 所示，車輛運動受到道路邊界及車道線的制約，其橫向軌跡數(shù)值變化范圍小，縱向軌跡數(shù)值變化范圍大，因此導(dǎo)致縱坐標(biāo)的均方誤差和平均絕對誤差損失值均較橫坐標(biāo)高。由于本文所選取的ADAM 函數(shù)優(yōu)化器具有較高的收斂速度，設(shè)置學(xué)習(xí)率為0.01 時，橫、縱坐標(biāo)的均方誤差和平均絕對誤差均可快速降低，且圖10、圖11 中采用1DCNN-BiLSTM模型在測試集中進(jìn)行300 次迭代最終獲得的橫、縱坐標(biāo)的均方誤差和平均絕對誤差的損失值均低于其他3種預(yù)測模型。由模型預(yù)測實時性對比試驗結(jié)果可知，迭代次數(shù)與實時性有關(guān)，1DCNN-BiLSTM 模型在精度提升的同時，仍然滿足實際應(yīng)用的要求，故1DCNNBiLSTM 模型對目標(biāo)車輛軌跡預(yù)測效果明顯優(yōu)于其他模型。

圖10 各模型預(yù)測的均方誤差損失對比

圖11 各模型預(yù)測的平均絕對誤差損失對比

表3 各模型預(yù)測效果統(tǒng)計

6 結(jié)束語

為了有效預(yù)測復(fù)雜交通場景中目標(biāo)車輛的運動軌跡，本文提出一種基于觀測數(shù)據(jù)潛在特征與雙向長短期記憶網(wǎng)絡(luò)的方法，通過1維卷積神經(jīng)網(wǎng)絡(luò)提取由車載傳感器所采集的車輛運動狀態(tài)觀測數(shù)據(jù)的潛在時空關(guān)系特征，將其輸入雙向長短期記憶網(wǎng)絡(luò)進(jìn)行訓(xùn)練，對比試驗結(jié)果表明，所構(gòu)建的1DCNN-BiLSTM 模型對目標(biāo)車輛軌跡預(yù)測效果明顯優(yōu)于其他模型。