亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于深度學(xué)習(xí)的智能車輛軌跡預(yù)測(cè)綜述*

        2024-02-20 11:12:44楊榮淼張國宗
        汽車文摘 2024年2期
        關(guān)鍵詞:注意力軌跡卷積

        楊榮淼 張國宗

        (1.重慶交通大學(xué)機(jī)電與車輛工程學(xué)院,重慶 400074;2.四川輕化工大學(xué)機(jī)械工程學(xué)院,宜賓 643022)

        0 引言

        計(jì)算機(jī)視覺、傳感器信號(hào)處理、硬件設(shè)計(jì)等領(lǐng)域的最新技術(shù)進(jìn)展,使自動(dòng)駕駛技術(shù)從“可能”、“可行”發(fā)展到“商用”狀態(tài)。然而,自動(dòng)駕駛車輛應(yīng)對(duì)復(fù)雜行駛場景和緊急交通任務(wù)的能力仍存在局限性[1]。因此,提高自動(dòng)駕駛汽車智能系統(tǒng)的性能非常重要。預(yù)測(cè)智能體(Agent)未來時(shí)刻的位置并根據(jù)預(yù)測(cè)結(jié)果做出合理的規(guī)劃是自動(dòng)駕駛車輛和高級(jí)監(jiān)控系統(tǒng)(包括智能交通或者智能城市)的關(guān)鍵任務(wù)。理解交通智能體的行為是智能系統(tǒng)與人類共存和互動(dòng)的一項(xiàng)關(guān)鍵技能,其中涉及表征、感知和運(yùn)動(dòng)分析等方面,而預(yù)測(cè)在運(yùn)動(dòng)分析中起著重要的作用。預(yù)測(cè)車輛運(yùn)動(dòng)主要面臨3個(gè)重要挑戰(zhàn):

        (1)在復(fù)雜的多車行駛場景下,車輛的運(yùn)動(dòng)狀態(tài)會(huì)受其他車輛影響;

        (2)車輛運(yùn)動(dòng)呈現(xiàn)多模態(tài)特征,即給定相同的車輛運(yùn)動(dòng)歷史,會(huì)輸出多個(gè)不同的合理軌跡;

        (3)在缺失道路幾何形狀和交通規(guī)則約束的情況下,特定場景訓(xùn)練的模型泛化性較差。

        本文針對(duì)復(fù)雜行車場景中車輛軌跡預(yù)測(cè)問題,綜述了近幾年的研究成果,并根據(jù)輸入表示、軌跡輸出類型、預(yù)測(cè)方法進(jìn)行綜述與分析,基于分析結(jié)果總結(jié)智能車輛軌跡預(yù)測(cè)領(lǐng)域發(fā)展現(xiàn)狀,并對(duì)未來趨勢(shì)進(jìn)行展望。

        1 智能車輛軌跡預(yù)測(cè)算法綜述

        由于深度學(xué)習(xí)的方法能高效地提取時(shí)間與空間交互關(guān)系并能更好地進(jìn)行長時(shí)域預(yù)測(cè)[2],現(xiàn)有研究方法主要是基于深度學(xué)習(xí)的方法來解決軌跡預(yù)測(cè)問題。因此,本文綜述了近幾年基于深度學(xué)習(xí)的車輛軌跡預(yù)測(cè)研究成果,從輸入表示、輸出類型和預(yù)測(cè)方法方面進(jìn)行總結(jié)及探討。

        1.1 輸入表示

        常用的軌跡預(yù)測(cè)算法的輸入表示見表1。

        表1 軌跡預(yù)測(cè)算法的輸入表示

        1.1.1 車輛運(yùn)動(dòng)狀態(tài)

        傳統(tǒng)基于模型驅(qū)動(dòng)的軌跡預(yù)測(cè)方法常以速度、加速度等作為輸入構(gòu)建車輛運(yùn)動(dòng)學(xué)或動(dòng)力學(xué)模型來實(shí)現(xiàn)單一車輛短時(shí)域的軌跡預(yù)測(cè)。Abbas 等[3]使用5 種卡爾曼濾波模型對(duì)車輛的5種運(yùn)動(dòng)狀態(tài)進(jìn)行預(yù)測(cè),但該方法僅限于短時(shí)域預(yù)測(cè),并難以考慮周圍車輛的影響。文獻(xiàn)[4]用車輛的橫縱向位置坐標(biāo)、速度和航向角的軌跡歷史序列預(yù)測(cè)車輛的機(jī)動(dòng)行為,但忽略了車輛間的交互感知。文獻(xiàn)[5]指出受車輛傳感器限制和障礙物遮擋,車輛不能有效地獲取周圍車輛的運(yùn)動(dòng)狀態(tài),使用單一車輛的運(yùn)動(dòng)狀態(tài)信息作為輸入的深度學(xué)習(xí)模型進(jìn)行軌跡預(yù)測(cè)。為了研究車輛間相互作用關(guān)系,學(xué)者們?cè)谲壽E預(yù)測(cè)研究中輸入目標(biāo)車輛與周圍車輛的運(yùn)動(dòng)狀態(tài)信息。在文獻(xiàn)[6-7]中將車輛和鄰近車輛的運(yùn)動(dòng)狀態(tài)歷史作為輸入來預(yù)測(cè)車輛未來的軌跡,研究表明車輛在合理感知范圍內(nèi)能準(zhǔn)確地獲取周圍車輛的運(yùn)動(dòng)狀態(tài)信息。

        1.1.2 地圖表示

        考慮環(huán)境條件和交通因素能夠更好地預(yù)測(cè)車輛的運(yùn)動(dòng)狀態(tài),學(xué)者們將高清(High Definition,HD)地圖信息和車輛軌跡信息融合來精確預(yù)測(cè)車輛運(yùn)動(dòng)狀態(tài)。高清地圖主要有2 種表示方法,包括柵格化地圖和矢量化地圖,如圖1 所示。

        圖1 地圖表示方法[11]

        柵格化地圖將高清地圖簡化為鳥瞰圖(Bird's Eye View, BEV)。該方法將駕駛場景中動(dòng)態(tài)交通參與者和靜態(tài)環(huán)境等因素表示為多邊形和線條集合,并保留交通參與者的形狀、位置和道路信息集合。文獻(xiàn)[8]使用CoverNet 來提取柵格化地圖的語義特征。文獻(xiàn)[9]使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)在柵格化地圖中提取車輛的運(yùn)動(dòng)狀態(tài)特征和交互表示。柵格化的方法可解釋性好,語義信息豐富全面,可融入更多的地圖信息(紅綠燈),但該方法感受野受限,柵格化處理過程中會(huì)丟失信息,連續(xù)的卷積計(jì)算效率較低。

        柵格化表示交互作用局限,為了更好地構(gòu)建車輛間、車輛與地圖間的相互作用關(guān)系,一些學(xué)者將交通參與者和靜態(tài)環(huán)境表征為矢量化圖結(jié)構(gòu)。文獻(xiàn)[10]認(rèn)為矢量化地圖能夠更好地用于軌跡預(yù)測(cè)。文獻(xiàn)[11]將駕駛場景中動(dòng)靜態(tài)對(duì)象及交互關(guān)系表征為節(jié)點(diǎn)和折線進(jìn)行交互。文獻(xiàn)[12]使用矢量化地圖來表征車輛與對(duì)應(yīng)的車道信息。文獻(xiàn)[13]使用矢量化的方法構(gòu)造了復(fù)雜的車輛、拓?fù)浣Y(jié)構(gòu)和車道的相互依賴關(guān)系。矢量化地圖具有較強(qiáng)的交互關(guān)系建模能力,高效的圖數(shù)據(jù)結(jié)構(gòu)有更少的模型參數(shù),但存在一定信息損失。

        1.1.3 其他方法

        在一些研究方法中,將原始數(shù)據(jù)輸入到軌跡預(yù)測(cè)模型中,輸入數(shù)據(jù)包含了所有周圍環(huán)境的可用信息,但輸入數(shù)據(jù)量較大,需要更多的計(jì)算負(fù)載。為了緩解計(jì)算負(fù)載,可使用不同任務(wù)共享計(jì)算資源。文獻(xiàn)[14]以數(shù)據(jù)驅(qū)動(dòng)的方法實(shí)現(xiàn)自動(dòng)駕駛系統(tǒng)中目標(biāo)檢測(cè)、跟蹤和預(yù)測(cè)。文獻(xiàn)[15]利用激光雷達(dá)數(shù)據(jù)作為輸入,使用同樣的方法來完成任務(wù)功能。該模型使用了簡化的BEV 處理,同時(shí)將3D 點(diǎn)云數(shù)據(jù)輸入到深度模型中。

        1.2 輸出類型

        預(yù)測(cè)模型的軌跡生成方法主要分為機(jī)動(dòng)意圖、單模態(tài)以及多模態(tài)3個(gè)類型,如表2所示。

        表2 軌跡預(yù)測(cè)算法的輸出類型

        1.2.1 機(jī)動(dòng)意圖

        機(jī)動(dòng)意圖可以是預(yù)測(cè)模型的最終輸出,也可以是預(yù)測(cè)模型的一個(gè)輸出分支(通過預(yù)測(cè)車輛機(jī)動(dòng)意圖來協(xié)助軌跡預(yù)測(cè))。劉志強(qiáng)等[16]使用基于隱馬爾可夫和支持向量機(jī)的方法來識(shí)別駕駛意圖。Ding等[17]使用意圖預(yù)測(cè)模型預(yù)測(cè)高速場景下車輛的變道和保持車道行為。季學(xué)武等[18]利用長短期記憶網(wǎng)絡(luò)(Long Short Term Memory,LSTM)識(shí)別駕駛意圖后進(jìn)行車輛軌跡預(yù)測(cè),如圖2所示。但基于機(jī)動(dòng)意圖的方法存在意圖識(shí)別誤差,會(huì)導(dǎo)致預(yù)測(cè)結(jié)果偏差過大,甚至造成車輛駕駛安全事故。

        圖2 機(jī)動(dòng)意圖及軌跡預(yù)測(cè)的網(wǎng)絡(luò)結(jié)構(gòu)[18]

        1.2.2 單模態(tài)

        預(yù)測(cè)模型輸出單個(gè)或多個(gè)交通參與者的未來軌跡。文獻(xiàn)[19-20]采用隨每個(gè)時(shí)間步產(chǎn)生對(duì)應(yīng)位置的軌跡生成方法。文獻(xiàn)[21]使用深度學(xué)習(xí)的方法學(xué)習(xí)3次多項(xiàng)式的3個(gè)參數(shù)表示未來的軌跡。文獻(xiàn)[22]解碼模塊生成每個(gè)時(shí)間步對(duì)應(yīng)位置的二元高斯分布的均值、標(biāo)準(zhǔn)差和相關(guān)系數(shù),并討論了單模態(tài)的軌跡生成方法收斂趨于所有模態(tài)的平均值,該方法表示復(fù)雜的車輛運(yùn)動(dòng)狀態(tài)比較局限。

        1.2.3 多模態(tài)

        多模態(tài)預(yù)測(cè)方法是指在預(yù)測(cè)車輛未來運(yùn)動(dòng)軌跡時(shí),考慮到車輛可能存在不同的運(yùn)動(dòng)模式,并預(yù)測(cè)每種模式下的軌跡。為了更好地獲取預(yù)測(cè)軌跡,Guptade 等[23]提出一種生成對(duì)抗網(wǎng)絡(luò),通過學(xué)習(xí)鑒別器來區(qū)分預(yù)測(cè)軌跡是否正確,即設(shè)計(jì)一種對(duì)抗損失函數(shù)來判定預(yù)測(cè)的好壞,如圖3 所示。Kingma等[24]提出了條件變分自動(dòng)編碼器,采用神經(jīng)網(wǎng)絡(luò)參數(shù)化對(duì)變分推理中的分布,提高了模型的生成能力。基于生成對(duì)抗網(wǎng)絡(luò)和條件變分自編器的方法采用隱式分布建模而難以訓(xùn)練,基于歸一化流模型能夠顯示學(xué)習(xí)參數(shù)分布,該方法可以通過可逆變換將復(fù)雜的分布變換為易處理的形式。Bhattacharyya等[25]通過基于Haar小波軌跡塊自回歸該模型進(jìn)行拆分耦合學(xué)習(xí)預(yù)測(cè)分布。Zhao等[26]使用基于預(yù)測(cè)終點(diǎn)條件的錨點(diǎn)方法,該方法通過采樣車道中心線的位置來預(yù)測(cè)車輛的終點(diǎn)位置,但應(yīng)考慮障礙物導(dǎo)致無法到達(dá)終點(diǎn)的情況,如圖4所示。Chai等[9]使用原軌跡條件的錨點(diǎn)方法,該方法對(duì)軌跡集中進(jìn)行聚類分析來獲得多模態(tài)未來分布,但應(yīng)對(duì)復(fù)雜的場景時(shí)該方法比較局限。Li等[27]使用基于網(wǎng)格的方法,搜索具有topK個(gè)累積對(duì)數(shù)概率的軌跡?;诰W(wǎng)格的方法可以高度兼容具有高級(jí)訓(xùn)練策略的場景,并且適應(yīng)于長時(shí)域預(yù)測(cè),其缺點(diǎn)是需要大量卷積計(jì)算和對(duì)地圖分辨率要求較高。Deo等[6]使用雙變量高斯表示輸出,在每個(gè)時(shí)間步的位置生成雙變量高斯分布,通過負(fù)對(duì)數(shù)似然損失函數(shù)來獲取最高可能性的預(yù)測(cè)分布。

        圖3 生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)[23]

        圖4 運(yùn)用錨點(diǎn)的多模態(tài)方法[26]

        1.3 預(yù)測(cè)方法

        將現(xiàn)有研究所使用的預(yù)測(cè)模型分為遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)、卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)、遞歸和卷積神經(jīng)混合網(wǎng)絡(luò)(RNN&CNN)、圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Network,GNN)和注意力機(jī)制(Attention),如表3 所示。

        表3 車輛軌跡預(yù)測(cè)算法

        1.3.1 遞歸神經(jīng)網(wǎng)絡(luò)

        RNN 在應(yīng)對(duì)時(shí)序問題時(shí)展現(xiàn)出強(qiáng)大的信息處理能力和深度表征能力,因此越來越多的學(xué)者使用遞歸神經(jīng)網(wǎng)絡(luò)來處理時(shí)間序列問題[18]。RNN 存儲(chǔ)了當(dāng)前時(shí)間步的歷史信息,其輸出由隱狀態(tài)和輸入共同決定。其模型的參數(shù)量不會(huì)隨時(shí)間步的增加而增加,但時(shí)間步過長,其梯度存在“梯度消失”和“梯度爆炸”的問題。在軌跡預(yù)測(cè)中常采用LSTM和門控循環(huán)單元(Gated Recurrent Unit,GRU)解決這一問題。同時(shí),GRU 相比LSTM 結(jié)構(gòu)較簡化,計(jì)算速度更快,適用于數(shù)據(jù)量較小的任務(wù)[28]。根據(jù)現(xiàn)有RNN 的軌跡預(yù)測(cè)研究,可分為單RNN 和多RNN 模型。

        單RNN 模型常適用于基于機(jī)動(dòng)和單模態(tài)的軌跡預(yù)測(cè)模型或者其他輔助模型,來實(shí)現(xiàn)更復(fù)雜的任務(wù),例如車輛交互感知。文獻(xiàn)[4]將LSTM作為序列分類器來預(yù)測(cè)車輛的機(jī)動(dòng)類型。Altché等[19]將車輛歷史運(yùn)動(dòng)狀態(tài)序列輸入單層LSTM 來預(yù)測(cè)高速場景車輛的軌跡。為了預(yù)測(cè)基于機(jī)動(dòng)的軌跡,Ding 等[20]采用LSTM編碼器對(duì)車輛運(yùn)動(dòng)狀態(tài)信息編碼來預(yù)測(cè)車輛的機(jī)動(dòng),并且結(jié)合地圖信息預(yù)測(cè)軌跡。

        多RNN 結(jié)構(gòu)常適用于解決預(yù)測(cè)問題。Xin 等[5]使用2組LSTM搭建模型,一個(gè)LSTM預(yù)測(cè)車輛未來的目標(biāo)車道,同時(shí),結(jié)合目標(biāo)車輛的運(yùn)動(dòng)狀態(tài)和預(yù)測(cè)的目標(biāo)車輛結(jié)果預(yù)測(cè)車輛未來的軌跡。Dai等[7]也采用2組LSTM 實(shí)現(xiàn)車輛的軌跡預(yù)測(cè),一組用于目標(biāo)車輛與所有周圍車輛的單個(gè)軌跡序列編碼,另一組用于目標(biāo)車輛與周圍車輛的相互作用關(guān)系的交互建模。Ding等[17]利用GRU 編碼器來構(gòu)建目標(biāo)車輛與周圍車輛之間的相互作用關(guān)系,并預(yù)測(cè)車輛在長時(shí)域內(nèi)的意圖,如圖5所示。

        1.3.2 卷積神經(jīng)網(wǎng)絡(luò)

        隨著CNN在計(jì)算機(jī)視覺等領(lǐng)域快速發(fā)展,學(xué)者們也將CNN 用于解決軌跡預(yù)測(cè)問題。卷積神經(jīng)網(wǎng)絡(luò)組成包括卷積層、激活函數(shù)、池化層及全連接層。Nikhil等[29]認(rèn)為車輛軌跡序列具有強(qiáng)時(shí)間空間連續(xù)性,使用CNN 優(yōu)于RNN 預(yù)測(cè)軌跡,其使用卷積層和全連接層實(shí)現(xiàn)了車輛未來軌跡的預(yù)測(cè)。Song等[30]使用一維時(shí)間卷積將車輛運(yùn)動(dòng)狀態(tài)序列嵌入到高維向量進(jìn)行數(shù)據(jù)提取。然而,現(xiàn)有軌跡預(yù)測(cè)研究方法中,CNN 常被用于提取鳥瞰圖的特征。Phan-Minh等[31]根據(jù)車輛運(yùn)動(dòng)狀態(tài)(速度、加速度和橫擺角速度)生成軌跡集,并結(jié)合CNN處理的柵格圖像,將發(fā)生概率最高的軌跡作為車輛未來的軌跡,如圖6所示。Luo等[14]使用三維卷積在時(shí)間維上對(duì)體素化激光雷達(dá)數(shù)據(jù)的4D表示提取時(shí)間特征,然后使用二維卷積提取空間特征。最后通過2 個(gè)分支,分別輸出當(dāng)前和未來幀的被檢測(cè)對(duì)象的標(biāo)記框。

        圖6 運(yùn)用CNN的網(wǎng)絡(luò)結(jié)構(gòu)[31]

        1.3.3 卷積和循環(huán)神經(jīng)網(wǎng)絡(luò)

        卷積和循環(huán)神經(jīng)網(wǎng)絡(luò)混合的方法使用RNN 在時(shí)間序列信息中提取時(shí)間特征,并且使用CNN提取空間特征。因此,學(xué)者們使用CNN 和RNN 混合的方法挖掘車輛運(yùn)動(dòng)狀態(tài)的時(shí)間和空間的特征。Alahi等[32]將LSTM和全連接池化層結(jié)合,將空間范圍內(nèi)LSTM的特征池化到以目標(biāo)車輛為中心的網(wǎng)格。Deo等[33]認(rèn)為卷積池化層相比全連接池化層能更好地提取空間特征,其在合理感知范圍內(nèi)給每輛車一個(gè)LSTM編碼器提取車輛的時(shí)序特征,然后饋送到卷積池化層中提取局部空間交互特征,進(jìn)而輸入到基于機(jī)動(dòng)的LSTM 解碼器來輸出車輛未來的軌跡分布。Schreiber等[34]使用CNN提取簡化鳥瞰圖中車輛在不同時(shí)間步的周圍環(huán)境特征,然后輸入到基于編碼-解碼框架的LSTM提取輸入數(shù)據(jù)的時(shí)間特征,進(jìn)而將解碼器輸出饋入到反CNN來生成輸出圖像,這些圖像表示車輛的周圍環(huán)境在未來的演變。Lee 等[35]使用基于編碼-解碼的GRU 生成軌跡分布,并輸入到解碼器GRU中進(jìn)行細(xì)化和排序。同時(shí),后一個(gè)模塊還接收使用CNN 提取的場景特征。Zhu 等[36]使用基于CNN、GRU 和LSTM 混合網(wǎng)絡(luò),該方法由3部分組成:基于池化和GRU混合網(wǎng)絡(luò)提取全局時(shí)空交互特征、基于CNN網(wǎng)絡(luò)提取環(huán)境特征以及基于編碼-解碼的LSTM預(yù)測(cè)網(wǎng)絡(luò)。

        1.3.4 注意力機(jī)制

        注意力機(jī)制能在復(fù)雜的數(shù)據(jù)中快速高效地關(guān)注到高價(jià)值信息。隨著注意力機(jī)制在視覺、自然語言處理等領(lǐng)域快速發(fā)展及應(yīng)用,學(xué)者們將注意力機(jī)制用來解決軌跡預(yù)測(cè)問題。在視覺處理中,現(xiàn)有的注意力機(jī)制主要分為通道域注意力、空間域注意力及混合域注意力。在自然語言處理中,注意力機(jī)制主要包含自注意力和多頭注意力。文獻(xiàn)[37]使用基于多頭注意力機(jī)制賦予車道和車輛注意力權(quán)重,并輸出未來軌跡的分布。Messaoud 等[38]賦予場景中每輛車一個(gè)LSTM編碼器,并利用多頭注意力池來挖掘車輛之間的相互作用關(guān)系。Lin 等[39]將注意力和LSTM 編碼器結(jié)合來提取車輛運(yùn)動(dòng)狀態(tài)的時(shí)間序列特征,并賦予每個(gè)時(shí)間步注意力權(quán)重。同時(shí),利用注意力機(jī)制挖掘空間特征,并賦予周圍車輛空間交互注意力權(quán)重,提高了模型的可解釋性。Vaswani 等[40]提出了Transformer 模型,該模型使用了單頭注意力機(jī)制和多頭注意力機(jī)制搭建來完成序列機(jī)器翻譯任務(wù)。該方法可以并行計(jì)算序列數(shù)據(jù),RNN 會(huì)受序列計(jì)算的約束。Zhao 等[41]使用基于通道-空間注意力機(jī)制的方法,利用通道注意力機(jī)制在輸入數(shù)據(jù)的通道維度上表征車輛間的全局交互,并利用Transformer 提取空間特征并輸出車輛未來的軌跡預(yù)測(cè),分析了通道和空間注意力串并行結(jié)構(gòu)和模型在不同交互場景密度預(yù)測(cè)的性能,如圖7所示?,F(xiàn)有研究中使用Transformer 將交通參與者與環(huán)境之間進(jìn)行交互性建模。Liu 等[42]使用Transformer 將環(huán)境信息融合到軌跡序列來預(yù)測(cè)未來軌跡。由此可見,基于Transformer模型在處理時(shí)間序列數(shù)據(jù)方面具有優(yōu)勢(shì)。

        圖7 通道注意力和Transformer結(jié)合的網(wǎng)絡(luò)結(jié)構(gòu)[41]

        1.3.5 圖神經(jīng)網(wǎng)絡(luò)

        圖神經(jīng)網(wǎng)絡(luò)在軌跡預(yù)測(cè)研究中將駕駛場景中的交通參與者表示為一個(gè)節(jié)點(diǎn),將交通參與者間的關(guān)系表示為一條邊,所有的點(diǎn)和邊集合形成一個(gè)圖。圖神經(jīng)網(wǎng)絡(luò)與現(xiàn)有研究中RNN 和CNN 的方法相比,能夠提取非歐幾里得空間數(shù)據(jù)特征。在復(fù)雜的駕駛場景中,每個(gè)場景都可以視作一個(gè)不規(guī)則的圖,每個(gè)圖的節(jié)點(diǎn)由交通參與者的運(yùn)動(dòng)狀態(tài)特征表示或者靜態(tài)環(huán)境信息表示。每個(gè)圖的節(jié)點(diǎn)間存在相互關(guān)聯(lián)的邊,能夠用來表示場景中交通參與者的相互依賴關(guān)系。因此,圖神經(jīng)網(wǎng)絡(luò)適用于解決基于交互的車輛軌跡預(yù)測(cè)問題。

        圖卷積網(wǎng)絡(luò)(Graph Convolutional Network, GCN)將傳統(tǒng)的CNN擴(kuò)展到圖數(shù)據(jù)卷積處理,能夠?qū)D中的節(jié)點(diǎn)特征構(gòu)成的鄰域結(jié)構(gòu)映射獲取數(shù)據(jù)特征信息。Li等[43]提出了一種基于GCN和LSTM混合網(wǎng)絡(luò)的軌跡預(yù)測(cè)模型,用幾個(gè)圖卷積塊編碼輸入軌跡數(shù)據(jù)和基于編碼-解碼的LSTM 模型輸出車輛未來的軌跡預(yù)測(cè)。在駕駛場景中考慮車輛間的距離來定義交互關(guān)系,該方法相比CNN 和RNN 的軌跡預(yù)測(cè)有較大的改進(jìn),但缺乏泛化性。使用固定圖和動(dòng)態(tài)圖優(yōu)化了原有方法預(yù)測(cè)不同類型的交通參與者的軌跡[44]。同時(shí),由于GCN模型存在一個(gè)典型問題—過平滑,可使用跳過連接(類似殘差連接)來緩解這個(gè)問題,最后將LSTM 替換成GRU來預(yù)測(cè)車輛未來的軌跡。

        為了考慮交通參與者的機(jī)動(dòng),一些學(xué)者采用基于譜聚類的圖卷積網(wǎng)絡(luò)。Chandra 等[45]提出一種基于譜聚類GCN的車輛軌跡預(yù)測(cè)方法,該方法可以提取交通參與者的低級(jí)信息(未來軌跡)和高級(jí)信息(交通參與者行為機(jī)動(dòng)),其使用2 層基于GCN 和LSTM 混合網(wǎng)絡(luò),分別用來預(yù)測(cè)交通參與者的空間坐標(biāo)和建模交通參與者的空間交互來預(yù)測(cè)其超速等行為,但其使用單一行為特征進(jìn)行預(yù)測(cè)導(dǎo)致模型的泛化性差和計(jì)算量過大。Zhao等[46]使用基于頻譜GCN預(yù)測(cè)軌跡,該方法考慮了周圍車輛的交互能夠共享場景內(nèi)所有車輛的狀態(tài)信息,符合車輛間社會(huì)交互。

        使用GNN 表示矢量化地圖。Ziegler 等[10]率先將矢量化地圖應(yīng)用于軌跡預(yù)測(cè),將車輛及車道進(jìn)行地圖拓?fù)鋪硖崛〕鑫磥硌剀嚨赖能壽E,但其忽略了車輛間交互。Gao 等[11]使用層次圖神經(jīng)網(wǎng)絡(luò)VectorNet,該方法首先利用向量表示交通參與者以及靜態(tài)環(huán)境的空間局域性,同時(shí)建模所有對(duì)象的高階相互作用。Liang等[12]使用基于CNN和GCN混合網(wǎng)絡(luò),該方法使用CNN提取車輛特征并用GCN 提取矢量地圖中車道特征來預(yù)測(cè)軌跡,如圖8所示。

        圖8 運(yùn)用GCN的網(wǎng)絡(luò)結(jié)構(gòu)[12]

        一些研究也使用其他圖神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)軌跡預(yù)測(cè)。圖注意力網(wǎng)絡(luò)(Graph Attention Network,GAT)通過注意力機(jī)制對(duì)鄰接節(jié)點(diǎn)進(jìn)行聚合來對(duì)不同鄰接節(jié)點(diǎn)的自適應(yīng)校核,該方法能夠提高圖神經(jīng)網(wǎng)絡(luò)特征提取能力[47]。Huang等[48]使用圖注意力網(wǎng)絡(luò)預(yù)測(cè)軌跡,該方法利用LSTM編碼器編碼交通參與者的運(yùn)動(dòng)狀態(tài)信息,然后將編碼信息輸入到GAT塊計(jì)算每個(gè)交通參與者的注意力權(quán)重。最后,該模型使用LSTM 解碼器來生成預(yù)測(cè)軌跡。圖神經(jīng)網(wǎng)絡(luò)根據(jù)邊的方向性可以劃分為有向圖和無向圖。Zhang等[49]使用社會(huì)圖網(wǎng)絡(luò)軌跡預(yù)測(cè)。該方法根據(jù)實(shí)時(shí)位置和速度方向動(dòng)態(tài)構(gòu)建有向圖來有效地獲取交通參與者的運(yùn)動(dòng)狀態(tài)。使用基于社會(huì)圖和LSTM 構(gòu)成的網(wǎng)絡(luò)表示社會(huì)交互,利用時(shí)間隨機(jī)方法序列學(xué)習(xí)社會(huì)交互不確定性形成先驗(yàn)?zāi)P?,?duì)先驗(yàn)?zāi)P瓦M(jìn)行采樣,使用LSTM解碼器來預(yù)測(cè)軌跡。Salzmann等[50]提出圖結(jié)構(gòu)遞歸網(wǎng)絡(luò)來生成動(dòng)態(tài)可行的未來軌跡,該方法使用有向時(shí)空?qǐng)D表示駕駛場景,并緊密地集成到車輛規(guī)劃控制系統(tǒng)。

        2 結(jié)束語

        為使智能車輛在復(fù)雜的交通場景下安全高效地行駛,智能車輛需要能夠自主準(zhǔn)確地理解交通參與者的相互作用關(guān)系和預(yù)測(cè)其運(yùn)動(dòng)狀態(tài)。傳統(tǒng)的預(yù)測(cè)方法已經(jīng)無法滿足自動(dòng)駕駛系統(tǒng)對(duì)場景的復(fù)雜性和車輛行為多樣性的需求。本文綜述近幾年智能車輛的軌跡預(yù)測(cè)研究方法,通過輸入表示、輸出類型和預(yù)測(cè)方法進(jìn)行分析,對(duì)本文的總結(jié)及展望如下。

        (1)目前大部分預(yù)測(cè)模型將交通參與者的運(yùn)動(dòng)狀態(tài)和靜態(tài)環(huán)境嵌入,然后使用深度學(xué)習(xí)等方法對(duì)車輛間、車輛與道路間的交互建模,進(jìn)而利用多模態(tài)軌跡生成方法產(chǎn)生車輛未來的軌跡。相比傳統(tǒng)預(yù)測(cè)方法,深度學(xué)習(xí)方法能更好地建模時(shí)空特征聯(lián)合交互以及解決長時(shí)域預(yù)測(cè)的問題。

        (2)車輛軌跡預(yù)測(cè)的嵌入方式主要采用柵格化和矢量化。柵格化方法可解釋性好,語義信息豐富全面,但感受野受限,存在信息丟失以及連續(xù)的卷積計(jì)算效率較低。矢量化方法具有較強(qiáng)的交互關(guān)系建模能力,高效的圖數(shù)據(jù)結(jié)構(gòu)有更少的模型參數(shù),但存在一定信息損失。針對(duì)輸入表示的問題也需要提出更好的方法。

        (3)車輛預(yù)測(cè)軌跡生成方法可以分為3種類型:機(jī)動(dòng)意圖、單模態(tài)和多模態(tài)。機(jī)動(dòng)意圖產(chǎn)生車輛行為意圖來協(xié)助預(yù)測(cè),但存在意圖識(shí)別誤差,會(huì)導(dǎo)致軌跡預(yù)測(cè)偏差過大。單模態(tài)輸出單個(gè)或多個(gè)交通參與者的未來軌跡,但表示復(fù)雜的車輛運(yùn)動(dòng)狀態(tài)局限較大以及輸出單一可能軌跡會(huì)忽略未來的真實(shí)軌跡。多模態(tài)將輸出軌跡表示在合理的軌跡集中,能更好地生成未來可能的軌跡。多模態(tài)也是軌跡預(yù)測(cè)領(lǐng)域未來主要研究方向。

        (4)目前大多數(shù)預(yù)測(cè)方法只考慮車輛的運(yùn)動(dòng)狀態(tài)和環(huán)境結(jié)構(gòu),交通規(guī)則可以重塑車輛在駕駛場景中的軌跡,但是很少被作為輸入。車輛其他視覺和聽覺數(shù)據(jù)也可以用來預(yù)測(cè)車輛的軌跡。大部分預(yù)測(cè)方案僅限于特定的行車場景(十字路口),其方案存在局限性。

        猜你喜歡
        注意力軌跡卷積
        讓注意力“飛”回來
        基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
        軌跡
        軌跡
        從濾波器理解卷積
        電子制作(2019年11期)2019-07-04 00:34:38
        軌跡
        基于傅里葉域卷積表示的目標(biāo)跟蹤算法
        “揚(yáng)眼”APP:讓注意力“變現(xiàn)”
        進(jìn)化的軌跡(一)——進(jìn)化,無盡的適應(yīng)
        中國三峽(2017年2期)2017-06-09 08:15:29
        A Beautiful Way Of Looking At Things
        亚洲精品国产品国语在线app| av色综合久久天堂av色综合在| 4399理论片午午伦夜理片| 久久网视频中文字幕综合| 抖射在线免费观看视频网站| 国产实拍日韩精品av在线| 国产aⅴ无码专区亚洲av麻豆| 无码中文字幕在线DVD| 亚洲国产精品第一区二区三区| 青草久久婷婷亚洲精品| 亚洲国产精品va在线看黑人 | 美女一区二区三区在线视频| 国产精品女同久久久久久| 午夜影院免费观看小视频| 国产欧美日韩精品丝袜高跟鞋 | 激情综合欧美| 亚洲一区二区精品在线看| 婷婷色国产精品视频二区| 幻女bbwxxxx在线视频| 国产精品亚洲午夜不卡| 在线观看二区视频网站二区| 中文字幕在线亚洲精品| 免费av片在线观看网站| 国产精品麻豆成人av| 黄色av亚洲在线观看| 国产又爽又粗又猛的视频| 免费精品美女久久久久久久久久| 在线亚洲精品中文字幕美乳色| 久久天天躁夜夜躁狠狠| 国产欧美日韩视频一区二区三区| 亚洲中文字幕人妻诱惑| 日本高清不卡二区三区| 午夜三级a三级三点在线观看| 小12萝8禁在线喷水观看| 久久成人黄色免费网站| 国内精品少妇高潮视频| 四虎影视在线影院在线观看| 国产成人啪精品视频免费网| 久久一区二区国产精品| 亚洲国产婷婷香蕉久久久久久| 秋霞午夜无码鲁丝片午夜精品 |