連 靜，李碩賢，劉一荻，楊東方，李琳輝

（1.大連理工大學(xué)，工業(yè)裝備結(jié)構(gòu)分析國(guó)家重點(diǎn)實(shí)驗(yàn)室，大連 116024；2.大連理工大學(xué)汽車工程學(xué)院，大連 116024；3.重慶長(zhǎng)安汽車股份有限公司，重慶 400023）

前言

為了使自動(dòng)駕駛車輛能在各種交通場(chǎng)景中作出正確決策，提前預(yù)測(cè)周圍車輛的意圖或運(yùn)動(dòng)軌跡是必要的。車道線作為車輛行駛的參考線，對(duì)于準(zhǔn)確預(yù)測(cè)車輛未來的運(yùn)動(dòng)軌跡具有重要意義。

傳統(tǒng)軌跡預(yù)測(cè)模型由于受到硬件水平的制約，模型容量較小，因此通常需要結(jié)合知識(shí)或規(guī)則系統(tǒng)來推理出車道參考線。例如文獻(xiàn)［1］中，作者提出通過隱馬爾科夫模型與知識(shí)推理得到車輛的動(dòng)作意圖，然后根據(jù)動(dòng)作意圖查詢得到車輛的目標(biāo)路段區(qū)域，并生成車輛到達(dá)該區(qū)域的目標(biāo)軌跡。而在文獻(xiàn)［2］中，作者以通過知識(shí)推理得到的車道參考線來引導(dǎo)長(zhǎng)短時(shí)神經(jīng)網(wǎng)絡(luò)（LSTM）生成未來軌跡，利用深度學(xué)習(xí)在一定程度上降低了文獻(xiàn)［1］中對(duì)于知識(shí)系統(tǒng)的依賴，但其中的知識(shí)系統(tǒng)仍需要隨各種環(huán)境因素的變動(dòng)來反復(fù)更新和維護(hù)。

近些年來隨著圖神經(jīng)網(wǎng)絡(luò)（GNN）、注意力網(wǎng)絡(luò)的發(fā)展，研究者常將車道線以及車道拓?fù)滢D(zhuǎn)換為利于編碼的向量化結(jié)構(gòu)，并通過這類網(wǎng)絡(luò)來將車道線信息引入到車輛運(yùn)動(dòng)特征中［3-5］，與傳統(tǒng)方法不同，這類方法通常將周圍所有車道進(jìn)行編碼，并讓網(wǎng)絡(luò)自適應(yīng)地融合與駕駛目標(biāo)或局部參考線相關(guān)聯(lián)的車道特征，有效地編碼及融合車道特征，并減少信息損失，是這類模型研究的發(fā)展趨勢(shì)。例如VectorNet［6］提出將車道段視為向量，采用池化來聚合向量中各個(gè)分段的幾何與位置信息，并用圖網(wǎng)絡(luò)來融合車道段特征，HiVT［5］、LaneGCN［7］、LaneRCNN［8］將各個(gè)車道分段視為獨(dú)立的圖節(jié)點(diǎn)，相比VectorNet 提高了車道節(jié)點(diǎn)特征的空間精度，并發(fā)揮注意力網(wǎng)絡(luò)所具有的靈活感受野的優(yōu)勢(shì)，由此更細(xì)致地感知周圍車道信息。MMPT［9］則將車道分段與車道同時(shí)用一個(gè)多尺度模型編碼，由此學(xué)習(xí)不同層次的車道特征。LaneGCN 沿地圖拓?fù)浣Y(jié)構(gòu)建立了車道圖網(wǎng)絡(luò)，使場(chǎng)景信息能夠沿車道各個(gè)可能的行駛方向傳播，而LaneRCNN 在此基礎(chǔ)上拓展了候選車道范圍的定義（LaneRoI），由此增強(qiáng)對(duì)車道與車輛運(yùn)動(dòng)的關(guān)聯(lián)性的建模。這類在車道拓?fù)浣Y(jié)構(gòu)上應(yīng)用圖網(wǎng)絡(luò)的模型雖然有效地融合了車道信息，但在車道拓?fù)浣Y(jié)構(gòu)復(fù)雜的場(chǎng)景下，會(huì)消耗較多計(jì)算資源。

一些研究在利用上述方法實(shí)現(xiàn)車道信息融合的基礎(chǔ)上，引入額外的監(jiān)督信號(hào)，提高與車輛運(yùn)動(dòng)相關(guān)聯(lián)車道特征的影響。例如PGP［10］基于對(duì)道路拓?fù)浣Y(jié)構(gòu)的編碼結(jié)果，預(yù)測(cè)未來車輛經(jīng)過某個(gè)道路點(diǎn)時(shí)的移動(dòng)方向，根據(jù)概率沿道路方向采樣并聚合道路特征。另外一些研究對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行預(yù)測(cè)，例如DSP［11］、DenseTNT［12］中預(yù)測(cè)道路中的稠密目標(biāo)點(diǎn)，并融合與目標(biāo)點(diǎn)相關(guān)聯(lián)的車道特征，由此提高車道信息融合的有效性，但DenseTNT 與DSP因?yàn)閮H預(yù)測(cè)最終目標(biāo)點(diǎn)，對(duì)連續(xù)時(shí)間關(guān)聯(lián)下的車道信息建模不足，且對(duì)于稠密道路目標(biāo)點(diǎn)的編解碼，消耗運(yùn)算資源較多。PGP 則考慮到對(duì)連續(xù)時(shí)間內(nèi)的車道信息監(jiān)督，使車道采樣在時(shí)間上前后關(guān)聯(lián)，但在特征聚合的過程中弱化了這種時(shí)間前后關(guān)聯(lián)的影響，且其采樣過程增加了不確定性，使訓(xùn)練效果受限。

以高效融合車道信息提升多樣化交通場(chǎng)景下車輛軌跡預(yù)測(cè)的精度和質(zhì)量為目標(biāo)，本文所作出的主要?jiǎng)?chuàng)新點(diǎn)在于：

（1）提出一種基于注意力的車道目標(biāo)點(diǎn)預(yù)測(cè)分支，由此監(jiān)督編碼器高效地融合與智能體局部運(yùn)動(dòng)目標(biāo)相關(guān)聯(lián)的車道特征。

（2）構(gòu)建車道時(shí)空特征?；趫D網(wǎng)絡(luò)來感知車道與智能體間的空間聯(lián)系，并采用Transformer 來感知智能體連續(xù)運(yùn)動(dòng)對(duì)應(yīng)的車道目標(biāo)點(diǎn)的時(shí)序關(guān)聯(lián)信息。

（3）基于隨機(jī)深度與層縮放改進(jìn)Transformer 的殘差結(jié)構(gòu)，提高Transformer對(duì)測(cè)試數(shù)據(jù)的泛化能力。

本文所提出的模型結(jié)構(gòu)如圖1 所示，通過時(shí)序編碼器A 編碼得到淺層智能體特征。然后在各個(gè)歷史時(shí)間步下，通過車道特征融合模塊與車道目標(biāo)點(diǎn)預(yù)測(cè)模塊，融合與車輛連續(xù)運(yùn)動(dòng)目標(biāo)直接關(guān)聯(lián)的車道特征，并將車道特征融合模塊更新的智能體特征送入時(shí)序編碼器B，感知車道目標(biāo)在時(shí)間尺度下的前后關(guān)聯(lián)信息，更新得到深層智能體特征，之后通過交互融合模塊，提取智能體間的交互特征，同時(shí)使局部車道目標(biāo)信息在全局場(chǎng)景中產(chǎn)生進(jìn)一步關(guān)聯(lián)。最后由軌跡預(yù)測(cè)模塊解碼得到多模態(tài)運(yùn)動(dòng)軌跡。

1 軌跡預(yù)測(cè)問題定義

對(duì)于一個(gè)場(chǎng)景，記[t=-h：0]為場(chǎng)景的歷史時(shí)刻，[t=0：f]記為場(chǎng)景的未來時(shí)刻，相鄰時(shí)刻間的時(shí)間間隔恒定。軌跡預(yù)測(cè)問題的定義是：已知場(chǎng)景中每一個(gè)智能體Ai在[t=-h：0]內(nèi)的位置點(diǎn)Hi，t，需要預(yù)測(cè)Ai在[t=0：f]內(nèi)的位置點(diǎn)Fi，t，同時(shí)考慮K種可能運(yùn)動(dòng)模式，則運(yùn)動(dòng)模式k∈[0，K]下的運(yùn)動(dòng)位置點(diǎn)為Fk，i，t，運(yùn)動(dòng)模式k對(duì)應(yīng)整個(gè)未來時(shí)間段下的軌跡為Fk，i，F(xiàn)k，i的置信度為Pk，i，[t=0：f]內(nèi)的真實(shí)運(yùn)動(dòng)軌跡記為L(zhǎng)i，t。

2 時(shí)序編碼器

近年來Transformer在自然語(yǔ)言處理領(lǐng)域的成功證明了其對(duì)于時(shí)間序列的表征能力，其全局感受野對(duì)于提取不同尺度的時(shí)序特征較為有利。本文采用Transformer 來編碼智能體的運(yùn)動(dòng)特征，首先由智能體的歷史位置序列Hi，t求出步長(zhǎng)為1 的坐標(biāo)增量ΔHi，t，由此表示車輛的瞬時(shí)方向、瞬時(shí)速度信息，為避免軌跡填充引起ΔHi，t中出現(xiàn)異常值，通過軌跡有效時(shí)間戳來將ΔHi，t中的無效位置處理為零。然后通過一組MLP 將H投影到維度為d的特征空間作為初始的智能體序列特征ei，t?？紤]到Transformer 的置換不變性而無法感受到不同元素的相對(duì)位置關(guān)系，本文通過初始化一組帶有梯度的參數(shù)作為時(shí)間嵌入ωt，其長(zhǎng)度為h，維度為d，并通過與ei，t拼接及維度變換得到新的智能體序列特征ei，t。MultiPath++［13］中提出用一組與輸入無關(guān)的可學(xué)習(xí)參數(shù)來建立一種智能體特征樣本庫(kù)，并建立智能體特征與這組參數(shù)之間的映射關(guān)系，從中查詢得到智能體特征，本文在此基礎(chǔ)上進(jìn)行簡(jiǎn)化，將可學(xué)習(xí)參數(shù)ξ拼接在智能體序列特征ei，t的尾部，使序列特征長(zhǎng)度擴(kuò)展至h+1，然后來實(shí)現(xiàn)上述特征映射的過程。本文構(gòu)建如圖2所示的Transformer模塊來實(shí)現(xiàn)時(shí)間序列編碼。

參考原始的Transformer 模型構(gòu)建兩個(gè)殘差模塊，分別計(jì)算自注意力特征與全連接特征，在自注意力特征的計(jì)算中，通過層歸一化與MLP 將智能體序列特征映射為Qt、Kt和Vt特征：

然后由Qt和Kt計(jì)算序列中元素t1相對(duì)于其余任一元素t2的注意力系數(shù)αt1，t2，其中t1、t2∈t，t=-h～0：

根據(jù)有效時(shí)間戳序列構(gòu)造填充掩膜來將式（2）所得到的注意力系數(shù)中的無效位置替換為負(fù)無窮，通過Softmax 使這些位置的注意力系數(shù)趨近于0，由此消除無效數(shù)據(jù)對(duì)序列特征的影響，然后計(jì)算得到新的序列特征：

本文采用多頭注意力來穩(wěn)定訓(xùn)練，即將Qt、Kt、Vt特征均分為g組，使批大?。╞atch size）擴(kuò)大為g倍，每組特征的維度為1，在完成注意力計(jì)算后，通過拼接多頭特征來得到最終的注意力特征。接下來，通過層歸一化與MLP 依次對(duì)注意力特征進(jìn)行變換，得到全連接特征：

最后引入殘差求出新的智能體特征：

為了減少過擬合效應(yīng)，本文在殘差路徑上引入隨機(jī)深度［14］與層縮放［15］，其中的隨機(jī)深度（stochastic depth）是Dropout 在殘差路徑上的擴(kuò)展，即訓(xùn)練過程中的殘差路徑有一定的概率被遺棄，該概率隨著層數(shù)加深而增加，即

式中：pl為第l層的遺棄概率；L為總層數(shù)；pL為最后一層的遺棄概率。通過設(shè)置隨機(jī)深度，可以使淺層網(wǎng)絡(luò)中對(duì)于學(xué)習(xí)有幫助的特征從更短的路徑傳到深層網(wǎng)絡(luò)中。而層縮放（layer scale）是對(duì)每一層的殘差特征在特征維度上進(jìn)行獨(dú)立的縮放，使不同通道特征的差異更豐富，即

式中：e、e′分別為原始?xì)埐钐卣髋c更新的殘差特征；wls為的可學(xué)習(xí)權(quán)重。通道數(shù)為d。

本文通過級(jí)聯(lián)多個(gè)Transformer模塊來構(gòu)建時(shí)序編碼器A 與時(shí)序編碼器B，并以t=0 的智能體序列特 征ei，t|t=0 作為智能體嵌 入bi，由此參與后續(xù)的編碼。

3 場(chǎng)景信息融合模塊

3.1 融合模塊的網(wǎng)絡(luò)結(jié)構(gòu)

對(duì)于鄰域元素信息的融合，圖網(wǎng)絡(luò)的顯著優(yōu)勢(shì)在于在不同的批次下，待融合元素的數(shù)量可以不同，因此使用圖網(wǎng)絡(luò)結(jié)構(gòu)能夠滿足車輛周圍的有向車道段、周圍智能體數(shù)量動(dòng)態(tài)變化的特點(diǎn)。本文構(gòu)建如圖3 所示的圖網(wǎng)絡(luò)來融合車道特征與周圍智能體特征。

圖3 圖網(wǎng)絡(luò)結(jié)構(gòu)

以一種簡(jiǎn)單情況解釋本文所構(gòu)建的圖網(wǎng)絡(luò)：假設(shè)車輛Ai周圍存在3 個(gè)鄰域元素Aj，j∈[j1，j2，j3]，將Ai節(jié)點(diǎn)特證ei經(jīng)過MLP 投射為Qi，將Ai與Aj之間的邊特征eΦi，j與Aj節(jié)點(diǎn)特征ej拼接并經(jīng)過另一個(gè)MLP投射為Kj和Vj特征，通道數(shù)為d，根據(jù)式（1）得到Aj對(duì)Ai的注意力值：

將注意力系數(shù)αj作為權(quán)重，對(duì)Vj加權(quán)求和來將鄰域元素Aj(j∈[j1，j2，j3])的特征融合到Ai中，得到殘差特征eresi，即

本文采用了基于點(diǎn)乘的注意力計(jì)算方式來對(duì)不同長(zhǎng)度的鄰域元素實(shí)現(xiàn)并行編碼，相比于原始的圖注意力網(wǎng)絡(luò)的注意力模塊，無額外的網(wǎng)絡(luò)權(quán)重，計(jì)算效率更高。

接下來添加全連接層來提高模型的表達(dá)能力，并將注意力特征與全連接特征構(gòu)建為殘差形式來提高泛化性能，得到更新后的Ai的特征：

式中：η1、η2表示層歸一化；?表示全連接層的MLP網(wǎng)絡(luò)結(jié)構(gòu)。

3.2 車道特征融合模塊

車道拓?fù)浣Y(jié)構(gòu)能夠?yàn)檐壽E預(yù)測(cè)提供多模態(tài)先驗(yàn)信息。為此，基于3.1 節(jié)中的圖網(wǎng)絡(luò)結(jié)構(gòu)來融合智能體周圍的有向車道段特征。

隨著車輛的行進(jìn)，特定距離內(nèi)的有向車道段會(huì)發(fā)生變化，因此對(duì)各個(gè)歷史時(shí)刻t，按照有向車道段對(duì)應(yīng)線段中點(diǎn)到該時(shí)刻智能體位置點(diǎn)間的距離來篩選出一定范圍的有向車道段Nj，t，根據(jù)有向車道段向量坐標(biāo)經(jīng)MLP 得到節(jié)點(diǎn)特征ej，t，而一系列連續(xù)的有向車道段包含了車道方向、車道分支、彎道曲率半徑等信息。為了進(jìn)一步使網(wǎng)絡(luò)感知到有向車道段的連續(xù)性，并提取其與智能體之間的相對(duì)關(guān)系，根據(jù)有向車道段Nj，t對(duì)應(yīng)的線段中點(diǎn)在智能體Ai局部坐標(biāo)系下的坐標(biāo)經(jīng)MLP 得到智能體與車道段間的邊特征eΦi，j，t，智能體Ai的節(jié)點(diǎn)特征為時(shí)序編碼器A 輸出的特征ei，t。這樣便得到如圖4所示的有向車道段與智能體間的時(shí)空?qǐng)D結(jié)構(gòu)，即

圖4 t時(shí)刻下智能體與周圍車道段間的圖結(jié)構(gòu)

接下來將3.1節(jié)中的圖網(wǎng)絡(luò)結(jié)構(gòu)擴(kuò)展為h組，對(duì)Gi，t進(jìn)行編碼，得到新的智能體特征e′i，t。在此之后，采用圖1 中所述的時(shí)序編碼器B 來進(jìn)一步使有向車道段特征與智能體運(yùn)動(dòng)特征融合，并以t=0 的智能體序列特征ei，t|t=0作為智能體嵌入bi。

3.3 交互融合模塊

智能體間的交互與即將發(fā)生的行為直接關(guān)聯(lián)，因此在車輛之間進(jìn)行特征的融合與傳遞，更有助于網(wǎng)絡(luò)提取場(chǎng)景層面的信息。一方面經(jīng)過時(shí)序編碼器B 的編碼，智能體的自身運(yùn)動(dòng)特性被充分提取，并需要通過全局交互編碼來融入更多高層次的決策信息學(xué)習(xí)；另一方面因?yàn)槿诤狭擞邢蜍嚨蓝翁卣?，可通過全局交互編碼來進(jìn)一步感知出全局的道路拓?fù)浣Y(jié)構(gòu)，并補(bǔ)充對(duì)智能體軌跡預(yù)測(cè)有利的額外特征。

本文選取當(dāng)前時(shí)刻來進(jìn)行全局交互編碼，即在當(dāng)前時(shí)刻下，建立任意兩個(gè)智能體Ai與Aj之間的連接，與3.2 節(jié)所述類似，以某個(gè)智能體自身以及鄰域智能體的嵌入bi與bj分別作為節(jié)點(diǎn)特征ei與ej，根據(jù)鄰域智能體Aj在智能體Ai下的相對(duì)坐標(biāo)經(jīng)MLP 得到各智能體間的邊特征eΠi，j，t，至此得到如圖5 所示的智能體間的交互圖結(jié)構(gòu)：

圖5 智能體與周圍車輛間的圖結(jié)構(gòu)

經(jīng)過3.1 節(jié)中的圖網(wǎng)絡(luò)編碼，實(shí)現(xiàn)全局交互特征的提取，得到更新后的智能體嵌入b′i。

4 多任務(wù)預(yù)測(cè)模塊

4.1 車道目標(biāo)點(diǎn)預(yù)測(cè)模塊

在多數(shù)融合車道信息的車輛軌跡預(yù)測(cè)模型中，車道編碼器參數(shù)由間接的監(jiān)督信號(hào)計(jì)算梯度，并由優(yōu)化器更新，即按照反向傳播的原理，軌跡預(yù)測(cè)回歸與分類產(chǎn)生的梯度依次通過車道編碼器與軌跡解碼器中間的各層反向傳遞至車道編碼器，使編碼器難以直接高效地表征車道結(jié)構(gòu)與未來車輛運(yùn)動(dòng)的關(guān)聯(lián)，且使車道信息的融合過程不再具有可解釋性。本文提出一種能夠通過預(yù)測(cè)目標(biāo)有向車道段，由此使車道編碼器學(xué)習(xí)車輛未來運(yùn)動(dòng)目標(biāo)處的車道信息的監(jiān)督分支方法。車道目標(biāo)點(diǎn)預(yù)測(cè)模塊見圖6。

圖6 車道目標(biāo)點(diǎn)預(yù)測(cè)模塊

由圖6 可見，在車道數(shù)據(jù)預(yù)處理階段，處理得到未來候選目標(biāo)向量掩膜以及車道目標(biāo)向量標(biāo)簽，其中候選目標(biāo)向量掩膜根據(jù)車輛當(dāng)前的行駛方向來進(jìn)行篩選，即沿車輛行駛方向查詢距離該向量一定距離范圍之內(nèi)的有向車道段，作為未來候選目標(biāo)向量，并在未來候選目標(biāo)向量中計(jì)算與各個(gè)時(shí)刻軌跡點(diǎn)最接近的目標(biāo)向量標(biāo)簽，然后為未來候選路段生成一組特征嵌入eΔi，j，并與原始的有向車道段特征ej，t拼接，經(jīng)過MLP 維度變換來更新有向車道段特征。之后根據(jù)3.2 節(jié)中的車道特征融合模塊進(jìn)行編碼，對(duì)th=n(n=-h～0)時(shí)刻下智能體對(duì)周圍車道段的多頭注意力系數(shù)進(jìn)行求和以及Softmax 運(yùn)算，得到未來時(shí)刻tf=f+n(n=-h～0)下的目標(biāo)點(diǎn)，即以連續(xù)歷史時(shí)刻下的車道段注意力系數(shù)αj，th作為未來相同長(zhǎng)度連續(xù)時(shí)刻的目標(biāo)車道點(diǎn)的分類得分μj，tf。然后，基于交叉熵計(jì)算目標(biāo)分類損失lossgoal來監(jiān)督網(wǎng)絡(luò)融合車輛目標(biāo)點(diǎn)附近的車道特征。

車道目標(biāo)點(diǎn)預(yù)測(cè)分支能夠監(jiān)督車道特征融合模塊自適應(yīng)地學(xué)習(xí)與車輛局部運(yùn)動(dòng)目標(biāo)相關(guān)聯(lián)的車道信息，因此后續(xù)時(shí)序編碼器B 能夠進(jìn)一步編碼智能體不同時(shí)刻局部目標(biāo)點(diǎn)之間的時(shí)序特征，同時(shí)交互融合模塊能夠使不同智能體之間與車道目標(biāo)相關(guān)聯(lián)的特征在全局范圍內(nèi)充分傳播，進(jìn)一步實(shí)現(xiàn)車道目標(biāo)的引導(dǎo)作用。

4.2 軌跡預(yù)測(cè)模塊

為了獲得多模態(tài)預(yù)測(cè)軌跡，將3.3 節(jié)中更新的智能體嵌入輸入K組MLP 進(jìn)行解碼，得到K個(gè)模態(tài)的未來軌跡及對(duì)應(yīng)的置信度。由于同時(shí)預(yù)測(cè)多個(gè)模態(tài)，損失函數(shù)需要引導(dǎo)網(wǎng)絡(luò)預(yù)測(cè)得盡可能接近真實(shí)的軌跡，同時(shí)為最接近真實(shí)軌跡的模態(tài)賦予最高的置信度。因此本文采用廣泛應(yīng)用于多模態(tài)軌跡預(yù)測(cè)的軌跡回歸與分類監(jiān)督方式，以平均距離最接近真值的軌跡對(duì)應(yīng)的模態(tài)為最佳模態(tài)，然后對(duì)該條軌跡與真實(shí)軌跡作SmoothL1回歸損失lossreg，使預(yù)測(cè)結(jié)果其盡可能接近真實(shí)軌跡。并對(duì)該模態(tài)作交叉熵分類損失losscls，使該模態(tài)對(duì)應(yīng)的置信度盡可能高。

4.3 訓(xùn)練損失

最終的訓(xùn)練損失為在4.1 和4.2 節(jié)中所述3 種損失的線性組合，即

其中的線性系數(shù)α與β在初期實(shí)驗(yàn)測(cè)試階段分別設(shè)置為0.2與0.8，由此使車道目標(biāo)點(diǎn)預(yù)測(cè)達(dá)到輔助軌跡預(yù)測(cè)的效果。

5 實(shí)驗(yàn)結(jié)果及分析

5.1 實(shí)驗(yàn)設(shè)置

本文應(yīng)用Argoverse 運(yùn)動(dòng)預(yù)測(cè)數(shù)據(jù)集［16］來進(jìn)行訓(xùn)練和測(cè)試，并與主流模型進(jìn)行對(duì)比，該數(shù)據(jù)集覆蓋了多樣化的城市交通場(chǎng)景，并且提供了矢量存儲(chǔ)的高精度地圖，其中訓(xùn)練集與驗(yàn)證集分別包含205 942、39 472 個(gè)樣本。該數(shù)據(jù)集提供2 s 歷史軌跡，并預(yù)測(cè)6 種模態(tài)下的3 s 未來軌跡，時(shí)間間隔為0.1 s。采用Argoverse 運(yùn)動(dòng)預(yù)測(cè)數(shù)據(jù)集定義的性能指標(biāo)，即用最小軌跡終點(diǎn)偏移誤差（minimum final displacement error，minFDE）、最小平均軌跡偏移誤差（minimum average displacement error，minADE）和錯(cuò)失率（miss rate，MR）來評(píng)估模型的性能。

為了進(jìn)一步驗(yàn)證模型的泛化性能，本文在長(zhǎng)安汽車數(shù)據(jù)集下訓(xùn)練及測(cè)試，長(zhǎng)安汽車數(shù)據(jù)集涵蓋國(guó)內(nèi)多個(gè)地區(qū)的城市道路、結(jié)構(gòu)化公路場(chǎng)景中車輛的軌跡數(shù)據(jù)，用于訓(xùn)練及驗(yàn)證的數(shù)據(jù)集分別包含67 117、16 857 個(gè)樣本。軌跡數(shù)據(jù)的時(shí)間間隔為0.1 s，時(shí)長(zhǎng)為12 s，其中前4 s作為觀測(cè)歷史，選擇預(yù)測(cè)3 及8 s 的未來時(shí)長(zhǎng)進(jìn)行軌跡預(yù)測(cè)，采用最小軌跡終點(diǎn)偏移誤差minFDE與錯(cuò)失率MR兩個(gè)指標(biāo)進(jìn)行評(píng)估，與Argoverse 實(shí)驗(yàn)設(shè)置不同的是，選擇預(yù)測(cè)模態(tài)數(shù)為1來滿足實(shí)際下游任務(wù)的需求。

本文中在RTX3090 GPU 上訓(xùn)練所提出的模型，在Argoverse 數(shù)據(jù)集下采用的特征通道數(shù)d=128 或d=256，分別用GSA-S 和GSA-L 表示，在長(zhǎng)安汽車數(shù)據(jù)集下采用d=128。兩個(gè)時(shí)序編碼器中采用的Transformer 數(shù)量均為3，Transformer 與圖網(wǎng)絡(luò)中的注意力頭數(shù)均為8，隨機(jī)深度數(shù)值為0.1。訓(xùn)練的優(yōu)化器為AdamW［17］，除歸一化層、偏置參數(shù)以及正余弦時(shí)間序列嵌入?yún)?shù)外，其余參數(shù)設(shè)置權(quán)重衰減系數(shù)均為1.0E10-3，以減輕訓(xùn)練集過擬合。學(xué)習(xí)率設(shè)置為0.000 1，并采用余弦衰減策略調(diào)整學(xué)習(xí)率。

5.2 驗(yàn)證精度與主流方法的對(duì)比實(shí)驗(yàn)

在Argoverse 驗(yàn)證集下對(duì)所提出的GSA 方法進(jìn)行測(cè)試，定量測(cè)試結(jié)果如表1 所示。GSA-L 在minADE、minFDE、missRate指標(biāo)上均優(yōu)于目前主流模型，與DSP 相比，minADE降低7.3%，minFDE降低6.1%，missRate降 低20.0%，與LaneGCN 相 比，minADE降低9.9%，minFDE降低15.6%，missRate降低27.3%。因此本文所提出的GSA 模型在預(yù)測(cè)精度、預(yù)測(cè)整體質(zhì)量上具有明顯優(yōu)勢(shì)。

表1 Argoverse驗(yàn)證集下預(yù)測(cè)性能指標(biāo)對(duì)比

GSA-L 與GSA-S 相比具有更大的模型容量，從表1可知，GSA-L比GSA-S性能進(jìn)一步提升。

表2 是長(zhǎng)安汽車數(shù)據(jù)集下不同預(yù)測(cè)時(shí)長(zhǎng)的測(cè)試結(jié)果，K=1 為下游任務(wù)通常實(shí)際所用到的模態(tài)數(shù)量。在該條件下，預(yù)測(cè)模型面臨的不確定性因素增加，GSA 模型在3 s 的情況下有81%的場(chǎng)景預(yù)測(cè)結(jié)果未漏失，而在8 s 情況下，有44%的場(chǎng)景預(yù)測(cè)結(jié)果未漏失，對(duì)應(yīng)的minFDE分別為2.12、9.18 m。由長(zhǎng)安汽車數(shù)據(jù)集下的實(shí)驗(yàn)結(jié)果表明，GSA 在路況更為復(fù)雜的國(guó)內(nèi)交通場(chǎng)景下仍保持了良好的有效性。

本文選取Argoverse 驗(yàn)證集中的3個(gè)典型場(chǎng)景對(duì)預(yù)測(cè)結(jié)果進(jìn)行定性分析，如圖7 所示。圖中的行表示不同的交通場(chǎng)景，圖中的列表示不同模型的推理結(jié)果，第一列對(duì)應(yīng)GSA 模型，第二列對(duì)應(yīng)DSP 模型，第三列對(duì)應(yīng)LaneGCN 模型。圖中的道路拓?fù)浼捌溥吔缬苫疑珔^(qū)域表示，待預(yù)測(cè)智能體過去2 s的觀測(cè)軌跡由橙色軌跡表示，未來3 s的預(yù)測(cè)軌跡由紅色軌跡表示，多模態(tài)預(yù)測(cè)結(jié)果由綠色表示。在場(chǎng)景1 中，目標(biāo)車輛位于左轉(zhuǎn)與直行車道上，即將通過路口，此時(shí)GSA 相比于LaneGCN 模型更準(zhǔn)確地預(yù)測(cè)出直行軌跡，而DSP 模型未能給出準(zhǔn)確預(yù)測(cè)。對(duì)于可能出現(xiàn)的左轉(zhuǎn)，GSA給出了更為合理的內(nèi)切軌跡，而另外兩個(gè)模型預(yù)測(cè)的軌跡傾向于外切。在場(chǎng)景二中，目標(biāo)車輛從道路一側(cè)出發(fā)，調(diào)整方向后駛向路口。此時(shí)GSA 相對(duì)準(zhǔn)確地預(yù)測(cè)出直行軌跡，另外兩個(gè)模型未能準(zhǔn)確預(yù)測(cè)直行軌跡，且GSA 預(yù)測(cè)結(jié)果中的各種可能性分布較為分散，多模態(tài)特性更為顯著。在場(chǎng)景3 中，待預(yù)測(cè)目標(biāo)在路口處加速，并由于某種路況原因靠近道路左邊界，此時(shí)GSA 模型捕獲了路況變化，并預(yù)測(cè)出這種情況下的目標(biāo)軌跡，而且對(duì)于可能的左轉(zhuǎn)GSA 預(yù)測(cè)出更為合理的內(nèi)切軌跡。另外兩種模型未捕獲到路況的變化，因此直行模態(tài)僅預(yù)測(cè)出車輛一直加速的軌跡。表明GSA 模型中所采用的分階段時(shí)序編碼器能夠充分提取歷史運(yùn)動(dòng)信息，因此能夠相對(duì)準(zhǔn)確地推理出車輛的低層次運(yùn)動(dòng)特征，例如準(zhǔn)確推理出直線加速時(shí)的最終位置；而連續(xù)車道目標(biāo)點(diǎn)預(yù)測(cè)輔助下的車道特征融合則能夠更為直接地融合與智能體運(yùn)動(dòng)相關(guān)聯(lián)的車道信息，例如能夠預(yù)測(cè)出左轉(zhuǎn)時(shí)多數(shù)駕駛員會(huì)采取的內(nèi)切軌跡，此外，交互融合模塊能夠融合場(chǎng)景中的動(dòng)態(tài)交通信息，例如捕捉到場(chǎng)景3 中的動(dòng)態(tài)路況變化，來適當(dāng)?shù)卣{(diào)整完全沿道路中心行駛的軌跡，使預(yù)測(cè)結(jié)果更合理。

圖7 典型場(chǎng)景下的預(yù)測(cè)結(jié)果對(duì)比

5.3 GSA中主要模塊的消融實(shí)驗(yàn)

本文通過消融實(shí)驗(yàn)來驗(yàn)證GSA 中各主要模塊的作用。消融訓(xùn)練過程中驗(yàn)證指標(biāo)隨輪次的變化如圖8 所示。圖8 中模型1 表示未進(jìn)行消融的GSA-S模型，在模型2中，去除GSA-S 中的車道目標(biāo)點(diǎn)預(yù)測(cè)模塊；在模型3中，將GSA-S 中的交互融合模塊中的圖網(wǎng)絡(luò)替換為采用互注意力的Transformer結(jié)構(gòu)。可以看到，各個(gè)模型在前半部分中的差距不明顯，在后半部分則逐漸顯示出差距，并收斂到不同值，模型2與模型3 最終收斂時(shí)的minADE、minFDE均大于模型1的收斂值，模型2的曲線說明車道目標(biāo)點(diǎn)預(yù)測(cè)模塊對(duì)精度指標(biāo)有小幅度的影響。

模型3 的曲線說明對(duì)于交互融合模塊，圖網(wǎng)絡(luò)相比于Transformer具有更好的性能。一方面本文所構(gòu)建的圖網(wǎng)絡(luò)具有與Transformer類似的全連接層與殘差結(jié)構(gòu)，提高了圖網(wǎng)絡(luò)自身的泛化性能，另一方面，圖網(wǎng)絡(luò)可以對(duì)智能體間的相對(duì)關(guān)系進(jìn)行顯式的表達(dá)與編碼，即將智能體相對(duì)位置坐標(biāo)作為有向邊的屬性進(jìn)行編碼，更適合于具有明顯交互屬性的動(dòng)態(tài)交通場(chǎng)景，并實(shí)現(xiàn)智能體特征的聚合與傳播。消融實(shí)驗(yàn)結(jié)果證明本文所提出的主要模塊均對(duì)驗(yàn)證精度具有正向作用。

為了進(jìn)一步驗(yàn)證車道目標(biāo)點(diǎn)預(yù)測(cè)模塊的作用，在Argoverse 數(shù)據(jù)集下選取兩個(gè)場(chǎng)景，可視化最終時(shí)刻預(yù)測(cè)出的車道目標(biāo)點(diǎn)。如圖9 所示，藍(lán)色的星形表示預(yù)測(cè)出的車道目標(biāo)點(diǎn)，顏色越深表示得分越高，紅色與黃色軌跡分別表示觀測(cè)的未來與歷史軌跡，從這兩個(gè)場(chǎng)景中可以看出，在目標(biāo)車輛轉(zhuǎn)彎情況下，車道目標(biāo)點(diǎn)預(yù)測(cè)模塊能夠準(zhǔn)確預(yù)測(cè)車道目標(biāo)點(diǎn)，因此，可進(jìn)一步通過本文所提出的車道目標(biāo)引導(dǎo)機(jī)制，融合與運(yùn)動(dòng)目標(biāo)直接相關(guān)的車道目標(biāo)信息。

圖9 轉(zhuǎn)彎場(chǎng)景中模型預(yù)測(cè)出的車道目標(biāo)

6 結(jié)論

針對(duì)車輛軌跡預(yù)測(cè)任務(wù)中如何高效提取車道特征的問題，本文提出了一種基于目標(biāo)車道引導(dǎo)的軌跡預(yù)測(cè)方法，該方法基于注意力網(wǎng)絡(luò)構(gòu)建有效且直接的目標(biāo)預(yù)測(cè)分支，從而引導(dǎo)網(wǎng)絡(luò)融合與運(yùn)動(dòng)目標(biāo)直接關(guān)聯(lián)的車道信息，并在連續(xù)時(shí)間范圍內(nèi)編碼車道拓?fù)湫畔⒆兓?，通過Transformer 提取車輛低層運(yùn)動(dòng)信息，以及融合車道特征在時(shí)間尺度下的前后關(guān)聯(lián)信息，其中Transformer的殘差層經(jīng)過改進(jìn)，提高多層編碼時(shí)的性能。在Argoverse 下的實(shí)驗(yàn)結(jié)果表明，本文所提出的方法在各個(gè)指標(biāo)上顯著優(yōu)于目前主流預(yù)測(cè)模型，同時(shí)在長(zhǎng)安汽車數(shù)據(jù)集下的實(shí)驗(yàn)結(jié)果證明本文方法對(duì)于實(shí)際復(fù)雜路況場(chǎng)景具有較好的泛化能力。