楊超

（重慶交通大學(xué) 機(jī)電與車(chē)輛工程學(xué)院，重慶 400074）

主題詞：自動(dòng)駕駛行為預(yù)測(cè)車(chē)輛軌跡預(yù)測(cè)行人軌跡預(yù)測(cè)復(fù)雜交通場(chǎng)景

縮略語(yǔ)

MPC Model Predictive Control

POMDP Partially Observable Markov Decision Processes

LSTM Long-Short Term Memory

RNN Recurrent Neural Network

Seq2Seq Sequence to Sequence

MDN Mixture Density Networks

DNN Deep Neural Networks

CNN Convolutional Neural Networks

GNN Graph Neural Networks

CGNS Conditional Generative Neural System

GRU Gate Recurrent Unit

GCN Graph Convolutional Networks

SGCN Sparse Graph Convolution Network

NMMP Neural Motion Message Passing

OGM Occupancy Grid Map

OPNet Occupancy Prediction Network

MCTS Monte Carlo Tree Search

PMP-NMMP Pedestrian Motion Prediction System Based On NMMP

VP-SLTM Vehicles And Pedestrians Trajectory Prediction Model Based On LSTM

ALAN A Lane Anchors

1 前言

近年，自動(dòng)駕駛技術(shù)飛速發(fā)展，促進(jìn)了感知技術(shù)的研究，目標(biāo)檢測(cè)、識(shí)別追蹤等感知方面的技術(shù)也得到了快速發(fā)展。然而，隨著自動(dòng)駕駛技術(shù)研究邁向L5級(jí)，國(guó)內(nèi)的自動(dòng)駕駛車(chē)輛實(shí)現(xiàn)了固定場(chǎng)景或者相對(duì)復(fù)雜場(chǎng)景下的低速運(yùn)用，如何實(shí)現(xiàn)自動(dòng)駕駛車(chē)輛全場(chǎng)景任意速度運(yùn)行的課題成為當(dāng)前研究的熱點(diǎn)。自動(dòng)駕駛的行為預(yù)測(cè)技術(shù)便是實(shí)現(xiàn)這一愿景的核心挑戰(zhàn)，因?yàn)橹挥凶詣?dòng)駕駛車(chē)輛能像人類(lèi)駕駛一樣對(duì)周?chē)繕?biāo)（車(chē)輛、行人等）的意圖和未來(lái)軌跡做出準(zhǔn)確的判斷，才能合理規(guī)劃自身的運(yùn)動(dòng)軌跡，實(shí)現(xiàn)安全、平穩(wěn)的導(dǎo)航。行為預(yù)測(cè)作為自動(dòng)駕駛領(lǐng)域最具挑戰(zhàn)性的研究方向，主要包含2個(gè)方面：車(chē)輛軌跡預(yù)測(cè)和行人軌跡預(yù)測(cè)。其最明顯的特點(diǎn)就在于預(yù)測(cè)對(duì)象未來(lái)意圖和行為的不確定性，即每個(gè)預(yù)測(cè)對(duì)象的未來(lái)動(dòng)作主要受對(duì)象主觀影響，導(dǎo)致就算是同一場(chǎng)景甚至是同一工作狀態(tài)下不同的對(duì)象也會(huì)做出不同的行為決策，由于這種預(yù)測(cè)對(duì)象多模態(tài)決策的存在，使得本就復(fù)雜的軌跡預(yù)測(cè)問(wèn)題變得更加復(fù)雜。

本文針對(duì)復(fù)雜交通場(chǎng)景下的自動(dòng)駕駛車(chē)輛軌跡預(yù)測(cè)問(wèn)題，綜述近幾年的相關(guān)研究成果，并且以復(fù)雜交通場(chǎng)景下的不同預(yù)測(cè)對(duì)象進(jìn)行分類(lèi)展開(kāi)總結(jié)。文章第2章節(jié)主要對(duì)復(fù)雜交通場(chǎng)景進(jìn)行了簡(jiǎn)要概述。文章的第3章節(jié)分為2個(gè)部分展開(kāi)：

（1）總結(jié)了復(fù)雜交通場(chǎng)景下車(chē)輛在可觀測(cè)和受遮擋情況下的軌跡預(yù)測(cè)的相關(guān)成果。

（2）總結(jié)了復(fù)雜交通場(chǎng)景下行人在可觀測(cè)和受遮擋情況下軌跡預(yù)測(cè)的相關(guān)成果。

最后，第4章節(jié)進(jìn)行總結(jié)并且基于當(dāng)下領(lǐng)域的研究現(xiàn)狀提出展望。

2 復(fù)雜交通場(chǎng)景概述

復(fù)雜交通場(chǎng)景的類(lèi)型主要可以歸為2大類(lèi)：

（1）交通道路結(jié)構(gòu)復(fù)雜的各種交叉口場(chǎng)景。

（2）車(chē)輛高速行駛的高速路段場(chǎng)景。

交叉口作為1種典型的復(fù)雜交通場(chǎng)景，因?yàn)槠涞缆方Y(jié)構(gòu)復(fù)雜存在較多沖突點(diǎn)以及交通參與者類(lèi)型較多，所以在其發(fā)揮自身重要交通作用的同時(shí)也存在著十分嚴(yán)重的問(wèn)題，據(jù)美國(guó)國(guó)家公路安全管理局的報(bào)告顯示美國(guó)有超過(guò)四分之一的交通事故發(fā)生在交叉路口場(chǎng)景，其中在無(wú)信號(hào)燈交叉路口的事故率大約占到了50%。而針對(duì)高速路段場(chǎng)景，雖然自身的交通道路結(jié)構(gòu)和交通參與者的類(lèi)型沒(méi)有交叉口場(chǎng)景那么復(fù)雜，但因?yàn)楦咚俾范诬?chē)輛機(jī)動(dòng)速度快，所以相比于一般道路場(chǎng)景在車(chē)輛的變道、超車(chē)、匯流等特定場(chǎng)景下更加復(fù)雜，需要更快的反應(yīng)速度和反應(yīng)精度。所以針對(duì)復(fù)雜交通場(chǎng)景的特點(diǎn)對(duì)自動(dòng)駕駛車(chē)輛的軌跡預(yù)測(cè)的準(zhǔn)確性和效率提出了很高的要求。結(jié)合交通道路拓?fù)浣Y(jié)構(gòu)、交通參與者類(lèi)型數(shù)量、參與者自身速度3個(gè)方面的特點(diǎn)，主要總結(jié)了6種典型的復(fù)雜交通場(chǎng)景：T形路口場(chǎng)景、十字路口場(chǎng)景、錯(cuò)位交叉路口場(chǎng)景、路口匯流場(chǎng)景、環(huán)島場(chǎng)景、復(fù)雜混合路口場(chǎng)景，如圖1所示。

圖1 復(fù)雜交通路口場(chǎng)景

3 預(yù)測(cè)對(duì)象分類(lèi)與算法總結(jié)

在本章中，將復(fù)雜交通場(chǎng)景中自動(dòng)駕駛汽車(chē)的行為預(yù)測(cè)對(duì)象分為車(chē)輛軌跡預(yù)測(cè)、行人軌跡預(yù)測(cè)2類(lèi)，在此基礎(chǔ)上針對(duì)不同預(yù)測(cè)對(duì)象綜述總結(jié)近年來(lái)的主要研究方法。

3.1 車(chē)輛的軌跡預(yù)測(cè)

車(chē)輛的軌跡預(yù)測(cè)，即是通過(guò)自動(dòng)駕駛車(chē)輛自身所裝配的各種傳感器去準(zhǔn)確檢測(cè)周?chē)?chē)輛當(dāng)前的位置、速度、運(yùn)動(dòng)方向等信息然后用于對(duì)其未來(lái)軌跡的預(yù)測(cè)。近年來(lái)對(duì)于車(chē)輛的軌跡預(yù)測(cè)方法主要分為2類(lèi)：基于強(qiáng)化學(xué)習(xí)模型方法和基于神經(jīng)網(wǎng)絡(luò)的交互學(xué)習(xí)和社會(huì)感知方法?；谀Ｐ偷姆椒ㄟ\(yùn)用適當(dāng)學(xué)習(xí)算法達(dá)到在特定場(chǎng)景中運(yùn)用的效果?；诓┺哪Ｐ偷姆椒ń瓿１挥米髦悄苘?chē)的軌跡預(yù)測(cè)，Li等針對(duì)交叉路口和高速路段場(chǎng)景提出了1種兩人實(shí)時(shí)的動(dòng)態(tài)博弈模型，運(yùn)用分層預(yù)測(cè)思想，在考慮預(yù)測(cè)軌跡的成本和安全系數(shù)的基礎(chǔ)上結(jié)合認(rèn)知行為模型得出預(yù)測(cè)軌跡，Chandra等在單一博弈模型方法的基礎(chǔ)上創(chuàng)新的將博弈模型與基于機(jī)器人學(xué)開(kāi)發(fā)的1種可以通過(guò)傳感器檢測(cè)周?chē)繕?biāo)動(dòng)作的GAMEPLAY方法結(jié)合，在通過(guò)用于行為建模和預(yù)測(cè)的CMMetric算法對(duì)周?chē)?chē)輛的CMetric值排序從而確定周?chē)?chē)輛的通行順序以此來(lái)預(yù)測(cè)軌跡。以上2種基于博弈模型的方法都是針對(duì)2者之間的博弈，無(wú)法滿足目標(biāo)車(chē)輛較多場(chǎng)景的軌跡預(yù)測(cè)。Hang等針對(duì)這個(gè)問(wèn)題，提出了1種基于模型預(yù)測(cè)控制（Model Predictive Control,MPC）建立聯(lián)盟博弈方法，考慮不同交互駕駛行為的多車(chē)道合并場(chǎng)景的車(chē)輛協(xié)同軌跡預(yù)測(cè)問(wèn)題，其核心思想是將多車(chē)道合并區(qū)域的車(chē)輛進(jìn)行相互博弈，并且這種博弈是相互關(guān)聯(lián)的，最終拓展成為整個(gè)局部區(qū)域的所有車(chē)輛的博弈，通過(guò)求解整體代價(jià)最小的方式去預(yù)測(cè)軌跡。此聯(lián)盟博弈方法是1種傳統(tǒng)兩者博弈模型的拓展，能夠應(yīng)用于復(fù)雜場(chǎng)景下的多對(duì)象車(chē)輛博弈。除了基于博弈模型的軌跡預(yù)測(cè)外，Shu等針對(duì)交叉路口場(chǎng)景的左轉(zhuǎn)問(wèn)題提出了根據(jù)道路模型（圖2），標(biāo)記出關(guān)鍵轉(zhuǎn)折點(diǎn)，在關(guān)鍵轉(zhuǎn)折點(diǎn)處運(yùn)用分層規(guī)劃的思想，采用部分可觀測(cè)馬爾可夫（Partially Observable Markov Decision Processes,POMDP）架構(gòu)將關(guān)鍵點(diǎn)處的軌跡問(wèn)題分為高、低2個(gè)層次的路徑預(yù)測(cè)，通過(guò)高層路徑預(yù)測(cè)獲得候選路徑，再通過(guò)低層擬人思想獲取最優(yōu)預(yù)測(cè)軌跡。Bouton等在單POMDP方法的基礎(chǔ)上提出新的利用效用融合的POMDP方法，通過(guò)先對(duì)每個(gè)目標(biāo)單獨(dú)計(jì)算最優(yōu)狀態(tài)，在融合獲得全局最優(yōu)狀態(tài)，從而推斷目標(biāo)車(chē)輛的未來(lái)軌跡預(yù)測(cè)。

圖2 基于ECT標(biāo)準(zhǔn)交叉口分層次預(yù)測(cè)規(guī)劃方法[6]

基于神經(jīng)網(wǎng)絡(luò)的交互學(xué)習(xí)方法是近年來(lái)對(duì)于自動(dòng)駕駛軌跡預(yù)測(cè)的主流研究方向。其中，基于深度學(xué)習(xí)的長(zhǎng)短期記憶網(wǎng)絡(luò)（Long-Short Term Memory,LSTM）及其變體近年來(lái)常被用于自動(dòng)駕駛車(chē)輛的軌跡預(yù)測(cè)研究，LSTM網(wǎng)絡(luò)作為循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network,RNN）的1種升級(jí)變體，因其具有門(mén)控裝置，可以控制每一時(shí)刻信息的記憶與遺忘，對(duì)信息有了篩選保留的能力，可以進(jìn)行長(zhǎng)序列的信息處理，對(duì)于自動(dòng)駕駛車(chē)輛軌跡的長(zhǎng)期預(yù)測(cè)效果很好。Zeng等將軌跡預(yù)測(cè)問(wèn)題轉(zhuǎn)化為序列預(yù)測(cè)問(wèn)題，通過(guò)將復(fù)雜交叉路口場(chǎng)景中的車(chē)輛軌跡進(jìn)行序列化，提出了1種基于序列生成模型（Sequence to Sequence,Seq2Seq）結(jié)構(gòu)，在時(shí)間圖和空間圖上運(yùn)用LSTM網(wǎng)絡(luò)獲取預(yù)測(cè)車(chē)輛當(dāng)前的位姿和關(guān)鍵交互信息。從而自動(dòng)駕駛車(chē)輛提供更合理的軌跡預(yù)測(cè)。Han等針對(duì)高速公路交織區(qū)域的車(chē)輛變道場(chǎng)景，提出了注意力Seq2Seq網(wǎng)絡(luò)，采用LSTM編-解碼器進(jìn)行目標(biāo)車(chē)輛的變道軌跡預(yù)測(cè)，并結(jié)合注意力機(jī)制關(guān)注變道過(guò)程中的關(guān)鍵信息，其在長(zhǎng)時(shí)期的變道軌跡預(yù)測(cè)中有明顯的優(yōu)勢(shì)。但采用單一的LSTM神經(jīng)網(wǎng)絡(luò)用于預(yù)測(cè)軌跡仍有很多缺陷，所以有研究人員也提出采用混合神經(jīng)網(wǎng)絡(luò)去完善預(yù)測(cè)效果。Ji等提出LSTM網(wǎng)絡(luò)的預(yù)測(cè)模型，模型由意識(shí)識(shí)別和軌跡輸出模塊組成。前者利用Softmax函數(shù)得出換道和車(chē)道保持的概率，在通過(guò)基于LSTM的編-解碼器和混合密度網(wǎng)絡(luò)（Mixture Density Networks，MDN）的輸出模塊輸出包含軌跡被采用概率的多模態(tài)預(yù)測(cè)軌跡。Pan等提出了1種利用車(chē)輛歷史運(yùn)動(dòng)和環(huán)境信息預(yù)測(cè)軌跡的深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Networks，DNN），利用LSTM和注意力機(jī)制學(xué)習(xí)車(chē)輛意圖和車(chē)輛位置變化，從而預(yù)測(cè)軌跡。Hsu等提出了1種結(jié)合卷積LSTM和深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）的卷積-循環(huán)框架（CNNLSTM），通過(guò)檢測(cè)周?chē)?chē)輛的尾部信號(hào)燈狀態(tài)去預(yù)測(cè)車(chē)輛意圖，例如通過(guò)檢測(cè)到轉(zhuǎn)向燈亮起，預(yù)測(cè)車(chē)輛將會(huì)進(jìn)行轉(zhuǎn)向，通過(guò)檢測(cè)剎車(chē)燈亮起，預(yù)測(cè)車(chē)輛將會(huì)減速或停車(chē),但由于其只對(duì)車(chē)輛尾部信號(hào)燈狀態(tài)進(jìn)行研究，不能滿足多場(chǎng)景化需求。Frossard等在此循環(huán)框架中加入1種充分學(xué)習(xí)模型，利用空間和時(shí)間特征分類(lèi)轉(zhuǎn)向信號(hào)狀態(tài)，通過(guò)判斷不同運(yùn)動(dòng)方向（同向、反向）車(chē)輛信號(hào)燈狀態(tài)預(yù)測(cè)車(chē)輛意圖（圖3）。Jeong等提出基于LSTM-RNN結(jié)構(gòu)的運(yùn)動(dòng)預(yù)測(cè)器僅使用從傳感器上采集的信息，在只考慮自身與周?chē)?chē)輛狀態(tài)的前提下，將基于MPC得到的目標(biāo)車(chē)輛的未來(lái)狀態(tài)，作為車(chē)輛間相互作用的特征量輸入基于LSTM-RNN的運(yùn)動(dòng)預(yù)測(cè)器去預(yù)測(cè)軌跡（圖4）。

圖3 卷積-循環(huán)網(wǎng)絡(luò)框架[15]

圖4 LSTM-RNN單步預(yù)測(cè)器框架[16]

此外，由于基于神經(jīng)網(wǎng)絡(luò)的多模態(tài)軌跡預(yù)測(cè)能夠提供更長(zhǎng)期的預(yù)測(cè)，近年來(lái)也常被用于自動(dòng)駕駛車(chē)輛的軌跡預(yù)測(cè)研究，例如Cui等針對(duì)復(fù)雜交互場(chǎng)景提出的1種通過(guò)將周?chē)?chē)輛進(jìn)行編碼處理為光柵圖像輸入深度神經(jīng)網(wǎng)絡(luò)（CNN）中實(shí)現(xiàn)多模態(tài)的軌跡預(yù)測(cè)模型，并且這些預(yù)測(cè)軌跡都包含了對(duì)應(yīng)的軌跡可能被采納的概率值。Choi等提出的基于圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Networks，GNN）的跨模式框架，通過(guò)將多種傳感器對(duì)同一目標(biāo)的檢測(cè)數(shù)據(jù)進(jìn)行聯(lián)合學(xué)習(xí)和優(yōu)化獲得預(yù)測(cè)軌跡。Li等針對(duì)高交互的復(fù)雜場(chǎng)景，提出了1種用于長(zhǎng)時(shí)間軌跡預(yù)測(cè)的基于條件軌跡預(yù)測(cè)的條件生成神經(jīng)系統(tǒng)（Conditional Generative Neural System，CGNS），此系統(tǒng)利用已有的數(shù)據(jù)庫(kù)場(chǎng)景信息和實(shí)時(shí)檢測(cè)數(shù)據(jù)預(yù)測(cè)周?chē)鄠€(gè)高交互車(chē)輛的未來(lái)軌跡，聯(lián)合2者并引入注意力機(jī)制對(duì)關(guān)鍵區(qū)域進(jìn)行標(biāo)注，生成多模態(tài)的預(yù)測(cè)軌跡。Kim等提出1種新的基于車(chē)道感知預(yù)測(cè)網(wǎng)絡(luò)的軌跡預(yù)測(cè)模型（圖5），區(qū)別于以前使用光柵圖像作為輸入，而是直接從語(yǔ)義地圖中提取車(chē)道信息來(lái)進(jìn)行軌跡預(yù)測(cè)，對(duì)所預(yù)測(cè)車(chē)輛、預(yù)測(cè)車(chē)輛周?chē)能?chē)輛和有清晰環(huán)境信息與目標(biāo)車(chē)輛交互信息的車(chē)道3者之間的復(fù)雜關(guān)系進(jìn)行捕捉，結(jié)合無(wú)監(jiān)督學(xué)習(xí)模型通過(guò)設(shè)置的權(quán)重去確定最合理預(yù)測(cè)軌跡的車(chē)道，提高預(yù)測(cè)精度，最后基于在編-解碼器結(jié)合周?chē)h(huán)境生成多模態(tài)的未來(lái)軌跡。

圖5 Lapred網(wǎng)絡(luò)總體結(jié)構(gòu)[20]

此外，針對(duì)自動(dòng)駕駛車(chē)輛的傳感器檢測(cè)能力受周?chē)h(huán)境的影響很大，常常出現(xiàn)由于周?chē)h(huán)境遮擋、檢測(cè)目標(biāo)距離太遠(yuǎn)、天氣能見(jiàn)度低等各種因素的影響無(wú)法對(duì)目標(biāo)進(jìn)行準(zhǔn)確檢測(cè)，從而導(dǎo)致漏檢誤檢的情況發(fā)生，使得自動(dòng)駕駛車(chē)輛無(wú)法對(duì)周?chē)繕?biāo)車(chē)輛作出正確預(yù)測(cè)。Ren等提出具有安全意識(shí)基于深度學(xué)習(xí)的社會(huì)感知神經(jīng)網(wǎng)絡(luò)模型（圖6），用于預(yù)測(cè)最早占用地圖（Occupancy Grid Map，OGM）對(duì)可見(jiàn)和不可見(jiàn)車(chē)輛占用的每個(gè)位置，確定其最早時(shí)間，用于描述車(chē)輛未來(lái)的運(yùn)動(dòng)。其本質(zhì)目的是用于預(yù)測(cè)可能導(dǎo)致碰撞的危險(xiǎn)軌跡，并且為了安全和準(zhǔn)確，應(yīng)使每個(gè)軌跡點(diǎn)的預(yù)計(jì)到達(dá)時(shí)間提前于實(shí)際到達(dá)時(shí)間，但在一定范圍內(nèi)。與之相似的Wang等提出的基于深度神經(jīng)網(wǎng)絡(luò)的占用預(yù)測(cè)網(wǎng)絡(luò)（Occupancy Prediction Network，OPNet），通過(guò)利用環(huán)境信息學(xué)習(xí)先驗(yàn)知識(shí)來(lái)預(yù)測(cè)遮擋空間中對(duì)象分布的輕量級(jí)3維卷積網(wǎng)絡(luò)。Sun等提出1種基于社會(huì)感知神經(jīng)網(wǎng)絡(luò)的社會(huì)凝聚力智能車(chē)軌跡預(yù)測(cè)方法，可以根據(jù)周?chē)^大多數(shù)與自車(chē)行為相似的車(chē)輛（相鄰?fù)蜍?chē)道或同車(chē)道車(chē)輛）行為來(lái)調(diào)整自身行為，及周?chē)蟛糠窒嚓P(guān)車(chē)輛進(jìn)行什么行為，自己也進(jìn)行什么行為，并且對(duì)于不同的場(chǎng)景算法還可以關(guān)注特定場(chǎng)景中的關(guān)鍵參數(shù)達(dá)到優(yōu)化軌跡預(yù)測(cè)，例如高速場(chǎng)景下主要關(guān)注周?chē)?chē)輛的速度信息。

圖6 U-Net軌跡預(yù)測(cè)網(wǎng)絡(luò)框架[21]

除了以上基于模型和基于神經(jīng)網(wǎng)絡(luò)的軌跡預(yù)測(cè)方法以外，ALBRECHT和Li等提出了1種基于逆向規(guī)劃的方法，主要通過(guò)檢測(cè)周?chē)?chē)輛當(dāng)前的動(dòng)作來(lái)推斷其在當(dāng)前場(chǎng)景下的目標(biāo)點(diǎn)(將要駛?cè)氲穆房?，在以目標(biāo)點(diǎn)為基礎(chǔ)來(lái)預(yù)測(cè)車(chē)輛的軌跡，同時(shí)采用蒙特卡羅樹(shù)搜索（Monte Carlo Tree Search，MCTS）算法來(lái)規(guī)劃自身軌跡，只不過(guò)Li等的方法區(qū)別于ALBRECHT等的最終獲得預(yù)測(cè)軌跡是多模態(tài)的而非單獨(dú)的最佳預(yù)測(cè)軌跡。Narayanan等提出了1個(gè)ALAN（A Lane Anchors）的預(yù)測(cè)框架，不再運(yùn)用柵格圖像和高精地圖作為輸入信息，創(chuàng)新的采用車(chē)道中心線為參考，輸出具有強(qiáng)語(yǔ)義的環(huán)境感知數(shù)據(jù)，并且獲得多模態(tài)的預(yù)測(cè)軌跡。

本小節(jié)總結(jié)了車(chē)輛在復(fù)雜交通場(chǎng)景中的軌跡預(yù)測(cè)算法并將算法分為基于強(qiáng)化學(xué)習(xí)模型的算法、基于神經(jīng)網(wǎng)絡(luò)的算法與其它算法3部分，見(jiàn)表1。

表1 復(fù)雜交通場(chǎng)景中的車(chē)輛軌跡預(yù)測(cè)算法

3.2 行人的軌跡預(yù)測(cè)

由于行人的運(yùn)動(dòng)具有高度的不確定性和多模態(tài)性，自動(dòng)駕駛系統(tǒng)無(wú)法在有限的計(jì)算時(shí)間內(nèi)做出反應(yīng)，如果僅根據(jù)當(dāng)前的行人狀態(tài)去規(guī)劃自身路徑無(wú)法滿足時(shí)效性并且還可能導(dǎo)致安全事故發(fā)生，所以行人軌跡的預(yù)測(cè)一直都是自動(dòng)駕駛汽車(chē)發(fā)展面臨的挑戰(zhàn)之一。

目前，行人軌跡預(yù)測(cè)研究思路主要分為2類(lèi)：

（1）基于模型的方法；

（2）基于神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制結(jié)合的方法。

基于模型的方法有基于高斯過(guò)程模型、基于社會(huì)力模型等。Mínguez等提出了1種通過(guò)采集行人身體的關(guān)鍵部位特征比如肩部的信息，運(yùn)用基于平衡的高斯過(guò)程動(dòng)力學(xué)模型去預(yù)測(cè)行人軌跡。Rinke等在社會(huì)力模型的基礎(chǔ)上，提出了1種多層次的道路使用者運(yùn)動(dòng)及其交互的描述方法，將行人運(yùn)動(dòng)目標(biāo)點(diǎn)與可能軌跡分層討論。通過(guò)先確定目標(biāo)點(diǎn)在利用拉格朗日多項(xiàng)式依次估計(jì)其他軌跡然后在運(yùn)用基于社會(huì)力模型的規(guī)避沖突策略進(jìn)行軌跡選擇，生成最佳預(yù)測(cè)軌跡。Yang等提出將社會(huì)力模型和行人走、停決策結(jié)合的改進(jìn)社會(huì)力模型（圖7），去預(yù)測(cè)行人未來(lái)2 s運(yùn)動(dòng)軌跡的終點(diǎn)的行人軌跡預(yù)測(cè)方法。但基于模型的方法對(duì)理論和場(chǎng)景的依賴性強(qiáng)，并且需要大量的數(shù)據(jù)去訓(xùn)練模型，所以近年更多的研究者還是致力于基于神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制結(jié)合的方法，一般以RNN/LSTM/GRU等遞歸神經(jīng)網(wǎng)絡(luò)及其變體為主結(jié)合注意力機(jī)制。Zhou等通過(guò)考慮單個(gè)行人的運(yùn)動(dòng)信息以及和周?chē)腥说慕换バ畔?，運(yùn)用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和圖卷積網(wǎng)絡(luò)（Graph Convolutional Networks，GCN）對(duì)行人狀態(tài)以及彼此交互進(jìn)行模擬（圖8），并結(jié)合注意力機(jī)制和結(jié)伴損失函數(shù)來(lái)預(yù)測(cè)軌跡。Zhang等提出將生成對(duì)抗網(wǎng)絡(luò)和注意力機(jī)制結(jié)合的方法，其核心是通過(guò)注意力機(jī)制處理環(huán)境中的關(guān)鍵信息，通過(guò)社會(huì)注意力機(jī)制處理人與人之間的行為交互信息，在通過(guò)基于LSTM網(wǎng)絡(luò)的對(duì)抗模塊去預(yù)測(cè)多條合理軌跡。Liang等提出1種用于預(yù)測(cè)人軌跡和未來(lái)活動(dòng)的神經(jīng)網(wǎng)絡(luò)模型，通過(guò)捕捉人類(lèi)外觀、肢體動(dòng)作、與周?chē)h(huán)境的交互等視覺(jué)特征生成模型用于軌跡預(yù)測(cè)。Liu等提出了1種基于圖卷積的行人是否橫穿道路的預(yù)測(cè)模型，通過(guò)只關(guān)注行人與周?chē)h(huán)境的關(guān)系以及行人自身的肢體動(dòng)作進(jìn)行推理，預(yù)測(cè)未來(lái)一個(gè)時(shí)間范圍內(nèi)行人軌跡。Shi等提出了1種新穎的解析圖卷積網(wǎng)絡(luò)（Sparse Graph Convolution Network，SGCN），將稀疏有向交互和運(yùn)動(dòng)趨勢(shì)相結(jié)合，用于行人軌跡預(yù)測(cè)，采用基于注意力機(jī)制的稀疏圖學(xué)習(xí)方法對(duì)軌跡點(diǎn)進(jìn)行打分，并反饋到非對(duì)稱(chēng)卷積網(wǎng)絡(luò)中，以獲得高級(jí)交互特征，歸一化處理后得到的鄰接矩陣可以表示稀疏圖，最后結(jié)合圖卷積網(wǎng)絡(luò)估計(jì)用于軌跡預(yù)測(cè)的雙高斯分布的參數(shù)去預(yù)測(cè)軌跡。相比于以前的預(yù)測(cè)建模方法，它對(duì)交互的行人信息、車(chē)輛信息、環(huán)境信息進(jìn)行了有針對(duì)性的選擇，而非以往的直接將一定范圍內(nèi)的所有以上信息無(wú)差別的用于建模（圖8）。Tim等提出1種考慮動(dòng)力學(xué)約束的基于學(xué)習(xí)的多智能體軌跡預(yù)測(cè)方法，除了考慮先前軌跡，還同時(shí)考慮了目標(biāo)的動(dòng)力學(xué)約束，確保了實(shí)際下的可行性，同時(shí)對(duì)其他的不同來(lái)源的數(shù)據(jù)信息進(jìn)行融合，給出更具有針對(duì)性的預(yù)測(cè)軌跡。Neumann等使用自我監(jiān)督方式訓(xùn)練的預(yù)測(cè)網(wǎng)絡(luò)，基于行人的運(yùn)動(dòng)相對(duì)于全局場(chǎng)景的影響小，將場(chǎng)景中的行人運(yùn)動(dòng)和自己車(chē)輛運(yùn)動(dòng)分開(kāi)考慮，訓(xùn)練了1個(gè)自我運(yùn)動(dòng)預(yù)測(cè)網(wǎng)絡(luò)，核心思想可以理解為一定時(shí)間內(nèi)先得出自身的軌跡，然后通過(guò)自我的監(jiān)督方法，抵消掉自身位置變化對(duì)行人軌跡預(yù)測(cè)的影響，相當(dāng)于這時(shí)車(chē)載攝像頭是靜止于某個(gè)點(diǎn)的去觀測(cè)行人的運(yùn)動(dòng)，行人軌跡變化的參考與自車(chē)的狀態(tài)無(wú)關(guān)，而只以預(yù)測(cè)行人周?chē)脑貫閰⒖既ヮA(yù)測(cè)，這種不考慮可變視點(diǎn)就可以避免因?yàn)椴粩嘧兓臄z像頭視點(diǎn)、遮擋和其他場(chǎng)景動(dòng)態(tài)帶來(lái)的預(yù)測(cè)困難。

圖7 Trajectory++軌跡預(yù)測(cè)網(wǎng)絡(luò)框架[29]

圖8 SGCN網(wǎng)絡(luò)框架[30]

Lian等提出應(yīng)對(duì)復(fù)雜場(chǎng)景下行人軌跡預(yù)測(cè)的方法，基于LSTM網(wǎng)絡(luò)建立了基于人-車(chē)交互的行人軌跡預(yù)測(cè)模型（Vehicles And Pedestrians Trajectory Prediction Model Based On LSTM，VP-LSTM），核心思想是以行人的速度、行人間位置關(guān)系、人車(chē)間位置關(guān)系為初始數(shù)據(jù)通過(guò)社會(huì)注意力機(jī)制進(jìn)行篩選，將篩選信息通過(guò)LSTM網(wǎng)絡(luò)得出預(yù)測(cè)軌跡。Hu等提出的預(yù)測(cè)行人運(yùn)動(dòng)預(yù)測(cè)系統(tǒng)（Pedestrian Motion Prediction System Based On NMMP，PMP-NMMP），先通過(guò)基于LSTM網(wǎng)絡(luò)的NMMP架構(gòu)進(jìn)行行人的軌跡預(yù)測(cè)，NMMP架構(gòu)系統(tǒng)包含單一分支和交互分支2個(gè)部分，單一分支用于對(duì)每個(gè)參與者進(jìn)行軌跡預(yù)測(cè)和交互分支用于對(duì)參與者間的可能交互進(jìn)行預(yù)測(cè)，由2個(gè)分支結(jié)合得出候選軌跡，最后PMP將候選軌跡分類(lèi)為真軌跡或假軌跡，得到最終預(yù)測(cè)軌跡。除了以上基于模型和基于神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制結(jié)合的軌跡預(yù)測(cè)方法以外,Yao等針對(duì)目前模型預(yù)測(cè)多基于以往軌跡多次預(yù)測(cè)導(dǎo)致的隨重復(fù)預(yù)測(cè)次數(shù)增加誤差不斷增大問(wèn)題，提出基于目標(biāo)估計(jì)的雙向多模態(tài)軌跡預(yù)測(cè)方法，模型由2部分組成：

（1）多模態(tài)目標(biāo)估計(jì)器用于先估計(jì)可能的目標(biāo)終點(diǎn)；

（2）目標(biāo)條件雙向軌跡預(yù)測(cè)器，進(jìn)行以當(dāng)前點(diǎn)和目標(biāo)點(diǎn)同時(shí)作為起始點(diǎn)的雙向軌跡預(yù)測(cè)，從而減少較長(zhǎng)預(yù)測(cè)范圍內(nèi)的累積誤差。

Shafiee等使用條件3維視覺(jué)注意機(jī)制進(jìn)行人體軌跡預(yù)測(cè)，通過(guò)2個(gè)并行編碼流和1個(gè)解碼流，2個(gè)并行編碼流收集與目標(biāo)人體相關(guān)的3維視覺(jué)和運(yùn)動(dòng)學(xué)信息，只需要對(duì)目標(biāo)及其相關(guān)信息進(jìn)行收集，1個(gè)解碼流預(yù)測(cè)目標(biāo)人體的未來(lái)軌跡，并且引入3D注意機(jī)制，提高預(yù)測(cè)精度。

本小節(jié)總結(jié)了行人在復(fù)雜交通場(chǎng)景下的軌跡預(yù)測(cè)算法并將算法分為基于模型的算法、基于神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制相結(jié)合的算法、其它算法3部分，見(jiàn)表2。

表2 復(fù)雜交通場(chǎng)景中的行人軌跡預(yù)測(cè)算法

4 結(jié)論

隨著自動(dòng)駕駛技術(shù)的發(fā)展，傳統(tǒng)的預(yù)測(cè)方法已經(jīng)無(wú)法滿足自動(dòng)駕駛車(chē)輛對(duì)任意行駛場(chǎng)景和速度的要求。本文綜合近幾年自動(dòng)駕駛行為預(yù)測(cè)技術(shù)的發(fā)展情況，立足于復(fù)雜的交通交互場(chǎng)景，通過(guò)對(duì)場(chǎng)景中不同預(yù)測(cè)對(duì)象進(jìn)行分類(lèi)并總結(jié)相應(yīng)的行為預(yù)測(cè)算法。當(dāng)前比較先進(jìn)的行為預(yù)測(cè)思路還是采用神經(jīng)網(wǎng)絡(luò)，也取得了不錯(cuò)的效果，但由于模型訓(xùn)練需要大量的多樣性數(shù)據(jù)，導(dǎo)致模型的訓(xùn)練困難。此外，目前的行為預(yù)測(cè)系統(tǒng)需要多種傳感器設(shè)備的數(shù)據(jù)支撐，其中就包括了激光雷達(dá)一類(lèi)高成本的設(shè)備。因此，接下來(lái)自動(dòng)駕駛行為預(yù)測(cè)的研究可以從以下4方面展開(kāi)：

（1）創(chuàng)新和優(yōu)化算法，對(duì)于基于神經(jīng)網(wǎng)絡(luò)一類(lèi)需要預(yù)先訓(xùn)練的算法要降低訓(xùn)練的復(fù)雜度，同時(shí)在算法層面去減少對(duì)傳感器種類(lèi)和數(shù)量的依賴，能夠在提升預(yù)測(cè)效果的基礎(chǔ)上優(yōu)化硬件配置。

（2）車(chē)路協(xié)同預(yù)測(cè)，目前的自動(dòng)駕駛軌跡預(yù)測(cè)還是主要依賴自動(dòng)駕駛車(chē)輛自身的傳感器進(jìn)行數(shù)據(jù)采集和預(yù)測(cè)，可以考慮將自動(dòng)駕駛車(chē)輛和路測(cè)設(shè)備結(jié)合的預(yù)測(cè)思路，即將當(dāng)前場(chǎng)景中路測(cè)設(shè)備收集的數(shù)據(jù)直接提供或進(jìn)行預(yù)處理后提供給自動(dòng)駕駛車(chē)輛去進(jìn)行行為預(yù)測(cè)，這樣不僅可以提高預(yù)測(cè)準(zhǔn)確度而且可以降低整體的設(shè)備成本。

（3）受遮擋對(duì)象的行為預(yù)測(cè)，目前這一部分的研究還很少，主要還是基于社會(huì)感知的思路去進(jìn)行預(yù)測(cè)，但實(shí)際的實(shí)現(xiàn)效果并不理想，作為軌跡預(yù)測(cè)中無(wú)法回避且十分重要的內(nèi)容，需要針對(duì)這一問(wèn)題提出更多方法。

（4）行人行為預(yù)測(cè)，行人對(duì)象具有目標(biāo)小且行為不確定性大的特點(diǎn)。而當(dāng)前主要采用檢測(cè)行人肢體動(dòng)作和人群交互行為的方法實(shí)際運(yùn)用時(shí)準(zhǔn)確率很低，原因在于本身肢體動(dòng)作的準(zhǔn)確檢測(cè)就很困難，再加之要根據(jù)其完成行為預(yù)測(cè)可以想象是十分困難的，如果在加上環(huán)境因素（下雨、起霧等）那么這些方法基本就不在可行，所以如何提高行人行為的準(zhǔn)確預(yù)測(cè)也需要提出更好的方法。