張 睿，吳伯雄，張麗園，張 博

大連海事大學(xué) 信息科學(xué)技術(shù)學(xué)院，遼寧 大連 116026

在視覺監(jiān)控領(lǐng)域，預(yù)測(cè)人群中行人的未來路徑已經(jīng)成為相當(dāng)熱點(diǎn)的問題。預(yù)測(cè)任務(wù)通過觀察場(chǎng)景中運(yùn)動(dòng)目標(biāo)的歷史軌跡信息來對(duì)其未來軌跡進(jìn)行預(yù)測(cè)。在某些特定的應(yīng)用場(chǎng)景中（例如，預(yù)警[1]，異常事件檢測(cè)[2]），軌跡預(yù)測(cè)起著更重要的作用?？紤]到安全性因素，在當(dāng)前城市公共安全領(lǐng)域中，需要對(duì)潛在的危險(xiǎn)行為做出警告，這就需要通過對(duì)目標(biāo)行人未來軌跡進(jìn)行預(yù)測(cè)從而分析潛在的危險(xiǎn)行為。每個(gè)行人未來的行走軌跡，不僅受到其目的地的驅(qū)動(dòng)，還受到多種社會(huì)和物理環(huán)境因素的驅(qū)動(dòng)，包括當(dāng)?shù)匦腥说拿芏?，?chǎng)景布局（例如，十字路口、路燈等）以及隱含的群體社會(huì)行為規(guī)范（例如，在售票柜臺(tái)排成隊(duì)列，提前在相距遙遠(yuǎn)的地方分散以避免發(fā)生碰撞）。綜上所述，想要預(yù)測(cè)行人未來的軌跡，需要考慮到以下三個(gè)方面的限制。

第一，物理環(huán)境的限制。為了能夠在場(chǎng)景中行走并避開障礙物或類似的物理限制，必須處理好局部和全局空間信息，并且關(guān)注到周圍的重要元素。例如，當(dāng)要到達(dá)彎道時(shí)，會(huì)更加專注在彎道而不是環(huán)境中的其他約束限制，稱此為物理關(guān)注。

第二，考慮到場(chǎng)景中其他行人對(duì)目標(biāo)行人的影響。例如，避免與周圍行人發(fā)生碰撞，不干涉他們的私人空間，或者打斷一些交互行為（握手、聊天等），這就要求必須對(duì)其他人的移動(dòng)方向和社會(huì)規(guī)范有很好的理解，從而相應(yīng)調(diào)整自己的路徑。而且應(yīng)當(dāng)考慮到對(duì)未來軌跡決策有更大的影響力的一些行人。例如，在走廊上行走時(shí)，更應(yīng)該關(guān)注走在面前的人而不是在身后的人，稱此為社會(huì)關(guān)注。

第三，尋找多條可行的路徑。為了到達(dá)目的地，行人的路徑經(jīng)常存在不止一個(gè)選擇，這是行人運(yùn)動(dòng)的模糊性質(zhì)。然而實(shí)際上，行人到達(dá)目的地的可行性路徑往往在一個(gè)范圍之內(nèi)[3-4]。

近年來，行人軌跡預(yù)測(cè)問題在國(guó)內(nèi)外研究中已經(jīng)引起了廣泛關(guān)注。例如，Helbing等人[5]提出的社會(huì)力模型就考慮到行人流的離散特征，根據(jù)行人之間的相互作用力對(duì)行人進(jìn)行建模。也有利用馬爾可夫模型[6-8]可以進(jìn)一步考慮行人環(huán)境之間互相影響，從而概率性地預(yù)測(cè)目標(biāo)未來的路徑。到目前深度學(xué)習(xí)發(fā)展熱烈的如今，開始有利用循環(huán)神經(jīng)網(wǎng)絡(luò)RNN對(duì)軌跡序列進(jìn)行建模實(shí)現(xiàn)預(yù)測(cè)的方法。

Alahi 等人[9]提出的Social-LSTM 為每個(gè)行人都配備一個(gè)長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)LSTM 網(wǎng)絡(luò)來預(yù)測(cè)其未來路徑，后面又增加了一個(gè)社會(huì)池化層模塊來計(jì)算周圍其他行人對(duì)目標(biāo)行人的影響。Vemula 等人[10]提出了結(jié)構(gòu)化RNN 對(duì)各個(gè)行人進(jìn)行建模，并利用時(shí)空關(guān)系圖對(duì)場(chǎng)景中多個(gè)行人交互建模，一個(gè)行人代表時(shí)空?qǐng)D上的一個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)與其他節(jié)點(diǎn)用空間邊相連，與自己用時(shí)間邊相連，空間邊和時(shí)間邊都用 RNN 來描述其隨時(shí)間的變化，最后在每個(gè)節(jié)點(diǎn)更新時(shí)使用注意力機(jī)制來融合與其相鄰的邊的信息。Gupta等人[11]提出了Social-GAN，該方法引入了生成對(duì)抗網(wǎng)絡(luò)GAN，通過生成器和判別器網(wǎng)絡(luò)之間的動(dòng)態(tài)博弈過程，結(jié)合新增加的匯聚模塊并依據(jù)損失函數(shù)激勵(lì)網(wǎng)絡(luò)實(shí)現(xiàn)多樣化的輸出，從而生成多條合理的預(yù)測(cè)軌跡。Lee 等人[12]提出從俯視圖中學(xué)習(xí)場(chǎng)景上下文信息以預(yù)測(cè)每個(gè)行人的未來路徑的方法。Russakovsky 等人[13]將圖像輸入到注意力機(jī)制中去，以顯著標(biāo)示每個(gè)行人未來可能道路的重要區(qū)域。最近的一些方法[14-15]在某種程度上都考慮到了場(chǎng)景信息和社會(huì)交互因素，這些方法在解決其他行人的狀態(tài)對(duì)目標(biāo)行人未來路徑的影響方面取得了很大進(jìn)展，能夠把場(chǎng)景作為重要信息進(jìn)行考慮，但對(duì)于行人的未來軌跡往往只預(yù)測(cè)單個(gè)路徑，通常最終會(huì)優(yōu)化成取一條“平均軌跡”。

本文提出了一種基于生成對(duì)抗網(wǎng)絡(luò)并結(jié)合注意力機(jī)制的方法來處理行人軌跡預(yù)測(cè)問題，該方法可以考慮到來自不同行人的場(chǎng)景上下文信息和交互行為信息，用于預(yù)測(cè)行人的未來路徑。本文首先使用物理注意力模型來處理靜態(tài)場(chǎng)景上下文信息以及使用社會(huì)注意力模型處理行人之間交互的動(dòng)態(tài)信息。然后，應(yīng)用基于長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM 的生成對(duì)抗模塊來學(xué)習(xí)多模態(tài)生成模型，該模型能夠生成行人未來的一系列合理的軌跡路徑分布。本文提出的框架生成了多個(gè)符合社會(huì)和物理規(guī)范的軌跡路徑，并在多個(gè)標(biāo)準(zhǔn)軌跡數(shù)據(jù)集上實(shí)現(xiàn)了較好的結(jié)果。

1 軌跡預(yù)測(cè)模型

1.1 問題定義

給定一組行人的軌跡X=(X1,X2,…,Xn)，其中：

n為當(dāng)前場(chǎng)景中的行人總個(gè)數(shù)，tobs為行人歷史軌跡序列的時(shí)間步長(zhǎng)度。

本文的任務(wù)是預(yù)測(cè)場(chǎng)景中的目標(biāo)行人未來的行走路徑，即Y=(Y1,Y2,…,Yn)，其中：

tpred為需要預(yù)測(cè)的行人軌跡序列的時(shí)間步長(zhǎng)度。

本文使用Y表示行人未來的真實(shí)軌跡，用Y表示使用本文提出的模型得到的相關(guān)預(yù)測(cè)軌跡。

1.2 模型整體結(jié)構(gòu)

如圖1所示，本文提出的模型由初始的環(huán)境特征提取模塊以及后續(xù)的生成對(duì)抗網(wǎng)絡(luò)構(gòu)成。其中環(huán)境特征提取模塊對(duì)場(chǎng)景圖片和行人相對(duì)位移軌跡數(shù)據(jù)進(jìn)行特征提取，生成對(duì)抗網(wǎng)絡(luò)由生成器和判別器組成，生成器部分引入兩個(gè)軟注意力模塊，分別考慮行人交互及場(chǎng)景限制等因素。將從環(huán)境特征提取模塊得到的圖片特征信息輸入到物理注意力模塊，得到的軌跡位移信息輸入到生成器開始部分及社會(huì)注意力模塊，開始模型的訓(xùn)練。

圖1 模型整體結(jié)構(gòu)圖

通過引入物理注意力模塊，對(duì)場(chǎng)景圖片的信息處理，得到整體地形及障礙物等限制條件，在后續(xù)的模型預(yù)測(cè)中，會(huì)相對(duì)避開此類障礙物或按照得到的地形信息進(jìn)行相對(duì)預(yù)測(cè)。通過引入社會(huì)注意力模塊，對(duì)行人之間位移信息進(jìn)行處理，分析得到行人之間可能的交互模式，例如避讓對(duì)面走來的其他行人，從側(cè)邊超過前方行人等交互，從而實(shí)現(xiàn)對(duì)行人行為的更精確預(yù)測(cè)。

整體的生成對(duì)抗網(wǎng)絡(luò)機(jī)制更是通過不斷地最大最小化博弈過程，通過生成器生成的預(yù)測(cè)軌跡與行人真實(shí)的未來軌跡的在判別器中的鑒別，對(duì)模型參數(shù)不斷優(yōu)化，直至模型預(yù)測(cè)效果滿足初始設(shè)定的閾值，才停止訓(xùn)練，這樣也相對(duì)保證了模型的準(zhǔn)確性和可靠性。

1.3 環(huán)境特征提取模塊

該模塊對(duì)環(huán)境信息進(jìn)行特征提取，以及計(jì)算場(chǎng)景中行人之間相互位移差并處理得到軌跡位移特征向量。具體過程如公式（1）所示：

其中，CNN 和FC 分別代表卷積神經(jīng)網(wǎng)絡(luò)和全連接層。Vphy表示輸入原始場(chǎng)景圖片I 到CNN 中得到的特征圖，是通過將行人j關(guān)于行人i的相對(duì)位移輸入到全連接層而獲得的固定長(zhǎng)度的特征向量，Wfc是全連接層的權(quán)重和偏差，是所有的集合。

稱Vphy和（1 ≤i≤N,N是場(chǎng)景中的行人個(gè)數(shù)）分別為物理特征向量和社會(huì)特征向量。

本文中的CNN 使用的是在ImageNet 數(shù)據(jù)集上預(yù)訓(xùn)練過的VGGnet-16網(wǎng)絡(luò)模型，并對(duì)網(wǎng)絡(luò)的最后幾層進(jìn)行微調(diào)。首先對(duì)輸入的原始圖片進(jìn)行預(yù)處理，統(tǒng)一為224×224 的分辨率大小，再將其輸入到預(yù)訓(xùn)練過的VGGnet-16 模型中，通過反復(fù)堆疊3×3 的卷積核和2×2的最大池化層，經(jīng)過多次卷積、池化操作，得到大小為512×14×14的特征圖。

1.4 注意力模塊

輸入的圖像是相對(duì)較大的復(fù)雜場(chǎng)景的俯視圖。希望模型能夠更多地關(guān)注到當(dāng)前場(chǎng)景的顯著區(qū)域和與當(dāng)前預(yù)測(cè)行人相關(guān)性更大的其他行人，這類似于人們更加關(guān)注前方的障礙物以及走向他們的行人，而不是在他們后面的建筑物或人。為了實(shí)現(xiàn)這一目標(biāo)，使用兩個(gè)軟注意力模塊對(duì)數(shù)據(jù)進(jìn)行處理，分別對(duì)應(yīng)物理和社會(huì)特征。

物理注意力模塊可以幫助分析整體場(chǎng)景地形的限制因素，考慮到行人可行及不可行區(qū)域的區(qū)分，從而在模型進(jìn)行行人未來軌跡預(yù)測(cè)時(shí)，得到更精確的、可能性更高的預(yù)測(cè)路徑，相對(duì)提高了模型預(yù)測(cè)的準(zhǔn)確度。社會(huì)注意力模塊可以幫助分析場(chǎng)景中不同行人之間的交互信息，得到行人未來行走的考慮因素，例如避讓、穿行、匯聚等行為，從而預(yù)測(cè)出更符合社交規(guī)范的準(zhǔn)確路徑。

1.4.1 物理注意力模塊

物理注意模塊的輸入是生成器LSTM 的隱藏狀態(tài)和從圖像中提取的物理特征，將這些輸入傳遞給物理注意力模塊。輸出是一個(gè)上下文向量Ctpi，它表示從代理i中提取出的物理特征的重要性。

其中，表示在t-1 時(shí)刻行人i對(duì)應(yīng)的生成器中編碼器LSTM的隱藏狀態(tài)。它包含了用于計(jì)算每個(gè)的物理特征向量的信息。

物理注意力模塊主要是通過對(duì)提取的場(chǎng)景圖像特征進(jìn)行處理，得到整體場(chǎng)景的環(huán)境地形限制等特征，從此中得到行人更注意哪一些場(chǎng)景區(qū)域的信息，對(duì)后續(xù)其未來軌跡的預(yù)測(cè)起到提高預(yù)測(cè)精度的作用。

1.4.2 社會(huì)注意力模塊

類似于物理注意力模塊，社會(huì)特征向量與第i個(gè)行人的生成器LSTM 的隱藏狀態(tài)被饋送到社會(huì)Attention模塊，得到社會(huì)上下文向量。該向量顯著表示了在預(yù)測(cè)行人i的軌跡時(shí)，其周圍哪一個(gè)行人最值得關(guān)注。

通過引入的兩個(gè)可微軟注意力機(jī)制，整個(gè)模型結(jié)構(gòu)可以通過反向傳播進(jìn)行端到端的訓(xùn)練。

兩個(gè)軟注意力模塊分別對(duì)不同的輸入信息進(jìn)行處理。物理注意力模塊接收?qǐng)鼍暗膱D片特征信息，這些從場(chǎng)景圖片中提取出的物理特征，在經(jīng)過物理注意力模塊處理后再反饋到預(yù)測(cè)模型中，對(duì)生成的預(yù)測(cè)軌跡進(jìn)行修正，得到更符合當(dāng)前場(chǎng)景地形限制的預(yù)測(cè)軌跡。社會(huì)注意力模塊接收訓(xùn)練數(shù)據(jù)中行人之間相對(duì)位移經(jīng)全連接層處理得到的軌跡位移特征信息，此注意力模塊提取對(duì)行人軌跡預(yù)測(cè)最重要的信息，考慮到行人交互的重要性，并反饋至預(yù)測(cè)模型中，得到更符合社交規(guī)范的預(yù)測(cè)軌跡。

社會(huì)注意力和物理注意力模塊聚集了場(chǎng)景中所有涉及到的行人和物理地形的信息，以處理在擁擠地區(qū)對(duì)行人進(jìn)行建模的復(fù)雜交互，同時(shí)增加了預(yù)測(cè)模型的可解釋性。這也以一種有用的方式抑制了輸入數(shù)據(jù)的冗余，允許預(yù)測(cè)模型將重點(diǎn)放在相對(duì)更加重要的特征上。

1.5 生成對(duì)抗模型

當(dāng)前的主流軌跡預(yù)測(cè)方法側(cè)重于在預(yù)測(cè)行人未來軌跡時(shí)，取預(yù)測(cè)的軌跡距真實(shí)未來軌跡的L2 距離最小的路徑，這使得預(yù)測(cè)路徑必須適應(yīng)平均路徑。然而，在本文中，想要預(yù)測(cè)在社會(huì)和物理意義上多條合理的軌跡。由于生成模型可以使用時(shí)間序列數(shù)據(jù)來模擬可能的未來軌跡，因此設(shè)計(jì)了自己的生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)，使用GAN結(jié)構(gòu)解決多模態(tài)輸出的問題。

在本節(jié)中，將介紹GAN模塊，它將對(duì)社會(huì)與物理上下文向量、進(jìn)行加工，在GAN 模塊中進(jìn)行解碼處理，得到在社會(huì)與物理上均有效的輸出軌跡。

生成對(duì)抗模塊由兩個(gè)部分組成，生成器G和用于相互比較的鑒別器D。一方面，G試圖生成社會(huì)和物理上可接受的軌跡來欺騙D。另一方面，D被訓(xùn)練以用來區(qū)分真實(shí)軌跡與G 生成的路徑。這些網(wǎng)絡(luò)同時(shí)在兩人最小最大博弈框架中進(jìn)行訓(xùn)練。最后，G可以穩(wěn)定生成出D不能清楚區(qū)分的軌跡輸出，此時(shí)可以認(rèn)為該輸出是真實(shí)的，實(shí)現(xiàn)了可以接受的訓(xùn)練效果。本文中G 將Xi作為輸入并輸出預(yù)測(cè)軌跡。D的輸入包括真實(shí)的未來軌跡Yi和未來預(yù)測(cè)的整個(gè)序列，最后將它們歸類為“真/假”。

1.5.1 生成器

生成器G 由編碼器和解碼器組成。編碼器旨在實(shí)現(xiàn)從和中提取有意義的特征用于第i個(gè)人的軌跡預(yù)測(cè)。

公式（4）中FCR是使用Relu激活函數(shù)的全連接層，公式（5）中LSTM 指循環(huán)長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)，能夠考慮到前一時(shí)刻的信息并加以處理。Wen和Wencoder是對(duì)應(yīng)網(wǎng)絡(luò)的權(quán)重與偏差。

連結(jié)代理軌跡的隱藏狀態(tài)表示、物理及社會(huì)注意力上下文向量及隨機(jī)噪聲，并將其送入到解碼器中進(jìn)行解碼處理，將解碼后的結(jié)果通過全連接層生成預(yù)測(cè)軌跡。

其中，z是從標(biāo)準(zhǔn)正態(tài)分布里取樣的噪聲向量，MLP是使用Relu激活函數(shù)的多層感知器。Wdecoder和Wde是分別是對(duì)應(yīng)LSTM層和MLP層的權(quán)重與偏差。

1.5.2 判別器

判別器D的結(jié)構(gòu)如下：

其中，是t時(shí)刻來自 [Xi,]或 [Xi,]（真實(shí)軌跡或生成軌跡）的行人坐標(biāo)，hdisi連接了所有時(shí)刻的，Ydisi是分類的結(jié)果。Wen1,Wen2和Wencoder分別是FCR、LSTM 以及MLP 層的權(quán)重和偏差。

1.5.3 損失函數(shù)

除了對(duì)抗性損失LGAN(G,D)之外，還在預(yù)測(cè)軌跡上應(yīng)用了L2 損失LL2(G)，用于測(cè)量生成的預(yù)測(cè)軌跡樣本與實(shí)際軌跡的距離，其中λ是權(quán)重系數(shù)。

2 實(shí)驗(yàn)

2.1 軌跡多模態(tài)性質(zhì)驗(yàn)證

真實(shí)數(shù)據(jù)集中軌跡數(shù)據(jù)比較分散，每個(gè)行人的軌跡路徑都很雜亂，并不能明顯表現(xiàn)出軌跡多模態(tài)的性質(zhì)，因此生成了仿真數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，從而用于驗(yàn)證軌跡數(shù)據(jù)多模態(tài)性質(zhì)。

首先生成簡(jiǎn)單的仿真軌跡數(shù)據(jù)，分別有兩種不同的數(shù)據(jù)形式，二叉樹形以及三叉樹形。二叉樹形具體數(shù)據(jù)為前8 個(gè)時(shí)刻是均從（0，0）到（0，7）從下向上生成的帶噪聲的軌跡點(diǎn)，后8個(gè)時(shí)刻分別向左或向右生成對(duì)應(yīng)的帶噪聲的軌跡點(diǎn)。此16個(gè)軌跡點(diǎn)就是最后得到的二叉樹形仿真數(shù)據(jù)。三叉樹形具體數(shù)據(jù)為前8 個(gè)時(shí)刻也是均從（0，0）到（0，7）從下向上生成的帶噪聲的軌跡點(diǎn)，后八個(gè)時(shí)刻分別向左45°或豎直向上或向右45°生成對(duì)應(yīng)的帶噪聲的軌跡點(diǎn)。此16個(gè)軌跡點(diǎn)就是最后得到的三叉樹形仿真數(shù)據(jù)。生成的二叉樹及三叉樹形仿真軌跡可視化結(jié)果如圖2及圖3所示。

圖2 二叉樹形仿真軌跡數(shù)據(jù)可視化圖

圖3 三叉樹形仿真軌跡數(shù)據(jù)可視化圖

可以看到模擬的仿真軌跡數(shù)據(jù)比較簡(jiǎn)單，可以通過此類簡(jiǎn)單的無屬性軌跡性質(zhì)更好地對(duì)本文的模型進(jìn)行驗(yàn)證而不受到干擾。針對(duì)同一類型的歷史軌跡，本文的模型在多次測(cè)試中能夠?qū)崿F(xiàn)不同可能的預(yù)測(cè)結(jié)果，相應(yīng)也就驗(yàn)證了模型所具有的多模態(tài)預(yù)測(cè)性質(zhì)。進(jìn)行實(shí)驗(yàn)時(shí)，分別對(duì)二叉樹形、三叉樹形的軌跡數(shù)據(jù)進(jìn)行不同數(shù)據(jù)量的模擬訓(xùn)練，在此基礎(chǔ)上又對(duì)軌跡數(shù)據(jù)依據(jù)方向及比例的不同進(jìn)行了實(shí)驗(yàn)，得到的具體測(cè)試結(jié)果如表1、表2所示。

表1 二叉樹形不同樣本測(cè)試結(jié)果

表2 三叉樹形不同樣本測(cè)試結(jié)果

從表1 和表2 測(cè)試結(jié)果數(shù)據(jù)可以看出，隨著訓(xùn)練樣本數(shù)的增加，不論是平衡或非平衡仿真數(shù)據(jù)，從不同方向的訓(xùn)練比例來看，其測(cè)試結(jié)果也慢慢地趨近于與之相對(duì)應(yīng)的初始仿真數(shù)據(jù)的比例。因此，可以得出結(jié)論，生成對(duì)抗GAN 模型能夠生成多樣化的路徑輸出，具備多模態(tài)預(yù)測(cè)的性質(zhì)。

2.2 生成對(duì)抗模型效果評(píng)估

本文在兩個(gè)核心標(biāo)準(zhǔn)數(shù)據(jù)集ETH[16]和UCY[17]上進(jìn)行了基準(zhǔn)比較實(shí)驗(yàn)。這些數(shù)據(jù)集都包含現(xiàn)實(shí)世界的行人在各種社交場(chǎng)合中交互的軌跡。其中包括平凡運(yùn)動(dòng)、行人碰撞、避撞行為和群體運(yùn)動(dòng)。這兩個(gè)數(shù)據(jù)集合起來共有五個(gè)獨(dú)特的場(chǎng)景，Zara1、Zara2、Univ（來自UCY）、Eth和Hote（l來自ETH）。這些基準(zhǔn)數(shù)據(jù)集包含行人、自行車和汽車在大學(xué)校園中航行等獨(dú)特場(chǎng)景的俯視圖。

本文使用了一些基準(zhǔn)方法與本文提出的方法進(jìn)行對(duì)比。其中包括線性回歸[18]，通過最小化最小平方誤差來估計(jì)線性參數(shù)；Social-LSTM，一種將LSTM與社會(huì)統(tǒng)籌層相結(jié)合的預(yù)測(cè)模型，由Alahi 等人提出；和S-GAN，一種將生成建模應(yīng)用于Social-LSTM的預(yù)測(cè)模型。

本文使用平均位移誤差A(yù)DE（Average Displacement Error）以及最終位移誤差FDE（Final Displacement Error）來評(píng)估所有模型。評(píng)估任務(wù)為對(duì)超過8 s 的視頻幀，使用過去8 個(gè)位置組成的前3.2 s 作為輸入，并預(yù)測(cè)最后4.8 s的剩余12個(gè)未來位置。對(duì)于ETH和UCY數(shù)據(jù)集，通過執(zhí)行留一法交叉驗(yàn)證來進(jìn)行評(píng)估，在4個(gè)場(chǎng)景上得到訓(xùn)練參數(shù)，并在剩下的一個(gè)場(chǎng)景進(jìn)行測(cè)試。得到的對(duì)比數(shù)據(jù)如表3及表4所示。

表3 各種軌跡預(yù)測(cè)模型在ADE上的結(jié)果對(duì)比

表4 各種軌跡預(yù)測(cè)模型在FDE上的結(jié)果對(duì)比

根據(jù)表3的實(shí)驗(yàn)結(jié)果，可以得到在計(jì)算平均位移誤差A(yù)DE 這一指標(biāo)時(shí)，本文提出的模型在Eth、Zara1 和Zara2 數(shù)據(jù)集上的預(yù)測(cè)指標(biāo)效果最好。S-LSTM 加入了社會(huì)池化層，S-GAN在整體框架上引入生成對(duì)抗機(jī)制，因此比普通的LSTM 及線性Linear 模型預(yù)測(cè)效果更好。本文提出的模型在以上模型考慮到的基礎(chǔ)上，不僅考慮到了人群中行人間互相交互的因素，還考慮到整體場(chǎng)景地形等因素的限制，從而使得模型預(yù)測(cè)的范圍更為細(xì)致，進(jìn)而可以更加精確地預(yù)測(cè)出行人未來軌跡。根據(jù)表4的實(shí)驗(yàn)結(jié)果，可以得到在計(jì)算最終位移誤差FDE這一指標(biāo)時(shí)，本文提出的模型在Eth、Zara1和Zara2數(shù)據(jù)集上的預(yù)測(cè)指標(biāo)效果最好。值得注意的是，在Hotel 數(shù)據(jù)集場(chǎng)景下，后續(xù)的較復(fù)雜預(yù)測(cè)模型ADE 及FDE 指標(biāo)都不如最基礎(chǔ)的線性回歸Linear模型效果好，這可能跟該場(chǎng)景下行人交互過少，線性的軌跡偏多，考慮的越多反而結(jié)果越不理想，在后續(xù)改進(jìn)中，可以加入對(duì)場(chǎng)景復(fù)雜度的判斷，據(jù)此對(duì)模型進(jìn)行簡(jiǎn)化，不同場(chǎng)景使用不同形式的模型進(jìn)行預(yù)測(cè)，得到更好的預(yù)測(cè)效果。

綜上，本文方法在行人未來軌跡預(yù)測(cè)效果方面可以確認(rèn)有一定的優(yōu)勢(shì)，但因?yàn)樾枰尤雽?duì)整體場(chǎng)景圖片信息的處理，因此對(duì)顯卡的要求也就有相應(yīng)提高，實(shí)驗(yàn)采用的GPU 為GTX1080ti，在如今常見的深度學(xué)習(xí)模型訓(xùn)練配置的范圍內(nèi)，對(duì)整體運(yùn)算成本要求并未提升太多，符合預(yù)期要求。通過與無需處理場(chǎng)景圖片信息的SocialGAN 方法進(jìn)行對(duì)比，如表3、表4 中所示，可以看到，本文方法經(jīng)過多考慮了對(duì)整體場(chǎng)景圖片信息的處理，雖然顯卡等運(yùn)算成本較S-GAN等方法高，但仍然在ADE、FDE等評(píng)價(jià)標(biāo)準(zhǔn)上得到了較大提升，在Eth、Zara2數(shù)據(jù)集上表現(xiàn)更為突出，足以體現(xiàn)出本文方法在綜合性能方面的提升，可以確認(rèn)在行人未來軌跡預(yù)測(cè)效果方面有一定的優(yōu)勢(shì)。

2.3 多模態(tài)軌跡可視化分析

將本文提出的模型在相關(guān)行人標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行了測(cè)試，得到了很好的預(yù)測(cè)效果。在ETH 及UCY 標(biāo)準(zhǔn)行人數(shù)據(jù)集中使用本模型得到的可視化效果圖如圖4及圖5所示。可以看出，該模型可以預(yù)測(cè)出不同場(chǎng)景下行人未來可能的多條合理軌跡，而且能夠基本滿足物理約束和社會(huì)規(guī)范。

圖4 ETH數(shù)據(jù)集場(chǎng)景下軌跡預(yù)測(cè)效果可視化圖

圖5 UCY數(shù)據(jù)集場(chǎng)景下軌跡預(yù)測(cè)效果可視化圖

3 結(jié)束語(yǔ)

針對(duì)復(fù)雜場(chǎng)景下行人軌跡預(yù)測(cè)的問題，本文提出了一種有效的軌跡預(yù)測(cè)模型，該模型在多個(gè)在基準(zhǔn)數(shù)據(jù)集上測(cè)試的結(jié)果優(yōu)于最先進(jìn)的方法。

本文提出的方法利用了完整的環(huán)境信息和場(chǎng)景中行人的交互信息，通過將社會(huì)和物理注意力機(jī)制引入基于LSTM的生成對(duì)抗網(wǎng)絡(luò)中，使用物理注意力機(jī)制考慮整體場(chǎng)景的地形限制等因素，使用社會(huì)注意力機(jī)制考慮多個(gè)行人的交互行為，從而實(shí)現(xiàn)了對(duì)行人未來軌跡可解釋的預(yù)測(cè)。

而生成對(duì)抗網(wǎng)絡(luò)的使用也實(shí)現(xiàn)了行人軌跡預(yù)測(cè)的多模態(tài)性質(zhì)，能夠成功生成多條物理和社會(huì)意義上可接受的路徑。