趙嘉雨,段亞茹,何立明

(長(zhǎng)安大學(xué) 信息工程學(xué)院,陜西 西安 710064)

0 引 言

交通速度預(yù)測(cè)是智慧交通系統(tǒng)[1]的主要研究課題之一。早期的方法包括歷史平均模型,其中使用歷史時(shí)期的交通量的平均值作為預(yù)測(cè)值。該方法不能很好地?cái)M合時(shí)間特征,并且預(yù)測(cè)精度較低。以下統(tǒng)計(jì)學(xué)預(yù)測(cè)模型,應(yīng)用在交通預(yù)測(cè)模型上可以更好捕捉交通序列的動(dòng)態(tài)變化。例如,文獻(xiàn)[2]使用的指數(shù)平滑模型和文獻(xiàn)[3]使用的自回歸移動(dòng)平均模型(autoregressive integrated moving average model,ARIMA)。隨著交通預(yù)測(cè)研究的不斷深入,許多交通速度預(yù)測(cè)模型使用機(jī)器學(xué)習(xí)來(lái)提高預(yù)測(cè)精度,機(jī)器學(xué)習(xí)可以重新組織已有的結(jié)構(gòu)使之不斷改善模型性能。文獻(xiàn)[4]使用支持向量回歸(support vector regression,SVR)來(lái)構(gòu)造模型,文獻(xiàn)[5]使用貝葉斯網(wǎng)絡(luò)來(lái)構(gòu)造模型,使得交通預(yù)測(cè)模型的精度得到很大的提升。

深度學(xué)習(xí)是目前研究的主要方向,彌補(bǔ)了機(jī)器學(xué)習(xí)方法需要構(gòu)建特征工程和難以捕捉交通流序列長(zhǎng)期記憶的缺點(diǎn),可以很好地學(xué)習(xí)到交通數(shù)據(jù)的動(dòng)態(tài)特征。使用深度學(xué)習(xí)來(lái)進(jìn)行交通預(yù)測(cè),可以分為兩大類,一類方法考慮時(shí)間依賴性,一類方法考慮空間依賴性。以下方法只考慮了時(shí)間依賴性。例如,文獻(xiàn)[6]使用深度置信網(wǎng)絡(luò)(DBN)和回歸模型組成的模型,從多個(gè)數(shù)據(jù)集上的交通數(shù)據(jù)中捕獲隨機(jī)特征。此外,文獻(xiàn)[7]使用長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(long-short term memory networks,LSTM)來(lái)構(gòu)建模型,LSTM通過(guò)自循環(huán)機(jī)制,更好地捕捉了時(shí)間依賴性,用于預(yù)測(cè)交通速度可以獲得更好的預(yù)測(cè)結(jié)果。文獻(xiàn)[8]使用門控循環(huán)單元(gated recurrent unit,GRU)來(lái)構(gòu)建模型,GRU與LSTM提取時(shí)間特征的思想類似,但是GRU比LSTM訓(xùn)練速度更快。以上交通預(yù)測(cè)模型沒有考慮空間依賴性,獲取到的交通數(shù)據(jù)的變化沒有受到城市道路網(wǎng)的約束,因此不能準(zhǔn)確預(yù)測(cè)道路上的交通狀態(tài)。文獻(xiàn)[9]使用循環(huán)神經(jīng)網(wǎng)絡(luò)(CNN)來(lái)實(shí)現(xiàn)交通速度預(yù)測(cè)任務(wù),該模型可以獲取空間特征。為了更好地描述空間特征和時(shí)間特征,許多研究做出了改進(jìn)。文獻(xiàn)[10]提出了一個(gè)模型,該模型是將卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)與LSTM結(jié)合,從而可以獲取到交通序列的時(shí)空特征,使得預(yù)測(cè)的結(jié)果更加準(zhǔn)確。在時(shí)間序列中,考慮前向和后向數(shù)據(jù)的變化規(guī)律有助于提高模型的擬合精度,文獻(xiàn)[11]利用雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò) (bi-directional long-short term memory,Bi-LSTM) 模型對(duì)高速公路交通流進(jìn)行預(yù)測(cè),結(jié)果表明Bi-LSTM模型預(yù)測(cè)結(jié)果比LSTM模型更接近真實(shí)值。文獻(xiàn)[12]為了充分發(fā)揮CNN對(duì)空間特征的選擇提取能力,同時(shí)利用Bi-LSTM提取時(shí)間特征,構(gòu)建復(fù)合模型,通過(guò)實(shí)驗(yàn)證明該模型的預(yù)測(cè)值與真實(shí)值更貼合,證明了Bi-LSTM挖掘數(shù)據(jù)特征能力比LSTM更強(qiáng),對(duì)于復(fù)雜的回歸問題具有較好的擬合性能。CNN適用于歐幾里得數(shù)據(jù),如圖像和網(wǎng)格,所以CNN在具有非歐幾里得結(jié)構(gòu)的交通網(wǎng)絡(luò)中存在局限性。圖卷積網(wǎng)絡(luò)(graph convolutional network,GCN)[13-14]可以克服上述局限性,捕捉網(wǎng)絡(luò)的結(jié)構(gòu)特征,可以更好地應(yīng)用于復(fù)雜的道路結(jié)構(gòu)。

現(xiàn)有先進(jìn)的模型結(jié)合了GRU和GCN,文獻(xiàn)[15]使用T-GCN模型獲取時(shí)空特征。文獻(xiàn)[16]引入了注意力機(jī)制(attention mechanism),ST-AGTCN模型可以更好地捕捉時(shí)空依賴性,進(jìn)而提高了預(yù)測(cè)交通速度精度。

近些年在計(jì)算機(jī)視覺、自然語(yǔ)言處理等領(lǐng)域?qū)Ρ葘W(xué)習(xí)得到了廣泛應(yīng)用。對(duì)比學(xué)習(xí)主要工作是: 將一個(gè)樣本的不同的、增強(qiáng)過(guò)的新樣本在嵌入空間中盡可能近,然后讓不同的樣本之間盡可能遠(yuǎn)。由此極大地提高了模型的魯棒性。文獻(xiàn)[17]介紹了正則化Dropout (regularized dropout,R-Drop ),R-Drop是對(duì)比學(xué)習(xí)的一種方式,將R-Drop思想應(yīng)用在有監(jiān)督任務(wù)上使得很多模型的實(shí)驗(yàn)結(jié)果都取得了明顯的提升。

為此,提出了GRU-GCN-RDrop模型用于交通預(yù)測(cè)任務(wù)。GRU-GCN-RDrop模型結(jié)合了GCN和GRU,并引入了R-Drop方法。GRU-GCN-RDrop模型不僅可以捕獲時(shí)空特征,而且通過(guò)對(duì)比學(xué)習(xí)提高了模型的泛化能力。

1 模型的構(gòu)建

1.1 交通速度預(yù)測(cè)任務(wù)

交通速度預(yù)測(cè)任務(wù)是一個(gè)典型的時(shí)間序列預(yù)測(cè)任務(wù),文中的研究數(shù)據(jù)是交通速度,表示為X∈RN×T。通過(guò)輸入歷史交通速度X={xt-h+1,xt-h+2,…,xt}∈RN×H和對(duì)應(yīng)時(shí)刻的路網(wǎng)結(jié)構(gòu)G,其中H為輸入數(shù)據(jù)的個(gè)數(shù),預(yù)測(cè)未來(lái)Tp時(shí)段所有節(jié)點(diǎn)的交通速度數(shù)據(jù)Y={yt+1,yt+2,…,yt+Tp}∈RN×Tp。用函數(shù)F來(lái)表示這一過(guò)程,如下:

Y=F[X,G]

(1)

由于道路結(jié)構(gòu)復(fù)雜多樣,對(duì)網(wǎng)絡(luò)的空間依賴建模在具體預(yù)測(cè)任務(wù)中是必不可少的。此外,在現(xiàn)實(shí)世界中,交通狀態(tài)可以隨著時(shí)間的推移而不斷變化。為了實(shí)現(xiàn)捕獲真實(shí)交通數(shù)據(jù)中的時(shí)空依賴性,GRU-GCN-RDrop模型將圖卷積網(wǎng)絡(luò)和門控循環(huán)單元組合起來(lái),在子模型基礎(chǔ)上使用了對(duì)比學(xué)習(xí)提高模型魯棒性。

1.2 圖卷積網(wǎng)絡(luò)

交通預(yù)測(cè)問題中要解決的一個(gè)重要問題就是獲取復(fù)雜的空間依賴關(guān)系。卷積神經(jīng)網(wǎng)絡(luò)可以獲得空間特征,歐式數(shù)據(jù)可以使用CNN模型進(jìn)行空間建模,常見的歐式數(shù)據(jù)有圖像、語(yǔ)音和常規(guī)網(wǎng)格。城市道路網(wǎng)格是非歐式數(shù)據(jù),這類數(shù)據(jù)不能使用CNN模型來(lái)捕捉空間依賴性,圖卷積網(wǎng)絡(luò)可以彌補(bǔ)CNN的缺點(diǎn)。GCN是CNN的推廣,可以對(duì)復(fù)雜拓?fù)浣Y(jié)構(gòu)提取空間關(guān)系。

如圖1所示,獲取圖的空間特征時(shí)需要處理中心節(jié)點(diǎn)和周圍節(jié)點(diǎn)的拓?fù)潢P(guān)系。在預(yù)測(cè)交通速度模型中,利用GCN模型可以提取到中心道路和周圍道路的空間關(guān)系,進(jìn)行信息聚合后捕捉到空間依賴性。GRU-

圖1 GCN模型框架

GCN-RDrop模型中使用了一個(gè)2層的GCN模型,公式表示如下:

(2)

1.3 門控循環(huán)單元

交通預(yù)測(cè)問題中要解決的另一個(gè)重要問題就是獲取時(shí)間依賴關(guān)系。循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)雖然可以處理序列數(shù)據(jù),但是存在局限性。門控循環(huán)單元網(wǎng)絡(luò)(GRU)和長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)是基于RNN的改進(jìn)模型,可以解決RNN無(wú)法處理長(zhǎng)序列依賴關(guān)系捕捉等問題。GRU-GCN-RDrop模型選擇了GRU模型來(lái)從交通數(shù)據(jù)中獲得時(shí)間依賴性,是因?yàn)镚RU模型的結(jié)構(gòu)比LSTM的簡(jiǎn)單,需要訓(xùn)練的參數(shù)也更少,訓(xùn)練時(shí)間也就更短,極大地提高了訓(xùn)練效率。

如圖2所示,GRU中的隱藏單元是一個(gè)特殊的細(xì)胞結(jié)構(gòu)。GRU使用門控機(jī)制可以捕捉長(zhǎng)序列依賴關(guān)系特征,在其內(nèi)部結(jié)構(gòu)中存在重置門和更新門。

圖2 GRU模型

各個(gè)門控的計(jì)算公式如下:

ut=σ(Wu[f(A,Xt),ht-1]+bu)

(3)

rt=σ(Wr[f(A,Xt),ht-1]+br)

(4)

ct=tanh(Wc[f(A,Xt),(rt*ht-1)]+bc)

(5)

ht=ut*ht-1+(1-ut)*ct

(6)

其中,ht-1表示t-1時(shí)刻的輸出同時(shí)也是t時(shí)刻的輸入;rt表示重置門;ut表示更新門;ct表示當(dāng)前記憶內(nèi)容;f(A,Xt)表示圖的卷積過(guò)程,W和b表示訓(xùn)練過(guò)程中的權(quán)重和偏差。

1.4 文中模型

結(jié)合GCN的GRU可以從交通數(shù)據(jù)中獲取空間和時(shí)間上的依賴性,在此基礎(chǔ)上加入對(duì)比學(xué)習(xí)方法R-Drop,從而構(gòu)建了GRU-GCN-DRrop模型,如圖3所示。

圖3 GRU-GCN-RDrop模型

該模型中使用了對(duì)比學(xué)習(xí)中的R-Drop方法,即通過(guò)增加一個(gè)正則項(xiàng),來(lái)強(qiáng)化模型對(duì)Dropout的魯棒性,使得不同的Dropout下模型的輸出基本一致,從而使得簡(jiǎn)單Dropout的效果等價(jià)于多Dropout模型融合的結(jié)果,提升模型最終性能。

圖3中左右兩部分運(yùn)作過(guò)程相同,第一步經(jīng)過(guò)兩層圖卷積網(wǎng)絡(luò)后可以捕獲交通路網(wǎng)的空間特征。第二步是將帶有空間結(jié)構(gòu)的時(shí)間序列數(shù)據(jù)輸入到門控循環(huán)單元,從而就得到數(shù)據(jù)的時(shí)空特征。第三步是經(jīng)過(guò)dropout層,使得左右兩部分的訓(xùn)練不一致。當(dāng)整個(gè)歷史序列輸入完并處理完成后,左右兩部分得到兩個(gè)概率分布。

在每個(gè)小批量訓(xùn)練中,每個(gè)數(shù)據(jù)樣本經(jīng)過(guò)兩次前向傳播,每次經(jīng)過(guò)都由不同的子模型處理,隨機(jī)刪除一些隱藏單元。通過(guò)最小化兩個(gè)分布之間的雙向KL散度(Kullback-Leibler divergence),迫使兩個(gè)子模型輸出的相同數(shù)據(jù)樣本的兩個(gè)分布彼此一致。GRU-GCN-RDrop對(duì)訓(xùn)練中每個(gè)數(shù)據(jù)樣本中隨機(jī)抽樣的兩個(gè)子模型的輸出進(jìn)行正則化,可以緩解訓(xùn)練階段和推理階段之間的不一致性。

1.5 損失函數(shù)

(7)

式中,前兩項(xiàng)用來(lái)最小化實(shí)際車速和預(yù)測(cè)值之間的誤差,第二項(xiàng)對(duì)稱KL散度,用來(lái)規(guī)范模型預(yù)測(cè),α是一個(gè)權(quán)重系數(shù)。

總之,GRU-GCN-DRrop模型可以處理交通數(shù)據(jù)中復(fù)雜的時(shí)空特征。利用GCN來(lái)捕獲城市道路網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu),以獲得空間依賴性。利用GRU捕獲道路上交通信息的動(dòng)態(tài)變化,獲得時(shí)間依賴性。利用對(duì)比學(xué)習(xí)方法R-Drop提高模型泛化能力使得預(yù)測(cè)精度提高,最終完成交通速度預(yù)測(cè)任務(wù)。

2 實(shí)驗(yàn)分析

2.1 數(shù)據(jù)描述

利用SZ-taxi數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。SZ-taxi數(shù)據(jù)集采集到的數(shù)據(jù)為深圳出租車軌跡數(shù)據(jù),此次實(shí)驗(yàn)選取的研究區(qū)域?yàn)榱_湖區(qū),數(shù)據(jù)集采集時(shí)間段為2015年的1月份,共31天。有兩個(gè)矩陣表示數(shù)據(jù),使用一個(gè)鄰接矩陣表示156個(gè)主要道路,大小為156*156。另一個(gè)矩陣中每個(gè)元素代表不同道路在不同時(shí)間段上的交通速度,行代表道路信息,列代表時(shí)間信息。該數(shù)據(jù)集中采樣周期為15分鐘,每15分鐘計(jì)算一次每條路上的車速,共為2 977組數(shù)據(jù)。

2.2 模型訓(xùn)練方法

實(shí)驗(yàn)中,訓(xùn)練集為數(shù)據(jù)集的前80%,測(cè)試集為數(shù)據(jù)集的后20%。對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)處理,輸入數(shù)據(jù)被歸一化到區(qū)間[0,1]。

GRU-GCN-RDrop模型對(duì)實(shí)驗(yàn)中參數(shù)的設(shè)置如下: 學(xué)習(xí)系數(shù)為0.001,,批量大小為64,隱藏單元的數(shù)量為100和R-Drop權(quán)重系數(shù)為0.1.

由于KL散度在訓(xùn)練初期表現(xiàn)得不是很穩(wěn)定,所以訓(xùn)練初期不加入KL散度,只訓(xùn)練帶有dropout的模型,訓(xùn)練次數(shù)設(shè)定為1 000次,再將此模型加上KL散度訓(xùn)練,訓(xùn)練次數(shù)設(shè)定為300次。

2.3 評(píng)價(jià)指標(biāo)

為了評(píng)估GRU-GCN-RDrop模型的預(yù)測(cè)性能,使用5個(gè)指標(biāo)來(lái)評(píng)估真實(shí)交通信息和預(yù)測(cè)值之間的差異,RMSE和MAE來(lái)衡量真實(shí)值和預(yù)測(cè)值之間的誤差,Accuracy來(lái)衡量預(yù)測(cè)精度,R2和Var來(lái)衡量預(yù)測(cè)值是否可以代表真實(shí)值。

(1)均方根誤差(RMSE):

(8)

(2)平均絕對(duì)誤差(MAE):

(9)

(3)精度(Accuracy):

(10)

(4)判定系數(shù)(R2):

(11)

(5)解釋方差(Var):

(12)

2.4 對(duì)比基線模型

為了進(jìn)一步評(píng)價(jià)提出的GRU-GCN-RDrop模型的性能,與以下模型進(jìn)行對(duì)比分析:

(1) HA:歷史平均模型。HA模型通過(guò)計(jì)算歷史交通速度的平均值作為下一時(shí)間段的交通速度預(yù)測(cè)值。

(2) ARIMA:自回歸差移動(dòng)平均模型。ARIMA模型預(yù)測(cè)的序列規(guī)律性越強(qiáng),預(yù)測(cè)結(jié)果越好。

(3) SVR:支持向量機(jī)回歸模型。SVR模型通過(guò)學(xué)習(xí)到數(shù)據(jù)中的非線性關(guān)系來(lái)對(duì)未來(lái)交通數(shù)據(jù)進(jìn)行預(yù)測(cè)。

(4) GCN:圖卷積網(wǎng)絡(luò)。GCN模型捕獲空間特征進(jìn)行交通速度的預(yù)測(cè)。

(5) GRU:門控循環(huán)單元網(wǎng)絡(luò)。GRU模型捕獲時(shí)間特征進(jìn)行交通速度的預(yù)測(cè)。

2.5 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)對(duì)GRU-GCN-RDrop模型及其他基線方法進(jìn)行15分鐘、30分鐘、45分鐘和60分鐘的預(yù)測(cè)。

實(shí)驗(yàn)結(jié)果如表1所示,*表示該值太小,可以忽略不計(jì),說(shuō)明該模型的預(yù)測(cè)效果較差。

表1 GRU-GCN-RD模型和其他基線方法在SZ-taxi數(shù)據(jù)集上的預(yù)測(cè)結(jié)果

從表1可以看出,在這五個(gè)評(píng)估指標(biāo)下,提出的GRU-GCN-RDrop在SZ-taxi數(shù)據(jù)集上都是最佳表現(xiàn),本節(jié)從三個(gè)方面來(lái)分析模型GRU-GCN-RDrop的優(yōu)勢(shì)。

(1)GRU-GCN-RDrop模型的預(yù)測(cè)精度高?；谏疃葘W(xué)習(xí)的模型一般比基于統(tǒng)計(jì)理論的模型具有更好的預(yù)測(cè)精度和更低的均方根誤差。例如,15 min的交通速度預(yù)測(cè)任務(wù),GRU-GCN-RDrop模型和GRU模型的均方根誤差分別比SVR模型低了約46.2%和46.3%,準(zhǔn)確率分別提高了4.2%和1.8%。這主要是由于基于統(tǒng)計(jì)理論的模型只擅長(zhǎng)處理簡(jiǎn)單的、平穩(wěn)的時(shí)間序列數(shù)據(jù)。

(2)GRU-GCN-RDrop模型的時(shí)空預(yù)測(cè)能力強(qiáng)。對(duì)比GCN模型和GRU模型,可以清楚地從表1中看到組合模型(GRU-GCN-RDrop)比單因素的模型(GCN,GRU)有更好的預(yù)測(cè)能力。以15 min的交通速度預(yù)測(cè)為例,GRU-GCN-RDrop的均方根誤差相比GCN的均方根誤差低了56.7%,比GRU的均方根誤差低了5.3%,表明GRU-GCN-RDrop模型可以從交通數(shù)據(jù)中捕獲時(shí)空特征。

(3)GRU-GCN-RDrop模型的長(zhǎng)期預(yù)測(cè)能力強(qiáng)。圖4顯示了GRU-GCN-RDrop模型在不同預(yù)測(cè)范圍內(nèi)的均方根誤差和精度的變化,在不同的預(yù)測(cè)范圍中,誤差和精度的變化不大,具有一定的穩(wěn)定性。圖5顯示了不同基準(zhǔn)模型的均方根誤差比較。可以看出,無(wú)論預(yù)測(cè)范圍如何,GRU-GCD-RDrop模型都能達(dá)到最好的結(jié)果。

圖4 模型在不同預(yù)測(cè)范圍內(nèi)的均方根誤差和精度

圖5 不同基準(zhǔn)方法在不同預(yù)測(cè)范圍內(nèi)的均方根誤差

(4)GRU-GCN-RDrop模型的泛化能力強(qiáng)。與現(xiàn)有先進(jìn)的模型T-GCN和ST-AGTCN進(jìn)行比較,這三種模型都捕捉到了時(shí)空依賴關(guān)系,GRU-GCN-RDrop模型使用R-Drop提升泛化能力使得均方根誤差降低。從表1中可以看出,GRU-GCN-RDrop模型的均方根誤差在不同預(yù)測(cè)范圍內(nèi)都是最低的。

從對(duì)數(shù)據(jù)集中任意兩個(gè)路段提前15分鐘和提前30分鐘預(yù)測(cè)情況的可視化圖中可以發(fā)現(xiàn),GRU-GCN-RDrop模型對(duì)于交通速度的預(yù)測(cè)可以得到良好的結(jié)果,如圖6～圖9所示。

圖6 節(jié)點(diǎn)1在預(yù)測(cè)范圍為15 min內(nèi)可視化結(jié)果

圖7 節(jié)點(diǎn)1在預(yù)測(cè)范圍為30 min內(nèi)可視化結(jié)果

圖8 節(jié)點(diǎn)2在預(yù)測(cè)范圍為15 min內(nèi)可視化結(jié)果

圖9 節(jié)點(diǎn)2在預(yù)測(cè)范圍為30 min內(nèi)可視化結(jié)果

3 結(jié)束語(yǔ)

(1)設(shè)計(jì)了基于GRU-GCN-RDrop組合模型框架,是將GRU和GCN模型結(jié)合,并使用對(duì)比學(xué)習(xí)方法,改善了現(xiàn)有模型預(yù)測(cè)能力。

(2)通過(guò)與5種基準(zhǔn)方法進(jìn)行對(duì)比,實(shí)驗(yàn)表明所提出的交通速度預(yù)測(cè)模型在RMSE、MAE、R2_score、Accuracy、var五個(gè)指標(biāo)上均表現(xiàn)為最佳。

(3)該模型的搭建為交通速度預(yù)測(cè)提供了更準(zhǔn)確的信息,可對(duì)交通部門提供幫助,提高行人出行效率。

(4)為進(jìn)一步推廣交通速度預(yù)測(cè)模型的應(yīng)用,在未來(lái)工作中,對(duì)交通速度的預(yù)測(cè)可以從單步預(yù)測(cè)轉(zhuǎn)換為多步預(yù)測(cè),提升整個(gè)智能交通系統(tǒng)的實(shí)用性。