薛焱中
摘 要:文章提出了一種新型的交通運輸流預測方法。 首先,提出了一個基于時間空間特征的交通流預測模型,其中道路交通流的空間特性的提取是使用圖形卷積網(wǎng)絡(luò)(GCN)進行的。其次,通過一個簡單而強大的可變觸發(fā)周期單元GRU來實現(xiàn)一種隨時序改變的道路網(wǎng)絡(luò);在此基礎(chǔ)上,利用sequence-to-sequence模型對道路各個階段的時間序列進行了評估,并利用該模式來獲取最終的預測結(jié)果。最后,以sequence-to-sequence模型為基礎(chǔ),采用了自動編碼機制對模型進行了結(jié)構(gòu)優(yōu)化,使預報準確率有了很大提高。
關(guān)鍵詞:交通運輸;圖神經(jīng)網(wǎng)絡(luò);深度學習;流量預測;自動編碼機制
中圖分類號:F282;U491文獻標志碼:ADOI:10.13714/j.cnki.1002-3100.2024.10.021
Abstract: In this paper, a new method for traffic flow prediction is proposed. First, a traffic flow prediction model based on spatial-temporal features is proposed. Here, the extraction of spatial features of road traffic flows is implemented using a graphical convolutional network(GCN). In addition, a simple but powerful variable trigger period unit GRU is used to implement a time-varying road network. Based on this, a sequence-to-sequence model is used to predict multiple phases of the sequence and the final predictions are obtained from this model. Finally, on the basis of the sequence-to-sequence model, the structure of the model is optimized using an automatic coding mechanism, which significantly improves the accuracy of the predictions.
Key words: transportation; Graph Neural Network; deep learning; traffic prediction;automatic coding mechanism
0? ? 引? ? 言
近年來,我國的經(jīng)濟高速增長帶來了一系列城市交通問題,包括人均工資水平上升、汽車生產(chǎn)成本增加、道路交通擁堵等。城市快速發(fā)展導致人口激增,但城市規(guī)劃和改善滯后,交通擁堵、環(huán)境惡化以及通勤成本的增加,成為市民生活的難題,也引起了政府的重視。為了更好地規(guī)劃城市交通,節(jié)約時間、提高交通流預測的準確性成為學術(shù)界關(guān)注的焦點。
然而,在交通流量預測方面存在一些挑戰(zhàn),包括道路網(wǎng)絡(luò)的空間依賴性和長期時間的難以預測性。首先,道路網(wǎng)絡(luò)的交通流量受空間相關(guān)性影響,不同路段之間的關(guān)聯(lián)性復雜,而且下游車流對未來的影響較大,這需要建立基于空間相關(guān)性的道路網(wǎng)絡(luò)模型。其次,交通流量具有高度的實時性,受到工作日、假期、交通高峰期和不可預測事件的影響,因此長期預測較為困難。
有關(guān)交通流量預測的研究已經(jīng)有數(shù)十年的歷史,當下主要有知識驅(qū)動和數(shù)據(jù)驅(qū)動兩種研究方法。在運輸與運籌學方面,人們經(jīng)常將隊列理論用于仿真交通中的使用者行為。[1]在時序上,目前仍有幾種數(shù)據(jù)驅(qū)動的方法,例如,自回歸綜合移動平均模型ARIMA,即根據(jù)所探測到的異常點的時間和空間特征,構(gòu)建了一種基于異常點的空間和時間特征的異常樹。這些因果樹的構(gòu)造,既能反映出時空異常量間的反復互動,又能反映出目前的路網(wǎng)設(shè)計中存在的一些不足。[2]另外,卡爾曼濾波方法也是一種新的支持矢量回歸方法。[3]傳統(tǒng)的時間序列模型都是依靠較為穩(wěn)定的假定,但是在實際應用中,交通數(shù)據(jù)常常是非穩(wěn)定的。
通過不同的傳感器采集的速度、體積和密度,可以很好地反映出道路的交通情況。所以,這些數(shù)據(jù)一般被用來進行流量預報。根據(jù)預測的時間長短,可以將交通預測劃分為三個規(guī)模:短時(5~30分鐘)、中期(30~60分鐘)、長期(1小時)。大部分常用的方法在短期預測范圍內(nèi)都有很好的效果。歸根結(jié)底,車流是非常復雜和不確定的,因此,用上述方法進行長時間序列預報是很困難的。
在仿真方面,對交通流量進行預測,必須建立在物理原理和已有的基礎(chǔ)上,對其進行全面、細致的建模。[4]然而,為了實現(xiàn)穩(wěn)定,仿真系統(tǒng)和仿真工具仍需耗費大量的運算能力和熟練的參數(shù)設(shè)定。目前,由于交通數(shù)據(jù)的實時獲取方式與方式的飛速發(fā)展,研究者們開始從大量的歷史數(shù)據(jù)中尋找數(shù)據(jù)挖掘的方法。
交通預測是以排隊理論和模擬為基礎(chǔ)的經(jīng)典交通問題。目前,基于數(shù)據(jù)的交通預測技術(shù)已經(jīng)引起了人們的廣泛重視。但是,目前的機器學習模型不是對數(shù)據(jù)進行了強烈的平滑假定,如自回歸模型或者沒有能夠解釋諸如潛在的空間模型之類的高度非線性的時間相關(guān)性[5]。
在交通預測中,卷積神經(jīng)網(wǎng)絡(luò)也得到了廣泛的應用。有學者將路網(wǎng)轉(zhuǎn)化為具有規(guī)律性的二維網(wǎng)格,然后,利用CNN技術(shù),構(gòu)建了一種新的交通流預測模型。[6]
本文提出了一種基于網(wǎng)絡(luò)空間關(guān)聯(lián)度的預測方法,旨在解決交通流量預測中的復雜因素和難題。這種時空預測模型不僅對交通流量預測具有重要意義,還可以應用于其他時間和空間的預測問題,為城市交通規(guī)劃和相關(guān)領(lǐng)域提供有價值的理論支持。
1? ? 模型構(gòu)建
1.1? ? 基于時空特征的交通流量預測模型
1.1.1? ? 交通流預測問題
交通流量預測主要是利用網(wǎng)絡(luò)中N個相關(guān)傳感器所觀察到的交通流進行預測。用圖表來表示傳感網(wǎng)絡(luò)。
(1)
其中,是節(jié)點集,是邊集。
使用圖形的信號來表示在圖G中所觀察到的交通流量,為各節(jié)點的特征數(shù)目,是在時刻所觀察到的圖形信號,那么,交通流預測問題的目標即為一個函數(shù),該函數(shù)為,給定一個圖,交通量預測問題可以通過將圖形信號從過去時間轉(zhuǎn)移到未來時間來表示,如圖1所示。
1.1.2? ? 交通流量預測過程
在此基礎(chǔ)上,本文提出一種基于時空特性的交通流量預測算法,首先對交通數(shù)據(jù)進行采集,并對其進行訓練,得到最優(yōu)的特征矢量集,再將其輸入到循環(huán)神經(jīng)網(wǎng)絡(luò)中,利用序列-序列模式進行預測。圖2是預測車流的流程圖。
1.2? ? 交通流空間依賴建模
1.2.1? ? 問題定義
為方便對模型進行描述,本節(jié)本文研究了圖卷積網(wǎng)絡(luò)在交通流量預測中的應用。交通預測是指在一定時期內(nèi),根據(jù)以往的車輛行駛速度數(shù)據(jù),預測某一地區(qū)的未來某一時間的路況;由N個測點的M次時間步長測量的歷史流量可以看作是的矩陣。
本文提出了一種無向圖,用于描述路網(wǎng)中的鄰近傳感器站的相互關(guān)系。其中,是傳感器的節(jié)點集;是一個邊集,它代表了交通網(wǎng)絡(luò)中各傳感器的連通性;如果圖G所示的頂點拓撲能夠從原始數(shù)據(jù)獲得,則可以利用連通度求出之前不能得到的節(jié)點拓撲,在沒有求出的情況下,可以根據(jù)節(jié)點之間的間距來構(gòu)造鄰接矩陣。這樣,可以將先前的流量數(shù)據(jù)集合定義為含有M個圖結(jié)構(gòu)的數(shù)據(jù)幀的G,見圖3。
在這個階段,時空交通預測的問題可以表達如下。T表示預測的時間長度。
1.2.2? ? 用圖卷積提取空間特征
卷積神經(jīng)網(wǎng)絡(luò)被廣泛用于大型和高維的數(shù)據(jù)集。含有隱性局部特征的交通變量可以使用CNN成功提取其位置和相鄰性。GCNs已經(jīng)成為一個重要的研究領(lǐng)域,因為這可以實現(xiàn)機器學習。一些研究人員創(chuàng)造性地定義了基于頻譜分析的圖卷積神經(jīng)網(wǎng)絡(luò)(GCNN)[7],這種模型可以處理具有任意圖結(jié)構(gòu)的數(shù)據(jù),且具有與傳統(tǒng) CNNs一樣的線性運算復雜性和不變的學習復雜性。因此,在這里,城市交通數(shù)據(jù)是由圖形卷積網(wǎng)絡(luò)處理的。圖形卷積網(wǎng)絡(luò)的輸入是一個三維張量,大小為,來自數(shù)據(jù)矩陣。
在稀疏圖中,采用圖卷積技術(shù),只需要很少的可訓練參數(shù),就能得到較高的空間信息。圖卷積運算可視為一種具有嚴格位置濾波的地圖瀏覽,利用圖卷積法對鄰近結(jié)點間的信息進行收集、分布。
若無向圖具有大小為N的矢量,則在的頻譜范圍內(nèi)定義了該圖的卷積。拉普拉斯算子,特征值分解,為對角矩陣,為正交陣,s的傅里葉變換是,圖形與的卷積[8]定義如下。
(3)
代表卷積操作?;诖?,可以用濾波器來定義圖關(guān)于矢量的卷積,這里的還代表一個對角陣。
(4)
在實際操作中,這個方程相當于對和向量的圖形卷積進行計算。
(5)
由此,可以把看作是一個圖形的卷積。為減小參數(shù)數(shù)目和本地化過濾器,可以將限定在一個多項式中。,其中為圖的卷積核。接著,可以按以下方式對進行擴展。
(6)
在N個結(jié)點的圖中,可以用N個具有的矢量構(gòu)成的矩陣來表示。這樣,對,對具有的核張量的卷積操作如下。
(7)
其中,和代表輸入和輸出信道的數(shù)目。
每個站點在路網(wǎng)中的位置對車速的影響存在著不均勻性,本文介紹一種用于控制輸入/輸出比率的數(shù)據(jù)依賴門(data-dependent gate)。這種門控機制是通過對每個節(jié)點進行額外的門運算來實現(xiàn)的。道路圖的卷積層用于對地圖中的信息進行控制。 具體來說, 對于定義的圖卷積,是由具有的兩個參數(shù)來驅(qū)動,在圖4中,是的信號,定義為:
。 ? ?(8)
。? ? ? ? ? ? (9)
= 1,2,..., , =1,2,..., = 1,2,..., ,這樣,最后得到的道路圖的卷積層如下。
(10)
若和的尺寸不同,則應使用空白張量,或首先進行線性轉(zhuǎn)換。這樣,路徑圖的卷積層就用 HW來表示。
(11)
上述方法是建立在圖卷積網(wǎng)絡(luò)基礎(chǔ)上的道路網(wǎng)絡(luò)相依性模型。圖4中使用的某些符號說明。在圖卷積網(wǎng)絡(luò)中,對道路網(wǎng)的空間相關(guān)性進行了詳細的描述,并給出了算法。(見圖4)
1.3? ? 路網(wǎng)交通流的時間依賴建模
利用圖神經(jīng)網(wǎng)絡(luò)進行數(shù)據(jù)流處理,并將其嵌入到具有高階特性的傳感網(wǎng)絡(luò)中。在此基礎(chǔ)上,將網(wǎng)絡(luò)引入一種基于周期神經(jīng)網(wǎng)絡(luò)的方法,得到了交通流的時效性。圖5是GRU這個部分的基礎(chǔ)架構(gòu)。
該部分采用了一個基于循環(huán)神經(jīng)網(wǎng)絡(luò)的GRU,在該方法中,當前結(jié)點的輸入信號是,而之前結(jié)點的隱含狀態(tài)則表示為,那么門控遞歸單元GRU 通過和可以得到兩種門控制,下述即為重置門和更新門的公式。
(12)
(13)
在圖卷積網(wǎng)絡(luò)中,是一個權(quán)矩陣,它是需要經(jīng)過訓練的。在獲取了門控信號之后,利用重置門來獲取重新設(shè)置的數(shù)據(jù),再將'與x(t)進行拼合,然后用激活函數(shù),把數(shù)據(jù)壓縮到-1~1之間,即h'。
(14)
表示矩陣的各元素的乘積。此處h'的主要內(nèi)容是由目前的輸入構(gòu)成的數(shù)據(jù),加上h'到目前的隱藏狀態(tài),就等于“記住目前的狀態(tài)”。更新的最后階段使用之前獲得的更新門來同時遺忘和記憶,更新的公式如下。
(15)
和代表 GRU的重置門和更新門,h'代表時間的網(wǎng)絡(luò)輸出。每一個GRU的輸入都包括上一個GRU的輸出,因此可以捕捉到網(wǎng)絡(luò)的時間序列。
在 GRU單元構(gòu)建完畢后,將其作為一個基礎(chǔ)單元,用于生成最后的預測。具體來說就是在編碼和譯碼器中,每個編碼器和譯碼器都由兩層由64個GUR組成的神經(jīng)網(wǎng)絡(luò)所組成的。用來表示地表觀察,預測用來表示。
在交通流量預測模型中,輸入順序是,編碼器產(chǎn)生一個隱藏的變量,然后用譯碼器對進行譯碼。本文對未來15分鐘、30分鐘、60分鐘的流量狀態(tài)進行了探討,并利用預報結(jié)果和實際數(shù)據(jù)進行了損失計算,并利用訓練使損失減至最小。
根據(jù)時間與空間特征的交通流量預測模型,見圖7。
該章節(jié)利用圖神經(jīng)網(wǎng)絡(luò)對交通流量進行空間提取,并將其嵌入到一個高維網(wǎng)格中,并將其嵌入到循環(huán)神經(jīng)網(wǎng)絡(luò)中。再利用序列到序列模式(seq2seq)進行預測。見圖6。
2? ? 實驗環(huán)境與參數(shù)配置
2.1? ? 交通數(shù)據(jù)集
本文以兩個真實場景中的交通流為例,進行了一系列的實驗。因為深度學習需要大量的數(shù)據(jù),所以在這篇論文中,也使用了前人的研究成果。表1中所列的資料的統(tǒng)計結(jié)果如下。
Flow1: 洛杉磯的METR-LA流量資料。為洛杉磯的一條高速公路上的傳感器所采集到的交通信息。采集時間為2012年3月1日到2012年3月7日,每個傳感器的數(shù)據(jù)節(jié)點之間的時間間隔為5分鐘。
Flow2: 深圳羅湖地區(qū)SZ-taxi交通資料。是深圳羅湖156條主要道路上出租車運行的數(shù)據(jù)。采集時間為2015年1月1日到1月31日,每個數(shù)據(jù)節(jié)點之間的間隔為15分鐘。
2.2? ? 數(shù)據(jù)集處理
本實驗使用標準歸一化方法,在不改變原始數(shù)據(jù)分布的情況下,將數(shù)據(jù)變成均值為0,標準差為1的分布。圖8為對數(shù)據(jù)集進行歸一化處理前后部分數(shù)據(jù)繪圖所得,可以看到通過歸一化處理,數(shù)據(jù)集數(shù)據(jù)在不改變其分布的情況下,使數(shù)據(jù)發(fā)生改變。
在對兩個樣本進行歸一化后,將兩個樣本進行相同的分割,其中80%是訓練集,20%是測試集。接著,生成訓練集、測試集和校驗集(Seq2seq模式),該模式是產(chǎn)生與特定的輸入信號周期相對應的真實標志,從而為今后的建模訓練做好準備。
2.3? ? 實驗配置
2.3.1? ? 參數(shù)設(shè)置
本文的交通流量預測模型涉及以下關(guān)鍵參數(shù)。
學習率:在機器學習和統(tǒng)計領(lǐng)域中,學習率是優(yōu)化過程中的重要參數(shù),可以調(diào)節(jié)模型學習速度,通常設(shè)置在0.01至0.001之間,本實驗中學習率設(shè)定為0.01。
循環(huán)次數(shù):為了訓練循環(huán)神經(jīng)網(wǎng)絡(luò)以獲得準確的預測結(jié)果,本實驗進行了多次循環(huán),由于受到實驗環(huán)境的限制,本實驗設(shè)置了200次的循環(huán)。
隱藏層單元數(shù):隨著隱藏層單元數(shù)的增加,模型總體誤差通常會減小,但同時也會增加網(wǎng)絡(luò)復雜性和訓練時間,可能導致過度擬合。本實驗研究了分別設(shè)置為32、64和128的不同隱藏層單元數(shù)情況。
輸入時間和預測時間:輸入時間和預測時間是根據(jù)原始數(shù)據(jù)集中不同節(jié)點流量之間的時間間隔確定的。本實驗中,輸入和預測時間相同,為2小時。
數(shù)據(jù)劃分:本實驗將數(shù)據(jù)劃分為訓練集合和測試集合,采用了80%的數(shù)據(jù)作為訓練集合,20%的數(shù)據(jù)用于測試。
每次處理樣本數(shù):這個參數(shù)表示每次訓練時處理的樣本數(shù)量,它的大小會影響訓練速度。在本實驗中,每次處理64個樣本,這有助于加快訓練速度。
2.3.2? ? 常用交通預測指標介紹
假設(shè)為地表實際觀察值,為預測值,-為觀察樣點的指數(shù),本試驗模式使用下列交通預報指標。
2.3.2.1? ? 平均絕對誤差(MAE)
(16)
2.3.2.2? ? 均方根誤差(RMSE)
(17)
2.3.3? ? 對比方法
本文主要研究了基于傳統(tǒng)機器學習和深度學習的兩種方法。
ARIMA[9]:即自回歸平均滑動法。通過參數(shù)模式擬合所觀察到的時序。
HA:歷史均值法。以歷史流量資料為輸入,對將來的流量進行預測。
LSTM[10]:長短時記憶網(wǎng)絡(luò)。LSTM是一種RNN模型,由遺忘門、輸入門和輸出門組成。
2.3.4? ? 環(huán)境設(shè)置
本文的交通流量預測實驗是通過使用Python語言和tensorflow深度學習框架來實現(xiàn)。
3? ? 實驗結(jié)果分析
3.1? ? 隱藏層單元數(shù)不同時的討論
本節(jié)討論隱藏層單元數(shù)對實驗結(jié)果的影響。實驗設(shè)置輸入時間為2h,輸出時間為各數(shù)據(jù)集單位時間,即數(shù)據(jù)集1的輸出時間為5min,數(shù)據(jù)集2的輸出時間為15min。
圖9為表2、3中實驗數(shù)據(jù)的對比圖。可以觀察到,在一定范圍內(nèi),實驗誤差隨隱藏層單元數(shù)增大而減小,實驗精度隨隱藏層單元數(shù)增大而增加。但超過該范圍時,可能出現(xiàn)“過擬合”的情況,導致測試集上的訓練效果不好。所以,在進行實驗時,需要確定好隱藏層單元數(shù)。
3.2? ? 算法結(jié)果對比
本節(jié)在不同預測時間下對比各算法的結(jié)果,將GCN-GRU模型在上述兩個數(shù)據(jù)集中進行訓練,并與三個基準方法作對比。
本節(jié)實驗中參數(shù)設(shè)置為:學習率0.01,循環(huán)次數(shù)200次,輸入時間2h,隱藏層單元數(shù)32,數(shù)據(jù)80%用作訓練,20%用作測試。
實驗數(shù)據(jù)見表4、表5,從表中可以看出,傳統(tǒng)的預測模型因其本身建模能力的局限性而使其預測效果與真實值不一致,在GCN-GRU模型中,參數(shù)RMSE、MAE對比實驗中其他三個模型數(shù)值更低,精度有明顯提高。
圖10、11為上述表格中部分數(shù)據(jù)的對比圖,可以幫助我們更直觀地對比實驗結(jié)果。
4? ? 實驗結(jié)論
本文主要研究了一種利用圖神經(jīng)網(wǎng)絡(luò)進行交通流量預測的新方法?,F(xiàn)實環(huán)境下的路網(wǎng)交通流量是空間和時間的重要特征,本研究將交通流量與空間相關(guān)性相結(jié)合,并將其與時間相關(guān)的研究成果進行了歸納。
本文比較系統(tǒng)地研究了國內(nèi)外的交通流量預報方法。
采用圖神經(jīng)網(wǎng)絡(luò)建立了基于空間相關(guān)性的道路網(wǎng)絡(luò)交通流量模型。采用圖卷積網(wǎng)絡(luò)進行道路網(wǎng)絡(luò)的形態(tài)學描述,通過卷積運算獲取道路的空間特性;本文提出了一種利用循環(huán)神經(jīng)網(wǎng)絡(luò)捕獲道路網(wǎng)絡(luò)交通流時間依賴的模型。
利用序列-序列模型,Seq2Seq產(chǎn)生預測結(jié)果。在此基礎(chǔ)上,提出了一種基于自編碼器的算法,以減少模型的復雜性,提高了訓練效率。
本文對METR-LA交通數(shù)據(jù)集以及深圳羅湖區(qū)交通數(shù)據(jù)集兩個實際數(shù)據(jù)進行了大量的試驗,提出了兩個常用的交通流量預測評價指標——MAE和 RMSE。實驗表明,與其他方法比較,該模型具有較好的預測性能。
參考文獻:
[1] CASCETTA E.Transportation systems engineering:Theory and methods[M].New York:Springer,2001.
[2] LIU Wei,ZHENG Yu,CHAWLA S,et al.Discovering spatio-temporal causal interactions m traffic data streams[C]//Proceedings??of the 17th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining,San Diego,California,August 21-? 24,2011,New York:Association for Comouting Machinery,2011:1010-1018.
[3] LIPPI M,BERTINI M.FRASCONI P.Short-term traffic flow forecasting: An experimental comparison of time-series analysis? and supervised learning[J].IEEE Transactions on Intelligent Transportation Systems,2013,14(2):871-882.
[4] VLAHOGIANNI E I.Computational intelligence and optimization for transportation big data: Challenges and opportunities[C]//LAGAROS N,? ?PAPADRAKAKIS M.Engineering and Applied Sciences Optimization.Computational Methods in Applied Sciences,Springer,Cham,? ?2015,38:107-128.
[5] YU Hisang-fu,RAO N,DHILLON I S.Temporal regularized matrix factorization for high-dimensional time series prediction[C]//?? ?Proceedings of the 30th International Conference on Neural Information Processing Systems,Barcelona,December,2016,New York:Red?Hook:Curran Associates Inc.,2016:847-855.
[6] LAPTEV N,YOSINSKI J,LI L E,et al.Time-series extreme event forecasting with neural networks at uber[J].International?? ? Conference on Machine Learning,2017,34:1-5.
[7] DEFFERRARD M,BRESSON X,VANDERGHEYNST P.Convolutional neural networks on graphs with fast localized? spectral filtering[C]// Proceedings of the 30th International Conference on Neural Information Processing Systems,Barcelona,?December,2016, New York: Red Hook: Curran Associates Inc.,2016:3844-3852.
[8] SHUMAN D,NARANG S K,F(xiàn)ROSSARD P,et al.The emerging field of signal processing on graphs: Extending high-?dimensional data analysis to networks and other irregular domams[J].IEEE Signal Processing Magazine,2013,30:83-98.
[9] MAKRIDAKIS S,HIBON M.Arma models and the box-jenkins methodology [J].Journal of Forecasting,1997,16(3):147-163.
[10] SUTSKEVER I,VINYALS O,LE Q V.Sequence to sequence learning with neural networks[C]//Proceedings of the 27th International? ? ? ?Conference on Neural Information Processing Systems,Montreal,Semptember,2014,Cambridge: MIT Press,2014,2:3014-3112.