黃艷國，周陳聰，左可飛

(江西理工大學 電氣工程與自動化學院, 江西 贛州 341000)

0 引言

近年來，高速公路的擁堵問題日益嚴重，隨著社會車輛保有量的增加也逐漸暴露出道路基礎(chǔ)設(shè)施不足的問題，而公路基建的資源瓶頸也影響著交通運輸?shù)陌踩凸芾?。為了對有限的高速公路資源進行最優(yōu)的合理調(diào)度，道路的交通流預測成為了高速路資源分配十分重要的技術(shù)領(lǐng)域，對緩解高速路的擁堵起著至關(guān)重要的作用[1-2]。

隨著科技的發(fā)展，國內(nèi)外相關(guān)學者對公路交通流的預測手段也從傳統(tǒng)的基于參數(shù)預測轉(zhuǎn)變?yōu)楫斚铝餍械姆菂?shù)預測。前者主要以數(shù)理統(tǒng)計和微積分等傳統(tǒng)數(shù)學和物理方法為基礎(chǔ)的預測模型，后者則以現(xiàn)代科學技術(shù)和方法(如神經(jīng)網(wǎng)絡(luò)、深度學習、大數(shù)據(jù))為主要研究手段而形成的預測模型[3]。然而，由于參數(shù)模型適用的局限性且預測精確度的有限性，在一定程度上難以滿足交通流非線性特征的需求[4-5]，因此考慮交通流非線性特征的預測模型也隨之出現(xiàn)。對非參數(shù)模型來說，主要分為淺層機器學習模型和深度學習模型。第1類主要是支持向量回歸(Support Vector Regression，SVR)等淺層模型[6-8]。第2類為長短時記憶網(wǎng)絡(luò)(Long Short-term Memory，LSTM)為代表的循環(huán)神經(jīng)網(wǎng)絡(luò)模型。其中，由于SVR模型對核的選取比較敏感及大量的參數(shù)需求，存在一定的局限性。同時淺層的機器學習模型結(jié)構(gòu)簡單，在處理大規(guī)模的交通流數(shù)據(jù)時會遇到結(jié)構(gòu)瓶頸，難以適應(yīng)大數(shù)據(jù)的車流量信息。而深度學習憑借著計算機技術(shù)發(fā)展和海量的車流量數(shù)據(jù)，逐漸被學者將其應(yīng)用到預測領(lǐng)域并在試驗研究中取得不錯的效果。如王祥雪等[9]將LSTM模型用于交通流預測，其試驗預測結(jié)果顯示LSTM模型比傳統(tǒng)的RNN模型在其數(shù)據(jù)集上的評價指標MAE和RMSE分別有所下降。Fu等[10]首次將門控循環(huán)單元(GRU)應(yīng)用于交通流預測，也取得了不錯的預測效果。Lü等[11]考慮了交通流空間上的相關(guān)性，提出了堆疊式自編碼器(Stacked Autoencoder，SAE)模型。雖然上述深度模型的試驗預測效果很好，但在實際應(yīng)用中，模型存在的一些缺陷也隨之出現(xiàn)。比如LSTM網(wǎng)絡(luò)模型本身無法捕捉數(shù)據(jù)的空間特征，SAE模型沒有考慮時序上的影響。研究學者也針對模型的缺陷進行了相應(yīng)的改進與完善，增加神經(jīng)網(wǎng)絡(luò)深度是提高整體性能的有效方法[12]。Sagheer等[13]提出了一種深度長短期記憶網(wǎng)絡(luò)(Deep LSTM)結(jié)構(gòu)進行時間序列預測，可以更高效地表示長間隔時間序列數(shù)據(jù)的復雜特征，并采用遺傳算法優(yōu)化參數(shù)。由于遺傳算法本身存在收斂速度慢及局部搜索能力不足的特點，導致模型訓練存在不穩(wěn)定性。而Liu等[14]提出了一個新的優(yōu)化算法RAdam，根據(jù)方差分散度，動態(tài)地打開或關(guān)閉自適應(yīng)學習率，既能保證收斂速度快，也不容易掉入局部最優(yōu)解。針對交通流時間序列而言，其周期性、空間和時間相關(guān)性都對下一步的預測效果產(chǎn)生直接的影響，進一步影響到模型預測的準確度[15-17]。因此，如何綜合地提取交通流序列的特征信息是基于深度學習的組合模型亟需解決的關(guān)鍵問題。

為了較為全面地提取交通流特性，本研究根據(jù)現(xiàn)有交通流預測方法存在的不足和最優(yōu)化算法領(lǐng)域的研究成果，提出一種以自動編碼器和長短期記憶循環(huán)網(wǎng)絡(luò)為結(jié)構(gòu)基礎(chǔ)的交通流預測算法。該算法通過引入深層LSTM模型來獲取交通流時間序列潛在的周期性和和時空性特征，利用AE模型作為底層框架，對捕獲的特征信息在空間維度上進行解析和重建，進一步增強對交通流數(shù)據(jù)的時間和空間相關(guān)性能力，并結(jié)合RAdam算法對組合模型進行全局的優(yōu)化訓練，達到更高預測精確度的目的。

1 DLSTM-AE組合模型的構(gòu)建

1.1 時間相關(guān)性信息提取

LSTM模型是遞歸神經(jīng)網(wǎng)絡(luò)(RNN)的一種特殊網(wǎng)絡(luò)架構(gòu)[18]，其核心關(guān)鍵在于提出了細胞狀態(tài)和門機制概念，在一定程度上解決了RNN模型梯度消失問題。但對復雜的時間序列數(shù)據(jù)而言，深層RNN模型與淺層RNN模型相比，可以更好地表達高維度的非線性和長間隔時間特征，能充分學習到時間序列數(shù)據(jù)更深層的關(guān)聯(lián)信息。Deep LSTM(DLSTM)是標準LSTM模型的一種堆疊形式，屬于深層循環(huán)神經(jīng)網(wǎng)絡(luò)。每個LSTM塊都具有多個LSTM單元，每個單元和下一個LSTM塊的對應(yīng)單元存在前饋連接[10,19]。同時，每個塊都在進行不同時間尺度的訓練。這種架構(gòu)在進行反向傳播時可以全局調(diào)整各個塊的參數(shù)，對復雜的交通流時序具有較高的非線性擬合能力[20]。

1.2 空間相關(guān)性信息提取

自編碼器網(wǎng)絡(luò)是一個簡單的3層神經(jīng)網(wǎng)絡(luò)，由輸入層、隱藏層和輸出層依次排列連接，其欠完備自編碼器結(jié)構(gòu)如圖1所示。AE作為生成模型，每層訓練都采用無監(jiān)督學習算法，其訓練過程由Encoder和Decoder 2個階段組成。交通流數(shù)據(jù)經(jīng)過Encoder映射到隱藏層。在該階段，生成模型會將輸入數(shù)據(jù)進行壓縮表示，進行降維，捕獲輸入的深層特征。再通過Decoder，對原始數(shù)據(jù)進行重建，生成與輸入數(shù)據(jù)對應(yīng)的編碼格式。

圖1 欠完備自編碼器結(jié)構(gòu)圖(n∈R,j∈R,m

給定1個未標記的交通流輸入數(shù)據(jù)集Xn∈Rm(n=1，2，3，…，N);m,N∈R。AE 2個階段用公式表示為：

H(x)=f(U1x+b1)，

(1)

(2)

1.3 基于DLSTM-AE組合模型的預測

本研究提出了一種新架構(gòu)作為自編碼器原始架構(gòu)的變體，使其能夠從時間序列問題中提取特征。特別是，本研究將原始AE架構(gòu)從前饋神經(jīng)網(wǎng)絡(luò)基礎(chǔ)更改為DLSTM循環(huán)網(wǎng)絡(luò)基礎(chǔ) (如圖2所示)，并將其表示為基于DLSTM的自動編碼器(DLSTM-AE)。DLSTM-AE依賴于循環(huán)神經(jīng)網(wǎng)絡(luò)，更適合對時間序列數(shù)據(jù)進行建模[14]。DLSTM-AE模型的結(jié)構(gòu)如圖2所示。

圖2 DLSTM-AE模型的架構(gòu)Fig.2 Architecture of DLSTM-AE model

DLSTM-AE模型的預測步驟如下：

步驟1 對原始數(shù)據(jù)進行歸一化，再根據(jù)預測目標的間隔時間重新劃分成新的訓練集和測試集。

步驟2 隨機初始化DLSTM-AE模型中的參數(shù)W和b，將訓練集數(shù)據(jù)Xt(x1,x2,x3,…,xn),n∈R送入Encoder模塊，通過DLSTM模型讀取輸入數(shù)據(jù)并將其編碼為學習到的表示向量(h1,h2,h3,…,hm,m

步驟6 在訓練網(wǎng)絡(luò)，調(diào)整參數(shù)階段，考慮訓練期間的變化和動量的影響，選擇RAdam優(yōu)化器對涉及的權(quán)重進行迭代更新。

步驟7 訓練模型之后，經(jīng)測試集得出最終的預測序列Y={Yt-(k-1),Yt-(k-2),Yt-(k-3),…,Yt}，Yt為模型在t時刻的預測值，Y為模型在t時刻的預測序列。

2 基于RAdam的模型優(yōu)化算法

在以往的模型訓練過程中，大多數(shù)采用Adam算法進行參數(shù)優(yōu)化。由于Adam優(yōu)化器在訓練初期二階矩的方差會非常大，而二階矩指數(shù)Vt與優(yōu)化器的更新梯度方向有關(guān)，因此Adam參數(shù)更新量的方差也會很大，容易導致在尋找最優(yōu)解過程中收斂到局部最優(yōu)?；贏dam改進的Radam優(yōu)化器的算法優(yōu)勢在于使用warmup的方法進行初期預熱，即在訓練開始階段，由隨機梯度下降SGD和動量Momentum進行預熱，縮小方差。以達到模型更高預測精度的同時提高訓練的時效性。RAdam算法步驟描述如表1所示。

表1 RAdam算法步驟Tab.1 Steps of Radam algorithm

當樣本批量batch-size大小為256，迭代次數(shù)epochs大小為600，滑動窗口lag為12，Encoder-LSTM層數(shù)為3，Decoder-LSTM層數(shù)為3，LSTM塊隱藏神經(jīng)元個數(shù)為32，激活函數(shù)為ReLU時，在訓練集上的損失函數(shù)表現(xiàn)如圖3所示。

由圖3可知，在損失函數(shù)在訓練集和驗證集的測試中，與Adam優(yōu)化器比較，RAdam對學習率變化具有良好的時效性和魯棒性。

圖3 RAdam 和Adam分別在訓練集和驗證集上的損失函數(shù)Fig.3 RAdam and Adam in training set and verification set respectively注：圖中驗證集的損失函數(shù)為執(zhí)行驗證集劃分validation_split=0.05后的損失值。

3 仿真結(jié)果與分析

3.1 試驗環(huán)境與數(shù)據(jù)來源

本研究試驗基于TensorFlow中的Keras神經(jīng)網(wǎng)絡(luò)庫，在PyCharm開發(fā)環(huán)境(Windows10專業(yè)版，CPU為2.3 GHz，4核，Inter(R) Core(TM) i5-6300HQ，16GB內(nèi)存)中完成模型的搭建及訓練。選取的數(shù)據(jù)集來自美國加利福尼亞州運輸部交通流數(shù)據(jù)集(Performance Measurement System, PeMS)，其數(shù)據(jù)是從跨越加利福尼亞州所有主要大都市區(qū)的高速公路的各個探測器實時收集。通過篩選掉那些節(jié)點間距小于5.6 km的檢測器，用線性插值法填充缺失值并將輸入數(shù)據(jù)歸一化至[0, 1]區(qū)間。進行預處理后的數(shù)據(jù)集包含12 096組數(shù)據(jù)，其中訓練集包含7 777組數(shù)據(jù)，測試集包含4 321組數(shù)據(jù)。時間范圍從2016年1月4日至2016年3月31日，每組數(shù)據(jù)的時間間隔為5 min。

3.2 評價指標

在試驗過程中，為了科學評估DLSTM-AE組合模型的性能，選用均方根誤差RMSE、平均絕對誤差MAE和相關(guān)系數(shù)R2作為模型的評價指標。

(3)

(4)

(5)

3.3 模型參數(shù)設(shè)置

經(jīng)多次模型訓練調(diào)試后，最終確定模型參數(shù) batch-size為256，epoch為600次，時間步長為12，激活函數(shù)選擇ReLU，Encoder解析后的表示向量長度m和Decoder重構(gòu)后的狀態(tài)向量長度j均為6，并且將validation-split設(shè)置為0.05。

3.4 基于交通流時空性的預測結(jié)果對比分析

為了驗證所提出模型的有效性，選取一些基準神經(jīng)網(wǎng)絡(luò)預測模型作為對照組，而本研究提出的模型設(shè)置為試驗組，通過試驗驗證進行對比分析。試驗數(shù)據(jù)仍來源于PeMS數(shù)據(jù)集中，該數(shù)據(jù)的測試集時間間隔為5 min。其中對照組的試驗模型分別為門控循環(huán)單元模型(GRU)、長短時記憶網(wǎng)絡(luò)模型(LSTM)、雙向長短時記憶網(wǎng)絡(luò)模型(BiLSTM)和堆疊式自編碼網(wǎng)絡(luò)模型(SAEs)。就試驗預測模型的優(yōu)化器而言，試驗組選擇RAdam優(yōu)化器，對照組選擇RMSprop優(yōu)化器。根據(jù)試驗組所測試的各項參數(shù)結(jié)果，對照組與試驗組的訓練參數(shù)保持一致。各試驗模型在該數(shù)據(jù)集上的評估指標如表2所示。

表2 基于PeMS數(shù)據(jù)集的預測結(jié)果Tab.2 Evaluation result based on PeMS dataset

從表中可知，DLSTM-AE模型在PeMS數(shù)據(jù)集上的平均預測RMSE、MAE值均小于對照組模型，R2值均大于對照組模型，訓練時間與GRU模型接近。相比對照組，試驗組的RMSE值下降了約0.445～1.826，MAE值下降了約0.282～0.984，R2值提高了約0.005～0.023。而在訓練時間上，SAEs模型雖用時最短，其原因在于采用自下而上逐層的非監(jiān)督預訓練，減少了反向傳播的時間。但其RMSE和MAE值相比較與試驗組分別高出約9.70%與10.43%，R2值降低約1.16%。

試驗結(jié)果表明，本研究提出的DLSTM-AE組合模型結(jié)合了循環(huán)記憶網(wǎng)絡(luò)的預測精確度和自編碼器的時效性，在PeMS數(shù)據(jù)集上的預測表現(xiàn)最優(yōu)。

3.5 基于交通流周期性的預測結(jié)果對比分析

為了進一步分析交通流的周期性和時空特性，基于PeMS數(shù)據(jù)集，分別對2016年3月的2周內(nèi)多個特定的工作日(星期一、星期三、星期五)進行預測，以更好地評估組合模型的預測性能。DLSTM-AE模型與對照組模型的預測結(jié)果如表3和表4所示。

由表3和表4可知，從相鄰周的多個特定工作日來看，DLSTM-AE模型隨著預測步長增加在評估指標RMSE和MAE值也逐漸上升，R2緩慢下降。表明預測時間的長短對模型性能有較大的影響。但相比較于對照組模型的試驗數(shù)據(jù)，DLSTM-AE組合模型的性能評價指標更具有中心化，模型泛化能力更強。對于試驗模型架構(gòu)來說，DLSTM-AE組合模型對預測時間步長的增加導致模型誤差積累的趨勢具有減緩效果，彌補了單一模型在長時間預測能力上的不足。

表3 DLSTM-AE模型與對照組模型在第k周下的預測結(jié)果Tab.3 Prediction result of DLSTM-AE model and control model in kth week

表4 DLSTM-AE模型與對照組模型在第k+1周下的預測結(jié)果Tab.4 Prediction result of DLSTM-AE model and control model in (k+1)th week

DLSTM-AE組合模型與對照組模型在特定工作日下早高峰時間段的車流量預測結(jié)果如圖4所示。

圖4 試驗模型在多個特定工作日下的預測結(jié)果Fig.4 prediction result of experimental model in multiple specific working days

由圖4可知，通過對比2幅圖的曲線擬合結(jié)果，DLSTM-AE模型在實際交通流周期性和時空性的預測數(shù)據(jù)更加貼合真實數(shù)據(jù)。當車流量處于高峰時，交通流量處于快速突變狀態(tài)，會增加交通流預測的難度，但DLSTM-AE模型對比對照組模型可以較好地追蹤真實交通流量，較少出現(xiàn)異常的預測值。當車流量處于急劇變化的周期內(nèi)，會造成模型預測值的精確度下降，而DLSTM-AE模型在此周期結(jié)束的下一刻仍準確預測交通流的變化趨勢。

4 結(jié)論

本研究將對交通流時序數(shù)據(jù)的時間維上具有良好擬合效果的DLSTM模型與對空間維上具有優(yōu)勢的AE模型進行組合，充分挖掘了交通流的時空信息。利用RAdam優(yōu)化算法解決深層循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度退化問題，從而提高了交通流量預測的準確率。通過仿真試驗，對比常用的LSTM，BiLSTM，GRU和SAEs預測模型，對多個特定工作日的交通流進行了預測。本研究提出的組合模型在預測精確度和時效性上均有較好的表現(xiàn)。在相鄰周對應(yīng)工作日的預測結(jié)果來看，DLSTM-AE組合模型的預測誤差更小，時效性更強，這對城市道路的管理具有重大意義。在后續(xù)的工作中，應(yīng)考慮天氣等其他因素的影響，同時模型的實際應(yīng)用價值也值得進一步研究。