王德廣, 張軼楠

(大連交通大學(xué), 軟件學(xué)院，遼寧, 大連 116028)

0 引言

短時交通流預(yù)測在改善日益復(fù)雜的現(xiàn)代交通方面是極其重要的一環(huán)。通過對現(xiàn)有交通數(shù)據(jù)的分析，預(yù)測出各個路段未來短時間內(nèi)可能產(chǎn)生的交通流量，從而提前掌握交通管控的主動權(quán)。一方面，由于短時交通存在時間短、不確定性高的特點(diǎn)，受到的影響因素有很多，比如節(jié)假日、天氣等；另一方面，每個人生活出行又呈現(xiàn)出固定性，比如日常的上班、上學(xué)等，這樣短時交通流預(yù)測就可以從中找出規(guī)律，進(jìn)行合理預(yù)測。

在過去的幾十年間，很多從業(yè)者及專家學(xué)者不斷鉆研、創(chuàng)新，建立了多種指揮交通的管理系統(tǒng)，與此同時許多數(shù)據(jù)分析模型也已逐步成熟[1]。例如循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)等。20世紀(jì)90年代，在機(jī)器學(xué)習(xí)的基礎(chǔ)上衍生出集成學(xué)習(xí)的概念：通過構(gòu)建并結(jié)合多個學(xué)習(xí)器來完成學(xué)習(xí)任務(wù)[2]。

因此，本研究針對短時交通流量預(yù)測設(shè)計了以長短時記憶神經(jīng)網(wǎng)絡(luò)(Long-and Short-Term Memory，LSTM)[3]、門控循環(huán)單元(Gated Recurrent Unit，GRU)[4]及棧式自編碼器(Stacked Auto Encoder，SAE)，在簡單循環(huán)單元(Simple Recurrent Units，SRU)模型中進(jìn)行融合的回歸組合預(yù)測LGSS模型。

1 回歸組合預(yù)測模型

1.1 集成學(xué)習(xí)

在各種機(jī)器學(xué)習(xí)任務(wù)中為了追求預(yù)測結(jié)果準(zhǔn)確率更高，可采用組合多個基分類器的方式，這種方式稱為集成學(xué)習(xí)(Ensemble Learning)，如圖1所示。

圖1 集成學(xué)習(xí)示意

基分類器通常指的是單一的弱可學(xué)習(xí)(Weakly Learnable)，分類器使用集成學(xué)習(xí)的方法，可組合成一個強(qiáng)可學(xué)習(xí)(Strongly Learnable)分類器[5]。在圖1中可以看出強(qiáng)學(xué)習(xí)器由弱學(xué)習(xí)器組成的過程。

本研究從回歸問題的角度采用集成學(xué)習(xí)中的Averaging方法進(jìn)行交通流預(yù)測實(shí)驗(yàn)。

1.2 LSTM神經(jīng)網(wǎng)絡(luò)

LSTM相較于RNN的優(yōu)勢在于利用門限機(jī)制，對信息的累計速度進(jìn)行把控。該模型主要由3個階段組成，分別為輸入門(it)、遺忘門(ft)以及輸出門(ot)。這3個門控制可以把控傳輸狀態(tài)，保存需要長時間記憶的信息，遺忘不重要的信息。LSTM模型的控制特點(diǎn)使其能夠長時間記憶歷史數(shù)據(jù)的狀態(tài)及自動匹配最佳的時間間隔[6]。

整個存儲單元計算過程可以用如下公式表示:

it=σ(wxixt+whiht-1+wcict-1+bi)

(1)

ot=σ(wxoxt+wh0ht-1+wcoct-1+b0)

(2)

ft=σ(wxfxt+whfht-1+wcfct-1+bf)

(3)

ct=ft⊙ct-1+it⊙tanh(wxcxt+wkcht-1+bc)

(4)

ht=ot⊙tanh(ct)

(5)

式中,LSTM模型在t時刻的所有輸出定義為ht，σ()及tanh()為激活函數(shù)，w和b表示權(quán)重系數(shù)矩陣和偏置，σ和tanh分別代表Sigmoid和雙曲線正切函數(shù)。

1.3 GRU神經(jīng)網(wǎng)絡(luò)

GRU與LSTM類似，針對門控制進(jìn)一步優(yōu)化。在結(jié)構(gòu)和計算上更加簡單，只存在更新門和重置門，同時能夠保證避免梯度消失以及爆炸的出現(xiàn)[7]，如

zt=σ(wz·[ht-1,xt])

(6)

rt=σ(wr·[ht-1,xt])

(7)

(8)

首先將xt與ht-1拼接進(jìn)行線性變換，使用Sigmoid激活，計算得出更新門(zt)和重置門(rt)的門值，通過重置門門值作用在ht-1上，就可以得到上一時間所傳來信息可利用的數(shù)量。接著將重置后的ht-1代入基礎(chǔ)的RNN算法中進(jìn)行計算，得到新的ht。最后不同時間的更新門的門值會作用在相對應(yīng)的ht上，計算得到的ht之和，從而確定隱含狀態(tài)輸出的ht。

1.4 SAE神經(jīng)網(wǎng)絡(luò)

SAE模型作為深度神經(jīng)網(wǎng)絡(luò)模型，是由多層稀疏自編碼器組成的[8]。

SAE屬于非監(jiān)督學(xué)習(xí)算法，使用它進(jìn)行計算操作時必須同時滿足以下2種約束。

(1)autoencoder(輸入等于輸出)：

hw,b(x)≈x

(9)

(10)

1.5 SRU神經(jīng)網(wǎng)絡(luò)

SRU是依據(jù)循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)演化而來的深度學(xué)習(xí)模型。與LSTM 和GRU擁有類似的結(jié)構(gòu)，SRU也是基于“門控”結(jié)構(gòu)構(gòu)建[9]。

在圖2所示的單層SRU中輕度循環(huán)(Light Recurrence)和高度網(wǎng)絡(luò)(High Network)是2部分創(chuàng)新。

圖2 SRU 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

SRU第一個重要部分通過“高度網(wǎng)絡(luò)”讀取輸入數(shù)據(jù)信號xt并計算細(xì)胞狀態(tài)ct的序列，從而獲取序列信息。其中Wf、W、bf是需要進(jìn)行訓(xùn)練得出的參數(shù)矩陣，ft是遺忘門。

SRU第二個重要部分是高度網(wǎng)絡(luò)，又被稱為跳躍連接，重置門rt用于組合數(shù)據(jù)信號xt以及當(dāng)前細(xì)胞狀態(tài)ct，跳躍連接式為

rt=σ(Wtxt+br)

(11)

ht=rt×g(ct)+(1-rt)×xt

(12)

其中，Wt和br為神經(jīng)網(wǎng)絡(luò)訓(xùn)練得出的參數(shù)矩陣，(1-rt)×xt稱為跳躍式傳遞，也可稱為殘差連接。

1.6 評價指標(biāo)

在交通流預(yù)測領(lǐng)域，主要通過以下指標(biāo)來評價模型的預(yù)測準(zhǔn)確性[10]。

(1)絕對平均誤差(MAE)

(13)

(2)平均絕對百分比誤差(MAPE)

(14)

(3)根均方誤差(RMSE)

(15)

(4)均方誤差(MSE)

(16)

(5)決定系數(shù)(R2)

(17)

將所獲數(shù)據(jù)中的實(shí)際值(xi)以及對應(yīng)時間的預(yù)測值(yi)代入式中，得到最終的預(yù)測精準(zhǔn)度。

為了充分比較本研究使用的LGSS組合模型與3種單一模型的預(yù)測精準(zhǔn)度，采用上述5種評價指標(biāo)多角度分析。

2 LGSS模型

在處理許多機(jī)器學(xué)習(xí)問題中，將多種預(yù)測值取平均，能得到更為準(zhǔn)確的結(jié)果。因此，采取對多個結(jié)果取平均值的方法建立LGSS模型，如圖3所示。

圖3 LGSS模型示意圖

在 Pycharm中導(dǎo)入Keras模塊，將訓(xùn)練集時間序列數(shù)據(jù)以CSV格式存儲，用np.array()方法將數(shù)據(jù)提取，分別放入LSTM、GRU和SAE 3種單一模型中，并設(shè)置R2、RMSE、MAPE、MSE、和 MAE函數(shù)對模型預(yù)測的精準(zhǔn)度進(jìn)行評估，反復(fù)進(jìn)行實(shí)驗(yàn)、調(diào)整參數(shù)，最終訓(xùn)練后在3種神經(jīng)網(wǎng)絡(luò)模型中得到各自預(yù)測的結(jié)果以及精準(zhǔn)度。

接下來是LGSS模型中最重要的部分，將3種單一模型預(yù)測的結(jié)果放入SRU模型中進(jìn)行融合，取3種單一模型預(yù)測結(jié)果值的平均值。數(shù)據(jù)導(dǎo)入步驟與前3種單一模型相同，接著導(dǎo)入封裝好的 SRU 程序。在RNN 模型眾多同類變形中，計算的先后順序不同會直接影響結(jié)果值，前一期細(xì)胞狀態(tài)的數(shù)值大小決定后一期遺忘門和細(xì)胞狀態(tài)的數(shù)值大小。因此，必須等到前期計算全部結(jié)果完成后，后期計算才可以開始。以下是SRU的計算式：

(18)

ft=σ(wfxt+bf)

(19)

ct=ft×ct-1+(1-ft)×Wxt

(20)

式(14)和式(15)中并沒有t-1的滯后項(xiàng)存在，這是SRU模型的最大特點(diǎn)，它采用逐點(diǎn)乘積的計算方式，可以在多個維度和不同步驟中實(shí)現(xiàn)并行計算，因此SRU模型相較于其他模型進(jìn)行相同數(shù)據(jù)量計算操作時，所用計算時間更少。用Sequential函數(shù)將整個神經(jīng)網(wǎng)絡(luò)進(jìn)行初始化，設(shè)置隱含層單元數(shù)量為32，輸入向量長度為6，輸出是1。SRU具有高度網(wǎng)絡(luò)的特點(diǎn)，神經(jīng)網(wǎng)絡(luò)中使用了殘差連接，相當(dāng)于為每一個損失函數(shù)對當(dāng)前細(xì)胞狀態(tài)的偏導(dǎo)數(shù)提供一個恒等項(xiàng)1，導(dǎo)數(shù)值df/dh很小，此方法依舊可以保證誤差反向傳播的有效性，因此高度網(wǎng)絡(luò)能夠有效防止梯度消失。最后依舊使用R2、RMSE、MAPE、MSE、和MAE函數(shù)進(jìn)行計算和度量，最終輸出LGSS組合模型的擬合效果值。

此算法模型的資源消耗主要集中在3種基本模型對各個時間段的交通流數(shù)據(jù)進(jìn)行訓(xùn)練:時間復(fù)雜度是O(1+n2+n)，根據(jù)推導(dǎo)大O階的方法，時間復(fù)雜度確定為O(n2)；在SRU模型計算的時間復(fù)雜度為O(n)，最終LGSS模型的時間復(fù)雜度為O(n2)。

3 實(shí)驗(yàn)

實(shí)驗(yàn)環(huán)境：Windows 7

開發(fā)工具：PyCharm、Tensorflow

3.1 數(shù)據(jù)集

采用PeMS系統(tǒng)(Performance Measurement System)中的數(shù)據(jù)進(jìn)行分析預(yù)測，該系統(tǒng)由美國加州交通運(yùn)輸部提供，其數(shù)據(jù)集在交通流的預(yù)測研究中使用最廣泛。此數(shù)據(jù)集中選取多個路段，每5 min對各個路段的交通流數(shù)據(jù)進(jìn)行采集。選取2016年1月到4月共12 098條數(shù)據(jù)，按照約4∶1的比例劃分訓(xùn)練集與測試集。

3.2 組合算法分析與結(jié)果比較

(1)首先，使用 LSTM、GRU、SAE等3種單一模型對數(shù)據(jù)進(jìn)行計算、訓(xùn)練和結(jié)果預(yù)測，見表1、圖4。

表1 LSTM/GRU/SAE預(yù)測結(jié)果誤差比較

圖4 3種單一模型與真實(shí)值比較曲線圖

(2)將LSTM、GRU、SAE等3種單一模型得到的預(yù)測結(jié)果值放入SRU單層模型中，最后獲取LGSS組合模型的預(yù)測精準(zhǔn)度：MAE為7.894 6，MAPE為25.004 7%，RMSE為10.550 6，MSE為111.316 2，R2為0.931 5。

從以上5個指標(biāo)可以看出，LGSS模型相較其他3種單一模型預(yù)測精準(zhǔn)度更高，如圖5所示。

圖5 單層SRU模型與真實(shí)值比較曲線圖

(3)在單層SRU的基礎(chǔ)上進(jìn)行多次迭代，結(jié)果見表2。

從表2可以看出，當(dāng)LGSS模型中SRU進(jìn)行4次迭代時預(yù)測精準(zhǔn)度最高、誤差最小，如圖6所示，但是迭代次數(shù)超過5次后，精準(zhǔn)度下降、誤差變大。

圖6 SRU多次迭代時LGSS模型與真實(shí)值比較曲線圖

表2 SRU多次迭代時LGSS預(yù)測結(jié)果值

用本研究其中3個評價指標(biāo)與文獻(xiàn)[11]和文獻(xiàn)[12]所做的短時交通流預(yù)測實(shí)驗(yàn)結(jié)果對比見表3。

表3 與其他作者實(shí)驗(yàn)結(jié)果對比

從表3中結(jié)果對比可以看出，本論文所進(jìn)行的一系列實(shí)驗(yàn)結(jié)果效果優(yōu)于其他作者的實(shí)驗(yàn)結(jié)果，LGSS模型中SRU為單層時，預(yù)測精準(zhǔn)度已經(jīng)優(yōu)于其他單一模型，在SRU經(jīng)過4次迭代后精準(zhǔn)度已經(jīng)有明顯提升。

(4)SRU模型具有的高度網(wǎng)絡(luò)和輕循環(huán)結(jié)構(gòu)特點(diǎn)使其可進(jìn)行并行運(yùn)算，使其在計算速度上優(yōu)勝于其他模型。在同為2次迭代時，將LSTM與LGSS組合模型(此時為單層SRU)分別運(yùn)行10次，取10次運(yùn)行時間的平均值，在LSTM模型下每次運(yùn)行時間為1.056 4 s，組合模型運(yùn)行的模型為0.530 6 s。在保證精度的前提下，組合模型(此時SRU為4次迭代)每次運(yùn)行時間為0.749 1 s。通過比較單一模型與組合模型的計算時間，可以看出，由于SRU的存在，組合模型比單一模型計算時間縮短很多。

4 總結(jié)

LGSS模型樣本數(shù)據(jù)采集時間間隔為5 min一次，平均反映時長0.75 s，MAE值可控制在7.8%以下。當(dāng)采集時間間隔更短時，LGSS模型計算所需時間略長于采集時間間隔為5 min的計算時間。由于在日常生活中節(jié)假日占比較少、極其惡劣天氣發(fā)生概率較低，其產(chǎn)生的影響不大，所以為了保持LGSS模型的適用性，在數(shù)據(jù)清洗階段將節(jié)假日期間的數(shù)據(jù)刪除，并排除了天氣影響的因素。如果需要研究節(jié)假日及特殊時間的短時交通流預(yù)測，將指定數(shù)據(jù)放入LGSS模型計算即可。

由于現(xiàn)代交通相較于傳統(tǒng)交通更加復(fù)雜，交通流不確定性很高，同時具有高度非線性的特點(diǎn)，單一模型進(jìn)行短時交通流預(yù)測時往往精準(zhǔn)度不高。本論文采用集成學(xué)習(xí)的Averaging方法，將LSTM、GRU、SAE等3種單一模型與SRU模型進(jìn)行融合組成LGSS模型，將3種單一模型的預(yù)測結(jié)果取平均值。實(shí)驗(yàn)結(jié)果表明，組合后的模型較單一模型能有效地避免數(shù)據(jù)過度擬合，提升了預(yù)測的精準(zhǔn)度，減小了誤差。