李靜宜，丁 飛*，張 楠，李湘媛，顧 潮

(1.南京郵電大學(xué) 物聯(lián)網(wǎng)學(xué)院，江蘇 南京 210003；2.南京郵電大學(xué) 江蘇省寬帶無線通信和物聯(lián)網(wǎng)重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210003)

0 引言

“十三五”以來，我國高速公路發(fā)展總體適應(yīng)經(jīng)濟(jì)社會發(fā)展需要，但與高質(zhì)量發(fā)展和構(gòu)建新發(fā)展格局要求相比，高速公路補(bǔ)短板、強(qiáng)弱項(xiàng)、增質(zhì)效任務(wù)仍然艱巨，轉(zhuǎn)型發(fā)展亟待加快。信息化智慧化建設(shè)相對滯后，信息資源配置較為分散，運(yùn)行監(jiān)控、預(yù)測預(yù)警等信息管理平臺不完善，數(shù)字化新技術(shù)、新手段運(yùn)用較薄弱。道路交通狀態(tài)瞬息萬變，交通流預(yù)測可以為交通優(yōu)化控制和智能服務(wù)提供決策參考。

目前，國內(nèi)外研究者在交通流預(yù)測方面已有較多有益成果。現(xiàn)有交通流預(yù)測模型可分為：基于統(tǒng)計(jì)分析的預(yù)測模型[1-2]、非線性理論模型[3]、仿真預(yù)測模型[4]、智能預(yù)測模型[5-6]、混合模型[7-8]等。近年來，以LSTM為代表的反饋神經(jīng)網(wǎng)絡(luò)在時(shí)間序列數(shù)據(jù)的預(yù)測方面具有廣泛的應(yīng)用，而且可作為非線性單元用于構(gòu)造更大型的混合模型。王博文等人[9]提出一種基于編碼器-解碼器的卷積神經(jīng)網(wǎng)絡(luò)(CNN)門循環(huán)單元模型，在單模特征或多模特征輸入時(shí)均可獲得較好的預(yù)測性能，且可以緩解預(yù)測誤差的迅速積累問題。邵春福等人[10]提出基于皮爾森相關(guān)系數(shù)法(PCC)與雙向長短時(shí)記憶(BLSTM)的交通流預(yù)測模型，通過PCC篩選目標(biāo)路段空間的路段并重構(gòu)數(shù)據(jù)集，然后由BLSTM進(jìn)行交通流預(yù)測，短時(shí)交通流預(yù)測精度獲得較好提升。由于長短期記憶網(wǎng)絡(luò)(LSTM)在長時(shí)間序列預(yù)測中表現(xiàn)出對歷史信息的優(yōu)秀整合能力，大多數(shù)學(xué)者也傾向于使用基于LSTM模型的交通流預(yù)測。Chu等人[6]利用LSTM進(jìn)行車道級交通流預(yù)測，相較于門控循環(huán)單元(GRU)、堆疊自動(dòng)編碼器(SAEs)等模型具有更優(yōu)的預(yù)測性能。王慶榮等人[11]設(shè)計(jì)了一種多尺度特征融合的短時(shí)交通流預(yù)測模型，考慮了時(shí)間序列的連續(xù)性以及天氣、節(jié)假日等因素，可以提升預(yù)測模型的預(yù)測泛化能力。李磊等人[12]提出基于改進(jìn)CNN與LSTM的交通流預(yù)測模型，設(shè)計(jì)了分層網(wǎng)絡(luò)結(jié)構(gòu)自動(dòng)提取交通流序列的空間特征，優(yōu)化LSTM網(wǎng)絡(luò)模塊來減少網(wǎng)絡(luò)對數(shù)據(jù)的長時(shí)間依賴，并引入改進(jìn)后的自適應(yīng)矩估計(jì)(RAdam)優(yōu)化算法，從而提高網(wǎng)絡(luò)輸出的準(zhǔn)確性和魯棒性。文獻(xiàn)[13-14]分別使用雙層LSTM構(gòu)建電網(wǎng)能量消耗預(yù)測模型，前者結(jié)合了近鄰節(jié)點(diǎn)拓?fù)潢P(guān)系，后者融入了注意力機(jī)制，二者均認(rèn)為雙層LSTM網(wǎng)絡(luò)結(jié)構(gòu)相較于單層LSTM能更好地表征能耗時(shí)空的變化，可以更準(zhǔn)確地實(shí)現(xiàn)電網(wǎng)能量消耗曲線的預(yù)測。

考慮到神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)易受其超參數(shù)影響，從而影響到模型的預(yù)測精度。Zhang等人[15]提出一種改進(jìn)遺傳神經(jīng)網(wǎng)絡(luò)(GA-BP)，在遺傳算法迭代過程中，選擇前n個(gè)最優(yōu)個(gè)體，自適應(yīng)優(yōu)化種群的搜索步長，保證種群的多樣性且提高交通流預(yù)測模型的收斂速度。何祖杰等人[16]提出基于改進(jìn)灰狼算法(IGWO)優(yōu)化支持向量機(jī)(SVM)的短期交通流預(yù)測模型，引入帳篷混沌序列初始化灰狼種群，優(yōu)化收斂因子并對灰狼群體進(jìn)化差分豐富種群多樣化，從而提升預(yù)測模型的魯棒性和泛化能力。溫惠英等人[17]采用遺傳算法對數(shù)據(jù)時(shí)間窗步長、LSTM神經(jīng)網(wǎng)絡(luò)的隱藏層數(shù)、訓(xùn)練次數(shù)、dropout進(jìn)行參數(shù)優(yōu)化，相比傳統(tǒng)LSTM模型具有更好的預(yù)測性能，由于選用了不同固定采樣周期間隔的數(shù)據(jù)集，因此在通過固定采樣周期的交通流預(yù)測場合無法復(fù)制應(yīng)用。

基于以上分析，本文提出一種基于深度LSTM與遺傳算法融合的交通流預(yù)測模型(GA-mLSTM)，通過LSTM的深度網(wǎng)絡(luò)設(shè)計(jì)保證模型泛化能力；引入遺傳算法在全局空間獲得最優(yōu)解，加速模型收斂；通過差分運(yùn)算對預(yù)測誤差進(jìn)行優(yōu)化，提升整體交通流預(yù)測模型的準(zhǔn)確率。最后，利用公開數(shù)據(jù)集進(jìn)行模型測試并性能評估，對比傳統(tǒng)兩層LSTM、支持向量回歸(SVR)模型和循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)模型，驗(yàn)證所提GA-mLSTM模型的有效性與預(yù)測性能。

1 遺傳算法超參數(shù)優(yōu)化

基于深度LSTM進(jìn)行預(yù)測時(shí)，網(wǎng)絡(luò)層數(shù)和隱藏層神經(jīng)元個(gè)數(shù)取值對于預(yù)測結(jié)果有直接影響。LSTM網(wǎng)絡(luò)的層數(shù)和隱藏層神經(jīng)元個(gè)數(shù)決定了神經(jīng)網(wǎng)絡(luò)的復(fù)雜程度和擬合程度[18]?？紤]到交通流日內(nèi)波動(dòng)性明顯，使用單層長短期記憶網(wǎng)絡(luò)(LSTM)存在泛化能力不足的問題，堆疊多層LSTM易導(dǎo)致模型難以快速收斂。隱藏層接收來自輸入神經(jīng)元的輸入后，根據(jù)輸入的重要性分配權(quán)重，輸入所分配的權(quán)重越大，則該輸入量越重要。Dense層的目的是將提取的特征通過非線性變化提取關(guān)聯(lián)因子并映射到輸出中。在實(shí)際訓(xùn)練中，Dense層的增加能夠加快收斂速度。

遺傳算法(Genetic Algorithm,GA)在求解過程中模擬生物進(jìn)化中染色體基因的選擇、交叉、變異等過程，并求取最優(yōu)解的方法。其核心是通過適應(yīng)度函數(shù)評估個(gè)體的優(yōu)劣，對于結(jié)果更好的個(gè)體，在下一代種群中占比更高。GA在求解較為復(fù)雜的組合優(yōu)化問題時(shí)，相對于傳統(tǒng)優(yōu)化算法，通常能夠較快地獲得較好的優(yōu)化結(jié)果，有較強(qiáng)的魯棒性。因此，本文采用遺傳算法對LSTM層及Dense層的層數(shù)、隱藏層及Dense層的神經(jīng)元個(gè)數(shù)的組合進(jìn)行尋優(yōu)，將獲得的優(yōu)化參數(shù)用于預(yù)測模型，從而達(dá)到降低誤差，提升收斂性的目的。

GA-mLSTM模型將深度LSTM與GA進(jìn)行融合，將GA中的每個(gè)染色體基因描述為LSTM網(wǎng)絡(luò)結(jié)構(gòu)層數(shù)和每層神經(jīng)元個(gè)數(shù)等信息。染色體基因的編碼結(jié)構(gòu)示意如圖1所示，X1、X2分別代表LSTM的層數(shù)與Dense層的層數(shù)，X3～X8按順序代表LSTM與Dense各層神經(jīng)元個(gè)數(shù)。此外，在模型結(jié)構(gòu)設(shè)計(jì)中，除了染色體中所定義的Dense層外，還需要添加一層神經(jīng)元個(gè)數(shù)為1的Dense層用于輸出預(yù)測結(jié)果。

圖1 染色體基因的編碼結(jié)構(gòu)

堆疊LSTM的層數(shù)會導(dǎo)致預(yù)測模型的時(shí)間和資源開銷的增加，文獻(xiàn)[13-14]均采用了兩層LSTM網(wǎng)絡(luò)結(jié)構(gòu)，可以獲得時(shí)序數(shù)據(jù)預(yù)測性能的提升；文獻(xiàn)[19]指出當(dāng)LSTM層數(shù)超過3層時(shí)，會產(chǎn)生較明顯的層與層之間的梯度消失問題。

本文在深度LSTM網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)時(shí)，將LSTM網(wǎng)絡(luò)層數(shù)限定為1～3層，同時(shí)將隱藏層的神經(jīng)元個(gè)數(shù)約束在[32，256]區(qū)間。

基于GA優(yōu)化深度LSTM網(wǎng)絡(luò)超參數(shù)的核心操作包括：

(1) 選擇

遺傳算法通過適應(yīng)度函數(shù)對子代染色體基因進(jìn)行選擇，按照預(yù)定策略從父代種群中進(jìn)行個(gè)體選擇和淘汰。本文利用輪盤賭選擇方法實(shí)現(xiàn)遺傳算法的選擇操作，采用均方誤差(MSE)作為適應(yīng)度函數(shù)，若MSE越小，則代表該個(gè)體適應(yīng)度越高，其被選擇的概率將變大。

(2) 交叉

交叉是對選擇操作后存活的父代個(gè)體的基因進(jìn)行組合，具體實(shí)現(xiàn)方式為個(gè)體生成一個(gè)隨機(jī)數(shù)rc∈[0,1)，若rc小于預(yù)設(shè)交叉概率Pc=0.5，則隨機(jī)選擇父代種群中的某個(gè)個(gè)體進(jìn)行交叉，生成一個(gè)8位二進(jìn)制數(shù)并轉(zhuǎn)化為布爾類型決定發(fā)生交叉的基因位點(diǎn)?；蛭稽c(diǎn)X1、X2代表LSTM的層數(shù)與Dense層的層數(shù)，由于層數(shù)交叉會影響到神經(jīng)元參數(shù)的數(shù)量，因此基因位點(diǎn)X1、X2 不產(chǎn)生交叉。

(3) 變異

變異是指遺傳過程中染色體基因發(fā)生的突變。假定變異率Pm設(shè)為0.01，則通過遍歷所有染色體基因個(gè)體，當(dāng)生成隨機(jī)數(shù)rm∈[0,1)

每一代種群生成后，將其子代個(gè)體所表示的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)代入深度LSTM網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，本文通過對連續(xù)迭代訓(xùn)練設(shè)置最大迭代限定值以結(jié)束此次遺傳進(jìn)程。

2 GA-mLSTM交通流預(yù)測模型設(shè)計(jì)

2.1 模型預(yù)測框架

GA-mLSTM模型的整體框架如圖2所示，主要包括數(shù)據(jù)準(zhǔn)備模塊、參數(shù)優(yōu)化模塊和預(yù)測訓(xùn)練模塊。采用遺傳算法對LSTM層數(shù)、Dense層數(shù)、隱藏層神經(jīng)元個(gè)數(shù)和Dense層神經(jīng)元個(gè)數(shù)進(jìn)行優(yōu)化。

圖2 GA-mLSTM模型框架

基于GA-mLSTM模型進(jìn)行交通流預(yù)測的步驟描述如下：

步驟1:數(shù)據(jù)預(yù)處理，使用Min-Max-Scaler函數(shù)對初始數(shù)據(jù)進(jìn)行歸一化處理；

步驟2:使用遺傳算法優(yōu)化參數(shù)，得出1～3層LSTM網(wǎng)絡(luò)結(jié)構(gòu)的最優(yōu)解；

步驟3:構(gòu)建模型，使用遺傳算法尋優(yōu)得出的參數(shù)訓(xùn)練LSTM模型；

步驟4:使用訓(xùn)練好的模型，對測試集進(jìn)行交通流預(yù)測；

步驟5:對輸出數(shù)據(jù)進(jìn)行反歸一化；

步驟6:差分處理并計(jì)算誤差。

2.2 數(shù)據(jù)預(yù)處理

本文使用公開的高速公路數(shù)據(jù)集[20]檢驗(yàn)?zāi)Ｐ托阅?，該?shù)據(jù)集包含英國M、A級高速公路交通流量數(shù)據(jù)，以15 min為采樣間隔。圖3為該數(shù)據(jù)集中2018年8月1—7日共7天的原始交通流序列曲線，每天含00:14:00—23:59:00共96條交通流量數(shù)據(jù)。本文實(shí)驗(yàn)選取該數(shù)據(jù)集2018年8月1—24日共2 304條樣本數(shù)據(jù)作為訓(xùn)練集，8月25—31日共672條樣本數(shù)據(jù)作測試集。

圖3 原始交通流序列曲線

為提升模型的收斂速度及預(yù)測準(zhǔn)確度，使用Min-Max-Scaler函數(shù)對初始數(shù)據(jù)進(jìn)行統(tǒng)一規(guī)約，通過式(1)將原始交通流量數(shù)據(jù)線性轉(zhuǎn)換為[0,1]區(qū)間。

(1)

式中，xmax為樣本數(shù)據(jù)的最大值，xmin為樣本數(shù)據(jù)的最小值。處理后的輸入輸出數(shù)據(jù)格式如表1所示，輸入步長設(shè)為20，即輸入特征矩陣X由前20條數(shù)據(jù)進(jìn)行構(gòu)造，模型預(yù)測后輸出預(yù)測值Y。

表1 模型輸入輸出格式示例

2.3 長短期記憶神經(jīng)網(wǎng)絡(luò)

LSTM是循環(huán)神經(jīng)網(wǎng)絡(luò)RNN的變形，其解決了RNN在長序列訓(xùn)練過程中出現(xiàn)的梯度消失以及梯度爆炸問題。LSTM網(wǎng)絡(luò)通過輸入門、遺忘門以及輸出門控制信息的傳遞，輸入門決定當(dāng)前時(shí)刻需要保存到單元狀態(tài)的數(shù)據(jù)，遺忘門對輸入進(jìn)行選擇記憶，將重要信息保留，輸出門控制輸出內(nèi)容。

ft=σ(Wf·[ht-1,xt]+bf)，

(2)

it=σ(Wi·[ht-1,xt]+bi)，

(3)

ot=σ(Wo·[ht-1,xt]+bo)，

(4)

(5)

(6)

ht=ot×tanh (Ct)。

(7)

2.4 差分處理設(shè)計(jì)

交通流作為時(shí)間序列數(shù)據(jù)，由于時(shí)間序列預(yù)測存在自相關(guān)性，即t時(shí)刻的預(yù)測值更貼近t-1時(shí)刻的真實(shí)值。因此，本文將為預(yù)測輸出值采用差分操作，消除一階自相關(guān)性，并將差分后的結(jié)果作為最終交通流預(yù)測值。

3 實(shí)驗(yàn)與性能分析

3.1 環(huán)境配置與評價(jià)指標(biāo)

GA-mLSTM模型的參數(shù)設(shè)置如表2所示。為防止模型過擬合，于每個(gè)LSTM層后加入Dropout層，丟棄率設(shè)置為0.2。選擇Adam優(yōu)化器，該優(yōu)化器結(jié)合了AdaGrad和RMSProp方法的最佳屬性，自動(dòng)為模型參數(shù)使用自定義學(xué)習(xí)率，能夠使訓(xùn)練收斂性能更佳。

表2 模型參數(shù)設(shè)置

實(shí)驗(yàn)所使用的計(jì)算機(jī)配置為：Intel(R) Core(TM) i5-10400F CPU @ 2.90 GHz，內(nèi)存為16 GB，Windows10(64位)操作系統(tǒng)，軟件開發(fā)環(huán)境為Python 3.7.11。

為對GA-mLSTM模型進(jìn)行性能評價(jià)，使用均方誤差(MSE)、均方根誤差(RMSE)以及平均絕對誤差(MAE)作為誤差評價(jià)指標(biāo)，對應(yīng)計(jì)算公式如式(8)～(10)所示。

(8)

(9)

(10)

3.2 GA-mLSTM交通流預(yù)測與分析

基于遺傳算法的深度LSTM網(wǎng)絡(luò)的優(yōu)化訓(xùn)練過程如圖4所示，可以看出，遺傳算法在訓(xùn)練迭代過程中，初始階段的均方誤差存在明顯波動(dòng)性，但在進(jìn)入27次迭代后，其均方誤差趨于最優(yōu)解，且波動(dòng)性相對較小，即在該區(qū)間可以確定遺傳算法的近似最優(yōu)解。因此，在GA-mLSTM模型進(jìn)行交通流預(yù)測時(shí)，將迭代次數(shù)設(shè)為30次，則認(rèn)為在30次迭代訓(xùn)練中種群子代可獲得近似最優(yōu)適應(yīng)度，即在遺傳搜索空間能找到近似最優(yōu)解。

圖4 基于遺傳算法的迭代訓(xùn)練結(jié)果

為評估GA-mLSTM的性能，參照文獻(xiàn)[22]所用雙層LSTM神經(jīng)網(wǎng)絡(luò)的設(shè)置參數(shù)，將LSTM模型中的batch size和步長分別設(shè)置為64和8。在GA-mLSTM模型中，將LSTM層數(shù)設(shè)為1～3層，通過遺傳算法探索解空間的最優(yōu)解。經(jīng)預(yù)測訓(xùn)練，獲得GA-mLSTM模型的優(yōu)化參數(shù)設(shè)置為表3所示，即GA-mLSTM模型中LSTM層數(shù)取為3層。

表3 遺傳算法尋優(yōu)結(jié)果

從表4中可知，相較于已有雙層LSTM模型方法[22]，使用遺傳算法優(yōu)化深度LSTM網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)的模型預(yù)測性能更優(yōu)，其中MSE、RMSE、MAE分別提高了1 870.92、10.23、7.55；加入差分操作后，MSE、RMSE與MAE分別提高了4 150.47、24.63、20.65。

表4 不同LSTM模型預(yù)測性能比較

圖5為GA-mLSTM模型在差分處理前后的預(yù)測值與真實(shí)值的絕對誤差對比圖，在進(jìn)行差分處理后，日高峰時(shí)間段交通流預(yù)測結(jié)果得到顯著提升，總體誤差得到有效減小。不同模型預(yù)測結(jié)果對比如圖6所示，可以看出，GA-mLSTM模型能夠較好擬合交通流的變化趨勢，且在交通流趨勢為下降以及突變的時(shí)間區(qū)段，GA-mLSTM模型的預(yù)測精度更高，顯示其交通流預(yù)測的有效性。

圖5 融入差分處理的絕對誤差對比

圖6 不同模型預(yù)測結(jié)果對比

3.3 不同模型的交通流預(yù)測與分析

圖7給出了GA-mLSTM模型與支持向量回歸 (SVR) 模型、循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN) 模型的交通流預(yù)測對比結(jié)果，在8：00—20：00時(shí)間段，GA-mLSTM、SVR、RNN模型預(yù)測值與真實(shí)值之間的絕對誤差區(qū)間分別為[0.042,177,276]、[0.355,386.955]、[1.026,399.682]，因此，GA-mLSTM模型相較于SVR和RNN具有更優(yōu)的交通流預(yù)測性能,性能比較如表5所示。

圖7 不同算法模型預(yù)測結(jié)果

表5 不同算法模型預(yù)測性能比較

4 結(jié)束語

由于交通流復(fù)雜程度高，實(shí)現(xiàn)對交通流的高精度預(yù)測對于城市交通管理具有重要意義。針對LSTM網(wǎng)絡(luò)結(jié)構(gòu)模型依賴傳統(tǒng)經(jīng)驗(yàn)難以確定結(jié)構(gòu)參數(shù)的問題，基于遺傳算法優(yōu)化的深度LSTM網(wǎng)絡(luò)結(jié)構(gòu)，融合差分處理，提出一種交通流預(yù)測模型GA-mLSTM。通過公開交通流數(shù)據(jù)集測試驗(yàn)證，相比傳統(tǒng)LSTM模型，本模型具有更好的預(yù)測精度。本文提出的GA-mLSTM模型僅考慮交通流量單指標(biāo)輸入，且對于預(yù)測的時(shí)效性方面未作深入研究，未來研究可考慮在日內(nèi)時(shí)序劃分、長期交通流預(yù)測需求下的模型參數(shù)自適應(yīng)調(diào)節(jié)等方面進(jìn)一步優(yōu)化和深入研究。