盧海鵬, 韓 瑩, 張 凱, 張齡允, 丁昱杰

(南京信息工程大學(xué) 自動化學(xué)院, 南京 210044)

1 引言

目前, 交通流預(yù)測模型中最常見的模型就是統(tǒng)計(jì)模型和機(jī)器學(xué)習(xí)模型. 其中統(tǒng)計(jì)模型中典型的代表是差分自回歸移動平均(autoregressive integrated moving average, ARIMA)模型. 文獻(xiàn)[3]用ARIMA 模型在周期性交通流數(shù)據(jù)下進(jìn)行短時(shí)交通流預(yù)測; 文獻(xiàn)[4]指出ARIMA 模型適合于線性的數(shù)據(jù)預(yù)測, 對于非線性強(qiáng)度較高的交通流預(yù)測有一定的局限性. 鑒于此情況,適合非線性的機(jī)器學(xué)習(xí)被廣泛地應(yīng)用到交通流預(yù)測中.支持向量機(jī)(support vector machine, SVM)是傳統(tǒng)機(jī)器學(xué)習(xí)中最常見的模型. 文獻(xiàn)[5]利用SVM 模型預(yù)測異常狀態(tài)下的交通流, 證明了SVM 模型能夠提高預(yù)測精度. 但是, 研究表明機(jī)器學(xué)習(xí)難以捕捉交通流序列長期記憶的特點(diǎn), 從而影響機(jī)器學(xué)習(xí)預(yù)測精度.

近些年, 隨著人工智能的發(fā)展, 深度學(xué)習(xí)已經(jīng)成為當(dāng)前研究的熱點(diǎn), 被廣泛地應(yīng)用于交通流預(yù)測領(lǐng)域. 文獻(xiàn)[6,7]將長短時(shí)記憶網(wǎng)絡(luò)(long-short term memory networks, LSTM)應(yīng)用于交通流預(yù)測, 通過LSTM 對交通流數(shù)據(jù)中的特征進(jìn)行提取, 從而更好地表示交通流數(shù)據(jù)的非線性, 達(dá)到更好的預(yù)測結(jié)果. 為了提高交通流預(yù)測模型的準(zhǔn)確性和泛化性, 文獻(xiàn)[8]提出了基于模糊分析的LSTM 交通流預(yù)測. 文獻(xiàn)[9]利用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)與LSTM 相結(jié)合的深度結(jié)構(gòu), 構(gòu)建二者相結(jié)合的復(fù)合模型, 通過捕獲交通網(wǎng)絡(luò)的時(shí)空相關(guān)性進(jìn)行有效的預(yù)測. 文獻(xiàn)[10]在CNN-LSTM 模型基礎(chǔ)上加入了注意力機(jī)制(attention mechanism), 利用注意力機(jī)制重新分配權(quán)重的特點(diǎn), 進(jìn)而提高了預(yù)測精度. 在交通流時(shí)間序列中, 考慮前向和后向數(shù)據(jù)的變化規(guī)律有助于提高模型的擬合精度, 文獻(xiàn)[11]利用雙向長短時(shí)記憶網(wǎng)絡(luò)(bi-directional longshort term memory, BiLSTM)模型對高速公路交通流進(jìn)行預(yù)測, 結(jié)果表明BiLSTM 模型預(yù)測精度優(yōu)于LSTM模型預(yù)測精度. 文獻(xiàn)[12]為了充分發(fā)揮CNN 對空間特征的選擇提取能力, 同時(shí)利用BiLSTM 提取時(shí)間特征,構(gòu)建CNN-BiLSTM 復(fù)合模型, 通過實(shí)驗(yàn)證明該模型的預(yù)測值與真實(shí)值更貼合, 證明了BiLSTM 挖掘數(shù)據(jù)特征能力比LSTM 更強(qiáng), 對于復(fù)雜的回歸問題具有較好的擬合性能. 深度學(xué)習(xí)模型結(jié)構(gòu)復(fù)雜, 層數(shù)較多, 容易陷入局部最優(yōu)的情況, 從而影響預(yù)測精度, 很難滿足短時(shí)交通流預(yù)測.

為了解決上述問題, 2018 年寬度學(xué)習(xí)系統(tǒng)(broad learning system, BLS)的提出被廣泛應(yīng)用于各類預(yù)測領(lǐng)域, 從理論上證明了BLS 在時(shí)間序列的預(yù)測上具有良好的函數(shù)逼近能力, 且通過實(shí)驗(yàn)證明了BLS 在回歸性能上表現(xiàn)優(yōu)異[13]. 文獻(xiàn)[14]利用KNN 篩選出時(shí)空相關(guān)性高的K個(gè)路段, 將選取的路段交通流輸入到BLS網(wǎng)絡(luò)中進(jìn)行預(yù)測, 預(yù)測效果都顯著的提高.

ITS 中短時(shí)車流量的數(shù)據(jù)均會存在一定量的噪聲,為實(shí)現(xiàn)數(shù)據(jù)的準(zhǔn)確預(yù)測, 可在數(shù)據(jù)處理時(shí)采用信號分解的方式. 文獻(xiàn)[15]通過多種分解算法對交通流數(shù)據(jù)進(jìn)行分解, 以此降低數(shù)據(jù)中的噪聲對預(yù)測結(jié)果的影響,接著使用K 均值聚類將分量進(jìn)行聚類, 之后通過BiLSTM對交通流進(jìn)一步的預(yù)測. 結(jié)果表明, 經(jīng)變分模態(tài)分解算法(variational mode decomposition, VMD)分解后的預(yù)測精度更高.

雖然上述方法都取得了較好的預(yù)測結(jié)果, 但都沒解決深度學(xué)習(xí)帶來局部最優(yōu)的問題.本文的創(chuàng)新點(diǎn)是在交通領(lǐng)域首次引入BLS 與深度學(xué)習(xí)結(jié)合, 通過其得到全局最優(yōu)解, 解決深度學(xué)習(xí)易陷入局部最優(yōu)從而影響預(yù)測精度的缺點(diǎn). 同時(shí)考慮到交通流數(shù)據(jù)的噪聲干擾, 引入了VMD 進(jìn)行降噪處理. 基于此, 本文提出基于VMD-BiLSTM-BLS 模型的短時(shí)交通流預(yù)測. 為了證明本文模型預(yù)測的準(zhǔn)確性和可應(yīng)用性, 選取了美國加利福尼亞州交通局PeMS (performance measurement system)交通數(shù)據(jù)庫實(shí)測的交通流數(shù)據(jù)進(jìn)行實(shí)驗(yàn). 通過對比基線模型、消融模型以及現(xiàn)有模型, 結(jié)果表明: 本文模型在預(yù)測精度方面顯著提升. 另外值得指出的是,本文提出的深度學(xué)習(xí)和寬度學(xué)習(xí)相結(jié)合的預(yù)測模型不但可以應(yīng)用于交通領(lǐng)域, 其在金融、氣象、海洋等需要大量時(shí)間序列分析預(yù)測等領(lǐng)域也有廣泛的應(yīng)用前景.

2 模型的構(gòu)建

2.1 VMD 模型

2014 年Dragomiretskiy 等[16]提出了變分模態(tài)分解, 解決了經(jīng)驗(yàn)?zāi)B(tài)分解中存在的端點(diǎn)效應(yīng)和模態(tài)分量混疊的問題. 具體分解步驟如下:

2.2 BiLSTM 原理及結(jié)構(gòu)

LSTM 網(wǎng)絡(luò)在循環(huán)神經(jīng)網(wǎng)的基礎(chǔ)上增加了輸入門、輸出門和遺忘門, 通過這3 個(gè)門, LSTM 模型解決了循環(huán)神經(jīng)網(wǎng)絡(luò)中長序列依賴的問題. LSTM 數(shù)學(xué)原理運(yùn)算公式如式(7)-式(11)所示.

在衛(wèi)可S溶液中加入液態(tài)的單丙二醇（MPG）可將其結(jié)冰點(diǎn)降至-10℃，同時(shí)不會影響其功效，從而確保建筑物和場地入口處的屏障控制設(shè)備，例如腳踏消毒盆和車輛噴霧消毒在嚴(yán)冬季節(jié)仍可保持液態(tài)?！靶l(wèi)可S和衛(wèi)可LSP都為畜牧生產(chǎn)商和養(yǎng)殖戶提供了可靠的消毒性能和適用性，可以滿足現(xiàn)實(shí)中的農(nóng)場條件需求，從而成為各個(gè)季節(jié)保障圈舍、各類表面、設(shè)備、車輛和鞋類物品生物安全的首選消毒劑。”Cho補(bǔ)充道。

BiLSTM 是由前向LSTM 和后向LSTM 構(gòu)成, 進(jìn)行雙向訓(xùn)練, 既保留了LSTM 能夠處理長時(shí)間序列的特點(diǎn), 又考慮到了前后數(shù)據(jù)變換的影響, 提高了特征提取的全局性, 對于復(fù)雜的回歸問題具有較好的擬合性能. BiLSTM 的結(jié)構(gòu)圖如圖1 所示.

圖1 BiLSTM 結(jié)構(gòu)圖

2.3 BLS 原理及結(jié)構(gòu)

在隨機(jī)向量函數(shù)鏈接神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上提出BLS,消除了局部最優(yōu)的缺點(diǎn). 圖2 為BLS 結(jié)構(gòu)系統(tǒng)圖. 流程步驟如下.

圖2 BLS 結(jié)構(gòu)系統(tǒng)圖

2.4 本文模型

通過上述分析, 本文集聚了深度學(xué)習(xí)和寬度學(xué)習(xí)系統(tǒng)的優(yōu)勢, 并引入了VMD 模塊進(jìn)行降噪處理, 提出了VMDBiLSTM-BLS 組合預(yù)測模型, 模型結(jié)構(gòu)如圖3 所示.

圖3 VMD-BiLSTM-BLS 模型結(jié)構(gòu)圖

由圖3 可以看出, 本文模型由車流量序列預(yù)處理、網(wǎng)絡(luò)訓(xùn)練預(yù)測、預(yù)測輸出3 個(gè)模塊構(gòu)成. 具體步驟如下:

步驟1. 車流量序列預(yù)處理. 由于每天會出現(xiàn)上下班高峰期, 車流量原始序列可能存在奇異值, 為了減少奇異值對數(shù)據(jù)造成不必要的影響及加快梯度下降, 本文首先將原始序列進(jìn)行歸一化處理, 其歸一化公式如式(15)所示. 接著為了減少噪聲對該模型預(yù)測結(jié)果的影響, 將歸一化之后的序列進(jìn)行VMD 分解, 得到多個(gè)不同頻率下的子序列.

圖4 BiLSTM-BLS 連接圖

3 實(shí)例分析

3.1 數(shù)據(jù)來源

本文車流量數(shù)據(jù)來源于美國加利福尼亞州交通局PeMS 交通數(shù)據(jù)庫實(shí)測的交通流數(shù)據(jù), 本文選用的交通流數(shù)據(jù)是從2016 年1 月4 日至2016 年2 月16 日內(nèi)工作日的1 車道點(diǎn)每5 分鐘統(tǒng)計(jì)一次的交通流, 共7 776組數(shù)據(jù).

3.2 模型參數(shù)設(shè)置和評價(jià)指標(biāo)

根據(jù)本文數(shù)據(jù)集的特點(diǎn), 將27 天7 776 組數(shù)據(jù),前90%作為訓(xùn)練集, 后10%作為測試集. 為了提升數(shù)據(jù)的平穩(wěn)性, 設(shè)置時(shí)間滑動窗口為6. 利用VMD 把原始序列分解為5 個(gè)子序列, 將子序列轉(zhuǎn)換為三維的張量輸入給BiLSTM 網(wǎng)絡(luò), 為了防止過擬合在每層的BiLSTM 后加上Dropout 機(jī)制. 再通過全連接層, 將其輸出作為BLS 層的特征節(jié)點(diǎn), 特征節(jié)點(diǎn)經(jīng)過激活函數(shù)非線性變換生成增強(qiáng)節(jié)點(diǎn), 更新權(quán)重及其偏置. 本實(shí)驗(yàn)是基于深度學(xué)習(xí)框架Keras 實(shí)現(xiàn)的, 通過多次重復(fù)實(shí)驗(yàn), 選取了最優(yōu)情況的數(shù)值. 具體的參數(shù)見表1. 其中Alpha 為懲罰因子,K為分解的模態(tài)數(shù), Tol 為收斂準(zhǔn)則容忍度, N1 為每個(gè)映射特征節(jié)點(diǎn)個(gè)數(shù), N2 為映射特征個(gè)數(shù), N3 為增強(qiáng)節(jié)點(diǎn)個(gè)數(shù),C為正則化參數(shù).

表1 VMD-BiLSTM-BLS 模型參數(shù)表

4 結(jié)果分析

4.1 VMD 分解分析

將原始序列進(jìn)行VMD 分解, 得到5 組頻率尺度不同的子序列, 圖5 是交通流數(shù)據(jù)分解圖. IMF0 為趨勢分量, 反映了交通流序列的總體變化趨勢. IMF1-IMF4為波動分量, 反映了曲線的隨機(jī)波動細(xì)節(jié). 分解的序列與原始序列相比, 平穩(wěn)性和平滑性方面表現(xiàn)更好, 相似的細(xì)節(jié)信息更集中, 更加容易擬合.

圖5 交通流數(shù)據(jù)分解圖

4.2 結(jié)果對比分析

(1)與基線模型對比分析

由于基線模型比較經(jīng)典, 此外交通流數(shù)據(jù)存在一定的周期性, 基線模型在具有周期性的數(shù)據(jù)上預(yù)測效果還是有較好表現(xiàn). 為了驗(yàn)證本文所提模型的預(yù)測能力, 首先將本文模型分別與基線模型ARIMA[3]、SVM[5]進(jìn)行對比, 評價(jià)指標(biāo)結(jié)果如表2 所示. 各個(gè)模型的參數(shù)都是通過多次實(shí)驗(yàn)采用擬合效果最好的數(shù)值.

表2 基線模型與本文模型評價(jià)指標(biāo)對比表

從表2 可以看出, ARIMA、SVM 模型的RMSE都大于15,MAE都大于11, 而VMD-BiLSTM-BLS 模型的RMSE、MAE均沒超2, 且R2_score也達(dá)到了0.997 5. 證明了本文模型在預(yù)測精度上明顯要比基線模型預(yù)測精度高, 這是由于基線模型無法挖掘出復(fù)雜、非平穩(wěn)時(shí)間序列的特征.

(2)與消融模型對比分析

其次, 將本文模型與消融模型BiLSTM-BLS、VMDBiLSTM[15]進(jìn)行對比分析, 其中VMD-BiLSTM 也是最新的模型. 評價(jià)指標(biāo)結(jié)果見表3.

表3 消融模型與本文模型評價(jià)指標(biāo)對比表

通過表3 可以看出, 本文模型與BiLSTM-BLS、VMD-BiLSTM 相比,RMSE分別下降了8.287 7、4.050 4,MAE分別下降了5.999 9、3.618 6, 且R2_score分別提高了5.8%、2.13%, 預(yù)測效果顯著提升. 這是由于本文模型, 集聚了VMD 去除數(shù)據(jù)噪聲的作用, BiLSTM 充分考慮前后向數(shù)據(jù)的影響, BLS 解決局部最優(yōu)的優(yōu)勢.

(3)與現(xiàn)有模型對比分析

最后, 為了驗(yàn)證本文模型本文模型預(yù)測精度有所提升, 分別與現(xiàn)有模型BiLSTM[11]、當(dāng)前研究較熱的CNN-BiLSTM[12]模型以及最新模型, 含有注意力機(jī)制(attention mechanism)的CNN-LSTM[10]模型進(jìn)行對比分析, 評價(jià)結(jié)果如表4 所示.

從表4 可以看出, 本文模型的3 個(gè)評價(jià)指標(biāo)明顯優(yōu)于現(xiàn)有模型BiLSTM, 其中CNN-BiLSTM 模型與BiLSTM 模型相比,RMSE下降了1.009 5,MAE下降了0.865 4, 這是由于CNN-LSTM 不僅提取了時(shí)間特征, 還挖掘了空間特征, 可以提升預(yù)測精度. 在此基礎(chǔ)上加上注意力機(jī)制的模型, 預(yù)測精度再次提升, 這是由于注意力機(jī)制進(jìn)行權(quán)重新分配, 提高了預(yù)測精度. 本文模型與CNN-LSTM-Attention 相比,RMSE、MAE分別下降了5.784 6、4.991 1,R2_score提升了3.71%, 驗(yàn)證了本文模型預(yù)測效果要優(yōu)于最新模型.

表4 現(xiàn)有模型與本文模型評價(jià)指標(biāo)對比表

(4)可視化對比分析

為了更加直觀地驗(yàn)證本文模型的有效性, 選取測試集中最后一天的交通流原始序列進(jìn)行擬合分析, 圖6-圖10分別給出了本文模型與其他模型的預(yù)測結(jié)果對比圖.

圖6 BiLSTM 模型預(yù)測值與真實(shí)值對比圖

從圖6、圖7 中可以直觀的看出VMD-BiLSTM模型相對于BiLSTM 模型擬合效果有所提高, 這是由于原始序列經(jīng)過VMD 分解之后, 得到不同頻率的子序列, 降低了噪聲對原始數(shù)據(jù)造成不良的影響, 使得擬合程度增強(qiáng). 從圖6 和圖8 可以看出, 在上班高峰期的時(shí)候BiLSTM 模型擬合效果不如BiLSTM-BLS 模型,從而驗(yàn)證了BLS 解決了局部最優(yōu)的問題, 提高了預(yù)測的準(zhǔn)確性. 分析圖7 和圖8, 可以明顯地看到, 不管是VMD-BiLSTM 模型還是BiLSTM-BLS 模型在波峰和波谷的時(shí)候擬合效果并不是很理想, 但是從圖9 可以看出VMD-BiLSTM-BLS 模型明顯改善了波峰和波谷不準(zhǔn)確性的問題. 通過對圖9 和圖10 進(jìn)行對比, 可以看到在8 點(diǎn)到15 點(diǎn)的時(shí)候, VMD-BiLSTM-BLS 模型擬合效果要比現(xiàn)有模型中較火的CNN-BiLSTM 模型明顯提高.

圖7 VMD-BiLSTM 模型預(yù)測值與真實(shí)值對比圖

圖8 BiLSTM-BLS 模型預(yù)測值與真實(shí)值對比圖

圖9 VMD-BiLSTM-BLS 模型預(yù)測值與真實(shí)值對比圖

圖10 CNN-BiLSTM 模型預(yù)測值與真實(shí)值對比圖

通過以上實(shí)驗(yàn)的對比結(jié)果來看, 本文所提出的VMD-BiLSTM-BLS 模型在評價(jià)指標(biāo)RMSE、MAE、R2_score均達(dá)到比較好的結(jié)果, 對短時(shí)交通流的預(yù)測有著良好的預(yù)測結(jié)果, 改善了現(xiàn)有模型不準(zhǔn)確性的問題.

5 結(jié)論

準(zhǔn)確的短時(shí)交通流預(yù)測會給人們的出行帶來極大的便利, 不僅提出合理的出行意見, 而且減少了事故率.準(zhǔn)確的短時(shí)交通流預(yù)測是構(gòu)建智慧交通的關(guān)鍵, 所以準(zhǔn)確的掌握短時(shí)交通流的發(fā)展趨勢, 建立健全的預(yù)測系統(tǒng), 有利于交通部門做出合理的疏導(dǎo)安排.

本文所提出的短時(shí)交通流預(yù)測模型, 是將深度學(xué)習(xí)與寬度學(xué)習(xí)進(jìn)行結(jié)合, 改善了現(xiàn)有模型預(yù)測不準(zhǔn)確的問題. 將本文提出的模型與基線模型、消融模型以及現(xiàn)有模型進(jìn)行對比, 實(shí)驗(yàn)結(jié)果表明本文所提出的短時(shí)交通流預(yù)測模型在RMSE、MAE、R2_score三個(gè)評價(jià)指標(biāo)上均表現(xiàn)最佳. 實(shí)驗(yàn)表明, 本文所提出的VMDBiLSTM-BLS 模型可以準(zhǔn)確地預(yù)測短時(shí)車流量, 為交通部門提供了有利的參考價(jià)值.