吳文平，高銘悅

(宿州學(xué)院 信息工程學(xué)院，安徽 宿州 234000)

0 引言

隨著城市化的推進(jìn)和機(jī)動(dòng)車數(shù)量的快速增長(zhǎng)，城市和景區(qū)每年的擁堵情況逐年嚴(yán)重，造成時(shí)間和燃料的浪費(fèi)，也帶來(lái)了環(huán)境污染和一系列的安全問題，同時(shí)致使交通網(wǎng)絡(luò)效率低下，如表1所示[1]。因此，城市和景區(qū)交通流的預(yù)測(cè)研究有著重要的意義。

表1 2020年第二季度全國(guó)百城交通擁堵排名TOP10的城市

對(duì)交通擁堵的早期研判和對(duì)交通流的預(yù)測(cè)是指導(dǎo)交通管理科學(xué)決策的重要依據(jù)，是實(shí)現(xiàn)智能交通的關(guān)鍵，是智能交通的重要輔助手段[2]。在過(guò)去的幾十年中，學(xué)者們嘗試用數(shù)學(xué)方程和模擬技術(shù)來(lái)預(yù)測(cè)交通流，但是由于交通流的預(yù)測(cè)受天氣、節(jié)假日和時(shí)空關(guān)聯(lián)性等外界因素的影響，傳統(tǒng)的數(shù)學(xué)模型和淺層學(xué)習(xí)算法很難準(zhǔn)確地描述交通網(wǎng)絡(luò)，所以交通流的預(yù)測(cè)存在很大的不確定性。隨著物聯(lián)網(wǎng)的發(fā)展和交通數(shù)據(jù)采集技術(shù)的廣泛應(yīng)用，交通流預(yù)測(cè)已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代。

交通流的預(yù)測(cè)越來(lái)越依賴各類傳感器及其采集的相關(guān)多模態(tài)數(shù)據(jù)，如交通量、速度、行程時(shí)間、密度、天氣和事故等。但傳統(tǒng)模型不能很好地預(yù)測(cè)交通量，因此交通量預(yù)測(cè)模型需要數(shù)據(jù)驅(qū)動(dòng)[3]。近些年深度學(xué)習(xí)在圖像處理和自然語(yǔ)言處理等方面都取得了極大的進(jìn)展，交通量的預(yù)測(cè)需要綜合時(shí)間、空間和天氣等多個(gè)模態(tài)數(shù)據(jù)進(jìn)行分析，本文在多模態(tài)深度學(xué)習(xí)框架的基礎(chǔ)上，從多個(gè)層次自動(dòng)提取相關(guān)數(shù)據(jù)，利用深層特征深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)(convolution neural networks,CNN)—門控循環(huán)單元(gated recurret unit,GRU)模型[4]來(lái)提高交通量預(yù)測(cè)的準(zhǔn)確度，為實(shí)現(xiàn)智能交通奠定基礎(chǔ)。

1 混合多模態(tài)深度學(xué)習(xí)框架(HMDLF)

1.1 單模態(tài)數(shù)據(jù)的時(shí)空特征處理

交通量不僅與時(shí)間有關(guān)，還與地理位置有關(guān)，以2019年“十一”期間全國(guó)高速的交通量[6]為例(見圖1)，高速去程擁堵發(fā)生在9月30日晚上11點(diǎn)左右，返程擁堵出現(xiàn)在10月5日16點(diǎn)左右，說(shuō)明交通量數(shù)據(jù)與歷史局部特征的數(shù)據(jù)密切相關(guān)[7]。交通量時(shí)間序列的上下文信息相互關(guān)聯(lián)，這些數(shù)據(jù)點(diǎn)的行為存在類似性。換言之，交通流的鄰近數(shù)據(jù)點(diǎn)和周期性間隔數(shù)據(jù)之間通常有很強(qiáng)的相關(guān)性，交通流時(shí)間序列數(shù)據(jù)的局部鄰域特征與長(zhǎng)相關(guān)特征之間存在相關(guān)性。

圖1 2019年“十一”期間全國(guó)高速交通量

1.2 多模態(tài)數(shù)據(jù)的相互依賴性

交通量數(shù)據(jù)的預(yù)測(cè)與多種因素密切相關(guān)。交通量數(shù)據(jù)的非線性特征是由自由流、故障流和擁堵流綜合決定的。由于行駛環(huán)境是快速變化的，在故障流和擁堵流的情況下，多種模態(tài)數(shù)據(jù)(交通速度、交通行程時(shí)間、交通事故、節(jié)假日和天氣情況等)都會(huì)對(duì)交通量的預(yù)測(cè)產(chǎn)生影響，而這些多模態(tài)數(shù)據(jù)的變化又是高度復(fù)雜非線性的，而且存在著相互依賴性，這對(duì)交通量的預(yù)測(cè)是一個(gè)不小的挑戰(zhàn)。

為了解決上述兩個(gè)關(guān)鍵問題，筆者采用CNN和GRU相結(jié)合的多模態(tài)深度學(xué)習(xí)框架來(lái)對(duì)交通量進(jìn)行預(yù)測(cè)，模型框架如圖2所示[8]。

圖2 混合多模態(tài)深度學(xué)習(xí)框架

一般說(shuō)來(lái)，由于不同模態(tài)數(shù)據(jù)的統(tǒng)計(jì)特性不同(每種模態(tài)具有不同的表示形式和結(jié)構(gòu))，很難使用淺層模型進(jìn)行融合建模。多模態(tài)深度特征學(xué)習(xí)是指在多特征層次融合的基礎(chǔ)上，如多模態(tài)交通數(shù)據(jù)的特征串聯(lián)或局部趨勢(shì)特征與長(zhǎng)相關(guān)特征的線性組合，將CNN和GRU神經(jīng)網(wǎng)絡(luò)相結(jié)合，把注意力機(jī)制作為一個(gè)CNN-GRU注意力模塊，考慮單模態(tài)交通數(shù)據(jù)的時(shí)空依賴性。然后基于多個(gè)CNN-GRU注意力模塊，融合不同形態(tài)交通數(shù)據(jù)的共享表示特征。

1.3 CNN空間局部特征學(xué)習(xí)

CNN是一個(gè)前饋神經(jīng)網(wǎng)絡(luò)，它的人工神經(jīng)元可以對(duì)覆蓋區(qū)域的一部分做出反應(yīng)。CNN具有良好的圖像處理性能，一些研究者也將其用于時(shí)間序列分析。CNN有三個(gè)級(jí)聯(lián)層(convolutional layer、activation layer和pooling layer)。由于交通流數(shù)據(jù)的時(shí)移性和周期性，筆者使用一維CNN進(jìn)行序列局部趨勢(shì)學(xué)習(xí)，通過(guò)CNN的卷積運(yùn)算提取局部趨勢(shì)特征，這些特征可以作為本文提出的多模式深度學(xué)習(xí)框架中更深層次的表現(xiàn)。CNN的三層模型[9]可描述為：

Clj=∑ixl-1iWlij+blj，

(1)

xlj=(clj)，

(2)

xl+1j=pool(xlj)。

(3)

其中，式(1)表示卷積運(yùn)算，式(2)表示激活函數(shù)，常用的有Tanh函數(shù)和ReLU函數(shù)，這里采用的是ReLU函數(shù)，式(3)表示池化函數(shù)，常用的池化函數(shù)有最大池化tf.nn.max_pool和平均池化tf.nn.avg_pool，這里采用的是平均池化tf.nn.avg_pool。xl-1i和Clj分別表示convolutinal layer的輸入和輸出。

1.4 CNN-GRU時(shí)空相互依賴性特征學(xué)習(xí)

GRU是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種，是處理時(shí)間序列預(yù)測(cè)的一種常用動(dòng)態(tài)系統(tǒng)，圖3是一個(gè)典型的GRU框圖[10]。GRU有一個(gè)重置門和一個(gè)更新門，它能夠?qū)W習(xí)捕捉不同時(shí)間尺度上的依賴關(guān)系，如果重置門被激活，那么它傾向于學(xué)習(xí)短期依賴關(guān)系，否則，它傾向于捕捉長(zhǎng)期依賴關(guān)系。

圖3 經(jīng)典GRU框圖

經(jīng)典的GRU系統(tǒng)在學(xué)習(xí)過(guò)程中存在一個(gè)問題：由于時(shí)空依賴，上下文(觀察片段)對(duì)時(shí)間序列的深層表示沒有同等的貢獻(xiàn)。增加的注意力層會(huì)在HMDLF模型應(yīng)該參與的每個(gè)模態(tài)數(shù)據(jù)的共享表示中選擇時(shí)空上下文，并促進(jìn)對(duì)下一個(gè)時(shí)間序列值的精確預(yù)測(cè)，其工作原理如圖4所示。它根據(jù)GRU層輸出的不同時(shí)空步預(yù)測(cè)的隱狀態(tài)計(jì)算出相應(yīng)的注意力權(quán)值，利用softmax函數(shù)對(duì)輸入時(shí)間序列上的注意力向量et進(jìn)行歸一化處理[式(4)～(6)]，得到隱狀態(tài)的加權(quán)和。

圖4 基于注意機(jī)制的GRU框圖

et=tanh(whht+bh)，

(4)

(5)

(6)

式中，ht為GRU層的輸出隱藏狀態(tài)；ch為模型中隨機(jī)數(shù)；e′t為下一個(gè)注意力向量；γ為每個(gè)輸入序列數(shù)據(jù)的最終共享表示。

2 預(yù)測(cè)結(jié)果對(duì)比分析

采用的數(shù)據(jù)集是洛杉磯高速路數(shù)據(jù)集“metr-la.h5”對(duì)主流的幾種模型進(jìn)行對(duì)比分析，80%用于訓(xùn)練，20%用于驗(yàn)證。

定量分析結(jié)果見表2。其中給出了SVR(不同核)、ARIMA、LR、DTR、RIDGE、RNN、LSTM、GRU、CNN、CNN-GRU和筆者提出的HMDLF框架[11](三個(gè)不同模塊：CNN-LSTM、CNN-GRU和帶有注意力機(jī)制的CNN-GRU)的模型誤差比較分析。發(fā)現(xiàn)HMDLF在預(yù)測(cè)精度方面優(yōu)于其他方法。與基線模型相比，筆者的HDMLF模型(帶有注意力機(jī)制的CNN-GRU模塊)可以將RMSE值降低到4.35，顯著提高了精度?；€深度學(xué)習(xí)模型的RMSE值近似，特別是CNN、CNN-LSTM和CNN-GRU，這意味著訓(xùn)練單模態(tài)數(shù)據(jù)并不能明顯提高性能。

表2 HMDLF模型的RMSE值及其與其他基線模型的比較

HMDLF模型(特別是帶有注意力機(jī)制的CNN-GRU模塊)和基線深度學(xué)習(xí)方法的預(yù)測(cè)性能優(yōu)于SVR、ARIMA等經(jīng)典的淺層機(jī)器學(xué)習(xí)方法。單時(shí)態(tài)數(shù)據(jù)的時(shí)變性和長(zhǎng)時(shí)程相關(guān)性是充分利用時(shí)變特性的原因。此外，HMDLF模型(帶有注意力機(jī)制的CNN-GRU模塊)還充分利用了多模態(tài)交通流相關(guān)序列數(shù)據(jù)之間的相互依賴性。實(shí)驗(yàn)結(jié)果表明，筆者提出的混合多模態(tài)深度學(xué)習(xí)框架可以通過(guò)融合這些深層特征信息來(lái)提高學(xué)習(xí)效率。

通過(guò)對(duì)實(shí)驗(yàn)數(shù)據(jù)的比較分析，可以發(fā)現(xiàn)，在筆者提出的混合模型中，使用GRU比使用LSTM能獲得更好的預(yù)測(cè)性能。這是因?yàn)镚RU比LSTM更簡(jiǎn)單，超參數(shù)更少，但仍然具有與LSTM相同的性能，因此更容易修改。在某些情況下GRU需要更少的訓(xùn)練時(shí)間，效率更高，并且在筆者提出的混合模型中使用CNN-GRU basic模塊顯示了最佳的重鑄性能，這在GRU的實(shí)驗(yàn)中得到了驗(yàn)證。在某些情況下優(yōu)于LSTM，如圖5所示。

圖5 各種模型預(yù)測(cè)結(jié)果比較

通過(guò)對(duì)以上數(shù)據(jù)的對(duì)比分析可知，筆者提出的HMDLF模型對(duì)長(zhǎng)交通量數(shù)據(jù)(包括工作日和節(jié)假日，正常情況或異常情況)的高峰或低谷點(diǎn)預(yù)測(cè)是有效的，如圖5所示。交通量預(yù)測(cè)能夠很好地與實(shí)際情況相匹配，這意味著筆者提出的混合多模態(tài)深度學(xué)習(xí)預(yù)測(cè)框架能夠有效地學(xué)習(xí)多模態(tài)輸入交通數(shù)據(jù)的趨勢(shì)性、相互依賴性和時(shí)空相關(guān)性，有助于智能交通系統(tǒng)的發(fā)展。

3 結(jié)論和展望

本文提出的混合多模態(tài)深度學(xué)習(xí)模型(HMDLF)適用于非自由流的交通量預(yù)測(cè)。首先，模型整合了一維CNN和GRU作為一個(gè)基本模塊，來(lái)捕捉單模態(tài)交通數(shù)據(jù)局部趨勢(shì)和長(zhǎng)相關(guān)性之間的相關(guān)特征。其次，CNN-GRU輔助注意力機(jī)制基于聯(lián)合自適應(yīng)的多模態(tài)表示和融合學(xué)習(xí)框架，能夠更有效地挖掘和學(xué)習(xí)多模態(tài)輸入交通數(shù)據(jù)的深層非線性相關(guān)特征，如交通速度、流量、通過(guò)時(shí)間和天氣狀況等。

該方法在交通流預(yù)測(cè)方面的主要改進(jìn)來(lái)自特征融合的多模態(tài)學(xué)習(xí)，它考慮了不同交通量數(shù)據(jù)之間的相關(guān)性，因?yàn)榻煌顩r與流量、速度、事件性質(zhì)等有關(guān)。該方法的主要特點(diǎn)包括時(shí)間序列的局部趨勢(shì)和長(zhǎng)依賴性學(xué)習(xí)，峰值和波谷點(diǎn)具有容錯(cuò)性的魯棒匹配，有效地利用多模式交通數(shù)據(jù)的時(shí)空相關(guān)性，通過(guò)對(duì)實(shí)際交通數(shù)據(jù)集的多角度實(shí)驗(yàn)，驗(yàn)證了模型在各種情況下的有效性。作為研究方向，筆者認(rèn)為相鄰交通網(wǎng)絡(luò)節(jié)點(diǎn)之間的交通流狀況是相互依存的。如何分析和利用這種相互依賴關(guān)系，對(duì)提高交通流預(yù)測(cè)模型的性能具有重要意義，但短時(shí)間內(nèi)有效的數(shù)據(jù)采集是一大障礙，交通事故或極端天氣情況下的數(shù)據(jù)采集更加困難。混合多模態(tài)深度學(xué)習(xí)框架還需要使用更多的交通數(shù)據(jù)集進(jìn)一步研究和完善。