摘要 在交通流預(yù)測領(lǐng)域，一些經(jīng)典的預(yù)測方法雖然計算效率高，但忽略了交通數(shù)據(jù)的高度非線性和動態(tài)性，只適用于精度要求低、運(yùn)行狀態(tài)平穩(wěn)的交通流預(yù)測。如今，深度學(xué)習(xí)與預(yù)測模型相結(jié)合，在挖掘大交通數(shù)據(jù)中深層次、隱含的時空關(guān)聯(lián)方面取得了良好效果。文章根據(jù)短時交通流量在時空序列數(shù)據(jù)中的依賴性和非線性相關(guān)的特點(diǎn)，提出了一種基于注意力（Attention）機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)（CNN）和雙向門控循環(huán)網(wǎng)絡(luò)（BiGRU）組合的預(yù)測模型（CNN-Attention-BiGRU，簡稱CN-AM-BG），以預(yù)測短時交通流。基于真實(shí)路網(wǎng)的交通數(shù)據(jù)進(jìn)行對比分析，結(jié)果證明相比單變量輸入，多變量特征輸入對提高模型預(yù)測精度的效果更為顯著。作為智能交通系統(tǒng)的重要基礎(chǔ)，為交通控制提供更為精準(zhǔn)的交通流預(yù)測，從而提前減緩或避免擁堵形成，對于制定交通誘導(dǎo)和交通控制方案，提高道路交通安全具有重要意義。

關(guān)鍵詞 交通流預(yù)測；神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)；門控遞歸單元；注意力機(jī)制

中圖分類號 U491 文獻(xiàn)標(biāo)識碼 A 文章編號 2096-8949（2024）20-0042-03

0 引言

對于交通控制和實(shí)時交通誘導(dǎo)來說，交通流預(yù)測的準(zhǔn)確性和可靠性是其實(shí)現(xiàn)的必要條件和重要基礎(chǔ)。深度學(xué)習(xí)技術(shù)具有理論上逼近任意復(fù)雜函數(shù)的強(qiáng)大能力，可以對各種交通任務(wù)中更復(fù)雜的模式進(jìn)行建模，因此深度學(xué)習(xí)技術(shù)在各種交通應(yīng)用中得到了廣泛應(yīng)用，并取得了一些先進(jìn)成果。Jiang[1]等利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）和殘差網(wǎng)絡(luò)將地理空間數(shù)據(jù)轉(zhuǎn)換為圖像進(jìn)行了交通預(yù)測；Duan等[2]針對城市交通數(shù)據(jù)的非線性和時空特性，提出了將提取空間特征的卷積神經(jīng)網(wǎng)絡(luò)（CNN）和捕捉時間信息的長短期記憶（LSTM）神經(jīng)網(wǎng)絡(luò)相結(jié)合，對城市交通流進(jìn)行了預(yù)測，CNN-LSTM具有更高的預(yù)測精度和更短的時間消耗；Guo等[3]提出了一種基于注意力機(jī)制的時空圖卷積網(wǎng)絡(luò)（ASTGCN）模型，通過時空注意力模塊能有效地捕捉交通數(shù)據(jù)中的動態(tài)時空關(guān)聯(lián)性；殷禮勝等[4]使用自適應(yīng)變分模態(tài)分解（VMD）將時空交通流量序列進(jìn)行了細(xì)化，提高平穩(wěn)性后再使用結(jié)合注意力機(jī)制層的雙向長短時記憶網(wǎng)絡(luò)（BiLSTM）進(jìn)行了交通流預(yù)測，進(jìn)一步提升了建模的精確度；劉明宇等[5]構(gòu)建了多層多深度門控循環(huán)單元（GRU）預(yù)測短時交通流，通過與支持向量機(jī)（SVM）等三種基線模型進(jìn)行了綜合對比，證明GRU模型預(yù)測性能最優(yōu)。

綜上，當(dāng)交通流數(shù)據(jù)波動性和不穩(wěn)定性較大時，單一的深度學(xué)習(xí)模型難以較好地學(xué)習(xí)數(shù)據(jù)的動態(tài)變化，組合模型在提高預(yù)測模型精度方面更具有優(yōu)勢，且上述模型大多只考慮對單一方向的交通流進(jìn)行預(yù)測，從而忽略了預(yù)測時間點(diǎn)之后的交通流對預(yù)測點(diǎn)的影響。該文提出了一種基于注意力（Attention）機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)（CNN）和雙向門控循環(huán)網(wǎng)絡(luò)（BiGRU）組合的預(yù)測模型（CN-AM-BG）進(jìn)行短時交通流預(yù)測。通過注意力機(jī)制降低歷史數(shù)據(jù)的特征損失，并通過提高對重要節(jié)點(diǎn)數(shù)據(jù)的關(guān)注度，提高模型對數(shù)據(jù)深層特征關(guān)系的捕捉。

1 深度學(xué)習(xí)組合模型的構(gòu)建

1.1 設(shè)計CNN網(wǎng)絡(luò)捕獲數(shù)據(jù)空間特征

CNN在深層次特征學(xué)習(xí)方面具備一定優(yōu)勢。它可以充分利用空間信息，對道路網(wǎng)絡(luò)進(jìn)行卷積運(yùn)算，以捕捉交通數(shù)據(jù)復(fù)雜的空間相關(guān)性。以流量值為預(yù)測指標(biāo)，按照路段上下游順序及時間序列順序提取流量數(shù)據(jù)，進(jìn)而構(gòu)造二維矩陣，利用卷積層對特征矩陣X進(jìn)行卷積運(yùn)算，通過池化層進(jìn)一步縮小運(yùn)算量、全連接層中節(jié)點(diǎn)的數(shù)量，最后通過全連接層得到CNN的最終輸出。

1.2 設(shè)計BiGRU網(wǎng)絡(luò)深度學(xué)習(xí)數(shù)據(jù)時序特征

GRU即門控循環(huán)單元結(jié)構(gòu)，它和LSTM同為傳統(tǒng)RNN的變體，能夠有效捕捉交通數(shù)據(jù)中的時間相關(guān)性，避免梯度消失或爆炸問題。與LSTM網(wǎng)絡(luò)相比，GRU在保持良好的計算精度的同時結(jié)構(gòu)更簡單，計算更快捷。GRU的核心結(jié)構(gòu)可以分為兩個部分進(jìn)行解析，分別是更新門和重置門。

GRU的原理是利用門單元控制歷史和當(dāng)前信息的傳遞，其一次向前傳遞過程如下：首先計算更新門和重置門，分別為zt和rt，計算公式如下：

zt=σ（Ws[ht-1，xt]+bs） （1）

rt=σ（Wr[ht-1，xt]+br） （2）

h?t=tanh（W[ht-1?rt，xt]+bh） （3）

ht=（1?zt）?h?t+zt?ht?1 （4）

更新門zt的主要作用是決定當(dāng)前輸入信息需要保留多少。式中，xt——當(dāng)前GRU單元的輸入信息，ht?1——前一個隱態(tài)傳輸?shù)男畔?。他們分別乘以各自的權(quán)重后匯入一個非線性的sigmoid函數(shù)，再經(jīng)過sigmoid函數(shù)激活后輸出激活值zt。輸出值在0～1之間，zt的值越接近1，則說明上一時間步的信息被保留得越多。?——哈達(dá)瑪積，xt——輸入信息，ht——t時刻時隱態(tài)的信息，Wz、Wr和W——權(quán)重矩陣，bz、br、bh是對應(yīng)的偏置矢量。

重置門rt主要決定了模型應(yīng)“忘記”過去的多少信息。輸入的信息xt和前一單元的輸出信息ht?1分別乘以各自的權(quán)重后求和，再經(jīng)過一個sigmoid函數(shù)激活后輸出rt。rt的輸出范圍為0～1，越接近0代表遺忘信息越多，1則代表完全保留信息。

式中，傳統(tǒng)的GRU結(jié)構(gòu)通常沿序列方向進(jìn)行單向傳播，每次計算只與過去信息相關(guān)。但在考慮交通流的未來數(shù)據(jù)受現(xiàn)在數(shù)據(jù)影響時，能夠?qū)?shí)時數(shù)據(jù)產(chǎn)生反饋，需要利用未來的反饋信息對模型進(jìn)行修正。

BiGRU模型由正向傳遞和反向傳遞的GRU共同組成，水平方向表示時間序列的雙向流動，垂直方向則表示從輸入層到輸出層的單向傳遞過程。將正向輸入序列和反向輸入序列的輸出結(jié)果進(jìn)行結(jié)合，則為最終的輸出結(jié)果。計算公式如下：

h ? t=g（xtWf xh+h ? t?1Wf hh+bf h） （5）

h?t=g（xtWb xh+h?t?1Wb hh+bb h） （6）

ht=comcat（h ? t，h??t） （7）

yt=g（htWhq+bq） （8）

式中，h ? t和h?t——前向和后向GRU網(wǎng)絡(luò)的輸出向量，xt——輸入信息，g——非線性激活函數(shù)，Wf xh、Wf hh——正向傳遞的權(quán)重矩陣，Wb xh、Wb hh——反向傳遞的權(quán)重矩陣，bb h、bf h——偏移項， yt——最終輸出結(jié)果。

1.3 引入注意力機(jī)制

注意力機(jī)制是一種模仿人腦注意力的資源分配機(jī)制，在某一特定時刻，大腦把注意力集中在起決定性作用的信息，減少甚至忽略對無關(guān)信息的注意，以捕捉數(shù)據(jù)的重要特征[6]。注意力機(jī)制通過概率分配方式，對關(guān)鍵信息分配足夠的關(guān)注度，提取重要時間點(diǎn)的信息特征，避免預(yù)測網(wǎng)絡(luò)模型將不同節(jié)點(diǎn)進(jìn)行同樣對待，從而提高模型的準(zhǔn)確率。Attention層的輸入為經(jīng)過GRU網(wǎng)絡(luò)層激活處理的輸出向量H，根據(jù)權(quán)重分配原則計算不同特征向量所對應(yīng)的概率，不斷更新迭代出較優(yōu)的權(quán)重參數(shù)矩陣，最后通過全連接層輸出預(yù)測結(jié)果。

1.4 CNN-Attention-BiGRU組合模型

該文提出了結(jié)合注意力機(jī)制的混合神經(jīng)網(wǎng)絡(luò)交通流預(yù)測模型（CNN-Attention-BiGRU，簡稱CN-AM-BG），該組合模型的核心結(jié)構(gòu)包含CNN、BiGRU和注意力機(jī)制?；绢A(yù)測流程如下：首先將道路流量的空間和時間特征整合為一個二維矩陣作為模型的輸入，模型通過CNN層可以捕捉道路流量的空間依賴性；接著將產(chǎn)生的空間特征矩陣輸入BiGRU訓(xùn)練模塊以捕捉流量的時間依賴性；最后引入注意力機(jī)制，根據(jù)分配權(quán)重的概率重點(diǎn)關(guān)注輸入序列中權(quán)重更高的區(qū)域，從而捕捉序列中的核心特征信息，由全連接層輸出最終的預(yù)測結(jié)果。模型中每層結(jié)構(gòu)描述如下：

（1）輸入層：采用最小最大標(biāo)準(zhǔn)化技術(shù)將歷史交通流數(shù)據(jù)映射到[0，1]之間，作為預(yù)測模型的輸入。

（2）CNN層：主要對輸入的交通流序列進(jìn)行特征提取。

（3）GRU層：將CNN層輸出的特征矩陣輸入BiGRU層，通過正向GRU層和反向GRU層進(jìn)一步挖掘數(shù)據(jù)在時間維度上的特征信息，利用時序信息在反向GRU層的信息傳遞對模型進(jìn)行修正。

（4）Attention層：根據(jù)權(quán)重分配原則計算不同特征向量所對應(yīng)的概率，不斷更新迭代出較優(yōu)的權(quán)重參數(shù)矩陣，輸出權(quán)重值。

（5）輸出層：通過全連接層輸出預(yù)測結(jié)果。

2 算例分析

2.1 數(shù)據(jù)與評價指標(biāo)

該文的實(shí)驗(yàn)數(shù)據(jù)來源于加州交通局績效評估系統(tǒng)（PeMS），該系統(tǒng)通過在道路關(guān)鍵位置設(shè)置相關(guān)傳感器獲取交通數(shù)據(jù)。數(shù)據(jù)來源道路是San Diego路網(wǎng)中標(biāo)號為15-N的高速公路，截取某連續(xù)路段的16個探測器所記錄的交通流數(shù)據(jù)作為樣本數(shù)據(jù)，時序數(shù)據(jù)按5 min為間隔排列。

預(yù)測模型的側(cè)重點(diǎn)不同，則預(yù)測效果也不盡相同。因此，需要通過適當(dāng)?shù)闹笜?biāo)評估一個模型是否有足夠的預(yù)測能力，通常用模型預(yù)測值與實(shí)際值的誤差評估模型的預(yù)測精度。該實(shí)驗(yàn)評估指標(biāo)選擇MAE（平均絕對誤差）作為損失函數(shù)，MAE、RMSE（均方根誤差）和MAPE（平均絕對百分比誤差）作為評價模型性能的指標(biāo)。以上三個指標(biāo)值越小，則模型誤差越小、精度越高。數(shù)學(xué)表達(dá)式如下：

MAE=1 n∑ n i=1|y??yi| （9）

MAPE=1 n∑ n i=1|y?i?yi| yi ×100% （10）

RMSE=√1 n∑ n i=1（y??yi）E6iALqv3Eyrxi5M/jCuvsQ==2 （11）

2.2 預(yù)測模型訓(xùn)練

該文使用Tensor Flow中Keras框架搭建實(shí)驗(yàn)所需模型，并且在python3.6環(huán)境中進(jìn)行訓(xùn)練和預(yù)測。模型訓(xùn)練過程涉及激活函數(shù)、損失函數(shù)、優(yōu)化算法、批量數(shù)（Batch size）、迭代次數(shù)（epoch）等各類參數(shù)的調(diào)優(yōu)，超參數(shù)的選擇會對模型的準(zhǔn)確性產(chǎn)生直接影響，預(yù)測模型的超參數(shù)將盡量保持一致。交通流數(shù)據(jù)以前90%的數(shù)據(jù)為訓(xùn)練數(shù)據(jù)，后10%數(shù)據(jù)為測試數(shù)據(jù)。將交通流數(shù)據(jù)按照空間位置關(guān)系及時間序列整合為二維矩陣，作為模型的輸入。為了驗(yàn)證CN-AM-BG模型的預(yù)測精度和穩(wěn)定性，選取了三種基于深度學(xué)習(xí)方法的交通流預(yù)測模型進(jìn)行結(jié)果對比。預(yù)測模型超參數(shù)設(shè)置如下：

（1）單一維度模型。

LSTM模型：隱層數(shù)為1，隱層單元為32；激活函數(shù)為ReLU；Batch size為32；應(yīng)用Dropout正則化隨機(jī)丟棄不重要的特征，dropout值設(shè)為0.01，優(yōu)化算法為Adam；模型迭代次數(shù)為100。

（2）組合模型。

CNN-GRU模型：CNN模型卷積層為3層，每層卷積核個數(shù)分別為32/64/128個，卷積核大小為1×3；池化層采用最大池化；激活函數(shù)為ReLU，優(yōu)化算法為Adam；Batch size為32；模型迭代次數(shù)為100；GRU為改進(jìn)的LSTM模型，模型的超參數(shù)設(shè)置與LSTM模型相同。

（3）結(jié)合注意力機(jī)制的組合模型。

CN-AM-BG模型：卷積層數(shù)為3層，BiGRU為1層，Attention層為1層，Attention層神經(jīng)元個數(shù)為128，激活函數(shù)都采用ReLU；優(yōu)化算法為Adam；Batch size為32；Dropout值為0.02；學(xué)習(xí)率為0.001；時間窗設(shè)置為6，時間跨度為30 min；模型迭代次數(shù)為100。

2.3 結(jié)果分析

對各模型應(yīng)用同一數(shù)據(jù)集進(jìn)行預(yù)測，各模型預(yù)測結(jié)果評價指標(biāo)對比如表1所示。與單一模型LSTM相比，CN-AM-BG模型性能指標(biāo)MAE、RMSE、MAPE分別降低了5.78、6.93、8.48；與組合模型CNN-GRU相比，MAE、RMSE、MAPE分別降低了0.91、1.98、1.45。

時間序列模型LSTM的預(yù)測誤差較大，模型無法預(yù)測即將到達(dá)的交通流峰值。CNN-GRU模型結(jié)合CNN網(wǎng)絡(luò)及GRU網(wǎng)絡(luò)的優(yōu)點(diǎn)，識別了短時交通流數(shù)據(jù)的空間局部特征，并且保留了挖掘時間特征的能力，可以預(yù)測早晚高峰時段的交通流變化，該模型有效提高了預(yù)測精度，體現(xiàn)了混合模型在交通流預(yù)測中的優(yōu)越性。

CN-AM-BG組合預(yù)測模型利用注意力機(jī)制，重點(diǎn)關(guān)注長序列數(shù)據(jù)中的特征信息，預(yù)測結(jié)果誤差最小。與組合模型CNN-GRU相比，預(yù)測精度得到進(jìn)一步提升，預(yù)測效果更貼合真實(shí)值，達(dá)到較高的預(yù)測水準(zhǔn)。

通過各模型的預(yù)測誤差對比結(jié)果可知，相比單一維度的LSTM模型而言，組合模型可以綜合考慮時空序列數(shù)據(jù)中更為復(fù)雜的模式和特征，預(yù)測效果更優(yōu)；而相比組合模型CNN-GRU來說，CN-AM-BG模型利用注意力機(jī)制重點(diǎn)關(guān)注長序列數(shù)據(jù)中的特征信息，更進(jìn)一步降低了模型的預(yù)測誤差。

3 結(jié)論

該文從交通流量序列非平穩(wěn)和隨機(jī)性特征出發(fā)，為提升交通流預(yù)測的準(zhǔn)確度，提出了改進(jìn)的CN-AM-BG預(yù)測模型。模型深度結(jié)合交通流的時空特征，先在網(wǎng)絡(luò)底層使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行局部空間特征的提取，得到包含空間信息的特征向量，再利用結(jié)合注意力機(jī)制層的雙向GRU網(wǎng)絡(luò)，同時考慮雙向的交通流數(shù)據(jù)提取時間特征，并考慮上下游交通流對預(yù)測點(diǎn)產(chǎn)生的影響。通過實(shí)驗(yàn)仿真結(jié)果可知，其預(yù)測精確度明顯優(yōu)于單個的LSTM模型、CNN-GRU組合模型，具有較強(qiáng)的預(yù)測性能和泛化能力，能夠滿足短時交通流預(yù)測精度的要求，可為交通流預(yù)測提供理論參考和方法依據(jù)。

參考文獻(xiàn)

[1]JIANG W， ZHANG L. Geospatial data to images： A deep-learning framework for traffic forecasting[J]. Tsinghua Science and Technology， 2019（1）：52-64.

[2]DUAN Z ， YANG Y ， ZHANG K ， et al. Improved Deep Hybrid Networks for Urban Traffic Flow Prediction Using Trajectory Data[J]. IEEE Access， 2018（6）：31820-31827.

[3]Guo S， LIN Y， FENG N， et al. Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting[J]. Proceedings of the AAAI Conference on Artificial Intelligence， 2019（33）：922-929.

[4]殷禮勝，孫雙晨，魏帥康，等.基于自適應(yīng)VMD-Attention-BiLSTM的交通流組合預(yù)測模型[J].電子測量與儀器學(xué)報，2021（7）：130-139.

[5]劉明宇，吳建平，王鈺博，等.基于深度學(xué)習(xí)的交通流量預(yù)測[J].系統(tǒng)仿真學(xué)報，2018（11）：4100-4105.

[6]杜圣東，李天瑞，楊燕，等.一種基于序列到序列時空注意力學(xué)習(xí)的交通流預(yù)測模型[J].計算機(jī)研究與發(fā)展，2020（8）：1715-1728.

收稿日期：2024-07-12

作者簡介：魏榮（1995—），女，碩士，助理工程師，研究方向：交通規(guī)劃與管理。