薛相全，龐明寶 （河北工業(yè)大學 土木與交通學院，天津 300401）

0 引 言

高速公路交通狀態(tài)的精準識別是提升其運行效率的關鍵，早期的研究集中于雙指數(shù)平滑法、McMaster 和貝葉斯算法等數(shù)理統(tǒng)計算法[1-3]，后集中于模糊聚類、人工神經(jīng)網(wǎng)絡、支持向量機等機器學習方法[4-6]，以上研究多為利用單一參數(shù)或同等對待多元參數(shù)，但高速公路交通流時空分布不均使不同參數(shù)的影響程度不同[7]，如純主線路段干擾少，速度參數(shù)影響程度高；而匝道附近路段分、合流使車輛加減速頻繁，則流量參數(shù)的影響程度高，若不加以區(qū)分，會使狀態(tài)識別結果存在一定誤差。

為區(qū)分多元交通流參數(shù)影響差異性，如李曉璐等[7]和余慶等[8]引入熵權法區(qū)分參數(shù)的影響權重以改進模糊聚類算法并建立相應的高速公路交通狀態(tài)識別模型。但熵權法需要人為設置評價指標閾值以供其計算參數(shù)指標權重，這使其存在一定主觀因素，且聚類算法參數(shù)設置敏感可能會出現(xiàn)特征提取遺漏問題，使多元參數(shù)特征不能有效融合，無法提供更多有效信息，狀態(tài)識別準確性有待提升。

而考慮多元交通流參數(shù)的狀態(tài)識別算法關鍵在于特征的有效提取和融合。Transformer 模型利用自注意力機制強大的學習和表示能力能夠自主給予多元參數(shù)以合適權重，使其在特征提取過程中信息損失減少，精準性高[9-12]，同時并行化處理也可節(jié)約時間，近年來成為圖像、文本分類的最新方法；且增強序列模型（Enhanced Sequential Inference Model, ESIM） 可以強化多元參數(shù)特征的相似性和差異性，進一步加強了信息的有效融合，提高了分類效率[13]，但其不涉及多元交通流參數(shù)的高速公路狀態(tài)分類識別研究。基于此，本文考慮多元交通流參數(shù)對于交通狀態(tài)影響差異性，基于Transformer-ESIM 模型強大的自適應學習能力給予多元交通參數(shù)以合適權重并實現(xiàn)有效融合，建立高速公路交通狀態(tài)分類識別模型，通過實際交通流數(shù)據(jù)予以驗證。

1 狀態(tài)識別系統(tǒng)結構

1.1 系統(tǒng)結構

本文構建的多元交通流參數(shù)高速公路狀態(tài)分類識別系統(tǒng)結構如圖1 所示。其中描述交通流特性的參數(shù)指標包括車流量、平均速度和占有率。

圖1 狀態(tài)識別系統(tǒng)結構

1.2 系統(tǒng)原理

基本原理如下：（1） 信息采集子系統(tǒng)采集的流量、速度和占有率等參數(shù)數(shù)據(jù)存儲在數(shù)據(jù)庫中，并對數(shù)據(jù)進行預處理以滿足交通狀態(tài)分類識別和其他交通管理控制的需要。（2） 將處理后的多元交通流參數(shù)輸入到Transformer 編碼層并行化提取有效特征，其中編碼層主要由多頭注意力機制層和前饋神經(jīng)網(wǎng)絡層組成。（3） 將編碼后的序列輸入到交叉注意力層，基于ESIM 強化各交通流參數(shù)特征的相似性和差異性，緩解由于直接融合參數(shù)特征而忽略參數(shù)彼此間影響的問題。（4） 將經(jīng)過池化的有效信息特征輸入到分類層中完成交通狀態(tài)的分類識別。

2 基于Transformer-ESIM 交通狀態(tài)分類識別模型

2.1 Transformer 編碼層

為實現(xiàn)多元交通流參數(shù)數(shù)據(jù)的并行化特征的有效提取，減少訓練時間，本文通過構建Transformer 編碼層解決。Transformer編碼層由多頭自注意力機制層和前饋神經(jīng)網(wǎng)絡層組成。

2.1.1 多頭注意力機制。多頭注意力機制利用自注意力操作可以給予不同特征以不同的權重來有效獲取信息，流程如下：

其中：SoftMax()·為非線性函數(shù)；dk為Kn的維度。

（2） 對第m 個注意力頭進行自注意力操作，見式（5），每個頭對輸入的交通流序列數(shù)據(jù)信息的關注程度存在差異，學習到的關系不同，待各頭注意力計算完成后進行多頭拼接可防止過擬合現(xiàn)象如式（6） 所示，對比簡單加權平均準確性更高。

其中：LayerNorm()·為歸一化函數(shù)，Res()·為殘差網(wǎng)絡函數(shù)，yn為輸入序列，f yn()為映射關系，Yn為完成層殘差和歸一化的序列數(shù)據(jù)。

2.1.2 前饋神經(jīng)網(wǎng)絡層。由于前饋神經(jīng)網(wǎng)絡層的輸入和輸出不存在依賴關系，其一般由全連接層和激活函數(shù)層組成，全連接層增加模型的線性學習能力，激活函數(shù)增加非線性學習能力，將經(jīng)過多注意力機制處理后的向量Yn輸入到前饋神經(jīng)網(wǎng)絡層，見式（8），并進行層殘差和歸一化完成最終編碼，見式（9），以避免過擬合現(xiàn)象。

其中：SoftMax()·為全連接層所用函數(shù)，Relu()·為激活函數(shù)層所用函數(shù)，W1、W2為前饋神經(jīng)網(wǎng)絡層的權重矩陣，b1、b2為前饋神經(jīng)網(wǎng)絡層的偏置。

2.2 ESIM-交叉注意力層

多元交通流參數(shù)融合可提高狀態(tài)識別準確性。但現(xiàn)有研究主要是對多元交通流參數(shù)分別提取特征再輸入到一個特征融合層進行直接融合，而忽略多元交通流參數(shù)間的狀態(tài)影響差和彼此間的相互作用。而ESIM 交叉注意力機制可以強化不同交通流參數(shù)間的相似性和差異性，其流程如下：

（1） 相似性計算。計算不同交通流參數(shù)數(shù)據(jù)特征的相似度矩陣，獲取多元參數(shù)間的相似信息如式（10） 至式（15）。

其中：za、zb、zc分別后經(jīng)過信息差異化增強的流量、速度和占有率的特征。

（3） 池化操作。對增強后的流量、速度和占有率序列數(shù)據(jù)進行池化操作來完成特征融合以提升模型魯棒性，見式（19）。由于拼接后可能會存在對序列長度敏感，適應能力降低，因此，對三個序列進行平均池化和最大池化，并將最后的結果放入一組定長向量中來獲得更好的效果。

其中：pa,average、pb,average、pc,average分別為流量、速度和占有率的平均池化向量；pa,max、pb,max、pc,max分別為流量、速度和占有率的最大池化向量。

2.3 分類層

充分考慮多元參數(shù)間差異性，在完成流量、速度和占有率的特征信息加強后進行暢通、穩(wěn)定、擁堵和擁塞4 種交通狀態(tài)分類識別，采用SoftMax 分類器輸出特征融合數(shù)據(jù)pi每個狀態(tài)類別的概率值，最后選擇其中數(shù)值最大者的對應類別為預測的狀態(tài)類別，見式（20）。

其中：si為模型預測類別的輸出概率；W3為全連接層的權重矩陣；b3為全連接層的偏置。

選擇交叉熵為損失函數(shù)如式（21），來完成模型參數(shù)訓練及動態(tài)更新。

3 實驗分析

3.1 實驗背景及設置

以京港澳高速保定互通→清苑為實驗路段，該路段含5 對出入口匝道和2 座與其它高速互通立交橋，主線單向4 車道，小、大車限速值分別為120km/h、100km/h，該路段為保定市繞城高速東環(huán)段，人們出行頻繁，有明顯高峰期特征，能呈現(xiàn)各種交通狀態(tài)。利用河北高速公路公司預處理后提供的2019 年10 月的流量、速度和占有率數(shù)據(jù)進行實驗。選擇每周一到周五6:00～21:00 其中2 周的交通流參數(shù)數(shù)據(jù)，數(shù)據(jù)采集時間間隔為5min，參數(shù)數(shù)據(jù)正常，無異常點，利用成熟的狀態(tài)評價體系，構成由暢通、穩(wěn)定、擁堵和擁塞組成的4 種狀態(tài)數(shù)據(jù)庫[15]，每種類別交通流參數(shù)包含1 800 條數(shù)據(jù)，共包含5 400 條數(shù)據(jù)，其中各類別數(shù)據(jù)分布情況如表1 所示，并將數(shù)據(jù)集按4:1 分為訓練集和測試集。實驗基于TensorFlow1.15 框架完成，Anaconda 版本為5.1.1，Python 版本為3.8，CUDA 版本為11.3，Keras 版本為2.1，設置學習率為0.001，Dropout 為0.5，迭代100 次。本文選擇正確率Accuracy 作為模型的評價指標，見式（22）。

表1 不同類別狀態(tài)數(shù)據(jù)分布數(shù)

其中：Acc 為準確率；T 為類別被預測正確的個數(shù)；F 為類別被預測失誤的個數(shù)。

3.2 實驗結果及分析

為驗證本文提出的狀態(tài)識別模型的有效性，將多元交通流參數(shù)進行有效融合后的狀態(tài)識別結果和利用不同參數(shù)融合后進行狀態(tài)識別的結果進行對比，結果如表2 所示。

基于本模型，利用流量數(shù)據(jù)進行實驗為情景1，利用流量、占有率數(shù)據(jù)為情景2，利用流量、速度與占有率數(shù)據(jù)為情景3，得到不同情景下的損失曲線變化情況如圖2 所示。

由表2 和圖2 可以看出：（1） 不同類型的交通流參數(shù)對于狀態(tài)影響程度存在差異性。識別精度占有率最高，流量其次，速度最低。這是因為在一定的時間間隔內(nèi)，相對流量和占有率而言，速度的波動情況較頻繁，對于模型的學習能力產(chǎn)生一定干擾，但識別準確性均在合理范圍內(nèi)，表明了方法的有效性。（2） 隨著融合交通流參數(shù)的類別增加，模型的準確性也在逐漸增加，對比單一參數(shù)數(shù)據(jù)，多元參數(shù)數(shù)據(jù)能夠給予模型更多的有效信息，而Transformer 模型利用多頭注意力機制給予合適權重實現(xiàn)并行化提取多元參數(shù)的特征信息，且多元參數(shù)的特征進行相似性和差異性增強后，特征信息實現(xiàn)了有效融合，狀態(tài)識別的準確性得以提升。（3）三種情景下，迭代開始時，損失函數(shù)值迅速下降，達到一定代數(shù)，損失函數(shù)下降速度變緩，最后趨于穩(wěn)定，達到收斂，這表示本模型在不同情景下均有效，表明了模型的適應能力較強；情景1 收斂速度最慢，約于50 代實現(xiàn)收斂，期間波動次數(shù)較多，情景2 收斂速度適中，情景3 收斂速度最快，約于40 代收斂，波動次數(shù)少，這是因為多元參數(shù)能提供更多有效信息給予模型，且本方法充分考慮到不同交通流參數(shù)的相似性和差異性，信息特征能夠得到充分利用，因而能迅速達到收斂，減少了訓練時間，這進一步證明了本方法的有效性。

圖2 不同情景下?lián)p失函數(shù)曲線

表2 不同融合參數(shù)的交通狀態(tài)識別準確率

3.3 與其他方法對比分析

為進一步驗證本方法的有效性，本文基于上述設置的三種情景，分別利用不同的方法進行分類識別。其中方法1 為模糊聚類算法；方法2 為BP 神經(jīng)網(wǎng)絡算法；方法3 為支持向量機算法；方法4 為本方法未進行信息增強僅簡單拼接；方法5 為本方法。表3 為不同情景下不同方法的狀態(tài)識別準確率。

由表3 可以發(fā)現(xiàn)：（1） 在不同情景下，隨著交通流參數(shù)類別增加，不同方法的交通狀態(tài)的識別準確度呈現(xiàn)增加趨勢，這是因為隨著交通流參數(shù)類別增加，各方法獲取更多有效信息的機會增加，機器學習的能力得以進一步發(fā)揮，各方法能夠更充分理解不同交通流參數(shù)數(shù)據(jù)中的特征信息，有利于得出精準的判別。（2） 在不同情景下，對比模糊聚類、BP 神經(jīng)網(wǎng)絡和支持向量機等傳統(tǒng)的機器學習算法，基于深度學習的Transformer 模型的狀態(tài)識別精度較高，充分體現(xiàn)了Transformer 模型的優(yōu)越性，其所用的注意力機制給予不同特征以合適權重使得信息傳遞的過程產(chǎn)生的損耗較少，學習能力更強，并行化處理使更多有效信息被利用，訓練時間更短，能夠滿足工程實際的需要。（3） 對比方法4和方法5 可以發(fā)現(xiàn)，將多元交通流參數(shù)進行簡單拼接的狀態(tài)識別效果稍差，這是因為不同類別的交通流參數(shù)的影響程度并不同，若僅是簡單拼接，雖然模型接收的信息量增加，但不能使模型接收到的有效信息量增加，Transformer 模型處理非線性問題的強大能力沒有得到充分發(fā)揮，而經(jīng)過ESIM 交叉注意力層進行信息相似性和差異性增強后進行有效融合后使得該問題得以解決。

表3 不同情景下不同方法的狀態(tài)識別準確率單位：%

4 結束語

利用實際的多元交通流參數(shù)數(shù)據(jù)進行實驗，本文提出基于Transformer-ESIM 的高速公路交通狀態(tài)識別模型，實驗結果表明：（1） 在不同交通需求情景下，本方法的識別準確性均在有效范圍內(nèi)，特別是融合流量、速度和占有率后的準確性最高，充分體現(xiàn)了本方法能夠充分利用多元交通流參數(shù)對狀態(tài)影響的差異性；（2） 在不同交通需求情景下，對比其他傳統(tǒng)機器學習方法，本方法充分發(fā)揮Transformer 對于非線性數(shù)據(jù)的處理能力，狀態(tài)識別的精準度最高，充分體現(xiàn)了本方法的優(yōu)越性，能夠滿足工程實際需要。

本研究僅是初步研究，對大規(guī)模高速公路網(wǎng)絡的狀態(tài)預判以提升運行效率有待進一步研究。