摘要：高速公路通行費受到節(jié)假日、突發(fā)事件等復雜因素影響，傳統(tǒng)預測方法在處理這些問題時，往往無法充分考慮多維因素之間的復雜交互作用，導致預測精度難以達到理想水平。大型語言模型利用自注意力機制能夠實現(xiàn)對復雜時空數(shù)據(jù)的擬合，并具有更強的特征學習能力，可有效解決高速公路通行費的精準預測問題。利用此特性提出了一種基于iTransformer的高速公路通行費精準預測模型，該預測模型將時間信息作為獨立維度嵌入輸入序列中，并倒置了自注意力機制與前饋網絡的職責，使得預測模型能夠更準確地捕捉時間序列的動態(tài)特征和多變量之間的相關性。實例分析結果顯示，所提出的預測模型在普通場景下較SARIMA模型和LSTM模型平均預測精度分別提高23.47%和17.84%。特殊場景下具有更優(yōu)預測效果，分別提升70.92%和45.64%。針對所提出預測模型進行敏感性分析，模型對前饋網絡層數(shù)和編碼器堆疊層數(shù)較為敏感，對注意力頭數(shù)變化不敏感。該研究為解決復雜交通環(huán)境下的通行費預測問題提供了新的方法論支持，對提高高速公路通行費預測精度具有重要意義。

關鍵詞：大語言模型；預測模型；自注意力機制；通行費

中圖分類號：U491.1+22""" 文獻標志碼：A""" 文章編號：1002-4026（2025）01-0120-09

開放科學（資源服務）標志碼（OSID）：

DOI：10.3976/j.issn.1002-4026.20240055【交通運輸】

收稿日期：2024-04-07

基金項目：國家重點基礎研究發(fā)展計劃（2022YFB4300404）；河北省中央引導地方科技發(fā)展資金項目（236Z0802G）

作者簡介：王恒昆（1991—），男，碩士，工程師，研究方向為交通工程。E-mail： 15054123066@163.com

*通信作者，王江鋒，男，教授，研究方向為車聯(lián)網、綜合交通大數(shù)據(jù)。E-mail： wangjiangfeng@bjtu.edu.cn， Tel：13811805476

A precise highway toll prediction model based on iTransformer

WANG Hengkun1，GU Jin2，SONG Zhifan3，WANG Jiangfeng3*

（1. Shandong Traffic Research Institute， Jinan 250002， China;2. Shandong Provincial Communications Planning and Design Institute

Group Co.， Ltd.， Jinan 250002， China;3. School of Traffic and Transportation， Beijing Jiaotong University， Beijing 100044， China）

Abstract∶The prediction of highway tolls is affected by complex factors such as holidays and unexpected events. Traditional prediction methods often fail to fully account for intricate interactions between these multiple factors， resulting in less-than-ideal prediction accuracy. By leveraging the self-attention mechanism， large language models can better fit complex spatiotemporal data and have enhanced feature learning capabilities， making them highly effective for precise highway toll prediction. Therefore， this study proposes a highway toll prediction model based on iTransformer. This model embeds temporal information as an independent dimension into the input sequence and reverses the roles of the self-attention mechanism and feed-forward network， thereby allowing the model to more accurately capture the dynamic features of time series and correlations between multiple variables. Case studies show that the proposed model improves the average prediction accuracy by 23.47% and 17.84% compared with the SARIMA and LSTM models， respectively， in regular scenarios. In irregular scenarios， the model demonstrates even better predictive performance， improving the accuracy by 70.92% and 45.64%， respectively. A sensitivity analysis of the proposed model indicates that it is highly sensitive to the number of feed-forward network layers and stacked encoder layers but is less sensitive to changes in the number of attention heads. Thus， this study provides a new methodological approach for addressing the challenges associated with toll prediction in complex traffic environments and has significant implications in terms of improving the accuracy of highway toll predictions.

Key words∶large language model; prediction model; self-attention; toll fee

通行費是高速公路的主要營收來源之一，精準的通行費預測可以為高速公路運營管理提供有力的數(shù)據(jù)支持［1］，然而現(xiàn)有預測模型由于精度較差、適應場景單一等諸多原因無法滿足其需求［2］。隨著ChatGPT等生成式預訓練模型應用越來越廣泛，其背后的Transformer模型滲透到深度學習的各個研究領域，其強大的特征捕獲性能為高速公路通行費精準預測提供了另一種可能性，對于提高我國高速公路運營管理和服務水平有著重要意義［3］。

目前的通行費預測模型主要分為直接預測法、間接預測法［4］和深度學習預測法。其中直接預測法以差分自回歸移動平均模型（ARIMA）［5］、Holt-Winters［6］模型為代表，它所需數(shù)據(jù)簡單、易于實現(xiàn)，但在非線性、不平穩(wěn)的數(shù)據(jù)集上表現(xiàn)欠佳。間接預測法以線性回歸、多元回歸等方法為代表，對于相關指標的選取有著較高要求，同樣在復雜模式的預測中存在局限性。深度學習預測法通過對長期時序數(shù)據(jù)的學習表現(xiàn)出良好的預測性能［7］，如循環(huán)神經網絡（RNN）、卷積神經網絡（CNN）［8］和長短期記憶網絡（LSTM）［9］，但這類方法對于訓練數(shù)據(jù)集的可靠性有著較高的要求。

時間序列與Transformer的結合成為近幾年深度學習領域的一個焦點，相比傳統(tǒng)的深度學習方法，Transformer模型在捕捉長時序數(shù)據(jù)的動態(tài)特征方面展現(xiàn)了更強的能力。近年來出現(xiàn)不少將Transformer模型應用于時間序列任務的嘗試，首先是多尺度建模的Transformer模型，它們強調在不同時間尺度上捕捉時間序列的特征，如Pathformer［10］和SCALEFORMER［11］。其次是頻域與時域結合的模型，此類模型結合了頻域和時域的信息來提升預測能力，如InParformer［12］和FEDformer［13］。在自注意力機制改進方面，Informer設計了一種高效的長序列時間序列預測模型。最后，在復雜時間模式提取方面，iTransformer僅僅通過倒置自注意力機制和前饋網絡的職責，集成多層次注意力機制，實現(xiàn)了時間序列的全局和局部特征的精準提?。?4］，能夠處理大規(guī)模時間序列數(shù)據(jù)，并通過減少計算復雜度來提高效率［15］。

本文以G9211甬舟高速通行費數(shù)據(jù)為基礎，提出了基于iTransformer的高速公路通行費精準預測模型，測試模型在不同場景下的表現(xiàn)，與傳統(tǒng)預測模型進行性能比較，為高速公路通行費預測問題提供了一種新的解決思路和方法，探索了深度學習技術和大語言模型服務交通領域的可能性。

1" 數(shù)據(jù)預處理

本文采用卡爾曼濾波對數(shù)據(jù)進行預處理，卡爾曼濾波通過對系統(tǒng)狀態(tài)進行遞歸估計，減少觀測數(shù)據(jù)中的噪聲和不確定性，突出系統(tǒng)長期趨勢，使數(shù)據(jù)更易于分析和理解，處理過程包含狀態(tài)更新方程和觀測更新方程，如下所示。

狀態(tài)更新方程：

x︿k|k-1=Fkx︿k-1|k-1+Bkuk，（1）

Pk|k-1=FkPk-1|k-1FTk+Qk，（2）

式中，x︿k|k-1為由時刻k-1的狀態(tài)得到的時刻k的狀態(tài)預測估計值;x︿k-1|k-1為由時刻k-1的狀態(tài)得到的時刻k-1的狀態(tài)預測估計值;Fk為描述系統(tǒng)動態(tài)特性的狀態(tài)轉移矩陣;Bk為表示外部輸入對系統(tǒng)影響的控制輸入矩陣;uk為控制輸入向量;Pk|k-1為預測向量的協(xié)方差矩陣;Pk-1|k-1為時刻k-1時狀態(tài)的協(xié)方差矩陣;Qk為狀態(tài)轉移過程中系統(tǒng)噪聲的協(xié)方差矩陣。

觀測更新方程：

x︿k|k=x︿k|k-1+Kkzk-Hkx︿k|k-1，（3）

Pk|k=I-KkHkPk|k-1，（4）

Kk=Pk|k-1HkTHkPk|k-1HkT+Rk-1，（5）

式中，x︿k|k為在時刻k的狀態(tài)估計值;Kk為卡爾曼增益矩陣;zk為在時刻k的觀測值;Hk為用于將狀態(tài)空間映射到觀測空間的觀測矩陣;Rk為觀測噪聲協(xié)方差矩陣;I為單位矩陣。

2" 基于iTransformer的時間序列預測模型

2.1" 模型框架

本文基于iTransformer的高速公路通行費精準預測模型的研究主要分為3部分，分別是數(shù)據(jù)預處理、預測模型和模型性能評價，如圖1所示。其中核心部分預測模型由輸入嵌入、編碼器等模塊構成，輸入嵌入模塊負責將時間序列數(shù)據(jù)進行編碼，以便模型能夠理解輸入數(shù)據(jù)的含義和特征。編碼器通過多層堆疊實現(xiàn)對輸入序列的特征提取，每個編碼器包含多頭自注意力機制和前饋網絡，用于捕捉序列中的長期依賴關系和變化規(guī)律。

2.2" 輸入嵌入

Transformer模型在處理時間序列數(shù)據(jù)時，首先需要將數(shù)據(jù)嵌入為計算機可處理的三維張量形式，這一步驟是模型對時間序列數(shù)據(jù)進行處理和理解的關鍵。一般將包含變量數(shù)為N、長度為T的數(shù)據(jù)表示為如下形式的三維張量。

X=x1，…，xT∈瘙綆T×N，（6）

EmbeddingX=B，N，D，（7）

式中，X為輸入矩陣；B為批次大小，即一次輸入模型的樣本數(shù)量；N為特征維度，即每個時間步所包含的變量數(shù)量；T為時間步數(shù)，即時間序列的長度或觀察窗口的大??；D為數(shù)據(jù)被嵌入的維度。

以往使用Transformer模型處理時間序列數(shù)據(jù)時使用位置編碼來記錄時間步的順序信息，然而這種傳統(tǒng)的順序表示方法在時間序列任務中存在限制，各個變量具有不同的物理意義，而它為不同變量在相同的時間步賦予相同的時間戳，這種表示可能會導致相關性提取不準確，從而影響模型的性能和表現(xiàn)。在iTransformer模型中，將時間信息作為一個獨立的維度嵌入到輸入變量序列中，這樣每個時間點都可以被表示為一個獨特的向量，準確地捕捉時序數(shù)據(jù)中的動態(tài)特征和相關性，具體步驟如下：

（1）將維度為B，N，T的數(shù)據(jù)輸入全連接層，每個時間步的數(shù)據(jù)映射到一個更高維度的特征空間中，輸出維度是B，N，D，其中D表示嵌入的維度。

（2）通過Rearrange函數(shù)將數(shù)據(jù)的維度重新排列成B，D，T的形式，這種形式可以更好地融合變量和時間步的信息，以便后續(xù)的自注意力機制能夠更好地捕捉時間序列數(shù)據(jù)中變量之間的關系。

（3）將數(shù)據(jù)輸入Layer Normalization層，對嵌入后的數(shù)據(jù)進行歸一化處理，提高模型的訓練穩(wěn)定性和收斂速度，表示如下：

LayerNormx=x-μσ⊙γ+β，（8）

式中，μ為數(shù)據(jù)的均值，σ為數(shù)據(jù)的標準差，γ和β為可學習的縮放因子和偏置項。

2.3" 編碼器

Transformer模型中的編碼器由多個模塊堆疊構成，每個模塊包括自注意力機制和前饋網絡兩個主要組件。對于時間序列數(shù)據(jù)，編碼器的作用是將輸入的時間序列數(shù)據(jù)轉換為包含語義信息和上下文信息的隱藏狀態(tài)，幫助模型更好地理解時間序列數(shù)據(jù)的內在規(guī)律和特征，提高模型在時間序列分析任務上的性能。

iTransformer模型在傳統(tǒng)Transformer模型的基礎上對編碼器進行了改進，倒置了自注意力機制和前饋網絡的職責，因此稱之為Inverted Transformer模型。在傳統(tǒng)的Transformer模型中，自注意力機制主要用于捕獲輸入序列的自相關性，前饋網絡用于學習序列中的局部特征。然而在iTransformer模型中，這兩者的職責發(fā)生顛倒，自注意力機制用于捕獲多變量之間的相關性，而前饋網絡則負責學習“序列-全局”表示，處理全局特征關系。

2.3.1" 自注意力機制

iTransformer模型中改進的自注意力機制用于在輸入序列中捕獲多變量之間的關系，通過計算序列中每個位置與其他所有位置之間的關聯(lián)度，從而實現(xiàn)對序列的建模和特征提取。在本文所采用的模型中，自注意力機制通過以下幾個步驟構建。

（1）首先通過3個線性變換層，將輸入數(shù)據(jù)映射到Q、K和V的空間，這一過程可以用

Q、K、V表示，公式如下：

Q=X·WQ，（9）

K=X·WK，（10）

V=X·WV，（11）

式中，WQ、WK和WV分別為Q、K、V空間對應的權重矩陣。

（2）計算注意力分數(shù)矩陣并歸一化處理，以獲取變量與變量之間的相關性。

AttentionQ，K，V=softmaxQK" dhV，（12）

式中，softmax為歸一化函數(shù)，dh為注意力頭的維度。

（3）最后將注意力分數(shù)矩陣通過線性變換和殘差連接傳遞給下一層網絡進行處理。

2.3.2" 前饋網絡

前饋網絡承接自注意力機制的輸出，其核心功能是通過線性變換將輸入特征映射到高維空間，通過激活函數(shù)對特征進行非線性變換，使得模型能夠學習到更加復雜和豐富的特征表示。

在本文使用的模型中，前饋網絡由以下幾個關鍵部分組成：

（1）線性層：輸入序列通過線性變換層將原始維度映射到更高維度的特征空間，有助于提取輸入序列中的復雜特征信息。

（2）激活函數(shù)：線性層處理過的序列經過一個門控線性單元（GEGLU）激活函數(shù)的處理，將每個特征分成兩個部分，分別進行乘積和sigmoid激活函數(shù)的操作，然后再進行點乘操作，從而引入了更多的非線性建模能力。

（3）Dropout層：激活函數(shù)處理過的序列通過Dropout層進行正則化，以減少過擬合的風險。

（4）輸出歸一化：最后經過正則化的序列通過另一個線性變換層將特征映射回原始的維度，得到最終的前饋網絡輸出。

3" 實例分析

3.1" 數(shù)據(jù)來源

選取滬杭甬高速和甬舟高速2013年1月至2023年8月每月通行費數(shù)據(jù)進行實例分析，其通行費原始數(shù)據(jù)變化如圖2所示。從圖中可以看出，滬杭甬高速通行費收入整體上大于甬舟高速，兩條高速通行費數(shù)據(jù)在時間特征上均顯示出一定的趨勢性，2013—2019年通行費收入呈現(xiàn)出逐年增長的趨勢，2020年受新冠疫情影響通行費總額有所降低，2023年之后恢復增長趨勢。在模式特征上均顯示出明顯的周期性，受節(jié)假日的影響較大，每年的通行費數(shù)據(jù)呈現(xiàn)出明顯的季節(jié)性波動，春節(jié)、五一、十一假期受節(jié)假日通行費免費政策影響數(shù)值較低，而暑期受旅游業(yè)影響數(shù)值較高，其中滬杭甬高速受五一假期和十一假期產生的波谷更為明顯，甬舟高速受暑期旅游影響產生的波峰更為明顯。2020年受新冠疫情的影響采取了交通管制等措施導致數(shù)據(jù)變化異常。

3.2" 模型有效性分析

選取SARIMA模型和長短期記憶神經網絡LSTM模型作為比較，分別就普通場景和特殊場景測試iTransformer模型的有效性，普通場景數(shù)據(jù)集為通行費變化較為規(guī)律的2013—2019年，特殊場景關注模型在疫情發(fā)生后追蹤數(shù)據(jù)變化特征的性能。

在使用卡爾曼濾波進行數(shù)據(jù)預處理時，針對一維通行費時間序列數(shù)據(jù)，設置狀態(tài)轉移矩陣Fk=1，控制輸入矩陣Bk=0，控制輸入向量uk=0，觀測矩陣Hk=1，初始狀態(tài)估計x0為時間序列數(shù)據(jù)的第一個值。滬杭甬高速數(shù)據(jù)過程噪聲協(xié)方差矩陣Qk=0.01，觀測噪聲協(xié)方差矩陣Rk=0.001，初始誤差協(xié)方差矩陣P0=1。甬舟高速數(shù)據(jù)過程噪聲協(xié)方差矩陣Qk=0.001，觀測噪聲協(xié)方差矩陣Rk=0.001，初始誤差協(xié)方差矩陣P0=100。

在模型有效性研究實驗中，iTransformer模型學習率設置為0.000 1，隱藏維度設置為256，注意力頭數(shù)為8，前饋網絡層數(shù)為512，編碼器堆疊層數(shù)為2。

3.2.1" 普通場景

本節(jié)分別用3種模型對滬杭甬高速和甬舟高速2019年1月至12月的通行費進行預測，選取平均絕對誤差δMAE、均方誤差δMSE、均方根誤差δRMSE、平均相對誤差δMAPE作為評價指標。3種模型預測結果的誤差指標如圖3所示。

從圖3中可以看出，4種誤差指標波動趨勢相似。SARIMA模型在大部分時間步上預測誤差維持在一定區(qū)間，較其他兩種深度學習模型預測誤差水平偏大，5月和10月的預測值誤差較大；LSTM模型和iTransformer模型整體表現(xiàn)穩(wěn)定，預測精度較好，iTransformer模型預測效果更佳。以δMAPE值為度量，iTransformer模型較SARIMA模型月平均預測誤差降低23.47%，較LSTM模型月平均預測誤差降低17.84%。這是因為本小節(jié)使用的數(shù)據(jù)集涵蓋了疫情發(fā)生前變化相對規(guī)律的年份，符合SARIMA模型對季節(jié)性和趨勢性的假設，并且能穩(wěn)定地估計模型參數(shù)，因此預測誤差也普遍較低。而兩種深度學習模型使用不同方式對時間序列長期關系精準建模，在識別這些簡單的數(shù)據(jù)模式特征上有效、簡潔，從而能夠達到較高的預測精度。

3.2.2" 特殊場景

新冠疫情對經濟和社會生活產生了重大影響，因此模型在特殊場景下的特征追蹤能力對于預測疫情期間的通行費數(shù)據(jù)變化至關重要。本節(jié)使用甬舟高速2019年及之前通行費數(shù)據(jù)對2020年1月至2023年8月通行費進行預測，不同模型預測結果的誤差指標如表1所示，預測結果如圖4所示。

由圖表結果可知，2020年突發(fā)新冠疫情，SARIMA模型由于其依賴歷史數(shù)據(jù)和季節(jié)性趨勢性的假設，無法適應突發(fā)事件引起的數(shù)據(jù)變化特征，雖能大致刻畫數(shù)據(jù)的周期性變化，但其預測的精準度顯著下降。LSTM模型通過門控機制學習時間序列的自相關性，在特殊場景下仍具有一定的預測能力。相比之下，iTransformer模型憑借其對時間戳的精準表示和自注意力機制的強大解析能力，仍能產生與真實值較為吻合的預測結果。iTransformer模型在特殊場景下的預測精度仍為最優(yōu)，較SARIMA模型預測平均誤差降低70.92%，較LSTM模型降低45.64%。

為了定性評價模型在特殊情景下的預測效果，我們還使用皮爾遜相關系數(shù)作為實際值與模型預測值之間的趨勢擬合度量，計算得到SARIMA模型的皮爾遜相關系數(shù)為0.842，LSTM模型的皮爾遜相關系數(shù)為0.903，而iTransformer模型的皮爾遜相關系數(shù)為0.992。所有模型都與實際值趨勢曲線有著顯著的相關性，但iTransformer模型的擬合效果最佳，其皮爾遜相關系數(shù)接近于1，表示預測趨勢與實際趨勢之間的線性關系非常強。

3.3" 模型敏感性分析

本節(jié)對基于iTransformer的高速公路通行費精準預測模型進行參數(shù)敏感性評估，將2013—2019年通行費數(shù)據(jù)按照3∶2比例劃分為訓練集和測試集，研究編碼器復雜程度決策參數(shù)和編碼器堆疊層數(shù)對所提出預測模型的精度影響。

3.3.1" 編碼器復雜程度決策參數(shù)

編碼器復雜程度決策參數(shù)包括注意力頭數(shù)n和前饋網絡層數(shù)d，不同決策參數(shù)情況下所提出預測模型的預測誤差如表2所示。

為了更好地觀察這兩個參數(shù)對模型性能的聯(lián)合影響，使用二維插值補全散點之間的數(shù)據(jù)并繪制三維曲面圖如圖5所示。從表2和圖5可以看出，注意力頭數(shù)和前饋網絡層數(shù)對預測結果有著不同的影響規(guī)律。相比較而言，前饋網絡層數(shù)d對預測結果影響更明顯，隨著層數(shù)d值增加，預測誤差先減小后增大最后再小幅減小，預測誤差圖像呈現(xiàn)出明顯的凹陷形狀，最小誤差約為2.69%，表明在模型在此數(shù)據(jù)集上對前饋網絡層數(shù)d有著一定的敏感性，較少的層數(shù)無法精確表征數(shù)據(jù)變化特征，但增加層數(shù)可能會導致梯度消失或爆炸的問題，影響預測效果。而注意力頭數(shù)對預測結果無明顯影響，主要是由于本模型中自注意力機制主要用于捕捉多變量之間相關性，而所采用數(shù)據(jù)集僅包含交通量和通行費兩個變量，且具有顯著相關性，因此增加注意力頭數(shù)不會顯著改變模型的預測性能。

3.3.2" 編碼器堆疊層數(shù)

編碼器堆疊層數(shù)也是決定模型深度的重要參數(shù)，調整參數(shù)e得到預測誤差，預測結果趨勢圖如圖6所示。從圖中我們可以發(fā)現(xiàn)，模型對于編碼器堆疊層數(shù)具有一定的敏感性。當編碼器堆疊的層數(shù)較小時，模型未能充分學習到數(shù)據(jù)的復雜特征，預測效果相對較差。編碼器堆疊層數(shù)增加至2時，模型學習到更多數(shù)據(jù)的特征和信息，預測效果達到最優(yōu)，誤差僅為2.69%。然而當編碼器堆疊的層數(shù)進一步增加時，模型可能會出現(xiàn)過擬合的情況，從而導致預測效果變差。

4" 結語

使用iTransformer模型進行時間序列數(shù)據(jù)的預測，模型改進了時間序列數(shù)據(jù)的輸入方式，倒置了自注意力機制和前饋網絡的職責，可以更好地捕獲時間序列的長時間依賴性和多變量相關性。以滬杭甬高速和甬舟高速2013—2023年的月度通行費數(shù)據(jù)為基礎，就普通場景和特殊場景兩種情景測試模型有效性，實例分析結果顯示基于iTransformer的高速公路通行費精準預測模型較SARIMA模型和LSTM預測精度均有大幅提高，特殊場景下提升比例更高。在模型敏感性測試中，通過調整編碼器內部注意力頭數(shù)和前饋網絡層數(shù)兩個參數(shù)，發(fā)現(xiàn)模型對解析全局特征的前饋網絡層數(shù)更加敏感，通過調整編碼器堆疊個數(shù)發(fā)現(xiàn)，在本數(shù)據(jù)集上編碼器堆疊層數(shù)為2時模型性能最佳。

參考文獻：

［1］李海東. 高速公路經濟論［D］. 成都： 四川大學， 2004.

［2］石京. 一般收費道路通行費收入實用預測方法研究［J］. 公路工程， 2007， 32（4）： 103-106. DOI： 10.3969/j.issn.1674-0610.2007.04.026.

［3］劉闖. 高速公路運營收入預測模型與方法［J］. 中外公路， 2005， 25（3）： 125-127. DOI： 10.3969/j.issn.1671-2579.2005.03.038.

［4］蔣強， 唐敏. 基于收費政策的高速公路通行費預測方法研究［J］. 公路工程， 2019， 44（5）： 263-268. DOI： 10.19782/j.cnki.1674-0610.2019.05.050.

［5］何九冉， 四兵鋒. ARIMA-RBF模型在城市軌道交通客流預測中的應用［J］. 山東科學， 2013， 26（3）： 75-81. DOI： 10.3976/j.issn.1002-4026.2013.03.015.

［6］饒建輝， 王登才. Holt-Winters時間序列模型在江陰大橋車流量預測中的應用［J］. 中國交通信息化， 2018（增刊）： 39-41.

［7］鄭宣傳， 韓寶明， 李得偉. 基于RBF神經網絡的城市快速路短時交通流預測研究［J］. 山東科學， 2012， 25（3）： 23-28.

［8］BAI S J， KOLTER J Z， KOLTUN V. An empirical evaluation of generic convolutional and recurrent networks for sequence modeling［EB/OL］. ［2024-03-20］. http：//arxiv.org/abs/1803.01271.

［9］王鑫， 吳際， 劉超， 等. 基于LSTM循環(huán)神經網絡的故障時間序列預測［J］. 北京航空航天大學學報， 2018， 44（4）： 772-784. DOI： 10.13700/j.bh.1001-5965.2017.0285.

［10］CHEN P， ZHANG Y Y， CHENG Y Y， et al. Pathformer： multi-scale transformers with adaptive pathways for time series forecasting［EB/OL］. ［2024-03-20］. http：//arxiv.org/abs/2402.05956.

［11］SHABANI A， ABDI A， MENG L L， et al. Scaleformer： iterative multi-scale refining transformers for time series forecasting［EB/OL］. ［2024-03-20］. http：//arxiv.org/abs/2206.04038.

［12］CAO H Z， HUANG Z H， YAO T C， et al.InParformer： evolutionary decomposition transformers with interactive parallel attention for long-term time series forecasting［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2023， 37（6）： 6906-6915. DOI： 10.1609/aaai.v37i6.25845.

［13］ZHOU T， MA Z Q， WEN Q S， et al. FEDformer： frequency enhanced decomposed transformer for long-term series forecasting［C］//Proceedings of the 39th International Conference on Machine Learning， 2022，162： 27268-27286.

［14］ZHOU H Y， ZHANG S H， PENG J， et al. Informer： beyond efficient transformer for long sequence time-series forecasting［C］.Proceedings of the AAAI conference on artificial intelligence. 2021， 35（12）： 11106-11115.

［15］LIU Y， HU T G， ZHANG H R， et al. iTransformer： inverted transformers are effective for time series forecasting［EB/OL］. ［2024-03-20］. http：//arxiv.org/abs/2310.06625.