摘 要：準確預測城市軌道交通短時客流量的變化，有助于運營部門做出決策，并幫助軌道交通集團提高服務水平和實現(xiàn)智慧化運營。然而，客流數據的動態(tài)性和隨機性使短時客流預測變得困難，因此，文章提出了一種組合預測模型，將Transformer模型中的位置編碼（Positional Encoding）層與長短期記憶（Long Short-Term Memory，LSTM）神經網絡相結合，構建了LSTM-Transformer預測模型。隨后以青島市的106個站點的進站客流數據為研究對象，并使用聚類算法對站點進行聚類分析。在10分鐘的時間粒度下，利用前四周的客流數據作為訓練數據，對未來一天的客流數據進行預測研究。同時，將差分自回歸移動平均模型（Auto-Regressive Integrated Moving Average，ARIMA）、LSTM、GA-SLSTM和Transformer作為對照模型進行驗證。通過多組實驗證明了文章提出的LSTM-Transformer模型相較于對照模型組具有更好的預測精度和實用性。

關鍵詞：智能交通；城市軌道交通；短時客流預測；聚類算法；LSTM-Transformer模型

中圖分類號：F570；U293.13 文獻標志碼：A DOI：10.13714/j.cnki.1002-3100.2024.14.020

文章編號：1002-3100（2024）14-0103-05

Short-Term Passenger Flow Prediction of Urban Rail Transit Based on LSTM-Transformer

（1. School of Traffic Engineering， Shandong Jianzhu University， Jinan 250101， China; 2. Institute of Road Traffic Safety， Shandong Police College， Jinan 250014， China; 3. Jinan Zhiye Electronics Co.， Ltd.， Jinan 250013， China）

Abstract： Accurately predicting changes in short-term passenger flow for urban rail transit is crucial for operational decision-making and improving service levels and intelligent operations within rail transit groups. However， the dynamic and stochastic nature of passenger flow data presents challenges in short-term prediction. To address this， the study proposes a combined prediction model， the LSTM-Transformer， which integrates the Positional Encoding layer from the Transformer model with the Long Short-Term Memory （LSTM） neural network. The paper focuses on the inbound passenger flow data from 106 stations in Qingdao and conducts clustering analysis using clustering algorithms to group the stations. Subsequently， based on a 10-minute time granularity， the paper utilizes passenger flow data from the preceding four weeks as training data to predict and analyze the passenger flow for the following day. Additionally， the paper compares LSTM-Transformer model with several control models， including the Differential Autoregressive Integrated Moving Average （ARIMA）， LSTM， GA-SLSTM， and Transformer. Through multiple experiments， the study demonstrates that the proposed LSTM-Transformer model outperforms the control models in terms of prediction accuracy and practicality.

Key words： intelligent transportation; urban rail transit; short-term passenger flow prediction; clustering algorithm; LSTM-Transformer model

收稿日期：2023-11-29

基金項目：國家自然科學基金項目（71871130，71971125）；山東省公安廳科技服務項目（SDGP370000000202202004905，SDGP370000000202202006498）

作者簡介：張思楠（1999—），男，陜西咸陽人，山東建筑大學交通工程學院碩士研究生，研究方向：智能交通；李樹彬（1977—），本文通信作者，男，山東聊城人，山東建筑大學交通工程學院，山東警察學院道路交通安全研究所，教授，博士，碩士生導師，研究方向：系統(tǒng)分析與集成、智能交通系統(tǒng)。

引文格式：張思楠，李樹彬，曹永軍.基于LSTM-Transformer的城市軌道交通短時客流預測[J]．物流科技，2024，47（14）：103-106，114.

隨著城市人口不斷增加，出行引起的環(huán)境污染、交通延誤和交通堵塞等問題頻繁出現(xiàn)。作為公共交通的重要組成部分，城市軌道交通具有環(huán)保、高效和大載客量等優(yōu)點，已成為乘客出行的重要選擇。截至2022年底，中國內地共有55個城市投入使用城市軌道交通，運營線路總長度達10 291.95公里，其中地鐵運營線路占比77.85%，達到8 012.85公里。新增城市軌道交通運營線路長度為1 085.17公里，新增運營線路共25條[1]。城市軌道交通持續(xù)發(fā)展，乘客選擇城市軌道交通的比例不斷增加，客流量的增加給運營部門帶來了巨大的壓力和挑戰(zhàn)。準確預測未來的客流量，可以幫助運營部門實現(xiàn)動態(tài)調度，提高服務水平，并實現(xiàn)城市軌道交通的智慧化運營。

近年來，國內外學者對城市軌道交通短時客流預測進行了深入研究。短時客流量的預測方法主要可以分為基于統(tǒng)計學理論的預測模型、基于機器學習的預測模型和組合預測模型三類[2]。

馬超群等[3]探究城市軌道交通進站客流量預測精度與時間粒度之間的關系，選取了差分自回歸移動平均模型（Auto-Regressive Integrated Moving Average，ARIMA模型）進行預測分析。相較于傳統(tǒng)的統(tǒng)計學理論模型，基于機器學習的預測模型在處理大量復雜數據和非線性數據時表現(xiàn)出更好的適應性。杜希旺等[4]將長短期記憶（Long Short Term Memory，LSTM）[5]神經網絡與K-Means[6]算法結合，對軌道交通進站客流短時進行分類預測研究。組合預測模型將多個單一模型進行組合，結合了多種模型的優(yōu)點，提高了預測準確度。胡明偉等[7]將輕量的梯度提升機（light gradient boosting machine，LightGBM）與長短期記憶（LSTM）神經網絡進行組合，建立了LightGBM-LSTM組合預測模型。滕騰等[8]在基于長短期記憶（LSTM）神經網絡的基礎上，引入遺傳算法（GA，Genetic Algorithm）構建了GA-SLSTM模型進行客流預測。

Transformer[9]模型最初于2017年提出，主要應用于自然語言處理領域。然而，隨著研究的深入，學者們逐漸認識到了Transformer在時間序列預測中的巨大潛力。通過引入注意力機制（self-attention）和前向神經網絡（Feed-Forward Neural Network）等結構，Transformer能夠有效地捕捉序列中的長距離依賴關系，從而提高時間序列預測的準確性和泛化能力。因此，Transformer模型在客流預測[10]等領域得到了廣泛的應用。

上述學者的研究對城市軌道交通短時客流預測具有重要的參考價值，但仍存在改進的空間。大部分學者的模型在處理序列之間的長期依賴和并行計算等問題上能力有限，導致計算效率較低。此外，部分學者在研究中未考慮到不同站點類型的客流特征差異，從而影響了預測精度。針對上述問題，本文擬構建LSTM-Transformer組合預測模型，將Transformer與LSTM模型進行組合搭建。該組合模型改善了LSTM在預測時存在的梯度消失[11]和梯度爆炸[12-13]問題，同時優(yōu)化了Transformer學習時間依賴性能力的不足，相較于單獨使用Transformer模型，該組合模型在客流預測的準確性上有所提高，并且具有良好的泛化能力，適用于城市軌道交通的各類型站點。為了驗證該模型，本文將青島地鐵客流數據進行預處理后，對站點進行分類研究。實驗結果表明，本文模型的預測精度高于對照組模型。

1 模型構建

1.1 LSTM神經網絡

長短期記憶（Long Short-Term Memory，LSTM）神經網絡是循環(huán)神經網絡（Recurrent Neural Network，RNN）[14]的一種改良變體。其獨特的網絡結構能夠有效地解決RNN在處理長序列時出現(xiàn)的梯度消失和梯度爆炸問題。LSTM引入了門控機制，包括輸入門、遺忘門和輸出門，以控制信息的流動和記憶的更新。通過這些門控機制，LSTM能夠有選擇地記住和遺忘上一時刻的信息，并將其傳遞到未來時刻。因此，LSTM在各種實際的時間序列預測場景中得到廣泛應用。

LSTM基本結構。LSTM由遺忘門、輸入門和輸出門這三個基本結構組成（見圖1）。遺忘門用來確定信息的保留程度，輸入門用于接收當前的更新信息，而輸出門則將當前時刻處理完的信息傳遞到下一時刻。

式中，、、、分別為遺忘門、輸入門、輸出門和細胞狀態(tài)；和分別為各自的權重矩陣和偏置項；為時刻的輸入；、tanh分別為Sigmod和雙曲正切激活函數。

1.2 Transformer

Transformer模型能夠更準確、高效地捕捉序列之間的依賴關系。一般由輸入和編碼-解碼（Encoder-Decoder）部分組成。Encoder部分主要由多頭注意力機制（Multi-Head Self-Attention）和前向神經網絡（Feed-Forward Neural Network）組成。Encoder模塊如圖2所示。

多頭注意力機制（Multi-Head Self-Attention）。它是Transformer模型的核心，它通過將給定的查詢矩陣、鍵和值矩陣映射到輸出的過程，實現(xiàn)信息的聚合，如圖3所示。

（7）

當查詢矩陣、鍵矩陣和值矩陣相等時，我們稱之為注意力機制。多頭注意力機制能通過學習到的組不同的線性變換，將查詢、鍵和值投影到不同的子空間。然后，將組變換后的查詢、鍵和值進行拼接，并通過一個可學習的線性變換得到最終輸出。

式中，分別為查詢、鍵和值線性變換的參數矩陣；表示第個注意力頭；表示用于各個注意力頭的聚合函數；是多頭注意力機制最終線性變換的參數矩陣。

1.3 LSTM-Transformer模型

原始的Transformer模型由于結構問題無法學習時間依賴性，因此在傳遞到Encoder層之前，通常需要對輸入數據進行位置編碼。為了解決這個問題，本文提出了一種LSTM-Transformer組合預測模型，將Transformer模型中的特征提取和位置編碼（Positional Encoding）部分與LSTM相結合，構建了LSTM-Transformer組合預測模型。

在本模型中，經過預處理后的數據首先通過聚類分析，然后送入LSTM Positional Encoding層。與傳統(tǒng)的單個注意力機制不同，本模型將LSTM與Encoder模塊中的多頭注意力機制相結合，以提取上一層處理過的數據的時間特征，然后將其送入Encoder層。最后，通過linear層得到預測結果（如圖4所示）。

2 客流特征分析

本文以青島市地鐵進站客流為研究對象，通過地鐵自動售檢票（Automatic Fare Collection， AFC）數據統(tǒng)計，獲取了每10分鐘的進站客流量。具體而言，本文選取了2021年8月2—29日（四周）的客流進站情況，如圖5所示。

通過對四周進站客流的分析，可以觀察到客流特征在單日內呈現(xiàn)出雙峰的趨勢，并且隨著時間的變化呈現(xiàn)出明顯的波動。此外，還發(fā)現(xiàn)四周之間的客流波動趨勢具有相似性，并且表現(xiàn)出明顯的周期性特征。

聚類分析。為了更進一步對各類站點進行分類研究，首先需要對客流特征進行聚類分析。本文采用K-means聚類方法，將各站點間的進站客流量作為聚類特征，通過手肘法確定最佳的聚類數。

隨著站點類別k的增加，站點分類會更加接近最佳值，簇與簇間的聚合程度會不斷增加，誤差平方和（Sum of the Squared Errors，SSE）會變小。當k小于最佳站點數時，反而會增大簇與簇間的聚合程度，SSE的下降幅度會變大。當k值等于最佳站點數時，再增加k所得到的SSE的下降幅度會驟減，然后隨著k值的繼續(xù)增大而趨于平緩。

（10）

其中，表示第i個簇；是中的樣本點；是的質心（中所有樣本的均值）；是所有樣本的聚類誤差，反映了聚類效果的好壞。

用K-means對站點進行聚類分析后，通過手肘法得到值。隨后根據聚類結果將106個站點分為4類（如表1、圖6所示），取李村、青島站、井岡山路、膠東為各類代表站點分別進行預測研究。

3 實驗與結果分析

為了驗證本文所建立的LSTM-Transformer組合預測模型的有效性。本文選取青島地鐵2021年8月2—23日每10分鐘時段的進站客流作為實驗數據，把每天6：00—23：00進站客流作為研究對象，將2021年8月2—22日進站客流數據用于訓練，對2021年8月23日進站客流進行預測，預測客流與實際客流曲線如圖7所示。

為了進行誤差對比分析，本文分別使用了ARIMA、LSTM、GA-SLSTM、Transformer以及本文所構建的LSTM-Transformer進行預測。使用均方根誤差（RMSE，Root Mean Square Error）和平均絕對誤差（MAE， Mean Absolute Error）作為誤差指標，這些指標的數值越小，預測精度越高。實驗結果如表2所示。

根據表2的預測結果可見，LSTM-Transformer模型在預測4類站點進站客流方面的誤差RMSE和MAE均低于對照組，因此LSTM-Transformer模型表現(xiàn)出的性能最優(yōu)。

4 結 論

為了更高效地預測城市軌道交通的短時客流，本文提出了一種基于LSTM-Transformer的組合預測模型。該模型通過優(yōu)化Transformer在學習時間依賴性能力方面的不足，并解決了LSTM在長時間序列預測中梯度消失和梯度爆炸的問題。針對不同站點之間的客流特征差異，我們對各類站點分別進行了預測研究。實驗結果表明， LSTM-Transformer組合預測模型的預測精度優(yōu)于對照組模型，適用于不同客流特征的各類站點。在后續(xù)研究中，我們將同時考慮客流的時間特征和空間特征，以提高預測的準確性并增強模型的泛化能力。

參考文獻：

[1] 侯秀芳，馮晨，左超，等．2022年中國內地城市軌道交通線路概況 [J]．都市快軌交通，2023，36（1）：9-13．

[2] 杜京朔，基于深度學習的城市軌道交通短時客流預測研究與系統(tǒng)實現(xiàn) [D]．石家莊：石家莊鐵道大學，2022．

[3] 馬超群，李培坤，朱才華，等．基于不同時間粒度的城市軌道交通短時客流預測 [J]．長安大學學報（自然科學版），

2020，40（3）：75-83．

[4] 杜希旺，趙星，李亮．基于LSTM的軌道交通進站客流短時預測研究 [J]．貴州大學學報（自然科學版），2021，38（5）：109-118.

[5] HOCHREITER S，SCHMIDHUBER J．Long short-term memory [J]．Neural computation，1997，9（8）：1735-1780．

[6] MACQUEEN J．Some methods for classification and analysis of multivariate observations[J/OL].Mathematics，1967.[2023-10-05].

https：//api.semanticscholar.org/CorpusID：6278891．

[7] 胡明偉，施小龍，吳雯琳，等．城市軌道交通車站短時客流機器學習預測方法 [J]．深圳大學學報（理工版），2022，39（5）：593-

599.

[8] 滕騰，劉正琦，王小敏．基于GA-SLSTM模型的城市軌道交通短時客流預測[J]．鐵路計算機應用，2022，31（8）：7-12．

[9] VASWANI A，SHAZEER N，PARMAR N，et al．Attention is all you need[J/OL]．Advances in Neural Information Processing

Systems，2017，30.[2023-10-07].http：//papers.nips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html.

[10] 張文娟，楊皓哲，張彬，等．考慮多時間尺度特征的城市軌道交通短時客流量預測模型[J]．交通運輸系統(tǒng)工程與信息，

2022，22（6）：212-223.

[11] PASCANU R，MIKOLOV T，BENGIO Y．On the difficulty of training recurrent neural networks[C]//Proceedings of the International

Conference on Machine Learning，2013．

[12] BENGIO Y，SIMARD P，F(xiàn)RASCONI P．Learning long-term dependencies with gradient descent is difficult [J]．IEEE transactions

on neural networks，1994，5（2）：157-166．

[13] GLOROT X，BENGIO Y．Understanding the difficulty of training deep feedforward neural networks[J]．Journal of Machine

Learning Research，2010，9：249-256．

[14] RUMELHART D E，HINTON G E，WILLIAMS R J．Learning representations by back-propagating errors [J]．Nature，1986，323：533-536.