馬 茜 梁 奕 段 毅 曾尚琦

(1.西咸新區(qū)軌道交通發(fā)展有限公司，710086，西安；2.南瑞集團(國網(wǎng)電力科學(xué)研究院)有限公司，210003，南京；3.國電南瑞科技股份有限公司，211106，南京∥第一作者，高級工程師)

地鐵客流的精準預(yù)測可幫助優(yōu)化行車間隔和制定合理的運行方案。然而，影響客流的變量在時間和空間上存在不均衡性，表現(xiàn)為：時間序列的高峰平峰，日、周、月客流以及空間存在位置性和方向性，包括車站、線路、線網(wǎng)瞬時和歷史數(shù)據(jù)(部分受氣候條件的影響)。其動態(tài)復(fù)雜度顯著提升。

目前針對客流的時間序列預(yù)測，主要基于歷史客流進行預(yù)測建模。隨著深度學(xué)習(xí)表征能力的增強，深度學(xué)習(xí)技術(shù)在時空數(shù)據(jù)預(yù)測領(lǐng)域得到廣泛應(yīng)用。RNN(遞歸神經(jīng)網(wǎng)絡(luò))可捕獲客流的時序依賴關(guān)系[1]。CNN(卷積神經(jīng)網(wǎng)絡(luò))結(jié)構(gòu)側(cè)重于空間特征，卻丟失了時間維度信息[2]。ConvLSTM(卷積長短記憶網(wǎng)絡(luò))將RNN和CNN的架構(gòu)結(jié)合起來，將全連接層替換為卷積層[3]來捕獲時空相關(guān)性；然而，ConvLSTM在狀態(tài)轉(zhuǎn)換中使用卷積，相當(dāng)于把循環(huán)連接結(jié)構(gòu)模型變?yōu)闀r空恒定結(jié)構(gòu)模型?？傊?，客流預(yù)測仍存在復(fù)雜非線性建模、動態(tài)關(guān)聯(lián)及計算復(fù)雜度等亟待解決的問題。

在周一早高峰時段，進站客流特征大致相同，體現(xiàn)了短期模式和局部數(shù)據(jù)緊密相關(guān)性；在其余工作日的早高峰及晚高峰時段，進站客流特征大致相同，體現(xiàn)了長期模式和全局數(shù)據(jù)稀疏相關(guān)性。對此本文提出DSANNs(動態(tài)稀疏注意力)模型，利用全局變量注意力自動選擇相關(guān)驅(qū)動序列，增強模型預(yù)測的判別性；根據(jù)局部數(shù)據(jù)緊密相關(guān)性和全局數(shù)據(jù)稀疏相關(guān)性的先驗知識，對歷史時間步和相關(guān)變量分別卷積和稀疏卷積，提取局部時間和變量特征，并設(shè)計稀疏注意力對相關(guān)時間步加權(quán)和變量加權(quán)，進而提高客流預(yù)測的準確性。

1 客流預(yù)測的影響因素

現(xiàn)有的地鐵客流預(yù)測研究通?；跉v史數(shù)據(jù)進行，其預(yù)測結(jié)果完全依賴于歷史數(shù)據(jù)的準確性，并未挖掘多種監(jiān)測指標之間存在的內(nèi)在復(fù)雜關(guān)系。客流預(yù)測主要受以下因素影響：

1)長短周期時間依賴的關(guān)聯(lián)。進出站客流的多維時間序列蘊含一種局部緊密和全局稀疏相關(guān)的內(nèi)在關(guān)聯(lián)，混合著長短周期時間依賴關(guān)系。變量的變動可分為趨勢性、周期性、隨機性及循環(huán)性變動。客流預(yù)測需過濾隨機性變動，僅反映時間序列中的趨勢性變動和周期性變動，綜合捕獲時間序列數(shù)據(jù)中長短周期時間依賴關(guān)聯(lián)。

2)變量的動態(tài)相關(guān)性。各維度變量之間的相關(guān)性是動態(tài)的，即動態(tài)相關(guān)性。車站的進出站客流、線網(wǎng)拓撲、天氣狀況和空氣質(zhì)量等變量間均存在動態(tài)相關(guān)性，而且進、出站客流間的相關(guān)性強，客流與溫度的相關(guān)性弱?？梢?，測點各維度變量的時間序列數(shù)據(jù)對于客流預(yù)測的影響并不一致。測點監(jiān)測每項指標的時間相關(guān)性也是動態(tài)的：非高峰時段的客流數(shù)據(jù)差異不大，相關(guān)性較強；在高峰時段，測點的監(jiān)測數(shù)據(jù)可能存在較大差異，相關(guān)性較弱。此外，測點監(jiān)測數(shù)據(jù)也可能存在周期性變化規(guī)律，因此需要選取合適的數(shù)據(jù)統(tǒng)計時間間隔。

3)數(shù)據(jù)受到外部因素的影響。各變量的時間序列數(shù)據(jù)對目標預(yù)測序列數(shù)據(jù)的驅(qū)動作用不僅隨時間的變化而變化，還會受外部因素的影響。惡劣環(huán)境因素及特殊活動等事件因素，都會導(dǎo)致時間序列數(shù)據(jù)出現(xiàn)突變、陡降甚至是拐點。

2 DSANNs模型

為了捕獲變量多維時間序列中長短周期時間依賴關(guān)系和動態(tài)性，針對客流預(yù)測的影響因素，本文提出DSANNs模型。如圖1所示，DSANNs模型包括全局變量注意力機制的編碼器、局部變量稀疏卷積注意力機制和全局時間卷積稀疏注意力的解碼器。

注：LSTM為長短時記憶網(wǎng)絡(luò)；Attn輸入指注意力機制輸入。

1)全局變量注意力機制自適應(yīng)地選擇相關(guān)驅(qū)動序列，增強預(yù)測的判別性，捕獲動態(tài)全局變量相關(guān)性。

2)局部緊密、全局稀疏的全局時間卷積稀疏注意力機制對變量多維時間序列中相關(guān)時間步蘊含的信息加權(quán)，提取各時間步下的內(nèi)在局部特征。稀疏注意力可減少關(guān)聯(lián)，降低模型復(fù)雜度，防止過擬合。

3)局部變量稀疏卷積注意力會自動選擇相關(guān)變量進行加權(quán)。經(jīng)過稀疏卷積核提取的局部特征可以理解為每個變量在固定的時間窗口形成的局部內(nèi)在關(guān)系。通過局部變量注意力，將所有橫跨固定窗口的時間序列數(shù)據(jù)信息整合。

4)將相關(guān)的外部時間特征、氣象特征、目標測點的相關(guān)屬性等特征因素合并為1個低維向量嵌入到模型中。

2.1 全局變量注意力

在預(yù)測過程中，時間序列同輸入序列數(shù)據(jù)和目標序列數(shù)據(jù)的相關(guān)程度并非一致?；诿總€測點輸入序列數(shù)據(jù)得到的對一時刻預(yù)測數(shù)據(jù)是隨時間動態(tài)變化的。全局變量注意力機制設(shè)計如圖2所示。

圖2 全局變量注意力機制

全局變量注意力機制能自動判定輸入序列每個時間步下各序列對目標序列預(yù)測的重要程度，突出與當(dāng)前預(yù)測任務(wù)最相關(guān)的輸入變量，弱化與任務(wù)預(yù)測無關(guān)的輸入變量。

編碼器將輸入序列編碼成機器翻譯中的特征表示[4]。第k輸入序列Xk=(xk,1,xk,2,…,xk,T)∈T，xk,t∈n×T表示在驅(qū)動序列k時間戳t下的數(shù)據(jù)值，n為驅(qū)動預(yù)測序列的數(shù)量，T為歷史時間序列的長度。該編碼器用來學(xué)習(xí)從xt(xt∈T)到ht的1個映射函數(shù)，可表示為

ht=f1(ht-1,xt)，ht∈m

(1)

式中：

ht——編碼器在時間步為t的隱藏向量，蘊含t時刻前的歷史信息，m為該隱藏向量大小;

f1——非線性激活函數(shù)。

DSANNs使用LSTM單元作為非線性激活函數(shù)f1去捕獲原始時間序列中的長期依賴關(guān)系。將其與歷史時間步隱藏層狀態(tài)ht-1和LSTM中的細胞狀態(tài)St-1進行匹配，得到該時間步下驅(qū)動預(yù)測時間序列的各變量重要性，故有：

ek,t=vetanh(We[ht-1,St-1]+Uexk)

(2)

式中：

ve,We,Ue————均為調(diào)優(yōu)的超參數(shù)，且ve∈、We∈T×2m、Ue∈T×T；

ek,t——在時間步t下衡量第k輸入序列的相似性值；

ak,t——通過SoftMax函數(shù)得到的注意力權(quán)值，且所有ak,t歸一化和為1。

輸入注意力機制通過前饋神經(jīng)網(wǎng)絡(luò)和遞歸循環(huán)神經(jīng)網(wǎng)絡(luò)部分一同訓(xùn)練，得到驅(qū)動預(yù)測序列隨著時間演變的權(quán)重，并在每一個時間步自動選取最重要的特征進行預(yù)測，同時調(diào)整時間步t下隱藏層狀態(tài)向量。具體為：

(3)

2.2 動態(tài)稀疏注意力

每個時間序列在固定窗口大小為ω的數(shù)據(jù)對目標預(yù)測序列預(yù)測的重要性不同，往往蘊含著一種局部緊密相關(guān)和全局稀疏相關(guān)的內(nèi)在關(guān)系，而密集全局關(guān)聯(lián)任務(wù)是很少的。因此，基于局部緊密相關(guān)和全局稀疏相關(guān)的內(nèi)在關(guān)系，DSANNs中設(shè)計了2種注意力機制(如圖3所示)，分別對變量和時間進行卷積操作和注意力權(quán)值分配。

圖3 DSANNs模型的注意力機制

2.2.1 局部變量稀疏卷積注意力

DSANNs模型利用卷積核卷積編碼后的時間序列，增強學(xué)習(xí)到時間序列的局部變量內(nèi)在關(guān)系。設(shè)計卷積核Cj∈T。(Cj,T-ns,…,Cj,T-2s,Cj,T-s,…,Cj,T-1,Cj,T)≠0,T-ns≥1，s為局部緊密全局稀疏程度。

卷積核卷積每個變量，捕獲其局部緊密相關(guān)和全局稀疏相關(guān)的內(nèi)在特征。全局變量注意力機制的隱藏層向量表示H∈m×T經(jīng)過卷積操作，最終的變量維度為HC∈m×k。其中,k代表k個具有不同內(nèi)在關(guān)聯(lián)關(guān)系的類似卷積核,m代表每個時間步編碼后變量的維度。RELU是激活函數(shù)RELU(x)=max(0,x)，故有：

(4)

式中：

Hi,j,C——卷積核對隱藏層向量提取結(jié)果；

Cj,T-ω+p——第j卷積核；

Hi,(T-ω+p)——隱藏層第i行向量；

bjC——偏差的參數(shù)。

局部變量稀疏卷積注意力選擇相關(guān)變量進行加權(quán)，將時間序列數(shù)據(jù)整合成1個固定尺度的向量vs：

ai=sigmoid(Hi,Cht)

(5)

式中：

Hi,C——卷積后第i行隱藏層行向量表示；

ai——sigmoid函數(shù)計算注意力權(quán)值。

由式(5)，通過權(quán)重對HC重新分配得到隱藏層向量vs。

2.2.2 全局時間卷積稀疏注意力

時間序列數(shù)據(jù)通?；旌祥L期和短期模式，并且時間序列中歷史時間步蘊含的信息對目標預(yù)測的重要性不同，往往蘊含著一種局部緊密相關(guān)和全局稀疏相關(guān)的內(nèi)在關(guān)系。DSANNs根據(jù)此先驗知識，利用卷積神經(jīng)網(wǎng)絡(luò)提取各變量序列中的短期局部變量，構(gòu)建稀疏注意力捕獲時間序列中的局部緊密相關(guān)和全局稀疏相關(guān)的內(nèi)在關(guān)系。

全局時間卷積稀疏注意力自動選擇相關(guān)時間步加權(quán)。卷積核提取所有變量在每一個時間步的內(nèi)在局部特征，通過全局時間稀疏注意力，將所有橫跨固定窗口的時間序列數(shù)據(jù)整合成一個固定尺度的低緯度向量vt。vt為固定尺度的上下文向量，具備時空特征。則有：

(i=1,3,…,t-5,vt∈l)

(6)

式中：

Hj，K——卷積后形成的第j時間步隱藏層列向量表示；

aj——自動選取時間步計算注意力權(quán)值。

提取各時間步下的內(nèi)在局部變量特征后，通過局部緊密相關(guān)和全局稀疏相關(guān)的注意力機制，對單測點多維時間序列中相關(guān)時間步蘊含的信息加權(quán)，捕獲時間序列短期和長期依賴關(guān)系。

2.3 模型預(yù)測

DSANNs模型包括：局部變量稀疏卷積注意力提取的、相關(guān)變量加權(quán)的、隱藏層向量表示vs，全局時間卷積稀疏注意力提取的、相關(guān)時間步加權(quán)的、隱藏層向量表示vt，全局變量注意機制的隱藏層向量ht。通過多層感知機，得到最終預(yù)測結(jié)果：

γt=Whht+Wsvs+Wtvt

(7)

式中：

Wh，Ws，Wt，Wγ——分別為各隱藏層的權(quán)重參數(shù)，Wh∈m×m，Ws∈m×k，Wt∈m×l，Wγ∈(n×Δ)×m

3 試驗與分析

為了測試不同變量多維時間序列預(yù)測方法的性能，采用基于Python語言和Keras深度學(xué)習(xí)框架開發(fā)的DSANNs，以某城地鐵站點的月度客流量為例，進行試驗。按照10 min聚合1次，則聚合數(shù)據(jù)總計4 464條。

3.1 試驗配置

1)參數(shù)設(shè)置。通過窗口大小進行網(wǎng)格搜索“ω={3,5,10,15,25,50,72,100}”，確定時間窗口ω；對隱藏層進行網(wǎng)格搜索“m={16,32,64,128,256}”，確定隱藏層m；為了確定不同注意力卷積核個數(shù)帶來預(yù)測表現(xiàn)的變化，設(shè)置k=l，對卷積核個數(shù)進行網(wǎng)格搜索“k=l={16,32,64,128}”，最終參數(shù)選擇驗證集的最佳性能參數(shù)。

2)評價指標。為了衡量各種時間序列預(yù)測方法的有效性，考慮了均方誤差EMS、平均絕對誤差EMA及平均絕對百分誤差EMAP等3種不同的評價指標。

(8)

3.2 結(jié)果分析

在客流多維時間序列數(shù)據(jù)集上將DSANNs模型同ARIMA(差分整合移動平均自回歸)模型[6]、LSTM模型[7]、ConvLSTM模型[3]、TCN(時間卷積網(wǎng)絡(luò))模型[8]、DA-RNN(注意力機制-遞歸神經(jīng)網(wǎng)絡(luò))模型[9]進行比較。各模型的時間序列預(yù)測效果如表1所示。

表1 各模型對單測點多維時間序列的預(yù)測結(jié)果評價指標

從表1可以看出：基于實測數(shù)據(jù)，采用DSANNs模型得到的EMA、EMAP和EMS最佳，與采用DA-RNN模型的結(jié)果相比分別降低了21.07%、18.47%、29%；與LSTM模型相比，ARIMA模型的預(yù)測精度較差，這是因為ARIMA模型只考慮目標序列，忽略了其他相關(guān)維度的驅(qū)動序列；ConvLSTM模型、TCN模型結(jié)合了時間和變量的相關(guān)模型，預(yù)測表現(xiàn)要優(yōu)于單純捕獲時間依賴的LSTM模型；DA-RNN比采用卷積和長短記憶網(wǎng)絡(luò)的ConvLSTM模型、TCN模型的性能更好，因為它關(guān)注了時間和變量的動態(tài)性。綜合來看，DSANNs模型表現(xiàn)最優(yōu)。這主要因為DSANNs模型通過局部緊密全局稀疏的時間注意機制以及相關(guān)變量的注意力機制，捕獲了時間動態(tài)性和變量的動態(tài)內(nèi)在關(guān)系，提高了預(yù)測準確性。圖4展示了對比基線最佳的DA-RNN模型和DSANNs模型在地鐵客流流量數(shù)據(jù)集的預(yù)測結(jié)果。

a)DA-RNN的地鐵客流預(yù)測及對比

與DA-RNN模型相比，DSANNs模型在捕獲時間動態(tài)性和變量內(nèi)在關(guān)系方面表現(xiàn)更好，預(yù)測性能也更佳。經(jīng)分析，DSANNs模型通過全局稀疏局部緊密的時間注意力機制的權(quán)重分配，減少關(guān)聯(lián)性后，加大了全局稀疏的權(quán)重分配，使得模型整體的預(yù)測效果良好。

4 結(jié)語

客流預(yù)測需要預(yù)測地鐵車站的潛在流量，表現(xiàn)為隨時間演變的多維時間序列數(shù)據(jù)，受到外界復(fù)雜因素的影響而發(fā)生動態(tài)變化。通過分析客流的時空特征，提出DSANNs模型。DSANNs模型自動提取動態(tài)時間和變量維度的內(nèi)在關(guān)系。其中，全局變量注意力機制自適應(yīng)地選擇相關(guān)驅(qū)動序列，增強了模型預(yù)測的判別性；稀疏注意力對相關(guān)時間步加權(quán)，注意力機制對相關(guān)變量進行加權(quán)，不僅能夠從全局和局部捕獲動態(tài)內(nèi)在時間和變量關(guān)聯(lián)，提高模型預(yù)測準確性，也能減少計算的復(fù)雜性。相比于ConvLSTM模型、TCN模型、DA-RNN模型等，DSANNs模型具有明顯優(yōu)勢。未來可將時空數(shù)據(jù)預(yù)測模型和時序圖進一步結(jié)合，提高圖神經(jīng)網(wǎng)絡(luò)的預(yù)測準確性。