馬云鶴，王玉玫，趙宇帆

(華北計(jì)算技術(shù)研究所，北京 100083)

關(guān)鍵字：共享單車系統(tǒng)；需求預(yù)測(cè)；時(shí)空融合圖；自注意力；圖卷積網(wǎng)絡(luò)

0 引言

隨著近年來(lái)共享經(jīng)濟(jì)的發(fā)展，共享單車因其便利和低碳環(huán)保的特性被廣泛應(yīng)用于城市公共交通。其能夠有力地解決短途出行問(wèn)題，被譽(yù)為解決大眾交通中“最后一公里”的好幫手，有效緩解了城市道路交通擁堵問(wèn)題[1]。

共享單車系統(tǒng)可以分為無(wú)樁和有樁兩種。在無(wú)樁共享單車系統(tǒng)中，共享單車被分散在城市的各個(gè)街道，用戶可以在運(yùn)營(yíng)區(qū)域內(nèi)任意一點(diǎn)借用和歸還共享單車。相比之下，有樁系統(tǒng)可以更好地對(duì)共享單車進(jìn)行管理與維護(hù)。此外，在包含共享電動(dòng)單車的有樁系統(tǒng)中，站點(diǎn)可以作為共享電動(dòng)單車的充電站。因此，有樁共享單車系統(tǒng)一直在市場(chǎng)中占有重要地位[2]。

有樁共享單車系統(tǒng)也有一些缺點(diǎn)，其中最主要的是每個(gè)站點(diǎn)的共享單車分布不均衡，進(jìn)而導(dǎo)致用戶可能面臨無(wú)車可借和無(wú)樁可還兩個(gè)問(wèn)題。這種共享單車分布不均的問(wèn)題，主要是由用戶出行行為的相似性和集中性導(dǎo)致的[3]。用戶通常早上出門上班，這時(shí)位于居民區(qū)的共享單車需求量大，可能會(huì)導(dǎo)致無(wú)車可借;相反，位于工作區(qū)的共享單車在早上過(guò)剩，可能會(huì)造成無(wú)樁可還。晚上的情況則正好相反。這兩種情況都會(huì)導(dǎo)致共享單車在城市中不同時(shí)間、不同站點(diǎn)的分布不均衡。針對(duì)這種分布不均衡的問(wèn)題，主要通過(guò)使用搬運(yùn)車在站點(diǎn)之間人工搬運(yùn)的方式解決。同時(shí)也需要一個(gè)精確的需求預(yù)測(cè)模型，來(lái)解決共享單車的調(diào)度問(wèn)題。

共享單車的需求預(yù)測(cè)問(wèn)題是一個(gè)典型的時(shí)空數(shù)據(jù)預(yù)測(cè)問(wèn)題，其數(shù)據(jù)分布在連續(xù)空間上的固定時(shí)間點(diǎn)和空間點(diǎn)，具有時(shí)間相關(guān)性和空間相關(guān)性，以及兩個(gè)維度耦合在一起的時(shí)空動(dòng)態(tài)相關(guān)性[4]。因此，挖掘非線性時(shí)空數(shù)據(jù)中復(fù)雜的時(shí)空特征是處理時(shí)空數(shù)據(jù)預(yù)測(cè)問(wèn)題的關(guān)鍵點(diǎn)。

為此，本文提出了一種新的基于時(shí)空融合圖的注意力網(wǎng)絡(luò)模型。該模型使用圖1所示的時(shí)空融合連接方式，將不同時(shí)間片的相同車站節(jié)點(diǎn)進(jìn)行連接，形成一張大的時(shí)空融合圖，在此基礎(chǔ)上采用Transformer[5]的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行預(yù)測(cè)，并重新實(shí)現(xiàn)了其中的基本算子，主要有：為解決時(shí)空融合后節(jié)點(diǎn)數(shù)量倍增導(dǎo)致的計(jì)算量平方增長(zhǎng)問(wèn)題，我們將傳統(tǒng)的自注意力機(jī)制替換為基于概率稀疏[6]的自注意力機(jī)制；將全連接層替換為相鄰時(shí)間片的圖卷積層，以增強(qiáng)模型的圖結(jié)構(gòu)表達(dá)能力；此外，為補(bǔ)充一些外部特征，在位置嵌入(position embedding)部分除傳統(tǒng)的相對(duì)時(shí)間關(guān)系嵌入外，還增加了空間位置、天氣、絕對(duì)時(shí)間等特征。

圖1 時(shí)空融合圖

1 共享單車系統(tǒng)時(shí)空需求預(yù)測(cè)概述

1.1 共享單車系統(tǒng)

作為共享經(jīng)濟(jì)的重要組成部分，共享單車系統(tǒng)因其低碳、環(huán)保、操作方便、健康等優(yōu)點(diǎn)在全球許多城市得到普及。共享單車系統(tǒng)的發(fā)展主要可以分為三代，分別是：1)免費(fèi)共享單車系統(tǒng)，即早期歐洲的共享單車系統(tǒng)，其特點(diǎn)是小規(guī)模、非盈利，主要關(guān)注社會(huì)和環(huán)境問(wèn)題；2)投幣押金式共享單車系統(tǒng)，即對(duì)單車增加硬幣存取鎖裝置，共享單車設(shè)有固定的存放地點(diǎn)，用戶在使用過(guò)后也需要在指定區(qū)域歸還；3)基于“互聯(lián)網(wǎng)+”的共享單車系統(tǒng)，即以互聯(lián)網(wǎng)、GPS等技術(shù)為基礎(chǔ)，由企業(yè)運(yùn)營(yíng)的線上支付的共享單車系統(tǒng)。

當(dāng)前對(duì)共享單車系統(tǒng)的研究主要從4個(gè)方向展開，分別是：系統(tǒng)設(shè)計(jì)、系統(tǒng)預(yù)測(cè)、系統(tǒng)操作與系統(tǒng)建議。

系統(tǒng)設(shè)計(jì)包括站點(diǎn)數(shù)量、站點(diǎn)位置、站點(diǎn)容量、站點(diǎn)的共享單車數(shù)量等的設(shè)計(jì)。顯然，隨著站點(diǎn)數(shù)量及其容量的增加，對(duì)共享單車重新平衡的需求將減少。然而，這樣的增加會(huì)給共享單車系統(tǒng)運(yùn)營(yíng)商帶來(lái)成本。因此，在系統(tǒng)設(shè)計(jì)階段，需要對(duì)成本和需求進(jìn)行合理的平衡。

系統(tǒng)預(yù)測(cè)主要包括數(shù)據(jù)收集以及預(yù)測(cè)共享單車在空間和時(shí)間維度的需求。共享單車的需求預(yù)測(cè)過(guò)程是相當(dāng)復(fù)雜的，涉及用戶流動(dòng)性建模和跨空間和時(shí)間域的交通預(yù)測(cè)。除了正常的時(shí)間和空間維度的行為預(yù)測(cè)之外，還需要對(duì)突發(fā)的社會(huì)事件或交通事故進(jìn)行及時(shí)的反應(yīng)和預(yù)測(cè)，這種影響也會(huì)在時(shí)空維度進(jìn)行傳播。

系統(tǒng)操作指的是為了解決站點(diǎn)內(nèi)共享單車分布不均的問(wèn)題，企業(yè)需要對(duì)共享單車分布失衡的站點(diǎn)內(nèi)的單車數(shù)量進(jìn)行重新平衡。在再分配過(guò)程中，通常使用大型卡車運(yùn)輸共享單車，根據(jù)站點(diǎn)內(nèi)單車的過(guò)多和不足情況，在不同的站點(diǎn)存取單車。系統(tǒng)預(yù)測(cè)的工作可以發(fā)現(xiàn)潛在的不平衡，很大程度上決定了再分配的效果。

系統(tǒng)建議是指運(yùn)營(yíng)系統(tǒng)可以向用戶提出一些出行建議，主要包括兩方面，一是附近可以租用或歸還的站點(diǎn)信息；二是可以在站點(diǎn)的選擇上給出建議，例如當(dāng)兩個(gè)共享單車站點(diǎn)對(duì)用戶來(lái)說(shuō)代價(jià)相等時(shí)，系統(tǒng)可以建議用戶將共享單車歸還到共享單車數(shù)量較少的站點(diǎn)，以增加整個(gè)系統(tǒng)的均衡性，提高長(zhǎng)期服務(wù)水平。

在以上四個(gè)方向當(dāng)中，系統(tǒng)預(yù)測(cè)是系統(tǒng)操作和系統(tǒng)建議的前提，是共享單車系統(tǒng)的關(guān)鍵點(diǎn)與難點(diǎn)，也是本文研究的重點(diǎn)。

1.2 時(shí)空數(shù)據(jù)預(yù)測(cè)

時(shí)空數(shù)據(jù)是對(duì)連續(xù)空間中多個(gè)研究對(duì)象的動(dòng)態(tài)變化過(guò)程進(jìn)行采樣獲得的信息，反映了連續(xù)空間中變量隨時(shí)間的變化趨勢(shì)。時(shí)空數(shù)據(jù)主要具有以下特點(diǎn)：一是時(shí)空動(dòng)態(tài)性，這也是時(shí)空預(yù)測(cè)中最重要的一點(diǎn)。這意味著在預(yù)測(cè)時(shí)空序列時(shí)，既要考慮時(shí)間維度的依賴性，又要考慮空間維度的依賴性，且隨著時(shí)間的推進(jìn)，空間維度的相關(guān)性也會(huì)動(dòng)態(tài)變化[7]；二是高維性。時(shí)空數(shù)據(jù)除了具有時(shí)間和空間兩個(gè)維度，還有屬性維度等多維特征。因此在時(shí)空序列的預(yù)測(cè)中，可以利用時(shí)空維度以外的多維屬性特征來(lái)捕獲附加信息，例如天氣、是否工作日等；三是海量性，時(shí)空序列數(shù)據(jù)來(lái)源廣泛、積累時(shí)間長(zhǎng)，對(duì)海量時(shí)空序列數(shù)據(jù)的有效處理是時(shí)空序列預(yù)測(cè)的重要目標(biāo)。

傳統(tǒng)的時(shí)間序列預(yù)測(cè)問(wèn)題常用的算法有自回歸移動(dòng)平均模型(ARMA，autoregressive moving average model)、自回歸綜合移動(dòng)平均模型(ARIMA，autoregressive integrated moving average mode)[8]以及季節(jié)性自回歸綜合移動(dòng)平均模型(SARIMA，seasonal ARIMA)等。隨著機(jī)器學(xué)習(xí)方法的成熟，越來(lái)越多的研究者專注于建立基于大量歷史數(shù)據(jù)的非線性時(shí)間序列預(yù)測(cè)模型的研究，經(jīng)典的模型有基于核方法的支持向量回歸(SVR，support vector regression)[9]、隨機(jī)森林(RF，random forests)[10]和迭代決策樹(GBRT，gradient boosting regression tree)[11]等。

近年來(lái)，深度學(xué)習(xí)在很多領(lǐng)域取得了巨大突破，循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN，recurrent neural network)被廣泛用于解決時(shí)間序列預(yù)測(cè)問(wèn)題。然而對(duì)于較長(zhǎng)的時(shí)間序列，梯度消失等問(wèn)題限制了RNN的預(yù)測(cè)精度。為了解決這些問(wèn)題，研究者提出了長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM，long short-term memory)[12]及其變體門控循環(huán)單元(GRU，gate recurrent unit)[13]，通過(guò)在RNN的基礎(chǔ)上添加多個(gè)閾值門來(lái)平衡記憶和遺忘。受到自然語(yǔ)言處理領(lǐng)域中注意力機(jī)制的啟發(fā)，一些研究人員[14]將注意力機(jī)制引入基于LSTM的編解碼框架，在編碼器和解碼器之間，采用一個(gè)注意力層來(lái)轉(zhuǎn)換編碼的交通特征，以對(duì)過(guò)去和未來(lái)的時(shí)間步驟之間的直接相關(guān)性進(jìn)行建模。

在空間維度上，常使用卷積神經(jīng)網(wǎng)絡(luò)(CNN，convolutional neural network)來(lái)捕獲非線性的空間相關(guān)性。ConvLSTM[15]模型是全連接LSTM的一個(gè)擴(kuò)展，它使用CNN和LSTM分別對(duì)空間和時(shí)間的相關(guān)性進(jìn)行建模。ST-ResNet[16]是一個(gè)基于CNN殘差網(wǎng)絡(luò)的城市人流預(yù)測(cè)模型，其利用深度殘差網(wǎng)絡(luò)在時(shí)空網(wǎng)格數(shù)據(jù)的建模能力來(lái)捕獲時(shí)空相關(guān)性。

但CNN只能捕獲網(wǎng)格結(jié)構(gòu)數(shù)據(jù)上各位置的局部空間相關(guān)性。近年來(lái)，圖卷積網(wǎng)絡(luò)(GCN，graph convolutional network)逐漸興起，以共享單車站點(diǎn)為代表的典型空間數(shù)據(jù)源都具有天然的圖結(jié)構(gòu)，通過(guò)設(shè)計(jì)基于圖的空間數(shù)據(jù)表示方法，可以提取網(wǎng)格結(jié)構(gòu)無(wú)法描述的特征。DCRNN[17]將GCN引入到時(shí)空數(shù)據(jù)預(yù)測(cè)中，它采用擴(kuò)散圖卷積網(wǎng)絡(luò)來(lái)對(duì)空間特征進(jìn)行提取，采用RNN來(lái)提取時(shí)間相關(guān)性。STGCN[18]在使用圖卷積的同時(shí)加入了CNN來(lái)捕獲時(shí)間依賴性。ASTGCN[4]在時(shí)間和空間兩個(gè)維度都使用注意機(jī)制來(lái)捕捉動(dòng)態(tài)的時(shí)間相關(guān)性和空間相關(guān)性。WaveNet[19]設(shè)計(jì)了一個(gè)自適應(yīng)矩陣，以將節(jié)點(diǎn)及其鄰居之間的影響變化考慮在內(nèi)，其使用擴(kuò)散卷積對(duì)時(shí)間相關(guān)性進(jìn)行建模，使得感受野指數(shù)級(jí)增加。

雖然GCN能在一定程度上解決CNN存在的問(wèn)題，但上述工作都是分別對(duì)時(shí)間和空間特征進(jìn)行建模，忽略了時(shí)空動(dòng)態(tài)相關(guān)性，即，一個(gè)區(qū)域的交通狀態(tài)除了與該區(qū)域的歷史狀態(tài)相關(guān)外，也可能與其他區(qū)域的歷史狀態(tài)相關(guān)。為此，ST-3DNet[20]將三維卷積引入時(shí)空預(yù)測(cè)領(lǐng)域，可以有效地從空間和時(shí)間兩個(gè)維度混合提取特征，其使用兩個(gè)組件來(lái)分布處理局部時(shí)間特征和長(zhǎng)期時(shí)間特征。STSGCN[21]和STFGNN[22]均使用時(shí)空融合圖的方式，同時(shí)提取時(shí)間和空間的動(dòng)態(tài)特征。這種在時(shí)空融合圖的基礎(chǔ)上進(jìn)行特征提取的方式可以直接捕獲時(shí)空依賴關(guān)系，也是本文中模型的思想來(lái)源。

具體到共享單車的需求預(yù)測(cè)問(wèn)題，文獻(xiàn)[23]以套索回歸、嶺回歸、隨機(jī)森林和迭代決策樹等機(jī)器學(xué)習(xí)模型，探討了共享單車短期需求預(yù)測(cè)的主要影響因素，并進(jìn)行了比較分析。文獻(xiàn)[24]提出了新型基于站點(diǎn)聚類的共享單車需求預(yù)測(cè)算法，通過(guò)構(gòu)建單車轉(zhuǎn)移網(wǎng)絡(luò)計(jì)算站點(diǎn)活躍度，將距離相近和用車模式相似的站點(diǎn)聚合到一個(gè)聚簇中，利用多特征LSTM對(duì)向量?jī)?nèi)的特征信息進(jìn)行學(xué)習(xí)和訓(xùn)練。文獻(xiàn)[25]采用時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)作為預(yù)測(cè)模型，在頻譜域卷積中使用切比雪夫多項(xiàng)式來(lái)降低網(wǎng)絡(luò)的復(fù)雜度，在空間域卷積中以門控圖結(jié)構(gòu)作為空間維度的信息傳遞模型。而在本文中，提出了一種新的基于時(shí)空融合圖的注意力網(wǎng)絡(luò)模型，可以更充分的捕獲共享單車系統(tǒng)的時(shí)空動(dòng)態(tài)相關(guān)性，為系統(tǒng)預(yù)測(cè)提供算法支持。

2 符號(hào)與問(wèn)題定義

3 基于時(shí)空融合圖的自注意力網(wǎng)絡(luò)

本文提出一種基于時(shí)空融合圖的自注意力網(wǎng)絡(luò)，以解決共享單車的需求預(yù)測(cè)問(wèn)題，整體架構(gòu)如圖2所示。其本質(zhì)上仍是編解碼器架構(gòu)(Encoder-Decoder)，其中編碼器由多個(gè)編碼層組成，解碼器也是由相同層數(shù)的解碼層組成。Transformer在時(shí)間序列預(yù)測(cè)領(lǐng)域的成功證明了這種網(wǎng)絡(luò)結(jié)構(gòu)的時(shí)間特征提取能力。

圖2 基于時(shí)空融合圖的注意力網(wǎng)絡(luò)模型

在本文網(wǎng)絡(luò)模型中，編碼層由概率稀疏自注意力和相鄰時(shí)間片圖卷積兩個(gè)模塊組成，其中自注意力模塊主要計(jì)算每個(gè)節(jié)點(diǎn)與其他部分節(jié)點(diǎn)的相關(guān)性；圖卷積模塊主要為增強(qiáng)模型對(duì)復(fù)雜過(guò)程的表達(dá)能力，特別是在圖結(jié)構(gòu)下的表達(dá)能力。解碼層在編碼層的兩個(gè)模塊的基礎(chǔ)上，增加了概率稀疏跨注意力模塊，用來(lái)將編碼器的信息傳遞給解碼器。此外，在每個(gè)模塊之后增加了殘差連接和層歸一化操作。殘差連接可以在一定程度上解決網(wǎng)絡(luò)層數(shù)過(guò)深帶來(lái)的梯度消失和權(quán)重矩陣退化的問(wèn)題；層歸一化則可以規(guī)范優(yōu)化空間，保證數(shù)據(jù)特征分布的穩(wěn)定性，加速模型收斂。

在編解碼器之外，我們還將天氣特征、空間位置特征、相對(duì)時(shí)間特征、絕對(duì)時(shí)間特征等多個(gè)外部特征通過(guò)嵌入的方式與模型內(nèi)部的維度統(tǒng)一，并與輸入數(shù)據(jù)相加，以補(bǔ)充輸入數(shù)據(jù)的時(shí)空位置信息以及外部特征。模型的輸入由τ個(gè)時(shí)間片內(nèi)所有節(jié)點(diǎn)的全部特征構(gòu)成，輸出為τ+1時(shí)刻的空間圖結(jié)果，然后遞歸地執(zhí)行τp次即可得到待預(yù)測(cè)的全部結(jié)果。

3.1 時(shí)空融合圖的構(gòu)建

以圖3所示的時(shí)空?qǐng)D為例，其中存在三種不同的相關(guān)性。空間相關(guān)性指的是時(shí)空?qǐng)D中的每個(gè)節(jié)點(diǎn)可以直接影響同時(shí)刻的鄰居節(jié)點(diǎn)，這種影響來(lái)源于實(shí)際的空間依賴關(guān)系；同時(shí)，由于時(shí)間序列中的相關(guān)性，每個(gè)節(jié)點(diǎn)也可以直接影響下一時(shí)刻的同位置節(jié)點(diǎn)，這表現(xiàn)為時(shí)空融合圖中的時(shí)間相關(guān)性。此外，由于某站點(diǎn)的借車數(shù)據(jù)可以影響到其相鄰站點(diǎn)的還車數(shù)據(jù)，即每個(gè)節(jié)點(diǎn)可以直接影響下一時(shí)刻的鄰居節(jié)點(diǎn)，故時(shí)空?qǐng)D中還存在直接的時(shí)空相關(guān)性。這三種不同相關(guān)性的存在是因?yàn)闀r(shí)空?qǐng)D中的信息傳播同時(shí)在空間和時(shí)間兩個(gè)維度上發(fā)生。

圖3 時(shí)間相關(guān)性、空間相關(guān)性與時(shí)空相關(guān)性

由于騎行的空間距離和時(shí)間范圍的局限性，這些復(fù)雜的時(shí)空關(guān)聯(lián)通常被局部化，稱為局部的時(shí)空相關(guān)性。此外，由于某一屬性的區(qū)域內(nèi)的節(jié)點(diǎn)具有一些共性，以及時(shí)間的周期性規(guī)律，時(shí)空數(shù)據(jù)整體上也表現(xiàn)會(huì)出全局的時(shí)空相關(guān)性，如住宅區(qū)上午上班時(shí)的借用情況可能與工作區(qū)晚上下班時(shí)的借用情況類似。

因此，本文通過(guò)建立時(shí)空融合圖的方式對(duì)原始數(shù)據(jù)進(jìn)行建模，時(shí)空融合圖把相鄰時(shí)刻的相同節(jié)點(diǎn)進(jìn)行連接。如圖1所示，時(shí)空融合圖使得原先τ個(gè)時(shí)間片的包括N個(gè)節(jié)點(diǎn)的空間圖變?yōu)橐粋€(gè)包含τ×N個(gè)節(jié)點(diǎn)的時(shí)空融合圖。圖4為時(shí)空融合圖的鄰接矩陣，其中A為空間圖的鄰接矩陣，I為單位矩陣。在此時(shí)空融合圖上使用圖卷積操作，即可同時(shí)提取每個(gè)節(jié)點(diǎn)的時(shí)間和空間兩個(gè)維度的特征；使用自注意力機(jī)制，即可計(jì)算任意兩個(gè)不同時(shí)空位置的節(jié)點(diǎn)的相關(guān)性，這就使得我們的模型具有強(qiáng)大的時(shí)空動(dòng)態(tài)特征提取能力。

但與此同時(shí)，節(jié)點(diǎn)倍增也帶來(lái)了時(shí)間復(fù)雜度和空間復(fù)雜度的平方級(jí)增長(zhǎng)，這就需要我們采取一些優(yōu)化策略，具體而言，我們的模型通過(guò)采用概率稀疏注意力機(jī)制和相鄰時(shí)間片的圖卷積操作，來(lái)降低時(shí)空復(fù)雜度。

圖4 時(shí)空融合圖的鄰接矩陣

3.2 概率稀疏自注意力機(jī)制

注意力機(jī)制[26]是自然語(yǔ)言處理中基于編解碼器的翻譯系統(tǒng)的改進(jìn)，被廣泛用于包括計(jì)算機(jī)視覺(jué)、語(yǔ)音處理等其他領(lǐng)域。隨著Transformer的提出，自注意力機(jī)制逐漸成為了研究熱點(diǎn)，其通過(guò)計(jì)算序列中不同位置的相關(guān)性，來(lái)提取序列的時(shí)間特征。然而，其在計(jì)算自注意力時(shí)的時(shí)間復(fù)雜度和空間復(fù)雜度均為O(n2)，其中n為節(jié)點(diǎn)個(gè)數(shù)，在處理大量節(jié)點(diǎn)問(wèn)題時(shí)具有一定的局限性。

為此，Informer[6]提出了一種新的概率稀疏自注意力機(jī)制，其時(shí)間和空間復(fù)雜度均為O(nlog(n))，以解決長(zhǎng)序列時(shí)序預(yù)測(cè)(LSTF，long sequence time-series forecasting)問(wèn)題。具體而言，在傳統(tǒng)的自注意力機(jī)制中，每一對(duì)輸入都會(huì)進(jìn)行注意力的計(jì)算，導(dǎo)致在處理長(zhǎng)時(shí)間序列時(shí)計(jì)算量過(guò)大。研究中發(fā)現(xiàn)注意力映射圖(attention map)的高激活值較為稀疏，且激活值服從長(zhǎng)尾分布(long-term distribution)，即序列中的某個(gè)元素一般只會(huì)和少數(shù)幾個(gè)元素具有較高的關(guān)聯(lián)性。概率稀疏自注意力的核心思想就是找到這些重要的Q向量，從而只計(jì)算這些Q向量的注意力值，來(lái)提高計(jì)算效率。

LSTF與時(shí)空融合圖面臨的都是大量節(jié)點(diǎn)場(chǎng)景，因此，我們?cè)跁r(shí)空融合圖上采用概率稀疏自注意力機(jī)制，以降低時(shí)空節(jié)點(diǎn)相關(guān)性計(jì)算時(shí)的復(fù)雜度。

3.3 相鄰時(shí)間片圖卷積

GCN可以分為空域和頻域兩種類型，頻域中的一種簡(jiǎn)化形式[27]為:

(1)

(2)

其中：N(u)為節(jié)點(diǎn)u的一階鄰居。

可以看出，對(duì)于此GCN而言，某個(gè)節(jié)點(diǎn)的特征值僅與其一階鄰居有關(guān)。因此，在對(duì)時(shí)空融合圖的節(jié)點(diǎn)進(jìn)行一次圖卷積操作時(shí)，只需要考慮其空間圖中的一階鄰居和其前后兩個(gè)時(shí)間點(diǎn)，此時(shí)可以捕獲圖3中的空間相關(guān)性和時(shí)間相關(guān)性；在對(duì)時(shí)空融合圖進(jìn)行兩次圖卷積操作時(shí)，即可捕獲時(shí)空相關(guān)性。

此外，由于兩次圖卷積只涉及到二階鄰居節(jié)點(diǎn)的消息傳遞，采用相鄰五個(gè)時(shí)間片的時(shí)空融合圖的圖卷積結(jié)果與采用全部時(shí)間片的時(shí)空?qǐng)D的圖卷積結(jié)果相同。因此，在實(shí)際進(jìn)行時(shí)空融合圖卷積時(shí)，我們將時(shí)空融合圖重新劃分為多個(gè)具有五個(gè)時(shí)間片的小型時(shí)空融合圖，在此基礎(chǔ)上進(jìn)行圖卷積操作，以進(jìn)一步降低計(jì)算量和內(nèi)存占用。

3.4 多特征嵌入

自注意力機(jī)制只能計(jì)算節(jié)點(diǎn)之間數(shù)據(jù)的相關(guān)性，而忽略了節(jié)點(diǎn)在時(shí)空?qǐng)D中的位置相關(guān)特征。因此，Transformer中采用位置嵌入的方式，補(bǔ)充提供每個(gè)數(shù)據(jù)的相對(duì)時(shí)間信息。而在本文中，除了傳統(tǒng)的時(shí)間特征需要嵌入外，還需要對(duì)空間圖中的節(jié)點(diǎn)位置關(guān)系進(jìn)行嵌入操作，對(duì)包括絕對(duì)時(shí)間特征、天氣特征在內(nèi)的外部特征進(jìn)行嵌入操作。具體而言如下：

相對(duì)時(shí)間嵌入采用Transformer中的位置嵌入函數(shù)。對(duì)于τ時(shí)刻的任意節(jié)點(diǎn):

PEpos,2i=sin·(pos/100002i/dmodel)

(3)

PEpos,2i+1=cos·(pos/100002i/dmodel)

(4)

其中:pos為相對(duì)時(shí)間位置，dmodel為輸入到嵌入層的維度，i∈[0,dmodel)表示嵌入層的第i個(gè)維度。

空間嵌入即為空間圖嵌入，目的是得到網(wǎng)絡(luò)中節(jié)點(diǎn)的低維向量表示。具體而言，對(duì)空間圖中的每個(gè)節(jié)點(diǎn)v∈V，計(jì)算一個(gè)dmodel?|V|維度的向量。在本文模型中使用Node2vec[28]算法來(lái)計(jì)算圖嵌入，相比于Deepwalk中圖的隨機(jī)游走策略，Node2Vec通過(guò)調(diào)整隨機(jī)游走的概率，使得圖嵌入的結(jié)果在“同質(zhì)性”和“結(jié)構(gòu)性”中進(jìn)行權(quán)衡。

對(duì)于天氣與絕對(duì)時(shí)間特征，采用一個(gè)簡(jiǎn)單的全連接網(wǎng)絡(luò)，將每個(gè)時(shí)間點(diǎn)的天氣與時(shí)間特征計(jì)算出一個(gè)dmodel維度的向量。

通過(guò)對(duì)以上多種特征進(jìn)行融合，得到一個(gè)綜合嵌入，然后將其與原始數(shù)據(jù)相加，作為編解碼器的輸入。

4 實(shí)驗(yàn)

4.1 數(shù)據(jù)集與數(shù)據(jù)處理

本文使用2019年芝加哥市Divvy共享單車系統(tǒng)數(shù)據(jù)集(https://divvy-tripdata.s3.amazonaws.com/index.html)，以及對(duì)應(yīng)時(shí)間的芝加哥天氣數(shù)據(jù)(https://mesowest.utah.edu/cgi-bin/droman/download_api2.cgi?stn=KMDW)進(jìn)行實(shí)驗(yàn)，使用過(guò)去24小時(shí)的數(shù)據(jù)預(yù)測(cè)未來(lái)24小時(shí)的數(shù)據(jù)。數(shù)據(jù)集按季度分為四組，每組的前60%作為訓(xùn)練集，中間20%作為測(cè)試集，最后20%作為驗(yàn)證集。

共享單車站點(diǎn)流量數(shù)據(jù)每30分鐘統(tǒng)計(jì)一次，因此每個(gè)站點(diǎn)每天包含48組數(shù)據(jù)，此外，使用滑動(dòng)窗口的方式生成連續(xù)時(shí)間序列段。例如Q1共有90天，即4 320個(gè)時(shí)間點(diǎn)，使用滑動(dòng)窗口得到4 225個(gè)長(zhǎng)度為96的連續(xù)時(shí)間序列段；進(jìn)一步將前面的2 535個(gè)序列段作為訓(xùn)練集，中間845個(gè)序列段作為測(cè)試集，最后845個(gè)序列段作為驗(yàn)證集。

在構(gòu)建空間圖時(shí)，如果共享單車站點(diǎn)之間的距離超過(guò)10 km[29]，則認(rèn)為共享單車站點(diǎn)之間不存在連接；反之，則認(rèn)為存在連接。

Divvy數(shù)據(jù)集共有691個(gè)共享單車站點(diǎn)，我們將其中分布較為集中的137個(gè)站點(diǎn)產(chǎn)生的數(shù)據(jù)集記為Divvy(S)，將完整數(shù)據(jù)集記為Divvy(L)，以驗(yàn)證本文的模型具有較好的全局時(shí)空相關(guān)性的捕獲能力。

4.2 基準(zhǔn)方法與評(píng)價(jià)指標(biāo)

在本節(jié)中，我們將本文的模型與以下六種現(xiàn)有的時(shí)空預(yù)測(cè)方法進(jìn)行對(duì)比，以驗(yàn)證我們模型的有效性。

SVR[9]：一種監(jiān)督學(xué)習(xí)算法，利用線性支持向量機(jī)進(jìn)行回歸。

LSTM[12]：RNN的一種變體，用于時(shí)間序列預(yù)測(cè)的長(zhǎng)短期記憶網(wǎng)絡(luò)。

ConvLSTM[15]：全連接LSTM的一個(gè)擴(kuò)展，它使用CNN和LSTM分別對(duì)空間和時(shí)間的相關(guān)性進(jìn)行建模。

DCRNN[17]：采用擴(kuò)散圖卷積網(wǎng)絡(luò)和基于seq2seq的GRU對(duì)交通圖序列數(shù)據(jù)進(jìn)行預(yù)測(cè)。

ASTGCN[4]：通過(guò)空間注意機(jī)制和時(shí)間注意機(jī)制來(lái)模擬空間和時(shí)間的動(dòng)態(tài)相關(guān)性。

STSGCN[21]：提出了一種新的卷積運(yùn)算，可以同時(shí)捕獲時(shí)空相關(guān)性。

我們采用平均絕對(duì)誤差(MAE，mean absolute error)作為模型的損失函數(shù)，采用均方誤差(RMSE，root mean square error)和MAE作為評(píng)價(jià)指標(biāo)，具體公式如下：

(5)

(6)

4.3 實(shí)驗(yàn)結(jié)果與分析

將我們的模型與以上基準(zhǔn)模型在Divvy(S)和Divvy(L)的四組數(shù)據(jù)集上進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如表1和表2所示。

表1 不同模型在Divvy(S)上的預(yù)測(cè)結(jié)果對(duì)比(Q1-Q4)

表2 不同模型在Divvy(L)上的預(yù)測(cè)結(jié)果對(duì)比(Q1-Q4)

從中可以看出，我們的模型在所有數(shù)據(jù)集上的兩個(gè)指標(biāo)都達(dá)到了最佳。其中，適用于時(shí)間序列預(yù)測(cè)的LSTM與SVR由于缺少對(duì)空間相關(guān)性的捕獲能力，結(jié)果較差。ConvLSTM是應(yīng)用于空間網(wǎng)格數(shù)據(jù)的模型，在輸入時(shí)將原始數(shù)據(jù)重構(gòu)為網(wǎng)格格式的數(shù)據(jù)；其余模型則是基于空間圖數(shù)據(jù)的模型，采用的是鄰接矩陣作為輸入?；诰W(wǎng)格的模型由于無(wú)法捕獲圖結(jié)構(gòu)中更加豐富的空間信息，其效果差于采用基于圖的模型。而在幾個(gè)基于圖的模型之中，DCRNN沒(méi)有考慮時(shí)空中的動(dòng)態(tài)相關(guān)性，ASTGCN考慮到了時(shí)間動(dòng)態(tài)相關(guān)性和空間動(dòng)態(tài)相關(guān)性，STSGCN在ASTGCN的基礎(chǔ)上，進(jìn)一步考慮局部時(shí)空動(dòng)態(tài)相關(guān)性，而我們的模型更進(jìn)一步，通過(guò)在時(shí)空融合圖上使用自注意力機(jī)制，可以捕獲全局時(shí)空動(dòng)態(tài)相關(guān)性，實(shí)驗(yàn)結(jié)果也驗(yàn)證了我們的特征提取能力。

圖5 模型在兩個(gè)測(cè)試用例上的預(yù)測(cè)情況

通過(guò)兩張表的對(duì)比可知，我們的模型在Divvy(L)上較Divvy(S)有最為明顯的提升，這是由于區(qū)域內(nèi)節(jié)點(diǎn)具有某些共性以及時(shí)間的周期性規(guī)律，導(dǎo)致時(shí)空數(shù)據(jù)整體上表現(xiàn)出的全局時(shí)空相關(guān)性。這也顯示了在較大空間圖上，這種全局時(shí)空動(dòng)態(tài)相關(guān)性的重要性。

圖5為我們的模型在Divvy(L)數(shù)據(jù)集的第173號(hào)站點(diǎn)和482號(hào)站點(diǎn)的兩個(gè)測(cè)試用例上的預(yù)測(cè)情況，從中可以看出，我們的預(yù)測(cè)結(jié)果與真實(shí)數(shù)據(jù)有較強(qiáng)的一致性。

5 結(jié)束語(yǔ)

共享單車作為一種新的公共交通形式，極大地豐富了人們的出行方式。然而，在實(shí)際應(yīng)用中，由于用戶出行習(xí)慣的相似性和集中性，常常會(huì)導(dǎo)致各個(gè)站點(diǎn)的共享單車分布不均衡，使得用戶面臨無(wú)車可借及無(wú)樁可還的問(wèn)題。為此，本文提出了一種新的基于時(shí)空融合圖的注意力網(wǎng)絡(luò)模型，采用Transformer網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行預(yù)測(cè)，并重新實(shí)現(xiàn)了其中的基本算子，以捕獲站點(diǎn)之間的時(shí)空動(dòng)態(tài)相關(guān)性。實(shí)驗(yàn)表明，我們的模型在Divvy真實(shí)數(shù)據(jù)集上的表現(xiàn)優(yōu)于以往的模型。在未來(lái)的研究中，我們將對(duì)時(shí)空融合圖進(jìn)行更細(xì)化的設(shè)計(jì)，考慮時(shí)間邊和空間邊的異質(zhì)性，更加針對(duì)性地設(shè)計(jì)時(shí)空融合圖的嵌入方式。