李伯涵，郭茂祖，趙玲玲

（1.北京建筑大學 電氣與信息工程學院，北京 100044;2.北京建筑大學 建筑大數據智能處理方法研究北京市重點實驗室，北京 100044;3.哈爾濱工業(yè)大學 計算機科學與技術學院，黑龍江 哈爾濱 150001）

流量預測是實現城市交通智能管理的基石，是構建未來智能交通系統（intelligent transportation system，ITS）的必要技術支撐，其核心是實時準確地預測城市不同尺度區(qū)域人流的分布和流向，為城市規(guī)劃、交通管理、安全防護、個體化服務提供可靠依據，從而減少擁堵，提高交通效率，并為公共安全應急管理提供早期預警，優(yōu)化城市交通系統的效率和城市居民的出行體驗[1-2]。

在城市交通流量預測的相關研究中，乘客流量的預測實質上就是基于人流特征的預測，有些針對人流的預測，根據人流分布空間的不同可以分為主要道路上的人流量[3]預測和整個城市范圍的人流量預測。其中，道路上的人流速度、人流量的研究主要面向部分路段，而不是整個城市范圍，因此該類研究與交通流量預測更為相關[4]。城市范圍[2]的人流量預測又根據預測范圍的尺度和形狀差異可以分為針對單個區(qū)域和針對整個城市的研究。針對單個區(qū)域預測的模型[5]，多采用較為復雜的方法以劃分出不規(guī)則的區(qū)域，并借助馬爾科夫模型進行預測。針對整個城市的人群預測[6-7]往往采用多源大數據進行分析。

機器學習框架下的客流量預測方法差別在于預測對象和預測依據。有些研究[8-10]只針對短期客流進行預測，不具備遷移能力和普適性。有些研究[11-12]利用了深度學習、遷移學習等手段對不同區(qū)域客流進行預測，但沒有考慮突發(fā)性活動與周期性、趨勢性活動的差異。研究[13]考慮了活動的周期性，同時利用起點—終點（origin-destination，OD）客流數據的區(qū)域上下文對活動地區(qū)進行建模，但是忽略了人群活動中有很大一部分屬于突發(fā)性活動，同時沒有考慮外部因素的影響。

預測客流量也可以建模為時間序列的預測問題。歷史平均（historical average，HA）模型[14]比較簡單，該模型僅使用歷史時間序列的平均值，來預測未來時間序列的平均值。然而，該模型無法對動態(tài)事件（如交通事故等突發(fā)事件）做出響應。自回歸滑動平均模型（autoregressive integrated moving average model，ARIMA）假設未來時間序列的值，是歷史值的線性組合與殘差，因此，為了獲得穩(wěn)定的結果，非穩(wěn)定的時間序列在分析之前需要特殊處理[15]。自回歸滑動平均模型不適合處理有缺失值的時間序列，因為它依賴于非缺失時間序列數據，隨著應用場景復雜度的提高，數據填補技術將不能滿足需求[16]。在使用自回歸滑動平均模型之前，額外的周期性差異通常應用到周期 性時間序列中以獲得穩(wěn)定的結果，稱之為周期性自回歸整體滑動平均模型（season autoregressive integrated moving average，SARIMA），其不足之處在于它具有較大的時間復雜度[17]。向量自回歸模型（vector autoregressive，VAR）能夠捕捉非相關時間序列的線性依賴[18]，但是該模型沒有考慮到預測值和殘差之間的關系。

Zhang 等[19]定義了區(qū)域數據的流入量流出量概念，并且把空間依賴性分為長距離空間依賴和短距離空間依賴，將乘客人群流動的時間特性歸納為3 類：臨近性、周期性和趨勢性，利用不同時空特性的三模塊時空殘差網絡和外部特征網絡，從多源數據中提取與客流量變化密切相關的抽象特征表示，具有較好的預測性能。但是，該方法忽略了不同城市功能區(qū)對客流量變化的顯著影響，同時，更為有效的深度學習機制也有助于模型能力的進一步提升。

針對上述問題，本文構建了基于分割注意力機制的殘差網絡（residual split-attention network,ResNeSt），形成深度時空分割注意力機制殘差網絡框架(spatio-temporal split-attention networks,STSANet），面向整個城市范圍內的乘客人群進行流量預測。引入分割注意力模塊，實現了跨不同特征圖組的注意力機制，進而更深入地發(fā)掘城市不同時空區(qū)域間多模態(tài)數據的特征和關系[20]。同時，除了對小區(qū)域客流量的時空關聯進行挖掘之外，在城市客流量時空數據中增加了“城市功能區(qū)屬性”這一新特征，捕捉各區(qū)域客流量變化與所處城市功能區(qū)之間的關聯關系，同時結合外部特征數據形成多模態(tài)數據集，進而提升客流量預測模型的準確性。

1 相關工作

Zhang 等[19]提出深度時空殘差網絡（spatiotemporal residual network,ST-ResNet）的客流量預測，首先定義了區(qū)域數據的流入量流出量概念。將每個時間間隔內的流入量和流出量轉化成類似于圖像的雙通道矩陣，并按照時間尺度分為3 類：臨近時間段、較近時間段和遙遠時間段，然后將3 個時間段的人流矩陣輸入到不同的模塊中進行建模，從而提取客流群體活動所具備的鄰近性、周期性和趨勢性。

在此基礎上，Zhang 等采用深度時空殘差網絡模型來進行特征表示學習和預測。該網絡包括3 個主要的殘差網絡模塊，共享相同網絡結構。每個模塊的輸入都是一個矩陣X。以鄰近性模塊為例，一個時間間隔內的數據可以表示為

式（1）稱為鄰近性依賴矩陣，其中l(wèi)c為時間間隔，c下標代表了卷積層，然后按照時間軸將其連接為一個矩陣：∈T2lc×I×J。其中T2lc×I×J表示維度為 2lc×I×J的矩陣的集合，隨后輸入到一個卷積單元：

每一個卷積操作中堆疊L個殘差單元，即：

式中：F是殘差方程（即兩個ReLU 和卷積的組合），θ(1)包括所有第l層需要學習的參數。同樣，在ReLu 之前，使用批歸一化（batch normalization，BN）。在頂端的第L層殘差單元輸出為

將3 個模塊的結果進行拼接，調用Tanh 激活函數，結合外部因素模塊，最終計算Loss 值，訓練得到城市區(qū)域客流量預測模型。

2 城市區(qū)域客流量預測

本文以城市區(qū)域的流入流出量、當前城市功能區(qū)域分布、天氣節(jié)假日等外部特征3 類異構數據來源為基礎，以Deep&Wide 網絡為框架，提出包括4 個主要網絡模塊的多源時空客流量預測方法。

為了更好地提取與城市區(qū)域客流量相關的特征，以ST-ResNet 框架為基礎，在空間依賴性、時間依賴性以及外部因素之上，引入“城市功能區(qū)屬性”作為重要的特征。其原因在于不同時段的客流量變化與區(qū)域功能屬性密切相關。如工作日的上班早高峰時間段，住宅區(qū)和商業(yè)區(qū)的人口密度與客流量變化會明顯多于其他功能區(qū)。同時，以ST-SANet 來提取區(qū)域客流量的時空抽象特征。

2.1 基于ST-SANet 網絡的區(qū)域客流量預測模塊

將數據集劃分為鄰近時段（Xclose）、較近時段（Xperiod）、遙遠時段（Xtrend）數據，采用ST-SANet 分別對活動鄰近性、周期性、趨勢性進行建模，動態(tài)聚合3 個網絡模塊的輸出，為不同模態(tài)的特征分配不同的權重。采用全連接網絡對節(jié)假日、天氣等外部影響因子進行建模。最后將得到的特征進行拼接，利用激活函數實現對小區(qū)域客流量的預測，整體結構如圖1 所示。

圖1 分割注意力機制殘差網絡結構圖Fig.1 Structure diagram of split-attention residual network

2.1.1 帶有城市功能區(qū)域屬性的流入流出矩陣構建

輸入為表征小區(qū)域流入流出量、功能區(qū)域屬性的8 維向量：Xt=(fint,foutt,Func,t)形成的矩陣，其中 fint、foutt分別代表t時刻區(qū)域流入量以及流出量，Func,t為6 位one-hot 編碼向量，表征了功能區(qū)域屬性。

本文根據北京市經緯度范圍將整個市區(qū)劃分為32 ×32 個柵格區(qū)域，參考北京市功能區(qū)分布將各區(qū)域劃分為“居住區(qū)”、“商業(yè)區(qū)”、“文教區(qū)”、“行政區(qū)”、“休閑區(qū)”。每個柵格內選取比重較大的一至三類功能區(qū)屬性作為劃分依據，如圖2 所示。

圖2 城市功能區(qū)劃分示意圖Fig.2 Schematic diagram of urban functional area division

將包含了城市功能區(qū)特征和時空流入流出量信息的數據，繪制成流入量流出量熱力圖[21-22]，按照時間軸分成較近時間段、臨近時間段以及遙遠時間段3 類，然后將3 類數據輸入到對應的模塊中進行建模，從而提取前述的活動鄰近性、周期性以及趨勢性。3 個模塊共享相同的網絡結構，且彼此相互獨立，都采用了卷積神經網絡、殘差單元序列、分割注意力機制模塊結構。相較于原始模型，改進后的結構能夠更動態(tài)地提取影響程度較大的數據特征，更準確地捕捉數據中的潛在關聯性[23]。

為前3 個主要模塊的輸出分配相應的權值后，融合為一個結果矩陣。然后將主要模塊的結果矩陣與外部特征模塊的結果矩陣進行拼接。最后用Tanh 函數將融合后的輸出映射到區(qū)間[-1,1]中。在反向傳播中，Tanh 函數比標準邏輯函數收斂得更快[24]。

2.1.2 ST-SANet 構架

圖1 展示了ST-SANet 的架構，模型的主體為上半部分的3 個模塊，分別對鄰近性、周期性、趨勢性進行建模，每個模塊由兩個主要子模塊組成，分別是殘差單元和分割注意力機制模塊。整個城市范圍內的數據量非常龐大，同時包含許多不同屬性的區(qū)域，使得抽象數據中隱藏了大量多元化的特征信息，本文在殘差網絡算法（residual network，ResNet）的基礎上引入了分割注意力機制，使模型具備了多模態(tài)數據特征提取的能力，進而深入地發(fā)掘了更多維度數據信息。通過在ResNet 結構中堆疊分割注意力機制模塊，形成了新的ResNet變體ResNeSt[25]。它保留了整個ResNet 結構，以便直接用于下游任務，而不引入額外的計算成本。

分割注意力機制模塊中同一層的多個卷積核相互獨立，可以各自提取特征，使得模型具有提取多元化信息的特性。

殘差模塊輸出為維度h=32、w=32、c=8 的矩陣X∈Th×w×c，并作為分割注意力機制模塊的輸入，ResNeSt 算法中的特征圖組與ResNeXt 算法[26]相似，特征可以分為若干組，特征圖組的數量由超參數K提供[27-29]，以此種方式將輸入的特征分成了若干基組（Cardinal 組），如圖3 所示。

圖3 分割注意力機制模塊Fig.3 Model of split-attention

在每個相互獨立的基組中，又把輸入分成了多個分支，每個分支的注意力層能夠提供捕捉特征相關性的網絡機制，通過引入自注意力機制實現特征分支間的權重分配，如圖4 所示。

圖4 組群中的注意力機制分支Fig.4 Branches of Split-attention in groups

此處涉及了第二個超參數R，將特征分成了若干基組的組內分支（Radix 分支），后文簡稱為“組內分支”，使得模型能進一步地提取具有多元化屬性的特征。

在組內分支中首先將特征求和并進行全局池化操作，然后使用卷積等操作進行權重系數的分配。第一組卷積的輸出維度為4 維，作為縮放系數用于減少參數量；第二組卷積的輸出維度通道數乘以組內分支數，保持了與組內分支特征層相對應的維度。為了確保組內分支間特征層的權重獨立分布，使用n-Softmax 對各組內分支的權重分別計算，最后將各組對應的特征層與注意力系數相乘再求和。

上文提到的超參數R描述了基數組內的分支模塊數目，因此特征組的總數為G=K×R

并應用一系列變換 {F1,F2,···,FG}得到每個單獨的組，各組的中間量表示為u：

基組可以通過多個組內分支逐元素求和來獲得，其中第k個基數組表示為

超參數R代表了分支數量，h、w和c分別是模塊輸出特征圖的維度參數?？梢允褂萌制骄鼗瘉硎占度胧酵ǖ溃╡mbedded channelwise）中全局上下文信息[30]。第c個分量S的計算公式為

把每個基數組的輸出拼接在一起，又經過一層1×1 的卷積層，最終輸出一個與輸入同為h、w、c維度的特征矩陣Xw×h×c，并傳遞給下一模塊。

2.1.3 參數矩陣融合

使用下述方法融合圖1 中3 個主要模塊的輸出：

式中：“ °”是阿達瑪乘法（即元素間相乘），參數Wc、Wp和Wq分別表征了鄰近性、周期性和趨勢性的影響程度。

2.2 融合外部特征的客流量預測

在外部因素模塊中，本文把與時空數據時間相對應的完整外部數據（天氣數據和節(jié)假日數據）輸入到一個兩層的全連接神經網絡中，以獲取天氣和節(jié)假日特征對區(qū)域客流量的影響[31]。

用Et表示預測時間節(jié)點t的外部因素特征向量，包括了天氣、節(jié)假日、工作日等信息。與時空數據預測方式相似，使用t-1 時刻的數據近似預測t時刻的外部因素情況。輸出的Et需要經過兩個全連接層，第一層可以理解為每個子因素的嵌入層，后面連接一個激活函數。第二層則可以理解為是將低維向量映射到高維空間。

最終把外部因素模塊和主要的模塊進行融合，如圖1 框架圖所示。預測得到t時間的區(qū)域客流量預測值：

式中的Tanh 為雙曲線切線函數，保證了輸出的范圍在-1 到1 之間。

2.3 ST-SANet 模型訓練過程

算法1 ST-SANet 模型

輸入流入、流出量數據XRes、預測時間點真實數據XReal，外部特征數據XExt。

輸出經過訓練得到各項模型參數。

1) 按照距離預測時間點的時間間隔劃分數據集；

2)將流入流出量數據通過預卷積層：

3) 外部特征數據經過兩層全連接后得到結果Et：

4)將預卷積層結果輸入到ResNeSt 模塊：

鄰近性模塊：

5)將鄰近性、周期性以及趨勢性3 個模塊的輸出進行全連接后生成Xt；

6)拼接Xt與Et后，經過Tanh 激活函數得到預測結果；

7)按照公式計算loss 值：

反向傳播更新網絡參數。

本實驗在16C32G 服務器環(huán)境下，平均訓練時間為47 h 16 min。

3 實驗設置與結果分析

3.1 數據集

本文以公開的真實數據集—北京出租車數據集（TaxiBJ）[32]以及對應的北京氣象信息、節(jié)假日等數據（BJ_Meteorology）為基礎對客流情況進行預測。TaxiBJ 數據集為h5 文件，包括“date”和“data”兩個字段，分別表示數據集的時間、以及流入流出量數據。該數據集涵蓋了4 個時間范圍的數據，分別是2013 年7 月1 日～10 月30 日；2014年3 月1 日～6 月30 日；2015 年3 月1 日～6 月30 日；2015 年11 月1 日～2016 年4 月10 日。4 年的數據集的形狀分別為（4888，2，32，32）、（4780，2，32，32）、（5596，2，32，32）以及（7220，2，32，32），其中數據第一位代表總數據量，第二位的二維數組分別代表了該區(qū)域的流入量和流出量，第三、四位代表了32×32 的柵格網絡區(qū)域。時間戳的間隔設定以30 min 為單位。

圖5 為TaxiBJ 數據集中某時間節(jié)點的流入流出量熱力圖，其中(a)圖為流入量熱力圖，(b)圖為流出量熱力圖。

圖5 流入流出量數據熱力圖Fig.5 Heat map of inflow and outflow data

3.2 評估指標

本文選擇均方根誤差（RMSE）作為框架的衡量標準，從而評估算法預測結果的準確性。均方根誤差的公式為

式中predicted 為預測量，actual 為真實量，分別對應了各時間段、各區(qū)域出租車客流量的流入流出量的預測值以及真實值。進而對模型的預測準確度進行評估。

3.3 實驗關鍵參數設置及相關代碼

本文提出的新模型經過多次實驗的沉淀，最終獲得的參數設置如表1 所示。論文中代碼見文獻[33]。

表1 實驗參數表Table 1 Experimental parameters table

續(xù)表1

3.4 對比實驗的設置與分析

3.4.1 對比實驗的設置

實驗過程中隨機選擇了數量為8 周的數據作為測試集，剩余數據為訓練集。選取了ST-ResNet 和DeepST[34]兩種人流量預測模型和ARIMA、SARIMA、VAR、RNN、LSTM、GRU 等主流時間序列預測模型作為對比模型。

HA計算對應時間區(qū)間的所有歷史輸入流和外出流的平均流量。例如：周二上午9:00～9:30，對應所有歷史數據中所有周二上午的9:00～9:30。

ARIMA[35]自回歸滑動平均（ARIMA），著名的預測時間序列的模型。

SARIMA[36]季節(jié)性ARIMA，在ARIMA 的基礎上，SARIMA 考慮了季節(jié)特性，能夠同時學習時間鄰近性和周期性。

VAR向量自回歸模型（VAR）能夠捕捉成對乘客流量之間的關系，但由于參數規(guī)模十分龐大，致使時間復雜度較高。

ST-ANN抽取空間（周圍8 個區(qū)域的值）和時間（前8 個時間區(qū)間）的特征作為模型預測的依據。

DeepST面向時空數據的深度神經網絡（DNN）預測模型，在交通領域數據預測問題上展示了較好的特性。

RNN[37]遞歸神經網絡是一種深度學習模型，能夠較好捕捉時間依賴性，可用于訓練不同維度的時間序列數據。本文的實驗中，分別選取了長度為3、6、12、24、48、336 的輸入序列作為對比實驗。不同的序列長度預測效果不盡相同，例如當序列長度選取48、時間間隔為30min 時，數據的時間依賴性為24 h。因此，有6 種RNN 的變種：RNN-3、RNN-6、RNN-12、RNN-24、RNN-48 和RNN-336。

LSTM長短記憶單元網絡（LSTM）[38]是一種特殊的RNN，能夠學習到較長的時間依賴。與RNN 的設置相同，做了6 種LSTM 的變種實驗，即LSTM-3、LSTM-6、LSTM-12、LSTM-24、LSTM-48 和LSTM-336。

GRU[39]門遞歸單元網絡，是一種新的RNN，能夠捕捉較長的時間依賴。與RNN 的設置相同，有以下6 種GRU 變種作為對比實驗：GRU-3、GRU-6、GRU-12、GRU-24、GRU-48 以及GRU-336。

3.4.2 對比實驗的結果與分析

與上述模型的對比實驗結果如表2 所示。

表2 TaxiBJ 數據集下的各個模型RMSE 對比實驗Table 2 Comparison of RMSE results of various frameworks under Taxibj dataset

從表2 可以看出，本文提出的ST-SANet 準確率明顯優(yōu)于所有的對比方法。含有12 個殘差單元和分割注意力機制模塊的ST-SANet 優(yōu)于DeepST等傳統算法約22%以上，優(yōu)于RNN 約40%以上，優(yōu)于LSTM 約31%以上，優(yōu)于GRU30%以上，優(yōu)于ST-ResNet 約6%。

ST-ANN 和VAR 也采用了時空數據進行模型訓練，但是性能都不及ST-SANet 模型，因為它們只是考慮了較近時間段以及鄰近時間段信息。對于時間序列模型而言，GRU 和LSTM 的RMSE 性能相似，且均優(yōu)于RNN，但是都不及ST-SANet 模型，其原因在于GRU 和LSTM 都能夠捕捉較長的時間依賴性，但不具備提取多元化特征的能力[40]。

3.5 消融實驗

3.5.1 消融實驗設置

為了驗證分割注意力機制模塊以及城市功能區(qū)劃分對模型的性能影響，本文針對ST-SANet，構造了未引入城市功能區(qū)特征的消融版模型STSANetRib，未引入分割注意力機制的消融模型ST-ResNet，以及未引入分割注意力機制及城市功能區(qū)特征的消融模型ST-ResNetRib。

3.5.2 消融實驗的結果與分析

4 個模型的預測結果如表3 所示。

表3 消融實驗對比結果Table 3 Comparison results of ablation experiments

從消融實驗對比結果表中可以看出，首先對于城市功能區(qū)劃分的消融實驗，無論是改進后形成的ST-SANet 模型，還是原始的ST-ResNet 模型，引入城市功能區(qū)劃分后的預測效果都有顯著提升，說明了城市功能區(qū)特征在很大程度上影響著客流量的預測。同時，功能區(qū)特征對傳統模型ST-ResNet 的提升略小，也側面說明針對多模態(tài)特征的數據集，ST-SANet 更具有優(yōu)勢。

其次，在分割注意力機制模塊的消融實驗中，無論是否在多模態(tài)數據集下，引入了分割注意力機制的ST-SANet 模型的預測精度均明顯優(yōu)于傳統的ST-ResNet 模型，并且面對復雜數據集時，模型精度的提升更為明顯，說明分割注意力模塊能夠有效提升預測的準確率，同時能夠更好的從多模態(tài)數據集中提取多元化特征。

3.6 實驗結論

引入城市功能區(qū)屬性的數據集，包含了各時段各區(qū)域的客流量變化信息，并且在一定程度上反映了與區(qū)域相關的活動語義。不同的人群活動會發(fā)生在不同的區(qū)域，比如“上班”會發(fā)生在工作區(qū)，那么引入功能區(qū)劃分這一特征，就可以提取各時段不同功能區(qū)乘客群體的活動規(guī)律，從而提升模型的預測精度。實驗中相同模型下，引入了城市功能區(qū)屬性的數據帶來的預測結果要優(yōu)于原始數據的預測結果。

面對多模態(tài)數據集，引入分割注意力機制模塊能夠更好地提取多樣化的特征。并且人群活動的成因十分復雜，不同區(qū)域、不同類型乘客群體活動的原因和規(guī)律具有明顯差異，注意力機制模塊能夠動態(tài)地分析各種場景的乘客群體活動，挑選影響程度較高的特征，同時能夠更好地捕捉多模態(tài)數據間的潛在關系，這無疑是模型性能提升的主要原因。

4 結束語

針對城市各區(qū)域客流量預測問題，本文將城市區(qū)域的功能屬性作為重要特征，采用分割注意力機制殘差網絡算法，提取城市中任意兩個區(qū)域之間的相互關系；采用包含區(qū)域功能屬性的歷史時空數據，以及節(jié)假日、天氣等外部特征數據進行訓練，能夠更好地捕捉多模態(tài)數據之間的時間依賴、空間依賴、地區(qū)屬性依賴以及外部因素的影響；在真實數據集上與10 種類似算法進行對比，結果充分說明了本模型具有更高的準確性。

在未來的工作中，本文將會基于擴張卷積算法，探究空間上的近距離、遠距離數據依賴對于預測的影響程度，以減輕無效數據對模型性能造成的負面影響。