張鵬禎，左興權，黃 海

1.北京郵電大學 計算機學院，北京 100876

2.可信分布式計算與服務教育部重點實驗室，北京 100876

公交客流預測根據(jù)過去一段時間的客流量及其相關信息來預測未來一段時間內的客流量，對公交系統(tǒng)的組織和運營具有重要意義[1]。公交短時客流預測一般指預測未來5～15 min 的客流，主要包括兩種模型：線性預測模型和非線性預測模型。線性預測模型包括自回歸移動平均（autoregressive integrated moving average，ARIMA）模型[2]、卡爾曼濾波（Kalman filtering）模型[3]等，這類模型具有實現(xiàn)簡單、預測結果穩(wěn)定的優(yōu)點，但只適用于平穩(wěn)的時間序列預測，無法捕捉客流的時變性和隨機性帶來的復雜非線性關系。非線性模型包括支持向量回歸（support vector regression，SVR）模型[4]、最小二乘支持向量機（least squares support vector machine，LSSVM）模型[5]，以及深度置信網絡[6]（deep belief network，DBN）、棧式自動編碼器[7]（stacked autoencoder，SAE）和長短期記憶網絡[8]（long short-term memory，LSTM）等深度學習模型。

當前公交短時客流預測方法主要利用單條線路的客流進行預測，忽略了多條線路客流之間的相似性對客流預測的提升效果。通過分析公交乘客刷卡數(shù)據(jù)，發(fā)現(xiàn)一些公交線路的客流量波動趨勢存在相似性，組合多條線路更能刻畫客流量的整體分布趨勢，減少由于過度擬合導致的預測精度下降情況。此外，引入其他公交線路的客流也有利于捕捉當前線路的客流量實時波動情況。在公交實際運行過程中，客流量的變化和分布往往受到諸多因素影響，近期的客流對于預測任務具有更高的參考價值，但時間跨度的縮短會導致因數(shù)據(jù)量不足而難以擬合客流趨勢的問題，多條線路同時預測擴大了訓練數(shù)據(jù)的規(guī)模，可以在一定程度上彌補這一問題。鑒于此，引入多任務學習方法來建立公交客流預測模型。

多任務學習（multi-task learning，MTL）同時考慮多個相關任務的學習過程，其目的在于利用任務間的內在關系來提高單個任務學習的泛化性能[9]，進而改善任務的學習效果。對于需要大量標注數(shù)據(jù)的監(jiān)督機器學習方法，多任務學習框架可以幫助目標任務利用其他任務的經驗信息，有效緩解數(shù)據(jù)需求的壓力并防止學習資源的浪費。目前，多任務深度學習已被用于多個領域的時間序列預測問題，已有研究表明[10-12]：多任務學習框架可以隱式地捕捉多個時間序列之間的動態(tài)關系，提高時間序列預測的精度。

近些年，一些研究將多任務學習用于城市交通客流預測問題。Zhong等[13]融合公交、地鐵、出租車等多元客流數(shù)據(jù)，通過正則化方式建立多任務學習模型，預測區(qū)域內的未來客流。Bai等[14]利用多任務框架預測區(qū)域內的出租車乘客人數(shù)，根據(jù)興趣點（point of interest，POI）信息和歷史乘客需求為每個目標區(qū)域選擇相似區(qū)域，并利用卷積神經網絡提取它們的空間相關性。Chidlovskii[15]將城市公交網絡劃分為多個區(qū)域，利用多任務支持向量機算法預測每個區(qū)域的上車乘客數(shù)目。Luo等[16]將多任務學習用于單條公交線路的細粒度客流預測，利用車載客流和上下車客流來構建預測模型。當前還沒有借助多任務學習，利用多條公交線路的客流信息來提升客流預測效果的研究。

多任務學習本質上是一種歸納遷移機制，該方法基于共享表示并行訓練任務，在并行訓練的同時分享不同任務學到的知識，將相關任務訓練數(shù)據(jù)中包含的領域信息作為一種誘導偏差[17]。本文將多任務學習引入到公交客流預測中，提出一種基于多任務學習的公交短期客流預測方法（multi-task learning based method for short term bus passenger flow prediction，MTL-BFP），利用多條相關線路的客流預測任務來約束深度學習模型的潛在共享參數(shù)。首先，利用灰色關聯(lián)分析法[18]（grey relation analysis，GRA）和皮爾遜相關系數(shù)[19]（Pearson correlation coefficient，PCC）獲取不同公交線路客流量之間的相關關系；然后，將與當前線路相關度高的若干線路的客流預測任務作為輔助任務，建立了一個硬參數(shù)共享的多任務循環(huán)神經網絡預測模型，模型利用門控循環(huán)單元（gate recurrent unit，GRU）神經網絡來捕捉客流的時序特征。將該模型用于真實公交線路的短時客流預測，實驗結果表明，該模型在預測精度方面優(yōu)于傳統(tǒng)時間序列預測模型以及僅考慮單條線路客流的神經網絡預測模型。

1 多任務客流預測問題

本文利用當前公交線路及其相關線路的歷史客流量數(shù)據(jù)和時間特征信息，預測當前線路未來一個時間步長的上車客流量，即在該時間步長內的上車總人數(shù)。

本文將公交路網描述為一個有權無向圖G=(V,E,W)。集合V中每個節(jié)點代表一條公交線路，|V|=N為公交線路的數(shù)量；邊集合E表示線路之間的相關關系；W=RN×N為相關度系數(shù)矩陣，其中元素分別表示線路Li和Lj間的皮爾遜相關系數(shù)和灰色關聯(lián)度系數(shù)，i=1,2,…,N,j=1,2,…,N。對于目標預測線路（即要預測客流的線路）Lk,用前s步的特征信息X={xt-s,xt-s+1,…,xt-1}來預測下一步的客流Yt。

公交線網由多條公交線路組成，公交線路的客流一般具有高峰、平峰、低峰時間段，不同公交線路的客流分布呈現(xiàn)一定的相似性。特別是經過共同區(qū)域或者存在換乘關系的一些公交線路，它們的客流存在時空相關性。

多任務學習框架可以同時訓練多個客流分布具有相關性或相近性的客流預測任務，并在底層共享參數(shù)，幫助模型聚焦到多個任務共同反應的特征，提高預測精度，因此本文利用多任務學習模型來預測當前線路的客流。

2 多任務學習預測方法

多任務深度學習主要分為兩種，硬參數(shù)共享和軟參數(shù)共享?；谟矃?shù)共享的多任務學習方法在神經網絡的底層共享參數(shù)，學習公共特征子空間；在高層為特定任務建立特定網絡模型，各個模型之間相互獨立，用于保留更多的任務個性特征。在共享層中，所有任務的參數(shù)是完全相同的，以此有效防止過擬合問題，提高模型泛化能力。在軟參數(shù)共享模式中，每個任務都有各自的參數(shù)和模型，參數(shù)之間通過正則化距離約束在一起，任務之間的參數(shù)相似但不同。

對于公交線路的短時客流預測任務，本文利用多任務學習方式約束深度學習模型中的底層參數(shù)，通過共享層中的共享表示引導模型學習多條線路的客流量波動趨勢，提高模型參數(shù)的通用性，降低模型對數(shù)據(jù)波動的敏感性，進而改善模型的預測效果。

MTL-BFP的流程如圖1所示。首先利用2.2節(jié)中的方法計算所有線路之間的相關系數(shù)；然后，利用2.3節(jié)中的方法篩選目標預測線路的相關線路；接著，按2.1節(jié)中的方法構造目標預測線路及相關線路的特征矩陣，作為多任務深度學習模型的輸入。多任務學習模型經過訓練后，用于客流預測。

圖1 MTL-BFP的流程圖Fig.1 Flow chart of MTL-BFP

2.1 多任務深度學習模型

本文使用硬參數(shù)共享模式建立多任務深度學習模型，如圖2所示。模型中的每個任務都代表一條公交線路的短時客流預測任務，所涉及線路包括目標預測線路及其相關線路。假設有n+1 個任務，則第0個任務為目標線路的預測任務，第1到n個任務為相關線路的預測任務。每個任務都有一個私有模塊（全連接層），用于擬合單條公交線路的客流特征。此外，模型還包括一個共享模塊用于共享網絡參數(shù)，該模塊由兩個GRU 模塊和一個全連接模塊組成，用于學習公交線路客流分布的時序特征。模型輸出為各任務對應的n+1 個線路的客流預測值。

圖2 多任務深度學習模型Fig.2 Multi-task deep learning model

模型的輸入為n+1 條線路前s步的特征信息，包括每步的時間信息、目標預測線路的客流量l0以及相關線路的客流量li,i=1,2,…,n，見圖3。時間信息包括工作日信息（周一到周五）和時間片序號（以ts分鐘為一個時間片，每天的時間片從0開始編號）。構建輸入特征時，將時間信息轉換為獨熱編碼，所有線路的客流量歸一化到[0，1]區(qū)間。

圖3 模型的輸入特征Fig.3 Input features of model

2.2 線路相關性度量

本文通過PCC和GRA對不同公交線路客流在時間上的分布進行相關性度量，進而獲取目標預測線路的相關線路。

PCC常用來度量兩個隨機變量之間的線性相關性，取值范圍為[-1,1]。相關系數(shù)大于零表示正相關，小于零表示負相關；絕對值越接近于1，相關性越強，越接近于0，相關性越弱。一般認為大于0.6時為強相關。具體的計算公式如下：

本文進一步用GRA來分析客流分布的相關性。GRA適用于解決多因素、多變量之間復雜關系的問題[20]，可用于探究變量之間的非線性相關性，其根據(jù)參考序列和若干個比較序列的曲線幾何形狀相似程度來判斷關聯(lián)性。GRA的取值范圍為[0，1]，值越大表示關聯(lián)性越強。具體計算步驟如下：

（1）設定參考序列δ0。將目標預測線路的客流量時間序列設定為母序列，記為：

（2）設定比較序列δ′：

其中，m表示參與計算的公交線路總數(shù)。

（3）利用均值法對參考序列和比較序列進行歸一化處理：

其中，k=0,1,…,m；i=1,2,…,P。

（4）計算每個比較序列與參考序列對應元素的關聯(lián)度系數(shù)。

其中，k=1,2,…,m；i=1,2,…,P；ρ為分辨系數(shù)，0<ρ<1,ρ越小，關聯(lián)系數(shù)間差異越大，區(qū)分能力越強。本文ρ取值0.5。

（5）計算關聯(lián)度。分別計算參考序列與比較序列各個對應時間步長上的關聯(lián)系數(shù)，并求其均值，作為參考序列與比較序列關聯(lián)度的量化表示：

其中，k=1,2,…,m。

2.3 選取相關線路

多任務學習利用正則化和遷移學習改進所有任務的預測效果，然而在實踐中，多任務學習模型并不總是在所有任務上都優(yōu)于相應的單任務模型。尤其是當模型參數(shù)在所有任務之間廣泛共享時，任務差異帶來的固有沖突可能會損害部分任務的預測精度[21]。當任務之間相差甚遠時，底層共享網絡將失去意義。

為保證輸入到模型中的各任務具有較高相關性，本文設計了一個結合GRA 和PCC 的方法（GRA-PCC）用于選取相關線路。該方法考慮相關線路與目標預測線路間相關性的同時，也考慮了相關線路之間的相關性，具體步驟如下：

（1）設V為所有公交線路的集合；N為公交線路的總數(shù)。

（2）計算線路之間的相關度系數(shù)矩陣W，其中Wi,j=，包含線路i和線路j之間的皮爾遜相關系數(shù)和灰色關聯(lián)度系數(shù)。

（3）對于目標預測線路Lk，設Vk為Lk及其已被選擇的相關線路的集合；Nk為Vk中線路數(shù)量；令Vk={Lk}。

（4）計算剩余候選線路集合V′=V-Vk。

（5）計算V′中每條線路的相關度系數(shù)，構成集合，其中表示集合V′中的第j條線路與集合Vk中所有線路的平均灰色關聯(lián)度系數(shù)。

（6）根據(jù)w′，從V′選取平均灰色關聯(lián)度系數(shù)最大且與Vk中的任一線路的皮爾遜相關系數(shù)均大于0.6 的線路；若存在這樣的線路，則將其添加到Vk中，否則算法結束。

（7）若V′≠?或Nk≠n，返回步驟（4）；否則，算法結束。

算法計算每條候選線路與所有已經被選擇的相關線路的灰色關聯(lián)系數(shù)，用其平均值代表候選線路與Vk中所有線路的總體關聯(lián)程度，通過皮爾遜相關系數(shù)進一步確定每兩條線路之間的相關程度，進而保證模型輸入任務的相關性。最終得到的集合Vk中的線路作為目標預測線路Lk的相關線路（包含目標線路Lk），輸入到GRU模型。

2.4 GRU模型

GRU 是由Cho等[22]于2014年提出的一種循環(huán)神經網絡，一定程度上解決了傳統(tǒng)RNN 中存在的梯度消失問題和長期依賴問題，其與LSTM 類似，但進一步簡化了神經元的結構，將LSTM中的遺忘門和輸入門合并成為一個更新門，因而參數(shù)更少，更容易計算和收斂，卻能達到和LSTM相近的效果。與LSTM相比，GRU網絡的訓練用時往往更少，效果也更穩(wěn)定[23]，更適用于短時公交客流預測問題對實時性和穩(wěn)定性的需求。

GRU 在序列學習任務中表現(xiàn)良好，克服了傳統(tǒng)循環(huán)神經網絡在學習長期依賴項時梯度消失和梯度爆炸的問題，已經被用于股票序列預測[24]、金融序列預測[25]、電池健康狀態(tài)預測[26]等多個領域的預測問題。本文使用雙層GRU 神經網絡來捕捉公交線路客流量的時序特征。

GRU神經元的門控機制如圖4所示。典型的GRU神經元只有更新門z和重置門r兩個門控單元，這兩個門控單元都用來處理xt和ht-1，其中xt表示當前時間步上公交線路客流數(shù)據(jù)的特征信息，ht-1為隱藏層h在時間步(t-1)的輸出（隱藏狀態(tài)），充當神經網絡的記憶體，用來傳遞先前的客流狀態(tài)信息；更新門決定了上一個時間步長的狀態(tài)信息被接受的程度，其值越大說明前一個時間步長的狀態(tài)信息越重要；重置門用于控制先前的隱藏狀態(tài)與新的輸入信息的結合情況，它的輸出為傳遞到下一個時間步長的隱藏狀態(tài)，其值越小說明先前的隱藏狀態(tài)被忽略的越多。GRU網絡中隱藏層的存儲單元在每個時間步上的更新過程如下：

圖4 GRU神經元結構Fig.4 GRU structure

其中，rt、zt、ht分別表示重置門r、更新門z、隱藏層h在第t個時間步長的輸出；表示隱藏層h在第t個時間步長上的記憶體；Wr、Wz、分別表示重置門r、更新門z、隱藏層h在第t個時間步長的權重。

2.5 損失函數(shù)

多任務學習模型并行訓練多條線路的客流預測任務，使用參數(shù)優(yōu)化器（如Adam、SGD）自動學習優(yōu)化過程中特征的交互作用，損失函數(shù)如下：

其中，Xk是預測線路Lk的客流時輸入的特征矩陣，如圖3所示。Yi是第i個任務對應的真實客流，θi是第i個任務的學習參數(shù)，第0個任務為線路Lk的預測任務，n是相關線路數(shù)目。本文模型的優(yōu)化目標是最小化所有任務的損失和，其中損失函數(shù)為客流量預測值與真實值之間的平均絕對誤差（mean absolute error，MAE）。

3 實驗結果

3.1 實驗數(shù)據(jù)

實驗數(shù)據(jù)來自于北京市25條公交線路一個月的真實乘客上車刷卡數(shù)據(jù)，經過數(shù)據(jù)異常值及重復數(shù)據(jù)清洗后，總數(shù)據(jù)量約682萬條，單條線路的數(shù)據(jù)量在5萬至73萬之間。按照時間維度對數(shù)據(jù)集進行劃分，前80%數(shù)據(jù)為訓練集，后20%數(shù)據(jù)為測試集。

將線路1、9、653、57、983 作為目標預測線路。圖5（a）為這5 條線路一天內的客流分布情況（以15 min 為統(tǒng)計單位），其客流量均在8：00 左右和18：00 左右出現(xiàn)高峰，在10：00—15：59 左右趨于平穩(wěn)。圖5（b）為這些線路的全天總客流量在不同日期的分布情況。為了減少數(shù)據(jù)波動對模型預測效果的影響，根據(jù)客流數(shù)據(jù)分布特點，本文將數(shù)據(jù)集劃分為早高峰前后（6：00—9：59）、平穩(wěn)時段（10：00—15：59）和晚高峰前后（16：00—21：59）三個時間段，分別構建輸入序列樣本。

圖5 線路的客流分布情況Fig.5 Passenger flow distribution of bus lines

3.2 比較算法與評估指標

將提出的MTL-BFP方法與下列算法對比。這些比較算法采用單步預測方式：

（1）歷史平均（history average，HA）：利用過去一段時間內的客流量平均值作為未來客流量的預測結果。

（2）ARIMA[2]：一種統(tǒng)計學習方法，考慮差分、自回歸和移動平均分量來分離信號和噪聲，廣泛應用于各種時間序列任務。

（3）SVR[4]：支持向量機的一個重要分支，通過優(yōu)化樣本點到超平面的距離得到最小訓練模型，用來回歸問題。

（4）循環(huán)神經網絡[27]（recurrent neural network，RNN）：一類用于處理序列數(shù)據(jù)的神經網絡，在序列的演進方向進行遞歸且所有節(jié)點按鏈式連接，基于多時間步歷史數(shù)據(jù)進行預測。

（5）GRU模型[22]：一種循環(huán)神經網絡，適用于序列學習，可以在一定程度上解決梯度爆炸問題。

（6）MTL-RNN 模型：多任務版本的循環(huán)神經網絡模型MTL-RNN，與MTL-BFP模型的差別在于使用RNN替換模型中的GRU網絡，用來評估GRU網絡在多任務框架下對客流特征的捕捉性能。

使用平均絕對誤差MAE、平均絕對百分比誤差（mean absolute percent error，MAPE）和均方根誤差（root mean square error，RMSE）來評估客流預測結果。誤差值越小，模型預測效果越好。

其中，q為預測客流的時間片個數(shù)，yi為真實的客流值，為預測的客流值。

3.3 實驗參數(shù)設置

實驗中，所有模型的時間步長ts均為15 min，神經網絡模型輸入序列長度s設為15。GRU模型和MTL-BFP模型中的兩層GRU 結點數(shù)從下到上分別設為128 和64，激活函數(shù)為ReLU；底層Dense 的結點數(shù)設為64，各個任務獨立的Dense結點數(shù)為16，激活函數(shù)均為Linear。對比模型RNN、MTL-RNN中的RNN結點數(shù)和MTL-BFP模型中的GRU結點數(shù)相同，Dense層結構保持一致。利用tensorflow2 的keras 模塊搭建神經網絡模型，使用初始學習率為0.001的Adam優(yōu)化器優(yōu)化模型。實驗的批次大小取64，迭代次數(shù)設為80。模型HA、ARIMA、SVR的參數(shù)設置如表1所示。

表1 HA、ARIMA、SVR的參數(shù)設置Table 1 Parameter setting of HA，ARIMA and SVR

當參與訓練的相關線路數(shù)目n值較小時，線路之間的相關性高，但模型泛化能力較差，不同時段客流預測結果差異明顯；當n值較大時，則難以保證足夠的相關線路數(shù)目以及線路之間的相關性。通過少量實驗，將n設為4。

3.4 實驗結果及分析

用GRA-PCC 方法篩選目標預測線路的相關線路，被選中的相關線路與其對應目標線路的相關性度量值如表2 所示。其中，灰色關聯(lián)度系數(shù)均在0.79 以上，皮爾遜相關系數(shù)均在0.67以上，表明目標線路與相關線路為強相關，其客流分布呈現(xiàn)一定的相似性，符合多任務學習模型對任務相關性的要求。

表2 目標預測線路的相關線路及其相似性度量值Table 2 Related lines of target prediction lines and their similarity measures

為了證明GRA-PCC 方法的有效性，隨機選取4 條線路與GRA-PCC方法選取的4條線路進行客流量預測實驗對比，結果如表3 所示。與隨機選取方法相比，采用GRA-PCC方法的預測效果在MAPE上降低了3.1%～5.9%，在MAE和RMSE上也表現(xiàn)更好。

表3 GRA-PCC和隨機選擇線路方法的預測結果對比Table 3 Comparison of prediction results of GRA-PCC and approach of selecting lines randomly

表4比較了各算法應用于5條線路的預測結果。從表4可看出，深度學習模型（RNN、MTL-RNN、GRU、MTLBFP）的預測效果明顯優(yōu)于其他算法（HA、ARIMA、SVR）。對于神經網絡模型，相比RNN、MTL-RNN 的MAPE 降低了5.2%～9.1%；相比GRU、MTL-BFP的MAPE降低了3.2%～8.4%，這說明多任務學習可有效地降低預測誤差。相比于MTL-RNN，MTL-BFP模型在線路9、653、57、983 上的預測效果在各個指標上表現(xiàn)更好，MAPE 降低了1.5%～6.2%。對于線路1，MTL-BFP 相比MTL-RNN在MAPE 指標上表現(xiàn)略差，但在其MAE 和RMSE 指標更優(yōu)，這說明GRU網絡可以更好地捕捉客流的變化特征。

表4 MTL-BFP與其他方法的預測結果對比Table 4 Comparison of prediction results of MTL-BFP and other approaches

4 結論

針對公交線路的短時客流預測問題，本文利用多任務學習框架引入相關線路的短時客流預測任務，建立了一個多任務循環(huán)神經網絡模型。該模型利用GRU網絡捕捉客流的時序特征，在底層網絡中共享參數(shù)以提高泛化能力，并利用每個任務的私有模塊保留個性特征。本文設計了一個基于灰色關聯(lián)法和皮爾遜相關系數(shù)的相關線路篩選方法，用以保證多條線路客流預測任務之間的相關性，進而提升多任務模型預測效果。

將本文方法用于真實公交線路的客流預測，實驗證明：本文設計的相關線路篩選方法是有效性的，建立的多任務模型可有效提升公交線路短時客流預測的準確性。

未來的研究方向包括：進一步研究多任務學習模型的構建方法，并引入更多客流特征和時空特征，從而進一步提高客流預測的準確性。