尹邵龍　趙亞楠

摘 要： 短時交通流狀態(tài)預測對于實現(xiàn)城市智能交通系統(tǒng)至關(guān)重要。在過去，很多神經(jīng)網(wǎng)絡模型被提出來用以預測交通流，但是效果并不是很顯著。究其原因，是因為大多數(shù)都是利用淺層模型在學習，淺層模型由于容易陷入局部極值而且不能模擬更復雜的數(shù)學運算，所以并不適合于模擬現(xiàn)實的交通狀況。深度學習作為機器學習的新興學科，在語音與圖像處理方面取得了顯著的成效，它能夠非監(jiān)督地從數(shù)據(jù)中學習出有效的特征用以預測，故在此利用深度學習進行建模用以城市主干道交通流預測。實驗表明，模型取得了不錯的交通流預測效果。

關(guān)鍵詞： 深度學習； 交通流預測； 神經(jīng)網(wǎng)絡； 機器學習

中圖分類號： TN915.5?34； TP183 文獻標識碼： A 文章編號： 1004?373X（2015）15?0158?05

Practice and research on deep learning applied in urban traffic flow prediction

YIN Shaolong， ZHAO Yanan

（North China Institute of Computer Technology， Beijing 100086， China）

Abstract： Short?term traffic flow state prediction plays an important role in realizing urban intelligent transportation system. Many neural network models have been proposed to predict traffic flow in the past， and the effects are unsatisfied. The reason for this is that most models learning uses shallow model. Since shallow model is liable to sink into local extremum and unable to simulate more complicated arithmetical operation， it is not suitable for simulating actual traffic condition. As a new branch of machine learning， deep learning has made great success in the field of voice and image processing. It can learn valid features for prediction from data sets in an unsupervised way. Deep learning is applied to prediction urban main road traffic flow by modeling. The experimental results show that this method has achieved better traffic flow prediction effect.

Keywords： deep learning； traffic flow prediction； neural network； machine learning

0 引 言

隨著社會的快速發(fā)展和機動車數(shù)量的急劇增加，城市交通日益趨向于擁堵，交通事故與空氣污染也進一步加劇。在我國，北京、上海這樣的大城市在中心市區(qū)的平均車速在高峰時期不足20 km/h，交通擁堵又進一步導致了能耗加劇與環(huán)境污染。研究結(jié)果表明[1]，當車速由40 km/h降低至10 km/h時，能量損耗量會增長1倍，環(huán)境污染量會增加3倍以上。北京市汽車排放的氮氧化物、一氧化碳對環(huán)境分別占到46%和63%。所以，智能交通系統(tǒng)（Intelligent Transportation Systems，ITS）成為解決城市擁堵問題的關(guān)鍵途徑。智能交通系統(tǒng)有效地利用當前先進的硬件和軟件，對交通進行有效的綜合管理。短時交通流狀態(tài)預測（Short?term Traffic State Forecasting）作為智能交通系統(tǒng)的核心技術(shù)，它利用現(xiàn)有數(shù)據(jù)對交通流狀況進行預測，進而幫助出行者進行路徑規(guī)劃，實現(xiàn)交通流誘導，從而緩解了交通擁擠，減少了環(huán)境污染。人們針對交通流預測，提出過不同的預測模型；但是由于城市交通流時間與空間上的復雜性，給預測結(jié)果的準確率帶來了挑戰(zhàn)。

深度學習作為機器學習的新興學科，一經(jīng)提出便受到了廣泛的關(guān)注，像Google、微軟、百度，都在研究與利用深度學習。它被成功地應用到了分類任務、自然語言處理、降維、圖像識別等等方面。深度學習通過利用多層體系架構(gòu)來有效地、非監(jiān)督地提取出底層數(shù)據(jù)的潛在的典型特征，進而提供給高層進行分類與回歸。交通流本身就是一個復雜的過程，深度學習架構(gòu)能夠幫助我們無先驗知識卻能有效地學習與抓住其中內(nèi)在的復雜特征，進而有效地進行交通流預測。

本文提出了一個基于深度學習的交通流預測模型，通過訓練并加以實現(xiàn)。實驗結(jié)果表明，這種方法在交通流預測當中取得了不錯的準確率。

1 背景介紹

1.1 交通流預測

交通流預測一直都被認為是實現(xiàn)城市智能交通系統(tǒng)（ITS）的關(guān)鍵技術(shù)問題。它利用以往歷史數(shù)據(jù)對未來某段時間內(nèi)交通流量進行預測。預測時段一般為5～30 min。

令[Xti]表示第[i]個交通道路在第[t]時間的交通流量，那么給定一個觀察得到的交通流序列，[i=1，2，…，m；][t=1，2，…，T，]那么交通流預測即是根據(jù)這以往的交通流序列對于某條道路[{T+Δt}]時間段進行預測。其中[Δt]可以進行調(diào)節(jié)。

交通流預測模型一般包括兩步，即特征學習與模型學習。特征學習即非監(jiān)督學習，通過訓練可以得到代表以往歷史交通時間序列的一個特征代表模型[h。]經(jīng)過特征訓練后，以往的交通流序列[X]即可通過[h]轉(zhuǎn)化為另外的一個特征空間[Y，]即[h（x）→Y；]模型學習即監(jiān)督式學習，給定一組特征[Y]與目標任務[Z]的配對組[{（Y1，Z1），][（Y2，Z2），…，（Yn， Zn）}]學習預測模型[Zn+1=g（Y），]通過最小化目標損耗函數(shù)[L，]得到預測模型的適合的參數(shù)[W：]

[L（Z；W）=Z-g（Y）2] （1）

盡管預測模型之間互有差別，但是目標損耗函數(shù)大多數(shù)都是一樣的。以往的預測模型可以分為三類[2]：

（1） 基于以往歷史數(shù)據(jù)的時間序列法。自回歸整合滑動平均模型[3]（ARIMA）就是通過找到交通流隨時間變化的模式，從而實現(xiàn)預測。相似的還有子集ARIMA[4]，表達變量ARIMA（ARIMAX）[5]，向量自回歸移動平均（ARMA）和基于時間與空間的ARIMA[6]，還有季節(jié)性的ARIMA（SARIMA）[7]，卡爾曼濾波方法[8]等。

（2） 基于概率圖模型的方法。通過概率圖的方法對交通流進行建模與預測，常見的方法有：貝葉斯網(wǎng)絡[9]，馬爾可夫鏈，馬爾可夫隨機場（MRFs），模糊邏輯[10]等。

（3） 非參數(shù)統(tǒng)計方法。由于這種方法能夠很有效地模擬交通流不確定、復雜性和非線性等特點，所以它比其他方法取得的效果更好。例如神經(jīng)網(wǎng)絡（NNs），支持向量回歸（SVR），局部加權(quán)學習（LWL），k?NN[11]方法，支持向量機（SVR）[12]，隨機微分方程[13]等。

總體說來，隨著智能交通的發(fā)展，很多預測模型都被提出來了。但是，很難說某個具體的方法在所有交通流領(lǐng)域強于另外一個方法。因為這些方法大多數(shù)都是基于某些特定的數(shù)據(jù)進行建模的，并且預測結(jié)果也依賴于采集數(shù)據(jù)的準確性。然而神經(jīng)網(wǎng)絡（NN）由于能夠有效利用歷史數(shù)據(jù)與數(shù)據(jù)之間的關(guān)系，所以能夠獲得更好的健壯性與預測結(jié)果?？墒乾F(xiàn)有的神經(jīng)網(wǎng)絡大多數(shù)都是基于淺層體系架構(gòu)，當建立多層架構(gòu)時，基于梯度下降的方法就不能有效地進行參數(shù)調(diào)節(jié)。深度學習作為一種新興的神經(jīng)網(wǎng)絡，它解決了傳統(tǒng)NN的訓練問題，獲得了比傳統(tǒng)神經(jīng)網(wǎng)絡更好的實驗效果。所以利用深度信念網(wǎng)絡（DBN）可以對交通流模型進行預測與改進。

1.2 深度信念網(wǎng)絡

深度信念網(wǎng)絡（DBN）作為深度學習模型中最常見的一種模型，它是通過一系列的RBM堆積而成。每一層的RBM都只有一個隱藏層，每一層的輸出作為下一層的輸入。Hinton等人提出了一種可以快速的每次逐層訓練DBN的方法[14]，即每次訓練一層。

RBM即限制玻爾茲曼機，它是馬爾可夫隨機場（MRFs）的一個特例。若一個二分圖，每層節(jié)點互相之間沒有連接，一層是可視層（visible），另外一層是隱藏層（hidden），且假設(shè)所有節(jié)點都是隨機的、二值分布的，二層之間通過對稱矩陣進行連接，并且概率分布滿足玻爾茲曼分布，那么這就是RBM?？梢晫訉谳斎耄驗樗鼈兊臓顟B(tài)已經(jīng)被觀察得到；隱藏層對應于特征探測，它們的聯(lián)合組態(tài)能量方程[（v，h）]為：

[E（v，h）=-i∈vnbivi-j∈hnajhj-i，jnvihjwij] （2）

式中：[vi]和[hj]是輸入[i]和特征[j；][bi]和[aj]分別是他們的偏移量；[wij]為它們之間的權(quán)重矩陣。因為隱藏層之間是相互條件獨立的，即：

[P（hv）=jP（hj|v）] （3）

那么當[v]或者[h]給定時，便可以計算出它們的條件概率分布：

[P（hj=1v）=11+exp（-i=1nwijvi-aj）P（vi=1h）=11+exp（-j=1nwijhi-bi）] （4）

那么當給定一組訓練集[{Vcc∈{1，2，…，C}}]時，其目標就是最大化這個模型的對數(shù)似然函數(shù)：

[c=1Clog p（Vc）=c=1Clogge-E（Vc，g）uge-E（U，g）] （5）

一般都是通過梯度下降法求得參數(shù)[wij，][bi]和[aj，]但這里可以用吉布斯采樣法近似求得，即可視層[V]根據(jù)指定的規(guī)則采樣出隱藏層[H，]然后再反過來采樣出可視層[V，]這個過程可以重復很多次。經(jīng)過多次的迭代，模型會忘記它的初始起點，這樣就可以從它們的平衡分布中進行采樣。最終，函數(shù)期望利用對比分歧（CD）方法在有限次內(nèi)便可以得到近似值。把[N+1]次采樣的算法標記為CD?[N。]實踐中，一般用CD?1就可以得到合適的值。那么就可以得到權(quán)值[wij]的更新規(guī)則：

[Δwij=εω（Edatavihj-Emodvihj）] （6）

式中：[εω]為學習速率；[Edata]是根據(jù)初始模型分布當可視層輸入的時候，隱藏層的期望輸出；[Emod]是通過CD算法估計出來的期望輸出。同理，[bi]和[aj]的更新規(guī)則與[wij]相類似。

[Δbi=εb（Edatavi-Emodvi）]

[Δbj=εb（Edatahj-Emodhj）] （7）

1.3 高斯?伯努利GBRBM

在普通的限制玻爾茲曼機（RBM）中，可視層的輸入限制為0或1，這樣對于模擬現(xiàn)實中像交通流這樣的連續(xù)值是很不方便的。于是，可以通過高斯?伯努利GBRBM[15]來模擬真實數(shù)據(jù)。它通過加入高斯噪音的連續(xù)值來模擬真實的數(shù)據(jù)，進而替代了普通RBM的二進制的可視層輸入，其能量函數(shù)改為：

[E（v，h）=i=1V（vi-bvi）22σ2i-j=1Hahjhj-i=1Vj=1Hviσihjwij] （8）

式中：[vi]表示可視層第[i]個真實值；[σ]是高斯函數(shù)的標準方差。通過方程就能讓可視層表達獲得某個特定連續(xù)值的優(yōu)先權(quán)，根據(jù)能量方程[16]，得到它們的條件概率分布為：

[p（vih）=N（bi+σij=1nhjwij，σ2i）p（hjv）=sigm（i=1nviwij+aj）] （9）

它的訓練調(diào)參過程與普通的RBM沒什么區(qū)別，都可以利用CD過程對參數(shù)進行調(diào)節(jié)。

2 體系架構(gòu)

在此，建立了深度架構(gòu)，底層是由GBRBM與RBM組成的DBN的架構(gòu)，用于非監(jiān)督的特征學習；頂層加入了一個回歸層用作預測，當然頂層也可以替換為支持向量機（SVM）。建立的模型如圖1所示。

圖1 單條道路預測的深度體系架構(gòu)

在DBN預訓練以后，頂層再通過有標簽的數(shù)據(jù)進行BP算法去做參數(shù)調(diào)整。這種方法要強于以往傳統(tǒng)神經(jīng)網(wǎng)絡直接用BP算法做梯度下降調(diào)整，直觀的原因為：DBN預訓練后的參數(shù)已經(jīng)接近于訓練好，那么再做BP算法，只需要在已知參數(shù)里面進行一個局部的搜索，無論訓練與收斂速度都快很多。此模型的訓練步驟如下：

（1） 把交通流數(shù)據(jù)進行歸一化到[0，1]之間，那么輸入向量[X]便可以表示為：

[X={xtit∈T，i∈N}]

式中：[Xti]表示為第[i]條道路在第[t]時間的歸一化后的數(shù)據(jù)。初始化訓練次數(shù)、學習速率。

（2） 把向量[X]作為輸入，通過CD過程訓練第一層的GBRBM。

（3） 把GBRBM的輸出作為上層的RBM的輸入，訓練RBM。

（4） 把RBM的輸出作為上層的RBM的輸入，訓練RBM。

（5） 重復執(zhí)行第（4）步直到執(zhí)行完給定的層數(shù)。

（6） 最后一個RBM的輸出作為頂層回歸層的輸入，隨機初始化其參數(shù)。

（7） 通過監(jiān)督式BP方法微調(diào)這個架構(gòu)的參數(shù)。

最后通過訓練得出的模型就可以作為預測模型，當給定一組輸入向量后，便得到對應道路的預測輸出。

3 實驗及結(jié)果分析

3.1 實驗數(shù)據(jù)描述

實驗使用的交通流數(shù)據(jù)來源于英國官方交通流數(shù)據(jù)中心。數(shù)據(jù)集提供了每隔15 min的交通平均路途消耗時間、速度與交通流量，并且數(shù)據(jù)覆蓋了英格蘭地區(qū)的高速公路與A級道路（即城市主干道）。實驗選取了英格蘭的紐卡斯爾市與森德蘭市之間的5條主要城市道路AL1065，AL1596，AL566，AL543，LM69。選取其中2014年9月份的數(shù)據(jù)，共有30天數(shù)據(jù)。其中前29天的數(shù)據(jù)用以訓練模型，后1天的數(shù)據(jù)用以測試。

3.2 性能指標

兩個最常見的性能指標參數(shù)為：絕對平均誤差（MAE）和相對平均誤差（MRE），定義如下：

[MAE=1ni=1nZi-ZiMRE=1ni=1nZi-ZiZi] （10）

式中：[Zi]為實際的交通流數(shù)值；[Zi]為預測值。在這里選擇了MAE與MRE作為衡量標準。

3.3 架構(gòu)實現(xiàn)

在深度體系架構(gòu)中，需要決定其輸入層的大小，隱藏層的層數(shù)，隱藏層每一層的節(jié)點個數(shù)。在此選擇AL1065，AL1596，AL566，AL543，LM69中前兩個時間段的交通流量作為輸入，即共10個輸入，道路LM69作為其預測輸出。其中隱藏層分別為淺層的結(jié)構(gòu){10，10，4}與深層的結(jié)構(gòu){10，12，10，8，6，4}，通過訓練以后對道路LM69第30天做預測的結(jié)果如圖2所示。

圖2 單條道路不同深度預測的結(jié)果

圖2中橫坐標表示的為第[i]個15 min，縱坐標表示交通流量。從圖可以看出深層結(jié)構(gòu)預測的結(jié)果更加接近于真實值。

3.4 結(jié)果對比與分析

實驗程序在Windows 7上開發(fā)完成，硬件條件為 Intel? CoreTM i7?4710MQ，4 GB內(nèi)存，顯卡NVIDIA Geforce 840 MHz。每次運算時間基本在30 min以上，大多數(shù)1 h內(nèi)能完成。

實驗中對DBN的BP過程調(diào)優(yōu)次數(shù)epochs做了調(diào)整測試，結(jié)果發(fā)現(xiàn)大于某個數(shù)量時，DBN預測結(jié)果對于次數(shù)調(diào)整并沒有大的影響。這也印證了DBN在預訓練階段參數(shù)的調(diào)整已經(jīng)近乎較優(yōu)的判斷。

為了衡量深度架構(gòu)的性能，同時也采用傳統(tǒng)的MLP神經(jīng)網(wǎng)絡做了BP算法訓練進行預測，并做了對比；結(jié)果發(fā)現(xiàn)，當訓練層數(shù)增加時，BP算法的預測結(jié)果準確性反而降低了。這也說明傳統(tǒng)的BP算法并不適應于深度架構(gòu)。實驗中MLP采用的是{4，4，5}淺層架構(gòu)。

從圖3可以看出，DBN架構(gòu)相對于傳統(tǒng)的MLP神經(jīng)網(wǎng)絡來說，無論在交通流的最高峰時期還是最低交通流量時，所預測得到的結(jié)果都更加準確。

MLP與DBN的性能指標對比如表1所示。

表1 性能指標對比

[＼&MAE＼&MRE＼&DBN shallow＼&14.83＼&0.281＼&DBN deep＼&14.80＼&0.279＼&MLP ＼&20.93＼&0.752＼&]

圖3 DBN與MLP對比的結(jié)果

從以上數(shù)據(jù)可以看出，深度學習架構(gòu)隨著層次越深相對平均誤差也越少，并且相對于傳統(tǒng)的MLP網(wǎng)絡有大幅度的預測準確性提升。

4 總 結(jié)

本文第一次將深度學習架構(gòu)應用于城市主干道的交通流預測中。相對于城市的高速公路，城市主干道交通具有更大的不確定性與多變性。進而給預測帶來的挑戰(zhàn)也更大。同時，模型也成功地通過深度學習發(fā)現(xiàn)了交通道路之間潛在的特征，如時間、空間上等的非線性關(guān)系。

在此首先建立了深度體系架構(gòu)，通過逐層非監(jiān)督式的預訓練挖掘潛在特征，并利用回歸層實現(xiàn)全局微調(diào)參數(shù)，進一步優(yōu)化了預測結(jié)果。然后，對比了DBN與MLP，實驗表明，DBN所獲得的準確率要大大強于MLP模型。

本文提出的模型仍可以進一步改善，如頂層換為SVM等其他預測模型，模型的應用場景可以推廣到整個城市的交通流預測等。

參考文獻

[1] 邵春福，熊志華，姚智勝.道路網(wǎng)短時交通需求預測理論、方法與應用[M].北京：清華大學出版社，2011.

[2] HUANG Wenhao， SONG Guojie， XIE Kunqing. Deep architecture for traffic flow prediction： deep belief networks with multitask learning [J]. IEEE Transactions on Intelligent Transportation Systems， 2014， 15（5）： 2191?2201.

[3] AHMED S A， COOK A R. Analysis of freeway traffic time?series data by using Box?Jenkins techniques [J]. Transportation Research Record， 1979， 722： 214?221.

[4] LEE S， FAMBRO D B. Application of subset autoregressive integrated moving average model for short?term freeway traffic volume forecasting [J]. Transportation Research Record， 1999，1678： 179?188.

[5] WILLIAMS B M. Multivariate vehicular traffic flow prediction?evaluation of ARIMAX modeling [J]. Transportation Research Record， 2001， 1776： 194?200.

[6] KAMARIANAKIS Y， PRASTACOS P. Forecasting traffic flow conditions in an urban network?comparison of multivariate and univariate approaches [J]. Transportation Research Record， 2003， 1857： 74?84.

[7] WILLIAMS B M， HOEL L A. Modeling and forecasting vehicular traffic flow as a seasonal ARIMA process： Theoretical basis and empirical results [J]. Journal of Transportation Engineering， 2003， 129（6）： 664?672.

[8] YANG F， YIN Z Z， LIU H， et al. Online recursive algorithm for short?term traffic prediction [J]. Transportation Research Record， 2004， 1879： 1?5.

[9] SUN Shiliang， ZHANG Changshui， YU Guoqiang. A Bayesian network approach to traffic flow forecasting [J]. IEEE Transactions on Intelligent Transportation Systems， 2006， 7（1）： 124?132.

[10] ZARGARI S A， SIABIL S Z， ALAVI A H， et al. A computational intelligence?based approach for short?term traffic flow prediction [J]. Expert Systems， 2012， 29（2）： 124?132.

[11] DAVIS G A， NIHAN N L. Nonparametric regression and short?term freeway traffic forecasting [J]. Journal of Transportation Engineering， 1991， 117（2）： 178?188.

[12] JEONG Y S， BYON Y J， MENDONCA C N， EASA S M. Supervised weighting?online learning algorithm for short?term traffic flow prediction [J]. IEEE Transactions on Intelligent Transportation Systems， 2013， 14（4）： 1700?1707.

[13] TAHMASBI R， HASHEMI S M. Modeling and forecasting the urban volume using stochastic differential equations [J]. IEEE Transactions on Intelligent Transportation Systems， 2014， 15（1）： 250?259.

[14] HINTON G E， OSINDERO S， THE Y W. A fast learning algorithm for deep belief nets [J]. Neural Computation， 2006， 18（7）： 1527?1554.

[15] SALAKHUTDINOV R， HINTON G. Using deep belief nets to learn covariance kernels for Gaussian processes [J]. Advances in Neural Information Processing Systems， 2008， 20（1）： 1249?1256.

[16] HINTON G E， SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks [J]. Science， 2006， 313（5786）： 504?507.