周海川 寧丹
摘 要:針對短時交通流預測,本文介紹了一種基于極限學習的神經網絡預測模型,把極限學習理論應用于最簡單的單隱含層前饋神經網絡中,以實現(xiàn)提高訓練效率的目的。通過具體的實例分析,與其他常用的BP神經網絡、徑向基神經網絡、廣義神經網絡和Elman神經網絡進行比較,結果表明基于極限學習神經網絡的預測精度與常規(guī)神經網絡的預測精度相當,并且其模型的訓練耗時遠遠低于常規(guī)的神經網絡模型,這對短時交通流預測在實際中的應用,具有重要實踐意義。
關鍵詞:短時交通流;神經網絡;極限學習
中圖分類號:U491 文獻標識碼:A
0 引言
短時交通流預測是智能交通系統(tǒng)(Intelligent Transportation
System, ITS)[1]中的一個關鍵技術,通過分析當前交通流的變化規(guī)律,提前感知交通系統(tǒng)狀態(tài)的變化情況,為主動式交通管理和控制提供支撐。為此,準確、快速和可靠是實施短時交通流預測的基本要求。
短時交通流預測的研究至今已有近60年的研究歷程,國內外專家學者已經提出了眾多的預測模型和方法。傳統(tǒng)的預測方法如歷史平均[2]和指數(shù)平滑[3],基于參數(shù)的預測方法如隨機時間序列[4]、卡爾曼濾波[5];基于非參數(shù)的預測方法如神經網絡[6]、支持向量機[7]、非參數(shù)回歸[8]、小波理論[9]等;基于組合預測的方法如多個神經網絡預測結果的組合[10]、神經網絡與卡爾曼濾波的組合[11]。這些預測方法基本上都是數(shù)據(jù)驅動,利用歷史的交通流數(shù)據(jù)進行預測模型標定或訓練,以獲得高精度的預測結果。對于基于非參數(shù)的預測方法來說,特別是廣泛應用的神經網絡,主要存在三個方面的問題,訓練速度慢、容易陷入局部極小點和學習效率選擇的敏感性。
為此,本文研究一個針對單隱含層前饋網絡的算法,即極限學習。該算法隨機產生輸入層與隱含層的連接權值及隱含層神經元的閾值,且在訓練過程中無需調整,只需要設置隱含層神經元個數(shù),就可以獲得唯一的最優(yōu)解。與傳統(tǒng)的訓練方法相比,具有學習速度快、泛化性能好等優(yōu)點。
1 基于極限學習的前饋神經網絡
1.1 單隱含層前饋神經網絡
典型的單隱含層前饋神經網絡結構如圖1所示,由輸入層、隱含層和輸出層組成,輸入層與隱含層、隱含層與輸出層神經元間全連接。其中,輸入層有n個神經元,對應n個輸入變量,隱含層有l(wèi)個神經元,輸出層有m個神經元,對應m個輸出變量。
在短時交通流預測建模過程中,利用已有的交通流數(shù)據(jù)進行模型訓練,假設有N個訓練數(shù)據(jù)樣本(Xi, Yi),Xi=[xi1, xi2, …, xin]T,Yi=[yi1, yi2, …, yim]T,i=1,2,…,N,其中Xi為神經網絡的輸入數(shù)據(jù)樣本,Yi為神經網絡的輸出數(shù)據(jù)樣本,有l(wèi)個隱含層節(jié)點和激勵函數(shù)g(x),則圖1所示的神經網絡數(shù)學模型可以表示為:
(1)
式中,wi=[wi1, wi2,…, wil,]T表示第i個隱含層節(jié)點和輸入層節(jié)點之間的權向量,βi=[βi1, βi2,…, βim,]T表示第i個隱含層節(jié)點和輸出層節(jié)點之間的權向量,bi表示第i個隱含層節(jié)點的閾值,wi·xi表示權向量wi和樣本xi的內積。上式(1)可以用矩陣進行表示:
(2)
式中,H為神經網絡的隱含層輸出矩陣,β為權重輸出,Y為輸出向量。其中,H可以表示為:
(3)
1.2 基于極限學習的神經網絡權值求解
根據(jù)文獻[12][13][14],如果激勵函數(shù)g(x)是在任意區(qū)間是無限可微的,那么當隱含層神經元個數(shù)與訓練數(shù)據(jù)樣本數(shù)量相同時,即N=l,隱含層輸出矩陣H可逆,且滿足||Hβ-Y’||=0。
當訓練樣本的數(shù)量較大時,為了減少計算量,隱含層神經元個數(shù)通常取較小的值,即l<N。由文獻[12]可知,單隱含層前饋神經網絡的訓練誤差可以逼近一個任意的||Hβ-Y’||<ε。因此,當激勵函數(shù)g(x)無限可微時,單隱含層前饋神經網絡的參數(shù)并不需要全部進行調整,輸入層與隱含層之間的權值wi和隱含層閾值bi在訓練前可以隨機選擇,且在訓練過程中保持不變。而隱含層與輸出層之間的連接權值βi可以通過求解下面的方程組的最小二乘得到:
(4)
上式的解為:
(5)
式中,H+表示隱含層輸出矩陣H的Moore-Penrose廣義逆。公式(4)和(5)的證明過程,可以參考文獻[14]。
1.3 評價指標
為了定量評價單隱含層前饋神經網絡的預測性能,采用計算耗時與預測精度兩類指標,前者指預測模型的計算所用時間,后者是則均方差誤差百分比MAPE和均方根誤差(RMSE)。預測精度評價指標如下所示:
(6)
(7)
式(6)和(7)中,yt表示在t時刻實際的交通流值,表示在t時刻預測的交通流值。
2 實例分析
2.1 數(shù)據(jù)
本文使用的交通數(shù)據(jù),來自于美國波特蘭高速公路I-205,通過線圈檢測器采集得到,數(shù)據(jù)的采集時間為2011年9月15日至2011年11月14日共61天,采集時段是全天24小時。線圈采集到的原始交通數(shù)據(jù)經過預處理之后,被匯集為時間間隔為5分鐘的流量數(shù)據(jù),并且對缺失的流量數(shù)據(jù)進行簡單插值,以保證交通流數(shù)據(jù)的完整。本研究所使用的實驗數(shù)據(jù)信息,如表1所示。
為分析預測模型的計算效率和計算精度,把表1中的實驗數(shù)據(jù),劃分為四個部分,包括三個訓練數(shù)據(jù)集和一個測試數(shù)據(jù)集,訓練數(shù)據(jù)集的天數(shù)分別為7天、21天和54天,測試數(shù)據(jù)集的天數(shù)為7天,實驗數(shù)據(jù)的劃分使用情況如表2所示。
2.2 預測建模
本文實例分析應用Matlab2015b,計算機主要配置參數(shù)為16.0G內存、Intel Core i5-9600 3.00GHz處理器。為分析基于極限學習的單隱含層前饋神經網絡的預測性能,依次構建BP神經網絡、徑向基神經網絡、廣義回歸神經網絡和Elman神經網絡進行對比。有關BP神經網絡、徑向基神經網絡、廣義回歸神經網絡和Elman神經網絡的相關內容,可以依次參考文獻[15][16][17][18]。構建的預測模型如表3所示,這五個神經網絡預測模型的輸入層由6個神經元構成,輸出層由1個神經元構成,并且都只有1個隱含層,隱含層神經元數(shù)量為20。BP神經網絡、徑向基神經網絡、廣義回歸神經網絡和Elman神經網絡的訓練算法都采用梯度下降的方法。
2.3 結果分析
基于不同訓練數(shù)據(jù)集的預測精度,分別如圖2和圖3所示。圖2展示了BP神經網絡、Elman神經網絡、廣義回歸神經網絡、徑向基神經網絡和單隱含層前饋神經網絡的預測性能指標MAPE,均在12%左右,沒有明顯的差異。相似的,圖3展示了預測精度指標RMSE,這五個神經網絡的預測精度也沒有明顯的差異,約為120輛/小時??偟膩碚f,從預測精度來看,單隱含層前饋神經網絡的預測性能,與其他常用的神經網絡模型沒有明顯的差異,具備相同的預測能力。
在預測精度分析的基礎之上,記錄每一個神經網絡模型的訓練時長,以反映計算效率,具體結果如表4所示。可以看出,單隱含層前饋神經網絡的訓練耗時最短,三個不同訓練數(shù)據(jù)集的訓練耗時分別為0.003、0.005和0.012秒,遠遠少于其他四個神經網絡的訓練耗時。
3 結論
作為應用最廣泛的交通流預測模型之一,神經網絡具有較高的預測精度,和良好的適應性能。然而,隨著交通流大數(shù)據(jù)的增長,僅僅考慮神經網絡的預測精度已不能滿足實際應用的需求,還必須考慮其計算效率,尤其是神經網絡的訓練耗時。本文主要介紹了基于極限學習的單隱含層前饋神經網絡,把極限學習方法應用于最簡單的三層神經網絡中,其在交通流預測中精度,與常用的BP神經網絡、徑向基神經網絡、廣義神經網絡和Elman神經網絡相當,并且其計算效率遠遠高于其他神經網絡。這對短時交通流預測的實際應用,具有重要的實踐意義。
參考文獻:
[1]趙娜,袁家斌,徐晗.智能交通系統(tǒng)綜述[J].計算機科學,2014,41(11):7-11+45.
[2]Smith B L,Demetsky M J.Traffic flow forecasting:Comparison of modeling approaches[J].Journal of Transportation Engineering,1997,123(04):261-266.
[3]齊馳,侯忠生.自適應單指數(shù)平滑法在短期交通流預測中的應用[J].控制理論與應用,2012,29(04):465-469.
[4].Williams B M,Hoel L A.Modeling and forecasting vehicular traffic flow as a seasonal ARIMA process:theoretical basis and empirical results[J].ASCE Journal of Transportation Engineering,2003,129(06):664-672.
[5]徐天東,孫立軍,郝媛.城市快速路實時交通狀態(tài)估計和行程時間預測[J].同濟大學學報(自然科學版),2008(10):1355-1361.
[6]Chan K Y,Dillon T S,Singh J,et al.Neural-network-based models for short-term traffic flow forecastingusing a hybrid exponential smoothing and levenberg-marquardt algorithm[J].IEEE Transactions on IntelligentTransportation Systems,2012,13(02):644-654.
[7]Castro-Neto M,Jeong Y S,Jeong M K.Online-SVR for short-term traffic flow prediction under typical and atypical traffic conditions[J].Expert Systems with Applications,2009,36(03):6164-6173.
[8]張濤,陳先,謝美萍,等.基于K近鄰非參數(shù)回歸的短時交通流預測方法[J].系統(tǒng)工程理論與實踐,2010,30(02):376-384.
[9]高勇,陳鋒.基于小波分析的短時交通流非參數(shù)回歸預測[J].中國科學技術大學學報,2008,38(12):1427-1431.
[10]Zheng W,Lee D H,Shi Q.Short-term freeway traffic flow prediction:Bayesian combined neural network approach[J].Journal of Transportation Engineering,2006,132(02):114-121.
[11]Stathopoulos A,Dimitriou L,Tsekeris T.Fuzzy modeling approach for combined forecasting of urban traffic flow[J].Computer-aided Civil and Infrastructure Engineering,2008(23):521-535.
[12]Huang G B,Zhu Q,Siew C H,Extreme learning machine:Theory and applications[J].Neurocomputing,2006,70(1-3):489-501.
[13]Feng G,Huang G B,Lin Q,Robert G,Error Minimized Extreme Learning Machine With Growth of Hidden Nodes and Incremental Learning[J].IEEE Transactions on Neural Networks,2009,20(08):1352-1354+7.
[14]Huang G B,Chen L,Siew C K,Universal approximation using incremental constructive feedforward networks with random hidden nodes[J].IEEE Transactions on Neural Networks,2006,17(04):879-892.
[15]陳雪平,曾盛,胡剛.基于BP神經網絡的短時交通流預測[J].公路交通技術,2008(03):115-117.
[16]劉秀清,王曉原,宇仁德.道路交通事故徑向基神經網絡預測模型研究[J].計算機工程與應用,2009,45(17):188-190.
[17]王莉靜,郭潔,李建軍.基于廣義回歸神經網絡的交通流預測模型[J].天津城市建設學院學報,2007(01):25-28.
[18]董春嬌,邵春福,熊志華,等.基于Elman神經網絡的道路網短時交通流預測方法[J].交通運輸系統(tǒng)工程與信息,2010,10(01):145-151.