宋永朝,王 翠

(重慶交通大學 交通運輸學院,重慶 400074)

0 引 言

隨著智能檢測設備的普及,城市道路存在大量固定檢測器,由于環(huán)境異常、突發(fā)事件、設備故障、通信網(wǎng)絡故障等原因,其采集的動態(tài)交通狀態(tài)參數(shù)存在丟失、冗余、異常、噪聲污染及漂移現(xiàn)象[1],直接使用原始數(shù)據(jù)計算會降低數(shù)據(jù)質(zhì)量,影響交通流預測及狀態(tài)判別精度。因此,進行有效的交通故障數(shù)據(jù)識別、異常數(shù)據(jù)修復,可以得到可靠的動態(tài)交通參數(shù),為解決城市交通問題提供支持。

在交通故障數(shù)據(jù)識別方面,YIN Chunyong等[2]提出了基于邊緣計算感知數(shù)據(jù)流的異常檢測算法, 利用區(qū)間差對異常數(shù)據(jù)識別;陸百川等[3]考慮交通流數(shù)據(jù)時空特性結合馬氏距離,構建了故障數(shù)據(jù)識別模型;陸化普等[4]根據(jù)S-G濾波法和數(shù)據(jù)驅(qū)動方法,提出一套城市道路交通流檢測數(shù)據(jù)故障識別算法。在故障數(shù)據(jù)修復方面,苗旭等[5]考慮檢測器采集數(shù)據(jù)的周期性與時間變化特性,提出了基于時空相關性的異常數(shù)據(jù)修復方法;YE Miao等[6]提出了一種基于再生碼和混合遺傳算法的故障數(shù)據(jù)修復方法,減少了數(shù)據(jù)傳輸量,提高了修復效率;王薇等[7]考慮交通流數(shù)據(jù)的時空相關性,提出了基于3D形函數(shù)的時空插值修復方法,有效修復了高速路網(wǎng)交通流故障數(shù)據(jù)。目前,對各類檢測傳感器數(shù)據(jù)中所存在的故障數(shù)據(jù)識別、異常數(shù)據(jù)修復問題,研究主要考慮如何準確修復時間序列數(shù)據(jù)、如何挖掘利用數(shù)據(jù)的時空相關特性、如何提高模型算法的性能以及精度等。針對海量的城市動態(tài)交通參數(shù),為滿足城市管理系統(tǒng)的數(shù)據(jù)要求,需要交通故障數(shù)據(jù)識別與修復需模型算法效率更快、精度更高。

筆者以動態(tài)交通參數(shù)中常見的基本參數(shù)為例(如流量、速度)。首先采用閾值結合交通流機理進行淺層次異常數(shù)據(jù)識別,并利用時序數(shù)據(jù)間的相關聯(lián)性,結合離群距離篩選出相對離群距離較大的異常數(shù)據(jù),進行深層次異常數(shù)據(jù)識別;其次,提出改進DE-LSTM數(shù)據(jù)修復模型,通過改進DE算法優(yōu)化LSTM中隱含層和學習率,提高數(shù)據(jù)修復精度和降低模型時間成本;最后,采用實際道路固定檢測器采集數(shù)據(jù)進行案例分析,檢驗模型實際效果。

1 故障數(shù)據(jù)識別

1.1 閾值結合交通流機理識別

根據(jù)交通流合理取值范圍,設置閾值區(qū)間,若交通流數(shù)據(jù)不在此區(qū)間范圍內(nèi),則判定該條交通流數(shù)據(jù)為故障數(shù)據(jù)[8]。固定檢測器采集的動態(tài)交通基礎參數(shù)中,交通流3參數(shù)流量q、速度v、占有率o的閾值取值范圍如式(1):

(1)

式中:fc、fv分別為流量、速度修正系數(shù),取值范圍為[1.3,1.5][9];C為路段通行能力,pcu/h;T為檢測器數(shù)據(jù)采集時間間隔,min;vh為道路限速,km/h。

當交通流參數(shù)值不為0時,閾值法可初步識別交通故障數(shù)據(jù);交通參數(shù)值為0時,無法判斷該采集數(shù)據(jù)是無車輛通過檢測器還是檢測器受到干擾,此時需要結合交通流機理進行規(guī)則識別,如表1。

表1 交通流機理識別規(guī)則

由表1可得到:①無車輛通行時:q=0、v=0、o=0;②車輛正常通行時:q>0、v>0、o>0;③車輛處于擁堵占據(jù)檢測器時:q=0、v=0、o=(95,100]。當交通流3參數(shù)屬于以上3種情況,即為正常數(shù)據(jù),反之為異常數(shù)據(jù)。

運用閾值結合交通流機理法初步識別出明顯不合理數(shù)據(jù)或不符合交通基本理論的數(shù)據(jù),對明顯不合理數(shù)據(jù)或缺失數(shù)據(jù)用歷史數(shù)據(jù)和采集時刻前后相關數(shù)據(jù)進行補齊,將初步識別后的數(shù)據(jù)作為數(shù)據(jù)輸入,進一步異常數(shù)據(jù)識別及修復,提高數(shù)據(jù)質(zhì)量。

1.2 基于離群距離檢測的故障數(shù)據(jù)識別

固定檢測器所收集到的動態(tài)交通數(shù)據(jù),在采集時間段內(nèi)有嚴格的時間順序,對于時間序列異常數(shù)據(jù)常用的檢測方法有:直接檢測、間接檢測、時間跨度檢測、序列跨度檢測[10]。交通流動態(tài)故障識別定位,即為針對點位異常數(shù)據(jù)檢測,進行直接離群點位定位。筆者采用基于距離檢測的異常數(shù)據(jù)檢測算法來篩選更為隱含的錯誤數(shù)據(jù),利用邊緣計算的思想提高數(shù)據(jù)處理效率,高效識別異常數(shù)據(jù)。

對于單個固定檢測器,其采集到的時序數(shù)據(jù),按采集時間表達如式(2):

Xi={x1,x2,…,xm,…,xn},1≤m≤n

(2)

式中:Xi為第i天交通流時間序列數(shù)據(jù)樣本集;xm為某個采集具體時刻tm的數(shù)據(jù)值;n為數(shù)據(jù)長度。

對于交通流數(shù)據(jù)集合Xi,引入用來存放Xi部分數(shù)據(jù)的滑動窗口SW(slide window),其長度為LSW,滑動窗口長度一般與檢測器采集數(shù)據(jù)時間間隔相關。進行長度計算時,只考慮時序數(shù)據(jù)在采集時刻的具體數(shù)據(jù)值,忽略時間標簽,將滑動窗口中時序數(shù)據(jù)簡化表達如式(3):

XSW={s1,s2,…,sr,…,sn},1≤r≤n=LSW

(3)

(4)

(5)

更新中心子序列Xcentre,如式(6):

Xcentre=(sr-Lmove-1,sr-Lmove,…,sr,…,sr+Lmove)

(6)

其中滑動窗口、子序列最小長度和橫向移動距離與故障數(shù)據(jù)在相同時間段的歷史數(shù)據(jù)高度相關,考慮到歷史數(shù)據(jù)與當前數(shù)據(jù)間,在滑動窗口內(nèi)存在著基本相關,根據(jù)Pearson相關系數(shù),可求出歷史數(shù)據(jù)與當前數(shù)據(jù)的線性相關系數(shù)R,如式(7):

(7)

采用最小二乘法求解線性逼近函數(shù)y=kx+b,其系數(shù)計算如式(8)、式(9):

(8)

(9)

利用式(7)驗證兩個數(shù)據(jù)之間的相關性,利用式(8) 、式(9)對滑動窗口內(nèi)的數(shù)據(jù)依次進行相對離群距離計算,則基于相對離群距離和數(shù)據(jù)間相關性的異常數(shù)據(jù)檢測步驟如下:

Step1基礎參數(shù)設置

設置固定滑動窗口長度LSW、子序列最小長度Lmin、子序列橫向移動距離Lmove、點位相對離群距離最小值εdis。

Step2計算相對離群距離

2 基于改進DE-LSTM的故障數(shù)據(jù)修復

隨著多源信息技術快速發(fā)展,傳統(tǒng)數(shù)據(jù)驅(qū)動模型難以滿足實時性、準確性等要求,長短期記憶神經(jīng)網(wǎng)絡(LSTM)模型具有實現(xiàn)簡單,長期記憶功能突出,模型泛化能力好的特點,常用于處理與時間序列相關性特別高的問題[11-12]。但由于LSTM在訓練過程中,學習率和隱含層需要依據(jù)經(jīng)驗不斷嘗試,會耗費大量時間。差分進化算法(DE)在處理非線性問題有較強穩(wěn)定性,且算法收斂速度快、魯棒性強,因此筆者提出改進DE-LSTM故障數(shù)據(jù)修復模型。

2.1 差分進化算法

差分進化算法是一種基于種群的全局優(yōu)化算法,常被應用在神經(jīng)網(wǎng)絡、數(shù)據(jù)挖掘、多源信息處理等領域[13]。其算法步驟主要包括初始化種群、變異、交叉和選擇,由于種群的更新策略以及交叉選擇的不同,算法存在著前期求解非全局最優(yōu),后期在最優(yōu)解附近震蕩、搜索停滯等問題,針對DE算法存在的主要問題,對下一代最優(yōu)種群的選取和變異交叉因子動態(tài)調(diào)整進行改進,改進差分進化算法步驟如下:

Step1初始化

固定檢測器采集數(shù)據(jù)種群初始化,維數(shù)D,種群數(shù)量N,初始化操作如式(10):

xi,g={xi,1,xi,2,…,xi,D},i=1,2,…,N

(10)

Step2變異

DE算法的變異策略是采用種群中兩個不同個體向量來干擾一個現(xiàn)有個體向量,進行差分操作實現(xiàn)子代變異,傳統(tǒng)DE算法變異如式(11):

vi,g=xr1(g)+F×[(xr2(g)-xr3(g))]

(11)

式中:r1,r2,r3為3個相異個體且取值為[1,N];F為變異因子;g為當前進化代數(shù)。

對變異因子進行改進,在傳統(tǒng)固定因子的基礎上,設置一個動態(tài)變異因子,使得變異因子隨著迭代過程而動態(tài)變化,在算法初期提高種群的搜索能力,后期提高尋優(yōu)能力。采用自適應變異因子[14],改進具體如式(12):

(12)

式中:F′為改進變異因子;G為最大進化代數(shù);g′為當前進化代數(shù)。

算法運行初期,變異因子取值較大,以保持種群多樣性,擴大搜索空間;隨著進化次數(shù)逐漸增大,變異因子逐漸減小,以保持種群中的優(yōu)秀個體,當變異因子維持0.5時,算法整體性能最佳,提高了算法運行效率。改進后變異操作如式(13):

vi,g=xr1(g)+F′×[(xr2(g)-xr3(g))]

(13)

Step3交叉

差分進化算法對于每個個體和它所生成的子代變異個體進行交叉,即對每個個體分量按照一定概率的交叉因子P選擇子代變異個體(否則就是原個體)來進行種群的交叉進化,形成一個新的個體,操作如式(14):

(14)

交叉因子P影響DE算法的局部搜索能力及全局搜索平衡性,交叉因子取較大值時,利于局部尋優(yōu)并提升算法運算效率;交叉因子取較小值時,利于全局并行搜索并維持種群的多樣性[15]。采用自適應控制策略,對傳統(tǒng)交叉因子具體改進操作如式(15)、式(16):

Pi,g=N(μi,g,0.1)

(15)

(16)

式中:Pi,g為當前個體xi,g的交叉概率;a為常數(shù),a∈[0,0.5];μi,g為更新交叉概率的高斯分布均值,初始值為0.5。

Step4選擇

差分進化算法采用貪婪算法,根據(jù)子代和父代的適應度函數(shù)值對比,選擇更優(yōu)秀的個體作為下一代。具體操作如式(17):

(17)

2.2 長短期記憶神經(jīng)網(wǎng)絡

處理有嚴格時間序列的檢測器采集數(shù)據(jù)時,常選用循環(huán)神經(jīng)網(wǎng)絡(recurrent neural networks),但其只有短期記憶,因而存在下降梯度消失的問題,長短期記憶神經(jīng)網(wǎng)絡(long short-term memory)中新的記憶細胞可有效解決該問題。因此, LSTM的隱藏計算模塊在RNN基礎上引入一個新的內(nèi)部狀態(tài):記憶細胞(memory cell),記憶細胞在3個控制傳遞的邏輯門(輸入門、遺忘門、輸出門)之間進行信息傳輸。LSTM采用一定的方法將短期記憶與長期記憶相結合,克服了時序過長時,RNN容易忘記前較久遠時間段的信息,越近的時間點對此刻的輸入影響越大。常見LSTM結構如圖1。

圖1 LSTM數(shù)據(jù)傳輸結構Fig. 1 LSTM data transmission structure diagram

ft=σ(Wf·[ht-1,xt]+bf)

(18)

it=σ(Wi·[ht-1,xt]+bi)

(19)

ct=tanh(Wc·[ht-1,xt]+bc)

(20)

(21)

ot=σ(Wo·[ht-1,xt]+bo)

(22)

ht=ot×tanh(Ct)

(23)

(24)

(25)

式中:帶下標的W、b均為參數(shù)矩陣;xt為輸入值;ht為t時刻輸出值;Ct為t時刻時,記憶細胞狀態(tài)參數(shù);σ為s型激活函數(shù)。

2.3 基于改進DE-LSTM的故障數(shù)據(jù)修復方法

通過改進差分進化算法優(yōu)化長短期記憶神經(jīng)網(wǎng)絡,對神經(jīng)網(wǎng)絡中學習率、隱含層節(jié)點進行自動尋優(yōu),提高了模型計算效率且避免了陷入局部最優(yōu),使得提出的改進DE-LSTM模型對交通時序故障數(shù)據(jù)有較好的修復能力及較高的精度。改進DE-LSTM的故障數(shù)據(jù)修復模型流程如圖2。

圖2 基于改進DE-LSTM的故障數(shù)據(jù)修復流程Fig. 2 Fault data repair process based on improved DE-LSTM

改進DE-LSTM的故障數(shù)據(jù)修復步驟如下:

Step1導入固定檢測器采集的交通流時序數(shù)據(jù),對工作日內(nèi)處理后的采集數(shù)據(jù)劃分訓練集、測試集,并對不同源數(shù)據(jù)進行歸一化。

Step2建立長短期記憶網(wǎng)絡訓練模型,設置輸入層節(jié)點數(shù)3,輸出層節(jié)點數(shù)1,最大迭代次數(shù)50次,將神經(jīng)網(wǎng)絡模型中的學習率及隱含層節(jié)點數(shù)定為尋優(yōu)參數(shù)。

Step3對差分進化算法中的參數(shù)進行初始化賦值,設置最大迭代次數(shù)為50、縮放因子及交叉因子按式(12)、式(15)取值,并對檢測器時間序列數(shù)據(jù)種群初始化。

Step4根據(jù)改進差分進化算法,對交通流信息數(shù)據(jù)按設置好的基礎參數(shù)進行變異、交叉、選擇產(chǎn)生下一代個體。

Step5判斷是否達到迭代終止條件,即當前進化代數(shù)是否為預設最大迭代次數(shù)G=50,若進化代數(shù)達到50次則輸出當前種群,否則轉(zhuǎn)Step4。

Step6重復執(zhí)行Step4、Step5,得到最優(yōu)的下一代種群。

Step7對輸出的種群進行適應度評價,最小適應度值所對應的子個體即為算法最優(yōu)解,將得到的最優(yōu)參數(shù)作為LSTM輸入。

Step8將優(yōu)化后學習率和隱含層節(jié)點數(shù)輸入LSTM中,構建改進DE-LSTM故障數(shù)據(jù)修復模型。

Step9根據(jù)評價指標進行分析總結,選取修復精度最高的模型進行交通時序故障數(shù)據(jù)修復。

3 算例驗證

選取某交通示范區(qū)實際交通路段所采集交通數(shù)據(jù),進行固定檢測器動態(tài)交通數(shù)據(jù)故障識別及修復模型驗證,該交通路段地理位置如圖3。以固定檢測數(shù)據(jù)采集時間間隔5 min為例,考慮到交通流的時空相關性,同一路段在工作日和周末交通狀態(tài)差異較明顯,因此選取同一微波檢測器所采集周一至周五(以2016年7月11日—7月15日為例)的1 440個交通數(shù)據(jù)為研究對象,部分采集數(shù)據(jù)集如表2。

圖3 實際路網(wǎng)及檢測器布設位置Fig. 3 Actual road network and detector layout

表2 微波采集部分數(shù)據(jù)

3.1 故障識別驗證

為更好模擬故障異常數(shù)據(jù)的出現(xiàn),以7月12日數(shù)據(jù)為研究對象,人為設置流量異常數(shù)據(jù)34個、速度異常數(shù)據(jù)32個,采用閾值結合交通流機理進行初步識別,其中修正系數(shù)fc=1.4。

利用閾值結合交通流機理診斷結果如圖4。

圖4 基于閾值結合交通流機理的異常數(shù)據(jù)識別Fig. 4 Abnormal data recognition based on threshold combined with traffic flow mechanism

利用閾值結合交通流機理的方法能夠初步識別明顯的異常數(shù)據(jù),對明顯超過閾值或數(shù)據(jù)為0時的異常數(shù)據(jù)識別率較高,對隱含在數(shù)據(jù)中更加深層次的異常數(shù)據(jù)識別率較低。識別出的流量及速度異常數(shù)據(jù)個數(shù)均為16個。

利用距離檢測算法進行深層次異常數(shù)據(jù)識別,診斷結果如圖5。

圖5 基于離群距離檢測算法的異常數(shù)據(jù)識別Fig. 5 Abnormal data identification based on outlier distance detection algorithm

利用距離檢測算法進一步進行異常數(shù)據(jù)識別,除去可以明顯識別超過閾值和不符合交通流運行規(guī)律數(shù)據(jù)之外,更進一步地識別出數(shù)據(jù)中的深層次異常數(shù)據(jù),對于異常數(shù)據(jù)識別個數(shù)的結果為:流量異常數(shù)據(jù)識別30個、速度異常數(shù)據(jù)31個,較閾值結合交通流機理法準確率提升41.2%和46.8%。

3.2 故障修復驗證

對識別出的異常故障數(shù)據(jù)進行剔除,通過改進DE-LSTM算法對數(shù)據(jù)進行補齊;將2016年7月11日—7月14日速度數(shù)據(jù)作為歷史數(shù)據(jù)輸入,對模型訓練,修改的2016年7月15日速度數(shù)據(jù)作為模型測試集,并將通過模型修復后的數(shù)據(jù)與7月15日原始速度數(shù)據(jù)做對比(假定7月15日原始數(shù)據(jù)不存在數(shù)據(jù)故障問題,修復性能對比為模型修復后的數(shù)據(jù)與當天完整原始數(shù)據(jù)之間的對比),并采用平均均方誤差和相對精度對模型進行準確性評價。設定LSTM訓練過程采用adam優(yōu)化器進行優(yōu)化[16],適應度函數(shù)為LSTM訓練集、測試集均方誤差,利用差分進化算法對LSTM學習率、隱含層節(jié)點數(shù)進行動態(tài)尋優(yōu)。

為驗證改進差分進化算法能夠優(yōu)化基于長短期記憶神經(jīng)網(wǎng)絡算法,先采用LSTM算法對數(shù)據(jù)進行預測修復,以7月11—7月14日速度數(shù)據(jù)作為歷史數(shù)據(jù)輸入,7月15日數(shù)據(jù)為預測集,設定輸入層為3、輸出層為1、隱含層為6、初始學習率為0.01、迭代次數(shù)88次,基于LSTM的數(shù)據(jù)預測修復模型結果如圖6。

圖6 基于LSTM算法的數(shù)據(jù)預測修復Fig. 6 Data prediction repair based on LSTM algorithm

LSTM模型中的學習率以及隱含層節(jié)點數(shù)設置通常都是根據(jù)文獻及經(jīng)驗直接給出,未考慮數(shù)據(jù)情況,數(shù)據(jù)訓練預測精度與參數(shù)設定高度相關,因此引入DE算法對種群自動尋優(yōu),得到最優(yōu)的學習率及隱含層節(jié)點數(shù),提高LSTM算法效率。

采用傳統(tǒng)差分進化算法對數(shù)據(jù)進行訓練,取F=0.5、P=0.6、最大進化代數(shù)為50,得到基于差分進化算法優(yōu)化的超參數(shù)為:神經(jīng)元個數(shù)35、學習率0.024 8。通過傳統(tǒng)DE優(yōu)化LSTM算法對數(shù)據(jù)預測修復過程及結果如圖7。

圖7 基于DE-LSTM算法的數(shù)據(jù)預測修復Fig. 7 Data prediction repair based on DE-LSTM algorithm

通過差分進化算法優(yōu)化長短期記憶神經(jīng)網(wǎng)絡,算法迭代收斂運行效率提高,避免了陷入局部最優(yōu),并在傳統(tǒng)固定因子的基礎上,設置一個動態(tài)變異因子和交叉因子,增強迭代初期算法尋優(yōu)能力,提高迭代后期算法計算效率,基于改進DE-LSTM算法對數(shù)據(jù)修復補齊過程及結果如圖8。

圖8 基于改進DE-LSTM算法的數(shù)據(jù)預測修復Fig. 8 Data prediction repair based on improved DE-LSTM algorithm

由圖7、圖8可知:改進后的DE算法迭代收斂過程更快,尋優(yōu)能力更強,較傳統(tǒng)DE算法收斂速度提升較大,提高算法運行效率,改進DE尋優(yōu)超參數(shù)結果為:神經(jīng)元個數(shù)12、學習率0.048 7。

通過LSTM、DE-LSTM、改進DE-LSTM分別對交通速度數(shù)據(jù)進行訓練、測試,3種算法結果對比如圖9,算法性能對比如表3。

圖9 算法對比Fig. 9 Comparison of algorithms

表3 指標對比

由平均均方誤差可以看出,LSTM算法均方誤差較大、DE-LSTM算法次之、改進DE-LSTM算法均方誤差最小,通過訓練后的速度曲線都較為接近原始數(shù)據(jù)曲線,DE-LSTM算法和改進DE-LSTM算法對數(shù)據(jù)預測效果都較LSTM更為接近理想目標,預測效果較好,但改進DE-LSTM算法通過對交叉因子、變異因子的改進,使得算法尋優(yōu)訓練時間大幅減小,改進DE-LSTM較于LSTM網(wǎng)絡運行時間更長,但是對數(shù)據(jù)預測修復精度更好。

4 結 論

1) 根據(jù)固定檢測器采集的動態(tài)交通參數(shù)存在的故障問題,利用交通流時序數(shù)據(jù)的自身連續(xù)性,提出了基于離群距離檢測的故障數(shù)據(jù)識別算法,在算例驗證過程中,比較固定閾值結合交通流機理法,準確率提升41.2%和46.8%,故障數(shù)據(jù)識更為高效。

2) 提出了基于改進差分進化算法優(yōu)化長短期記憶神經(jīng)網(wǎng)絡的數(shù)據(jù)修復模型,算例驗證過程中的LSTM、DE-LSTM及改進DE-LSTM模型的相關系數(shù)分別為0.802 1、0.867 6、0.918 7,表明改進的DE-LSTM模型精度更高、性能更優(yōu)。