付立家, 陳麗陽, 尚 康

(1.招商局重慶交通科研設(shè)計院有限公司, 重慶 400067; 2.重慶交通大學(xué) 交通運輸學(xué)院, 重慶 400074)

公路隧道配備了大量機電設(shè)施和交通感知設(shè)備,以全方位獲取隧道交通信息、環(huán)境信息和結(jié)構(gòu)信息,為公路隧道智能化管理和控制提供數(shù)據(jù)支撐。但因隧道運行環(huán)境復(fù)雜、設(shè)備檢查維護(hù)不及時、通信質(zhì)量不穩(wěn)定等因素,或多或少導(dǎo)致隧道交通流數(shù)據(jù)缺失,降低了數(shù)據(jù)的完整性和準(zhǔn)確性。為解決此類問題,對隧道內(nèi)環(huán)境、交通狀態(tài)等各類運營數(shù)據(jù)進(jìn)行實時、完整獲取并深入挖掘,以提高應(yīng)急處置能力,實現(xiàn)運營安全預(yù)警[1],需對交通流缺失數(shù)據(jù)修復(fù)方法開展研究,為公路隧道運營管理提供穩(wěn)定的數(shù)據(jù)保障。目前,針對缺失數(shù)據(jù)的修復(fù)方法主要包括統(tǒng)計學(xué)方法和機器學(xué)習(xí)方法,前者包括EM(Expectation Maximization)填充算法[2]、回歸分析法[3]、多重插補[4]等,但因該方法未考慮數(shù)據(jù)類別的差異性,致使修復(fù)效果精度較低;機器學(xué)習(xí)方法是以分類、聚類和回歸方法修復(fù)缺失數(shù)據(jù)集,主要包括KNN(K-Nearest Neighbor)算法[5]、K-means算法[6]、貝葉斯網(wǎng)絡(luò)[2,7]、支持向量機SVM(Support Vector Machine)算法[8]和隨機森林RF(Random Forest)算法[1,9]等,該方法在交通領(lǐng)域研究與應(yīng)用較多。邵毅明等[9]在隨機森林模型基礎(chǔ)上采用遺傳算法進(jìn)行優(yōu)化調(diào)參;曾小華等[10]采用插補缺失與神經(jīng)網(wǎng)絡(luò)集成方法預(yù)測修復(fù)公交客車行駛工況的缺失數(shù)據(jù);張壯壯等[11]采用時空卷積神經(jīng)網(wǎng)絡(luò)預(yù)測模型,從時間和空間相關(guān)性預(yù)測修復(fù)路網(wǎng)交通流數(shù)據(jù)。上述預(yù)測修復(fù)方法主要從時間、空間相關(guān)性的視角進(jìn)行修復(fù),而從時空相關(guān)性視角針對交通流數(shù)據(jù)的缺失率和缺失模式研究報道較少。

為此,本文從時空相關(guān)性視角,建立基于SA-RF的公路隧道交通流缺失數(shù)據(jù)修復(fù)模型。根據(jù)數(shù)據(jù)缺失模式,先分別從時間相關(guān)性建立單變量修復(fù)模型和空間相關(guān)性建立多變量修復(fù)模型,然后將兩者結(jié)合,建立時空相關(guān)性的綜合修復(fù)模型,修復(fù)交通流數(shù)據(jù)的一般數(shù)據(jù)缺失模式,并在不同缺失率下驗證修復(fù)模型的準(zhǔn)確性和可靠性。

1 基于SA-RF的公路隧道交通流修復(fù)方法

RF模型中有許多重要超參數(shù),而超參數(shù)的取值不同致使模型預(yù)測修復(fù)精度不同。為得到更精準(zhǔn)的交通流預(yù)測修復(fù)模型,需對RF模型的參數(shù)進(jìn)行多次調(diào)整,并訓(xùn)練和驗證修復(fù)效果。傳統(tǒng)方法如網(wǎng)格搜索法、隨機搜索法等存在訓(xùn)練步驟復(fù)雜、時間長、效率低等問題,而模擬退火算法SA(Simulated Annealing)能夠同時優(yōu)化多個參數(shù)、避免陷入局部最優(yōu)解、高效尋找最優(yōu)參數(shù)。為此,本文以SA算法對RF模型的主要參數(shù)進(jìn)行尋優(yōu),并根據(jù)最優(yōu)參數(shù)建立SA-RF模型預(yù)測修復(fù)缺失交通流。

1.1 模擬退火算法SA

模擬退火算法[12-13]是借鑒固體退火原理的一種通用概率演算法。該算法需設(shè)定初始高溫、降溫速率和結(jié)束低溫,在每階段中,以固定速率降低當(dāng)前溫度,并判斷是否以新解替換當(dāng)前最優(yōu)解。如果得到隨機新解優(yōu)于當(dāng)前最優(yōu)解,則以新解替換當(dāng)前最優(yōu)解;如果得到隨機新解不優(yōu)于當(dāng)前最優(yōu)解時,則以Metropolis準(zhǔn)則的接受概率p判斷是否接受新解替換當(dāng)前最優(yōu)解。其中接受概率p見式(1):

(1)

式中:Ci,Ci+1分別為目標(biāo)函數(shù)在第i次和i+1次的迭代值;T為當(dāng)前溫度,在迭代過程中T值逐步緩慢減小,當(dāng)T值變化太快,會使目標(biāo)函數(shù)陷入局部極值點。

1.2 隨機森林算法RF

隨機森林是一種統(tǒng)計學(xué)理論,其基本思想是根據(jù)Bootstrapping重抽樣方法依次建立多個分類或回歸樹,對多個決策樹的輸出結(jié)果進(jìn)行集成,最終得到分類或回歸預(yù)測結(jié)果。大量的理論和實證研究都證明了RF具有很高的預(yù)測準(zhǔn)確率,對異常值和噪聲具有很好的容忍度,且不容易出現(xiàn)過擬合[14]。

RF算法基本步驟:1) Bootstrapping重抽樣,從訓(xùn)練樣本數(shù)據(jù)中隨機抽樣一部分?jǐn)?shù)據(jù),用于訓(xùn)練決策樹;2) 使用隨機抽樣數(shù)據(jù)構(gòu)建決策樹,包括ID3、C4.5、CART等算法;3) 計算決策樹的每個預(yù)測結(jié)果,對于每棵決策樹,根據(jù)特征的取值、分支條件等規(guī)則,將該樣本劃分到對應(yīng)的葉子節(jié)點中;4) 計算RF結(jié)果,統(tǒng)計所有決策樹中該樣本所在的葉子節(jié)點的預(yù)測結(jié)果,按照預(yù)測結(jié)果的投票數(shù)或概率進(jìn)行加權(quán)平均,得到最終的預(yù)測結(jié)果。

1.3 交通流修復(fù)方式

數(shù)據(jù)缺失模式大致分為單變量缺失、多變量缺失、單調(diào)缺失和一般缺失[15]4類,如表1所示。

在公路隧道采集的交通流數(shù)據(jù)中,缺失數(shù)據(jù)隨機分布在不同屬性之間,往往伴隨著單變量和多變量缺失模式,符合一般缺失模式。因此將單變量和多變量修復(fù)模型相結(jié)合,從時空相關(guān)性構(gòu)建基于SA-RF的綜合修復(fù)模型,用于修復(fù)常見的一般缺失模式。

表1 缺失模式及修復(fù)方式

2 交通流修復(fù)流程

SA-RF修復(fù)模型主要包括數(shù)據(jù)處理模塊、SA-RF參數(shù)尋優(yōu)模塊和SA-RF預(yù)測修復(fù)模塊,流程如圖1所示。數(shù)據(jù)處理模塊是剔除異常值、缺失值、標(biāo)準(zhǔn)化處理、劃分訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集;SA-RF參數(shù)尋優(yōu)模塊是以SA模型尋找RF模型4個主要參數(shù),并確定最優(yōu)參數(shù)組合,包括決策樹個數(shù)(n_estimators)、決策樹最大深度(max_depth)、節(jié)點可分的最小樣本數(shù)(min_samples_split)和葉子節(jié)點含有的最少樣本(min_samples_leaf);SA-RF預(yù)測修復(fù)模塊是根據(jù)最優(yōu)參數(shù)組合和訓(xùn)練數(shù)據(jù)集建立SA-RF交通流修復(fù)模型,預(yù)測修復(fù)交通流缺失值。

2.1 交通流數(shù)據(jù)處理模塊

由于公路隧道采集的交通流存在異常值,為保障訓(xùn)練及測試數(shù)據(jù)集的完整性,在數(shù)據(jù)處理階段剔除包含缺失和異常值的數(shù)據(jù)條。根據(jù)單變量和多變量修復(fù)模型劃分對應(yīng)的訓(xùn)練集和測試集,并訓(xùn)練SA-RF修復(fù)模型和參數(shù)尋優(yōu)。

1) 單變量修復(fù)模型數(shù)據(jù)集

單變量修復(fù)模型是根據(jù)時間相關(guān)建立預(yù)測修復(fù)模型,在完整的數(shù)據(jù)集上,設(shè)定時間窗口的維度為k、步長為1,滑動提取交通流數(shù)據(jù)時間序列樣本量為t+1,構(gòu)建k×t維時間序列特征矩陣X和目標(biāo)向量

圖1 SA-RF修復(fù)流程

標(biāo)簽Y,見式(2)。

Y=[y1,y2…yk]T

(2)

式中:xij為第i個樣本的第j維數(shù)據(jù);yi為第i個樣本的目標(biāo)值;X為時間序列特征矩陣,即修復(fù)模型自變量;Y為目標(biāo)向量標(biāo)簽,即修復(fù)模型因變量。

2) 多變量修復(fù)模型數(shù)據(jù)集

多變量修復(fù)模型是根據(jù)空間相關(guān)性建立預(yù)測修復(fù)模型,利用交通流各參數(shù)間非線性關(guān)系,以多變量預(yù)測方式修復(fù)交通流缺失數(shù)據(jù)。在完整數(shù)據(jù)集上,構(gòu)建特征矩陣X,見式(2),其中k為交通流參數(shù)維度,t為交通流數(shù)據(jù)量,即采集樣本量。

3) 修復(fù)模型訓(xùn)練集與測試集

為驗證預(yù)測修復(fù)模型的修復(fù)效果,根據(jù)單變量和多變量修復(fù)模型數(shù)據(jù)集,以9∶1分別劃分相應(yīng)的訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集。其中訓(xùn)練數(shù)據(jù)集用于SA-RF模型的訓(xùn)練和參數(shù)尋優(yōu),測試數(shù)據(jù)集的目標(biāo)向量標(biāo)簽Y需人為隨機缺失部分?jǐn)?shù)據(jù),用于驗證模型修復(fù)效果。

4) 誤差函數(shù)

以均方誤差(MSE)計算訓(xùn)練過程中損失值,表示預(yù)測值與真實值之間匹配度,計算公式如下:

(3)

以平均絕對百分比誤差(MAPE)衡量修復(fù)值與真實值間的相對偏差,計算公式如下:

(4)

2.2 SA-RF參數(shù)尋優(yōu)模塊

單變量和多變量修復(fù)模型在SA-RF模型中訓(xùn)練方法相同,但訓(xùn)練數(shù)據(jù)集不同,導(dǎo)致不同的訓(xùn)練結(jié)果。按照圖1的訓(xùn)練流程,將單變量和多變量修復(fù)模型訓(xùn)練數(shù)據(jù)集分別作為輸入量訓(xùn)練SA-RF模型。在訓(xùn)練過程中以SA算法不斷迭代優(yōu)化,尋找單變量和多變量修復(fù)模型的最優(yōu)參數(shù)組合。在尋參過程中以RF模型預(yù)測值與真實值的MSE作為目標(biāo)函數(shù),快速、準(zhǔn)確尋求最優(yōu)參數(shù)組合,整個過程是一個求解全局最優(yōu)問題。

2.3 SA-RF預(yù)測修復(fù)模塊

公路隧道采集的單條數(shù)據(jù)中會存在數(shù)據(jù)未缺失、單變量缺失和多變量缺失,因此,在實際應(yīng)用中綜合2種模式對缺失數(shù)據(jù)進(jìn)行修復(fù)。通過訓(xùn)練數(shù)據(jù)集和最優(yōu)組合參數(shù)對SA-RF模型進(jìn)行訓(xùn)練,利用訓(xùn)練好的預(yù)測模型對缺失驗證數(shù)據(jù)集進(jìn)行修復(fù),應(yīng)用MAPE評估修復(fù)效果。以交通流參數(shù)的車流量(Q)、平均車速(V)和時間占有率(Oc)為參數(shù),確定缺失數(shù)據(jù)綜合修復(fù)步驟。

公路隧道部分檢測數(shù)據(jù)如表2所示。表2中,缺失數(shù)據(jù)用null表示;t+2、t+3…t+n時刻為單變量數(shù)據(jù)缺失;t+5、t+n-1時刻為多變量數(shù)據(jù)缺失。單變量修復(fù)模型需滿足該時間序列前k個數(shù)據(jù)未缺失,而多變量修復(fù)模型需滿足待修復(fù)變量的其他變量數(shù)據(jù)均未缺失。

表2 缺失示例數(shù)據(jù)

SA-RF綜合修復(fù)模型的修復(fù)步驟:1) 提取公路隧道交通流缺失數(shù)據(jù),記錄缺失時間Ti、缺失變量(Q/V/Oc),并存儲在lose_data中;2) 判斷l(xiāng)ose_data中第i個交通流數(shù)據(jù)缺失類型(單變量缺失/多變量缺失);3) 根據(jù)缺失類型建立待修復(fù)特征向量Xi,單變量缺失根據(jù)Ti時刻其他變量數(shù)據(jù)建立待修復(fù)特征向量,多變量缺失根據(jù)前k個數(shù)據(jù)建立待修復(fù)特征向量;4) 以SA-RF預(yù)測修復(fù)值,多變量預(yù)測修復(fù)模型修補單變量數(shù)據(jù)缺失,單變量預(yù)測修復(fù)模型修補多變量數(shù)據(jù)缺失;5) 以修復(fù)值補全交通流缺失值,并刪除lose_data中Ti時刻元素,若lose_data中元素個數(shù)為0,則完成所有缺失值修復(fù),否則轉(zhuǎn)回步驟2)。

3 實例驗證

3.1 公路隧道交通流概況

為驗證綜合修復(fù)模型的準(zhǔn)確性和可靠性,以重慶某公路隧道為研究對象,在同一時間和區(qū)域內(nèi)持續(xù)收集交通流數(shù)據(jù)。采樣時間為2021-07-02—2021-09-17,采樣間隔1 h,共計采樣1 848組數(shù)據(jù),如圖2所示。由于采樣交通流數(shù)據(jù)存在異常和缺失問題,需預(yù)處理原始采樣數(shù)據(jù),包括剔除缺失值、異常值和標(biāo)準(zhǔn)化處理,同時按照9∶1劃分訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集。訓(xùn)練數(shù)據(jù)集用于SA-RF參數(shù)尋優(yōu)和訓(xùn)練修復(fù)模型;測試集劃分3%、5%、10%和15%缺失比例,用于驗證模型的準(zhǔn)確性。

(a) 交通量

(b) 平均車速

(c) 平均時間占有率

3.2 訓(xùn)練SA-RF修復(fù)模型

1) 參數(shù)尋優(yōu)

在模型訓(xùn)練階段應(yīng)用MSE誤差函數(shù)計算模型損失值,可有效評估訓(xùn)練模型準(zhǔn)確性。以SA算法對RF模型參數(shù)尋優(yōu),調(diào)整主要參數(shù)和搜索空間,如表3所示。在SA算法中,以RF預(yù)測值與真實值的MSE作為目標(biāo)函數(shù),衡量在每種參數(shù)組合下的目標(biāo)函數(shù)值,全局搜索最小MSE的參數(shù)組合。其中設(shè)置初始溫度100 ℃,退火速率0.99,結(jié)束低溫0.01 ℃。

2) 訓(xùn)練單變量或多變量修復(fù)模型

根據(jù)單變量修復(fù)模型數(shù)據(jù)集,設(shè)定時間窗口k=24,即待修復(fù)數(shù)據(jù)前24個時刻交通流數(shù)據(jù)作為特征訓(xùn)練向量,分別形成3條單變量訓(xùn)練數(shù)據(jù)集,每個數(shù)據(jù)集包含1 521條訓(xùn)練特征向量。分別對交通流參數(shù)Q、V、Oc訓(xùn)練SA-RF單變量修復(fù)模型,并尋找最優(yōu)參數(shù)。經(jīng)過訓(xùn)練后,結(jié)果如圖3所示。圖3中,從左到右分別為Q、V、Oc序列的SA-RF模型迭代誤差曲線,最終趨向與x軸平行的曲線為SA-RF最優(yōu)迭代誤差曲線。

同理,針對多變量修復(fù)模型,設(shè)置空間特征維度k=2,構(gòu)建對應(yīng)訓(xùn)練數(shù)據(jù)集,分別對交通流參數(shù)(Q,V)-Oc、(Q,Oc)-V、(Oc,V)-Q訓(xùn)練SA-RF多變量修復(fù)模型,并尋找最優(yōu)參數(shù),單變量和多變量的最優(yōu)參數(shù)如表3所示。

3.3 SA-RF綜合修復(fù)模型

由于修復(fù)模型存在前置限制條件,單變量修復(fù)模型要求完整時間序列的交通流數(shù)據(jù),可用于修復(fù)單變量和多變量數(shù)據(jù)缺失模式;多變量修復(fù)模型要求同一時間維度的其他交通流特征未缺失,可用于修復(fù)單變量缺失模型。公路隧道交通流缺失數(shù)據(jù)具有隨機性、復(fù)雜性和時空性,缺失模型存在單變量缺失和多變量缺失共存的情況,從表3中可知,多變量修復(fù)效果遠(yuǎn)高于單變量修復(fù)效果。因此,以多變量修復(fù)模型為主,單變量修復(fù)為輔,建立基于SA-RF的綜合修復(fù)模型,全方位、高精度修復(fù)公路隧道缺失數(shù)據(jù)。

表3 SA-RF修復(fù)模型最優(yōu)參數(shù)與誤差

(a) Q序列

(b) V序列

(c) Oc序列

在交通流測試集上分別構(gòu)建3%、5%、10%和15%缺失比例的隨機缺失數(shù)據(jù),利用SA-RF模型分別對4種缺失率下的測試集進(jìn)行修復(fù),其修復(fù)效果如圖4所示。圖4中,曲線表示缺失交通流數(shù)據(jù)和修復(fù)交通流數(shù)據(jù)曲線。從圖4中可見,SA-RF模型預(yù)測修復(fù)曲線貼近于原始交通流曲線,大部分修復(fù)值點靠近真實值點,甚至部分點位重合,修復(fù)效果較好。

(a) 交通量(3%缺失率)

(b) 平均車速(3%缺失率)

(c) 平均時間占有率(3%缺失率)

(d) 交通量(5%缺失率)

(e) 平均車速(5%缺失率)

(f) 平均時間占有率(5%缺失率)

(g) 交通量(10%缺失率)

(h) 平均車速(10%缺失率)

(i) 平均時間占有率(10%缺失率)

(j) 交通量(15%缺失率)

(k) 平均車速(15%缺失率)

(l) 平均時間占有率(15%缺失率)

3.4 修復(fù)模型對比分析

為驗證基于SA-RF的綜合修復(fù)模型的準(zhǔn)確率,選取RF、LSTM、均值插補修復(fù)模型對比分析,通過相同的訓(xùn)練數(shù)據(jù)集進(jìn)行訓(xùn)練,按照隨機缺失率3%、5%、10%、15%劃分測試集,并預(yù)測修復(fù)缺失值。為綜合比較交通流修復(fù)效果,避免MSE會懲罰大偏差,以MAPE衡量交通流修復(fù)效果,結(jié)果如表4、圖5所示。

表4 不同缺失率、修復(fù)模型的誤差

圖5 不同修復(fù)方法的MAPE對比

MAPE反映修復(fù)數(shù)據(jù)偏離真實值的相對程度,MAPE值越小則修復(fù)值與真實值的相對偏差越小,修復(fù)精度越高。從圖5中可知,經(jīng)SA模型調(diào)參優(yōu)化,RF在不同缺失率下修復(fù)精度均得到提升,在3%缺失率時,SA-RF模型較未調(diào)參RF模型的MAPE降低24%。4種缺失率下使用SA-RF修復(fù)模型的MAPE值均低于RF、LSTM和均值插補修復(fù)模型,SA-RF修復(fù)曲線更貼近原始數(shù)據(jù)曲線。其中,在3%缺失率下,SA-RF修復(fù)模型相較RF、LSTM和均值插補辦法,修復(fù)效果分別提升了24%、34.06%和41.3%。對比不同缺失率下的SA-RF修復(fù)模型效果,結(jié)果表明,在5%缺失率時修復(fù)效果最好,相較15%缺失率,修復(fù)效果提升了13.64%,修復(fù)效果顯著。

4 結(jié)論

1) 基于模擬退火算法優(yōu)化的隨機森林預(yù)測模型(SA-RF)能很好實現(xiàn)對低缺失率(5%)的交通流數(shù)據(jù)修復(fù)。

2) SA-RF模型預(yù)測效果優(yōu)于傳統(tǒng)RF模型,在一定程度上通過SA模型進(jìn)行參數(shù)尋優(yōu),可降低RF模型的修復(fù)誤差,提升模型預(yù)測準(zhǔn)確性。

3) 根據(jù)交通數(shù)據(jù)的時間相關(guān)性和空間相關(guān)性分別建立單變量和多變量修復(fù)方式,構(gòu)建相應(yīng)訓(xùn)練數(shù)據(jù)集、訓(xùn)練和預(yù)測模型,將2種修復(fù)方式相結(jié)合建立SA-RF綜合修復(fù)模型。該模型可實現(xiàn)高精度和高魯棒性修補交通流數(shù)據(jù)。

4) 在交通流缺失率為3%、5%、10%和15%時,對比SA-RF修復(fù)模型與其他模型的修復(fù)效果,結(jié)果表明,SA-RF在不同缺失率下均可高精度修復(fù)交通流缺失數(shù)據(jù),且修復(fù)誤差指標(biāo)MAPE均低于同等缺失率的RF、LSTM、均值插補修復(fù)模型。