彭 博，唐 聚，蔡曉禹，謝濟(jì)銘，張媛媛，王玉婷

(1.山地城市交通系統(tǒng)與安全重慶市重點(diǎn)實(shí)驗(yàn)室，重慶400074；2.重慶交通大學(xué)交通運(yùn)輸學(xué)院，重慶400074)

0 引 言

隨著社會經(jīng)濟(jì)的發(fā)展和城市機(jī)動化進(jìn)程的快速推進(jìn)，交通擁堵已成為國內(nèi)外城市發(fā)展的焦點(diǎn)問題，有效識別和預(yù)測道路交通狀態(tài)是減少城市交通擁擠、避免交通癱瘓的基礎(chǔ)與關(guān)鍵.為此，許多城市基于感應(yīng)線圈、視頻檢測器、RFID和浮動車等技術(shù)感知交通信息，其中，視頻檢測器在城市交通監(jiān)控中應(yīng)用十分廣泛，根據(jù)視頻識別預(yù)測交通狀態(tài)將顯著提升交通信息可視分析精準(zhǔn)程度及交通管控效果.

交通狀態(tài)識別方面，基于單幀圖像的交通信息提取與交通狀態(tài)識別的研究較多，Quiros[1]基于模糊邏輯提出視頻圖像交通狀態(tài)識別方法，崔華[2]利用模糊C均值聚類算法對靜態(tài)圖像進(jìn)行交通狀態(tài)識別.這些方法對單張圖像識別效果較好，但沒有考慮幀圖像之間的時空信息.2013年，Ji[3]構(gòu)建的三維卷積神經(jīng)網(wǎng)絡(luò)(3DCNN)，可有效提取視頻時空信息，從此3DCNN 在視頻行為識別領(lǐng)域備受關(guān)注，C3D、R3D、R(2+1)D等3DCNN模型也相繼出現(xiàn)[4]，使得直接基于視頻進(jìn)行交通狀態(tài)識別成為可能.

交通狀態(tài)預(yù)測方面成果也十分豐富，主要有時間列預(yù)測、回歸預(yù)測、機(jī)器學(xué)習(xí)預(yù)測等方法.Wang[5]利用非參數(shù)回歸分析方法建立了交通運(yùn)行狀態(tài)預(yù)測模型，Sun[6]提出基于支持向量機(jī)(SVM)的交通狀態(tài)預(yù)測方法，Xu[7]基于ARIMA 和卡爾曼濾波實(shí)時預(yù)測道路交通狀態(tài)，Huang[8]利用GPS 軌跡數(shù)據(jù)提出了基于LSTM 的交通擁擠預(yù)測模型.這些方法大多基于浮動車數(shù)據(jù)、地磁微波檢測數(shù)據(jù)及RFID軌跡數(shù)據(jù)等展開研究，利用視頻進(jìn)行交通狀態(tài)預(yù)測的研究較少.

綜上，3DCNN 可同時學(xué)習(xí)時空特征，有望實(shí)現(xiàn)視頻交通狀態(tài)識別.對于視頻交通狀態(tài)預(yù)測，由于預(yù)測結(jié)果為有限的交通狀態(tài)類別，可將預(yù)測問題轉(zhuǎn)化為分類問題，常用的分類算法有SVM、線性分類、DNN分類模型等.考慮交通狀態(tài)的時空非線性變化特征及DNN 深度學(xué)習(xí)的優(yōu)勢，本文基于3DCNN 識別視頻交通狀態(tài)，構(gòu)建交通狀態(tài)預(yù)測DNN模型，并建立數(shù)據(jù)集進(jìn)行測試分析.

1 方法簡介

以道路交通高空視頻為實(shí)驗(yàn)數(shù)據(jù)，構(gòu)建基于3DCNN與DNN的交通狀態(tài)預(yù)測方法，主要由3個部分組成，如圖1所示.

圖1 方法流程Fig.1 Method flowchart

2 基于3DCNN的視頻交通狀態(tài)提取

3DCNN利用δ×w×h(δ為深度，w為寬度，h為高度)的三維卷積核直接對具有深度G(圖像幀數(shù))、寬度W(幀圖像寬，單位為pixel)、高度H(幀圖像高，單位為pixel)三個維度的視頻進(jìn)行卷積運(yùn)算，同時提取圖像空間信息及相鄰圖像之間隱含的時間信息.C3D是一種經(jīng)典的3DCNN模型[4]，在UCF101和Sports-1M數(shù)據(jù)集的數(shù)百種視頻動作行為(化妝、跳高、滑雪等)識別中準(zhǔn)確率高達(dá)85.2%，能有效識別視頻行為趨勢.交通擁擠或暢通可以理解為一種視頻行為，故基于C3D 展開視頻交通狀態(tài)識別的探索性研究，為后續(xù)交通狀態(tài)預(yù)測提供數(shù)據(jù)支撐.

建立基于C3D 的視頻交通狀態(tài)識別方法，如圖2 所示，路段交通視頻Λrd為輸入，輸出C種交通狀態(tài)的概率p1～pC，視頻交通狀態(tài)Θrd取概率最大值對應(yīng)的狀態(tài).視頻處理過程采用C3D 網(wǎng)絡(luò)結(jié)構(gòu)，包括8 個Conv 卷積層、5 個Pool 池化層、2 個fc全連接層和一個softmax輸出層，所有卷積層使用3×3×3的三維卷積核，池化核為1×2×2或2×2×2.

圖2 基于C3D 的交通狀態(tài)識別Fig.2 Traffic state recognition based on C3D

C3D 視頻處理的關(guān)鍵在于三維卷積，原理如圖3 所示. 任意交通視頻Λrd含有g(shù)幀圖像(G=g)，即f1～fg.以Conv1 為例，采用δ×w×h的卷積核每次對δ幀圖像(fi,fi+1,…,fi+δ-1 ，i≤g-δ+1，其中，i表示圖像幀序號)的w×h范圍進(jìn)行卷積運(yùn)算，沿著單幀圖像滑動卷積步長μ1=1，深度方向卷積步長μ2=1，直至將g幀W×H的圖像范圍全部運(yùn)算完畢.Conv2 繼續(xù)應(yīng)用δ×w×h的三維卷積核對Pool1得到的三維特征矩陣進(jìn)行卷積運(yùn)算，以此類推，最終輸出到全連接層進(jìn)行狀態(tài)類別劃分.

圖3 三維卷積原理Fig.3 Principles of 3D convolution

3 基于DNN的交通狀態(tài)預(yù)測模型

3.1 DNN模型構(gòu)建

?′時段的道路交通狀態(tài)預(yù)測問題可轉(zhuǎn)化為以Φ為輸入，CD種交通狀態(tài)為輸出的分類問題.Φ的第r行為(Θr1,Θr2,…,ΘrD)，表示第r時段整個道路的交通狀態(tài)，φr為交通狀態(tài)變量，φr=(狀 態(tài)1,狀態(tài)2,…,狀態(tài)CD).則有

構(gòu)建以向量(φ1,φ2,…,φ?)為輸入的DNN交通狀態(tài)預(yù)測網(wǎng)絡(luò)模型，如圖4所示.輸入層有?個神經(jīng) 元，第l個隱藏層有Ωl個神經(jīng)元，l∈{0,1,2,…, }L，輸出層有ξ個神經(jīng)元，最終獲得?′時段的道路交通狀態(tài)，=(狀 態(tài)1,狀態(tài)2,…,狀態(tài)CD).

DNN 相鄰網(wǎng)絡(luò)層之間采用全線性連接結(jié)構(gòu)，為解決復(fù)雜的非線性問題，需要在隱藏層引入合適的激活函數(shù).本文構(gòu)建的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)較為簡潔，采用ReLU 激活函數(shù)保障訓(xùn)練效果及收斂速度，獲得各神經(jīng)元之間的權(quán)重系數(shù)及輸出值.

圖4 DNN 交通狀態(tài)預(yù)測模型Fig.4 DNN traffic state prediction model

DNN輸出層引入softmax分類函數(shù)，將多個神經(jīng)元的輸出映射到(0,1)區(qū)間，選取概率最大的作為預(yù)測結(jié)果.

式中：Sq表示輸出層第q個神經(jīng)元的概率值；aq表示輸出層第q個神經(jīng)元的初始值；ξ為輸出層神經(jīng)元總數(shù)，即道路交通狀態(tài)類別總數(shù).

3.2 DNN預(yù)測模型優(yōu)化

研究和經(jīng)驗(yàn)表明，DNN 網(wǎng)絡(luò)性能主要受到神經(jīng)元數(shù)量(影響學(xué)習(xí)能力)、隱藏層深度(過少可能無法捕獲數(shù)據(jù)非線性特征，過多可能導(dǎo)致過擬合)、訓(xùn)練批大小(過小時難以收斂，過大容易出現(xiàn)內(nèi)存溢出、收斂緩慢)等影響.針對交通狀態(tài)預(yù)測任務(wù)，本文對神經(jīng)元數(shù)量、隱藏層數(shù)量和訓(xùn)練批大小進(jìn)行交叉實(shí)驗(yàn)，從而確定合理的網(wǎng)絡(luò)結(jié)構(gòu)，測試方案如表1所示.

經(jīng)測試發(fā)現(xiàn)，隱藏層取4 層，神經(jīng)元數(shù)量分別取64、128、128、64，訓(xùn)練批大小取64的時候模型結(jié)構(gòu)最佳，詳情見5.2節(jié).

表1 DNN 結(jié)構(gòu)優(yōu)化測試Table 1 Optimization tests of DNN structure

4 實(shí)驗(yàn)數(shù)據(jù)與環(huán)境

4.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)原始數(shù)據(jù)為分辨率為1 920 pixel×1 080 pixel的道路交通高空視頻，分別制作交通狀態(tài)識別數(shù)據(jù)集和預(yù)測數(shù)據(jù)集.

(1)交通狀態(tài)識別數(shù)據(jù)集.

將高空視頻平均劃分成D個路段，取D=3；各路段視頻切分為ms/段，取m=5；形成路段的單元交通視頻，人工分為暢通與擁堵兩類(C=2).由于暢通和擁堵狀態(tài)的視頻特征較明顯，為提高模型收斂速度并保障識別效果，構(gòu)建樣本量N1=64的訓(xùn)練集Q1，樣本量N2=140 的測試集Q2，如圖5所示.

圖5 交通狀態(tài)識別數(shù)據(jù)集Fig.5 Data sets for traffic state recognition

(2)交通狀態(tài)預(yù)測數(shù)據(jù)集.

利用訓(xùn)練好的C3D模型提取道路視頻連續(xù)?個時段的交通狀態(tài)序列Φ=(φ1,φ2,…,φ?)，取?=12；將第?+1 段的道路交通視頻實(shí)測狀態(tài)作為Φ的標(biāo)簽值，每一組Φ和對應(yīng)的形成一個供DNN 訓(xùn)練測試的樣本.整個道路交通狀態(tài)有CD=23=8 種，即BBB，BBG，BGB，BGG，GBB，GBG，GGB，GGG，其中，B、G分別對應(yīng)路段交通狀態(tài)為擁堵、暢通.對應(yīng)構(gòu)建訓(xùn)練集Q3和測試集Q4，樣本量如表2所示.

表2 交通狀態(tài)預(yù)測數(shù)據(jù)集樣本量Table 2 Datasample sizes for traffic state prediction

4.2 試驗(yàn)環(huán)境

實(shí)驗(yàn)平臺為64 位win7 工作站，配置VS2013+CUDA8.0+Anaconda2 等環(huán)境，搭建了Pytorch 和tensorflow深度學(xué)習(xí)框架，采用Python3.6作為編程語言.

5 模型訓(xùn)練與測試分析

5.1 模型訓(xùn)練

對視頻交通狀態(tài)的C3D模型訓(xùn)練，基于數(shù)據(jù)集Q1采用SGD隨機(jī)梯度下降法更新網(wǎng)絡(luò)權(quán)重，學(xué)習(xí)策略Step方式，即每隔s輪迭代調(diào)整一次學(xué)習(xí)率β.

式中：β0為基礎(chǔ)學(xué)習(xí)率，取0.000 1；γ為學(xué)習(xí)率的變化率，取0.1；f(·) 為向下取整函數(shù)；t為當(dāng)前迭代輪數(shù)，共100輪；s為衰減步長，取10.

對于DNN模型訓(xùn)練，基于數(shù)據(jù)集Q3對各個備選模型進(jìn)行10 000 輪迭代訓(xùn)練.訓(xùn)練過程中將預(yù)測結(jié)果與真實(shí)標(biāo)簽進(jìn)行比較，以交叉熵?fù)p失值最小為目標(biāo)對網(wǎng)絡(luò)權(quán)重參數(shù)進(jìn)行微調(diào)，直到模型損失值收斂，損失函數(shù)為

式中：ψ為損失值；yq為輸出層第q個神經(jīng)元對應(yīng)的狀態(tài)類別標(biāo)簽值.

在反向傳播更新每一層網(wǎng)絡(luò)權(quán)重參數(shù)的過程中，使用Adagrad 自適應(yīng)梯度下降算法，通過約束學(xué)習(xí)率更新網(wǎng)絡(luò)權(quán)重.

式中：Γt、Γt+1分別為第t、t+1 輪迭代的網(wǎng)絡(luò)權(quán)重矩陣；η為全局學(xué)習(xí)率，取0.05；ρτ為第τ輪迭代時的梯度，τ為迭代輪數(shù)編號，分別取1,…,t；ε為平滑項，取10-7.

5.2 模型測試分析

基于測試數(shù)據(jù)集Q2，對C3D進(jìn)行測試驗(yàn)證并計算準(zhǔn)確率、召回率和F1值[9]，結(jié)果如表3所示，暢通和擁堵狀態(tài)識別平均準(zhǔn)確率為95.86%，平均召回率為95.71%，平均F1值為95.71%，測試效果如圖6所示，其中，Pr為判定概率.可以看出，C3D模型可準(zhǔn)確有效提取視頻交通狀態(tài).

表3 C3D 測試結(jié)果Table 3 C3D test results (%)

圖6 C3D 識別效果Fig.6 C3D recognition results

基于測試集Q4，測試實(shí)驗(yàn)方案中每個DNN模型，結(jié)果如圖7所示.可以看出：每層神經(jīng)元數(shù)量取100 時，達(dá)到預(yù)測準(zhǔn)確率峰值；隱藏層取4 時，預(yù)測準(zhǔn)確率最高，為81.37%；訓(xùn)練批大小取65時，預(yù)測準(zhǔn)確率最高，為90.20%.

圖7 DNN 優(yōu)化測試結(jié)果Fig.7 DNN optimization tests

由于計算機(jī)為二進(jìn)制結(jié)構(gòu)，為提升模型性能，將神經(jīng)元數(shù)量和訓(xùn)練批大小調(diào)整為2的冪次方，隱藏層神經(jīng)元數(shù)量可選64 或128，訓(xùn)練批大小選64.經(jīng)過多次組合試驗(yàn)，提出優(yōu)化模型DNN*，推薦結(jié)構(gòu)及參數(shù)如表4所示.

表4 DNN＊模型結(jié)構(gòu)及參數(shù)Table 4 DNN＊model structureand parameters

5.3 模型對比分析

基于測試集Q4，將DNN*模型與K-Means、KNN、SVM、線性分類[10]、DNN 線性分類[10]進(jìn)行測試，對比驗(yàn)證模型性能，如表5所示.

可以看出，針對視頻交通狀態(tài)預(yù)測任務(wù)，DNN*準(zhǔn)確率為91.18%，比DNN 線性分類高6.86%，顯著優(yōu)于K-Means、KNN、SVM 和線性分類.此外，DNN 線性分類準(zhǔn)確率比線性分類高36.27%，說明DNN 結(jié)構(gòu)更適用于交通狀態(tài)預(yù)測任務(wù).

基于Q4的測試結(jié)果進(jìn)行Radviz 可視化分析，如圖8所示.可以看出：①K-Means、KNN、SVM和線性分類模型的GGG 交通狀態(tài)與圖8(a)相比，預(yù)測效果較差，總體上劣于DNN*與DNN線性分類；②圖8(b)、(e)整體上差別不大，但圖8(b)左上部分空心正方形與圖8(a)更一致，說明DNN*比DNN線性分類對GGG 交通狀態(tài)預(yù)測效果更好；③圖8(a)、(b)數(shù)據(jù)分布幾乎一致，表明DNN*預(yù)測結(jié)果與實(shí)際狀態(tài)相符.

表5 模型預(yù)測準(zhǔn)確率Table 5 Model prediction precision (%)

基于測試集Q4將DNN*預(yù)測結(jié)果與真實(shí)結(jié)果進(jìn)行對比，如圖9 所示.可以發(fā)現(xiàn)，在204 個樣本中，DNN*有18個樣本預(yù)測錯誤，BBB和BGG狀態(tài)預(yù)測效果略差，但總體上預(yù)測結(jié)果與真實(shí)狀態(tài)基本對應(yīng).后續(xù)研究可進(jìn)一步擴(kuò)大訓(xùn)練樣本或者改進(jìn)模型結(jié)構(gòu).

圖8 預(yù)測結(jié)果對比Fig.8 Prediction results comparison

圖9 DNN*預(yù)測效果Fig.9 DNN*prediction effects

6 結(jié) 論

本文構(gòu)建了基于3DCNN-DNN的視頻交通狀態(tài)預(yù)測通用模型，對城市道路交通視頻狀態(tài)進(jìn)行識別與預(yù)測.將視頻行為動作識別的3DCNN引入到交通視頻狀態(tài)識別領(lǐng)域，可直接對交通視頻進(jìn)行三維卷積，準(zhǔn)確獲取各時段不同路段的視頻交通狀態(tài)矩陣.構(gòu)建DNN 短時交通狀態(tài)預(yù)測模型，具有多隱藏層深度學(xué)習(xí)的優(yōu)勢，預(yù)測準(zhǔn)確率優(yōu)于K-Means、KNN、SVM、線性分類及DNN 線性分類模型.

由于交通場景的復(fù)雜多樣性，以及構(gòu)建大規(guī)模交通視頻深度學(xué)習(xí)數(shù)據(jù)集的困難性，本文在構(gòu)建有限數(shù)據(jù)集的基礎(chǔ)上進(jìn)行了3DCNN-DNN視頻交通狀態(tài)識別與預(yù)測的探索性研究，對模型架構(gòu)及參數(shù)優(yōu)化驗(yàn)證等方面有待進(jìn)一步拓展研究.