馮汝怡 李志斌 吳啟范 范昌彥

（東南大學交通學院 南京210096）

0 引 言

車輛軌跡數(shù)據(jù)中蘊含著豐富信息，為道路交通流理論研究提供支撐[1-2]。典型車輛軌跡時空圖見圖1，從中可提取瞬態(tài)速度、加速度、車頭間距、車頭時距等微觀交通流參數(shù)，亦可提取集計流量、密度、速度等宏觀交通流參數(shù)。車輛軌跡時空圖中可直觀辨識典型交通流現(xiàn)象，如擁堵生成、運動波傳播、交通流失效等。目前美國聯(lián)邦公路管理局發(fā)布的Next Generation Simulation（NGSIM）數(shù)據(jù)集[3]是應用最為廣泛的車輛軌跡數(shù)據(jù)，包含4個典型路段上車輛速度、加速度、位置坐標、車輛長度、車輛類型等信息。但是，NGSIM數(shù)據(jù)集采集路段固定，時空范圍較小，交通狀態(tài)單一，且由于技術陳舊導致存在無法修復的錯誤數(shù)據(jù)[4]，限制了基于車輛軌跡的交通流理論研究發(fā)展[5-6]。

近年來，無人機航拍逐漸成為交通視頻新的采集方式[7-8]。在允許情況下，搭載高清攝像機的無人機可垂直俯拍道路交通運行視頻。與定點攝像機拍攝相比，無人機具有出色機動性，較低安裝和使用成本，廣泛時空采集范圍，且不影響車輛正常行駛和交通流運行。但由于拍攝高度較高，航拍視頻中車輛通常具有小成像、低像素、多數(shù)量、紋理特征不明顯、受標志標線干擾等問題[9-10]，導致目標檢測存在誤差，對車輛時空軌跡提取帶來較大挑戰(zhàn)。

圖1 典型車輛時空軌跡圖Fig.1 Typical vehicle time-space trajectory map

一些學者根據(jù)圖像特征提出了基于最大后驗概率的連續(xù)幀車輛跟蹤算法，通常需要在上游檢測區(qū)域ROI標定待跟蹤目標初始位置[11-12]。但是，基于跟蹤的軌跡提取算法對車輛初始位置準確度非常敏感。換而言之，在檢測區(qū)域ROI中沒有檢測到的車輛軌跡將完全丟失。為了避免這種問題，學者嘗試檢測視頻中的全局車輛，并通過目標關聯(lián)來構建車輛軌跡[13-14]。但是，車輛檢測精度若丟失率過大，車輛軌跡可能不連續(xù)且會發(fā)生匹配錯誤。此外，軌跡是連續(xù)漸變光滑曲線，車輛位置檢測框微小誤差會在高維度交通參數(shù)（如車輛加速度）中顯著放大。

本研究旨在構建高空航拍視頻中車輛軌跡構建算法。新興的卷積神經(jīng)網(wǎng)絡算法在高精度目標檢測任務中顯示出巨大潛力，可將這些算法訓練與增強用于高空航拍視頻車輛檢測?；谲囕v動力學下軌跡置信區(qū)間，率先提出跨幀目標關聯(lián)模型并建立軌跡匹配算法。針對車道基準坐標體系軌跡，構建集合經(jīng)驗模態(tài)分解模型進行白噪聲消除。基于不同交通條件的航拍視頻進行效果測試。研究成果可提升航拍視頻軌跡提取精度，豐富更多道路交通環(huán)境下軌跡數(shù)據(jù)集，為交通流理論建模、交通流特性分析、駕駛行為分析、交通沖突判別等研究提供數(shù)據(jù)支撐。

1 軌跡構建算法

1.1 總體架構

建立航拍視頻車輛軌跡提取框架見圖2。包含4個部分，分別是車輛檢測、軌跡構建、坐標變換，以及軌跡降噪，具體為：①對神經(jīng)網(wǎng)絡YOLOv5進行訓練增強用于高空航拍下車輛檢測；②基于車輛動力學與軌跡預測置信區(qū)間約束，構建跨幀目標關聯(lián)及斷續(xù)軌跡匹配和融合算法；③坐標轉換方法將圖像坐標映射到沿車道與垂直于車道方向的Frenet坐標；④采用整體經(jīng)驗模態(tài)分解降噪算法消除軌跡中誤差，提升軌跡精度。

圖2 軌跡構建算法框架圖Fig.2 Framework of the proposed algorithm

1.2 卷積神經(jīng)網(wǎng)絡車輛檢測

YOLO系列[15]和R-CNN系列[16]是神經(jīng)網(wǎng)絡目標檢測領域的主要算法框架。本研究同時測試了YOLOv5和Faster R-CNN在任務中性能。結果表明：YOLOv5車輛檢測精度高于Faster R-CNN，因此研究采用YOLOv5算法進行車輛檢測，包括3個步驟：訓練數(shù)據(jù)集生成、模型訓練和車輛檢測。

YOLOv5算法需要大量訓練樣本以提升車輛檢測性能。訓練過程中將訓練圖片縮放到統(tǒng)一大小，分批輸入神經(jīng)網(wǎng)絡進行回歸預測。該網(wǎng)絡包含卷積層、直連層和yolo層。卷積層獲取特征樣本，直連層將卷積層分塊以控制梯度傳播及避免梯度擴散和梯度爆炸。yolo層執(zhí)行目標分類和位置預測，采用3種不同的目標尺度，分別用于檢測小型、中型和大型目標。

首先，使用所有車輛樣本訓練YOLOv5模型，發(fā)現(xiàn)初步訓練網(wǎng)絡對于深色車輛和大型車輛檢測精度不足。然后提出融合增強訓練策略以提高檢測性能，分別構建增強樣本集訓練深色車輛和大型車輛的2個神經(jīng)網(wǎng)絡模型。最后，將3個模型車輛檢測結果合并形成原始檢測集。YOLOv5檢測框邊界與車輛外輪廓存在不完全貼合，將在軌跡構建過程中消除。

1.3 完整軌跡匹配構建

車輛在各幀中呈現(xiàn)為檢測目標，在各因素干擾下存在漏檢、錯檢、偏檢等問題。結合車輛動力學中跟馳特性，構建連續(xù)幀目標關聯(lián)方法生成唯一編號下車輛軌跡。共包含3個步驟，即數(shù)據(jù)關聯(lián)、軌跡分類和軌跡補全。

數(shù)據(jù)關聯(lián)通過目標車輛在連續(xù)幀中關聯(lián)形成車輛原始軌跡，過程見圖3。對于任意軌跡中1個檢測框，其位置表示為（xi，yi，li，wi），后續(xù)過程通過向連續(xù)下游預測并搜索最大似然度檢測框，關聯(lián)形成軌跡。搜索過程按照圖3過程迭代完成。速度預測過程中，融合過去速度變化平衡誤差，構建當前瞬時與原有預測速度加權生成新預測速度。位置預測則以當前位置疊加預測速度移動獲取下游預測位置，作為搜索過程的中心點。搜索過程中，考慮原始位置偏移與預測位置偏移構建雙中心預測框打分機制，規(guī)則見式（1）。

式中：Scorei為每檢測框打分值；dmov為該檢測框距離（xi，yi）的偏移距離；dC為該檢測框到預測中心點位置的距離；m1，m2為權重，可針對不同速度環(huán)境和匹配精度調整打分影響比例。以此法則向搜索下游迭代，每一次打分最大檢測框則作為匹配目標。迭代持續(xù)最多TH次，若未搜索到匹配目標，則判定搜索結束。對所有幀中每個檢測框執(zhí)行上述過程，并由此得到原始軌跡數(shù)據(jù)。

圖3 軌跡關聯(lián)示意圖Fig.3 Illustration for trajectory correlation

經(jīng)排查總結，原始軌跡數(shù)據(jù)中存在以下錯誤：①檢測到非真實目標的幽靈檢測框在連續(xù)幀中彼此相鄰，誤關聯(lián)形成軌跡（幽靈軌跡）；②有效軌跡錯誤關聯(lián)到幽靈檢測框，形成無效軌跡；③檢測框缺失造成的斷續(xù)軌跡。

幽靈軌跡通常沒有固定移動方向，且全局速度遠低于真實軌跡速度。利用軌跡中速度分布的峰度校驗判別幽靈軌跡，峰度遠低于3則認為是幽靈軌跡（峰度等于3為正態(tài)分布）。峰度計算為

式中：V為軌跡的速度向量；μ為向量均值；σ為向量方差；K(V)為向量峰度。

有效軌跡錯誤關聯(lián)到幽靈檢測框，軌跡段首先被速度校驗與加速度校驗以區(qū)分有效片段與幽靈軌跡片段，連續(xù)出現(xiàn)速度方向不固定及加速度異常將會被視為幽靈軌跡片段裁剪。構建軌跡片段全時空校驗模型，基于車輛運行時空特性及跟馳特性，在平面圖像特征基礎上增添時空特征，增強軌跡補全真實性。

車輛軌跡在時空域具有特定行進方向，且軌跡之間具有安全距離。標定待匹配的斷裂軌跡端點，為“頭部”或“尾部”，確保斷裂軌跡之間僅存在“頭尾匹配”。定義三維向量A（X，Y，t）作為每條軌跡模型校驗基本軸，表征軌跡段運行時空走向可擬合得到。將各條軌跡“尾部”按其各自向量A n（X n，Y n，t）方向延伸，形成匹配中心軸，將所有軌跡“尾部”時空點Pi（X j，Yi，t）與所有待匹配軌跡中心軸A n（Xn，Y n，t）帶入匈牙利算法[17]求解全局時空距離最短匹配方式，其中時空距離取歐式距離。

抓取所匹配軌跡前方領頭車輛軌跡（即匹配軌跡的跟馳對象），利用刺激響應模型作跟馳擬合，以補全匹配軌跡段之間缺失的軌跡。響應刺激模型見式（3），其中未知數(shù)λ，T為每個目標的駕駛員特性決定，針對每條軌跡可視為常值。λ值通過待匹配首尾時空運動信息與對應前車位置速度信息標定獲得。T視為軌跡更新的時間，按照軌跡時間間隔取視頻幀間隔。橫向位置Y由3次插值擬合得到。依次補全每條軌跡針對其領頭車輛的跟馳軌跡補全，形成完整軌跡數(shù)據(jù)。

1.4 坐標轉換

坐標轉換目的是將車輛位置信息從圖像坐標（坐標軸為視頻邊界）轉換為Frenet坐標（坐標橫軸為車道線，縱軸垂直于車道線）[18]。見圖4，基于目標區(qū)域車道線建立Frenet坐標軸，收集車道邊界采樣點并擬合車道曲線。按式（4）～（6）計算Frenet坐標下車輛位置。

圖4 坐標轉換示意圖Fig.4 Illustration of coordinate transform

式中：{x(t)，f(x(t))，(t=0,1,2,…)}為時間t的車輛位置；{s(t)，g(s(t))，(t=0,1,2,…)}為最接近的車道中心曲線上當前車輛位置的投影點；Δq(t)為沿著車道的車輛運動；m(q(t))為垂直于車道的車輛運動；Δq(t)為q(t)在每一幀中的運動。經(jīng)過以上步驟，建立了Frenet坐標系中的軌跡數(shù)據(jù)。

1.5 軌跡數(shù)據(jù)降噪

由于相機抖動或背景干擾，目標檢測框與車輛輪廓間可能出現(xiàn)較小位置偏差，可導致速度、加速度等高緯度參數(shù)錯誤估計。對軌跡數(shù)據(jù)進行降噪處理，需去除噪聲且保留有價值軌跡信息。建立集合經(jīng)驗模態(tài)分解（EEMD）方法處理軌跡噪聲[19]，其主要思想是將原始信號分解為具有各種頻率的多個本征模函數(shù)（IMF），其中低頻IMF表示原始信號的形狀，而高頻IMF則包含原始信號的噪聲細節(jié)。降噪后軌跡由部分IMF相加得到，噪聲信號能量僅占很小比例，而大部分能量則集中在有意義信號中[20]。采用EEMD模型對獲得的軌跡數(shù)據(jù)進行分解處理，對數(shù)函數(shù)形式下信號能量為正的IMF總和，即為車輛降噪后的軌跡。

2 精度效果分析

2.1 模型訓練精度計算

采用無人機（大疆“御”Mavic Pro）在南京市內環(huán)南線快速路上空拍攝2個航拍視頻，對本文提出的軌跡提取方法效果進行評價。視頻幀率均為24幀/s，分辨率均為4 096像素×2 160像素。視頻1拍攝高度為280 m，路段長度為386 m，拍攝時長為333 s，交通狀態(tài)為自由流；視頻2拍攝高度為310 m，路段長度為427 m，拍攝時長為300 s，交通狀態(tài)為擁堵。軌跡提取算法基于Visual Studio和Matlab平臺開發(fā)，實驗配備2.5 GHz E5-2678v3處理器和11 G內存2080 Ti圖形卡工作站。

本研究中YOLO模型采用了20 000個車輛樣本進行基礎訓練，并采用了4 000個深色車輛樣本和1 000個大型車輛樣本進行增強訓練?；A訓練中迭代次數(shù)為48 000時達到最小損失，增強訓練中迭代次數(shù)為12 000時達到最小損失。訓練初期將學習率設置為0.001，應用階躍衰減策略，在基礎訓練迭代40 000次和增強訓練迭代8 000次后，將學習率降低至0.000 1。通過式（7）～（8）計算擬合優(yōu)度，反映車輛目標檢測和軌跡提取精度。

式中：TP為真陽數(shù)（即真實車輛/軌跡被正確識別的數(shù)量）；GT為真實數(shù)量；FP為假陽數(shù)（即被錯誤的識別為車輛/軌跡的數(shù)量）。召回率Recall為測試視頻中正確檢測到車輛/軌跡數(shù)量的性能；準確率Precision為測試視頻中識別為車輛/軌跡樣本中的正確率。

2.2 車輛檢測結果分析

隨機抽取測試視頻中500幀并手工標定車輛數(shù)量，測試車輛檢測模型性能。訓練后YOLO模型檢測無人機視頻中車輛數(shù)量精度較好，視頻1召回率為93.21%，準確率為98.86%；視頻2中召回率為94.99%，準確率為98.83%。結果表明本文構建高空車輛目標檢測模型在擁堵和自由流交通狀況下均較為精確。

對2類典型檢測錯誤進行詳細分析，圖5展示了2個典型錯誤示例。假陰性表示真實車輛未為被檢測到，主要原因在于目標車輛受到光照、遮擋等原因導致與訓練樣本不一致。圖5（a）中道路標記與白色車輛特征相似，顏色直方圖pap相似度為0.669 0（見圖5（b），模型產(chǎn)生誤檢。此類問題可以通過增加訓練樣本多樣性改善

假陽性非真實車輛被錯誤地檢測成為車輛，主要原因在于模型將路面或道路標記錯認為車輛，因為它們具有相似特征。圖5（c）中車輛輪廓不清晰，道路與車輛的顏色直方圖pap相似度為0.3846（見圖5（d）），模型無法識別車輛，造成了假陰性結果。

圖5 假陽性檢測結果的可能原因Fig.5 Possible cause for false positive detection

2.3 軌跡提取結果分析

研究團隊手工計數(shù)了真實軌跡數(shù)量，對軌跡提取算法精度進行分析，結果見表1。視頻1召回率為93.00%，準確率為99.15%；視頻2中召回率為86.69%，準確率為91.60%。實驗結果表明：交通狀態(tài)為自由流時軌跡構建比擁堵時更準確，其原因在于擁堵狀態(tài)下車輛數(shù)量多、間距小、干擾大、車速低，對于目標關聯(lián)及軌跡匹配產(chǎn)生影響。

表1 軌跡構建結果Tab 1. Results of trajectory construction

2.4 軌跡降噪結果分析

由于無法獲得所有車輛完全精準軌跡信息，本文通過檢查交通參數(shù)（如車輛速度、加速度、車頭時距、車頭間距和間隙）的分布范圍及合理性，來估計軌跡精度和降噪算法有效性。使用EEMD降噪處理的典型車輛軌跡見圖6。圖6（a）中可以看出原始軌跡波動較大，降噪后軌跡較為平滑。降噪后車輛加速度變化見圖6（b），降噪后數(shù)據(jù)在合理范圍內。將本算法得出的軌跡加速度分布和NGSIM軌跡數(shù)據(jù)庫Montanino降噪算法得出的加速度分布進行對比，制成m累積百分比曲線見圖6（c）。受到擁堵場景以及交通震蕩的影響，2條加速度分布曲線累積過程略有不同，但曲線橫坐標首尾位置及累積總體趨勢一致，表明降噪算法有效。

圖6 車輛軌跡降噪結果Fig.6 Results for trajectory denoising

本文將車輛軌跡中關鍵交通參數(shù)（如速度，車頭時距，車頭間距，間隙等）進行了統(tǒng)計分布展示，結果見圖7。統(tǒng)計結果表明：車輛平均速度為40.85 km/h，因2段視頻分別為擁堵和自由流狀態(tài)，速度呈現(xiàn)雙峰分布，標準差為16.98 km/h；車輛平均車頭間距為12.95 m，因擁堵狀態(tài)影響，分布在10～20 m的車輛居多，車頭間距標準差為4.58 m；同理車輛平均間隙為8.21 m，標準差2.92 m；車輛平均車頭時距1.67 s，標準差為0.27 s，與NGSIM數(shù)據(jù)集分布相近。

圖7 關鍵交通參數(shù)與NGSIM數(shù)據(jù)對比Fig.7 Comparison of key traffic parameters with NGSIM

針對測試視頻中車輛軌跡的時空圖進行繪制，見圖8～9?？梢悦黠@看出：視頻1為自由流狀態(tài)，每條車道上車輛速度相對恒定；視頻2軌跡圖中明顯觀察到擁堵形成和運動波傳播過程，也可觀察到車輛跟馳和換道行為。

圖8 視頻1車輛軌跡時空圖Fig.8 Time-space vehicle trajectory for video 1

圖9 視頻2車輛軌跡時空圖Fig.9 Time-space vehicle trajectory for video 2

3 結束語

本研究構建高空航拍視頻中車輛時空軌跡提取算法，采用卷積神經(jīng)網(wǎng)絡目標檢測YOLOv5構建全域車輛檢測，提出了車輛動力學與軌跡預測置信度約束下跨幀目標關聯(lián)算法，建立了斷續(xù)軌跡匹配與融合方法，建立圖像坐標轉換車道基準下Frenet坐標方法，構建集合經(jīng)驗模態(tài)分解（EEMD）模型進行軌跡數(shù)據(jù)噪聲消除。

采用南京市快速路上拍攝2組航拍視頻進行了測試，涵蓋擁擠和自由流交通狀態(tài)。針對每幀（0.04 s/幀）車輛檢測和軌跡構建效果進行測試，結果表明，車輛檢測平均召回率為93.21%和94.99%，平均準確度為98.86%和98.83%；軌跡構建平均召回率為93.00%和86.69%，平均準確率為99.15%和91.60%。降噪算法有效減少了軌跡噪聲，使交通參數(shù)處于合理區(qū)間。構建算法的車輛軌跡提取速度為0.07 s/（輛·m）（即30 s/軌跡或0.7 s/幀）。

本研究中無人機航拍視頻及車輛軌跡數(shù)據(jù)均開源提供下載，可用于校核和對比車輛檢測和軌跡構建算法精度，數(shù)據(jù)發(fā)布于http://seutraffic.com/。