宋曉鵬，梁睿琳，郭 迎

（1.長(zhǎng)安大學(xué)，陜西 西安 710064；2.浙江數(shù)智交院科技股份有限公司，浙江 杭州 310031）

0 引 言

近兩年，智慧公路的信息化、智能化建設(shè)受到了前所未有的關(guān)注，多源信息感知是智慧公路發(fā)展中尤為重要的一環(huán)，是實(shí)現(xiàn)其智慧化的基礎(chǔ)。“智慧”是指通過光傳感器、聲傳感器、波傳感器和電傳感器對(duì)多樣化動(dòng)態(tài)信息進(jìn)行實(shí)時(shí)采集。智慧公路的交通信息感知系統(tǒng)是基于全息交通理論，利用多種傳感器技術(shù)，結(jié)合先進(jìn)的數(shù)據(jù)分析方法與物聯(lián)網(wǎng)技術(shù)，通過移動(dòng)邊緣計(jì)算（Molile Edge Computing,MEC）等實(shí)現(xiàn)交通信息匯聚和處理，從而實(shí)現(xiàn)公路管理的信息化、自動(dòng)化、智能化。

1 背景技術(shù)

依靠車載或路側(cè)傳感器實(shí)現(xiàn)實(shí)時(shí)、精確交通場(chǎng)景目標(biāo)檢測(cè)，是實(shí)現(xiàn)智慧公路多源信息感知的基礎(chǔ)。圍繞智慧公路環(huán)境感知的需求，將全天候攝像機(jī)和雷達(dá)相結(jié)合，并對(duì)攝像機(jī)和激光雷達(dá)進(jìn)行聯(lián)合標(biāo)定，建立空間同步和時(shí)間同步方案。基于邊緣計(jì)算服務(wù)器，能夠?qū)⒙穫?cè)端傳感器和車載端傳感器數(shù)據(jù)進(jìn)行匯聚、融合與分析，在路側(cè)設(shè)施和智能車輛之間共享計(jì)算結(jié)果，提高智能車的感知能力，以及公路管理的信息化、自動(dòng)化、智能化，進(jìn)而提高道路的通行效率和安全性能。

攝像機(jī)可以輸出高分辨率的圖像，包含豐富的顏色、紋理信息，特別適合精確的目標(biāo)分類。傳統(tǒng)的目標(biāo)檢測(cè)算法如SIFT、HOG、SURF，利用不同大小的滑動(dòng)窗口描繪圖像上需要檢測(cè)的區(qū)域并提取特征點(diǎn)，然后使用機(jī)器學(xué)習(xí)方法對(duì)這些特征進(jìn)行分類。近年來，在圖像識(shí)別領(lǐng)域的研究已經(jīng)拓展到使用深度學(xué)習(xí)領(lǐng)域的方法，常用方法可分為兩步法和一步法。兩步法如R-CNN，F(xiàn)ast R-CNN和Faster R-CNN等，以及遞歸卷積神經(jīng)網(wǎng)絡(luò)（RCNN）算法系列，均獲得了良好的識(shí)別效果。一步法，如YOLO系列算法，能夠獲得良好的目標(biāo)檢測(cè)結(jié)果。

在智慧公路環(huán)境中，雷達(dá)的基本任務(wù)是發(fā)射電磁波，對(duì)目標(biāo)進(jìn)行照射并接收其回波，由此獲得目標(biāo)至電磁波發(fā)射點(diǎn)的距離、方向、速度等狀態(tài)參數(shù)，能夠全天候、全天時(shí)準(zhǔn)確測(cè)量物體距離和運(yùn)動(dòng)速度。攝像機(jī)可識(shí)別物體類別、車輛高度，在物體高度與寬度測(cè)量精度、車道線識(shí)別、行人識(shí)別準(zhǔn)確度等方面具有較大優(yōu)勢(shì)，是實(shí)現(xiàn)車道偏離預(yù)警、交通標(biāo)志識(shí)別等功能不可缺少的傳感器，但作用距離和測(cè)距精度不如毫米波雷達(dá)，并且容易受光照、天氣等因素的影響。攝像機(jī)和毫米波雷達(dá)在目標(biāo)識(shí)別與跟蹤技術(shù)領(lǐng)域各有優(yōu)劣，充分利用雷達(dá)和相機(jī)數(shù)據(jù)的互補(bǔ)性，實(shí)現(xiàn)多源交通信息融合，為交通信息感知提供了一種可行的方案。

路側(cè)傳感器作為智慧高速的重要組成部分，能夠感知各類道路交通環(huán)境，獲取重要的交通信息。具體做法：在道路一側(cè)安置固定的傳感器，如視覺傳感器、毫米波傳感器等，將傳感器收集的信息送至邊緣服務(wù)器處理，提取車輛位置、車輛軌跡等信息；根據(jù)路側(cè)傳感器獲取的多源信息，進(jìn)行實(shí)時(shí)數(shù)據(jù)處理以分析交通狀況，并可以在路側(cè)設(shè)施和車輛之間共享計(jì)算結(jié)果。移動(dòng)邊緣計(jì)算能夠提供強(qiáng)大的計(jì)算和存儲(chǔ)功能，基于邊緣服務(wù)器將路側(cè)端攝像機(jī)和毫米波雷達(dá)進(jìn)行融合，通過數(shù)據(jù)預(yù)處理、空間同步、時(shí)間同步和跟蹤算法等，實(shí)現(xiàn)兩者的相互配合，共同構(gòu)建道路環(huán)境感知系統(tǒng)，使其更穩(wěn)定、更可靠?；谶吘売?jì)算的智慧公路多源感知圖示如圖1所示，系統(tǒng)結(jié)構(gòu)如圖2所示。

圖1 基于邊緣計(jì)算的智慧公路多源感知

圖2 系統(tǒng)結(jié)構(gòu)

2 數(shù)據(jù)預(yù)處理

YOLOv3是一種快速、準(zhǔn)確的深度學(xué)習(xí)方法，用于處理攝像機(jī)圖像數(shù)據(jù)。相較YOLOv2和YOLOv1，YOLOv3調(diào)整了網(wǎng)絡(luò)結(jié)構(gòu)，具有53個(gè)卷積層，稱為DarkNet53，利用多尺度特征進(jìn)行目標(biāo)檢測(cè)，在保持速度的前提下，提升了預(yù)測(cè)精度，尤其是小目標(biāo)物體的檢測(cè)效果得到了較大改善。在智慧公路場(chǎng)景中，對(duì)遠(yuǎn)處較小的車輛目標(biāo)進(jìn)行檢測(cè)較為困難，而YOLOv3卻能夠很好地檢測(cè)到道路遠(yuǎn)處的小目標(biāo)。此外，YOLOv3是一種實(shí)時(shí)對(duì)象檢測(cè)系統(tǒng)，它以30 FPS的速度處理圖像，對(duì)檢測(cè)到的對(duì)象執(zhí)行多標(biāo)簽分類，在使用Pascal Titan X的COCO測(cè)試開發(fā)中mAP值為57.9%。YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，YOLOv3多尺度檢測(cè)方法如圖4所示。

圖3 YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)

圖4 YOLOv3多尺度檢測(cè)方法

雷達(dá)通過一些內(nèi)置算法來處理原始反射點(diǎn)以檢測(cè)目標(biāo)。反射的檢測(cè)點(diǎn)并不總準(zhǔn)確，并且有時(shí)在同一車輛上會(huì)有多個(gè)檢測(cè)點(diǎn)，因此需要采用聚類方法來進(jìn)一步處理反射結(jié)果。通常，我們使用DBSCAN聚類方法處理雷達(dá)檢測(cè)數(shù)據(jù)。DBSCAN為密度聚類的無監(jiān)督方法，該方法無需知道經(jīng)過處理的簇的最終數(shù)量和形狀就可以發(fā)現(xiàn)任意形狀的簇類，并且可以同時(shí)識(shí)別噪聲點(diǎn)。

3 傳感器空間同步

毫米波雷達(dá)和攝像機(jī)在不同位置獲得多元信息，傳感器融合需包含時(shí)間同步和空間同步?？臻g同步通過聯(lián)合校準(zhǔn)標(biāo)定完成，攝像機(jī)標(biāo)定包括坐標(biāo)變換和畸變校正。坐標(biāo)變換主要涉及4個(gè)坐標(biāo)系，包括世界坐標(biāo)系、攝像機(jī)坐標(biāo)系、圖像坐標(biāo)系和像素坐標(biāo)系，如圖5所示。相關(guān)參數(shù)介紹見表1所列。

圖5 坐標(biāo)系變換

表1 相關(guān)參數(shù)

通過上述4個(gè)坐標(biāo)系的轉(zhuǎn)換得到世界坐標(biāo)系到像素坐標(biāo)系的轉(zhuǎn)換公式：

雷達(dá)校準(zhǔn)主要通過預(yù)期的位置和角度進(jìn)行精確安裝。攝像機(jī)和雷達(dá)聯(lián)合校準(zhǔn)的目的是將來自這2個(gè)傳感器的測(cè)量值轉(zhuǎn)換為相同的坐標(biāo)系。通過公式（2），我們將雷達(dá)坐標(biāo)系的測(cè)量值轉(zhuǎn)換為攝像機(jī)坐標(biāo)系。將雷達(dá)與地面平行放置，使雷達(dá)的檢測(cè)范圍與攝像機(jī)保持在同一水平。攝像機(jī)和雷達(dá)的聯(lián)合校準(zhǔn)示意圖如圖6所示。

圖6 攝像機(jī)和雷達(dá)聯(lián)合校準(zhǔn)

4 傳感器時(shí)間同步

雷達(dá)和攝像機(jī)具有不同的采樣頻率，在空間同步之后需要進(jìn)行時(shí)間同步，以提高每幀目標(biāo)定位的準(zhǔn)確性以及不同傳感器數(shù)據(jù)的綜合利用率。通過多線程時(shí)間同步方法，能夠?qū)崿F(xiàn)不同采樣頻率的攝像機(jī)和雷達(dá)的時(shí)間同步。多線程時(shí)間同步方法包含3個(gè)線程：雷達(dá)線程、攝像機(jī)線程和融合線程。雷達(dá)線程和攝像機(jī)線程分別用于以不同采樣率從雷達(dá)和攝像機(jī)收集數(shù)據(jù)。實(shí)時(shí)獲取的數(shù)據(jù)將被發(fā)送到預(yù)處理模塊，預(yù)處理模塊分別采用YOLOv3深度學(xué)習(xí)算法和DBSCAN聚類算法對(duì)相機(jī)和雷達(dá)數(shù)據(jù)進(jìn)行處理。

將獲得的預(yù)處理結(jié)果存儲(chǔ)在緩沖區(qū)中，并使用直接更新方法進(jìn)行實(shí)時(shí)更新。緩沖區(qū)中僅存儲(chǔ)一幀有效的雷達(dá)檢測(cè)數(shù)據(jù)。如果攝像機(jī)和雷達(dá)已檢測(cè)到新目標(biāo)并對(duì)其進(jìn)行聚類，則立即替換緩沖區(qū)中的數(shù)據(jù)。

融合線程由3部分組成，包括判斷模塊、檢測(cè)分配和測(cè)量融合。判斷模塊由時(shí)間控制，且融合間隔必須長(zhǎng)于攝像機(jī)和雷達(dá)的采樣間隔。當(dāng)系統(tǒng)時(shí)間達(dá)到融合時(shí)間時(shí)，將從雷達(dá)和攝像機(jī)緩沖區(qū)中提取數(shù)據(jù)以進(jìn)行后續(xù)處理。檢測(cè)分配是一種將攝像機(jī)和雷達(dá)檢測(cè)配對(duì)的對(duì)象關(guān)聯(lián)技術(shù)，以確保在多個(gè)目標(biāo)的情況下兩者可以相互匹配，通常選用分配算法或聚類算法。攝相機(jī)與雷達(dá)時(shí)間融合流程如圖7所示。

圖7 相機(jī)與雷達(dá)時(shí)間融合流程

目標(biāo)速度為毫米波雷達(dá)檢測(cè)到的速度，由攝像機(jī)識(shí)別目標(biāo)類型、大小，攝像機(jī)檢測(cè)和雷達(dá)檢測(cè)的平均位置為目標(biāo)位置。

5 多目標(biāo)關(guān)聯(lián)與跟蹤

采用雷達(dá)和攝像機(jī)進(jìn)行多目標(biāo)跟蹤需要著重于以下幾點(diǎn)：

（1）對(duì)象關(guān)聯(lián)：雷達(dá)檢測(cè)應(yīng)與攝像機(jī)檢測(cè)相關(guān)聯(lián)，而當(dāng)前融合檢測(cè)必須與現(xiàn)有軌跡相關(guān)聯(lián)；

（2）跟蹤環(huán)節(jié)：應(yīng)選用合適的濾波器進(jìn)行跟蹤，系統(tǒng)采用卡爾曼濾波；

（3）跟蹤管理：需維護(hù)跟蹤對(duì)象數(shù)據(jù)庫(kù)，并且定義跟蹤過程，包括初始化、更新和刪除。

多目標(biāo)跟蹤過程如圖8所示。

圖8 多目標(biāo)跟蹤

5.1 目標(biāo)關(guān)聯(lián)

系統(tǒng)采用Munkres算法進(jìn)行目標(biāo)關(guān)聯(lián)、對(duì)象關(guān)聯(lián)，以解決目標(biāo)分配問題。該算法中的分配數(shù)量和任務(wù)數(shù)量必須一一對(duì)應(yīng)。假設(shè)有M個(gè)目標(biāo)需要與N個(gè)目標(biāo)進(jìn)行匹配，可使用Munkres算法構(gòu)造方陣，并使用傳統(tǒng)的匈牙利算法獲得匹配結(jié)果。目標(biāo)關(guān)聯(lián)結(jié)果可以分為3類：已分配的檢測(cè)，未分配的雷達(dá)檢測(cè)和未分配的攝像機(jī)檢測(cè)。未分配的攝像機(jī)檢測(cè)用作有效檢測(cè)，毫米波雷達(dá)誤檢率較高，直接刪除未分配的雷達(dá)檢測(cè)數(shù)據(jù)。

對(duì)于多目標(biāo)跟蹤，將檢測(cè)結(jié)果分為3類：未分配的檢測(cè)，未分配的軌跡和已分配的軌跡。目標(biāo)關(guān)聯(lián)算法執(zhí)行完畢，在隨后的處理中將未分配的檢測(cè)用于目標(biāo)庫(kù)中生成新軌跡，已分配的軌跡用于軌跡更新，未分配的軌跡用于判斷是否需要?jiǎng)h除現(xiàn)有軌跡。

5.2 目標(biāo)跟蹤

卡爾曼濾波廣泛用于位置估計(jì)和目標(biāo)跟蹤。它包括2個(gè)過程：預(yù)測(cè)過程和更新過程。

預(yù)測(cè)過程：

式中：X為k時(shí)刻的狀態(tài)預(yù)測(cè)值；F為狀態(tài)轉(zhuǎn)移矩陣；X為k-1時(shí)刻的最優(yōu)估計(jì)；BU為外部輸入；ω為過程激勵(lì)噪聲；P為預(yù)測(cè)誤差；P表示為k次先驗(yàn)估計(jì)協(xié)方差矩陣；P為k-1次后驗(yàn)估計(jì)協(xié)方差矩陣；Q為過程激勵(lì)噪聲協(xié)方差矩陣。

更新過程：

式中：K為卡爾曼增益矩陣；H為觀測(cè)矩陣；R為測(cè)量噪聲協(xié)方差矩陣；Z為k時(shí)刻的測(cè)量值。

5.3 目標(biāo)管理

目標(biāo)管理遵循統(tǒng)一的規(guī)則，如果某一軌跡在過去5次更新中至少收到4次檢測(cè)信號(hào)，即收到至少4次該軌跡的已分配軌跡數(shù)據(jù)，將予以確認(rèn)并更新軌跡；如果某一軌跡最近5次更新中未收到已分配的軌跡，則該軌跡將被刪除。

6 結(jié) 語(yǔ)

圍繞智慧高速公路環(huán)境感知的需求，本文將路側(cè)全天候攝像機(jī)和毫米波雷達(dá)相結(jié)合，作為邊緣計(jì)算的應(yīng)用。系統(tǒng)對(duì)攝像機(jī)和毫米波雷達(dá)進(jìn)行聯(lián)合標(biāo)定，建立多傳感器間坐標(biāo)系轉(zhuǎn)換關(guān)系，實(shí)現(xiàn)智慧公路檢測(cè)區(qū)域內(nèi)的空間同步；通過多線程時(shí)間同步方法，實(shí)現(xiàn)不同采樣頻率攝像機(jī)和雷達(dá)的時(shí)間同步；最后采用適當(dāng)?shù)娜诤纤惴▽⑼荒繕?biāo)的所有傳感器數(shù)據(jù)進(jìn)行融合與目標(biāo)關(guān)聯(lián)，得出一致性檢測(cè)結(jié)果，進(jìn)行目標(biāo)跟蹤與目標(biāo)管理。在以后的工作中，將繼續(xù)圍繞路側(cè)設(shè)施和移動(dòng)邊緣計(jì)算服務(wù)器開展相關(guān)融合算法研究，并做進(jìn)一步改進(jìn)。