孟維偉，郭麗蘋，張興宇

（中國市政工程華北設(shè)計研究總院有限公司，天津市 300074）

0 引 言

近年來，我國道路交通發(fā)展迅速，交通擁堵現(xiàn)象日益嚴重。為解決該問題，積極進行交通引導(dǎo)、合理規(guī)劃交叉口信號配時成為了當下交管部門主要采取的措施。而大范圍、精準而全面的交通信息感知，為交通態(tài)勢預(yù)判、信號控制等提供數(shù)據(jù)與決策的支撐，成為了智能交通管控的迫切需求。

目前，常用的交通信息感知手段主要包括地磁線圈、微波、視頻、紅外等。但這些單一的交通信息感知設(shè)備普遍存在信息感知不全面、精度不高的問題，而多源傳感器獲得的信息由于有冗余性、互補性等特點，可獲得比單個傳感器更為有效和準確的信息，具有較高的魯棒性和置信度。因此，多源異構(gòu)信息的融合成為了當下交通信息感知技術(shù)發(fā)展的主流趨勢。

雷達和視頻作為兩類功能強大的信息感知途徑，有著各自鮮明的優(yōu)勢，融合兩者的檢測數(shù)據(jù)將很大程度上提高交通信息感知的水平，從而實現(xiàn)大范圍、精準而全面的交通信息感知，這符合當前智能交通發(fā)展的迫切需求，對于進一步發(fā)展交通信息智能化具有重要的社會價值與經(jīng)濟價值。

1 研究現(xiàn)狀

1.1 基于毫米波雷達的交通信息感知

毫米波雷達由于具備感知信息全、范圍廣和全天候的優(yōu)勢，因此被廣泛應(yīng)用于交通信息感知、交通信號控制和交通事件監(jiān)測等領(lǐng)域。

毫米波雷達系統(tǒng)由發(fā)射特定波形的發(fā)射機和接收回波信號的接收機組成。在工作時會通過天線向前方發(fā)射毫米波，物體表面照射到毫米波后會發(fā)生散射并反射信號，毫米波雷達系統(tǒng)通過多組接收天線接收回波信號，并對信號進行放大、下變頻和信號處理，以此獲得目標的速度、方位、距離和散射截面積等信息。典型毫米波雷達模型如圖1 所示。

圖1 毫米波雷達工作原理示意圖

1.2 基于視覺傳感器的交通信息感知

近年來，隨著深度學(xué)習(xí)技術(shù)在應(yīng)用層面迎來重大突破，在其浪潮的影響下，計算機視覺技術(shù)也得到了蓬勃發(fā)展。由于視覺傳感器具備識別物體尺度、顏色、紋理等外觀信息的能力，因此被廣泛應(yīng)用于交通標志檢測、車道線檢測、車輛和行人檢測等多個交通場景。

目前在交通信息感知領(lǐng)域應(yīng)用的計算機視覺算法多數(shù)是以深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的目標檢測方法，它是通過從訓(xùn)練樣本圖像中提取車輛特征，來實現(xiàn)交通信息的感知。由于在訓(xùn)練中容易出現(xiàn)過擬合，且算法模型復(fù)雜，因此對模型訓(xùn)練有著較高的要求，但隨著圖形處理器硬件技術(shù)的快速發(fā)展，一定程度上也彌補了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的不足，使此類方法取得了較好的應(yīng)用效果。圖2 展示了基于計算機視覺的車輛目標檢測場景。

圖2 基于計算機視覺的車輛目標檢測場景

1.3 基于毫米波雷達和視覺傳感器融合的交通信息感知

由于傳感器工作原理的不同，單個傳感器通常只能獲得被檢測目標的部分特征，難以在復(fù)雜交通環(huán)境下滿足對交通信息獲取的復(fù)合要求。為了更準確地描述所檢測交通目標的特征，可以通過對多傳感器信息進行融合來獲得更全面的目標信息?？紤]到城市交通的實際工作環(huán)境和檢測要求，交通信息感知可充分結(jié)合毫米波雷達和視覺傳感器的技術(shù)特點，采用兩種傳感器信息相融合的方法來開展目標檢測。多項研究表明，該方法在實時性和準確性方面具有明顯的優(yōu)勢。圖3 展示了基于毫米波雷達和視覺傳感器結(jié)合的車輛目標檢測場景。

圖3 基于毫米波雷達和視覺傳感器結(jié)合的車輛目標檢測場景

2 技術(shù)路線

在交通信息感知中，將毫米波雷達和視覺傳感器的檢測結(jié)果進行融合可以有效提高最終的檢測效果。本文的技術(shù)路線主要介紹毫米波雷達和視覺傳感器信息融合的方法，通過對采集數(shù)據(jù)進行空間、時間和目標信息的融合，實現(xiàn)對各傳感器多層次、多空間的信息互補和優(yōu)化組合處理[1]。

2.1 傳感器空間融合

毫米波雷達與視覺傳感器不僅在原理、數(shù)據(jù)形式等多方面存在差異，兩者所屬的坐標系也不相同，因此需要將它們采集的數(shù)據(jù)轉(zhuǎn)換到同一個坐標系中。在實際融合中，常是以世界坐標系為中介，首先將雷達坐標系轉(zhuǎn)換成世界坐標系，然后通過旋轉(zhuǎn)和平移將世界坐標系轉(zhuǎn)換成像空間坐標系，最后基于小孔成像的逆向思想將像空間坐標系內(nèi)的三維目標轉(zhuǎn)換到像素坐標系中，以實現(xiàn)兩種傳感器的空間同步。雷達視頻的空間標定流程如圖4 所示。

圖4 雷達視頻的空間標定流程圖

2.2 傳感器時間融合

在進行多源傳感器數(shù)據(jù)融合時，還需要保證每個傳感器輸出的數(shù)據(jù)是在同一時刻獲得的，即需要保障采集數(shù)據(jù)的同步性。由于毫米波雷達與視覺傳感器的采樣頻率不同，兩種傳感器會按照各自固有的時間基準進行數(shù)據(jù)采集，因而導(dǎo)致兩者采集的數(shù)據(jù)間存在時間上的不同步，故需要對其進行統(tǒng)一處理。

為了方便后續(xù)進行數(shù)據(jù)的時間同步，本文使用的視覺傳感器的圖像采集頻率設(shè)置為30 Hz，毫米波雷達的采集頻率設(shè)置為20 Hz。由于視覺傳感器采集圖像的采樣頻率較高，將以毫米波雷達的采集頻率設(shè)置為基準，對視覺傳感器采集的圖像進行抽幀，將對應(yīng)時刻的視覺傳感器數(shù)據(jù)與雷達傳感器數(shù)據(jù)進行融合處理。多傳感器時間同步采集時刻如圖5 所示。

圖5 多傳感器時間同步采集時刻

2.3 交通目標信息融合

通過將不同傳感器坐標系的測量值轉(zhuǎn)換到同一個坐標系中，可將毫米波雷達檢測到的交通目標在圖像坐標系上進行投影轉(zhuǎn)換，并在視覺傳感器檢測的相應(yīng)區(qū)域進行投影。

考慮到所檢測的交通目標在世界坐標系中的空間尺寸，我們以毫米波雷達檢測到的交通目標位置為中心，將圈定目標的矩形框基于距離和空間透視變換原理投影到視覺圖像上。之后采用視覺目標檢測算法對初篩后的圈定目標進行檢測，檢測得到有效的交通目標和其對應(yīng)的矩形框。取所有矩形框的最外圍輪廓邊線，并進一步放大10%后將形成新的最大矩形[1]，這樣即得到了雷達視頻融合后的交通信息感知結(jié)果。

如圖6 所示，（a）為毫米波雷達感知的結(jié)果，（b）為視覺傳感器感知的結(jié)果，從中可以看出，兩者單獨檢測均存在一定程度的漏檢情況；（c）為雷達視頻相融合后的感知結(jié)果，效果明顯更優(yōu)。

圖6 三種感知結(jié)果對比圖

3 系統(tǒng)組成與應(yīng)用

3.1 系統(tǒng)架構(gòu)

融合毫米波雷達與視頻傳感器的雷視融合檢測系統(tǒng)主要由信息感知單元、數(shù)據(jù)傳輸單元和中心控制單元組成。系統(tǒng)前端的信息感知單元由雷視融合檢測器和交通信息分析儀組成，采集道路相關(guān)交通數(shù)據(jù)信息，通過交換機與后臺事件報警平臺相連接。傳輸網(wǎng)絡(luò)單元通過網(wǎng)絡(luò)設(shè)備及傳輸網(wǎng)絡(luò)實現(xiàn)前端信息感知單元與中心控制單元的連接，實時上傳前端采集的數(shù)據(jù)到事件報警平臺。中心控制單元包含事件報警平臺及數(shù)據(jù)存儲處理單元等，實現(xiàn)對數(shù)據(jù)的處理分析，并向前端發(fā)布命令。整體的系統(tǒng)架構(gòu)如圖7 所示。

圖7 雷視融合檢測系統(tǒng)架構(gòu)圖

3.2 系統(tǒng)功能

系統(tǒng)通過采集前端信息感知單元的雷達與視頻數(shù)據(jù)，將實時數(shù)據(jù)傳送給檢測主機；檢測主機對數(shù)據(jù)進行預(yù)處理和特征提取，將兩者的數(shù)據(jù)進行融合，結(jié)合目標檢測算法進行事件檢測，再通過服務(wù)器數(shù)據(jù)庫來保存交通流數(shù)據(jù)和異常事件結(jié)果；用戶可在客戶端界面對需要查詢的交通流數(shù)據(jù)、交通事件信息進行查詢和導(dǎo)出[2]。

系統(tǒng)可根據(jù)在道路上的部署情況，進行個性化的功能配置，對于部署的前端采集單元，可對檢測閾值、檢測事件類型、檢測區(qū)域等參數(shù)進行設(shè)置，以便更準確高效地完成對事件的采集。系統(tǒng)能根據(jù)交通目標的狀態(tài)，自動檢測各類異常事件，包括：車輛停駛、車輛違章行駛、交通事故等。在檢測到異常交通事件后，系統(tǒng)可向后臺監(jiān)控人員發(fā)布預(yù)警信息。為便于監(jiān)控人員查看，系統(tǒng)可自動將事件所在位置附近的攝像機圖像投射到監(jiān)視墻上顯示。

為便于管理人員調(diào)查交通事件，系統(tǒng)可設(shè)置保存時段，自動對事件前后的視頻數(shù)據(jù)進行儲存。管理人員可通過數(shù)據(jù)管理平臺對交通事件進行自定義查詢，了解經(jīng)常發(fā)生的事故類型和時間規(guī)律。數(shù)據(jù)管理平臺可利用數(shù)據(jù)庫管理功能，靈活地定義各類型統(tǒng)計報表和交通日志，并按照日常管理需要，導(dǎo)出相關(guān)的報表和報告。

4 結(jié) 語

本文研究了融合毫米波雷達與視覺傳感器的新一代交通信息感知技術(shù)，得出以下結(jié)論：

（1）通過系統(tǒng)的信息交互和處理，實現(xiàn)對多源異構(gòu)傳感數(shù)據(jù)的動態(tài)融合感知、對交通狀態(tài)的智能管控。

（2）通過在道路路段及交叉口部署雷達與視頻傳感器，將交通目標檢測信息傳輸給運算服務(wù)器進行融合分析，實現(xiàn)交通狀態(tài)及風險事件的實時檢測，為交通管理人員進行綜合判斷與處置提供依據(jù)，在保障交通安全運行方面發(fā)揮重要作用。