孫永安

（山西交通控股集團 運城北高速公路管理有限公司，山西 運城 044000）

1 研究背景

山西省通車運營高速公路隧道共計684座，累計長度達到945.222 km，隧道數(shù)量多距離長，并且隧道是交通事故的高發(fā)路段，對公路隧道的日常維護、事故處置和安全管理帶來巨大的挑戰(zhàn)。在傳統(tǒng)的隧道監(jiān)控視頻模式下，隧道監(jiān)控人員需要人工監(jiān)控大量的視頻畫面，并要及時通過視頻監(jiān)控發(fā)現(xiàn)事故事件信息，這要求隧道監(jiān)控人員具有高度集中的注意力，但實際監(jiān)控效果不夠理想。

經(jīng)過多年的技術(shù)投入和發(fā)展，基于對車輛運動目標檢測的隧道事故事件監(jiān)測系統(tǒng)已經(jīng)在隧道現(xiàn)場投入應用較長時間，但是由于傳統(tǒng)圖像處理算法在技術(shù)性能上的局限性，造成系統(tǒng)識別精度差、誤報高和漏報頻繁，需要很多人工對事件加以確認，浪費大量的人力和物力。因此，有必要研究應用新一代的隧道車輛目標檢測技術(shù)，以實現(xiàn)對車輛目標的準確高效識別和異常狀態(tài)自動報警功能[1]。

隧道車輛目標檢測技術(shù)的檢測結(jié)果將直接影響隧道監(jiān)控人員應對事件的指揮和決策。本文根據(jù)當前公路隧道車輛目標識別的要求，在準確感知的基礎上，運用毫米波雷達全天候、抗遮擋的感知技術(shù)特點，進一步解決視頻監(jiān)控技術(shù)易受背景多變、光照環(huán)境、遮擋等影響的問題，實現(xiàn)隧道內(nèi)車輛目標狀態(tài)的準確采集，并進行適度的調(diào)整、預警和引導，從而提高高速公路運營的安全水平和道路通行能力。

2 研究現(xiàn)狀

2.1 基于機器視覺的隧道車輛目標檢測

機器視覺技術(shù)已廣泛應用于人臉識別、交通監(jiān)控、城市安防等各個領域。在智能交通技術(shù)的研究中，基于機器視覺的目標檢測方法可實現(xiàn)對交通標志檢測、車道線檢測、車輛和行人檢測等多個應用場景[2]?；跈C器視覺的隧道車輛目標檢測方法大致可分為3類：基于車輛特征的目標檢測方法、以機器學習方法為基礎的目標檢測方法和以深度學習神經(jīng)網(wǎng)絡為基礎的目標檢測方法。

基于深度學習的目標檢測方法通過從訓練樣本圖像中來提取車輛特征，在訓練中容易出現(xiàn)過擬合，且算法模型復雜，對模型訓練有較高的要求。但圖形處理器硬件技術(shù)的快速發(fā)展在一定程度上彌補傳統(tǒng)神經(jīng)網(wǎng)絡的不足，使基于深度學習的隧道車輛目標檢測方法取得較好的應用前景。圖1展示了基于視覺的隧道車輛目標檢測技術(shù)。

圖1 基于視覺的隧道車輛檢測技術(shù)

2.2 基于交通雷達的隧道車輛目標檢測

交通雷達通過微帶陣列天線向外發(fā)射雷達波，接收目標反射信號，處理后獲取交通目標的相對距離、相對速度、方位角度等。毫米波雷達是定義在毫米波頻段（波長1～10 nm）內(nèi)工作的雷達，受環(huán)境影響較小[3]。目前在毫米波雷達領域占據(jù)較大份額的四家主要制造商有博世（Bosch）、大陸（Continental）、德爾福（Delphi）和美安（Autoliv），其產(chǎn)品在車輛安全領域被廣泛使用。圖2顯示基于毫米波雷達的車輛目標檢測情況。

圖2 基于毫米波雷達的車輛目標檢測技術(shù)

毫米波雷達通常只能夠獲取二維數(shù)據(jù)，而目前的研究人員已開展激光雷達的研究工作來獲取交通空間三維數(shù)據(jù)，并且已經(jīng)對相應的車輛目標檢測進行了大量研究。隨著技術(shù)的成熟和成本進一步下降，將在隧道車輛目標檢測應用場景迎來更廣泛的應用[4]。

2.3 基于毫米波雷達和機器視覺融合的隧道車輛目標檢測

由于傳感器工作原理的不同，單個傳感器通常只能獲得被檢測目標的部分特征，難以在復雜隧道環(huán)境下滿足對車輛目標檢測的復合要求。為更準確地描述所檢測交通目標的特征，通過對多傳感器信息進行融合從而獲得更全面的目標信息，實現(xiàn)對車輛目標檢測的全天候和高可靠性。圖3顯示基于毫米波雷達和機器視覺融合的車輛目標檢測情況。

圖3 基于毫米波雷達和機器視覺融合的車輛目標檢測

考慮到隧道內(nèi)的實際工作環(huán)境和檢測要求，且激光雷達目前的成本較高。隧道車輛目標檢測技術(shù)可充分結(jié)合機器視覺和毫米波雷達的技術(shù)特點，采用多傳感器信息融合的方法來開展目標檢測技術(shù)研究。經(jīng)過多項研究表明，該方法在實時性和準確性方面具有明顯的優(yōu)勢。

3 技術(shù)路線

在車輛檢測中，將毫米波雷達和機器視覺的檢測結(jié)果進行融合可以有效提高最終檢測效果。本文技術(shù)路線主要介紹機器視覺和毫米波雷達信息融合的方法，通過對采集數(shù)據(jù)進行空間、時間和事件信息的融合，實現(xiàn)對各傳感器多層次、多空間的信息互補和優(yōu)化組合處理[5]。

3.1 傳感器空間融合

由于視覺傳感器和毫米波雷達的安裝位置不同，需要將不同傳感器坐標系的測量值轉(zhuǎn)換到同一個坐標系中。實現(xiàn)多傳感器數(shù)據(jù)空間融合的關(guān)鍵是建立三維世界坐標系、毫米波雷達坐標系、攝像機坐標系、圖像顯示坐標系和傳感器像素坐標系之間的坐標轉(zhuǎn)換關(guān)系。視覺傳感器和毫米波雷達的空間融合就是將不同傳感器坐標系的采集數(shù)據(jù)轉(zhuǎn)換到同一個坐標系中。在實際融合中，可通過將毫米波雷達坐標系下的采集目標坐標通過坐標系轉(zhuǎn)換到攝像機對應的像素坐標系下實現(xiàn)多傳感器的空間同步。圖4顯示了各坐標系之間的轉(zhuǎn)換關(guān)系。

圖4 各坐標系之間的轉(zhuǎn)換關(guān)系

3.2 傳感器時間融合

在進行多源傳感器融合時，還需要保證每個傳感器輸出的數(shù)據(jù)是在同一時刻獲得的，即需要保障采集數(shù)據(jù)的同步性，從而保障信息融合結(jié)果的準確性。由于不同類型傳感器的采樣頻率存在差異，對采集數(shù)據(jù)進行后處理的時間也不相同，通過對毫米波雷達傳感器和視覺傳感器采集數(shù)據(jù)在同步性上進行統(tǒng)一，以保證多傳感器之間檢測數(shù)據(jù)在融合處理時的時間同步性。

為了方便后續(xù)進行數(shù)據(jù)的時間同步，文中使用的視覺傳感器的圖像采集頻率設置為40 Hz，毫米波雷達的采集頻率設置為20 Hz。由于視覺傳感器采集圖像的采樣頻率較高，將以毫米波雷達的采集頻率設置為基準，對視覺傳感器采集的圖像進行抽幀，將對應時刻的視覺傳感器數(shù)據(jù)與雷達傳感器數(shù)據(jù)進行融合處理。多傳感器時間同步采集時刻如圖5所示。

圖5 多傳感器時間同步采集時刻

3.3 車輛目標信息融合

通過將不同傳感器坐標系的測量值轉(zhuǎn)換到同一個坐標系中，可將毫米波雷達傳感器檢測到的車輛交通目標在圖像坐標系上進行投影轉(zhuǎn)換，在視覺傳感器檢測的相應區(qū)域進行投影?？紤]到車輛目標在世界坐標系中的空間尺寸，將毫米波雷達檢測到的交通目標位置為中心，將矩形框基于距離和空間透視變換原理投影到視覺圖像上。采用視覺目標檢測算法對感興趣區(qū)域進行檢測，檢測到有效交通目標和矩形檢測框。取所有矩形包圍框的最外圍輪廓邊線，并進一步放大10%后將形成新的最大矩形[5]。

如圖6所示，圖中白色矩形為對應的視覺目標檢測框。圖中白色矩形為毫米波雷達轉(zhuǎn)換到圖像顯示坐標系的目標檢測框。白色虛線矩形區(qū)域為傳感器融合后的目標檢測框。

圖6 基于視覺和毫米波雷達傳感器的車輛目標信息融合示意圖

4 系統(tǒng)組成與應用

4.1 系統(tǒng)結(jié)構(gòu)與功能

融合毫米波雷達與機器視覺技術(shù)的隧道車輛目標檢測系統(tǒng)的構(gòu)成主要包括4部分：融合毫米波雷達和視覺傳感的前端傳感器、通信數(shù)據(jù)傳輸系統(tǒng)、運行服務器和事件檢測功能平臺。在隧道內(nèi)安裝融合毫米波雷達和視覺傳感的前端傳感器，按照隧道內(nèi)原有監(jiān)控攝像機的安裝位置，間隔150 m進行安裝。前端采集單元的數(shù)據(jù)信號利用遠程光端機通過光纖傳輸至就近的網(wǎng)絡交換機。系統(tǒng)架構(gòu)如圖7所示。

圖7 融合視覺和毫米波雷達信息的隧道車輛目標檢測系統(tǒng)結(jié)構(gòu)

系統(tǒng)通過采集前端采集單元的視頻通道數(shù)據(jù)，以組播碼流傳輸方式將實時圖像傳送給檢測主機；檢測主機對數(shù)字化圖像進行預處理和特征提??；通過與毫米波雷達傳感器的采集事件進行融合，結(jié)合目標檢測算法進行事件檢測，再通過服務器數(shù)據(jù)庫來保存交通流數(shù)據(jù)和異常事件結(jié)果；可以在客戶端功能界面對需要查詢的交通流數(shù)據(jù)、交通事件信息進行查看和導出[6]。

4.2 隧道車輛目標檢測與預警算法

系統(tǒng)能根據(jù)基于信息融合的車輛目標檢測器識別車輛狀態(tài)，自動檢測各類異常事件類型，包括：隧道車輛停駛、車輛逆行、交通事故等。系統(tǒng)可在檢測到異常事件后，通過數(shù)據(jù)后臺向隧道監(jiān)控人員發(fā)布預警信息。為便于監(jiān)控人員查看，可自動將事件所在位置附近的攝像機圖像投射到監(jiān)視墻上顯示。

為便于管理人員調(diào)查事件和交通事故，系統(tǒng)可設置保存時段自動對事件前后的視頻數(shù)據(jù)進行儲存。系統(tǒng)根據(jù)部署的隧道情況，可進行個性化的功能配置，對于部署的前端采集單元，可對檢測閾值、檢測事件類型、檢測區(qū)域等參數(shù)進行設置，以便更準確高效地完成對事件的采集。

4.3 系統(tǒng)的統(tǒng)計與查詢功能

通過前端采集單元，系統(tǒng)平臺可利用后臺服務器數(shù)據(jù)庫對交通事件信息進行存儲。系統(tǒng)管理人員可通過數(shù)據(jù)管理平臺對事件進行自定義查詢，了解經(jīng)常發(fā)生的事故類型和時間規(guī)律。數(shù)據(jù)管理平臺可利用數(shù)據(jù)庫管理功能，靈活地定義各類型統(tǒng)計報表和交通日志，并按照日常管理需要，導出相關(guān)的報表和報告。

5 結(jié)語

本文研究了融合毫米波雷達與機器視覺的新一代隧道車輛目標檢測技術(shù)，通過系統(tǒng)的信息交互和處理，實現(xiàn)對多源傳感單元數(shù)據(jù)的動態(tài)融合感知、對車輛交通事件的智能管控和智能預警信息發(fā)布。通過在隧道內(nèi)部署融合毫米波雷達與機器視覺的傳感器，將車輛目標檢測信息傳輸給運算服務器進行融合分析，檢測隧道內(nèi)風險事件，為隧道監(jiān)控人員進行事件綜合判斷提供依據(jù)，在保障隧道交通安全運營方面發(fā)揮重要作用。