白云龍 楊開欣 郭謹(jǐn)瑋 陳曉韋 董海博

摘 要：智慧出行，智能駕駛的發(fā)展很大程度上依靠傳感器來實現(xiàn)。自動駕駛、自動泊車和自動緊急制動等駕駛功能，針對汽車多種傳感器采集存在的不穩(wěn)定性，導(dǎo)致車輛信息在特征提取上存在很大差異，數(shù)據(jù)處理融合過程中的差異造成信息沖突，導(dǎo)致有效信息丟失。多傳感器融合算法可以將有效數(shù)據(jù)特征提取，增強(qiáng)有效數(shù)據(jù)信息量。

關(guān)鍵詞：智能車;多傳感器;信息融合

自動駕駛系統(tǒng)關(guān)鍵感知融合技術(shù)，并將系統(tǒng)集成在車上。使車輛具備獲取車輛行駛周邊環(huán)境的有用信息的能力，實現(xiàn)對目標(biāo)信息的檢測、分類、跟蹤與預(yù)測的功能。實現(xiàn)多傳感器信息融合技術(shù)的開發(fā)與應(yīng)用，同時實現(xiàn)對自身定位信息、運動狀態(tài)信息等的獲取，從而擴(kuò)大系統(tǒng)的時頻覆蓋范圍、增加環(huán)境信息維數(shù)、發(fā)揮出感知系統(tǒng)的綜合效應(yīng)，進(jìn)而為決策系統(tǒng)提供更加立體和可靠的環(huán)境信息。完成實車測試與相應(yīng)性能調(diào)優(yōu)，實現(xiàn)實車相應(yīng)應(yīng)用。

在封閉園區(qū)、高速公路/環(huán)路、城市道路及北京市自動駕駛測試試驗場場景下，基于多傳感器的感知信息融合系統(tǒng)針對汽車異常復(fù)雜的行駛環(huán)境，以感知系統(tǒng)各傳感器的檢測優(yōu)勢為依據(jù)，以確保整個系統(tǒng)能夠在最大范圍內(nèi)對車輛周邊環(huán)境信息實現(xiàn)360度的掃描與覆蓋為原則，通過對傳感器數(shù)據(jù)信息進(jìn)行處理及感知信息融合算法進(jìn)行開發(fā)，獲取車輛行駛周邊環(huán)境的有用信息，實現(xiàn)對目標(biāo)信息的檢測、分類、跟蹤與預(yù)測（目標(biāo)信息：車道狀況信息、周邊車輛及行人、自行車等的速度、角度、距離信息以及行車標(biāo)志、交通信號燈等環(huán)境信息），同時實現(xiàn)對自身定位信息、運動狀態(tài)信息等的獲取，從而擴(kuò)大系統(tǒng)的時頻覆蓋范圍、增加環(huán)境信息維數(shù)、發(fā)揮出感知系統(tǒng)的綜合效應(yīng)，進(jìn)而為決策系統(tǒng)提供更加立體和可靠的環(huán)境信息。

多傳感器信息融合系統(tǒng)包含硬件層，中間層和應(yīng)用層三層結(jié)構(gòu)，多傳感器信息融合系統(tǒng)的內(nèi)部分層結(jié)構(gòu)如下：

硬件層主要包含激光雷達(dá)、毫米波雷達(dá)、超聲波傳感器、視覺傳感器;中間層為Linux操作系統(tǒng)和基于PCL、OpenCV、Caffe、TensorFlow、Eigen3庫，傳感器坐標(biāo)系統(tǒng)一、時間同步模塊，同時包含各路數(shù)據(jù)的解析模塊（CAN解析，串口解析，網(wǎng)口點云數(shù)據(jù)解析，前視和環(huán)視圖像數(shù)據(jù)解析）;應(yīng)用層為感知算法的功能實現(xiàn)層，單傳感器檢測和多傳感器融合，以及SLAM地圖和結(jié)構(gòu)化高精度地圖。

單傳感器檢測即基于單一傳感器數(shù)據(jù)進(jìn)行特定的識別檢測，具體包括：

（1）基于激光雷達(dá)點云數(shù)據(jù)的障礙物檢測、分類，車道線檢測;

（2）基于圖像的障礙物檢測、分類，交通標(biāo)志檢測，可行駛區(qū)域檢測，紅綠燈檢測，車道線檢測;

（3）基于毫米波雷達(dá)的障礙物檢測;

（4）基于環(huán)視相機(jī)的車位檢測;

（5）基于激光雷達(dá)掃描匹配的定位;

多傳感器融合即采用數(shù)據(jù)融合算法，對于多種傳感器檢測結(jié)果進(jìn)行進(jìn)一步的融合處理，使得感知系統(tǒng)能夠在復(fù)雜場景下充分發(fā)揮多類型傳感器的優(yōu)勢，完成對多目標(biāo)的可靠追蹤，具體包括：

（1）RV融合;

（2）UV融合;

（3）RLV融合追蹤（包含LV融合）;

（4）GPS-IMU-掃描匹配融合定位（包括：基于全局坐標(biāo)系下的x、y、z坐標(biāo)及x、y、z三個方向的速度、加速度信息（包含坐標(biāo)系的定義）、時間信息、緯度、經(jīng)度、海拔、定位狀態(tài)、偏航角、俯仰角、滾轉(zhuǎn)角。）;

此外還包含用戶控制臺以及可視化界面，方便用戶選擇性地開啟和關(guān)閉本系統(tǒng)所有模塊，應(yīng)用層各模塊間以進(jìn)程間通信方式進(jìn)行通信。融合感知系統(tǒng)所有功能模塊的計算總量遠(yuǎn)遠(yuǎn)大于計算平臺的計算量，因此必須根據(jù)車輛的實時狀態(tài)有選擇的關(guān)閉部分功能模塊以釋放不必要的計算力、內(nèi)存等資源浪費情況。

聯(lián)動啟動：通過啟動配置文件及相應(yīng)的解析腳本，管理進(jìn)程的啟動參數(shù)及順序。構(gòu)造功能模塊的進(jìn)程啟動鏈，依次啟動數(shù)據(jù)解析層、數(shù)據(jù)處理層、感知融合層、業(yè)務(wù)管理層各功能模塊。

進(jìn)程通訊：進(jìn)程間通訊主要利用共享內(nèi)存的方式，首先在主進(jìn)程中申請（linux/shmget）一個固定大小的內(nèi)存空間用于多傳感器數(shù)據(jù)的傳輸，同時為不同的硬件傳感器，建立獨立的子進(jìn)程（linux/fork），并將共享內(nèi)存區(qū)對象映射到調(diào)用的子進(jìn)程的地址空間（linux/shmat），各子進(jìn)程可獨立的接受傳感數(shù)據(jù)，并將傳感數(shù)據(jù)寫入到共享內(nèi)存中，在數(shù)據(jù)融合處理之后將結(jié)果返回相關(guān)UI進(jìn)程。

系統(tǒng)級資源調(diào)度

融合感知系統(tǒng)所有功能模塊的計算總量遠(yuǎn)遠(yuǎn)大于計算平臺的計算量，因此必須根據(jù)車輛的實時狀態(tài)有選擇的關(guān)閉部分功能模塊以釋放不必要的計算力、內(nèi)存等資源浪費情況。狀態(tài)判斷：車輛的狀態(tài)可以通過車輛底盤、傳感器等渠道獲得。經(jīng)過對數(shù)據(jù)的分析處理，判斷車輛當(dāng)前處于倒車、停車、巡航、加速、超車等不同的道路場景。資源調(diào)度：根據(jù)車輛實時狀態(tài)，管理控制系統(tǒng)的資源分配。合理的選擇關(guān)閉功能模塊可以大幅度減少計算力的緊缺狀況，降低系統(tǒng)出現(xiàn)故障的風(fēng)險。

各模塊處理周期：所有解析模塊能夠基本達(dá)到實時性，對于圖像處理模塊工作頻率為15-20Hz，激光雷達(dá)點云處理模塊的工作頻率為10Hz（激光雷達(dá)數(shù)據(jù)頻率為10Hz），融合定位模塊工作頻率達(dá)到10Hz以上，融合感知模塊工作頻率為10Hz。

車輛的狀態(tài)可以通過車輛底盤、傳感器等渠道獲得。經(jīng)過對數(shù)據(jù)的分析處理，判斷車輛當(dāng)前處于倒車、停車、巡航、加速、超車等不同的道路場景。資源調(diào)度：根據(jù)車輛實時狀態(tài)，管理控制系統(tǒng)的資源分配。合理的選擇關(guān)閉功能模塊可以大幅度減少計算力的緊缺狀況，降低系統(tǒng)出現(xiàn)故障的風(fēng)險。由于感知融合系統(tǒng)是一個分布式的多進(jìn)程系統(tǒng)，有必要對所有功能模塊及相應(yīng)進(jìn)程做狀態(tài)監(jiān)聽及故障檢測，并在發(fā)生故障時通知GUI發(fā)出告警。警系統(tǒng)能更有效的實現(xiàn)對系統(tǒng)整體的管理。在本系統(tǒng)中，根據(jù)故障的危險等級，警報可分為調(diào)試、信息、警告、錯誤四個等級。

用于調(diào)試的GUI和用于演示的GUI，內(nèi)容主要分為兩部分功能：人機(jī)交互、感知結(jié)果。人機(jī)交互包括感知系統(tǒng)運行開關(guān)（默認(rèn)關(guān)閉），各模塊獨立開/關(guān)，用戶可以選擇性對任意模塊開關(guān)，同時，系統(tǒng)包含前向行駛場景和泊車場景下兩個一鍵開關(guān)，各傳感器坐標(biāo)能夠在人機(jī)交互界面下配置參數(shù)。

通過高斯模糊和中值濾波進(jìn)行圖像預(yù)處理;通過紅色通道濾波進(jìn)行車道線色彩特征提取;通過Canny檢測進(jìn)行車道線邊緣特征提取;通過霍夫線檢測進(jìn)行特征融合后的特征增強(qiáng);通過色彩直方圖及滑動窗口進(jìn)行車道線搜索;機(jī)器學(xué)習(xí)算法：通過機(jī)器學(xué)習(xí)算法對前視相機(jī)的實時圖像進(jìn)行特征提取，檢測和識別前視相機(jī)圖像中的車道線信息。

感知融合系統(tǒng)的功能繁雜，各功能模塊的工作頻率不一致。但由于其對數(shù)據(jù)實時性的要求極高，本系統(tǒng)被設(shè)計為一個基于分布式計算架構(gòu)的多進(jìn)程功能系統(tǒng)。因此需要系統(tǒng)整體上對各進(jìn)程進(jìn)行統(tǒng)一協(xié)調(diào)調(diào)度，聯(lián)動依次啟動各功能模塊的相關(guān)進(jìn)程鏈，注冊進(jìn)程間的通訊關(guān)系，建立進(jìn)程與進(jìn)程的數(shù)據(jù)鏈接。

參考文獻(xiàn)：

[1]王軍偉.智能傳感器在汽車電子方面的應(yīng)用[J].科技傳播，2013（5）：191+196.

[2]肖萍萍，宋暉，肖帥等.關(guān)于智能傳感器與汽車電子的分析[J].卷宗，2015（11）：339.

[3]馮小福.汽車智能化電子傳感器技術(shù)應(yīng)用研究[J].數(shù)字技術(shù)與應(yīng)用，2015（3）：107-108.

[4]潘泉，王增福，梁彥，等.信息融合理論的基本方法與進(jìn)展（II）[J].控制理論與應(yīng)用，2012，29（10）：599-615.

[5]王海鵬，熊偉，何友，等.集中式多傳感器概率最近鄰域算法 [J].儀器儀表學(xué)報，2010，31（11）：2500-2507.

[6]宋強(qiáng)，熊偉，何友.多傳感器多目標(biāo)系統(tǒng)誤差融合估計算法 [J].北京航空航天大學(xué)報，201238（6）：835-841.

[7]劉貴如，周鳴爭，王陸林，等.城市工況下最小安全車距控制模型和避撞算法[J].汽車工程，2016，38（10）：1200-1205.