張博森，陳學(xué)文

（遼寧工業(yè)大學(xué) 汽車與交通工程學(xué)院，遼寧 錦州 121001）

前言

隨著傳感器技術(shù)和數(shù)據(jù)處理技術(shù)的發(fā)展，快速有效的前車識別有了越來越多的方案。多傳感器數(shù)據(jù)融合可大大降低目標(biāo)漏檢率，其含義是將來自不同來源的觀測數(shù)據(jù)結(jié)合起來，以提供完整的環(huán)境描述，并克服可用性、魯棒性等方面限制的過程。車載攝像頭作為能在復(fù)雜路況環(huán)境下清晰地檢測道路目標(biāo)的傳感器，可靠耐用，價格低廉，常用于檢測分類。但其易受光線的干擾，且不能準(zhǔn)確地檢測前車速度和車距。而車載雷達(dá)可彌補(bǔ)攝像頭的不足，因此聯(lián)合兩者用于目標(biāo)識別會有更好的效果。基于多傳感器融合的道路環(huán)境有效感知是邁向更高級駕駛輔助系統(tǒng)的必要一步，本文對用于前車識別的多種傳感器融合方案進(jìn)行了概述，并給出一種理論研究方法。

1 融合毫米波雷達(dá)、相機(jī)的前車識別

毫米波雷達(dá)和相機(jī)是智能車輛中前車識別與跟蹤的兩種主流且相對成熟的傳感器。由于輸出的數(shù)據(jù)信息在應(yīng)用場景中可以互補(bǔ)，所以對兩者信息融合的研究具有極高價值。

早期的Ulrich K.等人基于雷達(dá)和視頻傳感器數(shù)據(jù)，提出了一種用于駕駛員輔助的實時檢測與識別系統(tǒng)。其中雷達(dá)用于獲得感興趣區(qū)域和距離檢測，單目相機(jī)用來確定車輛寬度和橫向位置。Siyang H.[1]等人在將雷達(dá)探測目標(biāo)位置投影到圖像平面后，選用基于零件模型的對象檢測方法，實現(xiàn)了前方多種類目標(biāo)的識別分類。Daejun K.[2]等人基于車輛零件（后角）檢測和定位的魯棒方法，在初始雷達(dá)點周圍生成車輛后角候選點并生成多個矩形候選框。利用坐標(biāo)轉(zhuǎn)換在視覺圖像上生成對應(yīng)感興趣區(qū)域，并用深度學(xué)習(xí)方法檢測特征以實現(xiàn)前車識別。

重慶郵電大學(xué)的陳云坤[3]提出了一種基于集中式結(jié)構(gòu)的融合算法，首先利用毫米波雷達(dá)和相機(jī)獲取前車信息，再利用全局最近鄰算法和加權(quán)平均方法實現(xiàn)目標(biāo)融合。重慶大學(xué)的姜雨含[4]提出了一種并行信息融合方法，首先采用機(jī)器學(xué)習(xí)的方法，基于Adaboost 算法構(gòu)建車輛檢測分類器識別前車，再利用關(guān)聯(lián)度算法與通過濾波算法檢測出的雷達(dá)目標(biāo)進(jìn)行融合。吉林大學(xué)的陳曉偉[5]選擇分布式融合方式，提出一種基于加權(quán)平均算法的特征級融合方法，為提高檢測效率和準(zhǔn)確率，基于視覺的前車識別采用深度學(xué)習(xí)的方法，基于毫米波雷達(dá)的目標(biāo)識別模塊建立了車輛二自由度模型和前車運動狀態(tài)預(yù)估模型，并對雷達(dá)信號做有效的濾波處理，最終得到了很好的融合識別結(jié)果。

2 融合激光雷達(dá)、相機(jī)的前車識別

由于激光雷達(dá)對周圍環(huán)境有更廣的探測范圍，相機(jī)能直接產(chǎn)生直觀的視覺信息，因此兩者的數(shù)據(jù)融合在前車檢測與跟蹤任務(wù)中有一定的研究價值。Gyu H.L.等人利用激光雷達(dá)的點云數(shù)據(jù)進(jìn)行聚類分析，分離地面點組和非地面點組，實現(xiàn)目標(biāo)檢測，并通過坐標(biāo)變換矩陣映射到像素坐標(biāo)系中，利用CNN 的方法實現(xiàn)視覺傳感器的障礙物檢測并最終完成目標(biāo)分類。Y.K.Fang[6]等人提出了一種基于強(qiáng)化學(xué)習(xí)的相機(jī)和激光雷達(dá)融合檢測算法。將融合算法表述為Markov 決策過程，使用深度學(xué)習(xí)框架解決順序決策優(yōu)化，避免了手動設(shè)計數(shù)據(jù)融合的特征或架構(gòu)。這種方法采用數(shù)據(jù)驅(qū)動，可長期準(zhǔn)確地跟蹤目標(biāo)。西南大學(xué)的宮銘錢[7]等人采用改進(jìn)的DBSCAN 障礙物點云數(shù)據(jù)聚類算法結(jié)合快速卷積神經(jīng)網(wǎng)絡(luò)處理車輛圖像的方式，使用聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)算法實現(xiàn)了前車的識別與跟蹤，有效地提高了識別精度。Michael M.[8]等人提出了一種采用深度神經(jīng)網(wǎng)絡(luò)對雷達(dá)點云和攝像機(jī)圖像進(jìn)行三維目標(biāo)檢測并在特征層融合的前車識別方法，但由于相關(guān)數(shù)據(jù)集非常小，而且激光雷達(dá)的點云輸出過于稀疏，所以現(xiàn)階段基于此的前車檢測精度不高。

3 融合毫米波、激光雷達(dá)的前車識別

激光雷達(dá)在測距方面有著極高的精度但不能承受惡劣天氣，毫米波雷達(dá)具有較高的耐候性和遠(yuǎn)距離測量能力，但使用的無線電波會導(dǎo)致測量誤差并且近距離目標(biāo)檢測會失效，融合兩者可以獲得更好的距離測量精度和識別準(zhǔn)確率。

Seong K.K.等人提出了一種激光雷達(dá)和毫米波雷達(dá)傳感器融合方法以提高全天候的目標(biāo)檢測精度，首先由雷達(dá)生成感興趣區(qū)域，然后再由激光雷達(dá)確定目標(biāo)對象，該方案可用于智能車輛白天和夜晚的目標(biāo)檢測。

4 融合毫米波、激光雷達(dá)和相機(jī)的前車識別

在傳感器融合系統(tǒng)中加入更多不同種類的傳感器有利于提高融合系統(tǒng)的性能和魯棒性，融合毫米波雷達(dá)、激光雷達(dá)和相機(jī)傳感器的數(shù)據(jù)可獲得極高的前車識別檢測精度。但由于成本較高且實現(xiàn)較為困難，因此目前相關(guān)研究較少。

T.L.Kim 等人提出了一種利用擴(kuò)展卡爾曼濾波融合激光雷達(dá)、雷達(dá)和攝像機(jī)估計車輛前方位置的方法。設(shè)置了一種模糊規(guī)則作為兩種雷達(dá)數(shù)據(jù)融合依據(jù)，近距離賦予激光雷達(dá)數(shù)據(jù)更多的權(quán)重，遠(yuǎn)距離賦予毫米波雷達(dá)數(shù)據(jù)更多權(quán)重。利用擴(kuò)展Kalman 濾波器使融合結(jié)果有更好的魯棒性。最后，依靠坐標(biāo)轉(zhuǎn)換將雷達(dá)數(shù)據(jù)投影到相機(jī)圖像中完成了三者的融合，可靠地檢測出目標(biāo)位置。Jelena K.等人從理論角度介紹了基于多傳感器融合的目標(biāo)識別方法，指出將多傳感器的融合數(shù)據(jù)作為高級決策融合的輸入是自動駕駛車輛感知的趨勢之一。

5 結(jié)論

相機(jī)可以獲得精確的環(huán)境細(xì)節(jié)信息，但在縱向方向上的分辨率較低[3]，識別邊界框的微小距離誤差或者在顛簸或坡度變化較大的工況下會導(dǎo)致較大的縱向估計距離誤差。而環(huán)境適應(yīng)性強(qiáng)的毫米波雷達(dá)可直接獲取準(zhǔn)確的車距、角度和速度信息，可以彌補(bǔ)相機(jī)的不足。激光雷達(dá)盡管空間分辨率高但是價格昂貴且易受天氣和傳感器清潔程度的影響，應(yīng)用條件相對苛刻。

為避免出現(xiàn)目標(biāo)漏檢或誤檢的情況，結(jié)合上述傳感器特性，科研人員應(yīng)把工作重點放在基于單目相機(jī)和毫米波雷達(dá)的智能車輛前車識別融合方法研究上。按照此思路，筆者擬通過深度學(xué)習(xí)的方法實現(xiàn)基于單目視覺的前車識別并改進(jìn)像素擬合的距離估計方法。設(shè)計一種能夠融合像素坐標(biāo)系下目標(biāo)點二維坐標(biāo)和車距信息的三維目標(biāo)關(guān)聯(lián)算法，進(jìn)而實現(xiàn)單目相機(jī)和毫米波雷達(dá)的信息融合。