楊鑫，劉威，林輝

（1.東軟集團(tuán)股份有限公司，遼寧 沈陽 110179；2.東北大學(xué) 遼寧 沈陽110819）

引言

隨著人們對(duì)汽車安全技術(shù)的日益重視，高級(jí)輔助駕駛系統(tǒng)的研究與應(yīng)用得到了快速的發(fā)展。環(huán)境感知技術(shù)是高級(jí)輔助駕駛系統(tǒng)的重要研究?jī)?nèi)容，對(duì)于減少車輛碰撞交通事故，提高車輛的道路行駛安全性具有重要意義。雷達(dá)傳感器和視覺傳感器作為環(huán)境感知系統(tǒng)的重要組成部分，被廣泛應(yīng)用在多種汽車高級(jí)輔助駕駛系統(tǒng)中。

雷達(dá)傳感器對(duì)環(huán)境適應(yīng)性強(qiáng)，對(duì)距離信息與速度信息提取方面具有優(yōu)勢(shì)，然而其存在原始數(shù)據(jù)噪聲較大，漏檢率與誤檢率較高，角度分辨率不高的劣勢(shì)。視覺傳感器獲取信息豐富，成本較低，尤其在目標(biāo)識(shí)別分類具有較大優(yōu)勢(shì)，但其存在實(shí)時(shí)性較差，易受環(huán)境影響等不足[1]。為此，本文提出了一種基于毫米波雷達(dá)與高清相機(jī)信息融合的目標(biāo)識(shí)別算法。

雷達(dá)和視覺傳感器融合算法利用雷達(dá)與視覺不同測(cè)量結(jié)果，通過對(duì)兩種傳感器檢測(cè)信息的比較分析處理，提取出前方道路的目標(biāo)信息，用于對(duì)車輛當(dāng)前行駛環(huán)境做出最佳的估計(jì)。該算法可彌補(bǔ)單傳感器在獲取道路環(huán)境感知信息量不夠豐富的缺陷，尤其在復(fù)雜交通工況下，極大地提高了車輛環(huán)境感知系統(tǒng)的可靠性、準(zhǔn)確性與適應(yīng)性。

圖1 雷達(dá)與視覺融合系統(tǒng)功能圖

1 ADAS系統(tǒng)的數(shù)據(jù)融合結(jié)構(gòu)模型

雷達(dá)和視覺傳感器融合分為數(shù)據(jù)級(jí)融合、特征層融合和決策層融合[2]。數(shù)據(jù)級(jí)的信息融合是最基本的融合方式，即對(duì)傳感器信息進(jìn)行簡(jiǎn)單預(yù)處理后就進(jìn)行融合，其運(yùn)算量較大實(shí)時(shí)性較差，但可以最為完整的涵蓋各信息源。特征級(jí)的信息融合將信息源提取其特征信息然后進(jìn)行融合，其優(yōu)點(diǎn)在于提高了信息融合的效率。決策級(jí)的信息融合是一種高層級(jí)的融合方式，按照一般來講需要對(duì)決策可信度進(jìn)行評(píng)價(jià)，綜合各優(yōu)化指標(biāo)得到?jīng)Q策結(jié)果。各級(jí)融合的詳細(xì)指標(biāo)對(duì)比見表1。

表1 不同層級(jí)融合算法比較

圖2 雷達(dá)與相機(jī)數(shù)據(jù)融合流程圖

本文的雷達(dá)傳感器和視覺傳感器融合是決策級(jí)的信息融合，信息融合流程如圖2所示。根據(jù)雷達(dá)和攝像機(jī)安裝相對(duì)位置，建立雷達(dá)坐標(biāo)系和攝像機(jī)坐標(biāo)系轉(zhuǎn)換關(guān)系，構(gòu)建數(shù)據(jù)空間融合模型。將雷達(dá)和視覺傳感器得到的觀測(cè)值預(yù)處理后，與上一個(gè)周期的目標(biāo)值相匹配，對(duì)已經(jīng)確認(rèn)的雷達(dá)和圖像的觀測(cè)值進(jìn)行融合，得到當(dāng)前目標(biāo)值，構(gòu)建數(shù)據(jù)時(shí)間融合模型。對(duì)融合的目標(biāo)進(jìn)行多周期管理，進(jìn)行目標(biāo)濾波處理。

2 ADAS數(shù)據(jù)融合算法

雷達(dá)與視覺傳感器融合算法主要結(jié)合雷達(dá)與視覺兩個(gè)常用傳感器的目標(biāo)探測(cè)各自優(yōu)點(diǎn)，使得被探測(cè)的目標(biāo)能夠被更加精確和及時(shí)地識(shí)別。整個(gè)算法的實(shí)現(xiàn)主要由三個(gè)部分組成：時(shí)間空間同步、數(shù)據(jù)匹配關(guān)聯(lián)、目標(biāo)濾波。

2.1 雷達(dá)傳感器和視覺傳感器的數(shù)據(jù)同步

2.1.1 雷達(dá)與視覺傳感器空間同步

毫米波雷達(dá)的掃描平面為二維平面，先確定雷達(dá)安裝在車輛的位置，然后將雷達(dá)測(cè)量的點(diǎn)轉(zhuǎn)化為車輛坐標(biāo)系中的某點(diǎn)。本文采用三線式激光儀找出車輛的中軸線，使雷達(dá)中心軸線與車輛中心軸線重合，然后安裝雷達(dá)時(shí)需要確保其水平角度、橫擺角度和俯仰角度滿足安裝要求。其中水平角度和俯仰角度可以通過角度尺和重錘等工具進(jìn)行測(cè)量，并通過調(diào)整雷達(dá)安裝機(jī)構(gòu)來滿足雷達(dá)安裝的角度要求。橫擺角誤差需要以截面積較小的錐狀障礙物作為雷達(dá)探測(cè)目標(biāo)，通過標(biāo)定軟件，進(jìn)行誤差補(bǔ)償。

相機(jī)標(biāo)定包括內(nèi)參標(biāo)定和外參標(biāo)定。相機(jī)內(nèi)參由其硬件特性決定，外參獲得需先調(diào)整相機(jī)俯仰角、側(cè)傾角和橫擺角，然后測(cè)量相機(jī)距離車輛后軸的距離、水平高度和橫向偏移距離，并將其結(jié)果與車輛坐標(biāo)系進(jìn)行坐標(biāo)轉(zhuǎn)換，即可完成相機(jī)標(biāo)定。

雷達(dá)與視覺傳感器空間同步就是將不同傳感器坐標(biāo)系的測(cè)量值轉(zhuǎn)換到同一個(gè)坐標(biāo)系中。由于毫米波雷達(dá)位于前保險(xiǎn)桿中心，只需將視覺的測(cè)量點(diǎn)通過坐標(biāo)系轉(zhuǎn)換到該位置即可。

圖3 雷達(dá)與相機(jī)空間同步

2.1.2 雷達(dá)與視覺傳感器時(shí)間同步

雷達(dá)和視覺信息在除在空間上需要進(jìn)行融合，還需要傳感器在時(shí)間上同步采集數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)時(shí)間上的融合。

多傳感器信息融合的時(shí)間配準(zhǔn)就是將各傳感器關(guān)于同一目標(biāo)的時(shí)間異步測(cè)量數(shù)據(jù)通過某種算法處理統(tǒng)一到同步的融合處理時(shí)刻。在同一時(shí)間片內(nèi)對(duì)各傳感器采集的目標(biāo)觀測(cè)數(shù)據(jù)進(jìn)行內(nèi)插、外推，將高精度觀測(cè)時(shí)間上的數(shù)據(jù)推算到低精度時(shí)間點(diǎn)上，以實(shí)現(xiàn)各傳感器時(shí)間上的匹配。其算法為：先取定時(shí)間片，對(duì)應(yīng)融合時(shí)間片可以選為毫秒級(jí)；然后再將各傳感器觀測(cè)數(shù)據(jù)按測(cè)量精度進(jìn)行增量排序；最后將各高精度觀測(cè)數(shù)據(jù)分別向最低精度時(shí)間點(diǎn)，按照運(yùn)動(dòng)狀態(tài)進(jìn)行內(nèi)插、外推，從而形成一系列等間隔的目標(biāo)觀測(cè)數(shù)據(jù)以進(jìn)行融合處理。

圖4 內(nèi)插外推法的傳感器采樣序列圖

設(shè)傳感器A和傳感器B對(duì)同一目標(biāo)進(jìn)行觀測(cè)，在同一時(shí)間片內(nèi)的采樣數(shù)據(jù)序列如圖1所示，傳感器A在Tai時(shí)刻的測(cè)量數(shù)據(jù)為（Xai，Yai，Vxai，Vyai），傳感器B在Tbj時(shí)刻的測(cè)量數(shù)據(jù)為（Xbj，Ybj，Vxbj，Vybj），設(shè)由傳感器 A 向傳感器 B的采樣時(shí)刻進(jìn)行時(shí)間配準(zhǔn)，配準(zhǔn)后的數(shù)據(jù)用（Xaibj，Yaibj，）表示。

內(nèi)插外推法的配準(zhǔn)公式為：

由于雷達(dá)和攝像機(jī)工作頻率不同,以頻率較低的雷達(dá)數(shù)據(jù)為基準(zhǔn),采用多線程同步程序設(shè)計(jì)方式,構(gòu)建多傳感器數(shù)據(jù)時(shí)間融合模型[3]。每次當(dāng)毫米波雷達(dá)數(shù)據(jù)刷新時(shí)，采錄當(dāng)前幀的圖像數(shù)據(jù)，即完成共同采樣一幀雷達(dá)與視覺融合的數(shù)據(jù)，從而保證了毫米波雷達(dá)數(shù)據(jù)和視覺數(shù)據(jù)時(shí)間上的同步。

2.2 數(shù)據(jù)匹配關(guān)聯(lián)

在獲得了決策級(jí)的視覺和雷達(dá)目標(biāo)后，將單獨(dú)傳感器（毫米波雷達(dá)或高清相機(jī)）測(cè)量的目標(biāo)進(jìn)行預(yù)處理，對(duì)已經(jīng)挑選出的雷達(dá)信號(hào)和視覺信號(hào)進(jìn)行關(guān)聯(lián)性和區(qū)分性計(jì)算，辨識(shí)兩組獨(dú)立來源的信息是否指同一目標(biāo)。

2.2.1 傳感器數(shù)據(jù)預(yù)處理

視覺傳感器目標(biāo)分類為車輛和行人，將檢測(cè)結(jié)果按照行人和車輛進(jìn)行分類數(shù)據(jù)預(yù)處理，可以減小融合算法數(shù)據(jù)處理計(jì)算量。

按照雷達(dá)傳感器相鄰采集周期內(nèi)目標(biāo)運(yùn)動(dòng)狀態(tài)變化具有一定極限范圍原則，進(jìn)行有效目標(biāo)一致性檢驗(yàn)；采用生命周期算法，通過對(duì)有效目標(biāo)設(shè)置生命閾值進(jìn)行有效目標(biāo)決策，消除虛假目標(biāo)、漏檢現(xiàn)象、車輛顛簸和橫擺等對(duì)有效目標(biāo)選取的干擾[4]。

2.2.2 目標(biāo)關(guān)聯(lián)

目標(biāo)匹配門限設(shè)定是根據(jù)視覺檢測(cè)目標(biāo)的結(jié)果，按照測(cè)量目標(biāo)縱向距離的不同進(jìn)行匹配門限的設(shè)定[5][6]。該門限設(shè)定是在統(tǒng)計(jì)雷達(dá)與相機(jī)傳感器標(biāo)準(zhǔn)差的基礎(chǔ)上，綜合考慮匹配結(jié)果進(jìn)行的數(shù)據(jù)統(tǒng)計(jì)結(jié)果。

將滿足門限條件的雷達(dá)與視覺目標(biāo)進(jìn)行配對(duì)，根據(jù)配對(duì)的結(jié)果將匹配的雷達(dá)和視覺目標(biāo)進(jìn)行融合。

圖5 目標(biāo)關(guān)聯(lián)

2.3 目標(biāo)濾波

對(duì)匹配關(guān)聯(lián)的目標(biāo)進(jìn)行多周期管理，對(duì)跟蹤的目標(biāo)進(jìn)行刪除、新建、跟蹤處理，維護(hù)有效目標(biāo)庫。雷達(dá)和視覺傳感器融合后輸出的目標(biāo)屬性信息根據(jù)視覺和雷達(dá)檢測(cè)目標(biāo)的方差和評(píng)價(jià)值進(jìn)行不同權(quán)重的計(jì)算。

3 仿真分析

為驗(yàn)證車輛識(shí)別算法的性能，開發(fā)了軟件程序，實(shí)現(xiàn)了雷達(dá)和視覺傳感器數(shù)據(jù)同步在線顯示與離線數(shù)據(jù)分析功能。該程序可實(shí)現(xiàn)視頻信息與雷達(dá)數(shù)據(jù)的同步采集與存儲(chǔ)，用于進(jìn)行離線分析，也可將視頻信息與雷達(dá)數(shù)據(jù)融合結(jié)果實(shí)時(shí)在線顯示。本論文仿真分析主要針對(duì)單傳感器存在虛檢、漏檢場(chǎng)景進(jìn)行數(shù)據(jù)分析，并評(píng)價(jià)融合算法在該場(chǎng)景下的檢測(cè)效果。

3.1 傳感器虛假目標(biāo)檢測(cè)

在有減速帶的城郊道路上，跟蹤前方車輛行駛。雷達(dá)傳感器與相機(jī)傳感器的檢測(cè)結(jié)果如圖6所示，雷達(dá)檢測(cè)目標(biāo)存在虛假目標(biāo)較多，不能對(duì)目標(biāo)信息進(jìn)行分類。相機(jī)傳感器能夠正常檢測(cè)車輛，輸出目標(biāo)寬度信息，但是距離誤差較大。

圖6 融合檢測(cè)結(jié)果

基于影響本車正常行駛考慮，分別采集了基于單雷達(dá)傳感器和融合算法的本車道最近目標(biāo)，從目標(biāo)輸出屬性進(jìn)行了數(shù)據(jù)分析。

圖7 傳感器數(shù)據(jù)分析

由圖7可以看出，單獨(dú)雷達(dá)目標(biāo)縱向距離有擾動(dòng)點(diǎn)，將檢測(cè)減速帶作為目標(biāo)輸出，影響本車正常行駛。而融合算法輸出目標(biāo)縱向距離輸出穩(wěn)定，能夠?qū)η胺杰囕v目標(biāo)進(jìn)行穩(wěn)定跟蹤。融合算法解決了單獨(dú)雷達(dá)傳感器存在的虛假目標(biāo)問題。

由于雷達(dá)傳感器的檢測(cè)特性，除了道路設(shè)施對(duì)傳感器檢測(cè)有影響外，對(duì)于隧道有限空間目標(biāo)檢測(cè)，也存在虛假檢測(cè)結(jié)果且側(cè)向距離測(cè)量不準(zhǔn)，如圖8所示。

圖8 傳感器檢測(cè)結(jié)果

針對(duì)本車道的前方目標(biāo)，進(jìn)行數(shù)據(jù)分析如下：

圖9 傳感器融合結(jié)果

由上圖數(shù)據(jù)分析可以看出，應(yīng)用單獨(dú)雷達(dá)傳感器會(huì)存在虛假檢測(cè)目標(biāo)，且側(cè)方位存在擾動(dòng)較大，而單相機(jī)傳感器則存在距離輸出結(jié)果有跳變，而融合目標(biāo)輸出的信息解決了單獨(dú)傳感器存在的問題，并且能正確的檢測(cè)目標(biāo)。

3.2 傳感器漏檢

在交通復(fù)雜的城市環(huán)境道路中，傳感器檢測(cè)結(jié)果如圖10所示。本車右車道黑色車輛在相機(jī)傳感器檢測(cè)過程中存在漏檢問題，且本車道雷達(dá)傳感器檢測(cè)存在虛假目標(biāo)。

針對(duì)該目標(biāo)存在的相機(jī)漏檢問題，對(duì)檢測(cè)目標(biāo)的縱向距離、寬度信息進(jìn)行數(shù)據(jù)分析如圖所示。其中相機(jī)存在漏檢現(xiàn)象，縱向距離輸出為 0，融合目標(biāo)輸出結(jié)果平穩(wěn)，正常輸出目標(biāo)距離信息。融合算法對(duì)寬度信息進(jìn)行了濾波平滑處理，對(duì)于相機(jī)目標(biāo)短暫丟失情況能夠正常輸出寬度信息。

圖11 融合前后對(duì)比結(jié)果

融合結(jié)果在相機(jī)漏檢情況下仍能正常跟蹤目標(biāo)，并輸出目標(biāo)的寬度信息，且縱向輸出結(jié)果穩(wěn)定，解決了單一傳感器存在的目標(biāo)漏檢問題。

4 結(jié)論

本文提出了毫米波雷達(dá)傳感器與視頻傳感器數(shù)據(jù)融合的技術(shù)和方法，融合后得到的目標(biāo)參數(shù)可應(yīng)用于車輛運(yùn)動(dòng)控制命令生成；初步的仿真分析，驗(yàn)證了模型和算法的可行性與有效性。由于數(shù)據(jù)融合算法充分利用了毫米波雷達(dá)與攝像頭這兩類得到廣泛應(yīng)用的傳感器的各自優(yōu)點(diǎn)，融合后的目標(biāo)信息有助于生成更為準(zhǔn)確和及時(shí)的車輛運(yùn)動(dòng)控制指令，使得車輛ADAS（高級(jí)輔助駕駛）系統(tǒng)具有更好的性能表現(xiàn)。

[1] 王寶鋒,齊志權(quán),馬國(guó)成,陳思忠.一種基于雷達(dá)和機(jī)器視覺信息融合的車輛識(shí)別方法[J].汽車工程,2015.

[2] 肖斌.多傳感器信息融合及其在工業(yè)中的應(yīng)用[D].太原理工大學(xué),2008.

[3] 李鵬,王軍寧.攝像機(jī)標(biāo)定方法綜述[J].山西電子技術(shù),2007(4):77-79.

[4] 韓星.基于毫米波雷達(dá)的汽車主動(dòng)防撞預(yù)警目標(biāo)識(shí)別[D].吉林大學(xué),2013.

[5] G.Alessandretti,A.Broggi and P.Cerri,"Vehicle and Guard rail Detection using Radar and Vision Data Fusion," TEEE Transactions on Tntelligent Transportation Systems, Vol. 8, no. 1, pp.95-105, 2007.

[6] X. Liu, Z. Sun and H. He, "On-road Vehicle Detection Fusing Radar and Vision," in Vehicular Electronics and Safety (ICVES), pp. 150-154.201l.