王 海，徐巖松，蔡英鳳，陳 龍

（1. 江蘇大學(xué) 汽車與交通工程學(xué)院，鎮(zhèn)江 212013，中國(guó)；2. 江蘇大學(xué) 汽車工程研究院，鎮(zhèn)江 212013，中國(guó)）

相較于傳統(tǒng)汽車，智能汽車在防止交通事故、緩解交通擁堵、提高生產(chǎn)效率、減少大氣污染等方面具有顯著的優(yōu)勢(shì)[1]，國(guó)內(nèi)外車企、互聯(lián)網(wǎng)公司、高校因此紛紛加入研究智能汽車行列。傳統(tǒng)汽車行業(yè)深厚的積累、基于深度學(xué)習(xí)的計(jì)算機(jī)視覺(jué)領(lǐng)域的迅速崛起，以及激光雷達(dá)等傳感器生產(chǎn)成本的降低，促進(jìn)了智能汽車領(lǐng)域的快速發(fā)展。根據(jù)功能的不同，智能汽車系統(tǒng)可分為環(huán)境感知系統(tǒng)、決策規(guī)劃系統(tǒng)和車輛控制系統(tǒng)3部分[2]。根據(jù)國(guó)家出臺(tái)的《汽車駕駛自動(dòng)化分級(jí)》（GB/T 40429-2021），汽車自動(dòng)化程度可分為6個(gè)等級(jí)：0級(jí)（應(yīng)急輔助）、1級(jí)（部分駕駛輔助）、2級(jí)（組合駕駛輔助）、3級(jí)（有條件自動(dòng)駕駛）、4級(jí)（高度自動(dòng)駕駛）、5級(jí)（完全自動(dòng)駕駛），具體級(jí)別信息見(jiàn)表1。雖然不同級(jí)別的自動(dòng)駕駛程度不同，但都需要一個(gè)穩(wěn)定可靠的感知系統(tǒng)，自動(dòng)駕駛程度越高對(duì)環(huán)境感知的要求越高。環(huán)境感知是智能汽車完成運(yùn)輸任務(wù)的開(kāi)始，是其余2大系統(tǒng)的基礎(chǔ)，對(duì)周圍環(huán)境感知結(jié)果的好壞是智能汽車能否完成運(yùn)輸任務(wù)的前提，如果智能汽車沒(méi)有環(huán)境感知功能，就像是人沒(méi)有感覺(jué)器官，將不能和外界進(jìn)行交互。

表1 駕駛自動(dòng)化等級(jí)與規(guī)劃要素的關(guān)系

智能汽車所在的駕駛環(huán)境不同于其他人工智能機(jī)器所處的工作環(huán)境，具有高速、復(fù)雜的特點(diǎn)，用于獲取圖像數(shù)據(jù)的相機(jī)易受光線影響，獲取點(diǎn)云數(shù)據(jù)的激光雷達(dá)易受惡劣環(huán)境的影響，毫米波雷達(dá)不擅長(zhǎng)檢測(cè)靜止的目標(biāo)，傳感器本身的缺陷使得智能汽車只靠單一傳感器無(wú)法完成感知任務(wù)。本文著重研究了如何通過(guò)融合多傳感器數(shù)據(jù)來(lái)實(shí)現(xiàn)周圍環(huán)境檢測(cè)。

綜述[2-3]涵蓋了用于多模態(tài)數(shù)據(jù)融合的多種傳感器（毫米波雷達(dá)、相機(jī)、激光雷達(dá)、超聲波雷達(dá)、慣性傳感器IMU、光學(xué)計(jì)等），綜述[4]只關(guān)注激光雷達(dá)和相機(jī)的融合，綜述[5]概述了感知任務(wù)中的語(yǔ)義分割和目標(biāo)檢測(cè)，綜述[6]概述了基于相機(jī)的多目標(biāo)檢測(cè)。相較于上述工作，本文主要總結(jié)了駕駛場(chǎng)景下用于多目標(biāo)檢測(cè)任務(wù)的激光雷達(dá)、毫米波雷達(dá)和相機(jī)融合技術(shù)，第1章介紹了多傳感器融合的背景，第2章介紹了多傳感器融合技術(shù)，第3章對(duì)多傳感器融合技術(shù)進(jìn)行了總結(jié)和分析。

1 背 景

1.1 駕駛場(chǎng)景中目標(biāo)檢測(cè)的對(duì)象與要求

智能汽車在復(fù)雜的交通環(huán)境下需要對(duì)周圍環(huán)境進(jìn)行準(zhǔn)確的檢測(cè)，檢測(cè)的對(duì)象可分為靜態(tài)對(duì)象和動(dòng)態(tài)對(duì)象，其中靜態(tài)對(duì)象包括車道線、交通信號(hào)燈和交通標(biāo)志牌等，動(dòng)態(tài)對(duì)象主要包括交通參與者，如不同類型的汽車、行人、自行車等。圖1是典型的城市工況下智能汽車所處的駕駛環(huán)境。

可靠的感知系統(tǒng)是智能汽車在復(fù)雜交通工況下正常運(yùn)行的先決條件，主要體現(xiàn)在以下3個(gè)方面：1）準(zhǔn)確性，是指在復(fù)雜的交通場(chǎng)景下，能以高指標(biāo)完成感知任務(wù)(檢測(cè)、定位、預(yù)測(cè)、跟蹤、分割等)的性能；2）實(shí)時(shí)性,是指在保證一定感知精度的前提下，盡可能快的完成感知任務(wù)，這對(duì)自動(dòng)駕駛汽車尤為重要，因?yàn)楦哐舆t的感知系統(tǒng)能會(huì)造成車輛決策和控制的遲后，可能導(dǎo)致交通堵塞，甚至是致命的交通事故[7]； 3） 魯棒性,指的是在感知環(huán)境惡劣的情況下，如雨霧天氣、弱光環(huán)境，感知系統(tǒng)還能正常運(yùn)行性能。

1.2 車載檢測(cè)傳感器

根據(jù)數(shù)據(jù)來(lái)源，車載傳感器通常可分為外部傳感器和內(nèi)部傳感器[8]，內(nèi)部傳感器用于采集智能汽車自身的數(shù)據(jù)，如車速、車輪轉(zhuǎn)角、加速度等；外部傳感器是對(duì)智能汽車所處的外部環(huán)境進(jìn)行采集數(shù)據(jù)，如車載相機(jī)、毫米波雷達(dá)、激光雷達(dá)等；智能汽車的環(huán)境感知技術(shù)離不開(kāi)外部傳感器，神經(jīng)網(wǎng)絡(luò)算法更是需要車載外部傳感器采集的數(shù)據(jù)進(jìn)行訓(xùn)練，傳感器的性能直接影響智能汽車最終的決策。在不同的駕駛環(huán)境下，各種傳感器的檢測(cè)性能和魯棒性不同，多傳感器融合可以提高智能汽車的感知能力。本文主要研究的是對(duì)周圍物體進(jìn)行檢測(cè)的外部傳感器，主要包括：車載相機(jī)、毫米波雷達(dá)、激光雷達(dá)。表2總結(jié)了上述各種傳感器的優(yōu)缺點(diǎn)、用途和成本，圖2展示了不同的車載傳感器以及檢測(cè)結(jié)果。

表2 不同傳感器之間對(duì)比

1.2.1 相 機(jī)

車載相機(jī)主要包括單目相機(jī)、雙目相機(jī)、深度相機(jī)（RGB-D）和全景相機(jī)。車載相機(jī)成本低，是智能汽車感知系統(tǒng)的基礎(chǔ)傳感器，也是目前工業(yè)界和學(xué)術(shù)界的主要選擇。車載相機(jī)主要用于多目標(biāo)檢測(cè)、跟蹤、語(yǔ)義分割、車道線檢測(cè)等任務(wù)，其能捕捉周圍環(huán)境中目標(biāo)的顏色、紋理、形狀等信息，可以在非極端環(huán)境下識(shí)別不同的目標(biāo)，相較于毫米波雷達(dá)和激光雷達(dá)具有數(shù)據(jù)稠密、分辨率高等優(yōu)點(diǎn)[9-10]；但其缺點(diǎn)也顯而易見(jiàn)：易受天氣影響，在雨霧天、夜晚環(huán)境下感知性能大幅下降，對(duì)光線突變的場(chǎng)景也非常敏感，如智能汽車駛?cè)牒婉偝鏊淼?，?duì)面車輛突然打開(kāi)遠(yuǎn)光燈等。此外單目相機(jī)無(wú)法提供環(huán)境建模所需要的深度和距離原始信息，而雙目和深度相機(jī)相較于雷達(dá)和激光雷達(dá)結(jié)構(gòu)復(fù)雜，在檢測(cè)范圍和測(cè)距精度、分辨率方面，與毫米波雷達(dá)和激光雷達(dá)仍然存在較大差距。

1.2.2 雷 達(dá)

隨著3D數(shù)據(jù)采集技術(shù)的飛速發(fā)展，雷達(dá)等傳感器的硬件成本和軟件技術(shù)也形成了一定的規(guī)模，在無(wú)人駕駛感知領(lǐng)域逐漸得到應(yīng)用。雷達(dá)相較于相機(jī)能夠提供物體的3D信息和距離信息等，數(shù)據(jù)形式更加豐富，這使得智能汽車在理解周圍環(huán)境時(shí)能更容易。雷達(dá)主要包括激光雷達(dá)、毫米波雷達(dá)和超聲波雷達(dá)。超聲波雷達(dá)主要感知近距離的環(huán)境，比如自動(dòng)泊車等任務(wù)，對(duì)于檢測(cè)任務(wù)作用較小。本小節(jié)主要來(lái)介紹毫米波雷達(dá)和激光雷達(dá)。

1） 毫米波雷達(dá)。發(fā)射無(wú)線電波后，通過(guò)接收天線采集目標(biāo)散射波，進(jìn)行一系列信號(hào)處理，獲取目標(biāo)信息[11]。根據(jù)檢測(cè)范圍的大小可分為遠(yuǎn)程、中程、短程毫米波雷達(dá)。毫米波雷達(dá)不僅可以獲得多目標(biāo)的精確距離，還可以利用多普勒頻移效應(yīng)測(cè)量相對(duì)速度[12]，廣泛應(yīng)用于障礙物檢測(cè)[13]、行人識(shí)別和車輛識(shí)別[14-15]。與車載相機(jī)相比，毫米波雷達(dá)受天氣影響小，具有較好的防阻隔和抗污染能力。毫米波雷達(dá)在視角比較窄的情況下檢測(cè)效果較為理想，但其不適用于動(dòng)態(tài)物體的檢測(cè)，易產(chǎn)生誤檢[16]。與激光雷達(dá)相比，毫米波雷達(dá)具有更長(zhǎng)的波長(zhǎng)，可以應(yīng)對(duì)雨雪霧天氣和黑暗環(huán)境。脈沖雷達(dá)在接收回波信號(hào)時(shí)，要求發(fā)射信號(hào)嚴(yán)格隔離，而大功率信號(hào)在短暫的連續(xù)周期內(nèi)發(fā)射，因此對(duì)硬件要求高，結(jié)構(gòu)復(fù)雜[2]。雷達(dá)生成的點(diǎn)云數(shù)據(jù)包括X，Y坐標(biāo)雷達(dá)反射面積（radar cross section, RCS）和速度（Doppler），與激光雷達(dá)的點(diǎn)云數(shù)據(jù)相比更加稀疏，需要對(duì)原始的毫米波點(diǎn)云進(jìn)行處理。

2） 激光雷達(dá)。按有無(wú)機(jī)械旋轉(zhuǎn)部件，激光雷達(dá)可分為固態(tài)、機(jī)械和混合固態(tài)激光雷達(dá)。激光雷達(dá)的工作原理與毫米波雷達(dá)相似，但它發(fā)射的是光波而不是無(wú)線電波[17]，激光雷達(dá)可用于定位、障礙物檢測(cè)和環(huán)境重建任務(wù)[18-19]。固態(tài)激光雷達(dá)只能獲得一定角度的點(diǎn)云數(shù)據(jù)，而機(jī)械激光雷達(dá)和混合固態(tài)激光雷達(dá)則能獲得的智能汽車周圍360°的點(diǎn)云數(shù)據(jù)，點(diǎn)云數(shù)據(jù)包括點(diǎn)的X，Y，Z坐標(biāo)和反射強(qiáng)度等，不同的材質(zhì)反射強(qiáng)度不同，因此點(diǎn)云能區(qū)分不同材質(zhì)的物體。激光雷達(dá)在測(cè)距方面優(yōu)勢(shì)明顯，且由于激光雷達(dá)是通過(guò)發(fā)射可見(jiàn)光波長(zhǎng)外的光波獲得點(diǎn)云數(shù)據(jù)，故不受光照等條件的限制，能在黑夜工作。其與相機(jī)具有相同的缺點(diǎn)，受天氣影響大，雨霧天氣工作效果差。激光雷達(dá)在檢測(cè)與遠(yuǎn)距離物體時(shí)，點(diǎn)云數(shù)據(jù)會(huì)變得稀疏，這會(huì)導(dǎo)致檢測(cè)效果變差。激光雷達(dá)是智能汽車必需的傳感器之一，目前隨著成本的不斷降低，有望大規(guī)模部署應(yīng)用。

采用多傳感器組合使用的方式可以互補(bǔ)各個(gè)傳感器之間的不足，克服單個(gè)傳感器的局限性，在檢測(cè)精度方面能夠提高冗余性，避免某個(gè)傳感器誤檢甚至是停止工作而引起的檢測(cè)失效，以此提高感知系統(tǒng)的檢測(cè)精度和魯棒性[20]。

1.3 基于深度學(xué)習(xí)的檢測(cè)算法

物體檢測(cè)是計(jì)算機(jī)視覺(jué)最基本和最具挑戰(zhàn)性的問(wèn)題之一，作為計(jì)算機(jī)視覺(jué)的基石，是解決復(fù)雜或高水平問(wèn)題的基礎(chǔ)化任務(wù)，如分割、場(chǎng)景理解、對(duì)象跟蹤等?；谏疃葘W(xué)習(xí)的目標(biāo)檢測(cè)算法作為計(jì)算機(jī)視覺(jué)領(lǐng)域的后起之秀，隨著近幾年來(lái)數(shù)據(jù)量的不斷提升和硬件水平的突飛猛進(jìn)，在檢測(cè)速度上已經(jīng)能與傳統(tǒng)基于手工特征的車輛檢測(cè)算法相媲美，同時(shí)在檢測(cè)精度上遠(yuǎn)遠(yuǎn)超過(guò)傳統(tǒng)算法。2012年，A.Krizhevsky等提出的AlexNet[21]深度卷積網(wǎng)絡(luò)在ILSVRC挑戰(zhàn)賽取得冠軍，自此以后，計(jì)算機(jī)視覺(jué)的絕大多數(shù)方向都集中于深度學(xué)習(xí)神經(jīng)網(wǎng)路結(jié)構(gòu)的創(chuàng)新，并取得了不錯(cuò)的成績(jī)。近年來(lái)，相關(guān)檢測(cè)算法也逐步延伸并拓展到面向激光雷達(dá)3D點(diǎn)云本處理中，本節(jié)簡(jiǎn)要介紹基于深度學(xué)習(xí)的視覺(jué)檢測(cè)算法和點(diǎn)云檢測(cè)算法。

1.3.1 視 覺(jué)

基于視覺(jué)的檢測(cè)算法主要是通過(guò)處理由相機(jī)采集的圖像來(lái)感知周圍的環(huán)境。相比傳統(tǒng)方法通過(guò)人工提取特征信息、需要領(lǐng)域?qū)＜彝ㄟ^(guò)多年的積累和經(jīng)驗(yàn)才能手工設(shè)計(jì)出來(lái)的特征，深度學(xué)習(xí)方法則是具有通過(guò)大量的數(shù)據(jù)自動(dòng)學(xué)習(xí)到能夠反應(yīng)數(shù)據(jù)差別的特征，從而更具有代表性。同時(shí)對(duì)于視覺(jué)識(shí)別來(lái)說(shuō)，卷積神經(jīng)網(wǎng)絡(luò)分層提取的特征與人的視覺(jué)機(jī)理類似，都是進(jìn)行邊緣到部分到全體的過(guò)程[22]。而近幾年隨著數(shù)據(jù)量的不斷擴(kuò)充和硬件設(shè)備更新迭代，深度學(xué)習(xí)目標(biāo)檢測(cè)算法開(kāi)始得到工業(yè)界的認(rèn)可。在學(xué)術(shù)界，根據(jù)神經(jīng)網(wǎng)絡(luò)按照是否生成錨框（anchor），視覺(jué)檢測(cè)算法可分為基于錨框（anchor-based）檢測(cè)算法和無(wú)錨框檢測(cè)算法（anchor-free）[23-25]。由于對(duì)實(shí)時(shí)性和檢測(cè)精度的不同側(cè)重，基于錨框的檢測(cè)算法又可分為2類：一類是側(cè)重于檢測(cè)精度的2階段目標(biāo)檢測(cè)算法[26-27]，這類算法也稱為基于區(qū)域的方法，其主要思路是先產(chǎn)生一系列稀疏的候選框，然后對(duì)這些候選框進(jìn)行分類與回歸；另一類是側(cè)重于檢測(cè)速度的單階段目標(biāo)檢測(cè)算法[28-32]，此類算法沒(méi)有中間的區(qū)域檢出過(guò)程，直接從圖片獲得預(yù)測(cè)結(jié)果，其主要思路是均勻地在圖片的不同位置進(jìn)行密集抽樣，抽樣時(shí)可以采用不同尺度和長(zhǎng)寬比，然后利用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks, CNN）提取特征后直接進(jìn)行分類與回歸，整個(gè)過(guò)程只需要一步。

1.3.2 點(diǎn) 云

目前基于點(diǎn)云的檢測(cè)算法主要包括基于點(diǎn)的檢測(cè)算法（point-based）、基于體素的檢測(cè)算法（voxel-based）和二者結(jié)合的檢測(cè)算法。

PointNet[33]和PointNet++[34]是典型的基于點(diǎn)的3D目標(biāo)檢測(cè)算法，其聚集臨近點(diǎn)并進(jìn)行特征提取，獲得局部和全局的特征表達(dá)。PointRCNN[35]是第1個(gè)直接從原始點(diǎn)來(lái)預(yù)測(cè)物體3D邊界框的算法，其一階段利用PointNet++獲得逐點(diǎn)的特征，對(duì)每個(gè)點(diǎn)進(jìn)行前景點(diǎn)分割并對(duì)每個(gè)前景點(diǎn)預(yù)測(cè)3D框作為候選框，在第2階段運(yùn)用感興趣區(qū)域池化操作（average pooling）并對(duì)邊界框進(jìn)行微調(diào)。基于體素的檢測(cè)算法首先將輸入的點(diǎn)云體素化，然后用3D卷積對(duì)整個(gè)場(chǎng)景的體素進(jìn)行特征提取。在VoxelNet[36]中，點(diǎn)云首先被等分成大量均勻的體素，然后用體素編碼層來(lái)編碼每個(gè)體素的特征，隨后根據(jù)每個(gè)體素的特征生成3D的候選框。SECOND[37]設(shè)計(jì)了一種高效的體素編碼算法：稀疏卷積算法，即只對(duì)非空的體素進(jìn)行特征提取，該方法極大地提高了基于體素的3D目標(biāo)檢測(cè)算法的訓(xùn)練和推理速度?；邳c(diǎn)的檢測(cè)算法能夠保留目標(biāo)準(zhǔn)確的結(jié)構(gòu)信息和位置信息，但是計(jì)算量大，對(duì)計(jì)算單元算力要求較大，檢測(cè)實(shí)時(shí)性差。基于體素的方法可以高效地對(duì)點(diǎn)云進(jìn)行特征提取，但是會(huì)損失部分結(jié)構(gòu)信息和精確的位置信息。一些方法充分利用二者的優(yōu)點(diǎn)對(duì)點(diǎn)云進(jìn)行特征提取。PVRCNN[38]用稀疏卷積對(duì)體素進(jìn)行特征提取并生成候選框，將多尺度的體素特征編碼到關(guān)鍵點(diǎn)，第2階段聚集候選區(qū)域中網(wǎng)格點(diǎn)周圍的關(guān)鍵點(diǎn)的特征對(duì)物體邊界框做微調(diào)。SA-SSD[39]在訓(xùn)練時(shí)設(shè)計(jì)了輔助網(wǎng)絡(luò)將體素特征轉(zhuǎn)化成逐點(diǎn)特征進(jìn)行前景點(diǎn)分割和中心點(diǎn)預(yù)測(cè)。

1.4 數(shù)據(jù)集

為了節(jié)省開(kāi)發(fā)的成本，保證實(shí)驗(yàn)的安全，研究人員往往先將構(gòu)造好的檢測(cè)算法用開(kāi)源的車載數(shù)據(jù)集進(jìn)行訓(xùn)練和驗(yàn)證[2]。優(yōu)秀的數(shù)據(jù)集往往能訓(xùn)練出速度快精度高的檢測(cè)算法，有的數(shù)據(jù)集還提供了較公平的算法評(píng)估平臺(tái)和基準(zhǔn)，這有利于研究人員進(jìn)行橫向和縱向的比較，從而研究出更優(yōu)異的模型。Y. Kang等[40]總結(jié)了目前絕大多數(shù)的數(shù)據(jù)集，表3是對(duì)KITTI[41]、BDD[42]、nuScenes[43]、Waymo[44]、ONCE[45]幾 個(gè) 著 名的車載數(shù)據(jù)集進(jìn)行的簡(jiǎn)述與對(duì)比。

表3 著名智能汽車數(shù)據(jù)集簡(jiǎn)述與對(duì)比

1） KITTI數(shù)據(jù)集，是由德國(guó)卡爾斯魯厄理工學(xué)院和豐田美國(guó)技術(shù)研究院聯(lián)合創(chuàng)辦，是當(dāng)前最著名的自動(dòng)駕駛數(shù)據(jù)集，為立體視覺(jué)評(píng)估、光流、場(chǎng)景流、視覺(jué)測(cè)程、同步定位與建圖 （simultaneous localization and mapping，SLAM）、目標(biāo)檢測(cè)與跟蹤、道路車道檢測(cè)、語(yǔ)義分割提供了許多優(yōu)秀的基準(zhǔn)。KITTI包含市區(qū)、鄉(xiāng)村和高速公路等，白天和晴天場(chǎng)景的真實(shí)圖像數(shù)據(jù)，共約1.5萬(wàn)張圖像，每張圖像中最多達(dá)15輛車和30個(gè)行人，還有各種程度的遮擋與截?cái)?。整個(gè)數(shù)據(jù)集由389對(duì)立體圖像和光流圖，39.2 km視覺(jué)測(cè)距序列以及超過(guò)20萬(wàn)個(gè)3D標(biāo)注物體的圖像組成，以10 Hz的頻率采樣及同步。KITTI數(shù)據(jù)集的數(shù)據(jù)采集平臺(tái)裝配有2個(gè)灰度攝像機(jī)、2個(gè)彩色攝像機(jī)、一個(gè)Velodyne 64線激光雷達(dá)、4個(gè)光學(xué)鏡頭，以及1個(gè)GPS導(dǎo)航系統(tǒng)。

2） BDD數(shù)據(jù)集，是由伯克利大學(xué)AI實(shí)驗(yàn)室（BAIR）創(chuàng)辦，是由單目RGB相機(jī)、GPS、IMU、陀螺儀采集而成。數(shù)據(jù)集包括10萬(wàn)段高清視頻，每個(gè)視頻約40 s、720P、30 fps，每個(gè)視頻的第10 s對(duì)關(guān)鍵幀進(jìn)行采樣，得到10萬(wàn)張尺寸為1 280 × 720的圖片，并進(jìn)行標(biāo)注，真值的標(biāo)簽包含10類，分別是公交車、交通標(biāo)志、行人、自行車、卡車、摩托車、汽車、火車和騎車人。相較于KITTI數(shù)據(jù)集，BDD數(shù)據(jù)集包含更多的天氣場(chǎng)景：晴天、多云、陰天、雨天、雪天、霧天6種天氣，以晴天為主，時(shí)間有黎明、黃昏、白天、夜晚4個(gè)時(shí)間段，其中，白天、夜晚居多，這為研究人員的感知算法帶來(lái)了更大的挑戰(zhàn)。

3） nuScenes數(shù)據(jù)集，是由Motional團(tuán)隊(duì)開(kāi)發(fā)的用于無(wú)人駕駛的公共大型數(shù)據(jù)集，共有1 000個(gè)場(chǎng)景，該數(shù)據(jù)集包括約140萬(wàn)張圖像，39萬(wàn)的激光雷達(dá)數(shù)據(jù)，140萬(wàn)毫米波雷達(dá)掃描數(shù)據(jù)和1.4萬(wàn)個(gè)對(duì)象邊界框，該數(shù)據(jù)集來(lái)自自動(dòng)駕駛車輛的整個(gè)傳感器套件（6個(gè)攝像頭、1個(gè)激光雷達(dá)、5個(gè)毫米波雷達(dá)、GPS、IMU）的數(shù)據(jù)。與KITTI相比，nuScenes包含7倍多的對(duì)象注釋。之前發(fā)布的大多數(shù)數(shù)據(jù)集都是基于相機(jī)的對(duì)象檢測(cè)（Cityscapes，Mapillary Vistas，Apolloscapes，BDD），而nuScenes數(shù)據(jù)集提供的是整個(gè)傳感器套件。

4） Waymo數(shù)據(jù)集，是由谷歌旗下的無(wú)人駕駛公司W(wǎng)aymo在2019年發(fā)布的自動(dòng)駕駛數(shù)據(jù)集。該數(shù)據(jù)集由5個(gè)激光雷達(dá)和5個(gè)相機(jī)采集而成，其中包括片長(zhǎng)為20 s的駕駛畫面1 150個(gè)，密集的標(biāo)簽信息更是達(dá)到1 200萬(wàn)個(gè)3D標(biāo)簽和1 000萬(wàn)個(gè)2D標(biāo)簽，其中包括行人、汽車、交通標(biāo)志等信息。Waymo數(shù)據(jù)集的駕駛環(huán)境也多種多樣，采集場(chǎng)景包含城市、鄉(xiāng)村郊區(qū)，天氣包括白天、黑夜、黎明、黃昏、雨天和晴天。

5） ONCE數(shù)據(jù)集，是由華為的諾亞方舟實(shí)驗(yàn)室在中國(guó)駕駛144 h采集的車載數(shù)據(jù)集，該數(shù)據(jù)集是目前最大、最多樣化的無(wú)人駕數(shù)據(jù)集。ONCE包含1.6萬(wàn)典型場(chǎng)景，3D標(biāo)注框有41.7萬(wàn)個(gè)，2D標(biāo)注框有76.9萬(wàn)個(gè)，標(biāo)注類別包括汽車、行人、公交車、卡車、騎車人，采集場(chǎng)景的天氣包括晴天、多云和雨天，時(shí)間包括上午、中午、下午和晚上。

2 多傳感器融合技術(shù)

基于以上對(duì)各種傳感器的分析，不同傳感器的工作原理和采集的數(shù)據(jù)各不相同，對(duì)不同的駕駛環(huán)境的適應(yīng)性也各不相同，各種主流的車載傳感器有各自的優(yōu)勢(shì)與劣勢(shì)，這使得單一傳感器很難滿足無(wú)人駕駛車輛的感知需求?；诙鄠鞲衅魅诤系臋z測(cè)方式能結(jié)合各種傳感器的優(yōu)勢(shì)，打破單一傳感器固有的局限，為智能汽車后續(xù)的決策規(guī)劃和車輛控制提供更可靠的信息，提高智能汽車的安全性。例如前面對(duì)毫米波雷達(dá)和相機(jī)的概述，毫米波雷達(dá)最大的優(yōu)勢(shì)是可以全天候工作，極端天氣和惡劣的駕駛環(huán)境（如夜晚，霧天等）不影響其正常工作，但是其分辨率低，不能識(shí)別物體的種類；相反，相機(jī)能捕獲物體詳細(xì)的外觀信息，分辨力高，但受外界環(huán)境影響大，也就是對(duì)工作的環(huán)境要求苛刻，若將兩者進(jìn)行傳感器融合，將會(huì)得到高分辨率、全天候的外界環(huán)境信息?；谝陨系母攀?，多傳感器融合技術(shù)對(duì)于無(wú)人駕駛技術(shù)的實(shí)現(xiàn)是至關(guān)重要，必不可少的。本節(jié)將從融合算法的分類、融合結(jié)構(gòu)以及經(jīng)典的融合檢測(cè)算法對(duì)多傳感器融合技術(shù)進(jìn)行全面的總結(jié)。

2.1 融合算法分類

隨著傳感器的生產(chǎn)成本不斷降低，多傳感器融合的硬件水平已經(jīng)滿足基本的工業(yè)要求，多傳感融合算法成為研究的熱點(diǎn)。多傳感器融合算法大致可分為2類：隨機(jī)類方法和人工智能方法。隨機(jī)類方法的代表算法包括：Kalman濾波法（Kalman Filtering）、加權(quán)平均法、Bayesian估計(jì)法（Bayesian estimation）、DS（Dempster-Shafer）證據(jù)理論等；人工智能算法包括專家系統(tǒng)、遺傳算法、模糊邏輯理論、人工神經(jīng)網(wǎng)絡(luò)等算法。

1） Kalman濾波法，是遞歸算法的一種，可以通過(guò)之前的目標(biāo)狀態(tài)估計(jì)和當(dāng)前狀態(tài)的測(cè)量值來(lái)估計(jì)當(dāng)前目標(biāo)的狀態(tài)，Kalman濾波法具有遞推特性，能夠估計(jì)當(dāng)前狀態(tài)，也可以預(yù)測(cè)未來(lái)目標(biāo)的狀態(tài)，因此，Kalman濾波法可用于傳感器融合跟蹤多目標(biāo)問(wèn)題。

2） 加權(quán)平均法，相較于其他算法，理解起來(lái)較簡(jiǎn)單。首先各種傳感器分別進(jìn)行數(shù)據(jù)采集工作，將分別采集的數(shù)據(jù)集按一定的加權(quán)規(guī)則進(jìn)行加權(quán)并取平均值，得出的結(jié)果作為融合的最終結(jié)果。加權(quán)平均法相較于其他算法計(jì)算簡(jiǎn)單，原理易懂，但是加權(quán)規(guī)則人為設(shè)定，具有較大的主觀性，融合效果因加權(quán)規(guī)則的變化相差很大。

3） Bayesian估計(jì)法，基于先驗(yàn)概率，將新的數(shù)據(jù)信息和先驗(yàn)信息進(jìn)行融合得到新的概率，以此循環(huán)進(jìn)行多傳感器融合感知任務(wù)?；贐ayesian估計(jì)法的多傳感器融合算法缺點(diǎn)明顯，即可能需要耗費(fèi)大量的時(shí)間和精力，原因是Bayesian估計(jì)法基于先驗(yàn)概率，在沒(méi)有提供先驗(yàn)概率的情況下，需要大量的數(shù)據(jù)統(tǒng)計(jì)來(lái)充當(dāng)先驗(yàn)概率，這需要大量的時(shí)間和精力。

4） DS證據(jù)理論，是基于Bayesian估計(jì)發(fā)展而來(lái)的，其克服了Bayesian估計(jì)需要先驗(yàn)概率的缺陷，提出了置信區(qū)間和不確定區(qū)間新概念，DS證據(jù)理論實(shí)質(zhì)就是將多個(gè)傳感器獲得的信息按一定的規(guī)則進(jìn)行選擇組合，最終對(duì)檢測(cè)目標(biāo)進(jìn)行分類和定位。

5） 模糊邏輯理論法，基于多值邏輯但又與傳統(tǒng)的二值邏輯不同，其對(duì)人的不確定性概念判斷和推理思維方式進(jìn)行模仿。模糊邏輯推理相較于其他的算法，其大大提高了融合的精度，但主觀性較大，融合的精度受人為因素影響大。

6） 人工神經(jīng)網(wǎng)絡(luò)法，是模擬人的網(wǎng)絡(luò)神經(jīng)設(shè)計(jì)而成。相較于其他的算法，神經(jīng)網(wǎng)絡(luò)算法能夠從大量的數(shù)據(jù)集中學(xué)習(xí)到關(guān)鍵的特征，具有很強(qiáng)的自學(xué)習(xí)能力，通過(guò)手工設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)可以模擬復(fù)雜的非線性映射。神經(jīng)網(wǎng)絡(luò)在多傳感器融合檢測(cè)系統(tǒng)中具有很大的優(yōu)勢(shì)，當(dāng)處理帶有有害信息的噪聲時(shí)，神經(jīng)網(wǎng)絡(luò)的檢測(cè)效果比其他方法優(yōu)秀的多，但是基于監(jiān)督方式的神經(jīng)網(wǎng)絡(luò)算法需要大量的訓(xùn)練數(shù)據(jù)集，數(shù)據(jù)集的標(biāo)簽往往需要大量時(shí)間和精力去標(biāo)注。

隨著深度學(xué)習(xí)的不斷發(fā)展，基于手工設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)算法在計(jì)算機(jī)視覺(jué)等方向大放異彩，近幾年也是受到高校和企業(yè)的關(guān)注，本文接下來(lái)將對(duì)基于深度學(xué)習(xí)的多傳感器融合檢測(cè)技術(shù)進(jìn)行詳盡的闡述。

2.2 多傳感器融合結(jié)構(gòu)

根據(jù)融合網(wǎng)絡(luò)輸入數(shù)據(jù)的不同可以把基于神經(jīng)網(wǎng)絡(luò)的融合算法分為數(shù)據(jù)級(jí)融合，特征級(jí)融合和決策級(jí)融合。CUI Yaodong等[4]也將這3種融合算法稱為低級(jí)數(shù)據(jù)融合、中級(jí)數(shù)據(jù)融合、高級(jí)數(shù)據(jù)融合。之前的研究[46]根據(jù)融合網(wǎng)絡(luò)輸入輸出的不同將融合網(wǎng)絡(luò)分為：1） 輸入數(shù)據(jù)輸出數(shù)據(jù)型（Data in, Data out）：輸入的數(shù)據(jù)是各個(gè)傳感器采集的數(shù)據(jù)，輸出則是經(jīng)過(guò)預(yù)處理的數(shù)據(jù)，如數(shù)據(jù)增強(qiáng)，數(shù)據(jù)對(duì)齊等；2） 輸入數(shù)據(jù)輸出特征型（Data in, Feature out）：輸入的數(shù)據(jù)是各個(gè)傳感器采集的數(shù)據(jù)，輸出是從原始數(shù)據(jù)中提取的特征向量；3） 輸入特征輸出特征型（Feature in, Feature out）：輸入和輸出是特征向量，這類通常也被稱為特征融合、符號(hào)融合或信息融合； 4） 輸入特征輸出決策型（Feature in, Decision out）：輸入是特征向量，輸出是決策； 5） 輸入決策輸出決策型（Decision in, Decision out）：輸入和輸出都是決策，通常被稱為決策融合網(wǎng)絡(luò)。接下來(lái)將對(duì)數(shù)據(jù)融合方式，特征融合方式和結(jié)構(gòu)融合方式進(jìn)行闡述。

2.2.1 數(shù)據(jù)融合方式

數(shù)據(jù)級(jí)融合方式是底層的融合方式，其首先將來(lái)自相同傳感器或不同傳感器采集的原始數(shù)據(jù)先進(jìn)行數(shù)據(jù)對(duì)齊、數(shù)據(jù)關(guān)聯(lián)等融合操作，然后將融合后的數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理并送入特征提取算法進(jìn)行特征提取，最后根據(jù)提取的特征得到最后的檢測(cè)結(jié)果。數(shù)據(jù)級(jí)融合的優(yōu)勢(shì)是盡可能的保留原始數(shù)據(jù)中物體的信息，避免信息的丟失，來(lái)自多源的數(shù)據(jù)也會(huì)相互補(bǔ)償，豐富數(shù)據(jù)信息，捕捉到單一傳感器捕捉不到的信息，例如相機(jī)和激光雷達(dá)的數(shù)據(jù)融合就能通過(guò)激光雷達(dá)信息補(bǔ)充物體的深度信息。但是數(shù)據(jù)級(jí)融合也面臨著計(jì)算量大、數(shù)據(jù)對(duì)齊（時(shí)間對(duì)齊和空間對(duì)齊）等問(wèn)題，由于原始數(shù)據(jù)采用不同格式和不同傳感器類型，因此在架構(gòu)中添加新傳感器需要對(duì)融合模塊進(jìn)行重大更改，對(duì)硬件內(nèi)存和算力要求較高[47]。多源數(shù)據(jù)的數(shù)據(jù)信息絕大多數(shù)是互補(bǔ)的，但也存在互相矛盾的情況，這種情況下就會(huì)引入噪聲，影響最終的感知結(jié)果，其融合結(jié)構(gòu)見(jiàn)圖3(a)。

2.2.2 特征融合方式

特征級(jí)融合方式首先將各個(gè)傳感器采集的數(shù)據(jù)分別送入對(duì)應(yīng)的特征提取算法，對(duì)數(shù)據(jù)進(jìn)行特征提取，然后將提取后的特征進(jìn)行融合，最后得到融合后的檢測(cè)結(jié)果。根據(jù)數(shù)據(jù)的不同，提取的特征也不相同，基于圖像數(shù)據(jù)提取的特征會(huì)包含檢測(cè)物體的邊界、尺寸大小、類別等，基于激光雷達(dá)數(shù)據(jù)提取的特征包含物體的3D尺寸數(shù)據(jù)、物體表面材料、物體距離信息等。大多數(shù)基于深度學(xué)習(xí)的方法利用神經(jīng)網(wǎng)絡(luò)提取特征，對(duì)不同傳感器提出的特征之間做級(jí)聯(lián)或者加權(quán)，如RoarNet[48]、AVOD[49]、MV3D[50]、F-PointNet[51]等。特征級(jí)融合的主要優(yōu)點(diǎn)是能夠減少傳感器數(shù)據(jù)到融合模塊的帶寬，特征級(jí)融合保留了低級(jí)融合的分類和預(yù)處理能力，能夠?qū)⑾嚓P(guān)數(shù)據(jù)有效地集成到跟蹤算法中[46]，并且可以通過(guò)提升特征的互補(bǔ)性來(lái)提升檢測(cè)精度。相較于數(shù)據(jù)級(jí)融合方式，由于對(duì)各個(gè)傳感器的原始數(shù)據(jù)首先進(jìn)行了特征的提煉，使得傳入檢測(cè)網(wǎng)絡(luò)的數(shù)據(jù)量大大減少，故特征級(jí)融合方式檢測(cè)速度快、實(shí)時(shí)性好，但也會(huì)丟失部分細(xì)節(jié)，檢測(cè)精度往往不如數(shù)據(jù)級(jí)融合方式高，融合結(jié)構(gòu)見(jiàn)圖3(b)。

2.2.3 決策融合方式

決策級(jí)融合是對(duì)各個(gè)傳感器采集的信息分別進(jìn)行特征提取并做出決策，然后對(duì)所有的決策信息進(jìn)行融合，進(jìn)行相關(guān)的處理并作出最終的決策。決策級(jí)融合具有2個(gè)優(yōu)勢(shì)：一是其模塊化和傳感器特定細(xì)節(jié)的封裝，當(dāng)某個(gè)傳感器出現(xiàn)故障不能做出決策時(shí)，不影響其他的傳感器工作，繼而提高了感知系統(tǒng)的魯棒性，保證了智能汽車感知系統(tǒng)的正常工作; 二是決策級(jí)融合方式的數(shù)據(jù)流在中間沒(méi)有融合，沒(méi)有中間的復(fù)雜融合過(guò)程，因此，速度會(huì)更快，融合結(jié)構(gòu)見(jiàn)圖3(c)。

2.3 主流的融合算法

不同的傳感器組合能互補(bǔ)各自的缺點(diǎn)，擴(kuò)大智能汽車的使用場(chǎng)景，增加智能汽車的魯棒性，面對(duì)不同的檢測(cè)任務(wù)使用不同的傳感器組合方式能充分利用計(jì)算資源，達(dá)到要求的感知任務(wù)。本節(jié)將從不同的傳感器組合方式角度來(lái)概述不同傳感器融合之間的優(yōu)劣。

2.3.1 圖像＋激光點(diǎn)云

相機(jī)和激光雷達(dá)融合是目前無(wú)人駕駛多目標(biāo)檢測(cè)的最熱門的多傳感器融合模式，相機(jī)能夠提供高分辨的圖像信息，激光雷達(dá)提供稠密的點(diǎn)云信息，融合算法也相對(duì)簡(jiǎn)單，檢測(cè)精度高，但是, 相機(jī)和激光雷達(dá)在惡劣工況下檢測(cè)性能差，成本相對(duì)較高，實(shí)時(shí)性較差。基于深度學(xué)習(xí)的圖像和激光點(diǎn)云的融合方式可大致分為：基于視錐體（frustum）的融合方式、基于點(diǎn)的融合方式、基于多視角的融合方式、基于體素的融合方式?；谝曞F體的融合方式是先進(jìn)行圖像檢測(cè)生成2D感興趣區(qū)域，然后將2D的感興趣區(qū)域投影到3D空間，生成視錐體，融合視錐體內(nèi)的點(diǎn)進(jìn)行車輛、行人等識(shí)別；基于點(diǎn)的融合方式是將圖像的高語(yǔ)義特征和對(duì)應(yīng)的點(diǎn)云進(jìn)行逐點(diǎn)融合，然后將融合后的點(diǎn)云送入3D物體檢測(cè)網(wǎng)絡(luò)進(jìn)行檢測(cè)；基于多視角的融合方式是在鳥瞰圖（bird's eye view，BEV）上先生成3D感興趣區(qū)域，然后利用生1成的感興趣區(qū)域回2歸3D檢測(cè)框；基3于體素的融合方式是將3D空間先分成一個(gè)個(gè)的體素（voxel）然后用圖像和體素中的點(diǎn)云進(jìn)行融合。

F-PointNet[52]是典型的基于視錐體的融合檢測(cè)網(wǎng)絡(luò)，該網(wǎng)絡(luò)結(jié)構(gòu)主要分為3部分：生成候選視錐體部分（frustum proposal）、3D實(shí)例分割部分（3D instance segmentation）和物體3D邊界2框回歸部分（amo3dal3d boxestimation）。首先使用基于圖像的神經(jīng)網(wǎng)絡(luò)生成視錐體，后續(xù)的定位和分類只需要在視錐體內(nèi)進(jìn)行，這大大減少了需要后續(xù)處理的數(shù)據(jù)量。由于相機(jī)中心坐標(biāo)和視錐體中心坐標(biāo)并不重合，故需要做一次坐標(biāo)軸的旋轉(zhuǎn)，使融合網(wǎng)絡(luò)具有更好的平移不變性。接下來(lái)在生成的視錐體內(nèi)使用PointNet進(jìn)行實(shí)例分割，由于視錐體的中心點(diǎn)和物1體的中心點(diǎn)不重合，需要進(jìn)行一次平移3，使網(wǎng)絡(luò)具有更好的平移不變性。最后利用T-Net[53]結(jié)構(gòu)細(xì)化物體的邊界框，通過(guò)3D邊界框估計(jì)模塊生成之后的檢測(cè)結(jié)果。F-PointNet是先根據(jù)圖像生成的檢測(cè)結(jié)果再做后續(xù)的操作，故檢測(cè)性能受圖像檢測(cè)性能的限制，其次F-PointNet并沒(méi)有充分利用到多傳感器融合的冗余性優(yōu)勢(shì)，F(xiàn)-PointNet網(wǎng)絡(luò)結(jié)構(gòu)見(jiàn)圖4。

Pointpainting[54]并不是端到端的檢測(cè)網(wǎng)絡(luò)，其檢測(cè)流程主要分為2個(gè)階段，第1個(gè)階段是將圖像信息做語(yǔ)義分割，分割出需要檢測(cè)的目標(biāo)；第2個(gè)階段是Pointpainting，即將第1階段生成的語(yǔ)義信息和點(diǎn)云相融合，然后將融合后的信息輸入到經(jīng)典的3D點(diǎn)云檢測(cè)網(wǎng)絡(luò)，得到最終的檢測(cè)結(jié)果。將語(yǔ)義信息和點(diǎn)云數(shù)據(jù)融合是Pointpainting最主要的創(chuàng)新點(diǎn)，首先將圖像和點(diǎn)云通過(guò)傳感器的參數(shù)確定位置關(guān)系，然后將生成的語(yǔ)義信息和點(diǎn)云數(shù)據(jù)進(jìn)行拼接操作（concatenate）。Pointpainting理論上可以應(yīng)用在任何基于點(diǎn)云檢測(cè)的網(wǎng)絡(luò)之前，來(lái)提高檢測(cè)性能，通過(guò)將語(yǔ)義信息和點(diǎn)云融合解決了圖像信息和深度信息不匹配的問(wèn)題，但是原始的點(diǎn)云信息沒(méi)有進(jìn)行預(yù)處理，這需要消耗更多的計(jì)算資源；其次，第1階段的語(yǔ)義分割模型和第2階段的3D點(diǎn)云檢測(cè)模型需要高度的耦合性，這會(huì)限制該網(wǎng)絡(luò)結(jié)構(gòu)的適用范圍。Pointpainting網(wǎng)絡(luò)結(jié)構(gòu)圖見(jiàn)圖5。

MV3D采用的是不同傳感器下的多視角的融合方案，其輸入是RGB圖像和原始激光點(diǎn)云處理成的鳥瞰圖和前視圖，輸出的是目標(biāo)在三維空間中的中心位置坐標(biāo)、長(zhǎng)寬高以及前進(jìn)方向。該網(wǎng)絡(luò)的處理過(guò)程可以概括為：首先從點(diǎn)云的鳥瞰圖形式中使用一個(gè)3D區(qū)域建議網(wǎng)絡(luò)產(chǎn)生3D候選區(qū)域，然后將這些候選區(qū)域根據(jù)坐標(biāo)變換分別投影到前視圖和RGB圖像上，從而產(chǎn)生3種形式的候選區(qū)域；接著借助由3組全連接層構(gòu)建的深度特征融合網(wǎng)絡(luò)，融合來(lái)自3種形式數(shù)據(jù)特征，從而回歸出目標(biāo)的所有待求參數(shù)。MV3D在特征融合階段進(jìn)行了創(chuàng)新，提出了深度融合方法（deep fusion），該方法是將多視圖的特征圖進(jìn)行分層融合，相較于前文提到融合方式，采用深度融合方法檢測(cè)精度更高。MV3D的檢測(cè)效果雖然優(yōu)于同期提出的算法，但是其存在一些弊端，針對(duì)小目標(biāo)，在點(diǎn)云鳥瞰圖中經(jīng)過(guò)下采樣之后占據(jù)像素少，容易產(chǎn)生漏檢，MV3D網(wǎng)絡(luò)結(jié)構(gòu)見(jiàn)圖6。

MVX-Net[55]是基于體素進(jìn)行融合的算法，該網(wǎng)絡(luò)首先使用Faster-RCNN對(duì)圖像進(jìn)行特征提取，將點(diǎn)云通過(guò)校正矩陣投影到圖像上，然后和Fatster-RCNN生成的最后一層特征圖進(jìn)行特征的匹配，將匹配后的特征進(jìn)行進(jìn)一步的特征圖提取，同時(shí)將點(diǎn)云進(jìn)行體素化處理和上一步的特征進(jìn)行逐點(diǎn)拼接（pointwise concatenate），再通過(guò)幾個(gè)VFE模塊生成3D候選區(qū)域，其中VFE模塊是在VoxelNet中提出的特征提取結(jié)構(gòu)，最后進(jìn)行3D檢測(cè)?；隗w素的融合方式可以和標(biāo)準(zhǔn)的3D卷積操作結(jié)合，這拓寬了體素融合方式的適用范圍，但是在體素化過(guò)程中，點(diǎn)云數(shù)據(jù)會(huì)丟失幾何信息，體素越小檢測(cè)精度越好，但是消耗的計(jì)算資源更大，MVXNet結(jié)構(gòu)圖見(jiàn)7。

2.3.2 圖像＋毫米波點(diǎn)云

相機(jī)和毫米波雷達(dá)已發(fā)展多年，二者硬件技術(shù)儲(chǔ)備足，生產(chǎn)成本也較低，但是用于無(wú)人駕駛的圖像+毫米波點(diǎn)云的公開(kāi)數(shù)據(jù)集很少。圖像與毫米波點(diǎn)云融合算法起步較晚，相較于激光點(diǎn)云、毫米波雷達(dá)生成的點(diǎn)云較稀疏，捕獲的信息較少，近幾年這方面的研究才起步。

JIANG Qiuyu等[56]提出了一種基于毫米波雷達(dá)和相機(jī)融合的車輛周圍感知算法，該算法以毫米波雷達(dá)為主，以相機(jī)為輔。相機(jī)模塊首先進(jìn)行視覺(jué)檢測(cè)（基于改進(jìn)的Faster-RCNN），并將檢測(cè)結(jié)果發(fā)送給毫米波雷達(dá)，根據(jù)馬氏距離（Mahalanobis distance）的思想，對(duì)檢測(cè)結(jié)果進(jìn)行融合，該框架屬于決策級(jí)融合，硬件設(shè)備主要有美國(guó)德?tīng)柛９旧a(chǎn)的德?tīng)柛SR毫米波雷達(dá)和德國(guó)聯(lián)合視覺(jué)公司的Mako G-192B單目相機(jī)。該框架的主要?jiǎng)?chuàng)新點(diǎn)如下：1） 對(duì)Faster-RCNN進(jìn)行改進(jìn)，為區(qū)域建議網(wǎng)絡(luò)和分類回歸網(wǎng)絡(luò)（classification regression network）分別提供單獨(dú)的特征，以提高視覺(jué)檢測(cè)的性能，在候選區(qū)域生成網(wǎng)絡(luò)添加一個(gè)候選區(qū)域優(yōu)化網(wǎng)絡(luò)，目的是過(guò)濾掉質(zhì)量差的候選區(qū)域，以減少計(jì)算并提高檢測(cè)速度；2） 在融合部分，根據(jù)馬氏距離的思想，利用2個(gè)傳感器輸出目標(biāo)序列對(duì)觀測(cè)值進(jìn)行匹配，利用聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)方法（joint probabilistic data association，JPDA）進(jìn)行融合，建立系統(tǒng)匹配模型和狀態(tài)模型，其網(wǎng)絡(luò)結(jié)構(gòu)圖見(jiàn)圖8。S. Chadwick等[57]設(shè)計(jì)了一種特征級(jí)融合結(jié)構(gòu)，該網(wǎng)絡(luò)首先使用ResNet[58]網(wǎng)絡(luò)對(duì)圖像和毫米波雷達(dá)的反射面積和速度信息分別進(jìn)行特征提取，然后將圖像特征和雷達(dá)點(diǎn)云特征進(jìn)行拼接操作，將拼接后的特征繼續(xù)使用ResNet進(jìn)行特征提取，生成3個(gè)分辨率不同特征圖，用于不同感知任務(wù)，其網(wǎng)絡(luò)結(jié)構(gòu)圖見(jiàn)圖9。V. John等[59]的融合檢測(cè)網(wǎng)絡(luò)也提出了類似的檢測(cè)算法，不同的是在處理融合后的特征時(shí)，使用的是一階段的圖像檢測(cè)算法YOLO。這2種檢測(cè)算法結(jié)構(gòu)相對(duì)簡(jiǎn)單，沒(méi)有使用雷達(dá)點(diǎn)云的全部數(shù)據(jù)，檢測(cè)速度會(huì)更快，但是物體定位不是很準(zhǔn)確。WANG Xiao等[60]使用單目相機(jī)和毫米波雷達(dá)進(jìn)行融合，提出了一種協(xié)同的融合方法，以實(shí)現(xiàn)車輛檢測(cè)精度和計(jì)算效率之間的最優(yōu)平衡，整體的檢測(cè)流程：首先, 毫米波雷達(dá)檢測(cè)車輛以生成感興趣區(qū)域（region of interest, ROI）， 然后, 將感興趣區(qū)域送入視覺(jué)處理模塊來(lái)生成邊界框，采用主動(dòng)輪廓法檢測(cè)邊界框內(nèi)的車輛，如果主動(dòng)輪廓方法失敗，則是毫米波雷達(dá)的虛警，視覺(jué)處理模塊應(yīng)消除這種檢測(cè)。WANG Jiangang等[61]提出了一種在雨天車輛檢測(cè)融合系統(tǒng)，首先對(duì)雷達(dá)和相機(jī)進(jìn)行地面標(biāo)定，然后將雷達(dá)檢測(cè)結(jié)果投影到相機(jī)圖像上進(jìn)行目標(biāo)尺寸估計(jì)，利用雷達(dá)提供的精確的縱向距離和方位角，減小由圖像模糊引起的車輛寬度誤差。

2.3.3 毫米波點(diǎn)云＋激光點(diǎn)云

由于激光點(diǎn)云和毫米波點(diǎn)云的數(shù)據(jù)結(jié)構(gòu)類似，因此, 數(shù)據(jù)融合相對(duì)簡(jiǎn)單; 由于點(diǎn)云數(shù)據(jù)提供的數(shù)據(jù)精確，因此基于毫米波點(diǎn)云和激光點(diǎn)云的融合檢測(cè)算法精測(cè)精度較高; 但是整體成本較高，點(diǎn)云在遠(yuǎn)處較稀疏，對(duì)于檢測(cè)遠(yuǎn)處的物體效果不如視覺(jué)傳感器。

王海等[62]提出了一種基于激光雷達(dá)和毫米波雷達(dá)融合的車輛目標(biāo)檢測(cè)算法。該算法首先采用歸一化方法對(duì)點(diǎn)云做預(yù)處理，并利用預(yù)處理后的點(diǎn)云生成特征圖，之后融合毫米波雷達(dá)數(shù)據(jù)生成感興趣區(qū)域，最后設(shè)計(jì)了多任務(wù)分類回歸網(wǎng)絡(luò)實(shí)現(xiàn)車輛目標(biāo)檢測(cè)。該文章的主要?jiǎng)?chuàng)新點(diǎn)有：1） 設(shè)計(jì)了基于點(diǎn)云鳥瞰圖（BEV）視角的目標(biāo)檢測(cè)算法；2） 加入毫米波雷達(dá)數(shù)據(jù)設(shè)計(jì)算法預(yù)瞄框，相對(duì)于單一點(diǎn)云檢測(cè)算法檢測(cè)精度有所提高，網(wǎng)絡(luò)結(jié)構(gòu)圖見(jiàn)圖10。

2.3.4 圖像＋激光點(diǎn)云＋毫米波點(diǎn)云

圖像、激光點(diǎn)云和毫米波點(diǎn)云三者融合的方式是最理想的結(jié)果，檢測(cè)的魯棒性最高，檢測(cè)精度也最好。但是基于三者的融合算法很難設(shè)計(jì)，難以融合，對(duì)車載算力要求也非常高，是多傳感器融合方向上的一大難題。

蔡英鳳等[63]提出了一種基于相機(jī)、毫米波雷達(dá)和激光雷達(dá)融合用于檢測(cè)、跟蹤、分類的檢測(cè)模塊（FOP模塊），激光雷達(dá)和相機(jī)分別提供原始的點(diǎn)云和圖像數(shù)據(jù)，而雷達(dá)提供檢測(cè)目標(biāo)的高語(yǔ)義數(shù)據(jù)。融合方法是基于DS理論，其將所有傳感器提供的物體的單獨(dú)列表作為證據(jù)來(lái)源。對(duì)于每個(gè)對(duì)象，其完整狀態(tài)包括其位置、形狀、大小和速度的信息，以及單個(gè)對(duì)象的分類。利用DS理論，可以表示來(lái)自不同傳感器探測(cè)器的關(guān)于這些目標(biāo)特征的證據(jù)，并將它們的分類似然化為一個(gè)共同的表示。融合過(guò)程主要依賴于2個(gè)部分：瞬時(shí)融合，即單個(gè)傳感器和單個(gè)目標(biāo)在同一時(shí)刻提供的證據(jù)相結(jié)合; 動(dòng)態(tài)融合則是將以往的證據(jù)與瞬時(shí)融合結(jié)果相結(jié)合，具體網(wǎng)絡(luò)結(jié)構(gòu)圖見(jiàn)圖11。

3 總結(jié)與分析

智能汽車對(duì)周圍環(huán)境的感知能力決定了后續(xù)的規(guī)劃決策和整車控制，是智能汽車安全行駛的前提條件，單傳感器本身具有不同的感知缺陷，多傳感器融合成為無(wú)人駕駛檢測(cè)技術(shù)的重點(diǎn)研究方向，本節(jié)對(duì)多傳感器融合技術(shù)進(jìn)行總結(jié)分析，提出了具有挑戰(zhàn)性問(wèn)題和發(fā)展趨勢(shì)。

3.1 分 析

1） 數(shù)據(jù)集。為了完成車輛、行人、車道線、交通指示燈等目標(biāo)檢測(cè)任務(wù)，以及面對(duì)不同的場(chǎng)景，如高速路、城區(qū)、鄉(xiāng)間等，融合的算法也層出不窮。不同的算法往往基于不同的開(kāi)源數(shù)據(jù)集訓(xùn)練而成，但涵蓋所有傳感器數(shù)據(jù)的開(kāi)源數(shù)據(jù)集數(shù)量較少，不能覆蓋所有的駕駛場(chǎng)景。很多算法不能得到充足的訓(xùn)練，所有數(shù)據(jù)集都存在數(shù)據(jù)不平衡問(wèn)題。為了解決這問(wèn)題，研究人員從算法的角度給出了一定的解決辦法（數(shù)據(jù)增強(qiáng)）[64-66]，但是采集更加平衡的數(shù)據(jù)集才是最根本的解決方式，但數(shù)據(jù)集的采集和標(biāo)注極其消耗人力物力；其次數(shù)據(jù)集的數(shù)據(jù)質(zhì)量、數(shù)據(jù)數(shù)量、數(shù)據(jù)種類和數(shù)據(jù)采集的場(chǎng)景都各不相同，這很難指定一個(gè)衡量標(biāo)準(zhǔn)，來(lái)衡量不同融合算法之間的優(yōu)劣。

2） 評(píng)估標(biāo)準(zhǔn)。不同的融合算法一般基于不同的數(shù)據(jù)集，不同數(shù)據(jù)集對(duì)精度等指標(biāo)的計(jì)算會(huì)存在差異，其次絕大多數(shù)的融合算法不開(kāi)源，這就導(dǎo)致不能在相同的硬件環(huán)境（相同的相機(jī)、激光雷達(dá)和毫米波雷達(dá)參數(shù)、計(jì)算單元相同的算力）下進(jìn)行橫向比較，這使得不同算法之間的檢測(cè)精度和檢測(cè)速度失去了意義。

3） 工業(yè)落地。參考文獻(xiàn)中的檢測(cè)速度和檢測(cè)精度都是在高算力平臺(tái)下實(shí)現(xiàn)的。多傳感器融合算法相較于單一傳感器檢測(cè)算法需要消耗更多的計(jì)算資源。在車載計(jì)算資源有限的情況下，檢測(cè)速度會(huì)大打折扣，這在高速的無(wú)人駕駛環(huán)境下是非常危險(xiǎn)的，絕大多數(shù)算法還沒(méi)有達(dá)到工業(yè)落地的程度。

4） 融合深度。雖然基于深度學(xué)習(xí)的融合網(wǎng)絡(luò)形式越來(lái)越多，但是大多融合操作為了提高平均精度，只是將數(shù)據(jù)、特征向量等簡(jiǎn)單的相加、拼接或取平均值，操作單一并沒(méi)有考慮到數(shù)據(jù)之間的空間關(guān)聯(lián)等屬性，沒(méi)有充分的考慮融合系統(tǒng)的魯棒性。在調(diào)查過(guò)程中不難發(fā)現(xiàn)，相機(jī)和激光雷達(dá)、相機(jī)和毫米波雷達(dá)的融合算法最多，大多數(shù)的融合網(wǎng)絡(luò)在融合過(guò)程中只是用到了單幀的圖像與點(diǎn)云進(jìn)行融合，而沒(méi)有充分利用圖像前后幀的關(guān)系進(jìn)行感知，也就是沒(méi)有利用時(shí)間信息維度，這樣會(huì)導(dǎo)致在時(shí)間上不連續(xù)，不同數(shù)據(jù)在時(shí)間上不能實(shí)現(xiàn)同步。

3.2 展 望

根據(jù)最新的研究進(jìn)展以及上述分析的所面臨的挑戰(zhàn)，多任務(wù)融合模塊[49,67]能充分利用各個(gè)傳感器捕獲的數(shù)據(jù)，在完成多任務(wù)的同時(shí)而不增加系統(tǒng)的復(fù)雜程度。由于傳感器本身檢測(cè)的距離有限、角度有限、捕捉的物體的屬性有限，隨著車載傳感器在智能汽車上部署的越來(lái)越多，相應(yīng)的算法也越來(lái)越復(fù)雜，參數(shù)也隨之增加，加入車載通信技術(shù)（vehicle-to-everything,V2X）是一個(gè)不錯(cuò)的選擇。當(dāng)智能汽車與周邊其他交通參與者建立聯(lián)系，感知范圍將更大、更精確，則遮擋問(wèn)題、跟蹤問(wèn)題將迎刃而解，數(shù)據(jù)的共享將大大減小對(duì)車載感知系統(tǒng)的依賴，隨之對(duì)計(jì)算資源占用也會(huì)降低。

目前絕大多數(shù)的融合算法都是基于有監(jiān)督方式，訓(xùn)練出優(yōu)秀的融合算法需要優(yōu)秀的數(shù)據(jù)集，但是基于上述的討論，目前的無(wú)人駕駛數(shù)據(jù)集都存在或多或少的缺陷，針對(duì)極端場(chǎng)景的數(shù)據(jù)尤其缺乏。因此，基于無(wú)監(jiān)督的融合算法將成為新的研究方向，這會(huì)大大降低對(duì)數(shù)據(jù)集需求，降低訓(xùn)練的成本。

車載計(jì)算單元的算力有限，但是需要完成的計(jì)算任務(wù)卻很多。在感知方面，智能汽車往往需要進(jìn)行多目標(biāo)檢測(cè)、跟蹤、語(yǔ)義分割、定位等任務(wù)同時(shí)進(jìn)行，若每項(xiàng)任務(wù)都單獨(dú)部署一個(gè)感知算法，則車載計(jì)算單元算力明顯不夠，若能設(shè)計(jì)出一種檢測(cè)算法同時(shí)能滿足多種感知需求，算力不足問(wèn)題將會(huì)迎刃而解。在2D目標(biāo)檢測(cè)方向，CenterNet設(shè)計(jì)出了可用是用于3D檢測(cè)、2D檢測(cè)和人體關(guān)鍵點(diǎn)檢測(cè)的神經(jīng)網(wǎng)絡(luò)；基于圖像和激光點(diǎn)云融合算法MMF[68]也實(shí)現(xiàn)了同時(shí)完成地圖繪制、3D檢測(cè)、2D檢測(cè)和深度估計(jì)（depth completion）任務(wù)。之前的研究基本是基于單一融合方式，即數(shù)據(jù)級(jí)融合、特征級(jí)融合和決策級(jí)融合中的一種，MV3D證明了融合方式不只有3種主流的融合方式，不同融合方式的組合使用可能會(huì)帶來(lái)更好的檢測(cè)出效果。

3.3 總 結(jié)

本文首先對(duì)基于深度學(xué)習(xí)的多傳感器融合檢測(cè)技術(shù)的背景做了相關(guān)介紹，主要包括主流的車載傳感器、視覺(jué)和點(diǎn)云的檢測(cè)算法，對(duì)比了各種傳感器的優(yōu)劣勢(shì)，提出了多傳感器融合的必要性；然后對(duì)多傳感器融合技術(shù)進(jìn)行了深入的探討，總結(jié)了傳統(tǒng)融合算法和基于深度學(xué)習(xí)的融合算法，分析了基于深度學(xué)習(xí)的融合算法的優(yōu)勢(shì)，歸納了3種融合層次（數(shù)據(jù)級(jí)融合、特征及融合以及決策級(jí)融合） 的特點(diǎn)、應(yīng)用場(chǎng)景和優(yōu)缺點(diǎn)，列舉了主流的傳感器組合方式以及典型的網(wǎng)絡(luò)結(jié)構(gòu)，總結(jié)了各種組合方式的優(yōu)缺點(diǎn)和使用場(chǎng)景，最后對(duì)現(xiàn)階段多傳感器融合檢測(cè)技術(shù)的研究做出了分析、總結(jié)與展望，有望對(duì)今后更深入的研究提供了思路。