祖國強(qiáng) 何俏君 張志德 徐偉

（1.廣東省智能網(wǎng)聯(lián)汽車創(chuàng)新中心有限公司，廣州 511400；2.廣州汽車集團(tuán)股份有限公司汽車工程研究院，廣州 511400）

主題詞：多源數(shù)據(jù)融合 感知 卡爾曼 深度學(xué)習(xí)

DS Dempster Shafer

ROI Region of Interest

RoarNet Region Approximation Refinement Network

AVOD Aggregate View Object Detection

MV3D Multi-View 3D Object Detection

MCU Microcontroller Unit

SoC System on a Chip

1 前言

隨著汽車保有量的持續(xù)增加，交通事故日益高發(fā)，這給人們出行甚至城市發(fā)展都帶來了嚴(yán)峻的挑戰(zhàn)，而以無人駕駛為核心的新型智能交通系統(tǒng)在一定程度上改善了交通運(yùn)輸?shù)男?提高了行車的安全性。通常，依據(jù)無人駕駛系統(tǒng)的功能定義，可將無人駕駛系統(tǒng)分為4大主要功能模塊：感知融合、融合定位、路徑規(guī)劃和決策控制。其中，感知融合模塊以攝像頭、激光雷達(dá)、毫米波雷達(dá)傳感器的原始數(shù)據(jù)為輸入，并根據(jù)各傳感器的感知特性對(duì)信息進(jìn)行融合，以獲得更準(zhǔn)確的自車位姿信息、狀態(tài)信息以及道路、障礙物、行駛區(qū)域周邊環(huán)境信息。感知融合模塊是無人駕駛系統(tǒng)中其它模塊的源頭，整個(gè)無人駕駛系統(tǒng)的性能很大程度上有感知融合模塊的性能決定。在感知融合模塊，常用的傳感器有攝像頭、毫米波雷達(dá)、激光雷達(dá)。不同的傳感器有不同的優(yōu)缺點(diǎn)及特定用途，通過對(duì)目前國內(nèi)外感知領(lǐng)域研究現(xiàn)狀調(diào)查發(fā)現(xiàn)以下結(jié)論。

攝像頭在無人駕駛系統(tǒng)中是必不可少的。其優(yōu)點(diǎn)主要有2方面：（1）攝像頭成本低，且是最接近于人類感知環(huán)境的傳感器；（2）攝像頭輸出具有豐富的語義信息，同時(shí)基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法已趨于成熟，可以最大程度的挖掘其中信息，獲取盡可能準(zhǔn)確的感知信息，比如物體的類別、交通牌信息、車道線信息等。但是攝像頭還存在一些缺點(diǎn)：實(shí)時(shí)性差、易受環(huán)境（光線、天氣）影響、不能準(zhǔn)確地檢測(cè)前車速度和車距，以獲得精確的環(huán)境細(xì)節(jié)信息、縱向方向上的分辨率較低。

毫米波雷達(dá)是無人駕駛系統(tǒng)中最成熟的傳感器，其優(yōu)勢(shì)在于環(huán)境適應(yīng)性強(qiáng)，可直接獲取目標(biāo)準(zhǔn)確的速度、距離、角度信息，可以彌補(bǔ)攝像頭的不足，但是雷達(dá)輸出的障礙物列表噪聲較大、漏檢率與誤檢率較高、同時(shí)存在無法給出跟蹤目標(biāo)的類別信息、尺寸信息。

激光雷達(dá)與毫米波雷達(dá)不同，使用工作頻率更高的激光束，因此具有分辨率高、隱蔽性強(qiáng)的優(yōu)點(diǎn)。然而，其工作時(shí)受天氣的影響較大，相較于在晴天的感知效果，激光雷達(dá)在雨、濃煙、濃霧的異常天氣里感知距離大幅縮短，對(duì)異常天氣的魯棒性較差。

對(duì)于單一類型的傳感器來說，某一采樣時(shí)刻只能獲取環(huán)境的1個(gè)片面數(shù)據(jù)，數(shù)據(jù)量少，其信息只能描述環(huán)境的局部特征。同時(shí)，單一類型的傳感器有自己的局限性，雖然可以通過改進(jìn)系統(tǒng)硬件性能或優(yōu)化算法，來提升單一傳感器的性能，但是仍不能滿足在復(fù)雜交通工況中的對(duì)感知性能的要求。而多源傳感器系統(tǒng)通過多類型、多視角傳感器獲得更多種類和數(shù)量的數(shù)據(jù)，因此能夠更加全面的描述環(huán)境，這是因?yàn)槎嘣磦鞲衅髦g的互補(bǔ)數(shù)據(jù)不僅擴(kuò)展了單源傳感器的性能（圖1）及空間上的觀測(cè)范圍，還提高了系統(tǒng)的感知維度與感知準(zhǔn)確度，增強(qiáng)了環(huán)境適應(yīng)能力與分辨能力，更重要的是增強(qiáng)了系統(tǒng)應(yīng)對(duì)不同天氣情況、光照情況的魯棒性。

圖1 多源數(shù)據(jù)融合示意

多源數(shù)據(jù)融合的具體過程如下：

（1）多源傳感器獨(dú)立工作獲得觀測(cè)數(shù)據(jù)；

（2）對(duì)各傳感器數(shù)據(jù)進(jìn)行預(yù)處理；

（3）對(duì)預(yù)處理之后的數(shù)據(jù)進(jìn)行信息提取，獲取觀測(cè)對(duì)象的特征信息；

（4）在數(shù)據(jù)融合中心使用特定算法對(duì)觀測(cè)對(duì)象的多源信息進(jìn)行融合，獲得對(duì)環(huán)境的一致性描述。

2 多源數(shù)據(jù)融合算法

多源數(shù)據(jù)融合算法是感知融合領(lǐng)域的核心內(nèi)容。通過對(duì)多源數(shù)據(jù)在數(shù)據(jù)級(jí)、特征級(jí)、目標(biāo)級(jí)不同層次進(jìn)行融合處理，可以獲得目標(biāo)的高精度描述。目前主流的融合算法有加權(quán)平均法、貝葉斯方法、卡爾曼濾波原理、DS證據(jù)理論推理和深度學(xué)習(xí)，不同的算法有不同的適用環(huán)境及各自的優(yōu)缺點(diǎn)。

2.1 加權(quán)平均法

加權(quán)平均法比較簡單、直觀，多個(gè)傳感器獨(dú)立探測(cè)的數(shù)據(jù)，乘上相應(yīng)的權(quán)值，然后累加求和并取平均值，將其結(jié)果作為融合結(jié)果。該方法較容易實(shí)現(xiàn)，實(shí)時(shí)性好。但是，其權(quán)值的分配和取值有一定的主觀性，且方法過于簡單，融合效果不夠穩(wěn)定，實(shí)用性較差。

2.2 貝葉斯方法

貝葉斯方法基于先驗(yàn)概率，并不斷結(jié)合新的數(shù)據(jù)信息得到新的概率，其公式如式（1）。

貝葉斯方法的主要局限性在于其工作基于先驗(yàn)概率，而先驗(yàn)概率往往需要通過大量的數(shù)據(jù)統(tǒng)計(jì)來實(shí)現(xiàn)。

2.3 卡爾曼濾波理論

卡爾曼濾波理論是1 種利用線性狀態(tài)方程，通過系統(tǒng)輸入的觀測(cè)數(shù)據(jù)，對(duì)系統(tǒng)狀態(tài)進(jìn)行最優(yōu)估計(jì)的算法，卡爾曼濾波法能合理并充分的處理多種差異很大的傳感器信息，并能適應(yīng)復(fù)雜多樣的環(huán)境。基于卡爾曼濾波的遞推特性，不僅可以對(duì)當(dāng)前狀態(tài)進(jìn)行狀態(tài)估計(jì)，而且可以對(duì)未來狀態(tài)進(jìn)行預(yù)測(cè)，通過狀態(tài)估計(jì)、狀態(tài)預(yù)測(cè)的不斷迭代實(shí)現(xiàn)對(duì)被測(cè)狀態(tài)的最優(yōu)估計(jì)。卡爾曼濾波算法常用的公式如下。

式中，是狀態(tài)矩陣，是狀態(tài)協(xié)方差矩陣，是卡爾曼增益矩陣，其中下標(biāo)11為上一時(shí)刻數(shù)值，1為當(dāng)前時(shí)刻數(shù)值；F是前后時(shí)刻的狀態(tài)轉(zhuǎn)移矩陣；Q是當(dāng)前時(shí)刻的預(yù)測(cè)噪聲協(xié)方差；H是觀測(cè)矩陣到狀態(tài)的轉(zhuǎn)移矩陣；R是傳感器的噪聲協(xié)方差矩陣；z是傳感器測(cè)量向量。

2.4 DS證據(jù)理論

DS證據(jù)理論是基于貝葉斯估計(jì)方法，Dempster首先通過構(gòu)造1個(gè)不確定性推理模型，將命題的不確定性轉(zhuǎn)化為集合的不確定性，Shafer在此基礎(chǔ)上對(duì)其進(jìn)行了完善。其最大特點(diǎn)是將“區(qū)間”轉(zhuǎn)化為“點(diǎn)”，用“點(diǎn)估計(jì)”的方法描述不確定信息，算法的靈活度高是該方法最大的特點(diǎn)。而DS證據(jù)理論的缺點(diǎn)主要有3點(diǎn)：（1）算法的時(shí)間復(fù)雜度與樣本量的平方成正比，這意味著運(yùn)算量會(huì)隨樣本數(shù)量的增加而指數(shù)增長；（2）證據(jù)理論的判決規(guī)則常常有很大的主觀性；（3）證據(jù)理論在多源輸入存在沖突時(shí)效果不好，因此在無人駕駛多源數(shù)據(jù)融合系統(tǒng)構(gòu)建時(shí)需要著重考慮如何解決證據(jù)沖突問題。

2.5 深度學(xué)習(xí)方法

深度學(xué)習(xí)模型的底層原理是基于現(xiàn)代神經(jīng)科學(xué)，由大量模擬人類神經(jīng)的基本處理單元組成，因此又稱為深度學(xué)習(xí)網(wǎng)絡(luò)。在訓(xùn)練階段，網(wǎng)絡(luò)的輸入?yún)?shù)是傳感器的原始數(shù)據(jù)，網(wǎng)絡(luò)輸出與人為標(biāo)注的真值之間的誤差以方向梯度傳遞的方式更新網(wǎng)絡(luò)參數(shù)，通過大量數(shù)據(jù)、多次迭代訓(xùn)練以優(yōu)化網(wǎng)絡(luò)參數(shù)，進(jìn)而消除非目標(biāo)參量的干擾，完成相應(yīng)的智能任務(wù)。模型具有較強(qiáng)的容錯(cuò)能力與自適應(yīng)能力，且能夠模擬復(fù)雜的非線性映射，例如深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)可基于攝像頭圖形進(jìn)行目標(biāo)檢測(cè)，進(jìn)而得到目標(biāo)的運(yùn)動(dòng)、位姿特征信息。在無人駕駛過程中存在著大量不確定信息，比如多傳感器數(shù)據(jù)及其噪聲、行人車輛等目標(biāo)的突發(fā)狀況，對(duì)這些不確定信息的融合過程等同于不確定性的推理過程。而深度學(xué)習(xí)網(wǎng)絡(luò)可以通過獲取的傳感器信息，迭代優(yōu)化網(wǎng)絡(luò)權(quán)值，獲得不確定推理機(jī)制，因此無人駕駛感知融合領(lǐng)域常使用深度學(xué)習(xí)方法進(jìn)行信息融合。

3 多源數(shù)據(jù)融合的層次

根據(jù)多源數(shù)據(jù)融合的輸入數(shù)據(jù)的抽象程度可將多源數(shù)據(jù)融合技術(shù)劃分為目標(biāo)級(jí)融合（后融合）、特征級(jí)融合和數(shù)據(jù)級(jí)融合（前融合）3個(gè)層次（圖2）。

圖2 多源數(shù)據(jù)融合的3個(gè)層次

3.1 目標(biāo)級(jí)融合

目標(biāo)級(jí)融合先提取原始數(shù)據(jù)中的目標(biāo)信息，并產(chǎn)生目標(biāo)的跟蹤列表，然后融合模型將來自不同傳感器的跟蹤列表進(jìn)行關(guān)聯(lián)匹配，最終得到完整的多源跟蹤列表。該方法只對(duì)目標(biāo)信息進(jìn)行融合，不受傳感器類別的限制，能夠保證實(shí)時(shí)性。其主要優(yōu)勢(shì)在于模塊化，所有與傳感器相關(guān)的細(xì)節(jié)都在傳感器后處理模塊進(jìn)行處理，而融合模塊只需抽象地處理數(shù)據(jù)。但是該方法在融合之前已進(jìn)行特征提取，信息存在一定程度上的損失，因此其準(zhǔn)確度最差。

目標(biāo)級(jí)融合最常用的算法就是卡爾曼濾波算法，融合框架一般有2種形式。

（1）該框架在收到任意一個(gè)傳感器信號(hào)的時(shí)候就進(jìn)行1次更新，該方法對(duì)不同傳感器等同看待，對(duì)不同傳感器數(shù)據(jù)用同樣的方法進(jìn)行處理，不同傳感器之間的區(qū)分僅在于初始化參數(shù)以及噪聲矩陣，這會(huì)導(dǎo)致誤差延續(xù)的問題，比如視覺傳感器的錯(cuò)誤估計(jì)會(huì)向下傳遞影響后續(xù)的處理結(jié)果（圖3）。

圖3 貫序更新卡爾曼濾波融合框架

（2）另一種框架為同步更新（圖4），主要有2個(gè)特點(diǎn)：（1）允許時(shí)延，等待多傳感器數(shù)據(jù)，進(jìn)行同步；（2）根據(jù)不同傳感器的特性，融合不同傳感器精度更高的數(shù)據(jù)（毫米波雷達(dá)的速度信息或視覺結(jié)果的分類信息），相當(dāng)于進(jìn)行濾波處理。

圖4 同步更新卡爾曼濾波融合框架

3.2 特征級(jí)融合

特征級(jí)融合接收的是原始數(shù)據(jù)提取后的特征信息，根據(jù)目標(biāo)已有特征對(duì)融合特征進(jìn)行匹配，獲得目標(biāo)的信息。信息丟失相對(duì)于目標(biāo)級(jí)融合有所減少，其準(zhǔn)確性有所提升。在特征提取方面主要基于深度學(xué)習(xí)，主流的方法有RoarNet、AVOD、MV3D、FPointNet。陳毅等首先將點(diǎn)云數(shù)據(jù)前向投影形成二維深度圖，并將深度圖的分辨率提高至與圖像分辨率一致，然后使用深度學(xué)習(xí)目標(biāo)檢測(cè)算法分別對(duì)相機(jī)圖像和深度圖進(jìn)行目標(biāo)檢測(cè)，最后根據(jù)改進(jìn)的DS 證據(jù)理論對(duì)檢測(cè)結(jié)果進(jìn)行特征級(jí)融合。

3.3 數(shù)據(jù)級(jí)融合

數(shù)據(jù)級(jí)融合接對(duì)多源原始數(shù)據(jù)進(jìn)行融合，然后從融合后的數(shù)據(jù)中進(jìn)行特征提取，因此該方法又稱像素級(jí)融合（前融合），數(shù)據(jù)級(jí)融合充分利用了多源傳感器的原始數(shù)據(jù)，不存在信息丟失的問題，理論上可以獲得對(duì)目標(biāo)最準(zhǔn)確的描述，但是正因?yàn)樵撊诤夏Ｐ徒邮盏氖窃紨?shù)據(jù)，所以對(duì)系統(tǒng)通信帶寬的要求很高。

表1 為上述3 種融合層次的優(yōu)缺點(diǎn)，數(shù)據(jù)融合的層次越高，用于融合的信息抽象性越強(qiáng)，模塊化越好；融合層次越低，融合的信息越全面，但數(shù)據(jù)量大，對(duì)各信息間的配準(zhǔn)性（時(shí)間同步、空間同步）要求高。融合層次的選擇主要在于融合精度和融合速度的取舍。廖岳鵬分別建立3 種層次數(shù)據(jù)融合算法，通過對(duì)比發(fā)現(xiàn)對(duì)多傳感器進(jìn)行數(shù)據(jù)上的融合能夠更加有效地提升融合模型性能。

表1 3種融合層次的性能比較

4 數(shù)據(jù)處理方式

在無人駕駛感知領(lǐng)域，融合系統(tǒng)可根據(jù)模型的數(shù)據(jù)處理結(jié)構(gòu)分為3類：分布式、集中式和混合式。從融合信息的損失程度來看，分布式結(jié)構(gòu)的損失最高；而在融合處理的復(fù)雜度方面，混合式結(jié)構(gòu)最復(fù)雜。無論是哪種融合數(shù)據(jù)處理結(jié)構(gòu)，都提升了傳感器的環(huán)境感知能力。

4.1 分布式

分布式融合的本質(zhì)是基于分布式結(jié)構(gòu)的融合算法，主要利用了假設(shè)生成和假設(shè)驗(yàn)證的思想。分布式融合結(jié)構(gòu)中的處理單元分布在各獨(dú)立節(jié)點(diǎn)，在對(duì)傳感器的原始數(shù)據(jù)進(jìn)行初步處理之后再送入統(tǒng)一的信息融合中心，通過對(duì)融合數(shù)據(jù)進(jìn)行多維優(yōu)化、組合、推理，以獲取最終結(jié)果。

分布式融合結(jié)構(gòu)的一般做法是將其中1個(gè)傳感器檢測(cè)的目標(biāo)生成可供其它傳感器識(shí)別的感興趣區(qū)域（ROI）。然后，用另一個(gè)傳感器來驗(yàn)證ROI 內(nèi)是否包含目標(biāo)。在包含毫米波雷達(dá)和攝像頭的融合系統(tǒng)中，毫米波雷達(dá)掃描速度快，適用于對(duì)目標(biāo)的狀態(tài)進(jìn)行初步估計(jì)，基于毫米波雷達(dá)生成的目標(biāo)列表可供其它傳感器驗(yàn)證ROI。該結(jié)構(gòu)不僅可以通過雷達(dá)目標(biāo)信息使感興趣區(qū)域縮小了目標(biāo)檢測(cè)范圍、縮短視覺處理時(shí)間。同時(shí)，基于計(jì)算機(jī)視覺的目標(biāo)識(shí)別算法可以對(duì)雷達(dá)檢測(cè)的目標(biāo)進(jìn)行雜波剔除，從而減小雷達(dá)的誤報(bào)，提高目標(biāo)識(shí)別精度。但是，該方案僅對(duì)目標(biāo)存在的概率進(jìn)行融合，對(duì)信息存在一定程度的浪費(fèi)。

4.2 集中式

集中式融合的核心思想是不確定推理，首先對(duì)每個(gè)傳感器設(shè)置各自的置信度，然后匯總多源信息，最后基于一定的融合規(guī)則輸出融合結(jié)果。在集中式融合結(jié)構(gòu)中，多源傳感器的原始數(shù)據(jù)不進(jìn)行任何處理直接送入信息融合中心。該結(jié)構(gòu)充分利用多源信息具有較高的融合精度，同時(shí)可以將融合步驟模塊化。

陳云坤等通過對(duì)毫米波雷達(dá)與雙目視覺的誤差分配不同的權(quán)重，通過加權(quán)平均計(jì)算出最后的融合結(jié)果。Sang等為提高多目標(biāo)識(shí)別的精度，將圖像數(shù)據(jù)和點(diǎn)云數(shù)據(jù)作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，使用DS證據(jù)理論算法對(duì)目標(biāo)的候選框進(jìn)行融合。胡遠(yuǎn)志等首先在圖像上采用深度學(xué)習(xí)框架識(shí)別車輛目標(biāo)，然后將點(diǎn)云投影至圖像，將目標(biāo)與點(diǎn)云進(jìn)行關(guān)聯(lián)，從而確定目標(biāo)的深度信息，并利用點(diǎn)云信息提高目標(biāo)的置信概率，提高識(shí)別精度。

4.3 混合式

混合式同時(shí)具有分布式和集中式2 種結(jié)構(gòu)，兼顧2 者的優(yōu)點(diǎn)，能夠根據(jù)不同需要靈活且合理地完成信息處理工作。算法的可靠性與融合的精度雖然有所提升，但隨著傳感器數(shù)量的增多，信息的冗余程度與系統(tǒng)的復(fù)雜程度也會(huì)隨之增加。

Chavez-Garcia 等使用混合式融合結(jié)構(gòu)對(duì)毫米波雷達(dá)、攝像頭、激光雷達(dá)3 種傳感器的信息進(jìn)行融合，首先以激光雷達(dá)檢測(cè)的目標(biāo)生成感興趣區(qū)域，然后對(duì)毫米波雷達(dá)和攝像頭數(shù)據(jù)中的感興趣區(qū)域進(jìn)行目標(biāo)檢測(cè)，最后用DS 證據(jù)理論算法對(duì)感興趣區(qū)域檢測(cè)的目標(biāo)信息進(jìn)行融合。

5 多源數(shù)據(jù)融合的關(guān)鍵問題

隨著自動(dòng)駕駛的逐漸落地，為逐步提升自動(dòng)駕駛的自動(dòng)化程度，主要的途徑就是增加感知傳感器的數(shù)量與種類，從而獲得車輛對(duì)環(huán)境更加準(zhǔn)確的信息。而不同數(shù)據(jù)源對(duì)環(huán)境的描述有其自身的空間坐標(biāo)系與時(shí)間坐標(biāo)系，隨著數(shù)據(jù)源的增加，為了滿足自動(dòng)駕駛在多種復(fù)雜環(huán)境下的正常使用，如何將多源數(shù)據(jù)融合在同一個(gè)時(shí)間系統(tǒng)和同一個(gè)空間系統(tǒng)，實(shí)現(xiàn)真正意義上的同步是多源數(shù)據(jù)融合的關(guān)鍵問題。

5.1 空間同步

空間同步是對(duì)多傳感器的自身坐標(biāo)系進(jìn)行聯(lián)合標(biāo)定，建立坐標(biāo)轉(zhuǎn)換關(guān)系，從而保證不同傳感器在同一坐標(biāo)系下對(duì)同一目標(biāo)進(jìn)行識(shí)別。陳云坤等在空間維度上介紹了毫米波雷達(dá)與攝像頭相對(duì)位置關(guān)系，然后在此基礎(chǔ)上介紹了理想條件、非理想條件下坐標(biāo)系之間的轉(zhuǎn)換關(guān)系以及攝像頭的畸變矯正方法。

5.2 時(shí)間同步

時(shí)間同步是指1個(gè)系統(tǒng)的各個(gè)模塊都要同步到系統(tǒng)的主時(shí)鐘源，整個(gè)系統(tǒng)的運(yùn)行基于同1個(gè)時(shí)間基點(diǎn)。在自動(dòng)駕駛環(huán)境感知系統(tǒng)中，正確運(yùn)行的1個(gè)重要問題就是要保證獲取的數(shù)據(jù)精確、時(shí)間同步，算法的基準(zhǔn)是所有的數(shù)據(jù)都是在同一時(shí)間點(diǎn)獲取，否則應(yīng)用功能無法保證做出正確的預(yù)判，可能造成自動(dòng)駕駛的嚴(yán)重事故。

文獻(xiàn)[12]采用基于時(shí)間戳的同步方式，在接收點(diǎn)云信息和圖像信息時(shí)會(huì)附加系統(tǒng)當(dāng)前時(shí)刻的時(shí)間戳，緩存攝像頭采集的圖像信息，當(dāng)獲取激光雷達(dá)的點(diǎn)云信息之后，根據(jù)點(diǎn)云信息的時(shí)間戳從緩存中找最鄰近的圖像信息，然后將點(diǎn)云信息和圖像信息同時(shí)送入處理函數(shù)進(jìn)行信息融合，完成2種傳感器信息的時(shí)間同步。文獻(xiàn)[37]在分析自動(dòng)駕駛域控制器復(fù)雜架構(gòu)的基礎(chǔ)上，結(jié)合應(yīng)用算法對(duì)獲取數(shù)據(jù)時(shí)間同步的要求，以包含1 個(gè)MCU 和2 個(gè)SoC 的域控制器為研究對(duì)象，詳細(xì)介紹了域控制器和外部主時(shí)鐘源控制器的時(shí)間同步方法、域控制器片內(nèi)異構(gòu)的時(shí)間同步方法、域控制器和外部傳感器控制器的時(shí)間同步方法，保證整個(gè)域控系統(tǒng)的運(yùn)行基于同1個(gè)時(shí)間基點(diǎn)。

6 發(fā)展趨勢(shì)

考慮到無人駕駛在復(fù)雜交通工況中對(duì)感知性能的高要求，以及深度學(xué)習(xí)的快速發(fā)展，相信基于深度學(xué)習(xí)的集中式、數(shù)據(jù)級(jí)、端到端融合框架將成為后續(xù)的主流方式。該融合框架可以最大程度的保留原始數(shù)據(jù)的信息，最大可能的提升感知的性能。但是，該框架要想達(dá)到理想的性能也在兩方面存在挑戰(zhàn)。其一是不同傳感器數(shù)據(jù)類型不同，難以做到數(shù)據(jù)空間內(nèi)的理想化同步；其二是不同品牌的傳感器產(chǎn)生的數(shù)據(jù)特性不盡相同，難以獲得深度學(xué)習(xí)訓(xùn)練所需的大量數(shù)據(jù)集，導(dǎo)致框架的魯棒性較差。