程 騰，侯登超，張 強(qiáng)，石 琴，郭利港

（1.合肥工業(yè)大學(xué)汽車(chē)與交通工程學(xué)院，合肥 230000；2.安徽省智慧交通車(chē)路協(xié)同工程研究中心，合肥 250000；3.自動(dòng)駕駛汽車(chē)安全技術(shù)安徽省重點(diǎn)實(shí)驗(yàn)室，合肥 230009；4.奇瑞汽車(chē)股份有限公司，蕪湖 241000）

前言

隨著交通環(huán)境日益復(fù)雜，在高級(jí)輔助駕駛系統(tǒng)和自動(dòng)駕駛中，單一傳感器在復(fù)雜交通場(chǎng)景下對(duì)目標(biāo)車(chē)輛識(shí)別準(zhǔn)確率較低，不能滿足交通安全要求，所以目前大多數(shù)自動(dòng)駕駛汽車(chē)都安裝了多種傳感器，它們可以提供車(chē)輛自身和周邊環(huán)境的多模態(tài)信息。這些信息通常具有一定的互補(bǔ)性和一致性，可以彌補(bǔ)彼此間的缺陷與不足，比如在黑夜、曝光等光照異常場(chǎng)景下，激光雷達(dá)檢測(cè)準(zhǔn)確率優(yōu)于對(duì)光照強(qiáng)度敏感的相機(jī)，而在雨雪惡劣天氣中，相機(jī)檢測(cè)準(zhǔn)確率優(yōu)于受反射影響的激光雷達(dá)。因此多模態(tài)融合逐漸成為自動(dòng)駕駛汽車(chē)不斷提升環(huán)境感知能力的重要手段。

多模態(tài)融合方法按融合層次可劃分為數(shù)據(jù)融合、特征融合與結(jié)果融合［1］。其中，數(shù)據(jù)融合指輸出數(shù)據(jù)作為后續(xù)模型輸入的融合操作。Zhou 等［2］將激光點(diǎn)云投影至RGB 圖像上生成RGB-D 圖像，點(diǎn)云信息被擴(kuò)展為圖像的第四通道。Vora 等［3］提出PointPainting 方法，為激光點(diǎn)云賦予了圖像生成的語(yǔ)義信息。相較于數(shù)據(jù)融合，特征融合所融合的信息為具備更深層次信息的特征數(shù)據(jù)。Chen 等［4］提出MV3D 融合算法，將激光點(diǎn)云投影為鳥(niǎo)瞰圖與前視圖，提取相應(yīng)特征并融合RGB 圖像特征用于回歸檢測(cè)任務(wù)。Qi 等［5］提出以2D 檢測(cè)驅(qū)動(dòng)3D 檢測(cè)的融合方法F-PointNet，基于圖像檢測(cè)生成建議區(qū)域，算法對(duì)該區(qū)域內(nèi)的點(diǎn)云進(jìn)行實(shí)例分割與邊框精修。結(jié)果融合指輸入數(shù)據(jù)本身是目標(biāo)輸出且融合的結(jié)果用于結(jié)果修正的融合操作。雖然數(shù)據(jù)融合與特征融合在多模態(tài)信息融合中表現(xiàn)出巨大潛力，但它們對(duì)數(shù)據(jù)對(duì)齊較為敏感，且通常涉及復(fù)雜的架構(gòu)，進(jìn)一步引入了額外的計(jì)算開(kāi)銷(xiāo)。而結(jié)果融合包含了預(yù)訓(xùn)練的、固定的單模態(tài)檢測(cè)器，僅需要在檢測(cè)級(jí)別進(jìn)行關(guān)聯(lián)［6］，并且結(jié)果融合模型相對(duì)簡(jiǎn)單，具備更高的實(shí)時(shí)性潛力。

紀(jì)嘉樹(shù)［7］設(shè)計(jì)了基于相機(jī)和激光雷達(dá)的決策級(jí)融合系統(tǒng)，根據(jù)兩種傳感器輸出的檢測(cè)框重合度判斷是否融合成功，融合結(jié)果較單一感知網(wǎng)絡(luò)有較大提升，但是該系統(tǒng)沒(méi)有考慮多傳感器識(shí)別結(jié)果出現(xiàn)分類(lèi)沖突時(shí)應(yīng)如何處理。甘耀東等［8］設(shè)計(jì)了一種融合策略，考慮到相機(jī)具備更好的分類(lèi)特性，雷達(dá)具備更好的位置捕捉特性，在融合時(shí)取相機(jī)識(shí)別的類(lèi)別、雷達(dá)識(shí)別的位置作為融合結(jié)果，但是該方法沒(méi)有考慮異常天氣或復(fù)雜交通場(chǎng)景下對(duì)傳感器的影響。李哲等［9］基于投票法融合了多特征下的多分類(lèi)器，車(chē)標(biāo)識(shí)別準(zhǔn)確率得到進(jìn)一步提升，但是投票法依賴(lài)基礎(chǔ)模型間的檢測(cè)效果不能差別過(guò)大。

考慮分類(lèi)沖突的多模態(tài)融合方法有投票法［10-11］、貝葉斯計(jì)算法［12-14］、D-S 理論［15-16］等等。D-S證據(jù)理論［17］具有表達(dá)不確定性和融合不完善信息的能力，且能夠適應(yīng)不同基礎(chǔ)模型的檢測(cè)效果。周文文［18］利用先驗(yàn)知識(shí)設(shè)計(jì)概率密度函數(shù)，基于D-S 證據(jù)理論融合了多分類(lèi)器的識(shí)別結(jié)果。類(lèi)似基于專(zhuān)家經(jīng)驗(yàn)構(gòu)建概率密度函數(shù)的思想在文獻(xiàn)［19］中亦有體現(xiàn)。然而，專(zhuān)家經(jīng)驗(yàn)往往具有主觀性，在復(fù)雜多變場(chǎng)景下決策可信度較低。Chavez-Garcia 等［20-21］提出了一種基于證據(jù)框架的感知融合架構(gòu)，使用正弦變換將單分類(lèi)器分類(lèi)結(jié)果轉(zhuǎn)換為質(zhì)量函數(shù)形式，結(jié)合不確定性與復(fù)合表示，解決運(yùn)動(dòng)目標(biāo)的檢測(cè)與跟蹤問(wèn)題。Zhu 等［22］將多分類(lèi)問(wèn)題基于成對(duì)學(xué)習(xí)方法表示為二值分類(lèi)，并在此基礎(chǔ)上基于核密度估計(jì)構(gòu)造概率密度函數(shù)，用于D-S 證據(jù)理論合成。以上方法避免了先驗(yàn)知識(shí)的局限性，卻由于復(fù)雜數(shù)據(jù)模型的引入而帶來(lái)了額外的計(jì)算開(kāi)銷(xiāo)。

Driss等［23］基于D-S 證據(jù)理論融合了5 種相機(jī)卷積神經(jīng)網(wǎng)絡(luò)用于X-ray 圖像識(shí)別，將神經(jīng)網(wǎng)絡(luò)的置信度作為D-S 證據(jù)理論的概率密度值，該方法簡(jiǎn)單有效且具備較強(qiáng)魯棒性，但沒(méi)有考慮單一模態(tài)識(shí)別的局限性。針對(duì)上述問(wèn)題，本文中提出一種基于DS 證據(jù)理論的多模態(tài)結(jié)果級(jí)融合框架，考慮不同模態(tài)的互補(bǔ)性，融合多種模態(tài)信息用于目標(biāo)識(shí)別；考慮先驗(yàn)知識(shí)的局限性，利用深度神經(jīng)網(wǎng)絡(luò)的泛化能力與自學(xué)習(xí)能力，將神經(jīng)網(wǎng)絡(luò)輸出的置信度作為概率密度函數(shù)，目標(biāo)融合時(shí)通過(guò)D-S 證據(jù)理論組合多傳感器多分類(lèi)的置信度，根據(jù)組合后的結(jié)果確定最終分類(lèi)信息。通過(guò)實(shí)驗(yàn)驗(yàn)證，本文所提出的框架具備普適性、精確性與解決分類(lèi)沖突的能力。

1 基于D-S 證據(jù)理論的決策級(jí)融合框架

本文技術(shù)路線如圖1 所示，在多模態(tài)融合領(lǐng)域，考慮分類(lèi)沖突問(wèn)題，提出一種基于D-S 證據(jù)理論的決策級(jí)融合框架，下文簡(jiǎn)稱(chēng)決策級(jí)融合框架，并設(shè)計(jì)了3 組實(shí)驗(yàn)，通過(guò)對(duì)比單一感知網(wǎng)絡(luò)、投票法融合與本文所提出的融合方法的識(shí)別精確性，驗(yàn)證所提出方法的有效性。

圖1 技術(shù)路線

本文提出的多模態(tài)結(jié)果級(jí)融合框架由3 部分組成，分別是數(shù)據(jù)輸入、感知網(wǎng)絡(luò)和結(jié)果級(jí)融合，框架整體結(jié)構(gòu)如圖2 所示。首先，從多傳感器中接收多源模態(tài)數(shù)據(jù)，將多模態(tài)數(shù)據(jù)輸入至感知神經(jīng)網(wǎng)絡(luò)得到各自的檢測(cè)結(jié)果，將檢測(cè)結(jié)果的位置坐標(biāo)信息轉(zhuǎn)化，使多傳感器檢測(cè)到的目標(biāo)映射至同一坐標(biāo)系下，在該坐標(biāo)系下完成感知結(jié)果的關(guān)聯(lián)匹配，然后對(duì)關(guān)聯(lián)結(jié)果進(jìn)行融合，若融合過(guò)程中產(chǎn)生分類(lèi)沖突，則判斷沖突分類(lèi)間的沖突因子是否大于高沖突閾值，若大于閾值，認(rèn)為以上兩個(gè)證據(jù)屬于高沖突合成，則應(yīng)用改進(jìn)D-S 證據(jù)理論合成分類(lèi)置信度，反之使用經(jīng)典D-S證據(jù)理論合成，其中高沖突閾值為超參數(shù)，將在實(shí)驗(yàn)部分進(jìn)一步論證如何確定。對(duì)融合后的置信度分?jǐn)?shù)進(jìn)行排序，將最高分?jǐn)?shù)對(duì)應(yīng)的類(lèi)別作為沖突分類(lèi)的修正結(jié)果。最后基于均值法融合其他信息，包括邊界框、中心點(diǎn)位置等。

圖2 基于D-S證據(jù)理論的多模態(tài)結(jié)果級(jí)融合框架

1.1 感知網(wǎng)絡(luò)

深度神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的自學(xué)習(xí)和非線性映射能力，且經(jīng)過(guò)訓(xùn)練后具有良好的泛化能力。相比于傳統(tǒng)目標(biāo)識(shí)別的機(jī)器學(xué)習(xí)方法等，深度學(xué)習(xí)具備更高的識(shí)別準(zhǔn)確率與檢測(cè)魯棒性。因此本文將深度神經(jīng)網(wǎng)絡(luò)作為融合框架的基礎(chǔ)感知模塊。

目前主流深度神經(jīng)網(wǎng)絡(luò)主要分為兩大類(lèi)，分別是一階段網(wǎng)絡(luò)與二階段網(wǎng)絡(luò)。二階段網(wǎng)絡(luò)的核心思想是在第一階段劃分出感興趣區(qū)域，得到建議框，即完成前景點(diǎn)和背景點(diǎn)的區(qū)分，第二階段對(duì)建議框進(jìn)行識(shí)別、精修等處理。常見(jiàn)的二階段網(wǎng)絡(luò)有RCNN系列的Faster-RCNN［24］、PV-RCNN［25］等；一階段網(wǎng)絡(luò)會(huì)把整個(gè)生成邊界框的過(guò)程一體化實(shí)現(xiàn)，比如YOLO 系列［26-28］的網(wǎng)絡(luò)通過(guò)將前景背景作為類(lèi)別之一，取代了二階段網(wǎng)絡(luò)獲取建議框的步驟，而CenterNet［29］系列的網(wǎng)絡(luò)是基于anchor-free 的一階段網(wǎng)絡(luò)，通過(guò)預(yù)測(cè)中心點(diǎn)及回歸偏移量計(jì)算出邊界框，相較傳統(tǒng)方式省去了對(duì)邊界框的復(fù)雜操作。

1.2 結(jié)果級(jí)融合

結(jié)果級(jí)融合包含坐標(biāo)轉(zhuǎn)化、目標(biāo)匹配與D-S 融合，其中坐標(biāo)轉(zhuǎn)換旨在將多傳感器數(shù)據(jù)映射至同一坐標(biāo)系下，目標(biāo)匹配即在同一坐標(biāo)系下完成多傳感器識(shí)別結(jié)果集合間的關(guān)聯(lián)，D-S 融合即將感知網(wǎng)絡(luò)輸出的目標(biāo)置信度作為概率密度分配值，通過(guò)證據(jù)組合，將匹配的結(jié)果信息進(jìn)行融合。

Driss等［23］基于D-S 證據(jù)理論融合了5種相機(jī)卷積神經(jīng)網(wǎng)絡(luò)用于X-ray 圖像識(shí)別，將神經(jīng)網(wǎng)絡(luò)的置信度作為D-S 證據(jù)理論的概率密度值，識(shí)別準(zhǔn)確率得到較大提升。借鑒Driss 等提出的思想，本文利用多種模態(tài)的互補(bǔ)性與一致性，融合多模態(tài)信息用于目標(biāo)識(shí)別，同時(shí)將神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的類(lèi)別置信度得分歸一化后作為D-S 理論的基本概率分配值，通過(guò)證據(jù)組合，得到融合多模態(tài)后的類(lèi)別置信度得分，根據(jù)置信度得分最大值，確定融合后的最終分類(lèi)結(jié)果。

1.2.1 坐標(biāo)轉(zhuǎn)換

將笛卡爾坐標(biāo)系下的三維檢測(cè)點(diǎn)坐標(biāo)經(jīng)過(guò)外參矩陣Kext投影至相機(jī)坐標(biāo)系下，再經(jīng)過(guò)相機(jī)內(nèi)參矩陣Kint投影至像素坐標(biāo)系下，得到圖像上的像素點(diǎn)位置（u，v），從而完成三維檢測(cè)結(jié)果與二維檢測(cè)結(jié)果的空間配準(zhǔn)對(duì)齊。

1.2.2 目標(biāo)匹配

感知神經(jīng)網(wǎng)絡(luò)模塊對(duì)于目標(biāo)檢測(cè)的結(jié)果中包含目標(biāo)的坐標(biāo)信息即邊界框和中心點(diǎn)，然而由于感知設(shè)備的不同和聯(lián)合標(biāo)定的精度限制，中心位置往往無(wú)法完全匹配，并且由于目標(biāo)可能在某一坐標(biāo)方向上位置相同。這都會(huì)產(chǎn)生模態(tài)數(shù)據(jù)中某一目標(biāo)可能對(duì)應(yīng)另一模態(tài)數(shù)據(jù)中多個(gè)目標(biāo)的問(wèn)題。

每一時(shí)刻的兩種感知結(jié)果是天然的二分圖數(shù)據(jù)結(jié)構(gòu)，因此決策級(jí)融合可以應(yīng)用二分圖匹配算法將兩種模態(tài)識(shí)別目標(biāo)進(jìn)行關(guān)聯(lián)匹配。KM 算法是最優(yōu)匹配算法，即保證二分圖內(nèi)的匹配目標(biāo)的邊權(quán)值最大?；诙嗄B(tài)融合場(chǎng)景，本文以待匹配目標(biāo)間的邊界框交并比作為二分圖的邊權(quán)值，算法流程如表1所示。

表1 KM 算法流程

1.2.3 D-S融合

在復(fù)雜交通環(huán)境下由于天氣、光照等外部因素干擾，多種模態(tài)識(shí)別的分類(lèi)結(jié)果可能出現(xiàn)不一致，融合時(shí)便會(huì)不可避免地出現(xiàn)分類(lèi)沖突問(wèn)題。

D-S 證據(jù)理論首先定義一個(gè)由所有假設(shè)結(jié)果組成的窮舉集合及假設(shè)空間，其中所有假設(shè)都是兩兩互斥的。即設(shè)集合Ω 包含n個(gè)元素，Ω 可以表示如下：

Ω 的子集A 稱(chēng)為命題，Ω 的冪集2Ω是由Ω 的所有子集組成，包含2N個(gè)元素，冪集可以表示為

再定義函數(shù)m：2Ω→[0，1]即基本概率分配函數(shù)的映射，且他滿足下列兩個(gè)條件：

式中m(A)的數(shù)值表示結(jié)果A成立的確信程度。且如下是信任函數(shù)和似然函數(shù)：

根據(jù)上述公式就能得到融合多模態(tài)的多種分類(lèi)置信度的公式：

式中k值為沖突因子，反映了證據(jù)沖突的程度，其計(jì)算方法如下：

當(dāng)出現(xiàn)分類(lèi)沖突時(shí)，如圖3 所示，基于D-S 證據(jù)理論融合沖突分類(lèi)對(duì)應(yīng)的置信度分布，得到修正后置信度分布，并對(duì)其排序，取置信度分?jǐn)?shù)最大值對(duì)應(yīng)的類(lèi)別作為分類(lèi)沖突修正結(jié)果。

圖3 分類(lèi)沖突修正過(guò)程

然而，經(jīng)典D-S證據(jù)理論存在一定局限性，在高沖突證據(jù)源合成時(shí)，會(huì)產(chǎn)生Zadeh 悖論。因此，本文在修正分類(lèi)沖突前，首先計(jì)算沖突因子，判斷其是否大于設(shè)定閾值，即是否出現(xiàn)高沖突證據(jù)合成現(xiàn)象，若證據(jù)間存在高沖突則使用Murphy［30］所提出的改進(jìn)的D-S 證據(jù)理論方法融合分類(lèi)置信度，即對(duì)初始證據(jù)集進(jìn)行算數(shù)平均，再利用D-S 證據(jù)理論對(duì)n條證據(jù)迭代組合n-1次作為最終合成結(jié)果。

2 實(shí)驗(yàn)與討論

為評(píng)估本文提出的融合框架的普適性、識(shí)別準(zhǔn)確性和解決分類(lèi)沖突的能力，本文設(shè)計(jì)了3 組對(duì)比實(shí)驗(yàn)：?jiǎn)我桓兄W(wǎng)絡(luò)實(shí)驗(yàn)、基于投票法融合策略實(shí)驗(yàn)和本文融合方法實(shí)驗(yàn)。通過(guò)隨機(jī)選擇6 個(gè)經(jīng)典單一感知網(wǎng)絡(luò)，用于驗(yàn)證框架的普適性，將框架融合結(jié)果同單一感知網(wǎng)絡(luò)與投票法融合結(jié)果進(jìn)行對(duì)比，驗(yàn)證框架的識(shí)別準(zhǔn)確性與解決分類(lèi)沖突的能力。

2.1 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)備

本文使用KITTI 數(shù)據(jù)集評(píng)估了所提出的融合框架。KITTI 數(shù)據(jù)集是目前國(guó)際上最大的自動(dòng)駕駛場(chǎng)景下的計(jì)算機(jī)視覺(jué)算法評(píng)測(cè)數(shù)據(jù)集。數(shù)據(jù)采集車(chē)配備2個(gè)彩色相機(jī)和一個(gè)64線激光雷達(dá)。本文所采用測(cè)試服務(wù)器配置為NVIDIA GeForce GTX 3090 GPU。

2.2 單一感知網(wǎng)絡(luò)實(shí)驗(yàn)

KITTI目標(biāo)檢測(cè)數(shù)據(jù)集包含7 481幀訓(xùn)練數(shù)據(jù)和7 518幀測(cè)試數(shù)據(jù)，每一幀包含一個(gè)同步的彩色圖像與激光點(diǎn)云數(shù)據(jù)。文中以行人、機(jī)動(dòng)車(chē)、非機(jī)動(dòng)車(chē)3種分類(lèi)作為檢測(cè)目標(biāo)，其中訓(xùn)練數(shù)據(jù)集為7 481 幀，測(cè)試數(shù)據(jù)集為隨機(jī)選取的3 769幀。

為了驗(yàn)證框架的通用性與普適性，本文隨機(jī)挑選了相機(jī)與激光雷達(dá)模態(tài)對(duì)應(yīng)的7 種常用神經(jīng)網(wǎng)絡(luò)，其中包括了一階段網(wǎng)絡(luò)與二階段網(wǎng)絡(luò)。并且本文使用AP（average precision）、mAP（mean average precision）和IOU 作為指標(biāo)評(píng)測(cè)目標(biāo)檢測(cè)性能，當(dāng)檢測(cè)目標(biāo)與真值目標(biāo)交并比超過(guò)0.5 時(shí)，認(rèn)為該目標(biāo)被正確識(shí)別。7 種深度神經(jīng)網(wǎng)絡(luò)的檢測(cè)結(jié)果如表2 所示。

表2 單一感知網(wǎng)絡(luò)檢測(cè)結(jié)果

2.3 多模態(tài)結(jié)果級(jí)融合實(shí)驗(yàn)

通過(guò)調(diào)整感知神經(jīng)網(wǎng)絡(luò)輸出，使其在輸出結(jié)果時(shí)攜帶對(duì)目標(biāo)分類(lèi)預(yù)測(cè)的置信度，在多種模態(tài)的檢測(cè)目標(biāo)融合時(shí)，若出現(xiàn)分類(lèi)沖突則通過(guò)D-S 理論融合多傳感器預(yù)測(cè)的分類(lèi)置信度，得到融合后的重新分配的類(lèi)別置信度得分，選取得分最高的分類(lèi)作為融合結(jié)果的類(lèi)別。

當(dāng)交通參與者被遮擋或因距離過(guò)遠(yuǎn)而變成難以檢測(cè)的小目標(biāo)時(shí)，基于視覺(jué)的檢測(cè)結(jié)果會(huì)不可避免地出現(xiàn)誤分類(lèi)、錯(cuò)檢漏檢等情況。針對(duì)該問(wèn)題，通過(guò)本文融合方法融合激光雷達(dá)檢測(cè)結(jié)果，得益于融合框架的融合不完善信息能力，如圖4 所示，融合結(jié)果在分類(lèi)沖突場(chǎng)景下可以有效識(shí)別出正確分類(lèi)。同時(shí)，表3 列舉了在分類(lèi)沖突場(chǎng)景下本文融合方法重分配分類(lèi)信息的計(jì)算結(jié)果，進(jìn)一步論證了本文融合方法融合多模態(tài)互補(bǔ)性解決分類(lèi)沖突的能力。

表3 分類(lèi)沖突場(chǎng)景下本文融合方法的置信度重分配

圖4 多模態(tài)融合前后的分類(lèi)沖突表現(xiàn)

然而，當(dāng)沖突因子大于設(shè)定閾值，即證據(jù)源間存在高沖突時(shí)，經(jīng)典D-S 證據(jù)理論會(huì)產(chǎn)生有悖常理的合成結(jié)果。針對(duì)該問(wèn)題，本文在證據(jù)源存在高沖突時(shí)使用Murphy 所提出的方法改進(jìn)D-S 證據(jù)理論。如圖5 所示，在高沖突場(chǎng)景，改進(jìn)的D-S 證據(jù)理論有效地解決了經(jīng)典D-S證據(jù)理論合成錯(cuò)誤的問(wèn)題。表4列舉了高沖突場(chǎng)景下經(jīng)典D-S證據(jù)理論與改進(jìn)DS 證據(jù)理論的計(jì)算結(jié)果，進(jìn)一步論證了改進(jìn)D-S 證據(jù)理論的有效性。

表4 證據(jù)源高沖突場(chǎng)景下本文融合方法的置信度重分配

圖5 證據(jù)高沖突場(chǎng)景下改進(jìn)D-S融合前后的分類(lèi)沖突表現(xiàn)

同時(shí)，為衡量高沖突因子選取對(duì)融合結(jié)果的影響，本文以FasterRCNN 融合Second 網(wǎng)絡(luò)為例，分析了不同高沖突閾值對(duì)融合結(jié)果均值平均精度（mean average precision，mAP）的影響。如圖6 所示，閾值在0.95時(shí)融合結(jié)果mAP值達(dá)到最高，因此本文高沖突閾值設(shè)為0.95。

圖6 不同高沖突閾值與融合結(jié)果mAP表現(xiàn)

2.4 投票法融合實(shí)驗(yàn)

為驗(yàn)證本文融合方法的解決分類(lèi)沖突能力，本節(jié)實(shí)驗(yàn)了投票法融合策略用于對(duì)比本文融合方法效果。投票法融合策略即將神經(jīng)網(wǎng)絡(luò)的置信度輸出作為該網(wǎng)絡(luò)對(duì)每種檢測(cè)目標(biāo)類(lèi)別的票數(shù)，取所有票數(shù)中數(shù)值最大的數(shù)據(jù)作為融合后的目標(biāo)分類(lèi)結(jié)果。

2.5 實(shí)驗(yàn)結(jié)果

通過(guò)實(shí)驗(yàn)數(shù)據(jù)（表5）和實(shí)驗(yàn)結(jié)果柱狀圖（圖7）驗(yàn)證了本文所提出的融合框架以任意神經(jīng)網(wǎng)絡(luò)作為基礎(chǔ)感知網(wǎng)絡(luò)均能提高識(shí)別準(zhǔn)確性，本文融合方法識(shí)別結(jié)果相比于單一感知網(wǎng)絡(luò)mAP值普遍提升8%左右，其中YOLOv3 與PointPillar 的組合相較于PointPillar單網(wǎng)絡(luò)感知結(jié)果提升32%；相比于投票法融合，mAP值普遍提升1%左右。

表5 融合實(shí)驗(yàn)結(jié)果數(shù)據(jù)對(duì)比

圖7 融合實(shí)驗(yàn)結(jié)果對(duì)比

3 結(jié)論與展望

本文提出的基于D-S證據(jù)理論的多模態(tài)結(jié)果級(jí)融合框架能夠有效地利用多模態(tài)間的互補(bǔ)性與一致性，使得融合結(jié)果精確度相較單一感知網(wǎng)絡(luò)有較大提升，且通過(guò)實(shí)驗(yàn)驗(yàn)證了該框架具備普適性，不依賴(lài)基模型間的效果，即使模型間精度差距過(guò)大，融合結(jié)果也均能有進(jìn)一步提升。實(shí)驗(yàn)測(cè)試的結(jié)果表明，框架輸出的融合結(jié)果較單一感知網(wǎng)絡(luò)mAP 值均能提高8%左右，其中Yolov3 與Pointpillar 的融合結(jié)果相較于Pointpillar 單一感知結(jié)果mAP值提高32%，同時(shí)，通過(guò)D-S 證據(jù)理論組合多模態(tài)神經(jīng)網(wǎng)絡(luò)分類(lèi)置信度，有效減少了分類(lèi)沖突情況，具有較好的應(yīng)用前景。

由于文中所使用的數(shù)據(jù)集惡劣天氣場(chǎng)景較少，因此實(shí)驗(yàn)測(cè)試結(jié)果中基于D-S證據(jù)理論的分類(lèi)沖突修正相較投票法提升不多，但均能有所提升，可以證明本文所提出的基于D-S證據(jù)理論的多模態(tài)結(jié)果級(jí)融合框架相較于投票法具有一定的優(yōu)勢(shì)。后續(xù)研究可以采集惡劣天氣下的交通場(chǎng)景數(shù)據(jù)，進(jìn)一步論證本文所提出的框架的修正分類(lèi)沖突能力。

同時(shí)，在證據(jù)源高沖突場(chǎng)景下，基于Murphy 所提出的方法改進(jìn)D-S證據(jù)理論可以有效降低證據(jù)間的沖突現(xiàn)象，但是該方法僅通過(guò)取均值方法對(duì)證據(jù)源修正，沒(méi)有考慮到不同模態(tài)在不同場(chǎng)景下對(duì)融合結(jié)果的影響程度。因此如何在復(fù)雜交通場(chǎng)景下，在Murphy 方法基礎(chǔ)上為證據(jù)源賦予根據(jù)感知環(huán)境自適應(yīng)調(diào)整的權(quán)重信息是本文下一個(gè)研究方向。