康炳翔 秦忠鑫 查欣然 丁士航 胡江飛

摘要：環(huán)境感知是智能輔助駕駛的底層模塊，單傳感器感知存在易受干擾、所需配置傳感器數(shù)量多和感知效果差等弊端，為此提出一種車載數(shù)字相機(jī)與激光雷達(dá)融合算法。綜合考慮信息融合高效性與系統(tǒng)魯棒性采取決策級(jí)融合策略，利用CENTER POINT算法對(duì)雷達(dá)點(diǎn)云數(shù)據(jù)進(jìn)行處理，再利用Yolo v3算法進(jìn)行密集型數(shù)據(jù)訓(xùn)練處理圖像數(shù)據(jù)，最后使用交并比匹配（IOU）和已有文獻(xiàn)的D-S論據(jù)實(shí)現(xiàn)數(shù)據(jù)融合并輸出決策結(jié)果。經(jīng)過(guò)KITTI數(shù)據(jù)集驗(yàn)證，該融合算法輸出的識(shí)別效果優(yōu)于單傳感器，且在多種路況上均有良好的目標(biāo)檢測(cè)效果。

關(guān)鍵詞：環(huán)境感知；激光雷達(dá)；Yolo；融合算法；目標(biāo)檢測(cè)

中圖分類號(hào)：U462? 收稿日期：2023-04-19

DOI：10.19999/j.cnki.1004-0226.2023.08.006

1 前言

近年來(lái)，芯片算力與網(wǎng)絡(luò)技術(shù)的快速發(fā)展，使得智能輔助駕駛技術(shù)走向成熟。環(huán)境感知作為核心技術(shù)，包括利用機(jī)器視覺(jué)的圖像識(shí)別技術(shù)、利用雷達(dá)（激光、毫米波、超聲波）的周邊障礙物檢測(cè)技術(shù)、多源信息融合技術(shù)、傳感器冗余設(shè)計(jì)技術(shù)等[1]。若僅通過(guò)單一類別傳感器獲取信息，則準(zhǔn)確度低、受環(huán)境影響大、系統(tǒng)魯棒性差，容易出現(xiàn)誤判漏判的情況，因此常采取多傳感器并采用多源信息融合技術(shù)實(shí)現(xiàn)車輛的環(huán)境感知。

多傳感器信息融合能夠很好地克服單一傳感器所出現(xiàn)的問(wèn)題，實(shí)現(xiàn)環(huán)境信息最大利用化，從而提高系統(tǒng)的可靠性和抗干擾能力。一些學(xué)者對(duì)此進(jìn)行了研究[2-3]，然而大多數(shù)研究往往在融合的網(wǎng)絡(luò)架構(gòu)上尋求突破，試圖通過(guò)跨層級(jí)的數(shù)據(jù)特征融合實(shí)現(xiàn)目標(biāo)檢測(cè)的高性能。此類方法對(duì)于算法的復(fù)雜程度有較高的要求，也要求車載處理器性能優(yōu)異，對(duì)于設(shè)備依賴較高。據(jù)此，本文提出一種車載數(shù)字相機(jī)與激光雷達(dá)融合算法，并進(jìn)行了驗(yàn)證分析。

2 融合檢測(cè)算法架構(gòu)

多傳感器信息融合可以實(shí)現(xiàn)各傳感器感知優(yōu)勢(shì)互補(bǔ)，提高車輛感知系統(tǒng)靈敏性與可靠性，當(dāng)前有三種策略：數(shù)據(jù)級(jí)融合、特征級(jí)融合、決策級(jí)融合［4］。

決策級(jí)融合具有層級(jí)較高、處理數(shù)據(jù)量較少、實(shí)時(shí)性好、算法魯棒性較強(qiáng)等優(yōu)點(diǎn)。因此，本文采用決策級(jí)信息融合方法。融合檢測(cè)算法架構(gòu)如圖1所示，包含數(shù)字相機(jī)模塊、雷達(dá)模塊和融合模塊共三個(gè)模塊。數(shù)字相機(jī)模塊使用Yolo v3算法處理視覺(jué)數(shù)據(jù)并框出檢測(cè)目標(biāo)的二維框與置信度；雷達(dá)模塊使用center point算法處理點(diǎn)云數(shù)據(jù)并框出檢測(cè)目標(biāo)的三維框與置信度；融合模塊利用交并比匹配（IOU）與孫全等［5］的D-S論據(jù)進(jìn)行邊界框融合與置信度融合，實(shí)現(xiàn)多傳感器融合。

3 視覺(jué)數(shù)據(jù)和激光雷達(dá)點(diǎn)云處理

3.1 基于Yolo v3的視覺(jué)目標(biāo)檢測(cè)

數(shù)字相機(jī)模塊基于深度學(xué)習(xí)利用Yolo v3算法進(jìn)行密集型數(shù)據(jù)訓(xùn)練模型。此算法主干網(wǎng)絡(luò)是Darknet-53，因其網(wǎng)絡(luò)結(jié)構(gòu)中含有53層卷積層，并且相較于之前版本Yolo算法增加了多尺度特征融合目標(biāo)檢測(cè)方法?？绯叨忍卣魅诤峡梢约骖櫢叩透惺芗安煌叽绲哪繕?biāo)檢測(cè)，極大地提高了視覺(jué)目標(biāo)檢測(cè)的準(zhǔn)確率。

選取KITTI數(shù)據(jù)集，模型訓(xùn)練預(yù)權(quán)重設(shè)置為在COCO數(shù)據(jù)集訓(xùn)練的權(quán)重，首先將KITTI數(shù)據(jù)集轉(zhuǎn)為VOC系列數(shù)據(jù)集格式，數(shù)據(jù)集共包含7 481條數(shù)據(jù)，并且以訓(xùn)練集∶驗(yàn)證集≈6∶1的比例劃分，即訓(xùn)練集6 413條，驗(yàn)證集1 068條。數(shù)據(jù)庫(kù)搭建完成后進(jìn)行環(huán)境配置與模型部署，設(shè)置迭代次數(shù)為270輪，開(kāi)始訓(xùn)練模型。數(shù)字相機(jī)模塊充分利用基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)技術(shù)，通過(guò)密集型數(shù)據(jù)高重復(fù)訓(xùn)練得到一個(gè)參數(shù)優(yōu)異的視覺(jué)目標(biāo)檢測(cè)模型。具體實(shí)現(xiàn)流程如圖2所示。

3.2 基于Center point的3D目標(biāo)檢測(cè)

雷達(dá)模塊基于深度學(xué)習(xí)利用Center Point算法[4]實(shí)現(xiàn)目標(biāo)檢測(cè)。首先以點(diǎn)云數(shù)據(jù)作為輸入，輸出物體的細(xì)化檢測(cè)框與置信度，相較于邊框預(yù)測(cè)，壓縮了對(duì)象檢測(cè)器的搜索空間，提高了檢測(cè)性能；在面向目標(biāo)尺寸復(fù)雜的場(chǎng)景，該算法精度更高。因此本文選用Center Point算法對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行處理，完成目標(biāo)檢測(cè)。

具體流程如下：輸入點(diǎn)云數(shù)據(jù)，基于基礎(chǔ)的3D backbone網(wǎng)絡(luò)處理得到特征地圖。其維度M為：

式中，w是寬；h是長(zhǎng)；k是通道數(shù)。

Center heatmap head預(yù)測(cè)目標(biāo)中心點(diǎn)，生成一個(gè)大小為k的通道，同時(shí)算法會(huì)擴(kuò)大每個(gè)對(duì)象中心的Gaussian peak，從而改善點(diǎn)云稀疏導(dǎo)致的目標(biāo)漏檢；Regression head處理數(shù)據(jù)得到3D框的類別、置信度，構(gòu)成3D候選框。最終從3D候選框的每個(gè)面提取額外的特征點(diǎn)，通過(guò)對(duì)特征地圖輸出的M進(jìn)行雙線性插值獲得特征。然后拼接這些額外的特征點(diǎn)輸入到MLP，輸出與類別無(wú)關(guān)的置信度與細(xì)化邊界框，將此置信度與3D候選框所得置信度相乘再開(kāi)方，得到最終置信度。

4 多傳感器信息融合

4.1 空間同步

激光雷達(dá)獲取的點(diǎn)云數(shù)據(jù)與數(shù)字相機(jī)獲取的圖像數(shù)據(jù)的融合首先需要進(jìn)行空間同步，在此進(jìn)行的兩種傳感器坐標(biāo)標(biāo)定是指將三維坐標(biāo)系的點(diǎn)云數(shù)據(jù)投影至圖像數(shù)據(jù)的二維坐標(biāo)系。三維坐標(biāo)系依次經(jīng)過(guò)旋轉(zhuǎn)平移、投影變換和離散化轉(zhuǎn)為像素坐標(biāo)系，如圖3所示。

具體的兩傳感器空間同步坐標(biāo)轉(zhuǎn)換公式表述如下：

式中，u，v為數(shù)字相機(jī)獲取的圖像數(shù)據(jù)二維坐標(biāo)系點(diǎn)坐標(biāo)用；fu、fv為數(shù)字相機(jī)X軸、Y軸方向尺度因子；u0、v0是數(shù)字相機(jī)圖像坐標(biāo)系的中心點(diǎn)坐標(biāo)；（x，y，z）為激光雷達(dá)獲取的三維坐標(biāo)系點(diǎn)云的坐標(biāo)；R為旋轉(zhuǎn)矩陣；t為平移矢量；M是投影矩陣。

4.2 基于目標(biāo)檢測(cè)交并比匹配的融合

在獲得點(diǎn)云3D目標(biāo)以及視覺(jué)目標(biāo)后，將為點(diǎn)云目標(biāo)3D檢測(cè)框建立最小矩形邊界框，再與YOLO檢測(cè)出的邊界框進(jìn)行融合。設(shè)點(diǎn)云目標(biāo)邊界框的面積為SLIDAR，視覺(jué)目標(biāo)邊界框的面積為SCAMERA。重合區(qū)域面積為SRADER∩CAMERA（圖4）。則交并比（IOU）計(jì)算公式為：

本文選用常用的閾值設(shè)計(jì)，即閾值取0.5、0.85，用來(lái)判斷預(yù)測(cè)的邊界框是否正確，IOU越高，邊界框越精確。在此，設(shè)定交并比小于0.5，認(rèn)為是兩個(gè)獨(dú)立目標(biāo)，在0.5～0.85時(shí)，將相交的區(qū)域設(shè)為融合目標(biāo)區(qū)域。在0.85～1時(shí)，本文認(rèn)為二者完全重合，設(shè)定最小邊界框住兩個(gè)邊界框，將其作為融合目標(biāo)區(qū)域。

4.3 基于孫全等［5］的D-S證據(jù)算法的融合

基于孫全等[5]的D-S論據(jù)改進(jìn)方法，對(duì)經(jīng)過(guò)交并比匹配融合后的兩種傳感器邊界框的置信度進(jìn)行融合。以下對(duì)D-S論據(jù)原理[6]進(jìn)行簡(jiǎn)單的介紹。

在證據(jù)理論中，對(duì)于一個(gè)問(wèn)題可能有多種答案，各個(gè)答案之間是互斥的，一個(gè)答案就是一種假設(shè)，共有m種假設(shè)，所有假設(shè)的集合構(gòu)成一個(gè)識(shí)別框架Θ，Θ={A1，A2，…，Ai，…，Am}，其中Ai是識(shí)別框架中的某一種假設(shè)。在識(shí)別框架Θ下還存在n個(gè)證據(jù)E1，E2，…，En，每個(gè)證據(jù)對(duì)識(shí)別框架下的每一種假設(shè)都有一個(gè)預(yù)測(cè)概率，該證據(jù)對(duì)所有假設(shè)的預(yù)測(cè)概率的和為1。

對(duì)于本文的融合來(lái)說(shuō)，設(shè)有一個(gè)識(shí)別框架Θ，Θ中有兩個(gè)假設(shè)：“是某種類別”“不是某種類別”。在Θ下有兩個(gè)證據(jù)E1（圖像）、E2（點(diǎn)云），其構(gòu)成的基本概率賦值表如表1所示。

表中m1（A1）、m2（A1）分別是圖像檢測(cè)框和點(diǎn)云檢測(cè)框?qū)δ撤N類別的置信度，m1（A2）=1-m1（A1），m2（A2）=1-m2（A1）。然后用孫全等［5］的D-S論據(jù)改進(jìn)方法求出的m（A）就是需要求出的融合置信度。

5 實(shí)驗(yàn)分析

5.1 Yolo v3訓(xùn)練分析

本文Yolo v3模型訓(xùn)練工作站配置方案如表2所示。

實(shí)驗(yàn)選取KITTI數(shù)據(jù)集進(jìn)行模型訓(xùn)練，將完整KITTI數(shù)據(jù)集以訓(xùn)練集和驗(yàn)證集約為6∶1的比例劃分，所訓(xùn)練模型的map=80.33%，具有較高的精度。

5.2 融合數(shù)據(jù)分析

同一場(chǎng)景目標(biāo)檢測(cè)定量分析如表格，選取其中三個(gè)融合結(jié)果進(jìn)行分析，融合后的置信度如表3所示。

不同路況行駛場(chǎng)景目標(biāo)檢測(cè)效果圖見(jiàn)圖5。

單獨(dú)使用激光雷達(dá)檢測(cè)并不具有很高的置信度，而與數(shù)字相機(jī)所檢測(cè)結(jié)果融合之后置信度提高，有效地改善了激光雷達(dá)所識(shí)別物體置信度不足的問(wèn)題。注意到融合置信度小于數(shù)字相機(jī)單檢測(cè)的置信度，其降低了因完全依賴數(shù)字相機(jī)誤判而引發(fā)危險(xiǎn)的可能。該融合算法在多種路況上均表現(xiàn)良好的目標(biāo)檢測(cè)效果。

6 結(jié)語(yǔ)

本文提出了一種車載數(shù)字相機(jī)與激光雷達(dá)融合算法設(shè)計(jì)，利用center point算法對(duì)雷達(dá)點(diǎn)云數(shù)據(jù)進(jìn)行處理，利用Yolo v3算法進(jìn)行密集型數(shù)據(jù)訓(xùn)練處理圖像數(shù)據(jù)，并使用交并比匹配（IOU）和孫全改進(jìn)的D-S論據(jù)實(shí)現(xiàn)數(shù)據(jù)融合并輸出決策結(jié)果。結(jié)果表明：該融合算法在不增加算法網(wǎng)絡(luò)架構(gòu)復(fù)雜度，不提高硬件成本的情況下，輸出的識(shí)別效果優(yōu)于單傳感器，且在多種路況上均表現(xiàn)良好的目標(biāo)檢測(cè)效果。但值得注意的是，在街邊行人檢測(cè)和密集的街口等復(fù)雜場(chǎng)景，此算法會(huì)出現(xiàn)一定的漏檢與誤檢情況。

參考文獻(xiàn)：

[1]李克強(qiáng)，戴一凡，李升波，等.智能網(wǎng)聯(lián)汽車（ICV）技術(shù)的發(fā)展現(xiàn)狀及趨勢(shì)[J].汽車安全與節(jié)能學(xué)報(bào)，2017，8（1）：1-14.

[2]Pang S，Morris D，Radha H. Fast-CLOCs：Fast camera-LiDAR object candidates fusion for 3D object detection[C]//Proceedings of the IEEE/CVF winter conference on applications of computer vision.2022：187-196.

[3]Wang L，Zhang X，Qin W，et al.CAMO-MOT：combined appearance-motion optimization for 3D multi-Object tracking with camera-LiDAR fusion[J].arXiv preprint arXiv：2209.02540，2022.

[4]Yin T，Zhou X，Kr?henbühl P.Center-based 3D object detection and tracking[C]//2021 IEEE/CVF conference on computer vision and pattern recognition（CVPR）.Nashville，TN，USA，2021：11779-11788.

[5]孫全，葉秀清，顧偉康.一種新的基于證據(jù)理論的合成公式[J].電子學(xué)報(bào)，2000，28（8）：117-119.

[6]Smith A F M，Shafer G.A mathematical theory of evidence[J].Biometrics，1976，32（3）：17-24.

作者簡(jiǎn)介：

康炳翔，男，2002年生，研究方向?yàn)榛谏疃葘W(xué)習(xí)的智能汽車感知與規(guī)劃控制。