趙越坤,羅素云,魏 丹,王 琦

(1.上海工程技術(shù)大學(xué) 機(jī)械與汽車工程學(xué)院,上海 201620;2.濱?？h科技館,江蘇 鹽城 224500)

0 引 言

環(huán)境感知作為自動(dòng)駕駛領(lǐng)域的關(guān)鍵技術(shù)之一,主要是通過傳感器快速獲取車輛周圍的環(huán)境,是實(shí)現(xiàn)自動(dòng)駕駛規(guī)劃與控制的基礎(chǔ)[1]。

在自動(dòng)駕駛車輛的環(huán)境感知任務(wù)中常用的傳感器有攝像頭、激光雷達(dá)、毫米波雷達(dá)、超聲波雷達(dá)等[1]。視覺傳感器是目前環(huán)境感知領(lǐng)域中最廣泛使用的傳感器,但在暴雨雪天氣以及其他惡劣路況條件下能見度降低,甚至?xí)挥暄┠酀粽趽醵鵁o法使用[2]。只依靠視覺傳感器的感知系統(tǒng)不能夠完全保障車輛的安全行駛。

激光雷達(dá)測(cè)量分辨率高,但在極端天氣下性能較差,價(jià)格昂貴,目前未廣泛使用。毫米波雷達(dá)抗干擾能力強(qiáng),但點(diǎn)云稀疏,無法對(duì)目標(biāo)進(jìn)行精準(zhǔn)建模,且沒有目標(biāo)高度的探測(cè)能力[3]。

在環(huán)境感知系統(tǒng)中,通常使用兩種或多種傳感器同時(shí)進(jìn)行數(shù)據(jù)采集,再進(jìn)行信息融合,以實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ),提高抗干擾能力和可靠性[4]。其中毫米波雷達(dá)與視覺結(jié)合的方式對(duì)環(huán)境的魯棒性較好,并且成本可控。

毫米波與視覺融合算法根據(jù)融合的階段不同可分為前融合和后融合,前融合在初始層將數(shù)據(jù)融合,只使用一種感知算法,對(duì)融合后的綜合數(shù)據(jù)進(jìn)行感知;后融合中傳感器各自有一套獨(dú)立的感知算法,在主處理器將感知結(jié)果進(jìn)行融合[4]。文獻(xiàn)[5]通過幀差法實(shí)現(xiàn)了動(dòng)態(tài)障礙物檢測(cè),并根據(jù)ROI(感興趣區(qū)域)大小進(jìn)行危險(xiǎn)級(jí)別分類與識(shí)別。文獻(xiàn)[3]對(duì)圖像進(jìn)行形態(tài)學(xué)開閉運(yùn)算,增強(qiáng)了融合網(wǎng)絡(luò)對(duì)車輛的夜間檢測(cè)能力。文獻(xiàn)[6-8]提出了先通過雷達(dá)點(diǎn)云在圖像上形成感興趣區(qū)域,再對(duì)區(qū)域內(nèi)進(jìn)行驗(yàn)證的特征級(jí)融合策略,其中文獻(xiàn)[8]針對(duì)毫米波雷達(dá)橫向誤差較高,通過求和歸一化互相關(guān)匹配算法和對(duì)稱檢驗(yàn),對(duì)點(diǎn)云的橫向位置進(jìn)行修正。文獻(xiàn)[9]提出了中間層融合的概念,通過視錐匹配的方法將點(diǎn)云與一次預(yù)測(cè)目標(biāo)進(jìn)行匹配,并對(duì)匹配結(jié)果進(jìn)行二次預(yù)測(cè)以獲得最終結(jié)果。

該文提出了一種基于毫米波雷達(dá)點(diǎn)云和圖像的目標(biāo)檢測(cè)方法,該方法首先將毫米波雷達(dá)點(diǎn)云信息通過坐標(biāo)轉(zhuǎn)換投影至圖像平面,形成雷達(dá)特征圖像,再將雷達(dá)特征圖像作為輔助通道與視覺圖像進(jìn)行分級(jí)融合,并通過注意力機(jī)制分配通道權(quán)重,以提高網(wǎng)絡(luò)的檢測(cè)精度。通過實(shí)驗(yàn)對(duì)該融合算法的有效性進(jìn)行了驗(yàn)證。

1 毫米波雷達(dá)特征圖像模型

1.1 點(diǎn)云信息預(yù)處理

該文所使用的圖像信息由單個(gè)視覺傳感器獲取,點(diǎn)云信息由多個(gè)雷達(dá)傳感器共同獲取。為增強(qiáng)圖像信息的豐富度,對(duì)雷達(dá)傳感器與視覺傳感器使用多重對(duì)應(yīng)關(guān)系,使一個(gè)視覺傳感器所獲取的圖像信息,由多個(gè)雷達(dá)傳感器整合后的點(diǎn)云數(shù)據(jù)進(jìn)行增強(qiáng)。根據(jù)傳感器配置和安裝位置,正前視覺傳感器獲取到的圖像信息由左前、正前和右前毫米波雷達(dá)的點(diǎn)云進(jìn)行增強(qiáng);正后視覺傳感器獲取到的圖像信息由左后、右后毫米波雷達(dá)的點(diǎn)云進(jìn)行增強(qiáng)。

雷達(dá)點(diǎn)云的預(yù)處理過程如圖1所示,確定傳感器間的對(duì)應(yīng)關(guān)系后,點(diǎn)云需經(jīng)過坐標(biāo)轉(zhuǎn)換等步驟,首先獲取位于雷達(dá)坐標(biāo)系下的點(diǎn)云,再通過外參轉(zhuǎn)換至車輛坐標(biāo)系下,最后再?gòu)能囕v坐標(biāo)系根據(jù)投影關(guān)系轉(zhuǎn)移到像素坐標(biāo)系中[10]。

圖1 毫米波雷達(dá)點(diǎn)云預(yù)處理過程

該文對(duì)雷達(dá)點(diǎn)云進(jìn)行了兩種濾波,分別過濾掉不在雷達(dá)有效距離內(nèi)的異常點(diǎn)和不在視覺傳感器感受野范圍內(nèi)的無效點(diǎn),并根據(jù)深度對(duì)雷達(dá)點(diǎn)按照深度重新排序,以保證增強(qiáng)區(qū)域的灰度值遞進(jìn)。

1.2 雷達(dá)ROI模型

由于毫米波雷達(dá)無法準(zhǔn)確獲得物體的高度信息,實(shí)際得到的點(diǎn)云縱坐標(biāo)位置偏低,會(huì)出現(xiàn)近處物體未被增強(qiáng)區(qū)域完全覆蓋的問題,因此,首先對(duì)預(yù)處理后的點(diǎn)云進(jìn)行了歸一化。距離越遠(yuǎn)的目標(biāo)點(diǎn)云,歸一化產(chǎn)生的誤差越小,由于遠(yuǎn)處的雷達(dá)點(diǎn)深度增加,對(duì)應(yīng)的目標(biāo)投影在像素平面的面積變小,因此受歸一化的影響較小。ROI模型中心的縱坐標(biāo)歸一化計(jì)算如公式(1)所示：

(1)

式中,Y為歸一化后的ROI中心點(diǎn)的縱坐標(biāo),y為圖像中每個(gè)雷達(dá)點(diǎn)的縱坐標(biāo),n為雷達(dá)點(diǎn)個(gè)數(shù)。

完成雷達(dá)點(diǎn)的縱坐標(biāo)修正后,以歸一化后的雷達(dá)點(diǎn)為中心構(gòu)建ROI模型。ROI形狀為矩形,包括灰度值與尺寸兩個(gè)參數(shù),灰度值與雷達(dá)點(diǎn)的深度呈正相關(guān),雷達(dá)點(diǎn)深度越大,其在像平面內(nèi)灰度值越高;ROI的尺寸與雷達(dá)點(diǎn)深度呈負(fù)相關(guān),雷達(dá)點(diǎn)深度越大,其在像平面內(nèi)所形成的ROI越小。ROI模型的灰度值計(jì)算如公式(2)所示：

(2)

式中,D為當(dāng)前雷達(dá)點(diǎn)對(duì)應(yīng)ROI的灰度值,d為當(dāng)前雷達(dá)點(diǎn)深度,max(d)為當(dāng)前圖像中所包含雷達(dá)點(diǎn)的深度最大值,i為比例系數(shù),該文取10。ROI模型的尺寸參數(shù)計(jì)算如公式(3)和公式(4)所示：

(3)

H=1.2×W

(4)

式中,W為當(dāng)前雷達(dá)點(diǎn)對(duì)應(yīng)ROI的寬度值,H為當(dāng)前雷達(dá)點(diǎn)對(duì)應(yīng)ROI的高度值。d為當(dāng)前雷達(dá)點(diǎn)深度,max(d)為當(dāng)前圖像中所包含雷達(dá)點(diǎn)的深度最大值,min(d)為當(dāng)前圖像中所包含雷達(dá)點(diǎn)的深度最小值,b為偏置系數(shù),文中b取180。

現(xiàn)有的其他用于特征增強(qiáng)的ROI模型主要是線增強(qiáng)模型,這種模型以投影在圖像平面上的雷達(dá)點(diǎn)為中心,以在世界坐標(biāo)系下預(yù)設(shè)高度的投影作為增強(qiáng)線的長(zhǎng)度,雷達(dá)點(diǎn)深度越大,增強(qiáng)線長(zhǎng)度越短。線增強(qiáng)模型參數(shù)量較大,為了在網(wǎng)絡(luò)上獲得更好的訓(xùn)練效果,需要使用復(fù)雜的訓(xùn)練方式,并且由于毫米波雷達(dá)點(diǎn)云稀疏,需要整合多個(gè)時(shí)間戳的點(diǎn)云數(shù)據(jù),增加了增強(qiáng)效果的不確定性。文中的ROI模型為矩形增強(qiáng)模型,參數(shù)量更少,增強(qiáng)區(qū)域更大,實(shí)現(xiàn)更加簡(jiǎn)單,且無需使用額外的數(shù)據(jù)彌補(bǔ)單幀點(diǎn)云數(shù)量不足。

ROI模型寬高比是1∶1.2,正方形ROI對(duì)近距離的高大物體覆蓋效果并不理想,這種矩形ROI與正方形的ROI相比對(duì)目標(biāo)的覆蓋效果更好。使用細(xì)長(zhǎng)型的ROI也可改善ROI重疊的問題,使每一個(gè)雷達(dá)點(diǎn)對(duì)應(yīng)的ROI更關(guān)注相應(yīng)的目標(biāo)。

如圖2所示,(a)為原始圖像,(b)為雷達(dá)點(diǎn)云轉(zhuǎn)換到像素坐標(biāo)下的圖像,(c)為雷達(dá)ROI模型圖像,(d)為雷達(dá)ROI模型圖像疊加到原始圖像上的示意圖。

圖2 ROI模型

1.3 雷達(dá)特征圖像生成過程

該文所使用的雷達(dá)增強(qiáng)特征保存形式為圖像格式,首先遍歷數(shù)據(jù)集中的關(guān)鍵幀,得到關(guān)鍵幀中有對(duì)應(yīng)關(guān)系的雷達(dá)點(diǎn)云文件和圖像文件,隨后分組遍歷關(guān)鍵幀中的傳感器數(shù)據(jù),對(duì)雷達(dá)點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理,預(yù)處理環(huán)節(jié)包括點(diǎn)云的坐標(biāo)轉(zhuǎn)換,點(diǎn)云過濾,雷達(dá)點(diǎn)重新排序等步驟,然后根據(jù)1.2節(jié)中的ROI模型得到雷達(dá)特征圖像。生成雷達(dá)特征圖像的流程如圖3所示。

圖3 雷達(dá)圖像生成過程

2 基于點(diǎn)云和圖像的YOLOv4

基于YOLOv4[11]目標(biāo)檢測(cè)網(wǎng)絡(luò)來驗(yàn)證毫米波雷達(dá)特征圖像模型的有效性。YOLOv4網(wǎng)絡(luò)的主干部分主要由多個(gè)殘差結(jié)構(gòu)塊堆疊而成,基于YOLOv4目標(biāo)檢測(cè)網(wǎng)絡(luò)構(gòu)建包含附加雷達(dá)通道的增強(qiáng)網(wǎng)絡(luò)更易于驗(yàn)證雷達(dá)增強(qiáng)圖像模型的有效性。

該文使用的網(wǎng)絡(luò)結(jié)構(gòu)主要分為四個(gè)部分,分別是主干特征提取模塊、雷達(dá)特征模塊、增強(qiáng)特征提取模塊以及預(yù)測(cè)模塊?；邳c(diǎn)云和圖像的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。網(wǎng)絡(luò)的輸入尺寸為416×416×4,其中前三個(gè)通道為視覺特征,第四個(gè)通道為雷達(dá)特征。在預(yù)處理階段將雷達(dá)特征作為圖像特征的第四通道輸入網(wǎng)絡(luò),一方面易于在批次訓(xùn)練時(shí)完成雷達(dá)特征與圖像特征的匹配,網(wǎng)絡(luò)讀取數(shù)據(jù)效率高;另一方面雷達(dá)特征圖與圖像特征尺寸相同,易實(shí)現(xiàn)主干特征提取模塊在原CSPDarknet53的基礎(chǔ)上進(jìn)行改進(jìn),保留了由卷積、正則化和Mish激活函數(shù)組成的基本單元。CSPnet是該主干網(wǎng)絡(luò)的主要組成部分,該結(jié)構(gòu)將殘差塊拆分為兩個(gè)部分,其中的主干部分繼續(xù)進(jìn)行殘差塊堆疊,另一部分則以殘差邊的形式連接到結(jié)構(gòu)塊的輸出部分。

圖4 基于雷達(dá)特征圖像的YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)

圖像完成第一次卷積正則化激活操作后,形成長(zhǎng)寬相同但通道數(shù)變?yōu)?2的圖像特征,此時(shí)將形成的圖像特征與第一級(jí)雷達(dá)特征進(jìn)行初次融合,形成416×416×33的初級(jí)融合特征。在形成初級(jí)融合之后加入了通道注意力[12]模塊, 將33個(gè)通道進(jìn)行特征壓縮,作為融合特征層的評(píng)價(jià)分?jǐn)?shù),對(duì)原始的融合特征層逐通道進(jìn)行加權(quán)。通過通道注意力機(jī)制可以使網(wǎng)絡(luò)對(duì)圖像特征與融合特征的重要性進(jìn)行調(diào)節(jié),將重要的特征增強(qiáng),不重要的特征減弱。

在增強(qiáng)特征提取模塊和預(yù)測(cè)模塊保留了YOLOv4的基本結(jié)構(gòu),在增強(qiáng)特征提取部分使用了SPP[13]結(jié)構(gòu)和PANet[14]結(jié)構(gòu),其中SPP結(jié)構(gòu)以不同尺寸對(duì)特征圖進(jìn)行池化形成新的特征,擴(kuò)大了網(wǎng)絡(luò)的感受野;PANet通過多次的上采樣和下采樣,實(shí)現(xiàn)了對(duì)特征的重復(fù)利用。在預(yù)測(cè)模塊中保留了三個(gè)尺度的預(yù)測(cè)模式,用于對(duì)不同尺度的目標(biāo)進(jìn)行檢測(cè)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境

該模型基于Pytorch深度學(xué)習(xí)框架實(shí)現(xiàn),訓(xùn)練以及測(cè)試均基于Linux系統(tǒng), Ubuntu16.04,CUDA11.1,Python3.10,Pytorch1.10。硬件條件為Intel(R) XEON (R) W-2150B CPU @3.00 GHz,GPU為GeForce RTX 3070×2,16 GB顯存。

訓(xùn)練過程中不載入預(yù)訓(xùn)練權(quán)重,訓(xùn)練階段采用凍結(jié)訓(xùn)練策略,先凍結(jié)主干網(wǎng)絡(luò)訓(xùn)練,隨后解凍主干網(wǎng)絡(luò),最后調(diào)整學(xué)習(xí)率使網(wǎng)絡(luò)收斂。最大學(xué)習(xí)率為0.001,最小學(xué)習(xí)率為0.000 1,凍結(jié)階段的訓(xùn)練批次為16,解凍階段的訓(xùn)練批次為4。模型訓(xùn)練完成后對(duì)特征增強(qiáng)的網(wǎng)絡(luò)進(jìn)行測(cè)試,測(cè)試階段非極大值抑制(NMS)閾值為0.5。

3.2 實(shí)驗(yàn)數(shù)據(jù)

為驗(yàn)證基于點(diǎn)云和圖像的目標(biāo)檢測(cè)方法的可行性,基于Nuscenes數(shù)據(jù)集[15]進(jìn)行了實(shí)驗(yàn)驗(yàn)證,并與其他目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行比較。數(shù)據(jù)采集車輛配備6臺(tái)采樣頻率為12 Hz的彩色周視相機(jī),5臺(tái)77 GHz的毫米波雷達(dá)等多種傳感器,數(shù)據(jù)集內(nèi)目標(biāo)種類多,數(shù)據(jù)量充足,滿足實(shí)驗(yàn)要求。數(shù)據(jù)采集車輛傳感器安裝位置及設(shè)定的增強(qiáng)關(guān)系如圖5所示。

圖5 傳感器位置及對(duì)應(yīng)關(guān)系

該文選取正前和正后的視覺傳感器獲取的圖像作為數(shù)據(jù)集,左前、右前、正前毫米波雷達(dá)對(duì)應(yīng)正前視覺傳感器,左后、右后毫米波雷達(dá)對(duì)應(yīng)正后視覺傳感器。去除前170個(gè)場(chǎng)景中的無效圖片和雷達(dá)點(diǎn)云文件后,共計(jì)獲取到12 420個(gè)有效雷達(dá)-視覺特征對(duì),并按照8∶1∶1的比例劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集。完整數(shù)據(jù)集中共有23種類別,在訓(xùn)練過程中保留了日常行車路況中出現(xiàn)頻率較高的6個(gè)類別,包括行人、車輛、貨車、救援車輛、自行車和巴士。

3.3 模型訓(xùn)練

基于點(diǎn)云和圖像的YOLOv4網(wǎng)絡(luò)和基于圖像的YOLOv4網(wǎng)絡(luò)在訓(xùn)練過程中的損失函數(shù)如圖6和圖7所示。兩個(gè)網(wǎng)絡(luò)在起始階段都可實(shí)現(xiàn)損失的快速下降,由于學(xué)習(xí)率設(shè)置較大,損失有一定波動(dòng),但總體趨勢(shì)下降平穩(wěn)。在100次迭代后網(wǎng)絡(luò)解凍,兩個(gè)網(wǎng)絡(luò)的損失函數(shù)都發(fā)生了較大幅度的下降。再次降低學(xué)習(xí)率后,兩個(gè)網(wǎng)絡(luò)都進(jìn)入了收斂狀態(tài)。

圖6 基于點(diǎn)云和圖像的YOLOv4損失函數(shù)

圖7 基于圖像的YOLOv4損失函數(shù)

基于點(diǎn)云和圖像的YOLOv4網(wǎng)絡(luò)在經(jīng)過350次迭代后收斂,基于圖像的YOLOv4網(wǎng)絡(luò)在經(jīng)過300次迭代后收斂?；邳c(diǎn)云和圖像的YOLOv4損失函數(shù)下降趨勢(shì)與基于圖像的YOLOv4相似,但由于雷達(dá)特征的引入,需要更多的批次才能進(jìn)入收斂狀態(tài)。最終基于點(diǎn)云和圖像的YOLOv4網(wǎng)絡(luò)的訓(xùn)練損失值為2.37,在驗(yàn)證集上的損失值為2.87,基于圖像的YOLOv4網(wǎng)絡(luò)訓(xùn)練損失值為2.42,在驗(yàn)證集上的損失值為2.75。

3.4 結(jié)果分析

該文的研究重點(diǎn)在于包含雷達(dá)通道的目標(biāo)檢測(cè)模型相對(duì)于純視覺的目標(biāo)檢測(cè)模型的檢測(cè)精度提升,主要采用AP(平均精度)和mAP(整體平均精度)作為評(píng)價(jià)指標(biāo)。AP為單一類別在0到1之間的所有召回值上平均的精度,mAP為各類別AP值的平均值。

從圖8中可以看出,基于點(diǎn)云和圖像的YOLOv4網(wǎng)絡(luò)整體平均精度與基于圖像的YOLOv4網(wǎng)絡(luò)相比有較大提升,由55.82%提升到了66.75%。具體到每個(gè)類的AP情況,對(duì)car類提升效果不明顯,而對(duì)bus和truck類提升效果顯著。其中car類提升約3%,bus和truck分別提升了15%和13%。這種現(xiàn)象可能是因?yàn)榇蟛糠挚蛙嚭拓涇圀w積較大,且為大面積的金屬材質(zhì),雷達(dá)特征強(qiáng)。而car類的精度提升不大,可能是因?yàn)閿?shù)據(jù)集內(nèi)該類目標(biāo)數(shù)量較多,而基于圖像的YOLOv4網(wǎng)絡(luò)對(duì)這類目標(biāo)的檢測(cè)性能足夠優(yōu)秀。

圖8 基于點(diǎn)云和圖像的YOLOv4網(wǎng)絡(luò)與基于圖像的YOLOv4網(wǎng)絡(luò)各類別AP值和mAP值對(duì)比

為進(jìn)一步驗(yàn)證所提出的基于點(diǎn)云和圖像的目標(biāo)檢測(cè)算法的有效性,與文獻(xiàn)[16-17]使用檢測(cè)準(zhǔn)確率作為評(píng)價(jià)指標(biāo)進(jìn)行對(duì)比分析。由表1可見,文中方法的檢測(cè)效果與其他方法相比有一定提升。

表1 不同算法的檢測(cè)結(jié)果統(tǒng)計(jì)

文獻(xiàn)[16-17]中的融合策略為決策級(jí)融合策略,這種融合方法需要雷達(dá)模塊和視覺模塊分別進(jìn)行獨(dú)立檢測(cè),再進(jìn)行加權(quán)融合,對(duì)于多個(gè)不同分布的數(shù)據(jù)較難找到合適的權(quán)重。相比決策級(jí)融合,文中方法更側(cè)重使用雷達(dá)特征來增強(qiáng)視覺特征的豐富性,只使用視覺作為最終檢測(cè)頭,算法的規(guī)模更小,且無需因環(huán)境的變化進(jìn)行權(quán)重調(diào)整。

基于點(diǎn)云和圖像的YOLOv4網(wǎng)絡(luò)與基于圖像的YOLOv4網(wǎng)絡(luò)實(shí)際檢測(cè)結(jié)果如圖9所示,第一組場(chǎng)景為遠(yuǎn)距離目標(biāo)檢測(cè)效果對(duì)比。從中可以看出,基于點(diǎn)云和圖像的YOLOv4網(wǎng)絡(luò)和基于圖像的YOLOv4網(wǎng)絡(luò)都可以檢測(cè)到近距離的行人目標(biāo),但基于圖像的YOLOv4網(wǎng)絡(luò)對(duì)距離較遠(yuǎn)的車輛目標(biāo)發(fā)生了漏檢。第二組場(chǎng)景為光照條件較差場(chǎng)景中檢測(cè)效果對(duì)比,從中可以看出,在逆光條件下,基于圖像的YOLOv4網(wǎng)絡(luò)發(fā)生了漏檢和誤檢,將左側(cè)的行人識(shí)別為了自行車。第三組場(chǎng)景為置信度對(duì)比,從中可以看出,兩組網(wǎng)絡(luò)都完成了正確識(shí)別,由于雷達(dá)特征的引入,基于點(diǎn)云和圖像的網(wǎng)絡(luò)提高了視野邊緣目標(biāo)的置信度。

測(cè)試結(jié)果表明,所提出的基于點(diǎn)云和圖像的YOLOv4算法提升了平均檢測(cè)精度,在各個(gè)類別上均有一定提升。在具體場(chǎng)景中,該算法對(duì)遠(yuǎn)距離目標(biāo)的檢測(cè)能力也有提升,并提高了在弱光照?qǐng)鼍爸械臋z測(cè)能力,驗(yàn)證了雷達(dá)特征模型的有效性。

4 結(jié)束語

為改善目標(biāo)檢測(cè)任務(wù)中單一傳感器對(duì)環(huán)境的適應(yīng)能力,提高目標(biāo)檢測(cè)網(wǎng)絡(luò)的檢測(cè)性能,提出了一種毫米波雷達(dá)特征圖像模型和一種基于該模型和視覺傳感器的多源目標(biāo)檢測(cè)方法,提升了檢測(cè)精度。實(shí)驗(yàn)表明：

(1)基于點(diǎn)云和圖像的YOLOv4目標(biāo)檢測(cè)網(wǎng)絡(luò)采用逐級(jí)下采樣的方式融合雷達(dá)特征,并使用通道注意力機(jī)制能夠有效提升網(wǎng)絡(luò)的檢測(cè)性能。在Nuscenes數(shù)據(jù)集中總體精度提升為10.93%。

(2)對(duì)比各類別的提升效果,基于點(diǎn)云和圖像的YOLOv4目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)卡車、巴士這種雷達(dá)特征明顯的目標(biāo)提升效果最為顯著,其中對(duì)卡車的檢測(cè)精度提升約13%,對(duì)巴士提升約15%。