亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于GCR?PointPillars的點(diǎn)云三維目標(biāo)檢測

        2024-09-14 00:00:00伍新月惠飛金鑫
        現(xiàn)代電子技術(shù) 2024年11期
        關(guān)鍵詞:自動駕駛注意力機(jī)制

        摘" 要: 針對PointPillars算法中存在識別與定位不準(zhǔn)確的問題,提出一種GCR?PointPillars三維目標(biāo)檢測模型,該模型首先在Pillar特征網(wǎng)絡(luò)中引入全局注意力機(jī)制,學(xué)習(xí)點(diǎn)云特征之間的相關(guān)性,增強(qiáng)偽圖特征的全局信息交互能力;其次,基于ConvNeXt V2重新構(gòu)建特征提取網(wǎng)絡(luò),提取更加豐富的語義信息,從而有效提升網(wǎng)絡(luò)的學(xué)習(xí)能力;最后引入RDIoU來聯(lián)合引導(dǎo)分類和回歸任務(wù),有效緩解分類和回歸不一致的問題。文中模型在KITTI數(shù)據(jù)集中與基準(zhǔn)網(wǎng)絡(luò)相比,汽車類別在簡單、中等、困難三種難度級別下分別提高了2.69%、4.29%、4.84%,并且推理速度達(dá)到25.8 f/s。實(shí)驗(yàn)結(jié)果表明,文中模型在保持實(shí)時性速度的同時,檢測效果也有明顯提升。

        關(guān)鍵詞: 三維目標(biāo)檢測; 注意力機(jī)制; ConvNeXt V2; 損失函數(shù); 激光雷達(dá)點(diǎn)云; 自動駕駛

        中圖分類號: TN958.98?34; TP391" " " " " " " " " "文獻(xiàn)標(biāo)識碼: A" " " " " " " " " 文章編號: 1004?373X(2024)11?0168?07

        3D object detection in point cloud based on GCR?PointPillars

        WU Xinyue1, HUI Fei1, 2, JIN Xin1

        (1. School of Information Engineering, Chang’an University, Xi’an 710018, China;

        2. School of Electronics and Control Engineering, Chang’an University, Xi’an 710018, China)

        Abstract: In view of the inaccurate recognition and localization in PointPillars algorithm, a 3D object detection model based on GCR?PointPillars is proposed. In this model, a global attention mechanism (GAM) is introduced in the Pillar feature network to learn the correlation between the point cloud features, so as to enhance the global information interaction ability of the pseudo?map features. The feature extraction network is reconstructed based on ConvNeXt V2 to extract richer semantic information, which improves the learning ability of the network effectively. The RDIoU is introduced to jointly guide the classification and regression tasks, which effectively alleviates the inconsistency of classification and regression. In the KITTI dataset, in comparison with the benchmark network, this model improves the car category detection by 2.69%, 4.29% and 4.84% at the three levels of simple, moderate and difficult, and its inference speed reaches 25.8 f/s. The experimental results show that" the detection effect of the proposed model is improved significantly while maintaining real?time speed.

        Keywords: 3D object detection; attention mechanism; ConvNeXt V2; loss function; LiDAR point cloud; autonomous driving

        0" 引" 言

        目前,隨著自動駕駛行業(yè)不斷發(fā)展,基于視覺的二維目標(biāo)檢測已經(jīng)取得了顯著的成就,然而在真實(shí)應(yīng)用場景中,不良光照、惡劣天氣以及深度信息缺乏等問題仍然存在,二維目標(biāo)檢測較難解決。與此相比,激光雷達(dá)能夠提供更加準(zhǔn)確和豐富的空間三維信息。激光雷達(dá)可以識別駕駛環(huán)境中的交通參與者,為自動駕駛系統(tǒng)提供實(shí)時、全面的感知信息。因此基于激光雷達(dá)點(diǎn)云的三維目標(biāo)檢測方法研究具有重要意義和價值。

        現(xiàn)有的研究基本劃分為兩大類:基于點(diǎn)(point?based)方法和基于體素(voxel?based)方法。文獻(xiàn)[1]開創(chuàng)性地提出了基于點(diǎn)方法的PointNet算法,利用最大池化解決了點(diǎn)云無序性的問題。由于PointNet算法未考慮到局部點(diǎn)的特征,因此進(jìn)一步提出了PointNet++[2]算法,利用SA層結(jié)構(gòu)更好地捕捉點(diǎn)云的局部和細(xì)節(jié)信息。文獻(xiàn)[3]提出了PointRCNN算法,該算法利用PointNet++進(jìn)行特征提取并分割出前景點(diǎn)和背景點(diǎn),對每個前景點(diǎn)生成3D建議框并細(xì)化?;邳c(diǎn)的方法能保留原始點(diǎn)云的信息,具有更高的目標(biāo)定位精度,但網(wǎng)絡(luò)空間復(fù)雜,推理速度較慢。

        基于體素的方法將離散的點(diǎn)云轉(zhuǎn)換為規(guī)則的三維體素網(wǎng)格,然后對每個體素及體素之間的關(guān)系進(jìn)行特征提取。文獻(xiàn)[4]開創(chuàng)了VoxelNet算法,將不規(guī)則的點(diǎn)云編碼為規(guī)則的等間距體素,然后引入體素特征編碼和3D卷積,逐點(diǎn)學(xué)習(xí)體素特征,但點(diǎn)云分布是非均勻的,存在大量的空體素,使用3D卷積會造成巨大的計算資源浪費(fèi)。針對這一問題,文獻(xiàn)[5]提出了SECOND算法,采用3D稀疏卷積進(jìn)行特征提取,提高檢測速度,但仍存在3D卷積操作帶來的計算負(fù)擔(dān)。文獻(xiàn)[6]提出將點(diǎn)云場景劃分為Pillar(立柱)的PointPillars算法,通過對每個Pillar進(jìn)行編碼并生成偽圖,而后采用二維卷積進(jìn)行特征提取,大大加快了推理速度。文獻(xiàn)[7]引入動態(tài)圖CNN,獲得點(diǎn)云幾何特征,但存在信息丟失的問題。

        基于體素的方法具有更高的檢測速度,且更容易在端側(cè)進(jìn)行部署。近年來,提升體素方法檢測精度已成為一個重要的研究方向[8]。

        為了在保持較高檢測速度的同時,提升目標(biāo)檢測精度,本文選用PointPillars作為基準(zhǔn)網(wǎng)絡(luò),提出了GCR?PointPillars,主要思路為:

        1) 在Pillar特征網(wǎng)絡(luò)引入全局注意力機(jī)制[9](Global Attention Mechanism),增強(qiáng)偽圖特征的全局信息交互能力,更好地進(jìn)行點(diǎn)云特征提取。

        2) 針對特征提取不充分的問題,基于ConvNeXt V2[10]重新構(gòu)建特征圖下采樣模塊,提高骨干網(wǎng)絡(luò)的特征學(xué)習(xí)能力。

        3) 為了解決單階段算法分類與回歸不一致的問題,引入旋轉(zhuǎn)解耦RDIoU[11]來聯(lián)合引導(dǎo)分類和回歸任務(wù),重新構(gòu)建損失函數(shù),從而提高檢測精度。

        1" GCR?PointPillars模型

        PointPillars算法通過將三維點(diǎn)云空間劃分為一個個Pillar并生成偽圖,從而避免使用3D卷積,大大加快了算法的檢測速度。但是在原始算法的Pillar特征網(wǎng)絡(luò)中需要在[x?y]平面劃分均勻的網(wǎng)格,這可能導(dǎo)致大目標(biāo)被分割在不同的網(wǎng)格中,并且在Pillar編碼過程中進(jìn)行了隨機(jī)采樣和最大池化操作,忽略了局部點(diǎn)云數(shù)據(jù),這會造成在生成偽圖時丟失一些有用信息,影響目標(biāo)檢測精度。受到文獻(xiàn)[12?13]的啟發(fā),本文引入全局注意力機(jī)制,減少無用信息的干擾,增強(qiáng)全局信息交互表示,進(jìn)而提高點(diǎn)云特征表達(dá)能力;另外,原始算法使用卷積網(wǎng)絡(luò)進(jìn)行多尺度特征提取,提取能力較弱,因此本文基于ConvNeXt V2重新構(gòu)建特征圖下采樣模塊,提出一種新的骨干網(wǎng)絡(luò),增強(qiáng)網(wǎng)絡(luò)對點(diǎn)云特征的提取能力。原始算法使用獨(dú)立處理分類和回歸任務(wù)的檢測頭,這容易出現(xiàn)一些高精度的3D包圍框置信度分?jǐn)?shù)低的問題,因此引入RDIoU來聯(lián)合引導(dǎo)回歸和分類任務(wù),從而提高目標(biāo)檢測精度。改進(jìn)后的模型框架如圖1所示。

        1.1" 引入全局注意力

        原始算法的Pillar特征網(wǎng)絡(luò)中,點(diǎn)云數(shù)據(jù)轉(zhuǎn)換為Pillar之后會導(dǎo)致細(xì)粒度信息的損失,忽略了其他區(qū)域關(guān)鍵點(diǎn)特征,導(dǎo)致網(wǎng)絡(luò)對目標(biāo)定位不準(zhǔn)確。

        因此在特征網(wǎng)絡(luò)生成偽圖后引入全局注意力,全局注意力采用序貫的通道?空間注意力機(jī)制,但與CBAM[14]不同,重新設(shè)計了通道和空間注意力子模塊,整體結(jié)構(gòu)如圖2所示。特征映射經(jīng)過通道注意力子模塊后緊接著進(jìn)入空間注意力子模塊,得到的輸出映射從多維度上捕捉點(diǎn)云的關(guān)鍵特征。

        通道注意力子模塊為了保證在全維度上保留有用信息[15],將輸入的特征圖進(jìn)行維度轉(zhuǎn)換之后輸出給一個兩層的多層感知器(MLP)來放大跨維度通道依賴性,然后再轉(zhuǎn)換為原始維度,經(jīng)過Sigmoid函數(shù)進(jìn)行激活,最后輸出特征圖[F2],其結(jié)構(gòu)如圖3所示。

        為了更好地在空間維度上關(guān)注特征圖的語義信息,將通道注意力輸出的特征圖[F2]輸入到空間注意力中,空間注意力子模塊的結(jié)構(gòu)如圖4所示。使用兩層卷積層聚焦空間重要信息,首先經(jīng)過一個7×7的卷積層減少通道數(shù),節(jié)省計算量,將不同通道的相同位置特征信息進(jìn)行空間融合,再經(jīng)過第二層卷積,恢復(fù)通道數(shù),最后經(jīng)過Sigmoid函數(shù)激活得到特征圖[F3]。

        原始算法的Pillar特征網(wǎng)絡(luò)中會造成一部分點(diǎn)云信息的損失,使生成的偽圖特征表達(dá)能力不足,缺乏上下文信息。因此融入全局注意力機(jī)制,學(xué)習(xí)點(diǎn)云各特性的相關(guān)性,建立特征之間的關(guān)聯(lián),增強(qiáng)偽圖特征的全局信息交互能力,并且可以減少無關(guān)點(diǎn)云的影響,增強(qiáng)對關(guān)鍵點(diǎn)云信息的關(guān)注,可以更好地進(jìn)行特征提取,從而提高目標(biāo)檢測精度。

        1.2" 基于ConvNeXt V2的特征提取網(wǎng)絡(luò)

        ConvNeXt V2是基于ConvNeXt[16]的改進(jìn)模型,使用大卷積核的深度可分離卷積進(jìn)行逐通道卷積操作,相較于普通卷積,可以提高特征提取能力,同時減少參數(shù)量,具有更高的計算效率。大卷積核擁有更廣闊的感受野,有利于網(wǎng)絡(luò)更好地捕捉全局特征。另外,借鑒了MobileNetV2[17],ConvNeXt V2 Block使用“中間大、兩頭小”的反向瓶頸層結(jié)構(gòu)。首先進(jìn)行特征提取,然后使用批量歸一化操作使梯度更穩(wěn)定,再通過1×1卷積將維度提升4倍,從而提取更豐富的語義信息,使用GELU激活函數(shù)代替常見的ReLU激活函數(shù),并且引入了全局響應(yīng)歸一化(Global Response Normalization, GRN),提高通道的對比度和選擇性。ConvNeXt V2結(jié)構(gòu)如圖5所示。

        原始算法經(jīng)過Pillar編碼后通過映射生成偽圖,然后輸入到特征提取網(wǎng)絡(luò)進(jìn)行特征提取,但由于原始算法的特征提取網(wǎng)絡(luò)僅由簡單卷積組成,特征提取能力不夠,從而導(dǎo)致檢測精度較低。

        本文基于ConvNeXt V2重新構(gòu)建特征提取網(wǎng)絡(luò),將ConvNeXt V2融入到下采樣子網(wǎng)絡(luò),對點(diǎn)云特征進(jìn)行提取,增強(qiáng)不同尺度特征的表達(dá)能力,最后對不同尺度特征進(jìn)行上采樣并融合,使得網(wǎng)絡(luò)能夠提取更加豐富的上下文語義信息以及全局特征,從而提升檢測精度。本文設(shè)計的基于ConvNeXt V2的特征提取網(wǎng)絡(luò)如圖6所示。

        1.3" 檢測頭的改進(jìn)

        原始算法為單階段算法,文獻(xiàn)[18]指出,相較于雙階段算法,單階段算法性能表現(xiàn)較差的原因之一是檢測頭使用Smooth?[L1]對3D包圍框中心、大小和角度的獨(dú)立預(yù)測,這會導(dǎo)致回歸精度和置信度分?jǐn)?shù)不匹配。為了保持損失與IoU指標(biāo)之間的一致性,基于損失與IoU聯(lián)合優(yōu)化的方法在二維目標(biāo)檢測已被廣泛應(yīng)用,現(xiàn)在逐步擴(kuò)展到三維目標(biāo)檢測中,如文獻(xiàn)[19]。但由于旋轉(zhuǎn)角度敏感性,存在預(yù)測框與真實(shí)框不對齊的問題,因此引入RDIoU將旋轉(zhuǎn)角度解耦,單獨(dú)處理旋轉(zhuǎn)角度參數(shù),精準(zhǔn)優(yōu)化3D包圍框方向角度,將旋轉(zhuǎn)角度作為3D包圍框長、寬、高之外的參數(shù),實(shí)現(xiàn)全參數(shù)微分,提高反向傳播能力。

        令[(ox,oy,oz,ol,ow,oh,oθ)]為回歸向量的3D包圍框參數(shù),[(tx,ty,tz,tl,tw,th,tθ)]指其對應(yīng)的目標(biāo)回歸向量,[(ax,ay,az,al,aw,ah,aθ)]表示設(shè)置的錨框,[(gx,gy,gz,gl,gw,gh,gθ)]表示真實(shí)的3D包圍框。其中下標(biāo)[(x,y,z)]表示中心坐標(biāo),[(l,w,h)]代表3D包圍框的尺寸,[θ]為3D包圍框的旋轉(zhuǎn)角度。目標(biāo)回歸向量如公式(1)所示:

        [tx=gx-axd,ty=gy-ayd,tz=gz-azdtl=glal,tw=gwaw,th=ghah,tθ=gθ-aθ] (1)

        式中[d=(la)2+(wa)2]為錨框?qū)蔷€。

        將旋轉(zhuǎn)角度解耦到邊長為單位長度[k]的第4維。因此,包圍框的中心坐標(biāo)由[(x,y,z)]轉(zhuǎn)變?yōu)閇(x,y,z,θ)],遵循文獻(xiàn)[5]的設(shè)置,令[oθ=sinoθ*costθ],[tθ=cosoθ*sintθ]。根據(jù)3D IoU的計算方法,計算兩個四維包圍框的交并比。首先從每個維度計算兩個包圍框的交集,如式(2)所示:

        [Fx=minox+ol2,tx+tl2-maxox-ol2,tx-tl2Fy=minoy+ow2,ty+tw2-maxoy-ow2,ty-tw2Fz=minoz+oh2,tz+th2-maxoz-oh2,tz-th2Fθ=minoθ+k2,tθ+k2-maxoθ-k2,tθ-k2] (2)

        兩個四維包圍框的交并比(RDIoU)的計算公式如下:

        [RDIoU=IntVO+Vt-Int] (3)

        式中:[Int=Fx*Fy*Fz*Fθ]表示兩個四維包圍框的交集;[VO=ol*ow*oh*k],表示物體包圍框的體積;[Vt=tl*tw*th*k],表示目標(biāo)包圍框體積。

        利用構(gòu)建好的RDIoU監(jiān)督回歸任務(wù),通過最小化RDIoU損失函數(shù)以及最小化四維空間中兩個包圍框中心點(diǎn)歸一化距離來定義回歸損失函數(shù)。為了計算中心距離,令[co=ox,oy,oz,oθ],[ct=tx,ty,tz,tθ]。中心距離懲罰項(xiàng)表示為:

        [PRDIoU=p2co,ctDiag] (4)

        式中:[p2co,ct]為中心點(diǎn)的歐氏距離;Diag為最小覆蓋框?qū)蔷€長度。Diag表示為:

        [Diag=ζox,tx,ol,tl+ζoy,ty,ow,tw+ζoz,tz,oh,th+ζoθ,tθ,k,k] (5)

        其中:

        [ζ(oa,ta,ob,tb)=maxoa+ob2,ta+tb2-minoa-ob2,ta-tb22] (6)

        因此,回歸任務(wù)中RDIoU引導(dǎo)的DIoU損失函數(shù)為:

        [LRDIoU=1-RDIoU+PRDIoU] (7)

        在分類任務(wù)中,采用RDIoU引導(dǎo)的質(zhì)量焦點(diǎn)損失[20]進(jìn)行分類和3D包圍框的質(zhì)量估計,其中預(yù)測框與真實(shí)框的交并比,即RDIoU作為質(zhì)量估計的目標(biāo)。因此,每個樣本的目標(biāo)可以表示為:[T=R*E],其中[R=r1,r2,…,rn],[ri∈0,1];[E∈0,1]為RDIoU的標(biāo)量表示。RDIoU引導(dǎo)的質(zhì)量焦點(diǎn)損失為:

        [LRQFL=-β1RDIoU-yβ2*1-RDIoUlog1-y+RDIoUlogy] (8)

        式中:[y]為聯(lián)合估計;遵循焦點(diǎn)損失函數(shù)的設(shè)置,[β1=0.25],[β2=2]。本文采用交叉熵?fù)p失來進(jìn)行方向分類([Ld])。訓(xùn)練的整體損失為:

        [L=LRQFL+γ1Ld+γ2LRDIoU] (9)

        式中[γ1]和[γ2]是超參數(shù)。

        2" 實(shí)驗(yàn)結(jié)果與分析

        2.1" 實(shí)驗(yàn)數(shù)據(jù)集

        本文使用公開KITTI[21]數(shù)據(jù)集進(jìn)行模型訓(xùn)練和驗(yàn)證,KITTI數(shù)據(jù)集包含7 481個訓(xùn)練樣本和7 518個測試樣本,遵循文獻(xiàn)[22]對數(shù)據(jù)的劃分方法,將訓(xùn)練樣本劃分為訓(xùn)練集(3 712個樣本)和驗(yàn)證集(3 769個樣本)。由于該模型擬應(yīng)用于高速公路場景并且汽車類別樣本數(shù)量最多,因此本文只使用汽車類別對模型進(jìn)行實(shí)驗(yàn)。該數(shù)據(jù)集的檢測結(jié)果評估根據(jù)目標(biāo)大小、遮擋和截斷程度劃分為簡單、中等和困難三種級別。

        2.2" 實(shí)驗(yàn)環(huán)境與設(shè)置

        實(shí)驗(yàn)環(huán)境為Ubuntu 20.04操作系統(tǒng),使用Python 3.8、Pytorch 1.10.0、Cuda 11.3。顯卡為NVIDIA GeForce RTX 3 090 GPU,顯存為24 GB。本文將點(diǎn)云范圍沿[x]、[y]、[z]軸限制為[0,-39.68]m,[-3,69.12]m,[39.68,1]m。將點(diǎn)云轉(zhuǎn)換為體素,體素大小設(shè)置為[0.16,0.16,4]m,每個體素中最大點(diǎn)云數(shù)設(shè)置為32,單個點(diǎn)云樣本的最大非空體素數(shù)量在訓(xùn)練時設(shè)置為16 000,測試時設(shè)置為40 000。錨框的大小設(shè)置為[3.9,1.6,1.56]m,對于汽車類別,根據(jù)匹配閾值不同,分為正樣本(IoUgt;0.6)、可忽略樣本(IoU≥0.45且IoU≤0.6)和負(fù)樣本(IoUlt;0.45)。本文使用GPU進(jìn)行訓(xùn)練,Adam作為優(yōu)化器,權(quán)重衰減率為0.01,動量值為0.9,學(xué)習(xí)衰減率為0.1??倱p失的超參數(shù)設(shè)置為[γ1=0.2],[γ2=2]。采用數(shù)據(jù)增強(qiáng)策略:沿[x]軸進(jìn)行鏡像翻轉(zhuǎn)、對點(diǎn)云進(jìn)行隨機(jī)縮放變換和旋轉(zhuǎn)變換。按照KITTI官方的評估標(biāo)準(zhǔn),檢測結(jié)果以平均精度(AP)進(jìn)行評估。汽車類別IoU閾值設(shè)置為0.7,平均精度使用40個召回位置來計算,表達(dá)式如下:

        [AP=140R∈0,140,240,…,1pR] (10)

        此外,還評估了模型在驗(yàn)證集上的推理速度,即每秒處理的幀數(shù)(FPS)。

        2.3" 實(shí)驗(yàn)結(jié)果分析

        2.3.1" 不同算法對比實(shí)驗(yàn)

        為了評估本文模型的性能,將本文模型的算法與目前主流三維目標(biāo)檢測算法在KITTI測試集上進(jìn)行性能對比,對比的算法有F?PointNet[23]、VoxelNet[4]、SECOND[5]、Part?A2 [24]、PointRCNN[3]、TANet[25]、3DSSD[26],以此驗(yàn)證本文模型的有效性。

        表1給出了本文方法與其他方法精度性能比較。從表中可以看出,本文算法在簡單、中等、困難情況下的汽車3D平均檢測精度分別為88.53%、78.89%、74.79%,汽車BEV平均檢測精度分別為91.94%、89.08%、86.15%,本文算法精度在3D中等情況下僅比3DSSD算法低0.68%;在BEV簡單情況下比3DSSD算法低0.72%,其他情況均優(yōu)于對比算法。實(shí)驗(yàn)說明本文改進(jìn)后的算法相較于其他算法具有一定的優(yōu)越性。

        2.3.2" 結(jié)果可視化分析

        為了更直觀地驗(yàn)證本文模型對于汽車檢測的有效性,圖7展示了原始算法與GCR?PointPillars模型在KITTI驗(yàn)證集中四個不同場景下目標(biāo)樣本的可視化對比結(jié)果圖,其中,方形框代表漏檢,圓圈代表誤檢。對比發(fā)現(xiàn),本文模型在可視化結(jié)果上展現(xiàn)出了顯著的優(yōu)勢,相較于原始算法,降低了誤檢和漏檢的概率,在復(fù)雜情況下具有較強(qiáng)的魯棒性。

        2.3.3" 消融實(shí)驗(yàn)

        為了評估各個模塊對于模型檢測性能的影響,本文進(jìn)行了一系列的消融實(shí)驗(yàn)來詳細(xì)分析。以下所有實(shí)驗(yàn)都在KITTI數(shù)據(jù)集下進(jìn)行訓(xùn)練,并在驗(yàn)證集中對其進(jìn)行評估。表2給出消融實(shí)驗(yàn)在汽車類別下的3D檢測精度對比。

        通過實(shí)驗(yàn)可以得知:本文模型中的各個模塊都有助于提升檢測性能,在Pillar特征網(wǎng)絡(luò)中引入全局注意力模塊,增強(qiáng)偽圖特征的全局信息交互能力,在中等級別下檢測精度從76.01%提升到了76.82%;基于ConvNeXt V2構(gòu)建的特征提取網(wǎng)絡(luò),增強(qiáng)了特征學(xué)習(xí)能力,在中等級別下精度從76.01%提升到了77.25%;引入RDIoU改進(jìn)檢測頭,提高損失函數(shù)的約束作用,在中等級別下檢測精度從76.01%提升到78.12%。結(jié)合各個模塊構(gòu)成的GCR?PointPillars模型,在簡單、中等、困難級別下檢測精度分別為89.60%、80.30%、77.88%,與基準(zhǔn)網(wǎng)絡(luò)相比分別提升了2.69%、4.29%、4.84%。通常情況下,激光雷達(dá)工作頻率為10 Hz(1 s處理10幀點(diǎn)云數(shù)據(jù)),而GCR?PointPillars模型處理速度為25.8 f/s,因此,本文模型不僅檢測性能得到提升,還可以滿足實(shí)時性的需求。

        3" 結(jié)" 語

        本文提出了一種GCR?PointPillars三維目標(biāo)檢測模型來實(shí)現(xiàn)在高速公路場景下的車輛檢測,引入全局注意力機(jī)制,基于ConvNeXt V2重新構(gòu)建特征提取網(wǎng)絡(luò),構(gòu)造新的損失函數(shù)對原始算法進(jìn)行優(yōu)化改進(jìn)。為了驗(yàn)證本文模型的有效性,在KITTI數(shù)據(jù)集下與其他經(jīng)典三維目標(biāo)檢測算法進(jìn)行對比實(shí)驗(yàn)。結(jié)果表明,本文提出的GCR?PointPillars模型在不同的場景下具有較優(yōu)的檢測性能,并且能在保持精度的同時具有實(shí)時檢測能力。但仍存在有待深入研究和改進(jìn)的方面,后續(xù)將考慮多傳感器融合的研究,進(jìn)而增強(qiáng)目標(biāo)檢測系統(tǒng)的魯棒性和全面性。

        注:本文通訊作者為惠飛。

        參考文獻(xiàn)

        [1] QI C R, SU H, MO K, et al. PointNet: Deep learning on point sets for 3D classification and segmentation [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2017: 77?85.

        [2] QI C R, YI L, SU H, et al. PointNet++: Deep hierarchical feature learning on point sets in a metric space [C]// Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017. [S.l.: s.n.], 2017: 5099?5108.

        [3] SHI S S, WANG X G, LI H S. PointRCNN: 3D object proposal generation and detection from point cloud [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2019: 770?779.

        [4] ZHOU Y, TUZEL O. VoxelNet: End?to?end learning for point cloud based 3D object detection [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2018: 4490?4499.

        [5] YAN Y, MAO Y X, LI B. SECOND: Sparsely embedded convolutional detection [J]. Sensors, 2018, 18(10): 3337.

        [6] LANG A H, VORA S, CAESAR H, et al. PointPillars: Fast encoders for object detection from point clouds [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2019: 12697?12705.

        [7] WANG X H, LIU J, LIAO Z H. AGPNet: Augmented graph PointPillars for object detection from point clouds [EB/OL]. [2023?10?27]. http://preprints202310.1729.v1(3).pdf.

        [8] 陳德江,余文俊,高永彬.基于改進(jìn)PointPillars的激光雷達(dá)三維目標(biāo)檢測[J].激光與光電子學(xué)進(jìn)展,2023,60(10):447?453.

        [9] LIU Y C, SHAO Z R, HOFFMANN N. Global attention mechanism: Retain information to enhance channel?spatial interactions [EB/OL]. [2021?12?14]. https://arxiv.org/abs/2112.05561.

        [10] WOO S, DEBNATH S, HU R H, et al. ConvNeXt V2: Co?designing and scaling ConvNets with masked autoencoders [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2023: 16133?16142.

        [11] SHENG H L, CAI S J, ZHAO N, et al. Rethinking IoU?based optimization for single?stage 3D object detection [C]// Procee?dings of the European Conference on Computer Vision (ECCV). Heidelberg, Germany: Springer, 2022: 544?561.

        [12] 詹為欽,倪蓉蓉,楊彪.基于注意力機(jī)制的PointPillars+三維目標(biāo)檢測[J].江蘇大學(xué)學(xué)報(自然科學(xué)版),2020,41(3):268?273.

        [13] 王忠全.基于深度學(xué)習(xí)的目標(biāo)檢測及路徑規(guī)劃研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2021.

        [14] WOO S, PARK J, LEE J Y, et al. CBAM: Convolutional block attention module [C]// Proceedings of the European Conference on Computer Vision (ECCV). Heidelberg, Germany: Springer, 2018: 3?19.

        [15] LIU S G, WANG Y J, YU Q G, et al. CEAM?YOLOv7: Improved YOLOv7 based on channel expansion and attention mechanism for driver distraction behavior detection [J]. IEEE access, 2022, 10: 129116?129124.

        [16] LIU Z, MAO H Z, WU C Y, et al. A ConvNet for the 2020s [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2022: 11966?11976.

        [17] SANDLER M, HOWARD A G, ZHU M L, et al. MobileNetV2: Inverted residuals and linear bottlenecks [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2018: 4510?4520.

        [18] LI J L, LUO S J, ZHU Z Q, et al. 3D IoU?Net: IoU guided 3D object detector for point clouds [EB/OL]. [2020?11?10]. https://arxiv.org/abs/2004.04962.

        [19] ZHOU D F, FANG J, SONG X B, et al. IoU loss for 2D/3D object detection [C]// 2019 International Conference on 3D Vision (3DV). New York: IEEE, 2019: 85?94.

        [20] LI X, WANG W H, WU L J, et al. Generalized focal loss: Learning qualified and distributed bounding boxes for dense object detection [EB/OL]. [2020?07?08]. https://arxiv.org/abs/2006.04388.

        [21] GEIGER A, LENZ P, URTASUN R. Are we ready for autonomous driving? The KITTI vision benchmark suite [C]// 2012 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2012: 3354?3361.

        [22] CHEN X Z, MA H M, WAN J, et al. Multi?view 3D object detection network for autonomous driving [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2017: 6525?6534.

        [23] QI C R, LIU W, WU C X, et al. Frustum PointNets for 3D object detection from RGB?D data [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2018: 918?927.

        [24] SHI S S, WANG Z, WANG X G, et al. Part?A2 Net: 3D part?aware and aggregation neural network for object detection from point cloud [EB/OL]. [2021?02?26]. http://arxiv.org/abs/1907.03670.

        [25] LIU Z, ZHAO X, HUANG T T, et al. TANet: Robust 3D object detection from point clouds with triple attention [C]// Procee?dings of the AAAI Conference on Artificial Intelligence. [S.l.]: AAAI, 2020: 11677?11684.

        [26] YANG Z T, SUN Y N, LIU S, et al. 3DSSD: Point?based 3D single stage object detector [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2020: 11037?11045.

        作者簡介:伍新月(2000—),女,碩士研究生,主要從事點(diǎn)云目標(biāo)檢測、自動駕駛方面的研究。

        惠" 飛(1982—),男,博士,教授,博士生導(dǎo)師,主要從事智能網(wǎng)聯(lián)汽車、機(jī)器視覺方面的研究。

        金" 鑫(1999—),男,碩士研究生,主要從事自動駕駛環(huán)境感知方面的研究。

        猜你喜歡
        自動駕駛注意力機(jī)制
        面向短文本的網(wǎng)絡(luò)輿情話題
        基于自注意力與動態(tài)路由的文本建模方法
        基于深度學(xué)習(xí)的問題回答技術(shù)研究
        基于LSTM?Attention神經(jīng)網(wǎng)絡(luò)的文本特征提取方法
        基于注意力機(jī)制的雙向LSTM模型在中文商品評論情感分類中的研究
        軟件工程(2017年11期)2018-01-05 08:06:09
        InsunKBQA:一個基于知識庫的問答系統(tǒng)
        “自動駕駛”熱潮背后的擔(dān)心和疑慮
        汽車周刊(2017年5期)2017-06-06 14:02:49
        汽車自動駕駛的發(fā)展
        基于自動駕駛下的車道規(guī)劃對交通擁堵的改善
        LTE—V車路通信技術(shù)淺析與探討
        移動通信(2016年24期)2017-03-04 22:12:26
        精品成人av人一区二区三区| 国产一级片毛片| 中文字幕大乳少妇| 少妇熟女天堂网av天堂| 少妇高潮太爽了在线视频| 一本加勒比hezyo无码人妻| 在线观看无码一区二区台湾| 蜜桃av福利精品小视频| 久久精品国产亚洲av麻豆会员| 另类老妇奶性生bbwbbw| 亚洲国产成人无码影院| 国产日韩乱码精品一区二区| 国产亚洲av另类一区二区三区| 国产精品制服| 国产国拍亚洲精品午夜不卡17| 日韩精品一区二区三区av| 日韩人妻不卡一区二区三区| 全免费a级毛片免费看网站| 久久久99精品成人片中文字幕 | 精品人妻一区二区三区四区在线| 亚洲自偷自拍熟女另类| 99re6久精品国产首页| 国产一区资源在线播放| 妺妺窝人体色www看人体| 国产内射合集颜射| 亚洲av高清资源在线观看三区| 国内自拍速发福利免费在线观看| 野花社区视频在线观看| 无码久久流水呻吟| 99热婷婷一区二区三区| 免费又黄又爽又色的视频| 老少交欧美另类| 69搡老女人老妇女老熟妇| 日本亚洲视频一区二区三区| 女邻居的大乳中文字幕| 亚洲欧美日韩中文字幕网址| 亚洲av一区二区在线| 夜夜爽妓女8888888视频| 免费一区二区三区久久| 青青草免费在线视频导航 | 中国黄色偷拍视频二区|