梁正友，陳子奧，蔡俊民，孫 宇

(1.廣西大學(xué) 計算機與電子信息學(xué)院，廣西 南寧 530004；2.廣西大學(xué) 廣西多媒體通信與網(wǎng)絡(luò)技術(shù)重點實驗室，廣西 南寧 530004)

0 引 言

與二維目標(biāo)識別相比，點云具有輸入數(shù)據(jù)容量巨大，圖像結(jié)構(gòu)復(fù)雜，導(dǎo)致計算量大幅提升等問題，因此點云目標(biāo)識別是一個非常有挑戰(zhàn)的研究課題。

早期基于深度學(xué)習(xí)的激光雷達(dá)點云識別普遍采用將3D點投影到2D點圖中，然后使用單一的2D端到端全卷積網(wǎng)絡(luò)來識別。Kurobe等[1]用局部特征與全局特征連接起來并回歸點云之間的對應(yīng)關(guān)系，而不是直接構(gòu)成或聚合特征，因此比傳統(tǒng)方法集成了更多有用的信息。Heyang Li等[2]提出了一種在三維激光雷達(dá)點云中精確地分割和提取鄉(xiāng)村路面目標(biāo)的方法，為了降低計算資源的需求，點云在進(jìn)行仿射變換之前被映射到一個二維圖像空間，陳強等[3]先計算源點云與目標(biāo)點云的內(nèi)部形態(tài)描述子關(guān)鍵點，再求取關(guān)鍵點k鄰域內(nèi)優(yōu)化的點對信息然后進(jìn)行點云處理，大幅提高處理效率。胡輝等[4]的改進(jìn)R-FCN結(jié)合多尺度訓(xùn)練、可變形網(wǎng)絡(luò)的方法，降低了環(huán)境因素的影響，提高了檢測的精確度。

Qi等[5]通過改進(jìn)原本將純點作為網(wǎng)絡(luò)輸入的模型，將兩個變化的原網(wǎng)絡(luò)模型實現(xiàn)分割和目標(biāo)檢測，由于投影矩陣是已知的，這樣就可以從二維圖像區(qū)域得到三維截錐了。基于體素的方法是深度學(xué)習(xí)在目標(biāo)識別領(lǐng)域的重要發(fā)展，其最大的缺點是點云體素化后其體積非常龐大，運算速度非常緩慢。Voxelnet[6]突破性地解決了基于點等方法逐點進(jìn)行運算導(dǎo)致的模型運算巨大問題，在此基礎(chǔ)上SECOND[7]通過改善了稀疏卷積網(wǎng)絡(luò)，解決推理速度慢和朝向估計的性能差的問題，Alex等提出的Pointpillars[8]進(jìn)一步對Yan Yan的SECOND進(jìn)行優(yōu)化，把點云數(shù)據(jù)轉(zhuǎn)化成Pillar(點柱)，然后用PillarVFE提取特征，這樣得到的鳥瞰圖，中間省略了SECOND中的稀疏卷積操作，此方法在損失了部分準(zhǔn)確率，但在識別速度上表現(xiàn)得十分優(yōu)秀。

相較于VoxelNet，SECOND和Pointpillars等方法中強調(diào)提取點云數(shù)據(jù)中的語義特征，本文的方法加強了點云信息中的定位特征，能夠識別點云中的更多信息，使目標(biāo)準(zhǔn)確率提升。本文主要創(chuàng)新點和貢獻(xiàn)有：①設(shè)計了一種混合路徑融合的殘差金字塔網(wǎng)絡(luò)，能夠提取包含點云語義信息和點云定位信息的點云特征；②在混合路徑的提取模塊中加入注意力機制，強化在殘差網(wǎng)絡(luò)中提取的點云定位特征，進(jìn)一步增加了模型對于有效特征的學(xué)習(xí)能力；③通過和其它方法在KITTI公開數(shù)據(jù)集上進(jìn)行對比分析，驗證了本文方法在點云識別上的先進(jìn)性。

1 點云識別網(wǎng)絡(luò)模型

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

點云數(shù)據(jù)因為其數(shù)據(jù)體積非常龐大的特點，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時會造成計算量也非常大，點云點柱化的設(shè)計很好地解決了這種計算量龐大的問題，因此本文采用了pointpillar網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)，并增加了一個注意力模塊。本文的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，由點柱特征提取、混合路徑聚合網(wǎng)絡(luò)(包括注意力、殘差金字塔等兩個子模塊)和檢測頭等3個模塊組成。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

點柱特征提取模塊將稀疏的三維數(shù)據(jù)轉(zhuǎn)換為堆疊的柱張量和柱指數(shù)張量，再通過簡化的Pointnet[5]網(wǎng)絡(luò)對張量化的點云數(shù)據(jù)進(jìn)行處理使其偽圖像化。這樣做的好處是直接使用柱子而不是體素來處理點云數(shù)據(jù)，從而忽略了z軸方向上的差異，沒有了多個體素，將3D空間轉(zhuǎn)為2D偽圖像處理，大大提升運行速度。

混合路徑聚合網(wǎng)絡(luò)，它包括了殘差金字塔模塊和注意力模塊兩個模塊。在殘差金字塔模塊中，點柱特征提取模塊傳遞的點云特征經(jīng)過處理，以提取和融合多尺度的特征信息。這樣的處理能夠有效地捕捉目標(biāo)的細(xì)節(jié)和上下文關(guān)系，從而提高定位準(zhǔn)確性。注意力模塊被應(yīng)用于獲取增強的定位特征。通過多層采樣和特征融合，注意力模塊能夠選擇和強化具有較高重要性的定位特征，并將其歸一化后與多尺度特征進(jìn)行合并，形成一個384維的預(yù)測特征，這樣的特征表示具有更強的表達(dá)能力和區(qū)分度。

檢測頭模塊中包含了3個關(guān)鍵預(yù)測分支：分類預(yù)測、錨盒回歸預(yù)測和方向分類預(yù)測。這些預(yù)測分支的結(jié)合在輸入的預(yù)測特征中融合了語義信息和定位信息，從而顯著提高了目標(biāo)檢測的預(yù)測效果。

1.2 混合路徑聚合網(wǎng)絡(luò)

1.2.1 路徑聚合網(wǎng)絡(luò)

目前最經(jīng)典的特征金字塔網(wǎng)絡(luò)[9](feature pyramids net)采用了ConvNet的金字塔特征層次結(jié)構(gòu)。該網(wǎng)絡(luò)首先以任意大小的單尺度圖像作為輸入，通過自底向上和自頂向下的網(wǎng)絡(luò)卷積操作，生成多尺度的圖像特征。通過橫向連接，這些特征被結(jié)合在一起，用于預(yù)測任務(wù)。這種網(wǎng)絡(luò)結(jié)構(gòu)具有從低級到高級的語義信息，構(gòu)建了一個具有高級語義的特征金字塔。如圖2(a)所示，通過多次卷積操作，得到了多層特征圖。接著，通過自頂向下的特征融合，將每個特征圖與其前一層的特征結(jié)合起來。這種自頂向下的特征融合過程有助于提取更高級別的語義特征，并增強了網(wǎng)絡(luò)對目標(biāo)的表示能力。

圖2 路徑聚合網(wǎng)絡(luò)

在金字塔網(wǎng)絡(luò)中的特征融合過程中，隨著特征圖的尺寸減小，感受野也相應(yīng)增大。在特征金字塔網(wǎng)絡(luò)中，自頂向下的傳遞模式中，雖然高層特征被傳遞到下層，但底層特征無法影響高層特征。信息從頂部向下逐層傳遞，計算量逐漸增大，導(dǎo)致頂層特征在特征傳播過程中部分定位特征可能會丟失，在PANet[10](路徑聚合網(wǎng)絡(luò))圖2(b)中通過在自頂向下特征融合之后，再進(jìn)行自底向上的特征融合。這種雙向傳遞的方式，使得每一層特征圖都能獲取前面所有特征圖的特征信息。這樣的設(shè)計能夠有效解決頂層特征在傳播過程中丟失部分定位特征的問題。

1.2.2 混合路徑聚合的殘差金字塔網(wǎng)絡(luò)

本文采用了基于PANet路徑聚合網(wǎng)絡(luò)的思想，并結(jié)合殘差結(jié)構(gòu)[11]的方法，以進(jìn)一步提取點云的定位特征。在特征提取過程中，采用用殘差網(wǎng)絡(luò)主要是基于以下3個原因：首先，殘差網(wǎng)絡(luò)能夠有效地控制模型參數(shù)的數(shù)量，從而提高模型的效率和運行速度。其次，殘差網(wǎng)絡(luò)在保持梯度不消失或爆炸的前提下，能夠增加網(wǎng)絡(luò)的深度，解決了傳統(tǒng)網(wǎng)絡(luò)中深度增加所引發(fā)的梯度問題。最重要的是，通過殘差模塊的使用，我們能夠補全路徑聚合網(wǎng)絡(luò)的自底向上的特征融合，使得融合后的特征圖能夠包含每個尺度特征圖的特征信息。這種特征融合的方法能夠提高點云定位任務(wù)的準(zhǔn)確性和魯棒性，使得模型在處理復(fù)雜場景和不同尺度的點云數(shù)據(jù)時具有更好的性能表現(xiàn)。因此，本文的方法在點云特征提取方面具有重要的意義，并為相關(guān)領(lǐng)域的研究提供了有價值的思路和方法。

其結(jié)構(gòu)如圖3所示。網(wǎng)絡(luò)由3個部分組成：一個自頂向下的卷積神經(jīng)網(wǎng)絡(luò)以越來越小的空間分辨率生成多尺度特征，一個注意力機制模塊提取特征并進(jìn)行下采樣生成多尺度特征圖，以及一個特征金字塔特征網(wǎng)絡(luò)將兩條網(wǎng)絡(luò)進(jìn)行連接。自上而下的卷積神經(jīng)網(wǎng)絡(luò)可以由一系列塊Block(C，K，S) 表示。每個塊以C(channals) 輸出通道，K(Kernel)2D 卷積核和S(Strides) 步幅操作組成，每個輸出通道后面使用BatchNorm批規(guī)范化函數(shù)和ReLU線性整流函數(shù)來解決梯度爆炸。層內(nèi)的第一個卷積的步幅S=2，以降低要素的空間分辨率，卷積核K=(3×3)。每個Block的所有后續(xù)卷積步幅S = 1保持相的同空間分辨率。ResBlock中利用注意力機制提取特征，并通過下采樣的卷積核K=(1×1) 步幅S=2進(jìn)行下采樣。在第三個網(wǎng)絡(luò)中將前兩層中的每個Block的末端做一次通道C=128的卷積，并在Block3的輸出特征繼續(xù)兩次步幅S=2的向上采樣，將相同空間分辨率的特征進(jìn)行并聯(lián)，并通過卷積核K=[(1×1)，(2×2)，(4×4)]步幅S=[1，2，4]的反卷積歸一化不同尺度的特征圖并連接得到最終特征F。

圖3 混合路徑聚合網(wǎng)絡(luò)

1.2.3 改進(jìn)的混合坐標(biāo)注意力機制

注意力機制在深度學(xué)習(xí)中是一種數(shù)據(jù)權(quán)重分配方法，可以很好地強化部分特征。Coordinate Attention[12]位置注意力是通過將位置信息嵌入到通道注意力中的一種新穎有效的注意力機制，通過把SENet(squeeze-and-excitation network)[13]中的通道注意力分解成了兩條并行的一維特征通道，在其之上進(jìn)行編碼再融合，以獲得在方向和位置上更加敏感的特征表示。這種改進(jìn)方法能夠有效地提取和強化特征，從而提升模型的性能。

由于Coordinate注意力中平均池化可能導(dǎo)致欠擬合問題，并為了增強金字塔網(wǎng)絡(luò)中Resblock的特征，本文對該注意力進(jìn)行了改進(jìn)。圖4展示了改進(jìn)后的注意力結(jié)構(gòu)。在改進(jìn)后的結(jié)構(gòu)中，通過對點云的XY坐標(biāo)分別進(jìn)行平均池化，新增了一條原始的SE注意力通道，將其擴(kuò)展為兩條一維通道和一條二維通道，并在不同通道上對特征進(jìn)行融合。接下來，本文將詳細(xì)描述這一改進(jìn)方法。

圖4 混合坐標(biāo)注意力

將特征轉(zhuǎn)為兩對1D特征，對輸入X，用兩個池化核 (H，1) 和(1，W)去沿水平和垂直方向?qū)ζ渚幋a。因此可用C通道的高度h和寬度w來表示輸出

(1)

(2)

對每個1D特征進(jìn)行最大池化和平均池化，然后在不同通道對特征進(jìn)行融合通過將池化后的特征經(jīng)過一個共享卷積變換和非空線性函數(shù)，再沿著空間維度將特征分解為兩個單獨的張量，再用(1×1)的卷積核去對輸入X對其直接編碼，可表示為

(3)

最后經(jīng)過sigmoid激活函數(shù)融合得到最終的輸出信息。

1.3 Loss損失函數(shù)

損失函數(shù)使用SECOND中的相同損失函數(shù)。因為要檢測的物體的大小近似固定，所以使用固定大小的錨，地面真值框和錨由 (x，y，z，w，l，h，θ) 定義，其中x，y，z為中心坐標(biāo)，w，l，h分別為寬度、長度、高度，θ是繞z軸的偏航旋轉(zhuǎn)。地面實況和錨之間的定位回歸殘差定義如下

Δθ=sin(θgt-θa)

(4)

(5)

由于角度定位損失無法區(qū)分翻轉(zhuǎn)的方框，因此在離散化方向上用softmax分類損失Ldir學(xué)習(xí)航向。為了解決這種損失將具有相反方向的框視為相同的問題，在RPN的輸出中添加了一個簡單的方向分類器

Lcls=-αa(1-pa)γlogpa

(6)

其中，pa是類的概率，常數(shù)系數(shù)γ設(shè)置為2，α設(shè)置為0.25。結(jié)合上述損失，我們可以得到多任務(wù)損失的最終形式如下

(7)

其中，Lcls是分類損失，其Lreg是角度損失，是Ldir方向分類損失，常數(shù)系數(shù)β1=1，β2=2，和β3=0.2。

2 實驗結(jié)果與分析

2.1 數(shù)據(jù)集與評估協(xié)議

本文的所有實驗都是在KITTI[14]點云目標(biāo)識別數(shù)據(jù)集上進(jìn)行的。該數(shù)據(jù)集包含了3類對象，分別是汽車、行人和自行車。3D對象檢測基準(zhǔn)由7481張訓(xùn)練圖像和7518張測試圖像以及對應(yīng)的點云構(gòu)成，總共有80.256個標(biāo)注對象。所有圖像都是彩色，并以png和bin文件的格式保存。

在目標(biāo)檢測任務(wù)中，對于汽車類別的檢測，要求目標(biāo)框與真實邊界框的重疊面積達(dá)到70%以上。對于行人和自行車類別的檢測，要求重疊面積達(dá)到50%以上才能被視為有效檢測結(jié)果。無關(guān)區(qū)域的檢測結(jié)果或者小于最小尺寸的檢測結(jié)果將被視為誤報。檢測難度的定義見表1。

表1 KITTI點云檢測難度標(biāo)準(zhǔn)

指標(biāo)KITTI的用PR曲線上的40個召回位置的平均精度(AP)來衡量檢測效果。根據(jù)對象大小、遮擋和截斷級別，標(biāo)簽被分為3個子集(簡單(easy)、中等(Mode-rate)、困難(Hard))。

所有檢測結(jié)果均使用KITTI官方評估檢測指標(biāo)進(jìn)行測量，這些指標(biāo)包括：鳥瞰圖(BEV)、3D、2D和平均方向相似性(AOS)。二維檢測在圖像平面上進(jìn)行，平均方向相似性評估二維檢測的平均方向(BEV視角)相似性。

2.2 實驗設(shè)置

所有實驗在一臺配備Intel?CoreTMi5-10400F 2.9 GHz處理器、16 GB內(nèi)存和1塊Nvidia RTX3060ti顯卡(顯存8 GB)的工作站上進(jìn)行。軟件環(huán)境采用Ubuntu 18.04操作系統(tǒng)，Python 3.6編程語言，PyTorch 1.10.2深度學(xué)習(xí)框架以及Cuda 11.3加速庫。我們選用了自適應(yīng)優(yōu)化器Adam進(jìn)行模型優(yōu)化，動量大小設(shè)置為0.9，初始學(xué)習(xí)率為0.003，權(quán)重衰減為0.01，批處理大小設(shè)置為3。整個訓(xùn)練過程共計80個epoch，總計耗時7小時。

2.3 可視化實驗

為了直觀展示本方法在KITTI數(shù)據(jù)集上的檢測效果，圖5展示了基線模型和本方法的可視化結(jié)果。圖5中共有4組圖片，從左至右排列，分別為圖5(a)、圖5(b)、圖5(c)、圖5(d)。每組圖片的左側(cè)展示了本文方法的結(jié)果，右側(cè)展示了基線模型的結(jié)果。在每組圖片中，從上至下分別展示了3D點云錨框、鳥瞰圖錨框和2D圖像錨框。這樣的可視化呈現(xiàn)方式有助于直觀地比較兩種方法的檢測效果。圖中的第一行圖中的score為置信度得分，這些分?jǐn)?shù)代表了預(yù)測結(jié)果的可信度，具體結(jié)果請參考表2。通常情況下，當(dāng)預(yù)測結(jié)果正確時，較高的分?jǐn)?shù)意味著更好的預(yù)測效果；而當(dāng)預(yù)測結(jié)果錯誤時，較高的分?jǐn)?shù)則意味著預(yù)測效果較差，根據(jù)圖5和表2的結(jié)果可知，本文的模型在3D點云錨框方面表現(xiàn)出明顯的精確度優(yōu)勢，相較于PointPillars模型，在預(yù)測正確的情況下置信度方面都有一定的提升。通過觀察圖片中鳥瞰圖的點密度，可以推斷出所識別目標(biāo)與傳感器之間的距離。特別是通過圖5(c)的結(jié)果，可以觀察到本文所提出的模型對于遠(yuǎn)距離目標(biāo)的識別具有較高的準(zhǔn)確性。此外，在圖5(d)的結(jié)果中，基線模型將自行車類別錯誤地識別為行人類目標(biāo)，而本文的模型則沒有出現(xiàn)這種錯誤。

表2 可視化結(jié)構(gòu)置信度分?jǐn)?shù)

圖5 在KITTI數(shù)據(jù)集上的可視化

本文的模型還能有效解決目標(biāo)識別中的定位特征錯誤問題。通過仔細(xì)觀察圖5(b)中的圖像，可以明顯觀察到基線模型由于對目標(biāo)點云方向的估計錯誤，導(dǎo)致在同一位置的點云中錯誤地識別出了兩個方向交叉的目標(biāo)。然而，本文提出的網(wǎng)絡(luò)結(jié)構(gòu)通過引入殘差結(jié)構(gòu)和注意力機制，顯著提升了對定位特征的提取能力。通過這些機制的協(xié)同作用，本文模型能夠更全面地利用點云數(shù)據(jù)中的信息，并有效地減少定位特征錯誤的問題，從而實現(xiàn)更加準(zhǔn)確的目標(biāo)識別結(jié)果。

2.4 消融實驗

為了分析不同成分對最終性能的影響，我們對KITTI驗證集進(jìn)行了消融研究見表3。通過使用兩類(行人和自行車)的BEV和3D平均準(zhǔn)確率作為評估指標(biāo)，基礎(chǔ)模型如表4所示為PointPillars模型。

表3 在KITTI驗證集上的消融實驗

表4 在KITTI驗證集上和基線模型的性能的提升

金字塔網(wǎng)絡(luò)：從表3的特征金字塔網(wǎng)絡(luò)和本文改進(jìn)的殘差金字塔中可以看出，用傳統(tǒng)的FPN替換骨干網(wǎng)絡(luò)在3D卷積上有一定的提升，但是在俯視圖上有較大的干擾影響，導(dǎo)致精度下降?？梢娪蓺埐罱Y(jié)構(gòu)傳遞的自頂部信息流往下逐層損失的位置信息對目標(biāo)識別的影響至關(guān)重要。

注意力機制：本文從表3中Attention和本文改進(jìn)方法的結(jié)果可以看出直接加入的注意力因為直接對點云運算，再經(jīng)過骨干網(wǎng)絡(luò)的特征提取導(dǎo)致定位特征強化沒有發(fā)揮很好的效果其準(zhǔn)確率反而有一定下降，并且通過對比最后兩條實驗結(jié)果在相同金字塔網(wǎng)絡(luò)影響下本章改進(jìn)的注意力提升非常大，可以看出經(jīng)過本章算法改進(jìn)的混合注意力機制，通過路徑聚合的網(wǎng)絡(luò)可以充分發(fā)揮出的該坐標(biāo)注意力的優(yōu)勢。

表4描述了本文算法在KITTI數(shù)據(jù)集上的測試精度和相較于原始模型的精度提升，可以看出與PointPillars相比，本文模型的精度更高，且運行的內(nèi)存不變，運行速度也沒有明顯下降，依舊能滿足60 hz的工業(yè)要求。本文方法有著更高的性能，達(dá)到標(biāo)準(zhǔn)的運行速度，為滿足目前的智能駕駛中實時性和準(zhǔn)確性的要求，本模型可以作為智能車輛駕駛的參考方案。

2.5 與其它先進(jìn)方法的比較

為了驗證所提方法的性能，將該方法與主流的點云識別方法進(jìn)行對比，對比結(jié)果見表5，能夠看出，本文方法在KITTI數(shù)據(jù)集上自行車鳥瞰圖類上分別得到了81.12%、64.61%、57.93%的結(jié)果，相較于同樣使用注意力機制的TANet(Triple Attention，三元注意力)本文的注意力更加簡單，在不降低運行速度的同時，準(zhǔn)確率也有顯著的提升。相較于Faraway-Frustum等直接使用點云的模型，本文模型使用點云轉(zhuǎn)換點柱的方法，達(dá)成偽圖像以便使用2D卷積，使運行速度極大提升，可以看到本文模型繼承了PointPillars的檢測速度，遠(yuǎn)超其它模型，且精度還能有所提升，擁有著很強的競爭力。

表5 在KITTI測試集上與主流方法性能對比

3 結(jié)束語

本文提出了一種混合路徑融合的點云目標(biāo)識別網(wǎng)絡(luò)，包括殘差特征金字塔網(wǎng)絡(luò)和混合坐標(biāo)注意力機制，能夠在激光雷達(dá)點云上進(jìn)行端到端訓(xùn)練。在KITTI數(shù)據(jù)集的實驗結(jié)果表明了本文所提算法在保證速度的前提下提供了更好的檢測性能。

本文后續(xù)重點工作將考慮點云的編碼方法。通過直接使用點云數(shù)據(jù)的情況下保持更多特征的投射為偽圖像，以保證速度的提升下有更多的性能提升。