張吳冉,李菲菲

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院,上海 200093)

相較于基于純點(diǎn)云的處理方式,體柱(Pillars)編碼方法可節(jié)省更多的運(yùn)算空間,具備更快的計(jì)算速度。體柱化模塊首先沿著X-Y坐標(biāo)平面將點(diǎn)云均勻分割成柱體形式,然后對(duì)體柱內(nèi)的點(diǎn)云進(jìn)行隨機(jī)采樣,保留一定量的點(diǎn)云,最后使用PointNet網(wǎng)絡(luò)逐點(diǎn)的特征抽象,并接入均值池化或最大池化獲取體柱級(jí)特征表示。體柱特征生成后通過(guò)鳥(niǎo)瞰視角映射將體柱特征從三維空間映射到二維空間,由此轉(zhuǎn)換為基于二維圖像的處理過(guò)程。體柱規(guī)則模塊在隨機(jī)采樣過(guò)程中會(huì)丟棄一些細(xì)節(jié)信息,影響檢測(cè)效果。二維偽圖特征提取網(wǎng)絡(luò)將多尺度輸出特征堆疊融合,不僅沒(méi)有關(guān)注多尺度特征的相關(guān)性,還忽視了特征冗余導(dǎo)致的空間雜亂問(wèn)題。針對(duì)以上諸多限制,借鑒文獻(xiàn)[5～8],本文提出了一種新型基于注意力機(jī)制和上下文感知的三維目標(biāo)檢測(cè)網(wǎng)絡(luò)。網(wǎng)絡(luò)架構(gòu)如圖1所示。此網(wǎng)絡(luò)具有3個(gè)核心模塊:點(diǎn)云雙向注意力機(jī)制、上下文感知模塊以及注意力導(dǎo)向模塊。

圖1 三維檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)Figure 1. The structure of 3D object detection network

1)點(diǎn)云雙向注意力機(jī)制(Double Attention Mechanism,DAM)。在體柱編碼模塊中,增加聯(lián)合空間注意力和通道注意力的點(diǎn)云雙向注意力機(jī)制,通過(guò)分配權(quán)重的方式有辨別地凸顯重要點(diǎn)數(shù)據(jù),緩解背景點(diǎn)帶來(lái)的干擾。

2)上下文感知模塊(CAM)。通過(guò)增加特征金字塔[9]網(wǎng)絡(luò)(FPN)對(duì)鳥(niǎo)瞰圖進(jìn)行多尺度特征處理,并在FPN結(jié)構(gòu)上增加上下文感知模塊,捕捉多比例上下文語(yǔ)義,為高維特征增加多尺度信息感知能力。

3)注意力導(dǎo)向模塊(AGM)。特征在經(jīng)過(guò)FPN和上下文感知模塊融合處理后,冗余的融合特征在一定程度上會(huì)模糊位置關(guān)系。為了緩解融合特征導(dǎo)致的空間偏差問(wèn)題,該模塊將注意力機(jī)制作用于輸入源特征,生成空間信息清晰的權(quán)重導(dǎo)向圖,引導(dǎo)網(wǎng)絡(luò)發(fā)現(xiàn)輸出特征的空間位置關(guān)系。

1 網(wǎng)絡(luò)模型結(jié)構(gòu)

1.1 體柱規(guī)則模塊

點(diǎn)云可由M行4列的矩陣表示。其中,M表示點(diǎn)的數(shù)量,矩陣的4列分別是三維空間坐標(biāo)(x,y,z)和點(diǎn)云反射強(qiáng)度r?；邳c(diǎn)云的體柱規(guī)則化模塊具體流程如下:

1)點(diǎn)云規(guī)則化。將點(diǎn)云離散到X-Y-Z坐標(biāo)系下,均勻分割X-Y平面,不對(duì)Z軸方向的點(diǎn)云作分割處理,獲得點(diǎn)柱形式的集合P,每個(gè)點(diǎn)柱內(nèi)均包含一定數(shù)量的點(diǎn)。此方式減少了高度維度的參數(shù)計(jì)算,加快了檢測(cè)網(wǎng)絡(luò)的推理效率。雖然損失了高度信息,導(dǎo)致精度略有下降,但是取締了稀疏算子[10]的使用,直接使用二維卷積提取算法,方便網(wǎng)絡(luò)嵌入到視覺(jué)硬件系統(tǒng)。

2)特征擴(kuò)充。首先,逐體柱求取所有點(diǎn)的算數(shù)平均值,計(jì)算出所有點(diǎn)到該值的距離(xc,yc,zc),求出X-Y平面上體柱底面中心坐標(biāo),計(jì)算所有點(diǎn)到該中心的偏移值(xp,yp,zp);然后,將原始的四維特征擴(kuò)充到九維特征(x,y,z,r,xc,yc,zc,xp,yp,zp)表示。

3)張量生成。由于點(diǎn)云具有稀疏性,空體柱數(shù)量占比較高,為降低計(jì)算復(fù)雜度,設(shè)置采樣體柱數(shù)量為P,固定體柱內(nèi)點(diǎn)數(shù)為N。若體柱內(nèi)點(diǎn)數(shù)>N,則使用隨機(jī)采樣進(jìn)行縮減,若點(diǎn)數(shù)

4)點(diǎn)特征網(wǎng)絡(luò)。使用由線性層和BN層和ReLU組成的簡(jiǎn)化PointNet網(wǎng)絡(luò)對(duì)D維特征進(jìn)行抽象,生成尺度為C×P×N的新張量,沿著N維度使用最大或均值池化操作,最終得到尺度為C×P的張量。

5)偽圖生成。把體柱網(wǎng)格單元設(shè)為單位像素,使用體柱P的索引值將C×P大小的張量返回原始坐標(biāo),沿著P維度擴(kuò)展,輸出大小為C×H×W的二維偽圖。

1.2 點(diǎn)云雙向注意力機(jī)制

在三維點(diǎn)云場(chǎng)景中,小目標(biāo)和遠(yuǎn)目標(biāo)的采樣點(diǎn)數(shù)量較少,而且隨著特征的不斷下采樣,這些目標(biāo)會(huì)失去更多的有效信息。點(diǎn)云場(chǎng)景中還存在較嚴(yán)重的遮擋問(wèn)題,目標(biāo)與目標(biāo)、目標(biāo)與背景之間相互遮擋。在雜亂的三維空間環(huán)境中,背景占據(jù)更多區(qū)域,這時(shí)通過(guò)網(wǎng)絡(luò)學(xué)習(xí)會(huì)獲取大量背景信息,導(dǎo)致檢測(cè)器對(duì)前景目標(biāo)的檢測(cè)性能下降。為緩解以上問(wèn)題,本文參考卷積塊注意力模塊(Convolutional Block Attention Module,CBAM)的二維混合注意力機(jī)制和文獻(xiàn)[11～12]的三維注意力機(jī)制的構(gòu)成原理,設(shè)計(jì)了點(diǎn)云雙向注意力機(jī)制(DAM)。點(diǎn)云雙向注意力機(jī)制模塊由面向點(diǎn)的空間注意力機(jī)制和面向特征的通道注意力機(jī)制兩個(gè)子模塊組成。該注意力機(jī)制可通過(guò)分析體柱內(nèi)點(diǎn)的位置關(guān)系和通道關(guān)系關(guān)注體柱內(nèi)重要區(qū)域,同時(shí)抑制不重要區(qū)域,進(jìn)一步增強(qiáng)體柱特征的表達(dá)能力。點(diǎn)云雙向注意力機(jī)制模塊結(jié)構(gòu)如圖2所示。

圖2 點(diǎn)云雙向注意力機(jī)制結(jié)構(gòu)(a)并聯(lián)雙向注意力機(jī)制 (b)串聯(lián)雙向注意力機(jī)制Figure 2. The structure of double attention mechanism(a)The double attention mechanism of parallel mode (b)The double attention mechanism of series mode

網(wǎng)絡(luò)以B×C×N大小的點(diǎn)云張量作為輸入數(shù)據(jù)。其中,B表示batch_size數(shù)量,C表示特征維度,N表示體柱內(nèi)點(diǎn)的數(shù)量。

1.2.1 空間注意力機(jī)制

(1)

其中,MLPH→L表示多層感知機(jī)從高維到低維的映射。

1.2.2 通道注意力機(jī)制

(2)

其中,MLPH→H表示多層感知機(jī)的同維映射。

點(diǎn)云雙向注意力機(jī)制通過(guò)并聯(lián)和串聯(lián)兩種方式于體柱中實(shí)現(xiàn)。并聯(lián)雙向注意力如圖2(a)所示。將輸入數(shù)據(jù)并級(jí)處理,獲取通道域和空間域注意力權(quán)值,將兩域權(quán)值和輸入特征分別作乘法和加和操作,具體如式(3)所示。

(3)

串聯(lián)雙向注意力機(jī)制如圖2(b)所示。首先使用通道注意力機(jī)制對(duì)輸入數(shù)據(jù)處理;然后將通道域的權(quán)值與輸入相乘獲得新特征;最后再輸送到空間注意力機(jī)制作同樣處理。具體如式(4)所示。

(4)

1.3 特征金字塔(FPN)模塊

點(diǎn)云雙向注意力機(jī)制對(duì)體柱內(nèi)所有點(diǎn)進(jìn)行增強(qiáng)處理后,輸出更具分辨性的點(diǎn)特征;然后使用簡(jiǎn)化的PointNet網(wǎng)絡(luò)對(duì)體柱內(nèi)點(diǎn)進(jìn)行特征擴(kuò)充,經(jīng)最大池化函數(shù)作用后得到體柱級(jí)特征;再使用Scatter算子將體柱級(jí)特征返回初始位置,生成二維偽圖。

原特征提取網(wǎng)絡(luò)首先對(duì)二維偽圖進(jìn)行深度卷積特征提取,輸出3種尺度的特征;然后使用轉(zhuǎn)置卷積算法將其統(tǒng)一尺度;最后堆疊輸送到檢測(cè)模塊。

多尺度特征堆疊融合會(huì)導(dǎo)致上下文信息過(guò)度冗余,不僅影響網(wǎng)絡(luò)推理速度,且干擾正常檢測(cè)。針對(duì)該問(wèn)題,本文采用FPN的融合策略,將特征提取層的最終輸出進(jìn)行持續(xù)上采樣,和特征提取層的特征逐層相加融合,使多尺度特征得以復(fù)用,緩解了堆疊操作帶來(lái)的冗余效應(yīng)和推理速度問(wèn)題。FPN結(jié)構(gòu)通過(guò)使用轉(zhuǎn)置卷積算子和雙線性插值法對(duì)特征進(jìn)行上采樣。雙線性插值法通過(guò)利用像素點(diǎn)的位置設(shè)計(jì)上采樣核,感知域通常較小,對(duì)特征周?chē)Z(yǔ)義信息利用率低。轉(zhuǎn)置卷積算子對(duì)特征圖的所有位置均使用相同的上采樣核,不能有效捕捉特征空間內(nèi)信息的變化。本文插入帶有內(nèi)容感知功能的上采樣算子:CARAFE[13](Content Aware Reassembly of Features)。此算子基于輸入的語(yǔ)義信息設(shè)計(jì)采樣范圍較大的動(dòng)態(tài)核,然后通過(guò)生成的動(dòng)態(tài)核參數(shù)進(jìn)一步利用特征圖周?chē)膬?nèi)容信息,可改善上采樣后的特征質(zhì)量。CARAFE算子分別由上采樣預(yù)測(cè)模塊和特征重組模塊組成。

1.3.1 上采樣預(yù)測(cè)模塊

圖3 CARAFE結(jié)構(gòu)Figure 3. The structure of CARAFE

1.3.2 特征重組模塊

對(duì)于上一階段輸出的上采樣核,需要將其映射回輸入特征圖。取出兩者對(duì)應(yīng)區(qū)域,彼此作矩陣乘法,輸出上采樣后的新特征,結(jié)構(gòu)如圖3所示。

本文分別使用雙線性插值、轉(zhuǎn)置卷積和CARAFE這3種上采樣方式實(shí)現(xiàn)二維偽圖的尺度恢復(fù),網(wǎng)絡(luò)架構(gòu)如圖4所示,詳細(xì)實(shí)驗(yàn)見(jiàn)章節(jié)2.2.1。

圖4 FPN結(jié)構(gòu)(a)轉(zhuǎn)置卷積 (b)雙線性插值 (c)CARAFE上采樣Figure 4.The structure of FPN(a)Transposed convolution (b)Bilinear interpolation (c)Up-sampling of CARAFE

1.4 上下文感知模塊

圖5 上下文感知模塊結(jié)構(gòu)Figure 5. The structure of context awareness module

(5)

將上下文感知模塊輸出的3組特征和FPN上采樣獲取的3組特征進(jìn)行堆疊(Concatenate),輸入到1×1卷積消除特征重疊效應(yīng),再使用上采樣算法將3種尺度特征恢復(fù)成相同大小并逐層相加融合,如式(6)所示。

(6)

1.5 注意力導(dǎo)向模塊

上下文感知模塊密集融合輸出多組特征,獲取具有多尺度感受野信息的高維語(yǔ)義特征,但冗余的特征融合會(huì)導(dǎo)致空間位置信息雜亂。為緩解冗余上下文對(duì)空間信息的誤導(dǎo),本文設(shè)計(jì)了基于注意力機(jī)制的空間導(dǎo)向模塊(AGM)。模塊結(jié)構(gòu)如圖6所示。

圖6 注意力導(dǎo)向模塊結(jié)構(gòu)Figure 6. The structure of attention guide module

首先,輸入最低層的鳥(niǎo)瞰圖特征FBEV,此特征保留足夠多的空間上下文信息;其次,使用平均池化操作提取FBEV的全局特征,對(duì)全局特征的空間維度進(jìn)行復(fù)制擴(kuò)展,恢復(fù)特征空間尺度;然后,將其與輸入特征FBEV堆疊(Concatenate),并使用1×1卷積將其壓縮為1通道;最后,使用Sigmoid函數(shù)獲取歸一化的注意力權(quán)值矩陣,將權(quán)值矩陣和FPN的輸出特征相乘,以空間權(quán)重程度限制特征中目標(biāo)的空間位置,最終獲得包含清晰語(yǔ)義和詳細(xì)細(xì)節(jié)的新特征。

2 實(shí)驗(yàn)描述

2.1 訓(xùn)練環(huán)境

網(wǎng)絡(luò)訓(xùn)練總的損失函數(shù)Lall由3部分組成:定位損失Lreg、分類(lèi)損失Lcls以及方向損失Ldir。計(jì)算式為

(7)

式中,α=2,β=1和γ=0.2用以平衡各損失的權(quán)重。定位損失基于Smooth L1 loss[16]計(jì)算,方向損失基于Softmax loss計(jì)算,分類(lèi)損失基于Focal loss[17]計(jì)算。

本文基于KITTI[18]數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),此數(shù)據(jù)集包含7 481個(gè)樣本數(shù)據(jù),分割出3 712個(gè)樣本數(shù)據(jù)進(jìn)行訓(xùn)練,余下3 769個(gè)樣本數(shù)據(jù)用于驗(yàn)證。本文共評(píng)估3類(lèi)目標(biāo):汽車(chē)、行人、騎行者。根據(jù)3D目標(biāo)的大小和遮擋程度將檢測(cè)分為3種難度級(jí)別:簡(jiǎn)單、中等、困難,對(duì)應(yīng)于表1中的Easy、Mod和Hard。為了綜合評(píng)估算法性能,本文參考基線網(wǎng)絡(luò),將汽車(chē)的交并比(IOU)閾值設(shè)置為0.7,并將行人和騎自行車(chē)者的交并比閾值設(shè)置為0.5。表1中mAP表示3類(lèi)難度的均值平均精度。硬件環(huán)境為Ubuntu18.04系統(tǒng)和NVIDIA RTX 3080服務(wù)器?；赑ytorch1.8、Python 3.7.2平臺(tái)實(shí)現(xiàn)。使用Adam[19]優(yōu)化器,共訓(xùn)練80個(gè)epochs,batch_size為2,初始學(xué)習(xí)率為0.003。

表1 FPN模塊3種上采樣方式對(duì)比實(shí)驗(yàn)Table 1. Comparison experiment of three sets of upsamplings of FPN

2.2 實(shí)驗(yàn)結(jié)果

2.2.1 FPN模塊上采樣方式結(jié)果對(duì)比

本文對(duì)FPN模塊上采樣階段的3種上采樣算子進(jìn)行對(duì)比試驗(yàn),詳細(xì)數(shù)據(jù)如表1所示。3種算子分別為轉(zhuǎn)置卷積上采樣、雙線性插值上采樣和CARAFE上采樣,分別對(duì)應(yīng)表1中的UPD、UPB和CARAFE。PP-SSD表示基線網(wǎng)絡(luò)[3]。

從表1可知,轉(zhuǎn)置卷積上采樣方式主要提升騎行者目標(biāo)精度,在困難指標(biāo)下精度提升1.53%。雙線性插值上采樣方式主要提升汽車(chē)目標(biāo)檢測(cè)精度,在簡(jiǎn)單、中等、困難3種指標(biāo)下分別提升0.84%、0.58%和1.62%。CARAFE自適應(yīng)上采樣算子上采樣方式對(duì)比其他兩種上采樣方式,主要提升行人類(lèi)別精度。

考慮到CARAFE模塊推理速度消耗,實(shí)驗(yàn)中主要采用雙線性插值上采樣方式恢復(fù)特征尺度。

2.2.2 消融實(shí)驗(yàn)

本節(jié)對(duì)上文提出的3組模塊:DAM(a)(b)、CAM、AGM分別進(jìn)行組合實(shí)驗(yàn)。在DAM(a)(b)中,(a)表示并聯(lián)雙向注意力機(jī)制,(b)表示串聯(lián)雙向注意力機(jī)制,CAM表示上下文感知模塊,AGM表示注意力導(dǎo)向模塊。PP-SSD為基線網(wǎng)絡(luò),PP-FPN為替換FPN模塊的新基線網(wǎng)絡(luò)。組合1～組合5為以上3組模塊的具體組合形式。

表2、表3和表4分別展示了行人、汽車(chē)、騎行者的檢測(cè)結(jié)果。從PP-SSD和PP-FPN的實(shí)驗(yàn)結(jié)果可看出,替換FPN模塊后,汽車(chē)和騎行者精度指標(biāo)都有小幅提升,但是行人指標(biāo)下降較多。往后實(shí)驗(yàn)均基于PP-FPN改進(jìn)。組合1和組合2在PP-FPN基礎(chǔ)上增加了點(diǎn)云雙向注意力機(jī)制。組合1中并聯(lián)雙向注意力機(jī)制和基線網(wǎng)絡(luò)PP-SSD相比,騎行者3種指標(biāo)分別提升2.10%、4.11%和2.14%,汽車(chē)精度指標(biāo)基本持平。組合2中串聯(lián)雙向注意力機(jī)制和新基線網(wǎng)絡(luò)PP-FPN相比,行人3種指標(biāo)分別提升1.12%、1.89%和1.77%,騎行者對(duì)比PP-SSD有小幅提升。串聯(lián)方式和并聯(lián)方式相比,串聯(lián)方式行人精度較高,并聯(lián)方式騎行者精度較高,汽車(chē)精度持平。

表2 DAM(a)(b)、CAM、AGM模塊對(duì)比實(shí)驗(yàn)(行人)Table 2. Comparison experiments of DAM(a)(b)、CAM、AGM(Pedestrian)

表3 DAM(a)(b)、CAM、AGM模塊對(duì)比實(shí)驗(yàn)(汽車(chē))Table 3. Comparison experiments of DAM(a)(b)、CAM、AGM(Car)

表4 DAM(a)(b)、CAM、AGM模塊對(duì)比實(shí)驗(yàn)(騎行者)Table 4. Comparison experiments of DAM(a)(b)、CAM、AGM (Cyclist)

組合3是在PP-FPN基礎(chǔ)上增加了CAM模塊的實(shí)驗(yàn)結(jié)果。和PP-SSD相比,在簡(jiǎn)單、中等和困難3項(xiàng)指標(biāo)下,騎行者類(lèi)別精度分別提升2.30%、1.96%和1.59%,行人類(lèi)精度略有降低,猜測(cè)是多尺度感受野特征的密集融合,淡化了小目標(biāo)的重要程度。

組合4是增加了AGM和CAM的雙模塊實(shí)驗(yàn)結(jié)果。和組合3的單模塊性能對(duì)比,行人類(lèi)目標(biāo)在3種難度指標(biāo)下分別提升了3.08%、2.71%和2.03%,騎行者指標(biāo)略有下降,結(jié)果證明AGM模塊對(duì)小目標(biāo)更加敏感。

組合5是DAM、CAM和AGM的3模塊組合實(shí)驗(yàn)。對(duì)比PP-SSD,在困難(Hard)指標(biāo)下,3種類(lèi)別精度分別提升了0.59%、0.87%和1.42%。對(duì)比PP-FPN,在困難(Hard)指標(biāo)下,3種類(lèi)別精度分別提升3.23%、-0.42%和1.88%。結(jié)果證明3種模塊組合對(duì)遮擋截?cái)嗟壤щy場(chǎng)景更加魯棒。

2.2.3 結(jié)果可視化

本文將改進(jìn)網(wǎng)絡(luò)和原始網(wǎng)絡(luò)輸出結(jié)果可視化并進(jìn)行直觀對(duì)比。點(diǎn)云可視化結(jié)果如圖7所示。由圖7(a)可知,原網(wǎng)絡(luò)的行人檢測(cè)結(jié)果為0.85,改進(jìn)網(wǎng)絡(luò)結(jié)果為0.88。在圖7(b)中,原網(wǎng)絡(luò)檢測(cè)汽車(chē)精度為0.92,改進(jìn)網(wǎng)絡(luò)檢測(cè)結(jié)果為0.95。在圖7(b)、圖7(c)、圖7(d)和圖7(e)中,白色框表示原網(wǎng)絡(luò)檢測(cè)時(shí)出現(xiàn)的誤檢和漏檢問(wèn)題,改進(jìn)網(wǎng)絡(luò)則較好地避免了此問(wèn)題,由此可見(jiàn)改進(jìn)網(wǎng)絡(luò)相較于原網(wǎng)絡(luò)魯棒性更強(qiáng)。

圖7 點(diǎn)云結(jié)果可視化(a)～(f)現(xiàn)實(shí)場(chǎng)景可視化Figure 7.Visualization of point cloud results(a)～(f)Visualization of real scenes

3 結(jié)束語(yǔ)

本文在PointPillars基礎(chǔ)上,引入注意力機(jī)制和上下文感知模塊進(jìn)一步提升算法的準(zhǔn)確性和魯棒性。針對(duì)自動(dòng)駕駛[20]場(chǎng)景下點(diǎn)云場(chǎng)景雜亂、背景干擾較大的問(wèn)題,本文在數(shù)據(jù)處理初期增加點(diǎn)云雙向注意力機(jī)制,通過(guò)抑制背景區(qū)域,凸顯目標(biāo)區(qū)域來(lái)增強(qiáng)前景目標(biāo)被感知到的概率。通過(guò)增加FPN模塊和注意力導(dǎo)向模塊,強(qiáng)制網(wǎng)絡(luò)學(xué)習(xí)原始數(shù)據(jù)的空間位置信息,進(jìn)而改善原網(wǎng)絡(luò)特征過(guò)度冗余所引起的特征空間位置偏差問(wèn)題。由于FPN模塊的上采樣階段恢復(fù)信息較少,設(shè)計(jì)了上下文感知模塊,逐層進(jìn)行多尺度感受野的特征采集,輸出具備多尺度上下文信息的融合特征。KITTI數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果驗(yàn)證了本文所提方法可有效提升目標(biāo)檢測(cè)效果。