楊詠嘉，鐘良琪，閆勝業(yè)

(南京信息工程大學(xué) 自動化學(xué)院，江蘇 南京 210044)

0 引 言

三維目標(biāo)檢測作為計(jì)算機(jī)視覺任務(wù)的基礎(chǔ)課題之一，在自動駕駛和機(jī)器人視覺領(lǐng)域有著廣泛的應(yīng)用。尤其在自動駕駛領(lǐng)域，如何精確檢測出車輛周圍的三維目標(biāo)，是一項(xiàng)富有意義的任務(wù)。目前主流的三維目標(biāo)檢測算法采用的輸入數(shù)據(jù)有單目圖像、RGB-D圖像和點(diǎn)云數(shù)據(jù)[1]。與RGB圖像相比，點(diǎn)云數(shù)據(jù)幾何信息豐富、對應(yīng)用環(huán)境具有較強(qiáng)魯棒性[2]。因此為了應(yīng)對復(fù)雜多變的現(xiàn)實(shí)交通場景，點(diǎn)云數(shù)據(jù)通常是檢測算法的首選。

近年來，以點(diǎn)云作為輸入，使用深度學(xué)習(xí)技術(shù)的三維目標(biāo)檢測算法因其具有良好的學(xué)習(xí)與泛化能力受到廣泛關(guān)注。作為開創(chuàng)性的工作，VoxelNet[3]將點(diǎn)云通過網(wǎng)格進(jìn)行體素化，大幅降低了網(wǎng)絡(luò)的計(jì)算量。PointNet[4]則設(shè)計(jì)了一種全對稱網(wǎng)絡(luò)，解決了將原始點(diǎn)云直接輸入時點(diǎn)云的無序性帶來的檢測結(jié)果不穩(wěn)定問題。PV-RCNN[5]則將兩者的優(yōu)勢進(jìn)行結(jié)合，以體素化點(diǎn)云作為主要輸入，并且將部分原始點(diǎn)云的特征一同送入邊界框微調(diào)過程，提高了體素化方法的特征表達(dá)能力。

然而，PV-RCNN的體素特征圖分辨率過低，以及均勻的點(diǎn)云下采樣，導(dǎo)致算法在行人等小目標(biāo)上檢測效果不佳。因此，我們提出多尺度區(qū)域建議網(wǎng)絡(luò)以及非均勻的精確關(guān)鍵點(diǎn)下采樣的三維目標(biāo)檢測算法(RPV-RCNN)，為不同尺度的目標(biāo)生成更適配的特征圖，同時有針對性地對點(diǎn)云進(jìn)行下采樣，使得算法在小目標(biāo)檢測性能上有較大提升。

1 相關(guān)工作

基于點(diǎn)云的三維目標(biāo)檢測算法可以劃分為3類：基于點(diǎn)的方法、基于體素的方法和基于點(diǎn)和體素融合的方法?；邳c(diǎn)的方法通常采用PointNet或PointNet++[6]作為骨干網(wǎng)絡(luò)對原始點(diǎn)云進(jìn)行多層次的局部特征提取。原始點(diǎn)云具有豐富的位置信息，因此這類算法提取出的特征包含了更多的幾何信息。然而由于要多次對大量的點(diǎn)進(jìn)行特征提取，導(dǎo)致算法需要消耗大量的計(jì)算資源。典型的方法有PointRCNN[7]、STD[8]、3DSSD[9]等?；隗w素的方法通過將原始點(diǎn)云劃分為規(guī)則大小的網(wǎng)格，即體素。對體素內(nèi)的點(diǎn)進(jìn)行特征提取來降低點(diǎn)云的分辨率，實(shí)現(xiàn)計(jì)算量的降低。提取后的體素通過3D稀疏卷積進(jìn)行進(jìn)一步的特征提取，由于點(diǎn)云的稀疏性，3D稀疏卷積僅需要提取少量的非空體素的特征，從而大幅度地提高了檢測效率。然而體素化損失的幾何信息是不可逆的，導(dǎo)致此類方法的檢測精度受到一定限制。此類經(jīng)典方法有VoxelNet、SECOND[10]、CIA-SSD[11]等?；邳c(diǎn)和體素融合的方法融合了兩者的優(yōu)勢，通過對原始點(diǎn)云下采樣得到關(guān)鍵點(diǎn)進(jìn)行特征提取并將其與對應(yīng)位置的體素特征進(jìn)行融合，一定程度上彌補(bǔ)了體素特征的幾何信息缺失問題，從而帶來了更好的檢測效果。此類經(jīng)典方法有PV-RCNN、Point-Voxel CNN[12]、SA-SSD[13]等。

綜上這些方法采用了不同的方式對點(diǎn)云進(jìn)行特征提取，其中基于點(diǎn)和體素融合的方法在檢測速度與精度上達(dá)到較好的平衡，是基于點(diǎn)云的三維目標(biāo)檢測任務(wù)中理想的網(wǎng)絡(luò)結(jié)構(gòu)。

2 網(wǎng)絡(luò)模型

2.1 網(wǎng)絡(luò)設(shè)計(jì)

基于PV-RCNN在特征提取及邊界框微調(diào)階段的良好性能，本文延用了該算法的3D稀疏卷積層、關(guān)鍵點(diǎn)特征融合層、關(guān)鍵點(diǎn)預(yù)測層和邊界框微調(diào)層。并將其原有的關(guān)鍵點(diǎn)采樣、區(qū)域建議網(wǎng)絡(luò)以及損失函數(shù)改進(jìn)為新設(shè)計(jì)的精確關(guān)鍵點(diǎn)采樣、多尺度區(qū)域建議網(wǎng)絡(luò)和基于DIoU的損失函數(shù)，以此提出了RPV-RCNN算法。

RPV-RCNN算法網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，首先將一幀原始點(diǎn)云體素化后輸入至3D稀疏卷積層，在輸出時將z維特征與通道特征進(jìn)行疊加得到輸出尺寸為(C，H，W)的鳥瞰圖(BEV)特征。同時，將原始點(diǎn)云通過精確關(guān)鍵點(diǎn)采樣，得到由k個關(guān)鍵點(diǎn)。將鳥瞰圖特征經(jīng)過2D卷積分別得到尺寸為(2C，H/2，W/2)，(4C，H/4，W/4)的多尺度特征圖，送入多尺度區(qū)域建議網(wǎng)絡(luò)后得到初步的邊界框。與此同時，另一個分支將采樣得到的k個關(guān)鍵點(diǎn)映射回3D稀疏卷積不同尺度的特征圖以及鳥瞰圖特征中以提取不同尺度的關(guān)鍵點(diǎn)特征，將多尺度特征拼接并送入關(guān)鍵點(diǎn)預(yù)測層后得到的關(guān)鍵點(diǎn)特征與邊界框送入邊界框微調(diào)層進(jìn)一步精確地回歸以得到最終的邊界框。

圖1 RPV-RCNN網(wǎng)絡(luò)結(jié)構(gòu)

2.2 精確關(guān)鍵點(diǎn)采樣

本文設(shè)計(jì)了精確關(guān)鍵點(diǎn)采樣算法，相較于PV-RCNN直接使用最遠(yuǎn)點(diǎn)采樣，我們在采樣前刪除部分無關(guān)的背景點(diǎn)，從而提高關(guān)鍵點(diǎn)在目標(biāo)上的命中率。首先，為了去除地面上的點(diǎn)云，在原始點(diǎn)云中隨機(jī)選取3個點(diǎn)并擬合出平面p， 統(tǒng)計(jì)平面p及與平面一定誤差范圍內(nèi)包含的點(diǎn)的數(shù)量并多次迭代，直到查找到包含最多點(diǎn)的平面，則認(rèn)為該平面為地面并將其從原始點(diǎn)云中去除。隨后，為了過濾離群點(diǎn)，采用統(tǒng)計(jì)濾波對點(diǎn)云進(jìn)行過濾。統(tǒng)計(jì)濾波算法首先計(jì)算點(diǎn)云中的每個點(diǎn)xi到k個鄰近點(diǎn)的距離dij并將其存放在集合D中，計(jì)算過程如式(1)所示

dij=xi-xj
D={di1，di2，…，dik}

(1)

隨后計(jì)算集合D的均值di作為點(diǎn)xi的特征，計(jì)算過程如式(2)所示

(2)

通過統(tǒng)計(jì)點(diǎn)云中所有點(diǎn)的距離均值可以得到點(diǎn)云的均值μ和方差σ2特征，從而獲得該點(diǎn)云的概率分布以及篩選閾值t。計(jì)算過程如式(3)所示

(3)

式中：N表示點(diǎn)云包含的點(diǎn)的數(shù)量。如果點(diǎn)xi的距離均值di大于t，則被判斷為離群點(diǎn)并刪除。本算法k設(shè)置為50，最終的過濾效果對比如圖2所示，其中左邊為原始點(diǎn)云，右邊為過濾后點(diǎn)云。最后通過最遠(yuǎn)點(diǎn)采樣對過濾后的點(diǎn)云進(jìn)行采樣得到關(guān)鍵點(diǎn)。

圖2 過濾前后原始點(diǎn)云對比

2.3 多尺度區(qū)域建議網(wǎng)絡(luò)

圖3 雙聚合金字塔網(wǎng)絡(luò)結(jié)構(gòu)

同時為了反映不同特征層在特征融合中的重要性，我們通過向特征添加額外權(quán)重來實(shí)現(xiàn)這一點(diǎn)，融合過程計(jì)算公式如式(4)所示

(4)

通過集成雙向跨尺度連接和歸一化權(quán)重融合，我們的雙聚合金字塔可以在第2級用式(5)描述

(5)

2.4 損失函數(shù)

RPV-RCNN的全局損失函數(shù)由多尺度區(qū)域建議網(wǎng)絡(luò)損失、邊界框微調(diào)層損失以及關(guān)鍵點(diǎn)分類損失組成，計(jì)算公式如式(6)所示

L=Lrpn+Lrcnn+Lk-point

(6)

(1)多尺度區(qū)域建議網(wǎng)絡(luò)損失

多尺度區(qū)域建議網(wǎng)絡(luò)損失Lrpn由分類損失和回歸損失兩部分組成。分類損失采用交叉熵?fù)p失函數(shù)計(jì)算，計(jì)算公式如式(7)所示

(7)

其中，yg表示真實(shí)分類標(biāo)簽，yp表示神經(jīng)網(wǎng)絡(luò)預(yù)測的分類結(jié)果，i表示anchor中被判定為正樣本的數(shù)量。

回歸損失相較于PV-RCNN網(wǎng)絡(luò)的smooth-L1損失改為加入方向感知的DIoU[18]損失。DIoU損失可以最小化預(yù)測框與真值的中心不對齊問題，而方向感知可以進(jìn)一步減小兩者的朝向差別。損失函數(shù)具體計(jì)算公式如式(8)所示

(8)

其中，Bp表示神經(jīng)網(wǎng)絡(luò)預(yù)測的邊界框，Bg表示預(yù)測的邊界框?qū)?yīng)的真值標(biāo)簽，c與d分別表示兩者的最小閉包區(qū)域ABCD的對角線距離和兩個框中心點(diǎn)O1與O2的歐氏距離，幾何如圖4所示。Δr表示Bp與Bg在BEV下的角度差值，通過1-|cos(Δr)| 函數(shù)可以快速幫助預(yù)測框角度進(jìn)行回歸。β作為調(diào)節(jié)角度差值在回歸損失中占比的權(quán)重，在本網(wǎng)絡(luò)中取β=2。

圖4 3D邊界框IoU

(2)邊界框微調(diào)層損失

邊界框微調(diào)層損失Lrcnn由置信度損失和回歸損失兩部分組成。對于置信度采用交叉熵?fù)p失，計(jì)算公式如式(9)所示

(9)

(3)關(guān)鍵點(diǎn)分類損失

由于前景點(diǎn)與背景點(diǎn)數(shù)量相差巨大，因此采用focal loss作為關(guān)鍵點(diǎn)分類損失以平衡正負(fù)樣本不均衡現(xiàn)象，計(jì)算公式如式(10)所示

(10)

其中，p為網(wǎng)絡(luò)輸出的關(guān)鍵點(diǎn)置信度，y為關(guān)鍵點(diǎn)的真值標(biāo)簽，通過統(tǒng)計(jì)關(guān)鍵點(diǎn)是否在邊界框的真值標(biāo)簽內(nèi)得到。α、γ分別為調(diào)節(jié)正負(fù)樣本以及難易樣本數(shù)量失衡的權(quán)重，在本網(wǎng)絡(luò)中取α=0.25，γ=2。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文的所有實(shí)驗(yàn)與測試評估都是在KITTI數(shù)據(jù)集上進(jìn)行的，該數(shù)據(jù)集在三維目標(biāo)檢測領(lǐng)域被廣泛使用。KITTI數(shù)據(jù)集包含7481個訓(xùn)練樣本和7528個測試樣本，在評估時對數(shù)據(jù)集分別對car類、cyclist類和pedestrian類進(jìn)行評估。由于點(diǎn)云數(shù)據(jù)中的目標(biāo)存在被遮擋或者截?cái)嗟那闆r，KITTI數(shù)據(jù)集據(jù)此將檢測目標(biāo)劃分為容易、中等和困難3種難度級別。

實(shí)驗(yàn)評估指標(biāo)采用均值精度(average precision，AP)以及平均均值精度(mean average precision，mAP)。對于同一類別的不同難度采用AP進(jìn)行評估，計(jì)算方式為查準(zhǔn)率(precision)與查全率(recall)構(gòu)成的曲線下的面積。查準(zhǔn)率與查全率定義如式(11)所示

(11)

其中，TP(ture positive)指原本為正類且被劃分為正類的樣本；FP(false positive)指原本為負(fù)類且被劃分為正類的樣本；FN(false negetive)指原本為正類且被劃分為負(fù)類的樣本。對于不同類別目標(biāo)命中定義設(shè)置不同的IoU閾值，car類設(shè)置為0.7，cyclist類和pedestrian類設(shè)置為0.5。算法在每個類別的mAP通過統(tǒng)計(jì)該類所有難度的AP并計(jì)算其均值得到。

3.2 實(shí)驗(yàn)環(huán)境

本文使用的硬件平臺為Intel(R) Core(R) 8700k CPU，NVIDIA RTX 2080ti顯卡，操作系統(tǒng)為Ubuntn 16.04LTS。訓(xùn)練過程采用Adam優(yōu)化器進(jìn)行參數(shù)更新，初始學(xué)習(xí)率設(shè)置為0.001，衰減因子為0.8，每15個周期更新一次。用于平滑累積梯度及平方的衰減速率β1和β2分別為0.9和0.999。訓(xùn)練的epoch設(shè)置為80，batch_size設(shè)置為4。

3.3 模型對比與驗(yàn)證實(shí)驗(yàn)

在實(shí)驗(yàn)中將訓(xùn)練數(shù)據(jù)集劃分為3712個訓(xùn)練樣本和3796個驗(yàn)證樣本。本文選擇SECOND、PointPillars[19]、PointRCNN、3DSSD和PV-RCNN作為對比算法，不同算法在KITTI數(shù)據(jù)集3個類別的不同難度上的3D檢測結(jié)果見表1～表3。每個難度采用AP進(jìn)行評估，并對比了每個類別的mAP差異，所有數(shù)據(jù)以百分比為單位。

表1 car類別下不同算法平均精度均值對比

表2 pedestrian類別下不同算法平均精度均值對比

表3 cyclist類別下不同算法平均精度均值對比

通過對比可以看出，與PV-RCNN相比，RPV-RCNN在pedestrian類和cyclist類這兩個小目標(biāo)類上的檢測性能有顯著提升，mAP分別提高了6.33%和2.05%，分析認(rèn)為是由于精確關(guān)鍵點(diǎn)采樣給小目標(biāo)物體采樣到更多關(guān)鍵點(diǎn)以及為小目標(biāo)物體提供了與其尺寸相匹配的特征圖共同造成的結(jié)果。在pedestrian類的moderate難度中檢測精度相較3DSSD落后3.45%，分析認(rèn)為是由于3DSSD以原始點(diǎn)云作為輸入，經(jīng)過多層感知機(jī)提取后保留了更豐富的幾何特征導(dǎo)致。但是本算法在該類的mAP優(yōu)于所有對比實(shí)驗(yàn)方法，可以驗(yàn)證算法設(shè)計(jì)的有效性。在car類上的性能提升有限，mAP相較于PV-RCNN提升了0.77%，分析認(rèn)為車輛目標(biāo)較大，在原算法中對其特征提取已經(jīng)較為充分?？傮w來說RPV-RCNN在KITTI數(shù)據(jù)集的3個類別上的檢測精度達(dá)到了較為優(yōu)秀的水平。

本文對算法的預(yù)測結(jié)果與真值標(biāo)簽進(jìn)行了可視化對比，對比結(jié)果如圖5～圖7所示。圖中的圖(a)和圖(b)表示的是真值標(biāo)簽，圖(c)表示的是算法的預(yù)測結(jié)果，v、p、c分別表示該框的類別信息為汽車、行人和騎行人。通過圖5可以分析得出，RPV-RCNN對車輛目標(biāo)檢測能力良好，所有真值標(biāo)簽標(biāo)注目標(biāo)均被成功檢測出。通過圖6可以分析出算法在騎行人方面檢測能力良好，檢測出了所有目標(biāo)。通過圖7可以分析出算法在行人方面檢測能力較強(qiáng)，在標(biāo)注目標(biāo)全部檢出的同時也檢測出了部分未標(biāo)注目標(biāo)。但是也有部分目標(biāo)存在誤檢，分析認(rèn)為是由于部分稀疏的點(diǎn)云特征較為相似導(dǎo)致。

圖5 KITTI數(shù)據(jù)集可視化樣例1

圖6 KITTI數(shù)據(jù)集可視化樣例2

圖7 KITTI數(shù)據(jù)集可視化樣例3

3.4 消融實(shí)驗(yàn)

為了驗(yàn)證精確關(guān)鍵點(diǎn)采樣、多尺度區(qū)域建議網(wǎng)絡(luò)以及基于DIoU的損失函數(shù)對模型檢測精度的貢獻(xiàn)率，決定對模型進(jìn)行消融實(shí)驗(yàn)。將上述模塊分別從算法模型中移除，對網(wǎng)絡(luò)進(jìn)行重新訓(xùn)練并觀察檢測精度的變化。使用mAP作為精度衡量指標(biāo)，使用KITTI數(shù)據(jù)集的測試集作為驗(yàn)證數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果見表4～表6。

表4 不同改進(jìn)方法對car類別檢測精度的影響

表5 不同改進(jìn)方法對pedestrian類別檢測精度的影響

表6 不同改進(jìn)方法對cyclist類別檢測精度的影響

根據(jù)實(shí)驗(yàn)結(jié)果可知，精確關(guān)鍵點(diǎn)采樣和多尺度區(qū)域建議網(wǎng)絡(luò)對模型檢測性能提升最明顯，其中在pedestrian類別中提升最大，提升了4.79%，在cyclist和car類別中分別提升了2.64%和0.40%，分析認(rèn)為行人目標(biāo)在點(diǎn)云中比較稀疏，經(jīng)過原有的最遠(yuǎn)點(diǎn)采樣后留下的關(guān)鍵點(diǎn)數(shù)量不多，通過精確關(guān)鍵點(diǎn)采樣可以為行人目標(biāo)保留更多關(guān)鍵點(diǎn)，同時多尺度特征金字塔為行人目標(biāo)提供了與其尺度適配的特征圖，在行人目標(biāo)的邊界框生成以及回歸階段提供了更加豐富的特征信息，從而改善模型的檢測性能。使用基于IoU的損失函數(shù)對模型精度提升有限，在car、pedestrian和cyclist類別中分別提升了0.11%、0.92%和0.62%。分析認(rèn)為是由于三維目標(biāo)檢測中邊界框重疊程度不高，導(dǎo)致基于DIoU的損失函數(shù)不能最大程度發(fā)揮性能。

為了進(jìn)一步探究不同采樣方法對關(guān)鍵點(diǎn)選取的影響，將精確關(guān)鍵點(diǎn)采樣與PV-RCNN采用的最遠(yuǎn)點(diǎn)采樣進(jìn)行對比實(shí)驗(yàn)。實(shí)驗(yàn)采用KITTI數(shù)據(jù)集，在同一場景內(nèi)分別采用兩種采樣方法對原始點(diǎn)云進(jìn)行采樣，分別截取采樣前后的車輛、行人和騎行人目標(biāo)并對其包含的點(diǎn)云數(shù)量進(jìn)行統(tǒng)計(jì)，實(shí)驗(yàn)結(jié)果見表7。

表7 不同采樣方法對比實(shí)驗(yàn)

根據(jù)實(shí)驗(yàn)結(jié)果可以看出，在同一場景下，精確關(guān)鍵點(diǎn)采樣能夠采集到更多的前景點(diǎn)，為后續(xù)邊界框回歸提供更多關(guān)鍵點(diǎn)特征信息。相較于最遠(yuǎn)點(diǎn)采樣，精確關(guān)鍵點(diǎn)采樣在車輛樣本的點(diǎn)云采樣數(shù)量提升了23.45%，在行人樣本的點(diǎn)云采樣數(shù)量提升了31.37%，在騎車人樣本的點(diǎn)云采樣數(shù)量提升了27.91%。不同采樣方法的可視化結(jié)果如圖8所示，其中第一列(a)原始點(diǎn)云對應(yīng)的3幅圖分別為從同一原始點(diǎn)云中截取出的車輛、行人和騎行人點(diǎn)云，第二列(b)精確關(guān)鍵點(diǎn)采樣對應(yīng)的3幅圖分別為原始點(diǎn)云經(jīng)過精確關(guān)鍵點(diǎn)采樣后在相同的位置截取出的同一目標(biāo)的點(diǎn)云，第三列(c)最遠(yuǎn)點(diǎn)采樣對應(yīng)的3幅圖分別為原始點(diǎn)云經(jīng)過最遠(yuǎn)點(diǎn)采樣后在相同位置截取出的同一目標(biāo)的點(diǎn)云。通過對比可以看出，在每個類別中，精確關(guān)鍵點(diǎn)采樣都可以為檢測目標(biāo)保留更多點(diǎn)。

圖8 不同采樣方法對比實(shí)驗(yàn)

4 結(jié)束語

本文提出了一種基于點(diǎn)云的三維目標(biāo)檢測算法。設(shè)計(jì)了加入點(diǎn)云濾波的精確關(guān)鍵點(diǎn)下采樣，改善了原始網(wǎng)絡(luò)不能將檢測目標(biāo)上的點(diǎn)在下采樣中較好地保留的問題；設(shè)計(jì)了多尺度區(qū)域建議網(wǎng)絡(luò)為不同尺度目標(biāo)生成更合適的特征圖；設(shè)計(jì)了加入方向感知的DIoU損失，幫助邊界框更精確地回歸。實(shí)驗(yàn)結(jié)果表明，所提出的模型總體性能優(yōu)于原始的PV-RCNN，在KITTI數(shù)據(jù)集的車輛、行人和騎行人的檢測精度分別提升了0.77%、6.33%和2.05%。但是本算法在實(shí)時性上仍然存在不足，主要是由于3D稀疏卷積參數(shù)量較多導(dǎo)致，后續(xù)將研究對模型采用自適應(yīng)剪枝進(jìn)行輕量化，使算法能夠更好地適用于實(shí)際使用場景。