張冬冬，郭 杰，陳 陽(yáng)

陸軍工程大學(xué)，南京 210007

目標(biāo)檢測(cè)，作為三維數(shù)據(jù)處理與分析的基礎(chǔ)技術(shù)、基礎(chǔ)算法，是計(jì)算機(jī)視覺當(dāng)前熱門研究方向之一。目前主流的3D數(shù)據(jù)表示方法主要有深度圖、三角網(wǎng)格、體素和點(diǎn)云。其中，點(diǎn)云是最簡(jiǎn)單的一種3D數(shù)據(jù)表示方法，具有獲取簡(jiǎn)單、易于存儲(chǔ)、可視性強(qiáng)、結(jié)構(gòu)描述精細(xì)等優(yōu)點(diǎn)，而且能夠方便地與深度圖、體素等其他數(shù)據(jù)格式相互轉(zhuǎn)換，已成為最基本的3D數(shù)據(jù)格式。近年來，隨著深度傳感器和三維激光掃描儀的普及運(yùn)用，點(diǎn)云的獲取變得越來越便捷，數(shù)據(jù)量、數(shù)據(jù)種類迅速增長(zhǎng)，針對(duì)點(diǎn)云場(chǎng)景中的三維目標(biāo)檢測(cè)也因此深受關(guān)注，應(yīng)用前景非常廣泛。

隨著深度學(xué)習(xí)的迅速發(fā)展和廣泛應(yīng)用，研究人員提出了大量基于深度學(xué)習(xí)的三維目標(biāo)檢測(cè)方法[1-4]。按照輸入數(shù)據(jù)劃分，主要有圖像點(diǎn)云融合方法和純點(diǎn)云方法。圖像點(diǎn)云融合方法，結(jié)合了圖像的高分辨率優(yōu)勢(shì)和點(diǎn)云的精確位置信息優(yōu)勢(shì)，首先利用成熟的二維目標(biāo)檢測(cè)算法從圖像中獲得目標(biāo)位置，然后利用圖像與點(diǎn)云的映射關(guān)系從點(diǎn)云中獲得目標(biāo)的候選區(qū)域，再?gòu)脑搮^(qū)域提取目標(biāo)的3D包圍盒，典型的方法有F-PointNet[5]、Point-Fusion[6]、SIFRNet[7]、F-ConvNet[8]等。純點(diǎn)云方法，按照點(diǎn)云的特征提取方式區(qū)分，可分為基于體素的方法和基于原始點(diǎn)云的方法。其中，基于體素的方法首先將點(diǎn)云轉(zhuǎn)化為一個(gè)個(gè)堆疊的、相同大小的規(guī)則體素網(wǎng)格，然后提取體素網(wǎng)格特征，再進(jìn)行類別和位置的預(yù)測(cè)回歸，典型的方法有VoxelNet[9]、SECOND[10]、CIA-SSD[11]、SE-SSD[12]等；基于原始點(diǎn)云的方法直接作用于原始點(diǎn)云，直接學(xué)習(xí)提取點(diǎn)的特征，然后回歸物體的3D包圍盒，典型的方法有VoteNet[13]、PointRCNN[14]、STD[15]、3DSSD[16]等。

盡管上述方法在三維目標(biāo)檢測(cè)任務(wù)上都取得了不錯(cuò)的效果，達(dá)到了較高的精度和速度，但仍存在一定局限性。其中，圖像點(diǎn)云融合方法的精度受二維目標(biāo)檢測(cè)器影響非常大，如果目標(biāo)在二維圖像中未被檢測(cè)到，那么就不會(huì)在點(diǎn)云中繼續(xù)檢測(cè)，會(huì)出現(xiàn)漏檢，并且此類方法需要將圖像中檢測(cè)的目標(biāo)映射回點(diǎn)云，因此對(duì)傳感器的同步要求很高?；隗w素的方法，在將點(diǎn)云體素化過程中會(huì)有信息的隱性丟失?；谠键c(diǎn)云的方法，由于點(diǎn)云自身的稀疏性、離散性、無序性和旋轉(zhuǎn)平移不變性等特點(diǎn)，特征提取算法設(shè)計(jì)較為復(fù)雜，且難以處理大規(guī)模點(diǎn)云。

基于原始點(diǎn)云的三維目標(biāo)檢測(cè)是一個(gè)非常具有挑戰(zhàn)性的任務(wù)，主要有三大難點(diǎn)：一是原始點(diǎn)云數(shù)據(jù)量大，數(shù)據(jù)降采樣計(jì)算代價(jià)昂貴、內(nèi)存占用大；二是原始點(diǎn)云特征提取不充分、特征信息隱性丟失、感受野有限，且特征提取算法復(fù)雜、計(jì)算代價(jià)高；三是原始點(diǎn)云中的點(diǎn)均為物體表面點(diǎn)而非物體中心點(diǎn)，直接用物體表面點(diǎn)回歸預(yù)測(cè)會(huì)導(dǎo)致候選包圍盒質(zhì)量不高。

為提高三維目標(biāo)檢測(cè)的精度和速度，本文提出了基于原始點(diǎn)云、單階段、無錨框的RPV-SSD算法，針對(duì)以上問題，設(shè)計(jì)了隨機(jī)體素采樣層，能夠利用隨機(jī)采樣的效率優(yōu)勢(shì)和體素網(wǎng)格采樣的相對(duì)均勻分布優(yōu)勢(shì)，解決原始點(diǎn)云降采樣難的問題，使得采樣點(diǎn)鋪滿整個(gè)空間且包含更多前景點(diǎn)；設(shè)計(jì)了特征聚合層，能夠聚合關(guān)鍵點(diǎn)逐點(diǎn)特征、3D稀疏卷積特征和鳥瞰圖特征，解決點(diǎn)云特征提取不充分等問題；設(shè)計(jì)了候選點(diǎn)生成層，能夠利用點(diǎn)的聚合特征將點(diǎn)向物體中心進(jìn)行自修正，解決3D包圍盒回歸質(zhì)量不高的問題。

1 整體框架

RPV-SSD算法網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，具體可分為五個(gè)部分：（1）隨機(jī)體素采樣層，主要是將原始點(diǎn)云按照隨機(jī)體素采樣方法進(jìn)行降采樣，獲得關(guān)鍵點(diǎn)點(diǎn)云。（2）3D稀疏卷積層，先將原始點(diǎn)云體素化，然后利用3D稀疏卷積提取點(diǎn)云特征，并將之投影到俯視圖下獲得鳥瞰圖特征，待后續(xù)進(jìn)行特征聚合。（3）特征聚合層，首先利用PointNet++[17]的SA（set abstraction）模塊提取關(guān)鍵點(diǎn)逐點(diǎn)特征，然后從上一層獲得的3D稀疏卷積特征和鳥瞰圖特征中，取出每個(gè)關(guān)鍵點(diǎn)對(duì)應(yīng)位置的特征，與逐點(diǎn)特征進(jìn)行連接聚合。（4）候選點(diǎn)生成層，首先從關(guān)鍵點(diǎn)點(diǎn)云中取出關(guān)鍵點(diǎn)坐標(biāo)，然后利用關(guān)鍵點(diǎn)的聚合特征為每個(gè)點(diǎn)生成一個(gè)坐標(biāo)偏移量，兩者相減即得到修正的候選中心點(diǎn)坐標(biāo)。（5）區(qū)域建議網(wǎng)絡(luò)層，將候選中心點(diǎn)坐標(biāo)與特征聚合層獲得的聚合特征組合，回歸預(yù)測(cè)物體類別、3D包圍盒及物體朝向。

圖1 RPV-SSD網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.1 Network framework of RPV-SSD

2 具體實(shí)現(xiàn)

2.1 隨機(jī)體素采樣層

激光雷達(dá)掃描的原始點(diǎn)云可能包含幾十萬甚至百千萬個(gè)點(diǎn)，為降低數(shù)據(jù)規(guī)模，需對(duì)點(diǎn)云進(jìn)行降采樣。降采樣難點(diǎn)主要有二，一是降采樣算法的時(shí)間復(fù)雜度較高，二是點(diǎn)云的有效空間特征信息難保持。

現(xiàn)有的采樣方法主要有最遠(yuǎn)點(diǎn)采樣、格點(diǎn)采樣、曲率采樣、隨機(jī)采樣等。其中，最遠(yuǎn)點(diǎn)采樣每次從點(diǎn)云中取一個(gè)距離已采樣點(diǎn)集最遠(yuǎn)的點(diǎn)作為新采樣點(diǎn)，該方法能夠較好地保證采樣點(diǎn)的均勻分布和場(chǎng)景覆蓋率，但計(jì)算復(fù)雜度較高，與輸入點(diǎn)云的點(diǎn)數(shù)量呈平方相關(guān)。格點(diǎn)采樣將點(diǎn)云體素網(wǎng)格化后，從每個(gè)網(wǎng)格里采樣自定義數(shù)量個(gè)點(diǎn)，其效率非常高，采樣點(diǎn)分布也比較均勻，但均勻性相對(duì)最遠(yuǎn)點(diǎn)采樣較低。曲率采樣在曲率越大的地方采樣點(diǎn)個(gè)數(shù)越多，由于噪點(diǎn)附近曲率較小，所以其抗噪性較強(qiáng)。隨機(jī)采樣隨機(jī)地從點(diǎn)云中進(jìn)行采樣，每個(gè)點(diǎn)具有相同的被選中概率，其采樣效率非常高，但場(chǎng)景覆蓋率和點(diǎn)的均勻分布較差。

本文設(shè)計(jì)了隨機(jī)體素采樣算法，首先將點(diǎn)云體素網(wǎng)格化，然后對(duì)點(diǎn)云進(jìn)行隨機(jī)采樣并放入對(duì)應(yīng)體素網(wǎng)格。由于設(shè)置了體素網(wǎng)格最大采樣點(diǎn)數(shù)，所以密集區(qū)域點(diǎn)云采樣會(huì)受到抑制，相對(duì)地稀疏區(qū)域點(diǎn)云采樣概率會(huì)得到提升，致使采樣點(diǎn)更可能覆蓋整個(gè)點(diǎn)云空間。該算法核心思想是利用了隨機(jī)采樣和格點(diǎn)采樣二者的優(yōu)勢(shì)，在保證采樣效率的情況下，提高場(chǎng)景覆蓋率和前景點(diǎn)比例，最大限度保持原始點(diǎn)云有效空間特征信息，隨機(jī)體素采樣算法描述如下所示：

首先，輸入N×3維的原始點(diǎn)云LiDAR，設(shè)置采樣點(diǎn)總數(shù)量K，體素網(wǎng)格尺寸vd、vh、vw，單個(gè)體素網(wǎng)格最大采樣點(diǎn)數(shù)T，以及采樣點(diǎn)的范圍xrange、yrange、zrange。初始化相關(guān)參數(shù)，主要包括計(jì)算體素網(wǎng)格尺寸范圍D、H、W（高、寬、長(zhǎng)），初始化體素網(wǎng)格內(nèi)點(diǎn)的數(shù)量counts矩陣，隨機(jī)排列原始點(diǎn)云的數(shù)組順序，初始化已采樣點(diǎn)個(gè)數(shù)k和已采樣關(guān)鍵點(diǎn)集合keypoints。然后，從隨機(jī)排列的點(diǎn)云LiDAR中按順序取出第i個(gè)點(diǎn)(xi,yi,zi)。對(duì)于第i個(gè)點(diǎn)，首先判斷該點(diǎn)是否在采樣范圍內(nèi)，如果“否”則舍棄該點(diǎn)繼續(xù)循環(huán)下一個(gè)點(diǎn)，如果“是”則計(jì)算該點(diǎn)所處的體素網(wǎng)格坐標(biāo)(di,hi,wi)，并進(jìn)行兩個(gè)判斷：（1）判斷當(dāng)前已采樣點(diǎn)的總個(gè)數(shù)k是否已達(dá)到采樣目標(biāo)數(shù)量K，如果達(dá)到則跳出循環(huán)結(jié)束采樣，否則繼續(xù)循環(huán)；（2）判斷第i個(gè)點(diǎn)所處的體素網(wǎng)格內(nèi)已采樣點(diǎn)數(shù)量counts[di,hi,wi]是否達(dá)到單個(gè)體素網(wǎng)格最大采樣點(diǎn)數(shù)T，如果“是”則舍棄該點(diǎn)繼續(xù)循環(huán)，如果“否”則將該點(diǎn)添加到關(guān)鍵點(diǎn)集合keypoints中，同時(shí)將counts[di,hi,wi]和k分別加1，至此第i個(gè)點(diǎn)循環(huán)結(jié)束。遍歷整個(gè)點(diǎn)云，最終輸出K×3維的關(guān)鍵點(diǎn)集合keypoints。

表1和圖2所示為隨機(jī)體素采樣和最遠(yuǎn)點(diǎn)采樣在KITTI數(shù)據(jù)集[18]上的對(duì)比實(shí)驗(yàn)結(jié)果（采樣率設(shè)置為0.1），可以明顯看出，隨機(jī)體素采樣在相同采樣率條件下，較最遠(yuǎn)點(diǎn)采樣能夠采集更多的前景點(diǎn)。

表1 KITTI數(shù)據(jù)集降采樣對(duì)比實(shí)驗(yàn)Table 1 Sampling experiments on KITTI datasets

圖2 KITTI數(shù)據(jù)集降采樣對(duì)比實(shí)驗(yàn)Fig.2 Sampling experiments on KITTI datasets

2.2 3D稀疏卷積層

3D稀疏卷積層主要利用稀疏卷積算法[10]提取點(diǎn)云特征，其核心思想是建立一個(gè)輸入輸出規(guī)則對(duì)照表（RuleBook），使得卷積計(jì)算僅在非空體素網(wǎng)格上進(jìn)行，避免了無效的空卷積操作，大大提高了卷積效率。

稀疏卷積算法包括兩種卷積，一種是常規(guī)稀疏卷積，另一種是位置不變稀疏卷積，也譯作子流形卷積。主要區(qū)別在于卷積的計(jì)算方式：常規(guī)稀疏卷積在3D卷積核覆蓋非空體素時(shí)即進(jìn)行卷積計(jì)算，而位置不變稀疏卷積只有當(dāng)3D卷積核的中心覆蓋非空體素時(shí)才進(jìn)行卷積計(jì)算，圖3對(duì)兩種卷積進(jìn)行了示意說明。

圖3 兩種稀疏卷積操作區(qū)別示意圖Fig.3 Schematic diagram of difference between two sparse convolution operations

3D稀疏卷積層具體實(shí)現(xiàn)如下：

（1）點(diǎn)云體素化。對(duì)任意輸入的點(diǎn)云，首先將其轉(zhuǎn)換成體素網(wǎng)格。由于點(diǎn)云本身所處的三維空間是無限大的，為生成體素需確定一個(gè)有限的采樣范圍。以KITTI數(shù)據(jù)集Car為例，其在z軸、y軸、x軸的采樣范圍分別為[-3，1]、[-40，40]、[0，70.4]（單位：m），體素網(wǎng)格尺寸vd、vh、vw分別為0.1 m、0.05 m、0.05 m，因此生成的體素網(wǎng)格高度、寬度、深度尺寸D、H、W分別為40、1 600、1 408。單個(gè)體素網(wǎng)格最大采樣點(diǎn)數(shù)T取5，體素網(wǎng)格采樣最大數(shù)量取16 384。

（2）體素特征提取。假設(shè)由第一步得到一個(gè)非空體素網(wǎng)格V={pi=[xi,yi,zi,ri]T}∈?4}i=1,2,…,t，表示該體素網(wǎng)格中包含t個(gè)點(diǎn)（其中t不大于T），每個(gè)點(diǎn)pi包含4個(gè)維度特征，分別代表點(diǎn)云的三維空間坐標(biāo)(xi,yi,zi)和反射強(qiáng)度ri，因此初始輸入特征尺寸為(t,4)。首先計(jì)算該體素網(wǎng)格中所有采樣點(diǎn)的中心點(diǎn)坐標(biāo)(vx,vy,vz)，計(jì)算方法如下：

然后利用中心點(diǎn)坐標(biāo)計(jì)算該體素內(nèi)每個(gè)點(diǎn)的相對(duì)偏移量(xi-vx,yi-vy,zi-vz)，得到尺寸大小為(t,3)的相對(duì)坐標(biāo)特征，并將每個(gè)點(diǎn)的相對(duì)偏移量與其初始輸入特征疊加，得到大小為(t,7)的體素特征Vin={p?i=[xi,yi,zi,ri,xi-vx,yi-vy,zi-vz]T}∈?7}i=1,2,…,t。最后，利用體素特征提取層[9（]voxel feature encoding）進(jìn)一步提取體素網(wǎng)格特征Vout。

（3）稀疏卷積。稀疏卷積網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，其中橙色方形表示位置不變稀疏卷積SubMConv3d，藍(lán)色方形表示常規(guī)稀疏卷積SparseConv3d，兩類卷積均包含（in_channels，out_channels，kernel_size，stride，padding）5個(gè)參數(shù)，其中in_channels、out_channels表示輸入、輸出特征通道數(shù)，kernel_size表示卷積核尺寸（默認(rèn)為3），stride表示卷積步長(zhǎng)（默認(rèn)為1），padding表示填充數(shù)量（默認(rèn)為0）。每個(gè)卷積后均連接1個(gè)批歸一化層和1個(gè)ReLU激活函數(shù)。該網(wǎng)絡(luò)由Conv1、Conv2、Conv3、Conv4四個(gè)卷積組構(gòu)成，每組都進(jìn)行了padding操作，并且除第一組外，每組都進(jìn)行了下降樣（卷積步長(zhǎng)為2）。輸入第二步得到的體素網(wǎng)格特征Vout，可計(jì)算得到每組卷積的體素特征f conv1、f conv2、f conv3、f conv4及鳥瞰圖特征f BEV。以KITTI數(shù)據(jù)集Car為例，輸入（40，1 600，1 408）尺寸的體素網(wǎng)格特征，最終將得到（2，200，176）的二維鳥瞰圖特征。

圖4 3D稀疏卷積層網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.4 Network framework of 3D sparse convolutional layer

2.3 特征聚合層

特征聚合層由兩部分組成，第一部分是生成關(guān)鍵點(diǎn)集合的局部特征，第二部分是特征聚合。具體如下：

（1）關(guān)鍵點(diǎn)特征生成。利用PointNet++[17]的SA模塊對(duì)關(guān)鍵點(diǎn)進(jìn)行逐點(diǎn)特征提取。SA模塊包括采樣、分組、特征提取三個(gè)步驟，其中：采樣是將原始點(diǎn)云降采樣成若干個(gè)關(guān)鍵點(diǎn)，主要利用隨機(jī)體素采樣算法進(jìn)行降采樣；分組，利用球查詢求得以關(guān)鍵點(diǎn)為中心的球半徑范圍內(nèi)所有點(diǎn)集合，將其編為一個(gè)組，通過改變球半徑大小可以獲得不同的感受野；特征提取，將PointNet[19]網(wǎng)絡(luò)應(yīng)用于每個(gè)分組的點(diǎn)，得到分組特征。重復(fù)SA模塊逐級(jí)提取過程，可獲得整個(gè)點(diǎn)云的特征

（2）特征聚合。主要是聚合關(guān)鍵點(diǎn)特征、3D稀疏卷積特征和鳥瞰圖特征。對(duì)于keypoints關(guān)鍵點(diǎn)集合中的任意點(diǎn)pi來說，將其逐點(diǎn)特征與3D稀疏卷積特征和鳥瞰圖特征進(jìn)行拼接，得到將其送入多層感知機(jī)MLP中，得到(N,d′)維關(guān)鍵點(diǎn)聚合特征。

逐點(diǎn)特征不僅包含每個(gè)關(guān)鍵點(diǎn)的精確坐標(biāo)，利于后續(xù)3D包圍盒回歸，而且由于采用了PointNet++中的SA模塊進(jìn)行特征提取，因此具有較大且更為靈活的感受野；3D稀疏卷積特征和鳥瞰圖特征由體素化點(diǎn)云稀疏卷積計(jì)算得到，不僅計(jì)算效率高，而且包含了由低到高多個(gè)級(jí)別語義特征，能夠描述更為精細(xì)的點(diǎn)云空間結(jié)構(gòu)。聚合了上述所有特征，相比于單個(gè)點(diǎn)云特征，其涵蓋了更多有用信息，特征提取更充分。

2.4 候選點(diǎn)生成層

激光雷達(dá)通過發(fā)射激光束測(cè)算物體的位置，激光遇到物體表面即發(fā)生反射，故激光雷達(dá)采集的點(diǎn)云位于物體表面而非物體中心。然而，利用物體表面點(diǎn)直接進(jìn)行3D包圍盒回歸，包圍盒質(zhì)量較差，而利用物體中心點(diǎn)進(jìn)行回歸，效果相對(duì)較好[13]。因此，Qi等人設(shè)計(jì)了VoteNet，利用霍夫投票網(wǎng)絡(luò)生成一些靠近物體中心的虛擬點(diǎn)。為提升包圍盒質(zhì)量，本文設(shè)計(jì)候選點(diǎn)生成層，利用MLP將關(guān)鍵點(diǎn)（降采樣得到的物體表面點(diǎn)）向物體中心進(jìn)行修正，如圖5所示。

圖5 關(guān)鍵點(diǎn)坐標(biāo)修正示意圖Fig.5 Schematic diagram of keypoints coordinates correction

首 先 從keypoints={pi=[xi,yi,zi,ri]T}∈?4}i=1,2,…,K中取出關(guān)鍵點(diǎn)pi的三維坐標(biāo)(xi,yi,zi)；利用該點(diǎn)的聚合特征，估計(jì)該點(diǎn)概略中心位置。具體地，設(shè)計(jì)一個(gè)MLP函數(shù)，在對(duì)網(wǎng)絡(luò)訓(xùn)練時(shí)，引入一個(gè)強(qiáng)監(jiān)督，即利用真值標(biāo)簽的物體中心點(diǎn)坐標(biāo)，對(duì)物體表面點(diǎn)與中心點(diǎn)的坐標(biāo)偏移量進(jìn)行監(jiān)督學(xué)習(xí)，監(jiān)督標(biāo)簽設(shè)為預(yù)測(cè)時(shí)，利用聚合特征估計(jì)坐標(biāo)偏移量，并將其與關(guān)鍵點(diǎn)坐標(biāo)相減得到坐標(biāo)為的點(diǎn)，稱之為候選點(diǎn)，作為下一步回歸的近似中心點(diǎn)。

2.5 區(qū)域建議網(wǎng)絡(luò)層

區(qū)域建議網(wǎng)絡(luò)采用anchor-free方法回歸物體的3D包圍盒，采用三維中心度方法計(jì)算物體的類別。將候選點(diǎn)坐標(biāo)與聚合特征拼接組合，作為區(qū)域建議網(wǎng)絡(luò)的輸入。

（1）3D包圍盒回歸

為實(shí)現(xiàn)物體3D包圍盒的無錨預(yù)測(cè)，將其參數(shù)化為(dx,dy,dz,dl,dw,dh,r)7個(gè)目標(biāo)回歸量，其中(dx,dy,dz)表示候選中心點(diǎn)到真值標(biāo)簽中心點(diǎn)的距離，(dl,dw,dh)表示預(yù)測(cè)物體的長(zhǎng)、寬、高尺寸信息，r代表偏航角yaw，即物體繞y軸（velodyne坐標(biāo)系下為z軸）的旋轉(zhuǎn)角度。

（2）物體分類

區(qū)域建議網(wǎng)絡(luò)會(huì)生成許多重復(fù)地3D包圍盒，質(zhì)量參差不齊，一般通過NMS方法去除冗余，僅保留置信度較高的包圍盒。然而，分類置信度和定位精度之間存在不對(duì)齊問題[11]，也即兩者不完全成正比，存在置信度分值較高但包圍盒質(zhì)量較差的情況，致使NMS剔除了質(zhì)量較好的3D包圍盒，導(dǎo)致檢測(cè)精度下降。

為了緩解這種不對(duì)齊問題，借鑒FCOS[20]提出的二維目標(biāo)檢測(cè)中心度，如圖6所示，提出三維中心度。三維中心度是一個(gè)0到1之間的值，計(jì)算公式如式（2）所示，反應(yīng)了候選中心點(diǎn)到真值標(biāo)簽中心點(diǎn)的（標(biāo)準(zhǔn)化）距離，越大表明該點(diǎn)越靠近物體中心。

圖6 中心度示意圖Fig.6 Schematic diagram of centerness

式中，(f,b,l,r,t,d)6個(gè)變量分別表示候選中心點(diǎn)到其對(duì)應(yīng)的真值標(biāo)簽包圍盒前、后、左、右、上、下六個(gè)面的距離。

首先，在3D包圍盒NMS操作前將該包圍盒的置信度分值乘以其對(duì)應(yīng)候選中心點(diǎn)的三維中心度，得到真正用于NMS的置信度分值，從而過濾掉中心度較小、質(zhì)量較差但置信度分值較高的包圍盒。根據(jù)候選中心點(diǎn)是否在某一個(gè)物體內(nèi)確定一個(gè)lmask，這個(gè)是一個(gè)非0即1的二值，表示是否在物體內(nèi)。最后，對(duì)于任一候選中心點(diǎn)，將lctrness與lmask相乘得到最終的分類標(biāo)簽ui。

3 損失函數(shù)

RPV-SSD的全局訓(xùn)練損失函數(shù)由分類損失、回歸損失和候選點(diǎn)偏移損失三部分組成，計(jì)算公式如下：

式中，Nc表示所有候選點(diǎn)的個(gè)數(shù)，Np表示候選點(diǎn)中屬于前景點(diǎn)（即待檢測(cè)物體）的個(gè)數(shù)，Lc、Lr、Ls分別表示分類損失、回歸損失和候選點(diǎn)偏移損失。

（1）分類損失

分類損失Lr采用交叉熵?fù)p失（cross entropy loss）函數(shù)計(jì)算，計(jì)算公式如下：

式中，si表示神經(jīng)網(wǎng)絡(luò)分類分支的預(yù)測(cè)值，ui表示分類標(biāo)簽，由lctrness與lmask相乘得到。

（2）回歸損失

回歸損失Lr主要包括距離回歸損失Ldist、尺寸回歸損失Lsize、角度回歸損失Langle和角點(diǎn)回歸損失Lcorner四個(gè)方面。

①距離回歸損失Ldist，采用smooth L1損失函數(shù)對(duì)候選中心點(diǎn)到真值標(biāo)簽中心點(diǎn)的距離(dx,dy,dz)進(jìn)行計(jì)算，計(jì)算公式如下：

其中：

②尺寸回歸損失Lsize，同樣采用smooth L1損失函數(shù)對(duì)預(yù)測(cè)目標(biāo)的長(zhǎng)寬高尺寸(dl,dw,dh)與真值標(biāo)簽尺寸(l,w,h)的差值(dl-l,dw-w,dh-h)進(jìn)行計(jì)算，計(jì)算公式如下：

③角度回歸損失Langle，包含bin、res兩部分，其中整數(shù)部分bin采用分類損失，小數(shù)部分res采用回歸損失，計(jì)算公式如下：

式中，dca、dra分別代表預(yù)測(cè)角度的整數(shù)部分和小數(shù)部分，tca、tra分別代表真值標(biāo)簽中偏航角對(duì)應(yīng)的整數(shù)部分和小數(shù)部分。

④角點(diǎn)回歸損失Lcorner，即預(yù)測(cè)包圍盒的八個(gè)角點(diǎn){Pm}m=1,2,…,8與真值標(biāo)簽八個(gè)角點(diǎn){Gm}m=1,2,…,8之間的歐式距離，計(jì)算公式如下：

（3）偏移損失

偏移損失是針對(duì)候選點(diǎn)生成層中的監(jiān)督學(xué)習(xí)任務(wù)設(shè)計(jì)的，計(jì)算的是候選點(diǎn)向中心點(diǎn)修正時(shí)預(yù)測(cè)的坐標(biāo)偏移量(xishift,yishift,zishift)與候選點(diǎn)到對(duì)應(yīng)的真值標(biāo)簽中心點(diǎn)實(shí)際坐標(biāo)偏移量zi-zigt)之間的誤差，同樣采用smooth L1損失函數(shù)計(jì)算，計(jì)算公式如下：

4 實(shí)驗(yàn)與分析

本文在KITTI三維目標(biāo)檢測(cè)數(shù)據(jù)集上對(duì)RPV-SSD算法性能進(jìn)行了測(cè)試評(píng)估，并與當(dāng)前性能較好的一些方法做了對(duì)比，最后對(duì)檢測(cè)結(jié)果進(jìn)行了可視化分析。

4.1 實(shí)驗(yàn)環(huán)境

本文所使用的實(shí)驗(yàn)硬件平臺(tái)為Intel?Xeon Silver 4110 CPU@2.10 GHz（雙處理器），內(nèi)存（RAM）64 GB，NVIDIA GTX 2080Ti顯卡（顯存16 GB），操作系統(tǒng)為Ubuntu 16.04LTS，實(shí)驗(yàn)軟件：使用Python3.7.10和Pytorch1.3.1搭建深度學(xué)習(xí)網(wǎng)絡(luò)模型，使用CUDA 10.1和cuDNN 7.6.5進(jìn)行計(jì)算加速，使用mayavi 4.7.1、opencv 3.4.2和matplotlib 3.3.2分別進(jìn)行點(diǎn)云和圖像可視化。

4.2 參數(shù)設(shè)置

訓(xùn)練過程中，按照文獻(xiàn)[21]中所描述的方法將KITTI訓(xùn)練集按照0.5∶0.5的比例劃分為訓(xùn)練集與驗(yàn)證集，二者分別包含3 712張圖像和3 769張圖像。對(duì)于不同類別目標(biāo)的IoU閾值設(shè)置，汽車的設(shè)為0.7，行人和騎行的人設(shè)為0.5，當(dāng)預(yù)測(cè)框與真值框交并比超過這一閾值，則認(rèn)為命中該實(shí)例。

訓(xùn)練時(shí)，采用Adam算法對(duì)網(wǎng)絡(luò)模型參數(shù)進(jìn)行優(yōu)化更新，訓(xùn)練的epoch設(shè)置為200個(gè)，batch_size設(shè)置為4，每個(gè)epoch迭代928個(gè)batch，總迭代步數(shù)steps共18.56萬個(gè)，Adam優(yōu)化器初始學(xué)習(xí)率設(shè)置為0.001，動(dòng)量系數(shù)β1和β2設(shè)置為0.9和0.999，學(xué)習(xí)率ηt隨著迭代epoch次數(shù)增加而衰減，衰減率ρ設(shè)置為0.8，每20個(gè)epoch衰減一次，學(xué)習(xí)率更新公式如下：

式中，t為已完成訓(xùn)練的epoch總次數(shù)，T取20表示衰減周期。

4.3 結(jié)果分析

表2列出了不同算法在KITTI汽車（Car）上的3D檢測(cè)結(jié)果和BEV檢測(cè)結(jié)果（利用平均精度AP作為評(píng)測(cè)度量），表中“L”和“R”代表LiDAR點(diǎn)云和RGB圖像。

表2 不同算法在KITTI汽車上的檢測(cè)結(jié)果Table 2 Detection results of different algorithms on KITTI car

可以看出，RPV-SSD算法在KITTI汽車上的檢測(cè)精度較3DSSD有顯著提升。在3D目標(biāo)檢測(cè)基準(zhǔn)上，RPV-SSD在簡(jiǎn)單、中等、困難三個(gè)檢測(cè)難度上分別提升約2.13、0.89、1.60個(gè)百分點(diǎn)，如圖7所示；在BEV目標(biāo)檢測(cè)基準(zhǔn)上，分別提升約2.08、0.63、0.26個(gè)百分點(diǎn)。算法精度的提升，分析認(rèn)為是由于在特征提取時(shí)聚合了3D稀疏卷積特征和鳥瞰圖特征。在算法的時(shí)間復(fù)雜度方面，RPV-SSD較3DSSD相對(duì)較長(zhǎng)，單幀數(shù)據(jù)推理時(shí)間分別為44 ms和38 ms，分析認(rèn)為是增加了體素稀疏卷積導(dǎo)致推理時(shí)間變長(zhǎng)。

圖7 3DSSD和RPV-SSD的3D檢測(cè)結(jié)果對(duì)比Fig.7 Comparison of 3DSSD and RPV-SSD 3D object detection results

為比較逐點(diǎn)特征、3D稀疏卷積特征、鳥瞰圖特征和候選點(diǎn)生成層對(duì)算法性能提升的貢獻(xiàn)率，本文做了消融實(shí)驗(yàn)，即把上述模塊分別從原始模型中移除，然后對(duì)網(wǎng)絡(luò)重新訓(xùn)練，觀察各個(gè)模塊移除后檢測(cè)性能的變化，具體實(shí)驗(yàn)結(jié)果如表3和表4所示。

表3 各級(jí)別特征對(duì)模型性能的影響Table 3 Influence of characteristics of different levels on model performance

表4 候選點(diǎn)生成層對(duì)模型性能的影響Table 4 Influence of candidate point generation layer on model performance

由表3可以看出，單獨(dú)利用逐點(diǎn)特征、3D稀疏卷積特征、鳥瞰圖特征進(jìn)行訓(xùn)練時(shí)，模型性能下降較大。當(dāng)只使用來自關(guān)鍵點(diǎn)的逐點(diǎn)特征時(shí)，模型性能下降4.14個(gè)百分點(diǎn)，分析認(rèn)為是逐點(diǎn)的淺層特征不足以提出較好的候選框。當(dāng)在逐點(diǎn)特征基礎(chǔ)上再聚合深層的3D稀疏卷積特征或更高級(jí)別的鳥瞰圖特征時(shí)，則能顯著提高模型性能，分別提升3.56和3.22個(gè)百分點(diǎn)。如果更進(jìn)一步聚合所有特征，則仍能繼續(xù)提升性能，分別提升0.58和0.92個(gè)百分點(diǎn)，達(dá)到最終模型的最佳性能。對(duì)于這一步性能提升幅度變小的原因，分析認(rèn)為是3D稀疏卷積特征與鳥瞰圖特征具有某種相關(guān)性，當(dāng)已經(jīng)聚合了某一個(gè)時(shí)，再聚合另一個(gè)對(duì)模型性能影響減小。從上述數(shù)據(jù)比較中可以得出，對(duì)于模型性能提升的貢獻(xiàn)率，3D稀疏卷積特征＞鳥瞰圖特征＞逐點(diǎn)特征。

由表4可以看出，移除候選點(diǎn)生成層，平均精度降低了9.18個(gè)百分點(diǎn)，說明利用物體不同位置的點(diǎn)進(jìn)行3D包圍盒回歸，對(duì)模型的性能影響較大。分析認(rèn)為，利用物體近似中心點(diǎn)回歸3D包圍盒，相較于物體表面點(diǎn)，能夠得到更高質(zhì)量的包圍盒，提升了網(wǎng)絡(luò)預(yù)測(cè)與真值標(biāo)簽3D包圍盒的交并比，進(jìn)而提升了精確率和召回率，提高了精度。

4.4 可視化分析

本文對(duì)RPV-SSD算法預(yù)測(cè)的類別和3D包圍盒進(jìn)行了可視化，并與真值標(biāo)簽進(jìn)行了對(duì)比，圖8展示了四個(gè)不同場(chǎng)景的對(duì)比結(jié)果。其中，每個(gè)場(chǎng)景的左上圖為相機(jī)圖片，左下圖為點(diǎn)云截圖，右圖為鳥瞰圖。為便于觀察對(duì)比，使用綠色包圍盒和文字表示算法的預(yù)測(cè)結(jié)果，紅色包圍盒和文字表示真值標(biāo)簽，點(diǎn)云截圖中每個(gè)包圍盒附近的“Car”“Pedestrian”“Cyclist”（圖像和鳥瞰圖中每個(gè)包圍盒附近的“C”“P”“B”）分別表示汽車、行人和騎行的人三類目標(biāo)。為更好地進(jìn)行可視化分析，從KITTI數(shù)據(jù)集calib參數(shù)文件中取出相機(jī)與激光雷達(dá)傳感器的轉(zhuǎn)換矩陣，將3D包圍盒從velodyne坐標(biāo)系映射到相機(jī)坐標(biāo)系，并將其顯示在相機(jī)圖片中。

圖8 不同場(chǎng)景算法預(yù)測(cè)結(jié)果與真值標(biāo)簽對(duì)比示例Fig.8 Example of comparison between algorithm prediction results and truth labels in different scenarios

根據(jù)上述可視化結(jié)果，分析得出：

（1）RPV-SSD算法不僅能夠檢測(cè)出近處遮擋較少、數(shù)據(jù)點(diǎn)豐富的物體，而且對(duì)于遠(yuǎn)處遮擋、截?cái)?、重疊、數(shù)據(jù)點(diǎn)稀疏的物體同樣有效。以圖8（a）場(chǎng)景為例，算法可以將真值標(biāo)簽中的7輛汽車（Car）全部命中，并且回歸質(zhì)量較高的3D包圍盒。對(duì)于部分被遮擋未標(biāo)注的汽車，雖然圖片中無法準(zhǔn)確辨識(shí)，但算法仍然能夠做出準(zhǔn)確預(yù)測(cè)，說明算法能夠利用物體的部分點(diǎn)云預(yù)測(cè)出物體的類別和整個(gè)包圍盒。圖8（d）中的可視化結(jié)果更能說明這一點(diǎn)，算法不僅檢測(cè)到了真值標(biāo)簽中的8個(gè)行人（Pedestrian）和1個(gè)騎行的人（Cyclist），還檢測(cè)出了道路遠(yuǎn)處密集重疊在一起的行人和汽車。分析認(rèn)為，此類目標(biāo)的點(diǎn)云雖然較為稀疏，但隨機(jī)體素采樣方法仍能采集到目標(biāo)關(guān)鍵點(diǎn)，進(jìn)而實(shí)現(xiàn)檢測(cè)。另一方面也從側(cè)面反映出基于點(diǎn)云的目標(biāo)檢測(cè)優(yōu)勢(shì)，它能夠非常容易辨識(shí)和定位二維圖像上難以區(qū)分開的遮擋重疊目標(biāo)。

（2）RPV-SSD算法存在錯(cuò)誤檢測(cè)和虛假檢測(cè)的情況。以圖8（b）場(chǎng)景為例，算法雖命中了真值標(biāo)簽中的所有目標(biāo)，并檢測(cè)出了遠(yuǎn)處遮擋重疊的未標(biāo)注汽車，但卻將遠(yuǎn)處騎行的人誤檢測(cè)為行人，并且將道路旁邊的墻面和花草虛檢測(cè)為行人。圖8（c）場(chǎng)景也出現(xiàn)了此類情況，算法將遠(yuǎn)處的廣告標(biāo)牌虛檢測(cè)為行人，將路邊停放的一輛自行車虛檢測(cè)為騎行的人。對(duì)于誤檢和虛檢的情況，分析認(rèn)為是其點(diǎn)云分布的三維空間結(jié)構(gòu)與誤（虛）檢目標(biāo)的形態(tài)較為相似，雖然在圖像中能夠清晰的分辨出差異，但是在三維點(diǎn)云中卻難以區(qū)分。對(duì)于這種情況，一個(gè)可行的解決思路是集成學(xué)習(xí)方法，即利用圖像和點(diǎn)云兩種傳感器數(shù)據(jù)分別實(shí)現(xiàn)目標(biāo)檢測(cè)后再進(jìn)行集成對(duì)比檢測(cè)。

5 結(jié)束語

本文在梳理三維目標(biāo)檢測(cè)技術(shù)路線的基礎(chǔ)上，分析了當(dāng)前基于原始點(diǎn)云的三維目標(biāo)檢測(cè)任務(wù)存在的困難挑戰(zhàn)，提出了一種基于原始點(diǎn)云、單階段、無錨框的三維目標(biāo)檢測(cè)算法RPV-SSD。KITTI數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果和可視化分析表明，該算法整體表現(xiàn)良好，不僅能夠命中真值標(biāo)簽中的目標(biāo)并且回歸質(zhì)量較高的3D包圍盒，還能夠從物體的不完整點(diǎn)云（距離較遠(yuǎn)、存在遮擋截?cái)嘀丿B等情況）推測(cè)出物體的類別及其完整形狀。