周 燕，蒲 磊，林良熙，劉翔宇，曾凡智，周月霞

佛山科學(xué)技術(shù)學(xué)院 計(jì)算機(jī)系，廣東 佛山 528000

目標(biāo)檢測(cè)一直是計(jì)算機(jī)視覺(jué)領(lǐng)域中最基本的問(wèn)題之一。近年來(lái)，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法極大地推動(dòng)了各領(lǐng)域的發(fā)展，例如智慧交通、自動(dòng)駕駛、家庭安防等。雖然基于二維圖像的目標(biāo)檢測(cè)[1-4]已經(jīng)取得了較大的進(jìn)展，但針對(duì)三維目標(biāo)的理解[5]和分析仍然是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。三維目標(biāo)檢測(cè)被定義為識(shí)別三維場(chǎng)景中特定的目標(biāo)并估計(jì)其位置與方向的任務(wù)[6]。三維目標(biāo)檢測(cè)主要包含定位與識(shí)別兩個(gè)步驟，即生成一系列與真實(shí)環(huán)境相關(guān)的三維邊界框，并對(duì)邊界框內(nèi)的目標(biāo)進(jìn)行識(shí)別。相比于二維目標(biāo)檢測(cè)，三維目標(biāo)檢測(cè)可以輸出物體的長(zhǎng)、寬、高及朝向等信息，并通過(guò)這些信息獲得空間中目標(biāo)的位置關(guān)系，從而能更好地支持語(yǔ)義標(biāo)注與場(chǎng)景理解?，F(xiàn)有的三維目標(biāo)檢測(cè)算法按照輸入數(shù)據(jù)的類(lèi)型可以劃分為基于視覺(jué)、基于激光點(diǎn)云和基于多模態(tài)融合三大類(lèi)[7]。

基于視覺(jué)的三維目標(biāo)檢測(cè)方法，又可以細(xì)分為基于單目和雙目的三維目標(biāo)檢測(cè)。如D4LCN（depthguided dynamic depthwise dilated local convolutional network）[8]、AM3D（accurate monocular 3D detection）[9]等，對(duì)圖像進(jìn)行深度估計(jì)，通過(guò)估計(jì)值將二維邊界框投影到空間中來(lái)完成三維目標(biāo)檢測(cè)任務(wù)。該類(lèi)方法存在目標(biāo)定位誤差大、對(duì)光照敏感等問(wèn)題，并且其應(yīng)用場(chǎng)景多為室內(nèi)。而激光點(diǎn)云能反映目標(biāo)在空間中的位置，并且不易受光照變化的影響，因此使用激光點(diǎn)云數(shù)據(jù)完成三維目標(biāo)檢測(cè)任務(wù)已成為研究的熱點(diǎn)。與圖像數(shù)據(jù)不同，激光點(diǎn)云數(shù)據(jù)具有無(wú)序性、非結(jié)構(gòu)性及分布不均等特性。為了與現(xiàn)有的深度學(xué)習(xí)技術(shù)相結(jié)合，激光點(diǎn)云的三維目標(biāo)檢測(cè)方法按照點(diǎn)云的不同表示方式，又可細(xì)分為三種方法：基于原始點(diǎn)云、基于點(diǎn)云投影及基于點(diǎn)云體素化的三維目標(biāo)檢測(cè)方法。

（1）基于原始點(diǎn)云的方法，主要使用PointNet[10]系列方法直接對(duì)點(diǎn)云進(jìn)行處理，學(xué)習(xí)點(diǎn)云的特征并完成分類(lèi)和三維邊界框的估計(jì)，例如PointRCNN（point region convolutional neural network）[11]、3DSSD（3D single stage object detector）[12]等。這些基于原始點(diǎn)云進(jìn)行三維目標(biāo)檢測(cè)的方法，能夠最大程度保留物體在三維空間中的位置信息，但往往計(jì)算量較大且運(yùn)行速度較慢。

（2）基于點(diǎn)云投影的方法，典型的方法有3D FCN（3D fully convolutional network）[13]、RT3D（real time 3D detection）[14]等。該類(lèi)方法通過(guò)將點(diǎn)云投影為不同角度的二維視圖，再利用成熟的二維目標(biāo)檢測(cè)網(wǎng)絡(luò)實(shí)現(xiàn)目標(biāo)檢測(cè)，但投影操作不可避免地會(huì)丟失點(diǎn)云的高度信息，導(dǎo)致檢測(cè)準(zhǔn)確率降低。

（3）基于點(diǎn)云體素化的方法，例如VoxelNet[15]、SECOND（sparsely embedded convolutional detection）[16]等，將無(wú)序的點(diǎn)云數(shù)據(jù)組織成有序的體素表達(dá)形式，并應(yīng)用三維卷積網(wǎng)絡(luò)提取體素特征實(shí)現(xiàn)三維目標(biāo)檢測(cè)。體素的表達(dá)保留了點(diǎn)云的形狀信息，并能有效地提升網(wǎng)絡(luò)的處理速度，但點(diǎn)云體素化過(guò)程會(huì)存在量化誤差，當(dāng)點(diǎn)云分布不均時(shí)，容易存在大量的空體素，增加計(jì)算量。

基于視覺(jué)的方法只提供圖像的紋理信息，缺乏深度信息；而基于激光點(diǎn)云的方法提供了空間幾何信息，但缺乏紋理信息。紋理信息有助于目標(biāo)的檢測(cè)與分類(lèi)，而深度信息能為目標(biāo)的空間位置估計(jì)提供幫助。同時(shí)使用圖像和激光點(diǎn)云等數(shù)據(jù)，通過(guò)融合的方案來(lái)提升整體的性能，也是三維目標(biāo)檢測(cè)方法中的一個(gè)研究熱點(diǎn)?；趫D像與點(diǎn)云融合的三維目標(biāo)檢測(cè)方法，典型的有MVX-Net（multimodal VoxelNet detection）[17]、MV3D（multi-view 3D detection）[18]等。該類(lèi)方法充分利用顏色、紋理等底層特征，融合視覺(jué)的紋理信息與點(diǎn)云的空間幾何信息，實(shí)現(xiàn)高精度的目標(biāo)檢測(cè)。

當(dāng)前基于激光點(diǎn)云的三維目標(biāo)檢測(cè)方法已逐漸成熟，但仍存在著各種問(wèn)題，如只專(zhuān)注于提高單一數(shù)據(jù)集的檢測(cè)精度，沒(méi)有充分考慮模型的泛化能力，點(diǎn)云數(shù)據(jù)被遮擋與截?cái)?，點(diǎn)云與視覺(jué)信息對(duì)齊等問(wèn)題。因此，基于激光點(diǎn)云的三維目標(biāo)檢測(cè)仍具有挑戰(zhàn)性。

目前已有相關(guān)綜述對(duì)三維目標(biāo)檢測(cè)方法進(jìn)行了梳理總結(jié)[19-22]。文獻(xiàn)[19]的綜述工作涵蓋了與點(diǎn)云相關(guān)的多種任務(wù)，如三維形狀分類(lèi)、三維目標(biāo)檢測(cè)和三維分割；文獻(xiàn)[20]首先對(duì)二維目標(biāo)檢測(cè)進(jìn)行概述，隨后對(duì)具有代表性和開(kāi)創(chuàng)性的三維目標(biāo)檢測(cè)算法進(jìn)行比較和總結(jié)；文獻(xiàn)[21]對(duì)交通場(chǎng)景下的目標(biāo)檢測(cè)算法做了較為詳盡的綜述，其中涵蓋了二維、三維以及多模態(tài)的目標(biāo)檢測(cè)算法；文獻(xiàn)[22]以自動(dòng)駕駛應(yīng)用為背景，對(duì)三維目標(biāo)檢測(cè)中基于單目、基于點(diǎn)云和基于多模態(tài)方法進(jìn)行了綜述。但現(xiàn)有針對(duì)激光點(diǎn)云的三維目標(biāo)檢測(cè)方法的討論與分析工作還有待完善，對(duì)未來(lái)發(fā)展趨勢(shì)的展望還有待補(bǔ)充。因此，本文在前人綜述工作的基礎(chǔ)上進(jìn)行了整合與完善，并對(duì)近年來(lái)提出的基于激光點(diǎn)云的三維目標(biāo)檢測(cè)方法進(jìn)行系統(tǒng)的總結(jié)與梳理。首先根據(jù)輸入網(wǎng)絡(luò)的數(shù)據(jù)形式對(duì)基于激光點(diǎn)云的三維目標(biāo)檢測(cè)方法進(jìn)行分類(lèi)，并對(duì)各類(lèi)方法進(jìn)行了詳細(xì)的闡述。根據(jù)最近提出的新方法將基于多模態(tài)融合的方法細(xì)分為點(diǎn)云與視圖、體素與視圖、點(diǎn)云與體素三種融合方式。其次對(duì)目前主流的三維目標(biāo)檢測(cè)數(shù)據(jù)集及評(píng)價(jià)指標(biāo)進(jìn)行介紹。接著對(duì)當(dāng)前激光點(diǎn)云的三維目標(biāo)檢測(cè)算法進(jìn)行討論分析。最后指出目前三維目標(biāo)檢測(cè)算法存在的不足，并對(duì)未來(lái)的發(fā)展趨勢(shì)進(jìn)行了展望。

1 基于激光點(diǎn)云的三維目標(biāo)檢測(cè)方法

本文將三維目標(biāo)檢測(cè)方法按照輸入網(wǎng)絡(luò)的數(shù)據(jù)形式，劃分為四個(gè)類(lèi)別：基于原始點(diǎn)云、基于點(diǎn)云投影、基于點(diǎn)云體素化以及基于多模態(tài)融合的檢測(cè)方法。然后對(duì)各類(lèi)方法脈絡(luò)進(jìn)行梳理，并分析三維目標(biāo)檢測(cè)方法的優(yōu)缺點(diǎn)?；诩す恻c(diǎn)云的三維目標(biāo)檢測(cè)算法詳細(xì)分類(lèi)如圖1所示。

圖1 基于激光點(diǎn)云的三維目標(biāo)檢測(cè)方法Fig.1 3D object detection methods based on LiDAR point cloud

1.1 基于原始點(diǎn)云的檢測(cè)方法

使用激光雷達(dá)掃描場(chǎng)景獲得的點(diǎn)云數(shù)據(jù)稱(chēng)為激光點(diǎn)云。激光點(diǎn)云數(shù)據(jù)中包含點(diǎn)的三維坐標(biāo)及反射強(qiáng)度，蘊(yùn)含著豐富的幾何信息。然而使用手工特征編碼的方式來(lái)編碼點(diǎn)云，難以提取出物體有效的幾何信息。又由于激光點(diǎn)云的無(wú)序性質(zhì)，使其無(wú)法與二維圖像一樣使用卷積神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)特征。2017 年，Qi等[10]開(kāi)創(chuàng)性地提出了直接處理點(diǎn)云數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)模型PointNet。該模型使用多層感知機(jī)（multi-layer perceptron，MLP）學(xué)習(xí)點(diǎn)云的空間特征，并使用最大池化來(lái)解決點(diǎn)云的無(wú)序性問(wèn)題，但存在局部特征表達(dá)能力不足的缺陷。同年，Qi等[23]對(duì)PointNet進(jìn)行了改進(jìn)，提出一種新的網(wǎng)絡(luò)模型PointNet++。該網(wǎng)絡(luò)添加點(diǎn)云局部特征提取模塊，增加了網(wǎng)絡(luò)模型的魯棒性。實(shí)驗(yàn)證明PointNet、PointNet++能有效學(xué)習(xí)到點(diǎn)云的特征，開(kāi)拓了基于原始點(diǎn)云的三維目標(biāo)檢測(cè)新方法。

得益于PointNet、PointNet++對(duì)點(diǎn)云特征的有效提取，Shi 等[11]提出了直接使用點(diǎn)云數(shù)據(jù)進(jìn)行檢測(cè)的網(wǎng)絡(luò)模型PointRCNN。該方法分為兩個(gè)階段：第一階段，將輸入的原始點(diǎn)云使用PointNet++分割為前景點(diǎn)和背景點(diǎn)，并在前景點(diǎn)上生成三維建議框；第二階段，融合點(diǎn)云的語(yǔ)義特征和局部空間特征，回歸得到高質(zhì)量的三維邊界框。通過(guò)兩個(gè)階段的處理，進(jìn)一步提高了檢測(cè)的精度，但需要消耗更多的計(jì)算成本。針對(duì)回歸框計(jì)算量大的難題，Yang 等[24]提出了球形錨框的建議框生成方法，同時(shí)，引入點(diǎn)池化層對(duì)區(qū)域內(nèi)無(wú)序的點(diǎn)云有序化，使該層能高效地學(xué)習(xí)點(diǎn)云特征，從而減少了計(jì)算量并實(shí)現(xiàn)了較高的召回率。

雖然PointNet、PointNet++能夠有效地學(xué)習(xí)點(diǎn)云特征，但對(duì)目標(biāo)的尺寸感知較弱，進(jìn)而影響預(yù)測(cè)框的回歸。Li 等[25]提出加入邊界距離特征及虛點(diǎn)特征來(lái)增強(qiáng)原有PointNet 的性能。邊界距離特征即候選框內(nèi)的點(diǎn)到框邊的歸一化距離；而虛點(diǎn)特征即在候選框邊界上生成固定數(shù)量的點(diǎn)，并計(jì)算框內(nèi)點(diǎn)到虛點(diǎn)的距離。這兩種特征能夠提高網(wǎng)絡(luò)對(duì)目標(biāo)尺寸的感知能力，使預(yù)測(cè)框回歸更精準(zhǔn)。針對(duì)PointNet++中特征傳播（feature propagation，F(xiàn)P）層耗時(shí)的問(wèn)題，2020年，Yang 等[12]舍棄了FP 層以及修正階段，如圖2 所示，通過(guò)特征最遠(yuǎn)點(diǎn)采樣（feature-farthest point sampling，F(xiàn)-FPS）獲取更多的前景點(diǎn)，并將采樣到的點(diǎn)在監(jiān)督學(xué)習(xí)下向目標(biāo)中心點(diǎn)進(jìn)行偏移，最后完成預(yù)測(cè)框的回歸與目標(biāo)類(lèi)別的分類(lèi)。該算法的推理速度在同類(lèi)方法[11]中有顯著提升。同樣的，Chen等[26]受采樣策略的啟發(fā)，提出了基于點(diǎn)云語(yǔ)義引導(dǎo)的最遠(yuǎn)點(diǎn)采樣（semantics-guided farthest point sampling，S-FPS）。該采樣方法對(duì)點(diǎn)云進(jìn)行前景點(diǎn)分割，并將分割的分?jǐn)?shù)作為權(quán)重加入到最遠(yuǎn)點(diǎn)采樣中。其采樣結(jié)果在不同的點(diǎn)云輸入順序下會(huì)保持穩(wěn)定，相比于F-FPS具有更高的魯棒性。然而使用最遠(yuǎn)點(diǎn)采樣會(huì)消耗較多的內(nèi)存與計(jì)算成本，Zhang等[27]提出了實(shí)例感知的分層采樣策略。該采樣策略不僅能采樣到更多的前景點(diǎn)，還能明顯提高檢測(cè)的速度。Zheng等[28]為了進(jìn)一步提高識(shí)別準(zhǔn)確率以及算法運(yùn)行速度，提出了網(wǎng)絡(luò)模型SE-SSD（self-ensembling single-stage object detector）。該網(wǎng)絡(luò)受Tarvainen 等[29]的啟發(fā)，設(shè)計(jì)了教師、學(xué)生網(wǎng)絡(luò)。教師網(wǎng)絡(luò)用于產(chǎn)生軟目標(biāo)信息，而學(xué)生網(wǎng)絡(luò)利用軟目標(biāo)進(jìn)行監(jiān)督訓(xùn)練。為了實(shí)現(xiàn)更大的檢測(cè)范圍，學(xué)生網(wǎng)絡(luò)還使用了形狀感知的策略，增強(qiáng)其訓(xùn)練樣本。實(shí)驗(yàn)結(jié)果表明，該算法的運(yùn)行速度比大部分一階段算法[12,16,30-31]要快，且檢測(cè)精度超越大部分二階段算法[11,32-33]。

圖2 3DSSD框架圖Fig.2 3DSSD framework diagram

為了進(jìn)一步提升檢測(cè)的精度，研究人員對(duì)點(diǎn)云中存在的幾何關(guān)系進(jìn)行了深入的研究。點(diǎn)云由于其特有的性質(zhì)容易構(gòu)成圖，近年來(lái)應(yīng)用圖神經(jīng)網(wǎng)絡(luò)探究點(diǎn)云的幾何關(guān)系也是研究的熱點(diǎn)。2020 年，Shi 等[34]提出了基于圖神經(jīng)網(wǎng)絡(luò)的模型Point-GNN（point graph neural network）。該方法首先將原始點(diǎn)云構(gòu)建成圖表示，學(xué)習(xí)圖中邊與頂點(diǎn)的特征，并預(yù)測(cè)圖中每個(gè)頂點(diǎn)所屬的對(duì)象類(lèi)別和邊界框。其次，引入一種自動(dòng)校準(zhǔn)機(jī)制來(lái)減少頂點(diǎn)平移時(shí)帶來(lái)的影響。最后，使用改進(jìn)的非極大值抑制操作對(duì)邊界框進(jìn)行評(píng)分及合并操作。該方法取得了不錯(cuò)的識(shí)別準(zhǔn)確率，但對(duì)遠(yuǎn)處點(diǎn)云稀疏區(qū)域和點(diǎn)云遮擋區(qū)域的識(shí)別較差。Zhang 等[35]使用點(diǎn)云補(bǔ)全的方法來(lái)解決遠(yuǎn)處目標(biāo)稀疏的難題。該方法對(duì)候選框內(nèi)的點(diǎn)云進(jìn)行補(bǔ)全得到稠密的點(diǎn)云以及完整的三維形狀，并通過(guò)局部-全局注意力機(jī)制以及多尺度圖的上下文融合來(lái)捕捉點(diǎn)云之間聯(lián)系。最后依賴(lài)補(bǔ)全增強(qiáng)編碼特征，獲得了遠(yuǎn)距離稀疏點(diǎn)云的目標(biāo)預(yù)測(cè)框。

針對(duì)目標(biāo)檢測(cè)中的非極大值抑制操作，傳統(tǒng)做法是將分類(lèi)置信度作為抑制標(biāo)準(zhǔn)。Zhu 等[36]提出使用交并比（intersection over union，IoU）作為抑制條件比使用分類(lèi)置信度更合適?；谶@種思想，Li等[37]提出了三維交并比（3D IoU）來(lái)提高檢測(cè)的精度。該方法首先使用角點(diǎn)注意力聚集模塊學(xué)習(xí)每個(gè)目標(biāo)的透視不變性特征，并使用角點(diǎn)幾何編碼模塊對(duì)候選框編碼，旨在產(chǎn)生IoU 建議，該IoU 信息作為非極大值抑制的條件用于后處理。雖然該方法在KITTI 數(shù)據(jù)集[38]上表現(xiàn)出不錯(cuò)的檢測(cè)精度，但還存在計(jì)算量大從而影響算法實(shí)時(shí)性的問(wèn)題。因此，Zhou 等[39]提出了不需要非極大值抑制操作的網(wǎng)絡(luò)模型SE-RCNN（selfenhanced RCNN），使用空間嵌入策略聚集實(shí)例的中心點(diǎn)，并對(duì)每個(gè)聚類(lèi)簇生成三維建議框，因此省略了非極大值抑制操作，有效地減少了計(jì)算量。

此外，實(shí)現(xiàn)三維目標(biāo)檢測(cè)任務(wù)需要大量的標(biāo)注數(shù)據(jù)集，而在三維場(chǎng)景中對(duì)目標(biāo)進(jìn)行標(biāo)注需要耗費(fèi)大量的成本，并且存在場(chǎng)景受限的問(wèn)題。近年來(lái)，出現(xiàn)了弱監(jiān)督學(xué)習(xí)，它是減少數(shù)據(jù)集標(biāo)注量的有效途徑。2020 年，Meng 等[40]率先提出了弱監(jiān)督的三維目標(biāo)檢測(cè)網(wǎng)絡(luò)WS3D（weakly supervised 3D）。該網(wǎng)絡(luò)首先使用弱標(biāo)注的鳥(niǎo)瞰圖數(shù)據(jù)，并在此弱標(biāo)注的基礎(chǔ)上生成圓柱形候選框。該方法能以較低的標(biāo)注數(shù)據(jù)量達(dá)到與全監(jiān)督網(wǎng)絡(luò)相近的效果，但還是需要少量準(zhǔn)確的三維標(biāo)注。同年，Qin 等[41]提出了無(wú)需三維標(biāo)注的檢測(cè)網(wǎng)絡(luò)VS3D（visual supervised 3D）。該網(wǎng)絡(luò)使用預(yù)先訓(xùn)練好的圖像檢測(cè)網(wǎng)絡(luò)作為媒介，將無(wú)監(jiān)督模塊生成的三維建議框投影到圖像上，利用圖像的檢測(cè)結(jié)果對(duì)三維目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行監(jiān)督學(xué)習(xí)。雖然該方法利用了成熟的二維圖像網(wǎng)絡(luò)，但性能與全監(jiān)督網(wǎng)絡(luò)相比差距較大。類(lèi)似的，Wei等[42]也提出了不需要三維標(biāo)注的弱監(jiān)督網(wǎng)絡(luò)FGR（frustumaware geometric reasoning）。該網(wǎng)絡(luò)基于二維目標(biāo)檢測(cè)結(jié)果對(duì)三維點(diǎn)云進(jìn)行分割操作，利用關(guān)鍵頂點(diǎn)和關(guān)鍵邊與截錐體相交的條件來(lái)生成偽三維標(biāo)簽，并通過(guò)偽標(biāo)簽來(lái)進(jìn)行監(jiān)督學(xué)習(xí)，該方法在性能上可以達(dá)到全監(jiān)督網(wǎng)絡(luò)的水平。上述的弱監(jiān)督三維目標(biāo)檢測(cè)方法主要應(yīng)用于室外場(chǎng)景，針對(duì)室內(nèi)場(chǎng)景的弱監(jiān)督三維目標(biāo)檢測(cè)，Xu 等[43]提出了BR（back to reality）的方法。該方法利用合成的三維形狀將弱標(biāo)注標(biāo)簽轉(zhuǎn)換為虛擬場(chǎng)景下的全標(biāo)注標(biāo)簽，并利用虛擬標(biāo)簽對(duì)真實(shí)標(biāo)簽進(jìn)行補(bǔ)充與細(xì)化，最后對(duì)網(wǎng)絡(luò)進(jìn)行輔助監(jiān)督訓(xùn)練。該方法只需要5%的標(biāo)注量，就能達(dá)到與全監(jiān)督方法相當(dāng)?shù)男阅芩健?/p>

1.2 基于點(diǎn)云投影的檢測(cè)方法

基于點(diǎn)云投影的三維目標(biāo)檢測(cè)方法，通常將點(diǎn)云進(jìn)行投影，投影視圖分為前視圖（front-view，F(xiàn)V）、鳥(niǎo)瞰圖（bird's eye-view，BEV）以及范圍圖（range-view，RV）。將點(diǎn)云投影成視圖的表達(dá)形式，并遷移成熟的二維圖像深度學(xué)習(xí)網(wǎng)絡(luò)模型來(lái)學(xué)習(xí)和提取投影視圖的特征，完成三維目標(biāo)檢測(cè)，已經(jīng)成為三維目標(biāo)檢測(cè)中的一個(gè)研究方向。

2016 年，Li 等[44]作為先驅(qū)者，提出使用二維卷積網(wǎng)絡(luò)來(lái)完成三維目標(biāo)檢測(cè)任務(wù)。該方法首先將點(diǎn)云投影成前視圖，隨后利用卷積網(wǎng)絡(luò)預(yù)測(cè)目標(biāo)的置信度以及邊界框。該方法是早期使用投影來(lái)實(shí)現(xiàn)三維目標(biāo)檢測(cè)的研究，具有深遠(yuǎn)的意義。針對(duì)區(qū)域建議網(wǎng)絡(luò)中感興趣區(qū)域（region of interest，RoI）池化操作耗時(shí)問(wèn)題，Zeng 等[14]提出Pre-RoI pooling convolution結(jié)構(gòu)來(lái)改變操作順序，其結(jié)構(gòu)如圖3 所示，將卷積操作放在RoI 池化之前，對(duì)所有RoI 進(jìn)行一次性卷積，減少運(yùn)算時(shí)間，但會(huì)存在分類(lèi)及定位準(zhǔn)確率下降的問(wèn)題。為此，作者提出改進(jìn)方案，對(duì)RoI 分別提取特征，并將若干區(qū)域特征進(jìn)行拼接以完成預(yù)測(cè)框的準(zhǔn)確回歸。類(lèi)似的，Yang 等[45]提出了PIXOR（oriented from pixel-wise）網(wǎng)絡(luò)模型。該網(wǎng)絡(luò)將鳥(niǎo)瞰圖作為輸入，引用殘差網(wǎng)絡(luò)提取圖像特征，并使用兩個(gè)網(wǎng)絡(luò)分支分別完成目標(biāo)識(shí)別和定位的任務(wù)，在鳥(niǎo)瞰圖上生成目標(biāo)邊界框。該方法的平均精度優(yōu)于此前的方法[44]。除了將點(diǎn)云投影為鳥(niǎo)瞰圖和前視圖以外，針對(duì)點(diǎn)云的稀疏性，一些學(xué)者提出了范圍圖。2019 年，Meyer 等[46]將點(diǎn)云投影到范圍圖，并且每個(gè)像素采用五維編碼輸入到二維骨干網(wǎng)絡(luò)提取特征，對(duì)每個(gè)特征像素都預(yù)測(cè)類(lèi)別概率并進(jìn)行分組，并給出目標(biāo)建議框。該方法的實(shí)驗(yàn)效果證明了范圍圖的有效性。然而范圍圖也存在的尺度變化及遮擋的問(wèn)題。Liang等[47]提出膨脹殘差塊來(lái)減少尺度帶來(lái)的影響，其網(wǎng)絡(luò)結(jié)構(gòu)是將膨脹卷積插入到標(biāo)準(zhǔn)的殘差塊中，使網(wǎng)絡(luò)能學(xué)習(xí)到目標(biāo)的不同尺度特征。而針對(duì)遮擋的難題，提出將特征從范圍圖轉(zhuǎn)移到鳥(niǎo)瞰圖的方法，在鳥(niǎo)瞰圖上生成區(qū)域建議，一定程度上避免了尺度變化以及遮擋的問(wèn)題。范圍圖是通過(guò)點(diǎn)云的空間坐標(biāo)系轉(zhuǎn)換得到的，因此范圍圖數(shù)據(jù)蘊(yùn)含著三維空間中的幾何信息。Chai 等[48]提出一種可以獲取三維幾何信息的二維卷積網(wǎng)絡(luò)模型，其中使用自注意力機(jī)制核、PointNet核、邊緣卷積核三種核，來(lái)替代傳統(tǒng)的二維卷積核。該網(wǎng)絡(luò)模型的參數(shù)量比流行的網(wǎng)絡(luò)模型PointPillar[49]少99.4%，具有較高的目標(biāo)檢測(cè)效率。2021年，F(xiàn)an等[50]也在卷積核上入手，提出了基于范圍圖的網(wǎng)絡(luò)模型RangeDet（range view detection）。該網(wǎng)絡(luò)采用了一種新的卷積方式Meta-Kernel，其操作細(xì)節(jié)如圖4所示。

圖3 Pre-RoI pooling convolution示意圖Fig.3 Pre-RoI pooling convolution schematic diagram

圖4 Meta-Kernel卷積操作示意圖Fig.4 Meta-Kernel convolution schematic diagram

Meta-Kernel利用范圍圖像素與空間中點(diǎn)的對(duì)應(yīng)關(guān)系，使用MLP學(xué)習(xí)空間中點(diǎn)的權(quán)重，最終得到卷積輸出。這充分考慮了范圍圖中含有的幾何信息，有助于高效特征提取。Sun 等[51]針對(duì)大范圍的目標(biāo)檢測(cè)需要，使用金字塔結(jié)構(gòu)提取范圍圖的特征，并對(duì)前景點(diǎn)進(jìn)行分割，利用改進(jìn)的CenterNet[52]網(wǎng)絡(luò)完成目標(biāo)的回歸預(yù)測(cè)。同時(shí)，作者還將一系列時(shí)序不變的范圍圖作為輸入，以減少激光雷達(dá)自運(yùn)動(dòng)的影響。然而這些基于范圍圖的檢測(cè)網(wǎng)絡(luò)往往只關(guān)注單幀點(diǎn)云的處理。Tian等[53]針對(duì)多幀的點(diǎn)云的輸入，提出了多回合范圍圖投影機(jī)制。該機(jī)制將每一幀點(diǎn)云的范圍圖投影在通道上進(jìn)行拼接組合，解決了多幀點(diǎn)云投影時(shí)發(fā)生的重疊問(wèn)題，并通過(guò)模態(tài)卷積有效學(xué)習(xí)范圍圖通道上的多幀點(diǎn)云投影特征。該方法彌補(bǔ)了多幀點(diǎn)云投影的空白，并為后續(xù)點(diǎn)云投影方式的研究提供了思路。

1.3 基于點(diǎn)云體素化的檢測(cè)方法

基于點(diǎn)云體素化的三維目標(biāo)檢測(cè)方法，是首先對(duì)點(diǎn)云進(jìn)行體素化的表達(dá)，然后進(jìn)行三維目標(biāo)檢測(cè)的一類(lèi)方法。體素化能夠很好地解決點(diǎn)云自身的無(wú)序性，對(duì)于有序的體素?cái)?shù)據(jù)，可以采用三維卷積，并對(duì)體素?cái)?shù)據(jù)進(jìn)行特征提取及學(xué)習(xí)。

2017年，Engelcke等[54]首次在三維數(shù)據(jù)上利用稀疏卷積，提出了Vote3Deep網(wǎng)絡(luò)模型。該網(wǎng)絡(luò)將點(diǎn)云體素化后使用手工特征的方式進(jìn)行編碼，并借鑒了Vote3D[55]的思路，對(duì)稀疏卷積層使用投票的策略提取其體素的特征。該方法為后續(xù)的研究工作提供了思路，但手工編碼體素的方式無(wú)法有效表達(dá)點(diǎn)云的幾何特征。針對(duì)此問(wèn)題，Zhou 等[15]提出了端到端的網(wǎng)絡(luò)模型VoxelNet，使用體素特征編碼網(wǎng)絡(luò)代替手工編碼特征，其結(jié)構(gòu)如圖5 所示，體素特征編碼網(wǎng)絡(luò)融合學(xué)習(xí)體素格的逐點(diǎn)特征和局部特征，并將特征輸入到區(qū)域建議網(wǎng)絡(luò)生成三維目標(biāo)邊界框，能實(shí)現(xiàn)較好的檢測(cè)效果，但推理階段實(shí)時(shí)性較差。

圖5 體素特征編碼網(wǎng)絡(luò)Fig.5 Voxel feature encoding network

2018年，Yan等[16]為了提高三維卷積網(wǎng)絡(luò)的運(yùn)算效率，受三維空間的稀疏性以及子流形卷積的啟發(fā)，提出了一種高效的網(wǎng)絡(luò)模型SECOND。該算法通過(guò)改進(jìn)的稀疏卷積提取體素的高維鳥(niǎo)瞰圖特征，并將鳥(niǎo)瞰圖特征輸入到區(qū)域建議網(wǎng)絡(luò)（region proposal net-works，RPN）中生成候選框。該算法由于采用改進(jìn)的稀疏卷積，運(yùn)算速度較快，在后續(xù)的研究中被廣泛使用。

針對(duì)體素化過(guò)程存在量化誤差以及包含三維幾何信息能力有限的難題，He 等[30]設(shè)計(jì)了一種利用點(diǎn)云結(jié)構(gòu)信息提升定位精度的方法，通過(guò)引入輔助網(wǎng)絡(luò)，使骨干網(wǎng)絡(luò)在特征提取時(shí)更加關(guān)注點(diǎn)云的結(jié)構(gòu)信息。針對(duì)一階段的算法預(yù)測(cè)邊界框與分類(lèi)置信度不匹配的問(wèn)題，該算法又引入了局部感知操作，將預(yù)測(cè)框與分類(lèi)置信度對(duì)齊，進(jìn)一步提升檢測(cè)精度。同樣的，Tian等[56]提出了一種感知點(diǎn)云上下文信息的網(wǎng)絡(luò)模型CADNet（context-aware dynamic network），通過(guò)語(yǔ)義上下文信息捕捉點(diǎn)云密度的變化，使用可分解的動(dòng)態(tài)卷積來(lái)學(xué)習(xí)局部語(yǔ)義上下文特征。該網(wǎng)絡(luò)對(duì)目標(biāo)點(diǎn)云的密度變化具有較強(qiáng)的魯棒性。在利用標(biāo)簽數(shù)據(jù)提高檢測(cè)的精度方面，Shi 等[33]提出了利用標(biāo)簽內(nèi)部信息來(lái)完成檢測(cè)的網(wǎng)絡(luò)模型Part-A2net（partaware and part-aggregation network）。該網(wǎng)絡(luò)分為局部感知和局部聚合階段兩個(gè)階段。第一階段，使用稀疏卷積對(duì)體素進(jìn)行特征提取，并結(jié)合標(biāo)注框的局部位置以及前景信息生成高質(zhì)量的建議框。第二階段，對(duì)RoI 池化特征與局部體素特征進(jìn)行融合，最后基于融合特征對(duì)候選框進(jìn)行修正操作。該網(wǎng)絡(luò)在檢測(cè)準(zhǔn)確率上有明顯提升。

由于點(diǎn)云稀疏和易受噪聲干擾的特性，如何有效地編碼點(diǎn)云信息，進(jìn)而增強(qiáng)體素特征仍然是有待研究的問(wèn)題。2020年，Zhu等[57]提出了一種新型的三維形狀特征編碼方式。該方法首先通過(guò)對(duì)稱(chēng)補(bǔ)齊、凸包計(jì)算以及切比雪夫擬合操作，獲到點(diǎn)云的形狀編碼特征，然后根據(jù)形狀編碼特征對(duì)相似的形狀進(jìn)行組合。該方法在NuScenes數(shù)據(jù)集[58]上取得了不錯(cuò)的識(shí)別效果。Lang等[49]提出了基于柱體的點(diǎn)云編碼方法。該方法首先使用若干個(gè)柱體對(duì)點(diǎn)云進(jìn)行劃分，其次提取每個(gè)柱體內(nèi)的點(diǎn)云特征并將其編碼成偽圖像，最后在偽圖像上回歸目標(biāo)預(yù)測(cè)框。該方法不僅能實(shí)現(xiàn)較快的運(yùn)行速度，并且其準(zhǔn)確率能與SECOND[16]相匹敵。為了緩解噪聲對(duì)算法的干擾，Liu 等[31]提出了單階段的三維目標(biāo)檢測(cè)網(wǎng)絡(luò)TANet（triple attention network）。該網(wǎng)絡(luò)使用三個(gè)注意力模塊增強(qiáng)目標(biāo)的關(guān)鍵信息，同時(shí)抑制不穩(wěn)定的點(diǎn)云。并且采用粗到細(xì)的回歸模型，在不增加計(jì)算開(kāi)銷(xiāo)的情況下提高了定位精度。

受二維目標(biāo)檢測(cè)中無(wú)錨框檢測(cè)器CenterNet[52]的啟發(fā)，在三維目標(biāo)檢測(cè)中使用無(wú)錨框的方法可以有效地減少計(jì)算量，進(jìn)一步提高算法的實(shí)時(shí)性能。2020年，Chen等[59]提出了無(wú)錨框的網(wǎng)絡(luò)模型Hotspots。該方法將目標(biāo)框內(nèi)的非空體素稱(chēng)為熱點(diǎn)，并將每個(gè)熱點(diǎn)分配到合適的類(lèi)中。這種處理方式能夠有效地對(duì)物體的三維形狀和幾何信息進(jìn)行編碼，并對(duì)點(diǎn)云數(shù)量較少的目標(biāo)也具有良好的檢測(cè)效果和實(shí)時(shí)性。PointPillar[49]驗(yàn)證了在偽圖像上進(jìn)行三維目標(biāo)檢測(cè)的有效性，因此可以結(jié)合CenterNet 中將物體視作為中心點(diǎn)的概念，將三維目標(biāo)視作在偽圖像下的一個(gè)中心點(diǎn)?；谶@種思想，Ge 等[60]也提出了無(wú)錨框的網(wǎng)絡(luò)模型AFDet（anchor free detection）。該算法首先使用PointPillar 作為骨干網(wǎng)絡(luò)，將點(diǎn)云轉(zhuǎn)換成偽圖像。其次對(duì)偽圖像特征分別回歸目標(biāo)中心、目標(biāo)中心偏移、目標(biāo)z軸位置、三維邊界框大小以及方向五個(gè)特征。最后對(duì)于每一個(gè)目標(biāo)，預(yù)測(cè)一個(gè)三維邊界框。該算法不需要使用非極大值抑制操作，減少了運(yùn)算量。類(lèi)似的，2021年Yin等[61]也提出了一種無(wú)錨框的方法CenterPoint。該方法也使用PointPillar作為骨干網(wǎng)絡(luò)來(lái)對(duì)點(diǎn)云進(jìn)行偽圖像編碼操作，不同的是，CenterPoint使用高斯核散射來(lái)生成熱值中心圖，并且在熱值中心圖上回歸目標(biāo)中心、目標(biāo)z軸位置、三維預(yù)測(cè)框大小以及方向。實(shí)驗(yàn)結(jié)果表明，該方法在兩大數(shù)據(jù)集Waymo[62]、NuScenes[58]上能達(dá)到最佳的準(zhǔn)確率。針對(duì)物體中心點(diǎn)可能會(huì)出現(xiàn)遠(yuǎn)離目標(biāo)邊界，產(chǎn)生三維目標(biāo)框偏差的問(wèn)題，Wang 等[63]引入輔助角注意力模塊來(lái)預(yù)測(cè)物體角點(diǎn)。該方法使骨干網(wǎng)絡(luò)更關(guān)注目標(biāo)的邊界，讓生成的中心熱值特征更具代表性且回歸的預(yù)測(cè)框更精準(zhǔn)。

由于存在空間遮擋以及在不同距離下點(diǎn)密度變化較大的問(wèn)題，Kuang 等[64]提出Voxel-FPN 網(wǎng)絡(luò)。該網(wǎng)絡(luò)首先利用多尺度分割點(diǎn)云數(shù)據(jù)，隨后分別使用VEFFPN（voxel feature encoding-feature pyramid networks）及RPN-FPN（region proposal network-feature pyramid networks）提取并集成不同尺度的體素特征，以抵擋點(diǎn)密度變化大的問(wèn)題。類(lèi)似的，Hu 等[65]提出點(diǎn)密度感知體素網(wǎng)絡(luò)（point density-aware voxels，PDV）來(lái)捕捉點(diǎn)云密度的變化。PDV通過(guò)體素點(diǎn)質(zhì)心定位體素特征，并通過(guò)密度感知RoI網(wǎng)格池化模塊聚合空間局部體素特征，實(shí)現(xiàn)對(duì)密度變化的有效感知。而Ye等[66]針對(duì)體素格尺寸參數(shù)選擇的問(wèn)題，設(shè)計(jì)了混合尺度體素網(wǎng)絡(luò)（hybrid voxel network，HVNet）。該方法將混合尺度體素中的點(diǎn)聚合到全局上下文中，并投影到動(dòng)態(tài)目標(biāo)尺度的特征上。該方法避免了體素尺寸參數(shù)選擇難的問(wèn)題，且能實(shí)現(xiàn)較高的識(shí)別準(zhǔn)確率與運(yùn)行速度。

通常三維目標(biāo)檢測(cè)算法將目標(biāo)定位以及分類(lèi)視為兩個(gè)單獨(dú)的任務(wù)，因此會(huì)出現(xiàn)定位準(zhǔn)確度和分類(lèi)置信度不匹配的情況。Zheng 等[67]提出了CIA-SSD（confident IoU-aware single stage detector）網(wǎng)絡(luò)模型。該算法設(shè)計(jì)輕量的空間語(yǔ)義特征聚合模塊自適應(yīng)地融合高層語(yǔ)義及底層空間特征，使用IoU感知置信度修正模塊對(duì)預(yù)測(cè)進(jìn)行修正，實(shí)現(xiàn)準(zhǔn)確預(yù)測(cè)邊界框以及分類(lèi)置信度。最后使用基于多距離IoU 加權(quán)的非極大值抑制獲得預(yù)測(cè)框。許多基于體素的方法都參考二維檢測(cè)的下采樣操作，而Fan等[68]認(rèn)為下采樣對(duì)于三維場(chǎng)景并不適用，并提出了單步長(zhǎng)的網(wǎng)絡(luò)模型SST（single stride transformer）。借鑒Transformer 架構(gòu)，他們還提出了稀疏區(qū)域注意模塊來(lái)解決單步長(zhǎng)網(wǎng)絡(luò)感受野不足的情況，且與點(diǎn)云的稀疏特性很好地配合，避免了過(guò)高的計(jì)算消耗。該方法在所有單階段檢測(cè)算法中實(shí)現(xiàn)了最佳性能。

1.4 基于多模態(tài)融合的檢測(cè)方法

基于激光點(diǎn)云不同表示形式的三維目標(biāo)檢測(cè)方法各有優(yōu)劣，單一類(lèi)型數(shù)據(jù)難以實(shí)現(xiàn)精確高效的檢測(cè)。為此，將具有互補(bǔ)特性的多種數(shù)據(jù)進(jìn)行融合以增強(qiáng)感知能力，成為新興的研究主題。

1.4.1 點(diǎn)云與視圖融合

基于視圖的方法可以獲取顏色、紋理信息，但較難從視圖直接獲取空間中目標(biāo)的幾何信息；而基于點(diǎn)云的方法可以獲取空間中目標(biāo)的幾何信息，但缺乏視圖所擁有的顏色、紋理信息。紋理、顏色信息有助于對(duì)目標(biāo)的檢測(cè)與分類(lèi)，而空間幾何信息對(duì)于目標(biāo)的準(zhǔn)確定位有著至關(guān)重要的作用。因此一些三維目標(biāo)檢測(cè)方法通過(guò)視圖、點(diǎn)云融合的方案來(lái)提高整體的檢測(cè)性能。

2017 年，Chen 等[18]率先提出了多模態(tài)數(shù)據(jù)融合的網(wǎng)絡(luò)模型MV3D。如圖6 所示，該網(wǎng)絡(luò)以鳥(niǎo)瞰圖、前景圖、RGB圖像作為輸入源，使用多個(gè)分支的卷積神經(jīng)網(wǎng)絡(luò)分別提取特征圖，并利用鳥(niǎo)瞰圖特征生成一系列精準(zhǔn)的候選框，隨后將候選框投影到各個(gè)視圖的特征圖中。多個(gè)分支聚合特征的融合策略能有效融合不同層次的特征，有助于提高網(wǎng)絡(luò)的檢測(cè)性能。然而僅在鳥(niǎo)瞰圖上進(jìn)行區(qū)域建議框的生成只對(duì)某些類(lèi)別的目標(biāo)有效，對(duì)于尺寸較小的物體就很難體現(xiàn)其檢測(cè)效果。Ku等[69]提出了一種對(duì)不同模態(tài)數(shù)據(jù)進(jìn)行早融合的網(wǎng)絡(luò)模型AVOD（aggregation view object detection）。不同于MV3D，在AVOD的區(qū)域建議網(wǎng)絡(luò)中，輸入源是RGB 圖像與鳥(niǎo)瞰圖。由于同時(shí)使用RGB 圖像特征和鳥(niǎo)瞰圖特征，對(duì)行人和自行車(chē)類(lèi)別的檢測(cè)效果有明顯提高。而Xu等[70]提出將點(diǎn)云全局特征及圖像特征進(jìn)行拼接，并在此基礎(chǔ)上預(yù)測(cè)三維邊界框的8 個(gè)頂點(diǎn)及其偏移量。該方法對(duì)尺寸較小物體的檢測(cè)效果有所提高。

為了使RGB圖像與點(diǎn)云更好地融合，2018年，Qi等[71]提出使用視錐體的方法來(lái)進(jìn)行檢測(cè)。該方法首先在圖像上生成二維的區(qū)域候選框，并結(jié)合深度圖在原始的點(diǎn)云數(shù)據(jù)上生成視錐體區(qū)域建議。最后使用PointNet 在視錐體候選區(qū)域中進(jìn)行目標(biāo)分割以及預(yù)測(cè)框的回歸。但該方法對(duì)前景點(diǎn)分割效果的好壞比較敏感。Wang 等[72]針對(duì)此缺點(diǎn)，提出了基于滑動(dòng)視錐體的網(wǎng)絡(luò)模型Frustum ConvNet。不同之處在于，該方法對(duì)每個(gè)二維建議框都沿視錐軸方向生成視錐體序列。實(shí)驗(yàn)結(jié)果表明，該方法的檢測(cè)精度相較于Frustum PointNets 有進(jìn)一步的提升。為避免圖像投影的空間信息損失，Liang等[73]提出了將RGB圖像特征投影到鳥(niǎo)瞰圖中的方法。受深度參數(shù)連續(xù)卷積[74]的啟發(fā)，使用多層感知機(jī)作為連續(xù)卷積的參數(shù)化核函數(shù)，提取與鳥(niǎo)瞰圖像素對(duì)應(yīng)的點(diǎn)云特征，并與RGB 圖像特征在不同尺度下進(jìn)行融合，能有效避免空間信息的丟失。Xie 等[75]沿用了連續(xù)卷積的思路，提出了注意連續(xù)卷積來(lái)融合點(diǎn)云與RGB 圖像，通過(guò)相機(jī)標(biāo)定參數(shù)可以找到點(diǎn)云對(duì)應(yīng)圖像中的語(yǔ)義特征，再結(jié)合點(diǎn)云的幾何特征，使用注意連續(xù)卷積來(lái)進(jìn)行特征的融合。該方法還能有效避免視角差異及量化誤差帶來(lái)的特征表達(dá)能力不足的問(wèn)題。而Huang等[76]則提出LI-Fusion 模塊，自適應(yīng)地估計(jì)點(diǎn)云與圖像語(yǔ)義信息的相關(guān)程度，建立原始點(diǎn)云與圖像之間的關(guān)系，相關(guān)度大的語(yǔ)義特征用以增強(qiáng)點(diǎn)特征的提取。同樣為了建立點(diǎn)云與圖像的關(guān)系，2020 年Vora等[77]提出了PointPainting 網(wǎng)絡(luò)模型。該網(wǎng)絡(luò)將點(diǎn)云投影到圖像語(yǔ)義分割網(wǎng)絡(luò)中，并將類(lèi)別分?jǐn)?shù)附加到每個(gè)點(diǎn)上作為信息的增強(qiáng)。該增強(qiáng)的點(diǎn)云對(duì)各類(lèi)檢測(cè)算法的識(shí)別效果均有提高。盡管PointPainting 有突破性的改進(jìn)，但Wang 等[78]認(rèn)為圖像的高維特征比分割分?jǐn)?shù)更適合與點(diǎn)云融合，并提出了跨模態(tài)的網(wǎng)絡(luò)模型PointAugmenting。該網(wǎng)絡(luò)首先將點(diǎn)云投影到圖像上，并附加點(diǎn)云特征，隨后在CenterPoint[61]的基礎(chǔ)上添加了圖像特征的處理，將圖像及點(diǎn)云特征轉(zhuǎn)換為鳥(niǎo)瞰圖表示并進(jìn)行特征融合。該方法在NuScenes 數(shù)據(jù)集上測(cè)試，其平均準(zhǔn)確率比最佳的方法CenterPoint高出了6.5%。2022年，Zhang等[79]借助了Transformer 思想，提出針對(duì)多模態(tài)的對(duì)比增強(qiáng)Transformer 網(wǎng)絡(luò)模型CAT-Det（contrastively augmented transformer detection）。該網(wǎng)絡(luò)采用Pointformer與Imageformer雙分支編碼點(diǎn)云與視圖模式內(nèi)的長(zhǎng)距離上下文特征，并通過(guò)跨模態(tài)Transformer 模塊融合點(diǎn)云與視圖模式間的特征，以實(shí)現(xiàn)多模態(tài)信息的充分融合。除了使用RGB 圖像，Gu 等[80]提出了點(diǎn)云與范圍圖融合的高效檢測(cè)網(wǎng)絡(luò)CVFNet（cross view features network）。該網(wǎng)絡(luò)通過(guò)堆疊點(diǎn)-范圍特征融合模塊對(duì)點(diǎn)云及范圍圖進(jìn)行充分的特征融合，并將融合特征組織成偽圖像的形式實(shí)現(xiàn)檢測(cè)。該方法在精度與速度上有較大的提升。

單一模態(tài)的方法往往較難解決遠(yuǎn)處點(diǎn)云稀疏以及目標(biāo)尺度變化大所帶來(lái)的影響，基于此問(wèn)題，Zhao等[81]提出了尺度不變和特征加權(quán)網(wǎng)絡(luò)（scale invariant feature reweighting network，SIFRNet）。該網(wǎng)絡(luò)利用前視圖以及視錐體內(nèi)點(diǎn)云作為輸入，并通過(guò)實(shí)例分割網(wǎng)絡(luò)及點(diǎn)云變換網(wǎng)絡(luò)分別學(xué)習(xí)不同方向的信息及點(diǎn)云旋轉(zhuǎn)帶來(lái)的全局特征變化。Lu 等[82]提出了空間通道注意力網(wǎng)絡(luò)（spatial channel attention network，SCANet）來(lái)應(yīng)對(duì)尺度的變化。該網(wǎng)絡(luò)通過(guò)引入空間通道注意力模塊來(lái)獲取場(chǎng)景中全局和多尺度信息。他們也提出了一種擴(kuò)展空間上采樣模塊，通過(guò)結(jié)合多尺度低維特征獲取具有豐富空間信息的高維特征，從而生成可靠的三維建議框。

對(duì)于點(diǎn)云稀疏的區(qū)域，一些融合方法[15-16,66-67]會(huì)因此受到限制，導(dǎo)致融合效果較差。Liang 等[83]提出了一種多任務(wù)的融合網(wǎng)絡(luò)MMF（multi-task multi-sensor fusion）。該網(wǎng)絡(luò)通過(guò)地面估計(jì)和深度補(bǔ)全來(lái)生成密集的偽點(diǎn)云，并建立點(diǎn)云與視圖特征之間的密集對(duì)應(yīng)關(guān)系，實(shí)現(xiàn)準(zhǔn)確的跨模態(tài)特征表示。實(shí)驗(yàn)結(jié)果表明，該方法對(duì)點(diǎn)云稀疏區(qū)域的識(shí)別準(zhǔn)確率提升明顯。

1.4.2 體素與視圖融合

將體素化的點(diǎn)云與視圖結(jié)合，可以有效地解決點(diǎn)云體素化時(shí)出現(xiàn)的量化誤差問(wèn)題。2020 年，Zhou等[84]提出了鳥(niǎo)瞰圖結(jié)合透視圖進(jìn)行動(dòng)態(tài)體素化的方法和多視圖融合的網(wǎng)絡(luò)模型MVF（multi-view versatile framework），通過(guò)將鳥(niǎo)瞰圖和透視圖動(dòng)態(tài)體素化，建立點(diǎn)與體素之間的雙向映射。多視圖融合結(jié)構(gòu)使得每個(gè)點(diǎn)從不同視角融合上下文信息，從而提高了檢測(cè)的精度。受MVF啟發(fā)，Wang等[85]提出了使用點(diǎn)云兩種表達(dá)的方法。該方法通過(guò)柱面坐標(biāo)系對(duì)點(diǎn)云進(jìn)行投影，目的是消除透視畸變效應(yīng)。為了緩解空間混淆效應(yīng)，使用雙線性插值方法將在視圖中學(xué)習(xí)到的特征投影回點(diǎn)中。最后該算法使用一個(gè)高效的無(wú)錨框網(wǎng)絡(luò)取代MVF 中基于錨框的區(qū)域建議網(wǎng)絡(luò)，算法性能比MVF 有明顯優(yōu)勢(shì)。2022 年，F(xiàn)azlali 等[86]提出一種多任務(wù)框架，通過(guò)在范圍圖上完成全景分割，增強(qiáng)了體素化后投影在鳥(niǎo)瞰平面上的特征，彌補(bǔ)了投影視圖的缺點(diǎn)，也進(jìn)一步結(jié)合前景語(yǔ)義信息簡(jiǎn)化了檢測(cè)任務(wù)。

1.4.3 點(diǎn)云與體素融合

基于體素的方法計(jì)算效率高，但會(huì)丟失信息，導(dǎo)致定位精度差，而基于點(diǎn)的方法雖然計(jì)算消耗大，但可以獲取較大的感受野，兩類(lèi)算法正好互補(bǔ)。2020年，Shi等[32]結(jié)合了點(diǎn)云與體素的優(yōu)點(diǎn)，提出了一種高性能的網(wǎng)絡(luò)模型PV-RCNN（point voxel-region convolutional neural network）。該網(wǎng)絡(luò)主要分為兩個(gè)階段：第一階段，對(duì)體素化的點(diǎn)云學(xué)習(xí)多尺度特征并生成三維候選框；第二階段，通過(guò)體素集抽取模塊，將各個(gè)神經(jīng)層的特征連接起來(lái)并總結(jié)成關(guān)鍵點(diǎn)信息，利用關(guān)鍵點(diǎn)修正建議框，獲得三維目標(biāo)預(yù)測(cè)。由于該算法在各大數(shù)據(jù)集都能獲得不錯(cuò)的性能，成為了后續(xù)各類(lèi)算法對(duì)比的基線網(wǎng)絡(luò)。為了進(jìn)一步提高實(shí)時(shí)性，2021 年，Noh 等[87]提出了融合體素與點(diǎn)云的單階段網(wǎng)絡(luò)，與PV-RCNN 不同的是，其點(diǎn)云特征是引入一個(gè)預(yù)先存儲(chǔ)好點(diǎn)云原型特征的模塊，并在訓(xùn)練階段根據(jù)當(dāng)前點(diǎn)云特征與原型特征的相似情況，對(duì)模塊的原型特征進(jìn)行動(dòng)態(tài)的更新，這減少了在推理階段所消耗的時(shí)間。Miao等[88]指出圖像中上下文信息主要出現(xiàn)在物體的邊界和內(nèi)部，而在點(diǎn)云中主要分布在目標(biāo)邊界。為了有效提取目標(biāo)邊界，Miao 等提出了基于點(diǎn)云、體素、網(wǎng)格特征融合的單階段網(wǎng)絡(luò)PVGNet（point voxel grid network）。該網(wǎng)絡(luò)使用一個(gè)統(tǒng)一的骨干網(wǎng)絡(luò)提取點(diǎn)云、體素以及網(wǎng)格級(jí)別的特征，這有助于保留點(diǎn)云中物體的輪廓點(diǎn)。而Qian等[89]提出在候選框之間進(jìn)行交互迭代，使用由粗到細(xì)的方式，在候選框內(nèi)構(gòu)造局部鄰域圖實(shí)現(xiàn)對(duì)邊界的感知。

1.5 小結(jié)

1.5.1 基于原始點(diǎn)云的檢測(cè)方法

基于原始點(diǎn)云的檢測(cè)方法，多數(shù)基于PointNet、PointNet++網(wǎng)絡(luò)模型直接對(duì)點(diǎn)云進(jìn)行特征的學(xué)習(xí)，并利用學(xué)習(xí)到的特征完成對(duì)點(diǎn)的分類(lèi)以及邊界框的回歸估計(jì)任務(wù)。表1 對(duì)基于原始點(diǎn)云的方法進(jìn)行了分析與總結(jié)。從表中的總結(jié)可以看出，基于原始點(diǎn)云的方法通常在點(diǎn)云采樣及點(diǎn)云特征的學(xué)習(xí)兩方面進(jìn)行改進(jìn)。這兩方面也是限制該類(lèi)算法檢測(cè)性能的主要原因：增加點(diǎn)云的采樣數(shù)量可以增強(qiáng)對(duì)目標(biāo)的表征，但會(huì)帶來(lái)計(jì)算上的消耗；使用圖、注意力機(jī)制等操作可以增強(qiáng)對(duì)點(diǎn)云間幾何關(guān)系的學(xué)習(xí)，但要考慮算法整體的運(yùn)行效率。由于激光雷達(dá)掃描得到的點(diǎn)云存在分布不均的情況，往往會(huì)導(dǎo)致點(diǎn)云密度高的區(qū)域存在過(guò)采樣，而稀疏的區(qū)域存在欠采樣的現(xiàn)象，因此點(diǎn)云采樣是基于原始點(diǎn)云方法處理流程中的關(guān)鍵一步。并且當(dāng)前的點(diǎn)云采樣算法難以做到高度的并行處理，對(duì)算法的實(shí)時(shí)性會(huì)產(chǎn)生較大影響。如何以較低的計(jì)算復(fù)雜度對(duì)整個(gè)場(chǎng)景做到均勻采樣，還需要進(jìn)行深入的研究。而對(duì)于采樣點(diǎn)之間的特征學(xué)習(xí)，在不影響整體算法運(yùn)行效率的情況下，如何有效地挖掘點(diǎn)云之間的幾何關(guān)系還有待更多地探索。

表1 基于原始點(diǎn)云方法的分析與總結(jié)Table 1 Analysis and summary of methods based on point cloud

此外，當(dāng)前的三維目標(biāo)檢測(cè)框架大多是完全監(jiān)督的學(xué)習(xí)方式，需要依賴(lài)于大量的手工標(biāo)注數(shù)據(jù)，與二維圖像數(shù)據(jù)相比，對(duì)三維場(chǎng)景中的目標(biāo)進(jìn)行標(biāo)注需要耗費(fèi)大量的時(shí)間。借鑒弱監(jiān)督學(xué)習(xí)在二維圖像領(lǐng)域的應(yīng)用，在三維目標(biāo)檢測(cè)中使用弱監(jiān)督學(xué)習(xí)可以有效減少標(biāo)注三維標(biāo)簽的成本。表2 對(duì)基于點(diǎn)云的弱監(jiān)督三維目標(biāo)檢測(cè)算法進(jìn)行了分析與總結(jié)。

表2 基于點(diǎn)云的弱監(jiān)督方法分析與總結(jié)Table 2 Analysis and summary of weakly supervised methods based on point cloud

雖然WS3D 使用少量精準(zhǔn)的三維標(biāo)注和二維標(biāo)注能實(shí)現(xiàn)有競(jìng)爭(zhēng)力的性能效果，但依然需要使用三維標(biāo)注信息。而VS3D、FGR都只通過(guò)二維標(biāo)注來(lái)實(shí)現(xiàn)弱監(jiān)督，但這兩種方法的效果依賴(lài)于二維檢測(cè)器的性能。BR對(duì)室內(nèi)的弱監(jiān)督三維目標(biāo)檢測(cè)算法做了初步的探索，但所能支持的目標(biāo)類(lèi)別有限，并不能滿足實(shí)際場(chǎng)景識(shí)別的要求。因此，如何使用弱監(jiān)督學(xué)習(xí)的方法高效地對(duì)三維場(chǎng)景進(jìn)行標(biāo)注，還需要深入地探索。

1.5.2 基于點(diǎn)云投影的檢測(cè)方法

一般的，基于點(diǎn)云投影的方法往往使用卷積神經(jīng)網(wǎng)絡(luò)框架對(duì)投影視圖進(jìn)行處理以獲得投影特征，然后通過(guò)尺寸先驗(yàn)條件回歸生成三維邊界框。表3對(duì)基于點(diǎn)云投影的方法進(jìn)行了分析與總結(jié)。將點(diǎn)云投影成前視圖雖然能大大減少計(jì)算的消耗，但在識(shí)別的準(zhǔn)確率上卻不盡如人意，主要是因?yàn)榍耙晥D并不能反映物體的真實(shí)尺度，給物體的準(zhǔn)確定位帶來(lái)的困難。而將點(diǎn)云投影為鳥(niǎo)瞰圖僅壓縮了空間的高度信息，雖然對(duì)目標(biāo)的定位影響較小，但由于激光點(diǎn)云的稀疏性質(zhì)，小目標(biāo)在鳥(niǎo)瞰圖上難以被檢測(cè)。近年來(lái)越來(lái)越多基于點(diǎn)云投影的方法都聚焦于對(duì)范圍圖的處理，范圍圖是一種密集的二維表示，其中每個(gè)像素包含著三維距離信息，一定程度上保留了空間幾何信息。然而使用傳統(tǒng)卷積操作無(wú)法有效地提取范圍圖中的空間幾何信息，如何使用新的算子有效提取范圍圖中的空間幾何信息還有待更多地研究。并且在范圍圖上進(jìn)行目標(biāo)檢測(cè)也會(huì)受到遮擋和尺度變化的影響，因此提取范圍圖特征并在鳥(niǎo)瞰圖上進(jìn)行目標(biāo)檢測(cè)也會(huì)是未來(lái)有待研究的方向。

表3 基于點(diǎn)云投影方法的分析與總結(jié)Table 3 Analysis and summary of methods based on point cloud projection

1.5.3 基于點(diǎn)云體素化的檢測(cè)方法

基于點(diǎn)云體素化的檢測(cè)方法一般將點(diǎn)云離散成三維體素的形式，使用三維稀疏卷積網(wǎng)絡(luò)或全卷積網(wǎng)絡(luò)提取體素特征。表4 對(duì)該類(lèi)方法進(jìn)行了總結(jié)分析。點(diǎn)云體素化的劃分方式主要有體素與體柱兩種。體素劃分即在各軸上都進(jìn)行劃分，其包含了更多的三維結(jié)構(gòu)信息，但會(huì)占用較大的內(nèi)存；而場(chǎng)景中的目標(biāo)在高度上不會(huì)發(fā)生太大的變化，因此出現(xiàn)了體柱的劃分方式，體柱劃分只在x與y軸上進(jìn)行劃分，并在后續(xù)的處理流程中容易轉(zhuǎn)換成二維的鳥(niǎo)瞰圖特征表達(dá)形式，節(jié)省了內(nèi)存的占用。雖然使用體柱的劃分能使算法具有較高的效率，但簡(jiǎn)單地使用二維空間來(lái)表示點(diǎn)云會(huì)丟失較多的三維結(jié)構(gòu)信息。在體素化過(guò)程中，不可避免會(huì)引入量化的誤差，如何選擇合適的劃分尺寸是基于點(diǎn)云體素化方法的一個(gè)關(guān)鍵問(wèn)題。較小的劃分單元意味著更高的分辨率，進(jìn)而能保留更多的細(xì)節(jié)信息，但內(nèi)存也會(huì)隨之增加。而由于激光點(diǎn)云的稀疏性質(zhì)，點(diǎn)云體素化過(guò)程中會(huì)存在許多空體素，這會(huì)降低卷積處理的效率，導(dǎo)致更高的計(jì)算消耗。因此，如何高效地使用卷積神經(jīng)網(wǎng)絡(luò)處理稀疏體素?cái)?shù)據(jù)需要更多研究。此外，如何對(duì)體素中點(diǎn)的幾何信息進(jìn)行有效的編碼也是該類(lèi)方法未來(lái)的研究方向。

表4 基于點(diǎn)云體素化方法的分析與總結(jié)Table 4 Analysis and summary of methods based on point cloud voxelization

1.5.4 基于多模態(tài)融合的檢測(cè)方法

基于多模態(tài)融合的檢測(cè)方法可以分為點(diǎn)云與視圖、點(diǎn)云與體素、體素與視圖三種。大致的處理流程是使用多種數(shù)據(jù)融合的網(wǎng)絡(luò)架構(gòu)處理不同的數(shù)據(jù)并生成三維邊界框。表5 對(duì)基于融合的方法進(jìn)行了總結(jié)。點(diǎn)云與視圖融合，通常分為三類(lèi)：早融合、中融合與晚融合。早融合即在輸入到融合網(wǎng)絡(luò)前，通過(guò)視圖信息對(duì)點(diǎn)云進(jìn)行增強(qiáng)；中融合使用骨干網(wǎng)絡(luò)對(duì)點(diǎn)云與視圖進(jìn)行特征提取，隨后將特征輸入到融合網(wǎng)絡(luò)中；晚融合則首先使用現(xiàn)有的檢測(cè)器對(duì)點(diǎn)云及視圖中的目標(biāo)進(jìn)行檢測(cè)，并對(duì)兩種檢測(cè)結(jié)果進(jìn)行融合。早融合與晚融合的方式兼容性較好，可以適應(yīng)大多數(shù)基于點(diǎn)云的檢測(cè)算法；中融合則利用不同模態(tài)之間的特征，實(shí)現(xiàn)模態(tài)間特征的交融。但早融合與晚融合需要加入二維目標(biāo)檢測(cè)或語(yǔ)義分割網(wǎng)絡(luò)，因此會(huì)帶來(lái)更多的內(nèi)存消耗；而中融合由于點(diǎn)云與視圖在數(shù)據(jù)上的差異，如何有效進(jìn)行對(duì)齊融合還有待進(jìn)一步研究。點(diǎn)云與體素融合，將無(wú)序的點(diǎn)云與有序的體素?cái)?shù)據(jù)結(jié)合起來(lái)，既保留了點(diǎn)云中的形狀結(jié)構(gòu)信息，又實(shí)現(xiàn)了高效的運(yùn)算。然而在點(diǎn)云與體素特征的融合過(guò)程中，點(diǎn)云與體素的相互轉(zhuǎn)換操作會(huì)消耗大量的時(shí)間，并不利于實(shí)時(shí)的檢測(cè)。因此，減少點(diǎn)云與體素特征融合過(guò)程中的計(jì)算消耗是點(diǎn)云與體素融合的一個(gè)關(guān)鍵問(wèn)題。體素與視圖融合，在對(duì)體素高效處理的基礎(chǔ)上加入視圖的特征。這種融合方法雖然具有較好的實(shí)時(shí)性，但二維視圖的引入并沒(méi)有在檢測(cè)性能上有較大的提升，如何使用視圖來(lái)補(bǔ)充點(diǎn)云體素化過(guò)程中丟失的信息，還需要更深入地探索。目前很難有效地對(duì)不同傳感器數(shù)據(jù)進(jìn)行對(duì)齊和融合，如何有效地融合不同傳感器數(shù)據(jù)并能在時(shí)間和空間上進(jìn)行對(duì)齊是不同模態(tài)間融合方法最關(guān)鍵的研究?jī)?nèi)容。而對(duì)于點(diǎn)云模態(tài)下不同表達(dá)之間的融合，仍需要探索各種表達(dá)的優(yōu)勢(shì)以及如何高效地對(duì)各種表達(dá)進(jìn)行有機(jī)的結(jié)合。

表5 基于多模態(tài)融合方法的分析與總結(jié)Table 5 Analysis and summary of methods based on multi-modal fusion

2 數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

數(shù)據(jù)集對(duì)于深度學(xué)習(xí)算法研究是至關(guān)重要的，廣泛、完整和標(biāo)準(zhǔn)的數(shù)據(jù)集通?？梢杂?xùn)練出性能優(yōu)異的深度學(xué)習(xí)模型。深度學(xué)習(xí)能夠取得快速發(fā)展的其中一個(gè)主要原因是建立在大量數(shù)據(jù)的基礎(chǔ)上。因此，本章重點(diǎn)介紹現(xiàn)有三維目標(biāo)場(chǎng)景下的公開(kāi)數(shù)據(jù)集，并給出三維目標(biāo)檢測(cè)的評(píng)判指標(biāo)。

2.1 常用的三維目標(biāo)檢測(cè)數(shù)據(jù)集

KITTI 數(shù)據(jù)集[38]是目前三維目標(biāo)檢測(cè)領(lǐng)域最常用的公開(kāi)數(shù)據(jù)集之一。KITTI數(shù)據(jù)集包含了7 481個(gè)訓(xùn)練數(shù)據(jù)和7 518個(gè)測(cè)試數(shù)據(jù)，其標(biāo)簽將目標(biāo)細(xì)分為“汽車(chē)”“行人”“自行車(chē)”等8 類(lèi)，并提供每個(gè)類(lèi)別的2D 標(biāo)注框與3D 標(biāo)注框。根據(jù)目標(biāo)的大小、距離、遮擋情況，KITTI數(shù)據(jù)集將檢測(cè)難度分為簡(jiǎn)單、中等、困難3個(gè)級(jí)別。

NuScenes 數(shù)據(jù)集[58]是由NuTonomy 與Scale 發(fā)布的大規(guī)模自動(dòng)駕駛數(shù)據(jù)集。該數(shù)據(jù)集包含了激光點(diǎn)云數(shù)據(jù)、圖像數(shù)據(jù)以及毫米波雷達(dá)數(shù)據(jù)。NuScenes數(shù)據(jù)集由1 000 個(gè)場(chǎng)景組成，其中850 個(gè)場(chǎng)景作為訓(xùn)練驗(yàn)證集，另外150個(gè)場(chǎng)景作為測(cè)試集。每個(gè)場(chǎng)景長(zhǎng)度為20 s，有40個(gè)關(guān)鍵幀，并對(duì)每個(gè)關(guān)鍵幀中的目標(biāo)進(jìn)行手工標(biāo)注。NuScenes 數(shù)據(jù)集主要針對(duì)3D 目標(biāo)檢測(cè)任務(wù)，共標(biāo)注了道路場(chǎng)景下23類(lèi)目標(biāo)的3D檢測(cè)框信息，并且標(biāo)注信息可實(shí)現(xiàn)與KITTI集標(biāo)注格式間的轉(zhuǎn)換。相比于KITTI數(shù)據(jù)集，NuScenes數(shù)據(jù)集包含的數(shù)據(jù)規(guī)模更大，另外包含了白天、夜晚以及不同天氣、光照等更多場(chǎng)景狀況的應(yīng)用。

Waymo開(kāi)放數(shù)據(jù)集[62]由Waymo自動(dòng)駕駛汽車(chē)在各種條件下收集的高分辨率傳感器數(shù)據(jù)組成，它與KITTI、NuScenes等數(shù)據(jù)集相比，在傳感器配置、數(shù)據(jù)集大小上都有很大的提升。Waymo數(shù)據(jù)集包含3 000段駕駛記錄，時(shí)長(zhǎng)共16.7 h，平均每段長(zhǎng)度約為20 s。整個(gè)數(shù)據(jù)集一共包含60 萬(wàn)幀，共有大約2 500 萬(wàn)個(gè)3D邊界框、2 200萬(wàn)個(gè)2D邊界框。此外，在數(shù)據(jù)集多樣性上，Waymo也有很大的提升，該數(shù)據(jù)集涵蓋不同的天氣條件，包括白天、夜晚不同的時(shí)間段，市中心、郊區(qū)不同地點(diǎn)，行人、自行車(chē)等不同道路對(duì)象等。

2.2 評(píng)價(jià)指標(biāo)

判斷一個(gè)目標(biāo)檢測(cè)模型的優(yōu)劣，可以從以下三方面進(jìn)行評(píng)估：目標(biāo)檢測(cè)的速度、目標(biāo)定位的精度和目標(biāo)分類(lèi)的精度。

（1）目標(biāo)檢測(cè)的速度，通常采用每秒傳輸幀（frames per second，F(xiàn)PS）來(lái)評(píng)估，即每秒內(nèi)可以處理的數(shù)據(jù)幀數(shù)量，F(xiàn)PS數(shù)值越大，檢測(cè)的實(shí)時(shí)性能越好。

（2）目標(biāo)定位的精度，一般可以使用IoU來(lái)判斷，如式（1）所示，其主要是衡量模型生成的預(yù)測(cè)框與真實(shí)框之間的重疊程度。IoU 越接近1，其定位精度越好，反之越差。

（3）目標(biāo)分類(lèi)的精度，一般可以使用查準(zhǔn)率（precision，P）、查全率（recall，R）以及平均準(zhǔn)確率（average precision，AP）等評(píng)價(jià)指標(biāo)進(jìn)行評(píng)估。通過(guò)設(shè)置IoU 的閾值，可評(píng)估檢測(cè)結(jié)果中的真陽(yáng)性（true positive，TP）、真陰性（true negative，TN）、假陽(yáng)性（false positive，F(xiàn)P）、假陰性（false negative，F(xiàn)N），從而計(jì)算出模型的查準(zhǔn)率P與查全率R，其計(jì)算公式如式（2）、（3）所示。

通過(guò)以查全率為橫坐標(biāo)，查準(zhǔn)率為縱坐標(biāo)，即可繪制P-R曲線。通過(guò)對(duì)P-R曲線進(jìn)行積分，可以得到平均準(zhǔn)確率AP。為了簡(jiǎn)化計(jì)算，KITTI 使用了基于40 個(gè)查全點(diǎn)插值的方法來(lái)計(jì)算平均準(zhǔn)確率[90]。如式（4）所示，其中P代表插值點(diǎn)的查準(zhǔn)率值。AP 越高，表示對(duì)該類(lèi)的檢測(cè)精度越高，AP 可以衡量該模型對(duì)單類(lèi)別檢測(cè)結(jié)果的精度。而對(duì)于多類(lèi)別的整體精度表現(xiàn)，通常使用平均精度均值（mean average precision，mAP）衡量，即對(duì)所有類(lèi)別的平均準(zhǔn)確率進(jìn)行平均。

在三維目標(biāo)檢測(cè)任務(wù)中，雖然AP是用于衡量算法性能的主要指標(biāo)，但其僅僅能衡量物體的檢測(cè)與定位精度，不能對(duì)檢測(cè)結(jié)果的方向進(jìn)行衡量?；诖?，KITTI數(shù)據(jù)集定義了一個(gè)新的指標(biāo)——平均方向類(lèi)似性（average orientation similarity，AOS），用于衡量預(yù)測(cè)框與真實(shí)框的航向角類(lèi)似程度。AOS的計(jì)算方式與AP類(lèi)似，如式（5）、（6）所示。

式中，r代表查全率，為方向相似性，其被定義為所有預(yù)測(cè)框與真實(shí)框余弦距離的歸一化。D(r)表示在查全率r下所有預(yù)測(cè)結(jié)果為正樣本的集合。表示預(yù)測(cè)框航向角與真實(shí)框之間的差。δi為懲罰項(xiàng)，為了防止多個(gè)預(yù)測(cè)框匹配到同一個(gè)真實(shí)框，如果檢出目標(biāo)i已經(jīng)匹配到真實(shí)框，則δi=1，反之，δi=0。

3 討論

基于激光點(diǎn)云的三維目標(biāo)檢測(cè)算法的檢測(cè)性能主要由第2章所介紹的數(shù)據(jù)集及評(píng)價(jià)指標(biāo)來(lái)衡量，盡管會(huì)有不同的評(píng)價(jià)指標(biāo)，但其中都包含對(duì)三維空間中目標(biāo)的檢測(cè)精度及召回率。以下對(duì)基于不同模態(tài)的方法分別進(jìn)行對(duì)比及詳細(xì)分析。

3.1 基于原始點(diǎn)云的方法

基于原始點(diǎn)云的方法通常使用PointNet、Point-Net++或者其改進(jìn)方法作為骨干網(wǎng)絡(luò)提取點(diǎn)云的特征。二階段方法例如PointRCNN[11]、STD[24]、Point-GNN[34]、SE-RCNN[39]，利用點(diǎn)云的高維特征進(jìn)行前景點(diǎn)分割，并基于分割結(jié)果，在前景點(diǎn)生成三維建議框。對(duì)于建議框還需要進(jìn)一步修正，其中STD 在修正階段將點(diǎn)云轉(zhuǎn)換成體素表達(dá)，一定程度上減少了推理時(shí)所消耗的時(shí)間。一階段方法如3DSSD[12]，針對(duì)點(diǎn)云的特征提取網(wǎng)絡(luò)做出了改進(jìn)，由于改進(jìn)了網(wǎng)絡(luò)結(jié)構(gòu)和只進(jìn)行一次回歸，其運(yùn)行速度較快。各種基于原始點(diǎn)云的方法在KITTI 測(cè)試集上的性能指標(biāo)如表6所示，可以看出二階段方法的運(yùn)行速度遜色于一階段方法，并且一階段與二階段方法之間的性能差距較小，近年來(lái)研究也偏向于一階段類(lèi)型的方法。雖然部分方法沒(méi)有對(duì)所有類(lèi)別進(jìn)行完整的測(cè)試，但通過(guò)與其他方法的性能對(duì)比可知，基于原始點(diǎn)云的方法總體上在檢測(cè)準(zhǔn)確率上與其他方法相比有較大的優(yōu)勢(shì)，但在實(shí)時(shí)性方面總體不如基于體素和視圖的方法。

表6 基于原始點(diǎn)云方法的性能指標(biāo)（KITTI數(shù)據(jù)集）Table 6 Performance of methods based on point cloud(KITTI dataset)

3.2 基于點(diǎn)云投影的方法

基于點(diǎn)云投影的方法是將點(diǎn)云數(shù)據(jù)通過(guò)相機(jī)的內(nèi)部參數(shù)進(jìn)行投影。投影為鳥(niǎo)瞰圖的方法如RT3D[14]，這類(lèi)方法使用手工特征生進(jìn)行編碼，并利用二維目標(biāo)檢測(cè)算法完成三維目標(biāo)檢測(cè)，但僅在鳥(niǎo)瞰圖檢測(cè)任務(wù)上達(dá)到較為滿意的效果。

最近一些研究如LaserNet[46]、RangeRCNN[47]等，則是將點(diǎn)云投影為范圍圖。這種視圖蘊(yùn)含著空間幾何信息，而使用傳統(tǒng)的卷積核較難學(xué)習(xí)到這種信息。多數(shù)方法都著手對(duì)卷積核進(jìn)行改進(jìn)，如Range-Det[50]、PPC[48]。除了鳥(niǎo)瞰圖在三維檢測(cè)任務(wù)的表現(xiàn)差強(qiáng)人意以外，對(duì)范圍圖的研究變得流行的另一個(gè)原因是Waymo、NuScenes 數(shù)據(jù)集的公開(kāi)。這些數(shù)據(jù)集的點(diǎn)云數(shù)據(jù)較為密集，使范圍圖中的像素點(diǎn)帶有更多的信息，進(jìn)而能獲得較好的檢測(cè)性能。表7、表8為基于點(diǎn)云投影的方法在兩種數(shù)據(jù)集上的性能指標(biāo)?；谝晥D的方法能實(shí)現(xiàn)較好的實(shí)時(shí)性能，但在準(zhǔn)確率上不如其他方法，其主要原因是受尺度變化的影響。如何解決同一物體在圖像中具有的不同尺度，是一直以來(lái)基于視圖方法需要重點(diǎn)研究的問(wèn)題。

表7 基于點(diǎn)云投影方法的性能指標(biāo)（KITTI數(shù)據(jù)集）Table 7 Performance of methods based on point cloud projection(KITTI dataset)

表8 基于點(diǎn)云投影方法的性能指標(biāo)（Waymo數(shù)據(jù)集）Table 8 Performance of methods based on point cloud projection(Waymo dataset)

3.3 基于點(diǎn)云體素化的方法

基于體素的方法通常將點(diǎn)云數(shù)據(jù)按照固定的尺寸劃分，也有一些方法例如PointPillars[49]、Voxel-FPN[64]等不考慮對(duì)z軸的劃分。盡管劃分方式不同，體素化后的空間都由體素塊組成。在三維目標(biāo)檢測(cè)中，較少使用二進(jìn)制值以及手工制作的方式來(lái)表示體素特征，往往使用VoxelNet[15]提出的體素特征編碼網(wǎng)絡(luò)及其改進(jìn)的方法。而更直接的方式是取體素內(nèi)點(diǎn)云的平均值作為體素特征。三維卷積常常被用來(lái)提取體素的高維特征，而SECOND[16]提出的稀疏卷積的方式，因?yàn)槠溥\(yùn)算效率高而得到沿用。一些方法如HDNet[92]在體素劃分后，將其轉(zhuǎn)換為鳥(niǎo)瞰圖的形式，這些方法雖然能實(shí)現(xiàn)較快的運(yùn)行速度并能在鳥(niǎo)瞰圖上達(dá)到較好的檢測(cè)性能，但對(duì)于三維空間的檢測(cè)表現(xiàn)較差。與之不同的是，多數(shù)方法在使用三維卷積后再進(jìn)行鳥(niǎo)瞰圖的轉(zhuǎn)換，這種策略能夠在檢測(cè)性能與運(yùn)行速度中達(dá)到一種平衡。由表9可以看出，單階段網(wǎng)絡(luò)框架方法的結(jié)果在精度和運(yùn)行速度上都比較平衡。不僅在KITII數(shù)據(jù)集上進(jìn)行方法的驗(yàn)證，部分基于體素的方法也在Waymo 上進(jìn)行了測(cè)試驗(yàn)證，如表10所示。也有二階段網(wǎng)絡(luò)框架的方法如Part-A2[33]、Voxel R-CNN[93]等，通過(guò)修正網(wǎng)絡(luò)提取目標(biāo)的三維形狀信息，用以結(jié)果修正，在增加較少推理時(shí)間的情況下，檢測(cè)性能有進(jìn)一步的改善。

表9 基于點(diǎn)云體素化方法的性能指標(biāo)（KITTI數(shù)據(jù)集）Table 9 Performance of methods based on point cloud voxelization(KITTI dataset)

表10 基于點(diǎn)云體素化方法的性能指標(biāo)（Waymo數(shù)據(jù)集）Table 10 Performance of methods based on point cloud voxelization(Waymo dataset)

3.4 基于多模態(tài)融合的方法

基于多模態(tài)融合的方法旨在對(duì)不同模態(tài)或同一模態(tài)的不同表示進(jìn)行融合，以實(shí)現(xiàn)性能的提升。如MV3D[18]、F-PointNet[71]、AVOD[69]、PointFusion[70]等 方法，在點(diǎn)云數(shù)據(jù)的基礎(chǔ)上，結(jié)合圖像能提供的顏色、紋理信息等來(lái)提升檢測(cè)的性能，對(duì)于點(diǎn)云數(shù)量較少的目標(biāo)以及遠(yuǎn)處的目標(biāo)有較好的識(shí)別效果。除了利用不同傳感器之間的信息，也有方法使用點(diǎn)云的不同模態(tài)進(jìn)行檢測(cè)。如PV-RCNN[32]、HVPR[87]等，使用了原始點(diǎn)云及體素，旨在更有效地學(xué)習(xí)目標(biāo)的三維結(jié)構(gòu)信息。融合的方法根據(jù)融合在處理流程中的位置可以分為特征級(jí)融合和決策級(jí)融合。特征級(jí)融合即對(duì)各模態(tài)的特征進(jìn)行融合，這種融合方式使用各模態(tài)豐富的中間特征，在網(wǎng)絡(luò)中實(shí)現(xiàn)多種模態(tài)的互補(bǔ)融合。但不同傳感器的數(shù)據(jù)會(huì)存在時(shí)空上的差別，且某些模態(tài)的高維特征會(huì)影響檢測(cè)網(wǎng)絡(luò)的性能，這也是一些多模態(tài)融合方法性能不及單模態(tài)的原因。而決策級(jí)融合使用各模態(tài)現(xiàn)有的檢測(cè)網(wǎng)絡(luò)，融合各模態(tài)下的結(jié)果并進(jìn)行預(yù)測(cè)。與特征級(jí)融合相比，決策級(jí)融合網(wǎng)絡(luò)更容易構(gòu)建，并且不需要考慮數(shù)據(jù)同步及對(duì)齊等問(wèn)題，但其性能會(huì)受各模態(tài)檢測(cè)網(wǎng)絡(luò)的限制。基于多模態(tài)融合的方法在KITTI 數(shù)據(jù)集上的性能指標(biāo)如表11所示。為了充分利用各模態(tài)信息，多模態(tài)融合的方法多數(shù)使用二階段網(wǎng)絡(luò)框架，然而這增加了運(yùn)算成本，導(dǎo)致在實(shí)時(shí)性上不及大部分單模態(tài)算法。如何使用一階段網(wǎng)絡(luò)框架提升多模態(tài)融合方法的實(shí)時(shí)性能，還需要更多的研究工作。盡管融合了不同類(lèi)型的數(shù)據(jù)，該類(lèi)方法在識(shí)別準(zhǔn)確率上并沒(méi)有比單模態(tài)方法要突出，主要原因在于不同數(shù)據(jù)間并沒(méi)有進(jìn)行有效的對(duì)齊融合，如何有效融合各類(lèi)數(shù)據(jù)還需要進(jìn)一步地探索。

表11 基于多模態(tài)融合方法的性能指標(biāo)（KITTI數(shù)據(jù)集）Table 11 Performance of methods based on multi-modal fusion(KITTI dataset)

3.5 小結(jié)

對(duì)于三維目標(biāo)檢測(cè)而言，檢測(cè)精度和運(yùn)行速度是重要的指標(biāo)。根據(jù)檢測(cè)方法的網(wǎng)絡(luò)框架，可以分為一階段與二階段方法。一階段、二階段方法在KITTI數(shù)據(jù)集中的平均檢測(cè)率及運(yùn)行速度對(duì)比如圖7、圖8、圖9 所示。一階段方法往往具有良好的實(shí)時(shí)性。對(duì)汽車(chē)類(lèi)別，二階段算法往往能達(dá)到較高的識(shí)別準(zhǔn)確率。這是因?yàn)樵谕染嚯x下，汽車(chē)具有比其他類(lèi)別更多的點(diǎn)云信息，而二階段網(wǎng)絡(luò)框架會(huì)充分利用這些信息對(duì)預(yù)測(cè)進(jìn)行修正。但對(duì)于行人檢測(cè)，一階段及二階段方法都很難實(shí)現(xiàn)較高的平均準(zhǔn)確率。其主要是因?yàn)樾腥说狞c(diǎn)云數(shù)量遠(yuǎn)遠(yuǎn)少于同等距離下汽車(chē)的點(diǎn)云數(shù)量，導(dǎo)致檢測(cè)器難以學(xué)習(xí)其結(jié)構(gòu)特征。

圖7 “汽車(chē)”類(lèi)別性能對(duì)比圖Fig.7 Performance comparison diagram of“Car”

圖8 “行人”類(lèi)別性能對(duì)比圖Fig.8 Performance comparison diagram of“Pedestrian”

圖9 “自行車(chē)”類(lèi)別性能對(duì)比圖Fig.9 Performance comparison diagram of“Cyclist”

通過(guò)各種模態(tài)方法的性能指標(biāo)可以看出，2019年前的算法都在KITTI 數(shù)據(jù)集上進(jìn)行了測(cè)試，由于Waymo、NuScenes數(shù)據(jù)集公開(kāi)時(shí)間較晚，只有最近的一些工作在這兩種數(shù)據(jù)集上進(jìn)行了測(cè)試。多數(shù)檢測(cè)算法只對(duì)數(shù)據(jù)集中的一類(lèi)或兩類(lèi)目標(biāo)檢測(cè)效果較好，而對(duì)所有類(lèi)別都較好的方法實(shí)時(shí)性較差，不適合實(shí)際的應(yīng)用。一些方法僅在汽車(chē)類(lèi)別上進(jìn)行了性能驗(yàn)證，導(dǎo)致不能直觀地體現(xiàn)方法對(duì)不同目標(biāo)識(shí)別的有效性。由于各種新型數(shù)據(jù)集的出現(xiàn)，在不同的數(shù)據(jù)集上進(jìn)行測(cè)試，可以對(duì)方法的有效性進(jìn)行驗(yàn)證。

4 存在的不足及未來(lái)發(fā)展方向

4.1 當(dāng)前三維目標(biāo)檢測(cè)領(lǐng)域存在的不足

盡管三維目標(biāo)檢測(cè)取得了長(zhǎng)足的進(jìn)步，但當(dāng)前三維目標(biāo)檢測(cè)依然存在以下問(wèn)題。

（1）融合方式和融合效率的問(wèn)題。當(dāng)前三維目標(biāo)檢測(cè)不同模態(tài)的數(shù)據(jù)融合存在一定困難，不能充分地利用視覺(jué)語(yǔ)義以及點(diǎn)云空間信息。點(diǎn)云數(shù)據(jù)所表達(dá)的是物體在三維空間中的信息，其結(jié)構(gòu)是無(wú)序的、不規(guī)則的，而視圖是通過(guò)將物理世界投影到二維的相機(jī)平面來(lái)記錄信息，其結(jié)構(gòu)是有序的、規(guī)則的。由于數(shù)據(jù)的維度不一致，當(dāng)需要融合兩個(gè)不同模態(tài)的數(shù)據(jù)時(shí)，不可避免地會(huì)發(fā)生誤差，其融合效率和融合方式都存在挑戰(zhàn)。目前基于深度學(xué)習(xí)的多模態(tài)融合三維目標(biāo)檢測(cè)算法研究仍方興未艾，如何提高不同模態(tài)的融合效率并充分利用各模態(tài)數(shù)據(jù)的優(yōu)勢(shì)，完成三維目標(biāo)檢測(cè)仍需更進(jìn)一步突破。

（2）目標(biāo)被遮擋與截?cái)鄬?dǎo)致無(wú)法對(duì)其進(jìn)行準(zhǔn)確識(shí)別的難題。盡管一些算法能在一定程度上緩解點(diǎn)云被遮擋或截?cái)嗟膯?wèn)題，但仍存在著計(jì)算量大、網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜等問(wèn)題。因此，如何解決激光點(diǎn)云的遮擋與截?cái)鄦?wèn)題，是基于激光點(diǎn)云的三維目標(biāo)檢測(cè)方法進(jìn)一步研究的重點(diǎn)。

（3）高質(zhì)量的數(shù)據(jù)集數(shù)量有限且數(shù)據(jù)多樣性不足的問(wèn)題。相比于二維目標(biāo)檢測(cè)的數(shù)據(jù)集，三維目標(biāo)檢測(cè)的數(shù)據(jù)集數(shù)量仍然很少。在采用數(shù)據(jù)增強(qiáng)方式解決數(shù)據(jù)集樣本偏少，提高神經(jīng)網(wǎng)絡(luò)模型的泛化能力等方面，進(jìn)展不明顯。同時(shí)，當(dāng)前許多三維目標(biāo)檢測(cè)的公開(kāi)數(shù)據(jù)集，大多數(shù)都是在光照、天氣以及路況良好的條件下進(jìn)行采集，數(shù)據(jù)集的多樣性不足。真實(shí)世界往往包含雨、霧、雪等能見(jiàn)度不高的天氣情況或更為復(fù)雜的路況。為了更能反映真實(shí)世界的場(chǎng)景，構(gòu)建具有多樣性的數(shù)據(jù)集是一項(xiàng)亟待解決的工作。

4.2 發(fā)展趨勢(shì)

（1）多模態(tài)融合的三維目標(biāo)檢測(cè)成為主流。三維目標(biāo)檢測(cè)在室外場(chǎng)景的應(yīng)用仍然是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，不同模態(tài)的數(shù)據(jù)有其優(yōu)勢(shì)與劣勢(shì)。視圖數(shù)據(jù)包含豐富的紋理、語(yǔ)義信息，但是缺少深度信息。相反，點(diǎn)云數(shù)據(jù)包含詳細(xì)的深度信息，但是卻缺少紋理、語(yǔ)義信息。在復(fù)雜的室外場(chǎng)景下，空間信息與語(yǔ)義信息對(duì)于目標(biāo)的識(shí)別與定位十分重要，僅靠單一模態(tài)的數(shù)據(jù)往往無(wú)法進(jìn)行精確的檢測(cè)。雖然當(dāng)前激光雷達(dá)傳感器成本較高，但隨著智能機(jī)器人、智能汽車(chē)等智能設(shè)備的普及，激光雷達(dá)傳感器的成本也會(huì)隨之降低。通過(guò)融合激光雷達(dá)、相機(jī)、毫米波雷達(dá)等多種傳感器數(shù)據(jù)來(lái)感知場(chǎng)景目標(biāo)，也逐漸成為現(xiàn)實(shí)復(fù)雜場(chǎng)景的需要。因此，多模態(tài)融合的方法逐漸會(huì)成為新興的研究熱點(diǎn)。

（2）弱監(jiān)督學(xué)習(xí)的三維目標(biāo)檢測(cè)是未來(lái)方向。效果良好的深度學(xué)習(xí)算法往往需要大量帶有標(biāo)注信息的數(shù)據(jù)進(jìn)行訓(xùn)練，高質(zhì)量的數(shù)據(jù)標(biāo)注需要大量的人力和時(shí)間成本，尤其是針對(duì)激光點(diǎn)云這種需要精細(xì)標(biāo)注的數(shù)據(jù)集更為困難。針對(duì)該問(wèn)題，可以引入弱監(jiān)督學(xué)習(xí)進(jìn)行目標(biāo)檢測(cè)，利用大量無(wú)標(biāo)注或者粗糙標(biāo)注的樣本來(lái)進(jìn)行模型的學(xué)習(xí)，這樣能夠有效地利用數(shù)據(jù)，提升模型的性能。研究如何利用弱監(jiān)督學(xué)習(xí)進(jìn)行三維目標(biāo)檢測(cè)，可降低因數(shù)據(jù)集問(wèn)題帶來(lái)的模型精度下降的影響，推動(dòng)三維目標(biāo)檢測(cè)的進(jìn)一步發(fā)展。

（3）對(duì)新型應(yīng)用領(lǐng)域的擴(kuò)展也是未來(lái)的研究趨勢(shì)。雖然當(dāng)前三維目標(biāo)檢測(cè)相關(guān)的研究已取得了巨大進(jìn)步，并在相應(yīng)數(shù)據(jù)集上取得了較好的性能，但其方法主要集中在自動(dòng)駕駛場(chǎng)景。針對(duì)現(xiàn)實(shí)中不同應(yīng)用場(chǎng)景的挑戰(zhàn)，豐富三維目標(biāo)檢測(cè)數(shù)據(jù)集的種類(lèi)，對(duì)提高檢測(cè)方法在實(shí)際應(yīng)用場(chǎng)景的適應(yīng)性具有重要意義。現(xiàn)實(shí)應(yīng)用場(chǎng)景中的挑戰(zhàn)也為未來(lái)的研究提供新的方向，如工業(yè)生產(chǎn)場(chǎng)景下的三維目標(biāo)檢測(cè)、人機(jī)虛擬現(xiàn)實(shí)場(chǎng)景下的高精度三維目標(biāo)檢測(cè)等。因此，未來(lái)將研究新型應(yīng)用場(chǎng)景下的特點(diǎn)并對(duì)方法進(jìn)行優(yōu)化改進(jìn)，以推動(dòng)三維目標(biāo)檢測(cè)的多樣性發(fā)展。

5 結(jié)束語(yǔ)

隨著深度學(xué)習(xí)的快速發(fā)展，基于激光點(diǎn)云的三維目標(biāo)檢測(cè)技術(shù)取得了突破性的進(jìn)展，并在自動(dòng)駕駛、智能機(jī)器人等領(lǐng)域扮演著重要的角色。本文系統(tǒng)總結(jié)了近年來(lái)基于激光點(diǎn)云的三維目標(biāo)檢測(cè)方法及主流的三維目標(biāo)檢測(cè)數(shù)據(jù)集。對(duì)基于激光點(diǎn)云的三維目標(biāo)檢測(cè)算法的評(píng)價(jià)指標(biāo)進(jìn)行說(shuō)明，并對(duì)各類(lèi)算法的性能進(jìn)行對(duì)比分析。根據(jù)目前三維目標(biāo)檢測(cè)算法存在的問(wèn)題，指出了其未來(lái)的發(fā)展方向。隨著基于激光點(diǎn)云的三維目標(biāo)檢測(cè)算法的檢測(cè)精度與速度進(jìn)一步提高，其應(yīng)用領(lǐng)域會(huì)越來(lái)越廣泛。