王文曦，李樂(lè)林，2

1.湖南科技大學(xué)資源環(huán)境與安全工程學(xué)院，湖南 湘潭 411201

2.湖南科技大學(xué)測(cè)繪遙感信息工程湖南省重點(diǎn)實(shí)驗(yàn)室，湖南 湘潭 411201

三維掃描技術(shù)的快速發(fā)展使點(diǎn)云數(shù)據(jù)具備采集成本低、獲取速度快與數(shù)據(jù)精度高等優(yōu)勢(shì)，這為三維點(diǎn)云的研究提供發(fā)展前提。點(diǎn)云數(shù)據(jù)在森林監(jiān)測(cè)[1]、自動(dòng)駕駛[2]、文物保護(hù)[3]、道路標(biāo)示線提取[4]等領(lǐng)域都具有廣泛的應(yīng)用。點(diǎn)云分類能夠有效提取語(yǔ)義信息，但由于其海量多樣、非結(jié)構(gòu)性等特點(diǎn)使得高效利用點(diǎn)云特征進(jìn)行分類成為攝影測(cè)量與遙感領(lǐng)域的研究的熱點(diǎn)。

點(diǎn)云分類指將相同或相似屬性的點(diǎn)劃分到同一點(diǎn)集合的過(guò)程[5]。一般而言，點(diǎn)云分類任務(wù)的基本步驟是提取局部和全局代表性的點(diǎn)特征，并使用學(xué)習(xí)到的特征表示將每個(gè)點(diǎn)分類為預(yù)定義的語(yǔ)義類別。傳統(tǒng)的分類方法基于局部鄰域點(diǎn)的幾何結(jié)構(gòu)，如密度、曲率、粗糙度，開(kāi)發(fā)了各種手工制作的點(diǎn)描述符，選擇合適分類器預(yù)測(cè)點(diǎn)云的語(yǔ)義標(biāo)簽。例如：支持向量機(jī)（support vector machines，SVM）[6-7]、隨機(jī)森林（random forest，RF）[8-10]、JointBoost[11]等。但由于該類方法沒(méi)有充分考慮相鄰點(diǎn)云的聯(lián)系導(dǎo)致噪聲對(duì)分類結(jié)果的影響很大。而后提出的聯(lián)系上下文信息的方法，例如：條件隨機(jī)場(chǎng)（conditional random field，CRF）[12]、馬爾科夫隨機(jī)場(chǎng)（Markov random field，MRF）[13-14]，雖然早期研究在一定程度上能完成點(diǎn)云的分類任務(wù)，但是仍然存在一些問(wèn)題：手工設(shè)計(jì)規(guī)則主要依靠操作人員的專業(yè)能力，主觀性較強(qiáng)；不同的應(yīng)用場(chǎng)景的約束條件各不相同，導(dǎo)致泛化能力和準(zhǔn)確度不理想[15]；以及選擇與組合最優(yōu)分類器的過(guò)程復(fù)雜度高，淺層模型推廣到大型復(fù)雜的真實(shí)場(chǎng)景中存在難度。

近來(lái)計(jì)算機(jī)運(yùn)算能力的迭代更新以及大型三維場(chǎng)景數(shù)據(jù)的出現(xiàn)推動(dòng)了深度學(xué)習(xí)技術(shù)快速發(fā)展，基于人工特征和常見(jiàn)分類器的分類方法已成為經(jīng)典。如今基于深度學(xué)習(xí)的方法研究三維點(diǎn)云稱為主流趨勢(shì)，其優(yōu)勢(shì)在于可以從大量的輸入數(shù)據(jù)中自動(dòng)提取高層特征。起初研究者們提出將原始點(diǎn)云投影到2D圖像中[16-29]，再將其提供至更深層的網(wǎng)絡(luò)。但有些方法仍需要手工構(gòu)造特征來(lái)增強(qiáng)2D 特征圖像的表示，并且由于3D 到2D 轉(zhuǎn)換過(guò)程中的信息丟失，使得分類性能受到限制。為此學(xué)者們從三維數(shù)據(jù)的源頭入手來(lái)解決上述方法帶來(lái)的弊端，Qi等人[30]于2017年首次提出可以直接作用于原始點(diǎn)云的PointNet 網(wǎng)絡(luò)，在點(diǎn)云分類、語(yǔ)義分割及目標(biāo)檢測(cè)方面得到推廣與應(yīng)用。至此直接處理原始輸入點(diǎn)云的研究?jī)?nèi)容成為熱門。近年來(lái)，該類方法的研究方法不斷更新，本文主要從優(yōu)化改進(jìn)多層感知機(jī)（multi-layer perceptron，MLP）[31-37]、卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）[38-47]、圖卷積神經(jīng)網(wǎng)絡(luò)（graph convolution network，GCN）[48-55]以及注意力機(jī)制[56-60]四個(gè)方向進(jìn)行討論。

隨著深度學(xué)習(xí)方法在遙感領(lǐng)域的普及，許多技術(shù)在場(chǎng)景分類、目標(biāo)檢測(cè)、變化等方面取得顯著效果。深度學(xué)習(xí)的優(yōu)勢(shì)在于能夠?qū)崿F(xiàn)自動(dòng)化提取點(diǎn)云特征信息，可以有效規(guī)避傳統(tǒng)算法提取特征時(shí)由于操作人員的主觀因素帶來(lái)的影響。此外，深度學(xué)習(xí)的分類模型泛化能力強(qiáng)，分類精度高，可以推廣應(yīng)用于大型復(fù)雜三維場(chǎng)景中。

目前，已有學(xué)者對(duì)基于深度學(xué)習(xí)的點(diǎn)云分類與分割的算法研究進(jìn)行探討與總結(jié)[61-63]，本文豐富和完善了前人的工作。根據(jù)特征提取方法的不同，梳理總結(jié)了點(diǎn)云分類的具有代表性與性能出色方法的工作原理與關(guān)鍵技術(shù)，歸納最新提出的基于深度學(xué)習(xí)的分類方法。最后展望了點(diǎn)云分類技術(shù)未來(lái)的研究方向。

1 點(diǎn)云數(shù)據(jù)背景介紹

點(diǎn)云（point cloud）是指在相同參考坐標(biāo)系下表示目標(biāo)物體表面特征及空間分布的點(diǎn)。點(diǎn)云數(shù)據(jù)的獲取主要有以下三種方式：一是通過(guò)三維激光掃描儀直接獲取點(diǎn)云數(shù)據(jù)；二是利用攝影測(cè)量的方法對(duì)多張具有一定重疊度的影像進(jìn)行立體匹配獲得三維點(diǎn)云；三是使用RGB-D相機(jī)同時(shí)獲取多幀彩色影像和深度圖并利用相機(jī)內(nèi)參間接生成點(diǎn)云數(shù)據(jù)。獲取的點(diǎn)云數(shù)據(jù)包含了豐富的屬性信息（如三維坐標(biāo)、顏色、強(qiáng)度值和入射方向等），且點(diǎn)之間沒(méi)有明顯的關(guān)聯(lián)。

1.1 點(diǎn)云特征

（1）點(diǎn)云的無(wú)序性

不同于像素規(guī)則排列的二維圖像，點(diǎn)云數(shù)據(jù)則是無(wú)序點(diǎn)的集合。使用不同的設(shè)備和位置獲取采集目標(biāo)，會(huì)得到排列順序千差萬(wàn)別的點(diǎn)云數(shù)據(jù)。當(dāng)采用不同順序讀入n個(gè)點(diǎn)云時(shí)，其組合方式就有n！種。點(diǎn)云的無(wú)序性使其與2D 圖片卷積存在差異。2D 圖像中各點(diǎn)具有固定位置，而點(diǎn)云的位置順序則存在很多種可能。對(duì)不同位置點(diǎn)云進(jìn)行卷積算，結(jié)果會(huì)受點(diǎn)云的輸入順序的影響。文獻(xiàn)[30，41，49]方法通過(guò)對(duì)稱函數(shù)、構(gòu)造卷積算子或利用圖與樹(shù)的結(jié)構(gòu)為解決點(diǎn)云的無(wú)序性做出貢獻(xiàn)。

（2）點(diǎn)云的稀疏性

真實(shí)三維場(chǎng)景中包含多種不同類別的物體，因此其對(duì)應(yīng)的點(diǎn)云數(shù)據(jù)的空間屬性也各不相同。通過(guò)不同方式獲取到物體的點(diǎn)云數(shù)據(jù)在密度、點(diǎn)數(shù)以及點(diǎn)間距離都具有一定的差別。三維點(diǎn)云的不規(guī)則結(jié)構(gòu)會(huì)導(dǎo)致某些區(qū)域的過(guò)采樣和欠采樣，這在網(wǎng)絡(luò)中更新內(nèi)核時(shí)會(huì)給過(guò)采樣的區(qū)域增加增加過(guò)多的權(quán)重，反之亦然。因此不同密度的點(diǎn)云的處理是研究點(diǎn)云分類策略的重點(diǎn)之一。在網(wǎng)絡(luò)中嵌入密度模塊[31，47，60]的方法可以在一定程度上解決點(diǎn)云密度不均的問(wèn)題。

（3）點(diǎn)云的非結(jié)構(gòu)化

常規(guī)的卷積神經(jīng)網(wǎng)絡(luò)可以有效地處理結(jié)構(gòu)化的二維圖像數(shù)據(jù)，但將無(wú)結(jié)構(gòu)的點(diǎn)云數(shù)據(jù)直接輸入到神經(jīng)卷積網(wǎng)絡(luò)模型中往往比較困難。早期學(xué)者會(huì)將點(diǎn)云數(shù)據(jù)轉(zhuǎn)化為體素格網(wǎng)或者多視圖。雖然該類方法在分類方面取得一定的成效，但僅僅進(jìn)行簡(jiǎn)單的轉(zhuǎn)換會(huì)增加不必要的計(jì)算，導(dǎo)致結(jié)果數(shù)據(jù)占用量大甚至丟失重要信息。從近年的研究來(lái)看，許多學(xué)者借助圖卷積神經(jīng)網(wǎng)絡(luò)處理非結(jié)構(gòu)化數(shù)據(jù)的能力，對(duì)其加以改進(jìn)來(lái)還原點(diǎn)云數(shù)據(jù)的拓?fù)湫畔ⅰ?/p>

（4）點(diǎn)云數(shù)據(jù)多樣性與信息有限性

現(xiàn)實(shí)物體的形狀千差萬(wàn)別導(dǎo)致采集到的點(diǎn)云數(shù)據(jù)尺度差距大，因此如何構(gòu)建能夠處理不同尺度的點(diǎn)云模型成為亟待解決的問(wèn)題。在三維空間中點(diǎn)云數(shù)據(jù)是點(diǎn)坐標(biāo)的集合，是對(duì)物體的低分辨率采樣，這就導(dǎo)致點(diǎn)云數(shù)據(jù)的信息有限，只包含片面的幾何信息。例如Point-Net 僅提取單個(gè)點(diǎn)云特征，沒(méi)有考慮局部特征信息。為避免模型訓(xùn)練時(shí)遇到類似問(wèn)題，優(yōu)化網(wǎng)絡(luò)[31]在通過(guò)多層次結(jié)構(gòu)獲取到點(diǎn)集的全局特征。文獻(xiàn)[55]方法基于Reeb圖卷積神經(jīng)網(wǎng)絡(luò)提取點(diǎn)云的上下文信息聚合點(diǎn)云特征，并取得良好的分類效果。

點(diǎn)云數(shù)據(jù)自身獨(dú)有的特性令點(diǎn)云分類研究充滿挑戰(zhàn)。當(dāng)前點(diǎn)云研究的核心任務(wù)之一就是高效處理點(diǎn)云的特性并應(yīng)用到相關(guān)場(chǎng)景。

1.2 公共數(shù)據(jù)集

合理利用有效的數(shù)據(jù)集是充分發(fā)揮算法性能的重要環(huán)節(jié)。目前，許多研究機(jī)構(gòu)為學(xué)者們提供公共可靠的、開(kāi)源的三維數(shù)據(jù)集。對(duì)于點(diǎn)云分類研究來(lái)說(shuō)，數(shù)據(jù)集分為兩類：合成數(shù)據(jù)集和真實(shí)場(chǎng)景數(shù)據(jù)集。本節(jié)基于全文涉及的分類策略以及數(shù)據(jù)集應(yīng)用的廣泛程度，簡(jiǎn)單描述常用的數(shù)據(jù)集。

（1）ModelNet[17]：該項(xiàng)目是合成數(shù)據(jù)集的代表，旨在為計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)圖形學(xué)、機(jī)器人和認(rèn)知科學(xué)的研究者們提供全面且清晰物體的3D CAD 模型。該系列數(shù)據(jù)集共含有127 915 個(gè)CAD 模型，662 種目標(biāo)分類以及10 個(gè)標(biāo)記朝向的數(shù)據(jù)。ModelNet 包括3 個(gè)子數(shù)據(jù)集：ModelNet10、ModelNet40 和Aligned40，其中Model-Net10/40是分類研究中最常見(jiàn)的數(shù)據(jù)集。

（2）ScanNet[64]：該數(shù)據(jù)集是RGB-D視頻室內(nèi)場(chǎng)景數(shù)據(jù)集，通過(guò)對(duì)1 513 個(gè)室內(nèi)場(chǎng)景進(jìn)行掃描獲得250 萬(wàn)個(gè)視圖，分為21個(gè)類別。ScanNet包含多種大小不同的空間，例如：桌椅，雜物間，教室和圖書(shū)館等，數(shù)據(jù)具有三維坐標(biāo)信息和語(yǔ)義標(biāo)簽信息，主要應(yīng)用于三維點(diǎn)云分類，語(yǔ)義體素標(biāo)注和CAD模型檢索等研究中。

（3）ISPRS 公共數(shù)據(jù)集[65]：該項(xiàng)目在2015 年由國(guó)際攝影測(cè)量和遙感學(xué)會(huì)（international society for photogrammetry and remote sensing，ISPRS）開(kāi)發(fā)的基準(zhǔn)測(cè)試數(shù)據(jù)集，目的是鼓勵(lì)研究學(xué)者根據(jù)基礎(chǔ)測(cè)試數(shù)據(jù)對(duì)城市目標(biāo)檢測(cè)和三維建筑物重建進(jìn)行評(píng)估。ISPRS 數(shù)據(jù)集總共包括9個(gè)子類別，在三維場(chǎng)景的理解任務(wù)上有很大貢獻(xiàn)。

（4）2019年數(shù)據(jù)融合比賽數(shù)據(jù)集（2019 data fusion contest dataset）[66]：數(shù)據(jù)集旨在利用深度學(xué)習(xí)完成城市場(chǎng)景的語(yǔ)義類3D重建和預(yù)測(cè)點(diǎn)云語(yǔ)義標(biāo)簽等研究。數(shù)據(jù)集中包括兩所城市的多視圖、多波段衛(wèi)星圖像和語(yǔ)義標(biāo)簽。其中，語(yǔ)義類包括地面、高植被、建筑、水、高架道路和橋梁等。

1.3 評(píng)價(jià)指標(biāo)

標(biāo)準(zhǔn)評(píng)價(jià)指標(biāo)可以充分且直觀的評(píng)估點(diǎn)云分類模型的有效性。在精度、空間復(fù)雜度、執(zhí)行時(shí)間等幾種度量指標(biāo)中，精度指標(biāo)最為關(guān)鍵。本文選取平均精度（mean accuracy，MA）和總體精度（overall accuracy，OA）兩個(gè)最主要的分類評(píng)價(jià)指標(biāo)分析對(duì)比不同的分類方法，為學(xué)者的后續(xù)研究提供參考。

2 基于深度學(xué)習(xí)的分類方法

相比于傳統(tǒng)算法，深度學(xué)習(xí)的優(yōu)勢(shì)在于無(wú)需人工參與設(shè)計(jì)，能夠?qū)崿F(xiàn)自動(dòng)學(xué)習(xí)大數(shù)據(jù)的特征[67]。本章根據(jù)點(diǎn)聚合的方式將基于深度學(xué)習(xí)的點(diǎn)云分類算法劃分為基于投影的點(diǎn)云分類方法和基于原始點(diǎn)云的分類方法兩個(gè)大類，并選取具有代表性、性能優(yōu)越的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行展示。如圖1為基于深度學(xué)習(xí)的點(diǎn)云分類流程圖；如圖2為深度學(xué)習(xí)在點(diǎn)云分類研究中的發(fā)展時(shí)間軸，不同顏色代表不同分類類別。

圖1 基于深度學(xué)習(xí)的點(diǎn)云分類流程圖Fig.1 Flow chart of point cloud classification based on deep learning

圖2 基于深度學(xué)習(xí)的點(diǎn)云分類方法發(fā)展時(shí)間軸Fig.2 Development timeline of point cloud classification based on deep learning

2.1 基于投影的方法

典型的卷積神經(jīng)網(wǎng)絡(luò)是在規(guī)則、有序以及結(jié)構(gòu)化的二維圖像上執(zhí)行的運(yùn)算。對(duì)于不規(guī)則，非結(jié)構(gòu)化的點(diǎn)云數(shù)據(jù)，將其投影到特定的預(yù)先設(shè)置的模式后進(jìn)行點(diǎn)云特征的提取。本節(jié)通過(guò)對(duì)文獻(xiàn)的整理與總結(jié)，將該類別下的方法進(jìn)一步細(xì)分為兩類：基于體素網(wǎng)格的方法和基于多視圖的方法。

（1）體素網(wǎng)格

借鑒卷積神經(jīng)網(wǎng)絡(luò)在二維圖像語(yǔ)義標(biāo)注的先驗(yàn)知識(shí)，以及體素與圖像數(shù)據(jù)的組織結(jié)構(gòu)的相似性，學(xué)者們對(duì)于將體素化的非結(jié)構(gòu)性點(diǎn)云數(shù)據(jù)應(yīng)用于三維卷積神經(jīng)網(wǎng)絡(luò)的模型展開(kāi)研究。

點(diǎn)云的體素化即利用占用網(wǎng)格（volumetric occupancy grid）將環(huán)境狀態(tài)表示為三維網(wǎng)格。最早的模型是Maturana 等[16]為充分利用點(diǎn)云信息和有效處理大量點(diǎn)云數(shù)據(jù)提出的VoxNet 模型，該模型集成了體積占用網(wǎng)格與3D 卷積神經(jīng)網(wǎng)絡(luò)。VoxNet 網(wǎng)絡(luò)參數(shù)少，形式簡(jiǎn)潔，可以通過(guò)多層疊加生成全局標(biāo)簽對(duì)點(diǎn)云分類。受深度置信網(wǎng)絡(luò)（deep belief network，DBN）啟發(fā)，Wu 等[17]基于卷積深度置信網(wǎng)絡(luò)（convolutional deep belief network，CDBN）提出了3D Shapenets 模型。將點(diǎn)云幾何特征表示為體素格網(wǎng)上的二進(jìn)制概率分布，使用卷積共享權(quán)值緩解參數(shù)過(guò)剩的問(wèn)題，使模型得到有效訓(xùn)練。spherical CNN[18]將3D 網(wǎng)格投影到封閉球體上，每個(gè)點(diǎn)向球的中心點(diǎn)發(fā)出射線，收集到射線與物體模型的交點(diǎn)處距離與曲面角度信息，由此來(lái)捕獲投影。提出了球相關(guān)（spherical correlation）與廣義傅里葉快速變換來(lái)提取旋轉(zhuǎn)不變的全局特征。spherical CNN證實(shí)了球面卷積應(yīng)用于點(diǎn)云分類的有效性。Prin 將該方法擴(kuò)展到使用球面體素卷積的離散3D點(diǎn)[19]。雖然以上方法展現(xiàn)出解決點(diǎn)云數(shù)據(jù)無(wú)序性和非結(jié)構(gòu)性問(wèn)題的潛力，但是仍存在計(jì)算時(shí)占用內(nèi)存過(guò)大的問(wèn)題

為解決點(diǎn)云的稀疏性與龐大的計(jì)算開(kāi)銷，學(xué)者們嘗試用靈活的八叉樹(shù)結(jié)構(gòu)代替分辨率固定的體素網(wǎng)格，例如OctNet[20]和OCNN[21]網(wǎng)絡(luò)等。OctNet 采用混合網(wǎng)格-八叉樹(shù)結(jié)構(gòu)對(duì)空間分層劃分，各個(gè)節(jié)葉點(diǎn)對(duì)應(yīng)存儲(chǔ)池化要素。該方法不僅避免了冗余的計(jì)算和不必要的內(nèi)存消耗，而且在保障分辨率的同時(shí)能達(dá)到更深層次的網(wǎng)絡(luò)。Wang 等人[21]受到OctNet 的啟發(fā)提出了OCNN，在3D CNN中提取八叉樹(shù)中包含的特征，一定程度上減輕計(jì)算負(fù)擔(dān)，提高計(jì)算效率。索引結(jié)構(gòu)與八叉樹(shù)類似的KD樹(shù)結(jié)構(gòu)也被應(yīng)用到分類模型中，經(jīng)典方法KD-Net[22]利用KD 樹(shù)結(jié)構(gòu)以從粗到精的方式對(duì)點(diǎn)進(jìn)行分組。由于網(wǎng)絡(luò)不依賴卷積結(jié)構(gòu)，因此可有效避免不良的縮放行為。但點(diǎn)云存在旋轉(zhuǎn)時(shí)會(huì)間接影響網(wǎng)絡(luò)效果，且將原始點(diǎn)云數(shù)據(jù)轉(zhuǎn)換成KD樹(shù)的形式，增加了計(jì)算負(fù)擔(dān)。采用靈活合適的索引結(jié)構(gòu)雖然能夠減少計(jì)算時(shí)產(chǎn)生的內(nèi)存消耗，但是訓(xùn)練過(guò)程不能充分利用局部幾何結(jié)構(gòu)并且體素的邊界會(huì)影響計(jì)算結(jié)果。Hanocka等人[23]基于網(wǎng)格與傳統(tǒng)CNN 提出MeshCNN，以邊為單位定義卷積，采用折疊特征值小的邊的方式優(yōu)化池化部分，自動(dòng)簡(jiǎn)化了分類任務(wù)。該方法能夠捕捉重要的特征的同時(shí)丟棄冗余特征。

上述方法從不同角度為體素化點(diǎn)云在處理過(guò)程中遇到的困難提供解決方案。體素化算法雖然取得了一定的成果，但是存在丟失重要信息，存儲(chǔ)和計(jì)算開(kāi)銷大，適用性不高等弊端[68]。相信伴隨科學(xué)技術(shù)的發(fā)展，存儲(chǔ)和計(jì)算方法的升級(jí)，該類算法也會(huì)進(jìn)一步被優(yōu)化。

（2）多視角

早期學(xué)者從多個(gè)視角對(duì)點(diǎn)云投影，使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)投影后的2D 影像進(jìn)行后續(xù)加工。多視圖CNN（multi-view CNN，MVCNN）方法的實(shí)質(zhì)是將點(diǎn)云或者3D 形狀渲染成視圖，利用傳統(tǒng)的圖像卷積進(jìn)行特征學(xué)習(xí)。Su等[24]首先根據(jù)不同情況提出兩種相機(jī)設(shè)置方式，在不同視角下完成渲染圖，將多個(gè)視圖的特征信息通過(guò)卷積層和池化層整合成一個(gè)單一的、緊湊的3D 形狀描述符，將聚合后的特征輸入完全連接層得到分類結(jié)果，具體流程見(jiàn)圖3。Qi 等[25]在MVCNN 的基礎(chǔ)上通過(guò)方位角和仰角的變化增強(qiáng)訓(xùn)練數(shù)據(jù)，以及引入多分辨率的三維濾波捕捉多尺度的信息的手段提升分類模型的性能。文獻(xiàn)[26]方法將多視圖框架復(fù)雜化，通過(guò)條件隨機(jī)場(chǎng)解決標(biāo)簽一致性的問(wèn)題，該過(guò)程不需要任何的人工調(diào)整的特征。

圖3 用于3D形狀識(shí)別的多視圖CNN（使用1stcamera設(shè)置演示）Fig.3 Multi-view CNN for 3D shape recognition（demo using 1stcamera settings）

基于多視圖的處理方法中，差異大的渲染圖對(duì)形狀識(shí)別更加有利。為獲得更具判別性的信息，F(xiàn)eng等人[27]在MVCNN 的基礎(chǔ)上進(jìn)一步提出GVCNN 模型。該方法主要是從“視覺(jué)圖-組-形狀”的框架形成描述符：首先對(duì)不同視圖下提取的視覺(jué)描述符分組，然后學(xué)習(xí)視圖間的信息特征并生成組級(jí)別描述符，最后通過(guò)加權(quán)生成形狀級(jí)別描述符用于分類任務(wù)。此外，文獻(xiàn)[28-29]方法在基于多視圖的研究方向也有類似貢獻(xiàn)。

盡管多視圖卷積神經(jīng)網(wǎng)絡(luò)能夠在多視角下獲得三維物體的描述，但在相機(jī)設(shè)置位置與角度時(shí)容易出現(xiàn)遮擋情況，視圖不能得到有效處理將直接影響訓(xùn)練結(jié)果。

基于投影的方法本質(zhì)上是將非結(jié)構(gòu)化的點(diǎn)云轉(zhuǎn)換為規(guī)則的二維表示的過(guò)程，其弊端在于需要計(jì)算額外的局部幾何特征，例如平面度、粗糙度以及球度等。另外，無(wú)論是對(duì)點(diǎn)云規(guī)則化還是從多視角的角度進(jìn)行處理，在實(shí)現(xiàn)3D到2D的轉(zhuǎn)換過(guò)程中會(huì)造成點(diǎn)云信息的丟失。

2.2 基于原始點(diǎn)云的方法

上節(jié)中介紹到基于投影的點(diǎn)云分類策略存在計(jì)算復(fù)雜度較高，不能對(duì)三維點(diǎn)云數(shù)據(jù)的特性加以利用等缺點(diǎn)，為此，學(xué)者們嘗試直接從原始點(diǎn)云中學(xué)習(xí)特征信息。本節(jié)將從以下四個(gè)方面對(duì)該類方法分析：多層感知機(jī)；卷積神經(jīng)網(wǎng)絡(luò)；圖卷積神經(jīng)網(wǎng)絡(luò)；注意力機(jī)制。

（1）多層感知機(jī)（MLP）

Qi 等[30]開(kāi)創(chuàng)性地提出將深度學(xué)習(xí)模型直接應(yīng)用于原始點(diǎn)云的算法—PointNet。它為解決點(diǎn)云的無(wú)序性、旋轉(zhuǎn)不變性以及置換不變性提供了新思路：通過(guò)MLP學(xué)習(xí)單個(gè)點(diǎn)的特征并用對(duì)稱函數(shù)編碼全局信息解決點(diǎn)云的無(wú)序性問(wèn)題；采用三維的空間變換網(wǎng)絡(luò)（spatial transformer network，STN）解決點(diǎn)云旋轉(zhuǎn)不變性的的問(wèn)題；在分類時(shí)對(duì)輸入點(diǎn)云進(jìn)行幾何變換和特征變換，采用最大池聚合點(diǎn)特征解決點(diǎn)云置換不變性的問(wèn)題（圖4）。模型的缺陷在于提取點(diǎn)云特征時(shí)只捕捉到單個(gè)點(diǎn)和全局點(diǎn)的信息，無(wú)法獲取完整的局部特征信息，且不能充分考慮鄰近點(diǎn)的交互關(guān)系。這導(dǎo)致PointNet對(duì)細(xì)粒度模型的分類能力較差，在復(fù)雜場(chǎng)景中適用性有限。

圖4 PointNet點(diǎn)云分類網(wǎng)絡(luò)框架Fig.4 PointNet point cloud classification network framework

由于無(wú)法解決局部性的結(jié)構(gòu)問(wèn)題[30]，Qi等[31]繼而提出優(yōu)化網(wǎng)絡(luò)PointNet++，框架如圖5 所示。該模型在文獻(xiàn)[30]方法的基礎(chǔ)上引入由一系列抽象層組成的多層次結(jié)構(gòu)，每一層都分為采樣層、分組層和特征提取層三部分。PointNet++提高了特征提取的精度，能夠有效解決劃分局部點(diǎn)云和提取點(diǎn)云的局部特征兩個(gè)問(wèn)題，并且可以為大場(chǎng)景提供更高級(jí)別的特征。但點(diǎn)間的聯(lián)系依舊沒(méi)有充分的學(xué)習(xí)，為此研究者們基于PointNet++的訓(xùn)練框架提出了更多的分類網(wǎng)絡(luò)，如：Momenet[32]、So-Net[33]、結(jié)構(gòu)關(guān)系網(wǎng)絡(luò)（structural relation network，SRN）[34]和PointWeb[35]。

圖5 PointNet++點(diǎn)云分類網(wǎng)絡(luò)框架Fig.5 PointNet++ point cloud classification network framework

文獻(xiàn)[32]通過(guò)對(duì)點(diǎn)云坐標(biāo)添加多項(xiàng)式函數(shù)來(lái)提高網(wǎng)絡(luò)訓(xùn)練的能力，網(wǎng)絡(luò)能夠以高時(shí)效、低消耗的優(yōu)勢(shì)獲得高精度的分類結(jié)果。So-Net[33]利用自組織特征映射（self-organizing feature mapping，SOFM）分析點(diǎn)云的分布情況，以此實(shí)現(xiàn)點(diǎn)云分類的置換不變性網(wǎng)絡(luò)。So-Net結(jié)構(gòu)簡(jiǎn)單，有良好的并行性，訓(xùn)練速度快，在分類任務(wù)中效果良好。Duan等人[34]提出了SRN來(lái)學(xué)習(xí)點(diǎn)間的交互關(guān)系。Zhao等人[35]從上下文信息機(jī)制中受到啟發(fā)，提出了PointWeb 網(wǎng)絡(luò)。通過(guò)局部的上下文信息，使用自適應(yīng)特征調(diào)整模塊（adaptive feature adjustment，AFA）學(xué)習(xí)點(diǎn)之間的局部特征。

為了有效解決使用3D傳感器或者重建算法處理原始點(diǎn)云后存在的異常值和噪聲，文獻(xiàn)[36]提出PointASNL。網(wǎng)絡(luò)由自適應(yīng)采樣模塊（adaptive sampling，AS）及局部-非局部模塊（local-nonlocal，L-NL）兩部分組成。AS模塊能減弱噪聲和異常值，有利于點(diǎn)云的特征學(xué)習(xí)。L-NL模塊為點(diǎn)云的分類和分割處理提供準(zhǔn)確且穩(wěn)定的特征信息。其中，利用L模塊學(xué)習(xí)局部特征，利用NL模塊融合全部采樣點(diǎn)的局部特征從而獲得全局特征。

針對(duì)點(diǎn)云無(wú)序性的特征，Prokudin 等[37]提出基本點(diǎn)集的概念（basis point sets，BPS）。具體是將輸入點(diǎn)歸一化為合適單元球，對(duì)一組點(diǎn)進(jìn)行隨機(jī)采樣構(gòu)成基本點(diǎn)集。計(jì)算給定點(diǎn)云到一組固定點(diǎn)的最小距離后，將其傳遞到PointNet最后兩個(gè)完全連接層。

（2）卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)作為最基本的深度學(xué)習(xí)模型之一，在目標(biāo)檢測(cè)、語(yǔ)義分割、邊緣檢測(cè)等大型圖像處理研究方面表現(xiàn)出色。CNN的結(jié)構(gòu)優(yōu)勢(shì)為提取三維數(shù)據(jù)從低到高維特征提供靈感。點(diǎn)云處理中分類與分割的任務(wù)可通過(guò)優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)完成。Yousefhussien 等[38]提出的一維完全卷積分類網(wǎng)絡(luò)直接使用點(diǎn)云數(shù)據(jù)的三維坐標(biāo)以及相應(yīng)光譜特征。Wang等人[39]提出帶有空間池化的深度神經(jīng)網(wǎng)絡(luò)DNNSP中采用最大池層將基于點(diǎn)的特征聚合成基于簇的特征后通過(guò)MLP完成分類。Komarichev 等[40]認(rèn)為PointNet++處理點(diǎn)云時(shí)局部區(qū)域的重疊導(dǎo)致信息冗余，故將環(huán)形卷積嵌入分層網(wǎng)絡(luò)，提出了A-CNN。通過(guò)環(huán)卷積提取周圍點(diǎn)的局部鄰域特征，在后續(xù)的點(diǎn)云處理中聚合全局特征與局部特征完成分類任務(wù)。網(wǎng)絡(luò)中的環(huán)結(jié)構(gòu)在不會(huì)對(duì)鄰域點(diǎn)重復(fù)查詢，因此A-CNN 在大型場(chǎng)景的應(yīng)用中性能穩(wěn)定。如圖6 是A-CNN中環(huán)形卷積的框架圖。

圖6 A-CNN中環(huán)形卷積的框架圖Fig.6 Frame diagram of circular convolution in A-CNN

點(diǎn)云的無(wú)序性使其與2D 圖像卷積存在差異。2D圖像中各點(diǎn)具有固定位置，而點(diǎn)云的位置順序則存在很多種可能（如圖7所示）。對(duì)不同位置點(diǎn)云進(jìn)行卷積算，結(jié)果會(huì)受點(diǎn)云的輸入順序的影響，從而影響卷積的結(jié)果。PointCNN[41]避免了點(diǎn)云的輸入順序?qū)矸e操作的阻礙，網(wǎng)絡(luò)中定義的χ-變換卷積算子能將具有特定輸入順序的數(shù)據(jù)轉(zhuǎn)換為與順序無(wú)關(guān)的特征。網(wǎng)絡(luò)使用χ算子轉(zhuǎn)化輸入點(diǎn)云坐標(biāo)，通過(guò)MLP 學(xué)習(xí)特征信息后使用χ變換矩陣進(jìn)行特征處理。在分類網(wǎng)絡(luò)中采用膨脹卷積思想保持網(wǎng)絡(luò)深度以及接受場(chǎng)的增長(zhǎng)率。PointCNN證實(shí)了局部結(jié)構(gòu)的開(kāi)發(fā)對(duì)點(diǎn)云分類網(wǎng)絡(luò)的重要性。但實(shí)際上χ-變換矩陣和預(yù)設(shè)結(jié)果相差仍有差距，網(wǎng)絡(luò)需要進(jìn)一步改進(jìn)。

圖7 點(diǎn)云的不同位置Fig.7 Different locations of point clouds

與2D 圖像去掉RGB 信息后無(wú)法被識(shí)別的情況不同，點(diǎn)云僅保留位置信息也可以被有效識(shí)別，即點(diǎn)云中相鄰點(diǎn)的空間幾何信息可以表達(dá)隱含的形狀信息。據(jù)此，Liu 等人[42]提出了對(duì)點(diǎn)的幾何關(guān)系編碼的卷積算子RS-Conv，設(shè)計(jì)基于幾何關(guān)系來(lái)學(xué)習(xí)3D 形狀關(guān)系的卷積神經(jīng)網(wǎng)絡(luò)RS-CNN。利用RS-Conv（如圖8）對(duì)點(diǎn)云子集進(jìn)行卷積計(jì)算后，將低維信息代入神經(jīng)網(wǎng)絡(luò)中映射成高維信息，推理點(diǎn)云的空間信息特征，實(shí)現(xiàn)形狀上下文的感知，最后通過(guò)全連接層得到全局特征后進(jìn)行分類處理。結(jié)果證明，RS-CNN具有良好的目標(biāo)識(shí)別功能。

圖8 RS-Conv示意圖Fig.8 Schematic diagram of RS-Conv

模型[31，33，41]均以PointNet中MLP的一維卷積的思想來(lái)進(jìn)行改進(jìn)，PointConv[43]是在點(diǎn)云上建構(gòu)深層卷積網(wǎng)絡(luò)，用MLP 學(xué)習(xí)近似3D 的卷積核，對(duì)點(diǎn)云特征密度加權(quán)。該網(wǎng)絡(luò)便于操作，提高了訓(xùn)練時(shí)效與精度的同時(shí)減輕了計(jì)算機(jī)存儲(chǔ)壓力。類似地，核點(diǎn)卷積（kernel points convolutional，KPConv）[44]也是將卷積自然推廣到點(diǎn)云數(shù)據(jù)中，不同之處在于卷積計(jì)算和核轉(zhuǎn)換矩陣的方式。KPConv 提供了可變形卷積算子，通過(guò)線性差值得到核轉(zhuǎn)換矩陣，卷積的權(quán)重決定了到核點(diǎn)的歐氏距離。Boulch[45]提出將卷積核分為空間和特征部分的ConvPoint，選擇卷積核空間部分的任意位置，通過(guò)多層感知機(jī)訓(xùn)練加權(quán)函數(shù)。

Wen等人[46]提出方向約束全卷積網(wǎng)絡(luò)（D-FCN），將原始點(diǎn)云三維坐標(biāo)和強(qiáng)度值作為模型的輸入。利用方向約束點(diǎn)卷積（D-Conv）模塊從投影的二維感受野中提取三維點(diǎn)集的局部特征?；贒-Conv模塊進(jìn)一步設(shè)計(jì)了具有下采樣和上采樣模塊的多尺度全卷積神經(jīng)網(wǎng)絡(luò)，以實(shí)現(xiàn)多尺度點(diǎn)特征學(xué)習(xí)。D-FCN 不僅可以處理任意大小的輸入點(diǎn)云，而且可以通過(guò)端到端的方式直接預(yù)測(cè)所有輸入點(diǎn)的語(yǔ)義標(biāo)簽。但模型中采用具有規(guī)則感受場(chǎng)的標(biāo)準(zhǔn)卷積核，不能建立點(diǎn)之間的結(jié)構(gòu)聯(lián)系，也不能考慮點(diǎn)密度的變化。

為解決三維點(diǎn)云密度分布不均勻，不能有效識(shí)別細(xì)粒度的局部結(jié)構(gòu)問(wèn)題。DANCE-NET[47]引入了一種密度感知卷積模塊，使用逐點(diǎn)密度重新加權(quán)卷積核的可學(xué)習(xí)權(quán)重，為逼近非均勻分布的三維點(diǎn)集上的連續(xù)卷積提供可能。

（3）圖卷積神經(jīng)網(wǎng)絡(luò)

現(xiàn)階段基于點(diǎn)的分類方法都是將整體點(diǎn)云作為輸入，雖然它們都在標(biāo)準(zhǔn)基準(zhǔn)上實(shí)現(xiàn)了理想的檢索精度，但卻忽略海量點(diǎn)云的冗余信息。圖神經(jīng)網(wǎng)絡(luò)（graph neural network，GNN）的概念最早由Gori 等[69]提出，Scarselli 等人[70]對(duì)其完善。Bruna 等人[71]首次提出基于譜圖論開(kāi)發(fā)的非歐式域的卷積神經(jīng)網(wǎng)絡(luò)。Kipf 等人[72]在前人的基礎(chǔ)上正式提出圖卷積神經(jīng)網(wǎng)絡(luò)（graph convolution network，GCN）。GCN 實(shí)際屬于CNN 的優(yōu)化，通過(guò)提取圖數(shù)據(jù)的特征，在半監(jiān)督分類任務(wù)中效果良好。Simonovsky等[48]受到邊緣標(biāo)簽應(yīng)用的啟發(fā)，提出了可以應(yīng)用于任意圖結(jié)構(gòu)的邊緣卷積網(wǎng)絡(luò)（ECC）。在進(jìn)行加權(quán)平均的卷積操作時(shí)，ECC的權(quán)重取決于節(jié)點(diǎn)間的邊權(quán)。ECC將點(diǎn)云數(shù)據(jù)的點(diǎn)視作圖結(jié)構(gòu)的頂點(diǎn)，使用最大采樣法聚合頂點(diǎn)信息。但將點(diǎn)云改變?yōu)閳D結(jié)構(gòu)的過(guò)程中需要大量計(jì)算，導(dǎo)致分類結(jié)果并不理想。KCNet[49]通過(guò)圖卷積沿邊緣聚合點(diǎn)云局部特征，利用圖或者樹(shù)的結(jié)構(gòu)，將局部區(qū)域中無(wú)序的點(diǎn)云變得有序化。由于點(diǎn)云屬于非線性結(jié)構(gòu)，使KCNet 構(gòu)建圖或樹(shù)的邊緣更加繁瑣。

DGCNN[50]為解決文獻(xiàn)[30-31]獲取局部特征能力差的問(wèn)題提供了邊緣卷積模塊，通過(guò)模塊的疊加或循環(huán)得到全局特征。網(wǎng)絡(luò)可以在保持置換不變性的基礎(chǔ)上捕捉局部幾何信息，但由于忽略了點(diǎn)之間的向量方向?qū)е聛G失了部分信息。并且DGCNN 中的空間轉(zhuǎn)換模塊處理點(diǎn)云時(shí)需要大量參數(shù)，提高了模型的復(fù)雜度。Zhang等人[51]進(jìn)一步優(yōu)化DGCNN，提出鏈接動(dòng)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)（LDGCNN）。首先取消需要過(guò)多參數(shù)的空間變換網(wǎng)絡(luò)，通過(guò)添加跳躍鏈接聚合不同層的動(dòng)態(tài)圖的層次特征，學(xué)習(xí)特征中有效的邊緣矢量特征。該網(wǎng)絡(luò)能夠有效避免梯度消失的問(wèn)題。

Point GNN[52]每一層網(wǎng)絡(luò)都在循環(huán)使用圖的邊，因此可以避免不必要的點(diǎn)云分組與采樣。Gird-GCN[53]創(chuàng)新性提出能夠降低理論時(shí)間復(fù)雜度和提高空間覆蓋率的模塊：覆蓋感知的網(wǎng)格查詢模塊（coverage-aware grid query，CAGQ）與網(wǎng)格內(nèi)容聚合模塊（grid context aggregation，GCA）。

Li等人[54]采用點(diǎn)卷積(Pconv)和點(diǎn)池化(Ppool)方法學(xué)習(xí)點(diǎn)云的高層特征，結(jié)合圖結(jié)構(gòu)提出點(diǎn)云特征學(xué)習(xí)網(wǎng)絡(luò)PointVGG，并將其應(yīng)用于目標(biāo)分類和局部分割。如圖9為PointVGG網(wǎng)絡(luò)架構(gòu)，通過(guò)Pconv層逐步放大感受野獲取局部幾何信息，利用Ppool層解決點(diǎn)云的無(wú)序性問(wèn)題。與直接將局部幾何信息聚合成向量的對(duì)稱函數(shù)不同，Ppool通過(guò)逐步聚集點(diǎn)獲得更詳細(xì)的局部幾何表示。Wang 等人[55]從點(diǎn)云中提取信息緊湊豐富的Reeb圖，分別用Reeb圖和KNN圖捕捉輸入點(diǎn)云的上下文信息。網(wǎng)絡(luò)使用深度圖卷積進(jìn)行點(diǎn)云過(guò)濾，可以取得良好的分類效果。

圖9 PointVGG網(wǎng)絡(luò)架構(gòu)Fig.9 PointVGG network architecture

（4）注意力機(jī)制

注意力機(jī)制[73]的工作原理是使系統(tǒng)關(guān)注主要信息，忽略次要信息。受到引入注意力網(wǎng)絡(luò)對(duì)二維圖像的分類方法[74-75]的啟發(fā)，且該機(jī)制具有固定排列和不依賴于點(diǎn)間聯(lián)系的特性，能符合點(diǎn)云處理的要求，因此許多學(xué)者將注意力機(jī)制引入點(diǎn)云處理的算法研究。Yang 等人[56]提出基于點(diǎn)云推理的點(diǎn)注意力變壓器（PAT），采用組混洗注意力機(jī)制（group shuffle attention，GSA）代替并行注意力機(jī)制建模點(diǎn)之間的關(guān)系。此外，網(wǎng)絡(luò)中還包括GSA 和Gumbel 子集采樣（gumbel subset sampling，GSS）兩部分：GSA 模塊可以更好地挖掘點(diǎn)之間的特征關(guān)系，利用GSS完成代表性點(diǎn)子集的選擇。

受圖卷積知識(shí)的啟發(fā)，有學(xué)者將圖卷積技術(shù)與注意力機(jī)制結(jié)合提出了新的分類策略。Chen 等人[57]基于自注意力機(jī)制（self-attention）提出了GAPNet，通過(guò)在堆疊的MLP層中嵌入圖注意力機(jī)制來(lái)學(xué)習(xí)原始輸入點(diǎn)云的局部語(yǔ)義信息，使用并行機(jī)制（multi-head attention）聚合生成來(lái)自不同GAPLayer 層的注意力特征。網(wǎng)絡(luò)中的GAPLayer 和注意力層可以集成嵌入到現(xiàn)有的訓(xùn)練模型中，以有效提取無(wú)序點(diǎn)云的局部幾何特征，提高模型性能。Wang 等人[58]通過(guò)引入圖注意力卷積構(gòu)建GACNet，網(wǎng)絡(luò)中的卷積核的形狀可以自適應(yīng)不同對(duì)象的結(jié)構(gòu)。GACNet 在關(guān)注局部的同時(shí)也考慮到密度分布和全局上下文關(guān)系。清華學(xué)者將Transform概念引入點(diǎn)云處理，提出了一種參數(shù)少、精度高的PCT網(wǎng)絡(luò)[59]，如圖10所示。網(wǎng)絡(luò)首先將輸入點(diǎn)云的特征語(yǔ)義編碼至更高維的特征空間中，然后連接經(jīng)歷過(guò)四層注意力層（包括自注意力模塊和偏置注意力模塊）的局部幾何信息，獲取不同尺度下的語(yǔ)義相似度，最后聚合點(diǎn)云的局部和全局特征完成分類與分割的任務(wù)。

圖10 PCT網(wǎng)絡(luò)架構(gòu)Fig.10 PCT network architecture

基于全局-局部圖注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)（GACNN）[60]中的全局注意模塊用來(lái)學(xué)習(xí)點(diǎn)云的空間分布狀態(tài)，以獲取全局上下文信息特征。網(wǎng)絡(luò)中的局部注意模塊包括邊緣關(guān)注和密度關(guān)注兩部分：邊緣關(guān)注模塊通過(guò)學(xué)習(xí)鄰近點(diǎn)的局部空間布局，動(dòng)態(tài)調(diào)整核權(quán)值，以適應(yīng)點(diǎn)云的結(jié)構(gòu)；密度注意模塊能夠解決非均勻采樣點(diǎn)的密度不均問(wèn)題。GACNN 可以捕捉多尺度的點(diǎn)云特征，提高機(jī)載點(diǎn)云的分類精度。

直接處理原始點(diǎn)云保留了點(diǎn)云信息的完整性，算法性能良好，應(yīng)用場(chǎng)景多樣，許多算法在多個(gè)數(shù)據(jù)集上有良好表現(xiàn)，但仍存在不足之處，例如由于MLP 的接受范圍有限，可能會(huì)導(dǎo)致形狀信息不可忽略的損失?；谠键c(diǎn)云的算法現(xiàn)如今是基于深度學(xué)習(xí)的點(diǎn)云處理的主要研究趨勢(shì)，在優(yōu)化算法時(shí)學(xué)者應(yīng)考慮如何高效提取點(diǎn)云全局特征的同時(shí)降低模型的復(fù)雜度與計(jì)算時(shí)間。

3 現(xiàn)有方法結(jié)果對(duì)比與分析

本章匯總了圖2 涉及到的基于深度學(xué)習(xí)的點(diǎn)云分類方法的提出年份、主要原理、優(yōu)缺點(diǎn)、應(yīng)用場(chǎng)景以及在主要數(shù)據(jù)集上表現(xiàn)的性能，見(jiàn)表1。同時(shí)，分別展示在不同數(shù)據(jù)集中表現(xiàn)出色的點(diǎn)云分類結(jié)果圖（圖11和圖12）。

表1 多種點(diǎn)云分類方法在不同數(shù)據(jù)集上的比較Table 1 Comparison of several point clouds classification methods on different datasets

表1（續(xù)）

表1（續(xù)）

表1（續(xù)）

通過(guò)表1可以發(fā)現(xiàn)，在常見(jiàn)的三維數(shù)據(jù)集中Model-Net10/40 的應(yīng)用最多。本文中提及到的算法在該數(shù)據(jù)集下性能都較為優(yōu)越，基本在85%以上，說(shuō)明現(xiàn)有的算法對(duì)細(xì)粒度的物體有較好的識(shí)別能力。選擇Model-Net10數(shù)據(jù)集的算法中，平均精度與總體精度除3DshapeNets 其余算法都高于90%。表現(xiàn)出色的網(wǎng)絡(luò)是Gird-GCN（MA 為97.4%，OA 為97.5%）和A-CNN（MA 為95.3%，OA 為95.5%）。采用雙線性池聚合局部特征卷積的MHBN網(wǎng)絡(luò)在ModelNet40數(shù)據(jù)集中總體精度達(dá)到94.91%，在所有方法中精度最高。基于原始點(diǎn)云的分類方法中總體精度大多超過(guò)90%，該類別下優(yōu)化CNN的方法表現(xiàn)穩(wěn)定，其中RS-CNN性能最優(yōu)，總體精度在93.6%。

PointNet++、PointCNN、D-FCN、Dance-Net、DGCNN、GACNET 和GACNN 等方法均選用了ISPRS 開(kāi)發(fā)的基準(zhǔn)數(shù)據(jù)集，總體精度全部超過(guò)80%，物體的分類結(jié)果接近于真實(shí)場(chǎng)景物體。其中Dance-Net使用逐點(diǎn)密度重新加權(quán)卷積核的可學(xué)習(xí)權(quán)重，達(dá)到逼近非均勻分布的三維點(diǎn)集上連續(xù)卷積的效果，訓(xùn)練結(jié)果最優(yōu)，總體精度為83.9%，分類結(jié)果見(jiàn)圖11。在2019 年，Kpconv、D-FCN、DGCNN、GACNET以及GACNN表現(xiàn)都很出色，圖12展示了以上算法的分類結(jié)果。最新提出的GACNN 網(wǎng)絡(luò)性能優(yōu)越，利用全局上下文信息以及局部注意模塊學(xué)習(xí)點(diǎn)云的多尺度信息特征。在電力線、不透水面兩種類別表現(xiàn)最出色。由于ScanNet數(shù)據(jù)集類別較多，PointNet++與PointCNN 分類效果不理想，平均精度與總體精度普遍偏低。

圖11 Dance-Net在ISPRS數(shù)據(jù)集上的分類結(jié)果Fig.11 Classification results of Dance-Net on ISPRS dataset

圖12 各方法在2019年數(shù)據(jù)融合比賽數(shù)據(jù)集上的分類結(jié)果Fig.12 Classification results of each methods on 2019 data fusion contest datasets

從點(diǎn)云分類的精確度角度分析，不同方法各有優(yōu)缺點(diǎn)?？傮w上看，基于點(diǎn)的特征提取結(jié)果優(yōu)于基于投影的特征提取。原因主要在于點(diǎn)云數(shù)據(jù)本質(zhì)上是物體表面點(diǎn)的集合，單單進(jìn)行投影轉(zhuǎn)換會(huì)造成不必要的計(jì)算。點(diǎn)云的體素化雖然可以將無(wú)序的點(diǎn)云結(jié)構(gòu)化，但是將體素網(wǎng)格作為輸入時(shí)，低分辨率的體素會(huì)導(dǎo)致信息的丟失，高分辨率的體素會(huì)導(dǎo)致計(jì)算機(jī)超負(fù)荷計(jì)算。多視圖的方法盡管在性能方面已經(jīng)優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)的方法，但是分類精度與視點(diǎn)的位置與角度有關(guān)，一定程度上仍依賴于人工設(shè)置。直接輸入原始點(diǎn)云數(shù)據(jù)可以保留信息的完整性，算法性能良好，可應(yīng)用于多種場(chǎng)景，該類方法成為現(xiàn)在熱門研究方向。其中，基于優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)與圖卷積的算法雖然需要較大的計(jì)算和存儲(chǔ)開(kāi)銷，但是網(wǎng)絡(luò)性能優(yōu)于同時(shí)期的方法。

4 結(jié)束語(yǔ)

深度學(xué)習(xí)的3D點(diǎn)云研究作為一個(gè)較新的研究領(lǐng)域正在快速的發(fā)展。本文從不同角度的點(diǎn)云特征提取方法論述三維點(diǎn)云分類的發(fā)展過(guò)程，重點(diǎn)介紹基于深度學(xué)習(xí)的點(diǎn)云分類的研究現(xiàn)狀?；仡櫳疃葘W(xué)習(xí)技術(shù)在點(diǎn)云分類任務(wù)中的應(yīng)用情況可以發(fā)現(xiàn)，該類模型是借鑒了圖像領(lǐng)域的深度學(xué)習(xí)模型，針對(duì)點(diǎn)云的無(wú)序性、稀疏性、非結(jié)構(gòu)化和信息有限性等特點(diǎn)進(jìn)行改進(jìn)優(yōu)化。本文將此類方法分為基于投影的分類方法和基于原始點(diǎn)云的分類方法，不同類別下的方法各有優(yōu)劣。基于投影的方法在簡(jiǎn)單場(chǎng)景中具有較強(qiáng)的實(shí)用性，但是轉(zhuǎn)換點(diǎn)云的過(guò)程中損失了大量有效的深度信息。直接處理原始點(diǎn)云雖然在卷積過(guò)程需要較高的計(jì)算成本，但是通過(guò)評(píng)估與分析現(xiàn)有的分類策略，證明了直接處理點(diǎn)云數(shù)據(jù)在分類任務(wù)中更具優(yōu)勢(shì)，能夠有效提升點(diǎn)云分類的精度。盡管深度學(xué)習(xí)技術(shù)可以自動(dòng)化提取點(diǎn)云特征，且在點(diǎn)云研究中取得不錯(cuò)的成績(jī)。但不論是基于投影的算法還是基于原始點(diǎn)云的算法都存在值得進(jìn)一步探討的問(wèn)題，例如：如何使網(wǎng)絡(luò)模型兼顧高精度與高效率；如何更加充分地、靈活地運(yùn)用點(diǎn)與點(diǎn)之間的聯(lián)系等。深度學(xué)習(xí)應(yīng)用于點(diǎn)云方面的研究正在不斷被推進(jìn)，在此期待更多的創(chuàng)新方法的提出。