吳鵬程 李暉 王鳳聰

摘? 要：針對(duì)點(diǎn)云的三維模型識(shí)別方法缺乏局部空間特征，從而影響3D模型的類識(shí)別的問(wèn)題，提出一種基于殘差模塊的卷積神經(jīng)網(wǎng)絡(luò)三維模型識(shí)別方法。通過(guò)引入殘差模塊，構(gòu)建深層神經(jīng)網(wǎng)絡(luò)增強(qiáng)點(diǎn)云模型的局部信息，提高物體的識(shí)別精度。同時(shí)，采用了一種獲取多尺度局部空間信息的策略，加快了模型的推理能力。實(shí)驗(yàn)證明，算法識(shí)別準(zhǔn)確率達(dá)到了91.5%，加快了模型的推理速度，可應(yīng)用于對(duì)點(diǎn)云模型識(shí)別有實(shí)時(shí)性要求的場(chǎng)景，如：流水線上物體的檢測(cè)等。

關(guān)鍵詞：三維模型識(shí)別；卷積神經(jīng)網(wǎng)絡(luò)；實(shí)時(shí)性

中圖分類號(hào)：TP391.4? ? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：2096-4706（2023）07-0093-05

Abstract： Aiming at the problem that the 3D model recognition method of point cloud lacks local spatial features， which affects the class recognition of 3D model， a convolution neural network 3D model recognition method based on residual module is proposed. By introducing the residual module， a deep neural network is constructed to enhance the local information of the point cloud model and improve the object recognition accuracy. At the same time， a strategy of acquiring multi-scale local spatial information is adopted to accelerate the reasoning ability of the model. The experimental results prove that the recognition accuracy of the algorithm reaches 91.5%， which speeds up the reasoning speed of the model. And it can be applied to scenes that require real-time point cloud model recognition， such as object detection on the pipeline.

Keywords： 3D model recognition; convolution neural network; real time

0? 引? 言

隨著互聯(lián)網(wǎng)的突飛猛進(jìn)，信息成為人們認(rèn)識(shí)世界所不可或缺的一種工具，其獲取、處理以及應(yīng)用均取得了快速的發(fā)展。在生活中，相比于其他形式，圖像所傳達(dá)的信息更加豐富與具體。因此，人們獲取的絕大部分信息都來(lái)自所觀察到的圖片。伴隨著三維成像技術(shù)的日益發(fā)展，人們對(duì)機(jī)器視覺系統(tǒng)的需求也不再停留于二維圖像，對(duì)圖像信息的提取、對(duì)象識(shí)別的精度提出了更高的要求。隨著科學(xué)技術(shù)的不斷進(jìn)步，人們發(fā)現(xiàn)二維圖像并不能表征識(shí)別對(duì)象的深度信息，當(dāng)然也就無(wú)法對(duì)其進(jìn)行全方位的識(shí)別。三維圖形識(shí)別能夠提取物體表面以及對(duì)視點(diǎn)變化較為明顯的三維特征，從而更全面地感知現(xiàn)實(shí)世界，獲取更加深層的信息，被廣泛應(yīng)用于醫(yī)療、軍事、航空航天等領(lǐng)域。隨著無(wú)人駕駛汽車、智慧城市、智慧醫(yī)療以及工業(yè)檢測(cè)等多個(gè)領(lǐng)域的快速發(fā)展，三維目標(biāo)識(shí)別技術(shù)逐漸滲透生活的各個(gè)角落。相較于傳統(tǒng)的2D圖像識(shí)別，其更加準(zhǔn)確、智能以及全方位。以3D數(shù)據(jù)作為信息內(nèi)容的形式變得越來(lái)越重要。相信在不遠(yuǎn)的將來(lái)，物體的3D數(shù)據(jù)的應(yīng)用將使用為3D數(shù)據(jù)制作的一些分類算法，去實(shí)現(xiàn)特定的目標(biāo)任務(wù)。例如，在混亂的環(huán)境中的機(jī)器人導(dǎo)航或基于增強(qiáng)現(xiàn)實(shí)的智能用戶界面等。

近年來(lái)，隨著3D采集技術(shù)以及各種傳感器的廣泛應(yīng)用，3D模型的種類以及數(shù)量與日俱增，這對(duì)于基于卷積神經(jīng)網(wǎng)絡(luò)（CNNs）的方法來(lái)說(shuō)是個(gè)好消息，因?yàn)檫@些方法目前的性能嚴(yán)重依賴于大量數(shù)據(jù)的可用性。當(dāng)前，需要迫切解決的問(wèn)題就是如何提升3D模型的識(shí)別精度。三維模型識(shí)別獲得了大量研究人員的青睞，為了解決以上問(wèn)題，大量的研究工作應(yīng)運(yùn)而生，主要包括兩大類，其中一類是基于傳統(tǒng)的研究方法，研究人員利用已有的先驗(yàn)知識(shí)手工設(shè)計(jì)特征描述符去預(yù)測(cè)三維模型的類別，如熱核描述符[1]、三角區(qū)域描述符[2]等。此類方法并不適合處理大規(guī)模數(shù)據(jù)集的場(chǎng)景，無(wú)法獲取3D模型的高層語(yǔ)義，缺乏泛化能力。

由于深度學(xué)習(xí)框架的優(yōu)越性能，尤其是在分類、識(shí)別等方面所表現(xiàn)出的卓越能力，使得將深度學(xué)習(xí)框架應(yīng)用到目標(biāo)識(shí)別中成為可能，并且已經(jīng)在自然語(yǔ)言處理、機(jī)器人、圖像識(shí)別、醫(yī)學(xué)等領(lǐng)域獲得了突破性進(jìn)展。隨著傳感器相機(jī)的日益普及，3D模型的數(shù)量以及總類與日俱增，對(duì)于機(jī)器視覺系統(tǒng)的研究也不再局限于二維空間圖像，人們對(duì)于信息的提取以及識(shí)別的精度提出了更高的要求。在機(jī)器學(xué)習(xí)領(lǐng)域，三維圖像識(shí)別的研究吸引了大量研究人員的關(guān)注?，F(xiàn)有的基于深度學(xué)習(xí)的3D模型識(shí)別方法主要分為三大類：基于直接處理點(diǎn)云的神經(jīng)網(wǎng)絡(luò)的方法、基于體像素的方法以及基于多視圖的方法?；诙嘁晥D的方法[3，4]，這類方法首先需要對(duì)三維數(shù)據(jù)進(jìn)行不同視角投影轉(zhuǎn)換為二維數(shù)據(jù)，其優(yōu)勢(shì)在于可以直接使用經(jīng)典二維的深度學(xué)習(xí)框架，具備成熟的理論以及技術(shù)支持，同時(shí)，融合多方向的視角投影信息來(lái)獲取3D模型的類別信息進(jìn)行分類識(shí)別。其本質(zhì)仍然是基于二維圖像數(shù)據(jù)的處理，其并沒有考慮3D模型的空間結(jié)構(gòu)信息以及存在著多個(gè)視圖特征信息冗余的問(wèn)題，這顯然并不是一種理想的處理三維數(shù)據(jù)的方法。基于體像素的方法[5-8]，這類方法將不規(guī)則的原始點(diǎn)云數(shù)據(jù)劃分為規(guī)則的3D體像素?cái)?shù)據(jù)，該方法的優(yōu)點(diǎn)在于可以直接利用三維卷積神經(jīng)網(wǎng)絡(luò)去提取三維體像素?cái)?shù)據(jù)上的特征。經(jīng)過(guò)體像素化之后的三維模型分辨率低，在丟失模型局部細(xì)節(jié)信息的同時(shí)，還會(huì)占用大量的內(nèi)存空間。因此，這也不是所期待的解決方案。當(dāng)前，3D模型識(shí)別的主流方法[9-16]是通過(guò)使用神經(jīng)網(wǎng)絡(luò)來(lái)處理點(diǎn)云數(shù)據(jù)。PointNet[17]利用多層感知機(jī)（Multi-layer Perception， MLP）來(lái)提取點(diǎn)的局部特征，通過(guò)最大匯聚聚合點(diǎn)的特征，以此來(lái)解決點(diǎn)云的排列無(wú)序性的特點(diǎn)。PointNet為研究人員打開了神經(jīng)網(wǎng)絡(luò)處理點(diǎn)云數(shù)據(jù)的大門，成了該領(lǐng)域的開山之作，對(duì)于后續(xù)的研究具有非常重要的參考價(jià)值。PointNet++[18]在PointNet的基礎(chǔ)上，從不同的層次去提取局部空間信息，提高了識(shí)別的精度。多層次的提取信息導(dǎo)致模型的推理速度非常耗時(shí)，存在改進(jìn)空間。Kd-Network[19]通過(guò)構(gòu)建kd-trees對(duì)在它們上的點(diǎn)云的細(xì)分來(lái)共享這些轉(zhuǎn)換的參數(shù)，提高了模型的推理速度。以上方法在提取局部空間信息過(guò)程中都引入了內(nèi)部點(diǎn)云的空間信息，這些信息對(duì)于3D模型識(shí)別而言，顯然是冗余的。

由于點(diǎn)的不規(guī)則性，如何提取點(diǎn)云的局部特征仍然面臨著很大的挑戰(zhàn)。在提取點(diǎn)云的高層語(yǔ)義的同時(shí)，往往意味著網(wǎng)絡(luò)模型復(fù)雜度的提升；同時(shí)，如何提取關(guān)鍵點(diǎn)用于模型識(shí)別，也是一個(gè)關(guān)鍵的問(wèn)題?；诖祟悊?wèn)題，本文旨在探究一種神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)3D點(diǎn)云模型的局部特征，增強(qiáng)網(wǎng)絡(luò)的類識(shí)別能力，減少計(jì)算機(jī)的工作效率，提高模型的時(shí)效性。本文的主要貢獻(xiàn)和創(chuàng)新點(diǎn)有：在網(wǎng)絡(luò)中引入殘差模塊加深模型深度，充分挖掘3D模型所隱藏的高級(jí)語(yǔ)義信息；提出了一種新的提取局部空間信息的策略，網(wǎng)絡(luò)的推理速度得到了明顯提升。

1? 點(diǎn)網(wǎng)

三維模型由空間中的一組無(wú)序點(diǎn)集? 構(gòu)成，其中n為輸入點(diǎn)的數(shù)目，ni為任意采樣點(diǎn)，其中每個(gè)點(diǎn)ni表示為（x， y， z， nx， ny， nz），即三維坐標(biāo)加上各個(gè)方向上的法向量信息。本文提出的深度網(wǎng)絡(luò)（點(diǎn)網(wǎng)）的輸出為所有k個(gè)候選類輸出k個(gè)分?jǐn)?shù)，其中k=40。

1.1? 點(diǎn)網(wǎng)的殘差模塊

對(duì)于一個(gè)理想的3D模型識(shí)別算法而言，不但要捕捉目標(biāo)全局空間信息，還要充分挖掘其局部信息，二者相互配合。為了挖掘3D模型所包含的深層次信息，本文構(gòu)建了一個(gè)類似于殘差網(wǎng)絡(luò)的模塊，在加深網(wǎng)絡(luò)層次結(jié)構(gòu)的同時(shí)，也可以利用殘差網(wǎng)絡(luò)的特性，避免梯度消失的問(wèn)題，提高模型的泛化能力。網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

首先對(duì)Maxpooling獲得的全局特征進(jìn)行復(fù)制n份，然后將全局特征與局部特征進(jìn)行拼接，其計(jì)算公式為：

式中，h（n）表示局部特征，C表示復(fù)制操作，g（x）表示全局特征，加號(hào)表示拼接操作。通過(guò)實(shí)驗(yàn)證明，這種方法很有效，如表1所示。盡管理論證明隨著MLP層數(shù)的擴(kuò)充，其特征會(huì)無(wú)限接近原始特征，但由于維度的限制，顯然其并不能充分地提取點(diǎn)云的局部細(xì)粒度信息，而通過(guò)殘差模塊搭建深層次的網(wǎng)絡(luò)結(jié)構(gòu)，能更充分地提取點(diǎn)云更加深層次的局部細(xì)粒度信息，從而提高類的識(shí)別精度。

1.2? 點(diǎn)網(wǎng)

本文在殘差模塊的基礎(chǔ)上構(gòu)建了點(diǎn)網(wǎng)（Residual Level Point Network， RPN）結(jié)構(gòu)，如圖2所示。

圖中n為初始值點(diǎn)云的數(shù)量，首先經(jīng)過(guò)一個(gè)變換矩陣，確保點(diǎn)云經(jīng)歷了剛性變換之后，不改變點(diǎn)云圖形的語(yǔ)義標(biāo)記。然后將經(jīng)過(guò)變換后的點(diǎn)云通過(guò)MLP進(jìn)行升維處理，通過(guò)Maxpool操作，聚合點(diǎn)的特征；將提取的全局特征通過(guò)殘差模塊進(jìn)行拼接，獲取深層的點(diǎn)云信息，再次通過(guò)Maxpool、MLP，最終通過(guò)一個(gè)Softmax函數(shù)，輸出k類的分?jǐn)?shù)，其中k=40。計(jì)算公式為：

其中， 和h表示常規(guī)的MLP網(wǎng)絡(luò)，C表示復(fù)制操作，Max表示Maxpool，S表示Softmax。

對(duì)于MLP網(wǎng)絡(luò)，將點(diǎn)云的原始特征進(jìn)行升維，計(jì)算公式為：

式中， 表示非線性激活函數(shù)——ReLU（），B表示批歸一化操作，C表示卷積，s×1表示卷積核大小，θ表示可學(xué)習(xí)的參數(shù)。

對(duì)于轉(zhuǎn)換矩陣（圖2中input transform模塊），直接將其預(yù)測(cè)的仿射變換矩陣作用于輸入點(diǎn)的坐標(biāo)，以此確保點(diǎn)云通過(guò)剛性變換之后的不變性。該微型網(wǎng)絡(luò)由點(diǎn)的獨(dú)立特征提取、最大匯聚以及全連接層等基本模塊構(gòu)成，類似于殘差級(jí)點(diǎn)網(wǎng)。

通過(guò)插入一個(gè)對(duì)齊網(wǎng)絡(luò)去預(yù)測(cè)特征變換矩陣，對(duì)齊來(lái)自不同輸入點(diǎn)云的特征。由于特征空間中的變換矩陣維數(shù)要遠(yuǎn)比空間變換矩陣的維數(shù)高，因此，通過(guò)在Softmax訓(xùn)練損失中添加一個(gè)正則化項(xiàng)去降低優(yōu)化的難度。約束特征變換矩陣接近一個(gè)正交矩陣：

其中，M是特征對(duì)齊矩陣。正交變換可以確保輸入不丟失信息。通過(guò)添加正則化項(xiàng)，使得模型優(yōu)化過(guò)程變得更加穩(wěn)定，提高模型的性能。

2? 多尺度空間信息

RPN模型缺乏點(diǎn)云的局部空間信息。由于點(diǎn)云數(shù)據(jù)呈現(xiàn)空間分布的特性，空間信息的丟失顯然會(huì)影響網(wǎng)絡(luò)對(duì)于3D模型的識(shí)別能力。因此，本文采用逐層次地去獲取點(diǎn)云數(shù)據(jù)的空間信息，即提取多尺度的局部空間信息（MSG）策略。

提取多尺度空間信息的思想很簡(jiǎn)單。與卷積神經(jīng)網(wǎng)絡(luò)的原理類似，先從小的鄰域中提取數(shù)據(jù)的局部特征，然后通過(guò)不斷堆疊，逐步地?cái)U(kuò)大感受野。具體來(lái)說(shuō)，首先通過(guò)空間的距離度量將點(diǎn)集劃分為k個(gè)局部區(qū)域，然后將這些局部特征進(jìn)一步分組成更大的單元，并經(jīng)過(guò)處理以產(chǎn)生更高層次的特征。重復(fù)這個(gè)過(guò)程，直到得到整個(gè)點(diǎn)集的特征。

首先，需要解決以下兩個(gè)主要的問(wèn)題：一是如何劃分點(diǎn)集，二是如何去抽象出點(diǎn)集的局部特征。由于劃分的點(diǎn)集必須通過(guò)跨分區(qū)產(chǎn)生共同的結(jié)構(gòu)，可以借鑒卷積中的設(shè)置，即共享特征學(xué)習(xí)的權(quán)重。本文選擇殘差級(jí)點(diǎn)網(wǎng)作為局部特征學(xué)習(xí)器，為了防止局部信息的冗余，僅在最后一層使用殘差模塊。其次，如何生成點(diǎn)集的重疊分區(qū)仍然是一個(gè)關(guān)鍵的問(wèn)題。與固定步長(zhǎng)掃描空間的卷積神經(jīng)網(wǎng)絡(luò)相比，采用最遠(yuǎn)點(diǎn)采樣（FPS）算法在輸入點(diǎn)集中去尋找合適的質(zhì)心，利用輸入數(shù)據(jù)與歐式距離去共同決定局部接受域，因此更加有效。在歐幾里得空間中，定義每個(gè)分區(qū)為一個(gè)包含質(zhì)心位置以及尺度的鄰域球。

本實(shí)驗(yàn)共使用了三層的層次結(jié)構(gòu)，對(duì)于每一層而言，都是由多個(gè)集合的抽象層次構(gòu)成，如圖3所示。對(duì)于每一層而言，點(diǎn)云被處理和抽象，以產(chǎn)生一個(gè)具有更少點(diǎn)云的新集合。采樣層、分組層和點(diǎn)網(wǎng)層共同組成了集合的抽象層次。采樣層利用FPS算法從輸入數(shù)據(jù)中選擇一組點(diǎn)作為局部區(qū)域的質(zhì)心。分組層則通過(guò)球查詢的方法去尋找“近鄰”點(diǎn)以構(gòu)造局部區(qū)域。點(diǎn)網(wǎng)層使用一個(gè)mini殘差點(diǎn)網(wǎng)將局部區(qū)域模式編碼為特征向量。

對(duì)于每一個(gè)集合的抽象層次的輸入都采用來(lái)自N個(gè)具有d維向量的坐標(biāo)和X維點(diǎn)特征的點(diǎn)的矩陣K作為輸入；同時(shí)，以一個(gè)具有d維向量坐標(biāo)和新的? 維的特征向量的K′矩陣作為輸出，以此來(lái)總結(jié)局部上下文信息。

2.1? 采樣層

對(duì)于輸入點(diǎn)集 ，使用迭代的最遠(yuǎn)點(diǎn)采樣（Farthest Point Sampling， FPS）算法去挑選點(diǎn)的子集? 。這樣? 就是距離集合? 的距離最遠(yuǎn)的點(diǎn)。在保持質(zhì)心數(shù)量一致的前提下，最遠(yuǎn)點(diǎn)采樣相較于隨機(jī)抽樣能更好地覆蓋整個(gè)點(diǎn)集。

2.2? 分組層

該層的輸入為N×（d+X）的點(diǎn)集和一組大小為K的質(zhì)心坐標(biāo)，輸出是為大小? 的點(diǎn)集組，其中每組對(duì)應(yīng)一個(gè)局部區(qū)域，K為是質(zhì)心點(diǎn)鄰域內(nèi)的點(diǎn)數(shù)，其取值不固定，即在不同組中的取值會(huì)發(fā)生變化。后續(xù)的點(diǎn)網(wǎng)層能夠?qū)㈧`活數(shù)量的點(diǎn)數(shù)轉(zhuǎn)換為固定長(zhǎng)度的局部區(qū)域特征向量。

為了確保固定的區(qū)域尺度，本實(shí)驗(yàn)使用球查詢的方法去查找位于目標(biāo)點(diǎn)半徑內(nèi)的所有點(diǎn)，并設(shè)置了點(diǎn)數(shù)量K的上限。這與尋找固定數(shù)量的相鄰點(diǎn)的查詢方法K近鄰搜索不同。球查詢的方法使得局部區(qū)域特征在空間上更加具有通用性，這對(duì)于需要局部模型識(shí)別的任務(wù)而言尤其重要。

2.3? 點(diǎn)網(wǎng)層

該層的輸入是數(shù)據(jù)大小為? 的? 個(gè)局部區(qū)域。輸出數(shù)據(jù)大小為 。通過(guò)質(zhì)心以及質(zhì)心領(lǐng)域的局部特征去提取輸出中的每個(gè)局部區(qū)域。

2.4? 一個(gè)重要的改進(jìn)策略

利用上述MSG方案去提取模型空間結(jié)構(gòu)的點(diǎn)云信息，在一定程度上造成了空間信息的冗余，增加了模型運(yùn)行的時(shí)間。為了解決該問(wèn)題，提出了一個(gè)重要的改進(jìn)策略。在進(jìn)行層次提取之前，先進(jìn)行點(diǎn)的碰撞檢測(cè)，濾除掉被近景點(diǎn)云遮擋的點(diǎn)。如圖4所示，圖中近景點(diǎn)云會(huì)遮擋遠(yuǎn)景點(diǎn)云，將遠(yuǎn)景點(diǎn)云定義為“無(wú)效點(diǎn)”，這類點(diǎn)對(duì)分類結(jié)果無(wú)影響，但會(huì)降低模型的推理速度。通過(guò)碰撞檢測(cè)之后，極大地減少了無(wú)效點(diǎn)的數(shù)量，這類點(diǎn)對(duì)于分類識(shí)別而言意義不大，同時(shí)有效地提高了計(jì)算機(jī)的處理效率；保留了點(diǎn)云模型表面的關(guān)鍵點(diǎn)，這些關(guān)鍵點(diǎn)在分類識(shí)別任務(wù)中承擔(dān)了至關(guān)重要的角色。因此，經(jīng)過(guò)碰撞檢測(cè)之后并不會(huì)影響類型識(shí)別的準(zhǔn)確率，反而提高了計(jì)算機(jī)運(yùn)行的效率。

3? 實(shí)驗(yàn)結(jié)果與分析

3.1? 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)所使用的數(shù)據(jù)集是由普林斯頓大學(xué)（Princeton University）公開的標(biāo)準(zhǔn)數(shù)據(jù)集ModelNet-40[20]。該數(shù)據(jù)集包含12 311個(gè)CAD（computer-aided design）模型，其中訓(xùn)練模型9 843個(gè)，測(cè)試模型2 468個(gè)，共40個(gè)類別。

實(shí)驗(yàn)環(huán)境為L(zhǎng)inux Ubuntu 16.04操作系統(tǒng)、Python 3.6、CUDA 10.1、Pytorch 1.6.0。

3.2? 網(wǎng)絡(luò)參數(shù)設(shè)置

本實(shí)驗(yàn)使用基于動(dòng)量的隨機(jī)梯度下降算法（Stochastic Gradient Descent， SGD）來(lái)優(yōu)化網(wǎng)絡(luò)，各參數(shù)設(shè)置如表2所示。

3.3? 實(shí)驗(yàn)總結(jié)與分析

點(diǎn)云數(shù)據(jù)碰撞檢測(cè)前后對(duì)比圖如圖5所示，左圖是在MeshLab中觀察到的原始點(diǎn)云圖像（包含1萬(wàn)多個(gè)點(diǎn)），右圖是經(jīng)過(guò)碰撞檢測(cè)之后采樣的點(diǎn)云圖像（包含1 024個(gè)點(diǎn)）。對(duì)比兩幅圖像可以看出，經(jīng)過(guò)碰撞檢測(cè)之后，點(diǎn)云的數(shù)量明顯減少的同時(shí)，仍能保留物體關(guān)鍵點(diǎn)的信息。

本實(shí)驗(yàn)的評(píng)估指標(biāo)為三維模型識(shí)別準(zhǔn)確率和模型的運(yùn)行時(shí)間。實(shí)驗(yàn)結(jié)果如表3所示，相比于PointNet識(shí)別率提高了2.3%，加入的殘差級(jí)模塊作為對(duì)MLP的補(bǔ)充，融合了局部信息與全局信息，提取了更深層次特征；其次通過(guò)融合點(diǎn)云的空間信息，并對(duì)點(diǎn)云進(jìn)行碰撞檢測(cè)，減少了無(wú)效點(diǎn)的數(shù)量，提高了類的識(shí)別精度，運(yùn)行效率較PointNet++提高了近1/4。

4? 結(jié)? 論

本文構(gòu)建了一種基于殘差級(jí)點(diǎn)網(wǎng)的三維模型識(shí)別方法，通過(guò)殘差模塊能提取到更深層次的點(diǎn)云局部信息，增強(qiáng)了網(wǎng)絡(luò)對(duì)于模型的識(shí)別能力；其次，提出了多尺度提取空間信息的策略，在提取空間信息的同時(shí)，加快網(wǎng)絡(luò)的推理能力。

對(duì)于分類而言，可通過(guò)跨模態(tài)融合的方式去提升識(shí)別的精度，即通過(guò)對(duì)3D點(diǎn)云進(jìn)行2D紋理渲染，進(jìn)一步提升模型的識(shí)別度，避免因?yàn)槟Ｐ偷狞c(diǎn)云結(jié)構(gòu)類似而出現(xiàn)誤識(shí)別的現(xiàn)象，這也是非常值得關(guān)注的方向。但該類方法最關(guān)鍵的問(wèn)題在于如何去解決3D點(diǎn)云與2D圖像的一致性問(wèn)題。

參考文獻(xiàn)：

[1] SUN J，OVSJANIKOV M，GUIBAS L. A Concise and Provably Informative Multi-Scale Signature Based on Heat Diffusion [J].Computer Graphics Forum，2009，28（5）：1383-1392.

[2] OSADA R，F(xiàn)UNKHOUSER T，CHAZELLE B，et al. Shape Distributions [J].ACM Transactions on Graphics，2002，21（4）：807-832.

[3] SU H，MAJI S，KALOGERAKIS E，et al. Multi-View Convolutional Neural Networks for 3D Shape Recognition [J/OL].arXiv：1505.00880 [cs.CV].（2015-05-05）.https：//arxiv.org/abs/1505.00880.

[4] FENG Y F，ZHANG Z Z，ZHAO X B，et al. GVCNN：Group-View Convolutional Neural Networks for 3D Shape Recognition [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake：IEEE，2018：264-272.

[5] MATURANA D，SCHERER S. VoxNet：A 3D Convolutional Neural Network for Real-Time Object Recognition [C]//2015 IEEE/RSJ International Conference on Intelligent Robots and Systems（IROS）.Hamburg：IEEE，2015：922-928.

[6] 楊軍，王亦民.基于深度卷積神經(jīng)網(wǎng)絡(luò)的三維模型識(shí)別 [J].重慶郵電大學(xué)學(xué)報(bào)：自然科學(xué)版，2019，31（2）：253-260.

[7] 楊軍，王順，周鵬.基于深度體素卷積神經(jīng)網(wǎng)絡(luò)的三維模型識(shí)別分類 [J].光學(xué)學(xué)報(bào)，2019，39（4）：314-324.

[8] KLOKOV R，LEMPITSKY V. Escape from Cells：Deep Kd-Networks for the Recognition of 3D Point Cloud Models [C]//2017 IEEE International Conference on Computer Vision（ICCV）.Venice：IEEE，2017：863-872.

[9] BRONSTEIN M M，BRUNA J，LECUN Y，et al. Geometric Deep Learning：Going beyond Euclidean Data [J].IEEE Signal Processing Magazine，2017，34（4）：18-42.

[10] WANG Y，SUN Y B，LIU Z W，et al. Dynamic graph CNN for learning on Point Clouds [J/OL].arXiv：1801.07829 [cs.CV].（2018-01-24）.https：//arxiv.org/abs/1801.07829.

[11] ZHANG K G，HAO M，WANG J，et al. Linked Dynamic Graph CNN：Learning on Point Cloud Via Linking Hierarchical Features [J/OL].arXiv：1904.10014 [cs.CV].（2019-04-22）.https：//arxiv.org/abs/1904.10014.

[12] CHEN C，F(xiàn)RAGONARA L Z，TSOURDOS A. GAPNet：Graph Attention Based Point Neural Network for Exploiting Local Feature of Point Cloud [J/OL].arXiv：1905.08705 [cs.CV].（2019-05-21）.https：//arxiv.org/abs/1905.08705.

[13] LIU X H，HAN Z Z，LIU Y-S，et al. Point2Sequence：Learning the Shape Representation of 3D Point Clouds with an Attention-Based Sequence to Sequence Network [J/OL].arXiv：1811.02565 [cs.CV].（2019-05-21）.https：//arxiv.org/abs/1811.02565v2.

[14] LI Y Y，BU R，SUN M C，et al. PointCNN：Convolution on X-Transformed Points [C]//Neural Information Processing Systems.Montréal：Curran Associates，2018：820-830.

[15] XU Y F，F(xiàn)AN T Q，XU M Y，et al. SpiderCNN：Deep Learning on Point Sets with Parameterized Convolutional Filters [J/OL].arXiv：1803.11527 [cs.CV].（2018-03-30）.https：//arxiv.org/abs/1803.11527v3.

[16] ATZMON M，MARON H，LIPMAN Y. Point Convolutional Neural Networks by Extension Operators [J].ACM Transactions on Graphics （TOG），2018，37（4）：1-12.

[17] QI C R，SU H，KAICHUN M，et al. PointNet：Deep Learning on Point Sets for 3D Classification and Segmentation [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Honolulu：IEEE，2017：77-85.

[18] QI C R，YI L，SU H，et al. PointNet++：Deep Hierarchical Feature Learning on Point Sets in a Metric Space [J/OL].arXiv：1706.02413 [cs.CV].（2017-06-07）.https：//arxiv.org/abs/1706.02413.

[19] KLOKOV R，LEMPITSKY V. Escape from Cells：Deep Kd-Networks for the Recognition of 3D Point Cloud Models [C]//2017 IEEE International Conference on Computer Vision （ICCV）.Venice：IEEE，2017：863-872.

[20] WU Z R，SONG S R，KHOSLA A，et al. 3D ShapeNets：A Deep Representation for Volumetric Shapes [C]//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Boston：IEEE，2015：1912-1920.

作者簡(jiǎn)介：吳鵬程（1994.11—），男，漢族，四川廣安人，碩士研究生在讀，研究方向：基于點(diǎn)云模型的識(shí)別方法研究；李暉（1968.09—），女，漢族，山東蓬萊人，教授，博士，研究方向：網(wǎng)絡(luò)通信與信號(hào)處理、信息安全、自然語(yǔ)言處理；王鳳聰（1997.02—），男，漢族，山東聊城人，碩士研究生在讀，研究方向：基于圖像的目標(biāo)檢測(cè)方法研究。