劉賢穎，吳秋遐*，康文雄，李玉瓊

（1.華南理工大學(xué) 軟件學(xué)院，廣東 廣州 510006；2.華南理工大學(xué) 自動(dòng)化科學(xué)與工程學(xué)院，廣東 廣州 510641；3.中國(guó)科學(xué)院 力學(xué)研究所，北京 100190）

1 引言

隨著三維掃描技術(shù)的不斷發(fā)展與快速普及，人們可以實(shí)現(xiàn)對(duì)真實(shí)物體表面進(jìn)行點(diǎn)采樣，這些采樣數(shù)據(jù)稱(chēng)為三維點(diǎn)云。點(diǎn)云包含物體的坐標(biāo)，法向量等基本信息，具有較高的靈活性和適用性，在建筑、機(jī)械、自動(dòng)駕駛［1］等領(lǐng)域中有著重要的應(yīng)用價(jià)值。近年來(lái)，借助廣泛的監(jiān)督信息，深度學(xué)習(xí)在點(diǎn)云分類(lèi)、分割、目標(biāo)檢測(cè)等任務(wù)中取得了顯著的成果［2-7］。然而，監(jiān)督學(xué)習(xí)需要大量的人工標(biāo)注來(lái)獲取監(jiān)督信息，同時(shí)限制模型的泛化能力。因此，無(wú)監(jiān)督學(xué)習(xí)是獲得通用點(diǎn)云表征的一個(gè)有吸引力的方向。另外，在現(xiàn)實(shí)工程應(yīng)用中，點(diǎn)云不可避免發(fā)生旋轉(zhuǎn)變換，呈現(xiàn)出任意的空間位置和姿態(tài)，導(dǎo)致模型性能急劇下降。因此，從未標(biāo)注的數(shù)據(jù)中學(xué)習(xí)旋轉(zhuǎn)魯棒的通用點(diǎn)云表征是一個(gè)艱巨的挑戰(zhàn)。

在深度學(xué)習(xí)中，自動(dòng)編碼器（Auto-encoder）是無(wú)監(jiān)督學(xué)習(xí)點(diǎn)云表征的重要架構(gòu)?，F(xiàn)有的一些研究工作［8-14］在編解碼器的結(jié)構(gòu)上進(jìn)行無(wú)監(jiān)督的點(diǎn)云表征學(xué)習(xí)。典型的方法是將三維重建作為輔助任務(wù)，使用自動(dòng)編碼器將點(diǎn)云編碼為特征，然后將特征 解碼重建點(diǎn) 云。FoldingNet［15］提出了一種折疊操作，將標(biāo)準(zhǔn)二維網(wǎng)格變形到點(diǎn)云表面，但是它的缺陷是特征學(xué)習(xí)能力較弱。為了獲取更精細(xì)的點(diǎn)云特征，一些方法聯(lián)合利用局部結(jié)構(gòu)信息進(jìn)行全局形狀的重建［10-11］。文獻(xiàn)［10］采用分層自注意力機(jī)制對(duì)局部區(qū)域內(nèi)多個(gè)尺度的幾何信息同時(shí)進(jìn)行編碼，通過(guò)局部到全局的重構(gòu)來(lái)同時(shí)學(xué)習(xí)點(diǎn)云的局部和全局結(jié)構(gòu)。文獻(xiàn)［11］引入多角度分析來(lái)理解點(diǎn)云，通過(guò)語(yǔ)義局部自監(jiān)督來(lái)學(xué)習(xí)局部幾何和結(jié)構(gòu)。除了對(duì)點(diǎn)云空間結(jié)構(gòu)的學(xué)習(xí)，一些研究致力于挖掘點(diǎn)云自身潛在的語(yǔ)義信息［12-13］，通過(guò)對(duì)比度量的思想建模抽象的深層次信息，以學(xué)習(xí)點(diǎn)云潛在的語(yǔ)義信息。以上方法僅在點(diǎn)云的三維模態(tài)進(jìn)行學(xué)習(xí)，這會(huì)使得模型的表達(dá)能力在一定程度上受到限制。為了學(xué)習(xí)點(diǎn)云多模態(tài)的信息，CrossPoint［14］提出一種2D-3D 的跨模態(tài)點(diǎn)云表征學(xué)習(xí)方法，但其需要提前準(zhǔn)備好點(diǎn)云的二維圖像數(shù)據(jù)，在實(shí)際應(yīng)用中會(huì)增加大量的計(jì)算。

盡管以FoldingNet［15］為主的一系列點(diǎn)云 自編碼器可以有效地學(xué)習(xí)點(diǎn)云表征，但它們大多是在預(yù)先對(duì)齊的合成數(shù)據(jù)集上進(jìn)行評(píng)估的，而在實(shí)際應(yīng)用中很難訪(fǎng)問(wèn)對(duì)齊良好的點(diǎn)云，一旦點(diǎn)云的姿態(tài)發(fā)生旋轉(zhuǎn)變化，這些網(wǎng)絡(luò)性能會(huì)急速下降。在無(wú)監(jiān)督點(diǎn)云表征學(xué)習(xí)中，解決旋轉(zhuǎn)干擾問(wèn)題的一個(gè)直觀(guān)方法是通過(guò)考慮所有可能的旋轉(zhuǎn)來(lái)對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行擴(kuò)充，再輸入無(wú)監(jiān)督網(wǎng)絡(luò)進(jìn)行訓(xùn)練。但由于點(diǎn)云旋轉(zhuǎn)的搜索空間無(wú)窮大且深度網(wǎng)絡(luò)的學(xué)習(xí)能力有限，深度網(wǎng)絡(luò)無(wú)法適應(yīng)任意的旋轉(zhuǎn)，并且點(diǎn)云數(shù)據(jù)被旋轉(zhuǎn)增強(qiáng)后，通過(guò)其形狀挖掘語(yǔ)義信息將變得困難。一些研究人員提出了無(wú)監(jiān)督學(xué)習(xí)中的旋轉(zhuǎn)問(wèn)題解決方案［8-9］，PPFFoldNet［8］使用基于手工制作的三維特征描述符組成的局部面片表示點(diǎn)云，并通過(guò)局部面片的重建實(shí)現(xiàn)無(wú)監(jiān)督學(xué)習(xí)。這種通過(guò)局部鄰域內(nèi)邊角關(guān)系構(gòu)成的描述符嚴(yán)格刻畫(huà)了點(diǎn)云局部旋轉(zhuǎn)不變的特征。但由于丟失點(diǎn)云原始坐標(biāo)信息，特征學(xué)習(xí)不充分，模型在下游任務(wù)的評(píng)估效果并不理想。ELGANet-U［9］在設(shè)計(jì)局部旋轉(zhuǎn)不變描述符的基礎(chǔ)上增加了全局旋轉(zhuǎn)不變信息，使用圖卷積網(wǎng)絡(luò)（Graph Convolution Networks，GCN）構(gòu)成的對(duì)齊模塊學(xué)習(xí)點(diǎn)云旋轉(zhuǎn)不變的坐標(biāo)，通過(guò)重建對(duì)齊后點(diǎn)云補(bǔ)充全局信息。但GCN 的靈活性和可拓展性較差，文獻(xiàn)［16］指出在缺乏標(biāo)簽監(jiān)督的情況下，GCN 的性能會(huì)有比較嚴(yán)重的下降，這會(huì)降低學(xué)習(xí)到的點(diǎn)云表征在下游任務(wù)中的性能。

針對(duì)上述問(wèn)題，本文提出了一個(gè)旋轉(zhuǎn)不變的2D 視圖-3D 點(diǎn)云自編碼器（Rotation-invariant 2D views-3D Point Clouds Auto-encoder，RI 2D-3D AE），極小化旋轉(zhuǎn)影響并且同時(shí)利用點(diǎn)云及其視圖充分提取信息。主要?jiǎng)?chuàng)新點(diǎn)和貢獻(xiàn)有：（1）針對(duì)旋轉(zhuǎn)問(wèn)題，設(shè)計(jì)局部融合全局的旋轉(zhuǎn)不變特征轉(zhuǎn)換策略。對(duì)于局部表示，利用手工設(shè)計(jì)特征對(duì)輸入點(diǎn)云進(jìn)行轉(zhuǎn)換，生成旋轉(zhuǎn)不變的點(diǎn)云表征；對(duì)于全局表示，提出一個(gè)基于主成分分析的全局對(duì)齊模塊（Principal Component Analysis Global Alignment，PCA-GA），將旋轉(zhuǎn)點(diǎn)云對(duì)齊同一姿態(tài)下，在補(bǔ)充全局信息的同時(shí)排除旋轉(zhuǎn)干擾。（2）針對(duì)編碼器，設(shè)計(jì)局部和非局部特征提取模塊（Local and Non-local Module，LNLM），充分提取點(diǎn)云的局部空間特征和非局部上下文相關(guān)性，并建模不同層次特征之間的語(yǔ)義一致性。（3）提出一個(gè)基于PCA 對(duì)齊的2D-3D 重構(gòu)的解碼方法，重建對(duì)齊后的三維點(diǎn)云和二維視圖，使編碼器輸出的點(diǎn)云表征集成來(lái)自3D 點(diǎn)云和2D 視圖的豐富學(xué)習(xí)信號(hào)。

2 旋轉(zhuǎn)不變的點(diǎn)云自編碼器

2.1 點(diǎn)云自編碼器模型架構(gòu)

本文提出的旋轉(zhuǎn)不變的2D 視圖-3D 點(diǎn)云自編碼器如圖1 所示，其主要包括旋轉(zhuǎn)不變的局部和非局部特征編碼器（Rotation-invariant Local and Non-local Encoder，RI-LNL Encoder）和基于主成分分析對(duì)齊的2D-3D 重構(gòu)解碼器（PCA 2D-3D Reconstruction Decoder）。

圖1 旋轉(zhuǎn)不變的2D 視圖-3D 點(diǎn)云自編碼器結(jié)構(gòu)示意圖Fig.1 Structure diagram of rotation-invariant 2D views-3D point clouds auto-encoder

在特征編碼階段，首先將點(diǎn)云轉(zhuǎn)換為旋轉(zhuǎn)不變的局部特征描述符，然后從局部和非局部聚合為輸入點(diǎn)云的全局表征，并通過(guò)度量學(xué)習(xí)建模特征之間的語(yǔ)義一致性。在特征解碼階段，首先將點(diǎn)云進(jìn)行全局對(duì)齊，對(duì)齊后的點(diǎn)云不受旋轉(zhuǎn)干擾，然后通過(guò)兩個(gè)重建分支分別重建對(duì)齊后的三維點(diǎn)云及其二維視圖。

2.2 旋轉(zhuǎn)不變的局部和非局部特征編碼器

2.2.1 點(diǎn)云的局部旋轉(zhuǎn)不變特征轉(zhuǎn)換

編碼器的輸入是一個(gè)具有N=1 024 個(gè)點(diǎn)的無(wú)序點(diǎn)云其 對(duì)應(yīng)的法向量集表示為局部結(jié)構(gòu)對(duì)點(diǎn)云表征學(xué)習(xí)至關(guān)重要，其包含點(diǎn)云的空間幾何信息。大多數(shù)網(wǎng)絡(luò)直接在原始點(diǎn)云坐標(biāo)上學(xué)習(xí)局部特征，這很容易受到旋轉(zhuǎn)的干擾。

受三維局部特征描述符PPF［8］啟發(fā)，本文設(shè)計(jì)了一個(gè)基于局部鄰域中的相對(duì)距離和角度的旋轉(zhuǎn)不變特征描述符來(lái)對(duì)點(diǎn)云進(jìn)行特征轉(zhuǎn)換，如圖2 所示。與其他在單一坐標(biāo)系下構(gòu)建的特征描述符不同，本文在局部和全局坐標(biāo)系中收集特征，使描述符具有更豐富的特征信息和更強(qiáng)的旋轉(zhuǎn)魯棒性。對(duì)于一個(gè)查詢(xún)點(diǎn)pi，對(duì)應(yīng)k=64 個(gè)近鄰點(diǎn)，pi與其近鄰點(diǎn)形成k個(gè)點(diǎn)對(duì)。為了描述點(diǎn)之間的相對(duì)位置，在每個(gè)點(diǎn)對(duì)(pi，pij)上建立局部坐標(biāo)系(ui，vi，wi)：

圖2 手工制作的旋轉(zhuǎn)不變特征描述符Fig.2 Handcrafted rotation-invariant features

2.2.2 局部和非局部特征提取模塊

為了進(jìn)一步聚合局部領(lǐng)域內(nèi)的空間幾何信息，并學(xué)習(xí)長(zhǎng)距離的上下文相關(guān)性，設(shè)計(jì)局部和非局部的特征提取模塊，其結(jié)構(gòu)如圖3 所示。

圖3 局部和非局部的特征提取模塊及特征聚合層結(jié)構(gòu)圖Fig.3 Structure diagram of local and non-local module and feature aggregation layer

LNLM 首先對(duì)轉(zhuǎn)換后的特征圖Mi通過(guò)特征聚合層（Feature Aggregation，F(xiàn)A）得到點(diǎn)pi的局部特征fai，F(xiàn)A 的計(jì)算過(guò)程如下式所示：

其中：h和h′是多層感知機(jī)（Multi-layer Perceptron，MLP）。由于MLP 只能獨(dú)立處理每個(gè)轉(zhuǎn)換特征mi，j，不能捕捉KNN 鄰域中各點(diǎn)的信息。因此使用卷積層聚合局部鄰域信息得到聚合向量vi，其補(bǔ)充了鄰域內(nèi)其它點(diǎn)的信息。點(diǎn)云P=的局部特征表示為

局部特征Fa僅關(guān)注歐幾里得空間中的局部鄰域，忽略了遙遠(yuǎn)但相似點(diǎn)之間的非局部相關(guān)性。DGCNN［4］發(fā)現(xiàn)語(yǔ)義相似點(diǎn)的特征在特征值空間中的距離是相近的。沿著這個(gè)方向，對(duì)于Fa的每個(gè)特征向量fai，搜索與其距離最近的k個(gè)特征向量，然后同樣通過(guò)FA 得到點(diǎn)pi的非局部特征fbi，則點(diǎn)云P=的非局部特征表示為

最后，連接Fa與Fb并通過(guò)MLP 和池化層聚合為點(diǎn)云全局表征g。

2.2.3 局部-非局部-全局語(yǔ)義一致性建模

由于缺乏人工標(biāo)簽訓(xùn)練，無(wú)監(jiān)督學(xué)習(xí)通常無(wú)法從點(diǎn)云中學(xué)習(xí)類(lèi)別語(yǔ)義信息。為了增強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)到的點(diǎn)云表征，基于度量學(xué)習(xí)的思想建模局部-非局部-全局之間共享的語(yǔ)義知識(shí)，以挖掘點(diǎn)云自身潛在的具有區(qū)分性的語(yǔ)義信息。具體來(lái)說(shuō)，一個(gè)點(diǎn)云P輸入編碼器得到三個(gè)特征：局部特征，非局部特征，全局特征向量g，這三個(gè)不同抽象層次的特征在語(yǔ)義上是一致的，都屬于點(diǎn)云P的類(lèi)別并且區(qū)別于其他點(diǎn)云。由此構(gòu)建語(yǔ)義一致性度量損失：

其中：φ和φ是兩個(gè)映射函數(shù)，負(fù)責(zé)將維度不一樣的特征映射到相同的特征空間，通過(guò)MLP 實(shí)現(xiàn)；s是一個(gè)常數(shù)值。式（6）表示點(diǎn)云樣本P中的一個(gè)點(diǎn)pi的特征fi∈{fai，fbi}與P對(duì)應(yīng)全 局特征g的距離盡量小，而與其它點(diǎn)云樣本的全局特征gk的距離盡可能大；式（7）表示對(duì)點(diǎn)云P中的每個(gè)點(diǎn)計(jì)算的度量損失進(jìn)行求和，以此來(lái)捕獲不同層次特征共享的底層語(yǔ)義知識(shí)。

2.3 基于主成分分析對(duì)齊的2D-3D 重構(gòu)解碼器

2.3.1 基于主成分分析的全局對(duì)齊模塊

解碼器的目標(biāo)是通過(guò)全局形狀重建來(lái)學(xué)習(xí)全局結(jié)構(gòu)。然而，當(dāng)重建的目標(biāo)點(diǎn)云受到旋轉(zhuǎn)干擾，會(huì)極大地影響重建效果。本文設(shè)計(jì)PCAGA，通過(guò)PCA 學(xué)習(xí)點(diǎn)云的固有坐標(biāo)幀，并將重建的目標(biāo)點(diǎn)云對(duì)齊到由固有幀構(gòu)成的新坐標(biāo)系下，以生成旋轉(zhuǎn)不變的點(diǎn)坐標(biāo)，這保證了重建的旋轉(zhuǎn)魯棒性。

其中：Pc是原始點(diǎn)云P中心化的結(jié)果，U是左奇異矩陣，Σ是對(duì)角矩陣，V=［v1，v2，v3］是一個(gè)3×3 的正交矩陣，代表從原始點(diǎn)云內(nèi)提取中的固有坐標(biāo)幀。對(duì)于同一個(gè)點(diǎn)云的所有旋轉(zhuǎn)克隆，它們的固有坐標(biāo)幀是相同的。為了實(shí)現(xiàn)旋轉(zhuǎn)不變性，將點(diǎn)從原始模型轉(zhuǎn)換為新建立的全局坐標(biāo)系：

其中，P′是旋轉(zhuǎn)不變的點(diǎn)坐標(biāo)。PCA-GA 可以將無(wú)限旋轉(zhuǎn)姿態(tài)對(duì)齊到固定姿態(tài)，同時(shí)保留原始點(diǎn)云信息，從根本上降低解碼器對(duì)旋轉(zhuǎn)點(diǎn)云的重建難度，為整個(gè)網(wǎng)絡(luò)架構(gòu)提供了旋轉(zhuǎn)不變的全局信息。

2.3.2 2D 視 圖-3D 點(diǎn)云重建

當(dāng)前的自動(dòng)編碼器大多僅在三維重建中學(xué)習(xí)全局結(jié)構(gòu)，這會(huì)使得模型的表達(dá)能力在一定程度上受到限制。在現(xiàn)實(shí)世界中，三維物體的二維視圖具有豐富的信號(hào)，人眼能夠通過(guò)2D 視圖理解3D 物體。由此可以推測(cè)，在點(diǎn)云無(wú)監(jiān)督學(xué)習(xí)中，結(jié)合二維視圖訓(xùn)練模型，可以增強(qiáng)網(wǎng)絡(luò)編碼能力，促進(jìn)模型對(duì)3D 世界的有效理解。受此啟發(fā)，在PCA 對(duì)齊的基礎(chǔ)上，本文提出一個(gè)2D 視圖-3D 點(diǎn)云重構(gòu)的解碼方法。

對(duì)于解碼器輸出的全局表征g，設(shè)計(jì)兩個(gè)分支執(zhí)行不同的重建任務(wù)。在其中一個(gè)分支進(jìn)行三維點(diǎn)云自重構(gòu)，采用文獻(xiàn)［8］中基于折疊的解碼器D(·)將標(biāo)準(zhǔn)2D 網(wǎng)格變形為以全局表征g為條件的點(diǎn)云3D 坐標(biāo)Pr：

3D 重建損失定義為倒角距離：

注意，與其他解碼器不同，解碼器不直接重建輸入點(diǎn)云P，而是經(jīng)對(duì)齊后的旋轉(zhuǎn)不變的點(diǎn)坐標(biāo)P′。

在另一個(gè)分支進(jìn)行點(diǎn)云的視圖重建任務(wù)：生成點(diǎn)云P′的俯視圖、側(cè)視圖和前視圖，使用反卷積層在全局表征g基礎(chǔ)上重建三個(gè)視圖。由于生成的視圖是二值圖像，因此2D 重建損失定義為二值交叉熵（Binary Cross-Entropy，BCE）：

其中：xi是點(diǎn)云P′的一個(gè)視圖，yi是反卷積層輸出的重建視圖。式（13）計(jì)算了一個(gè)視圖的重建損失，在實(shí)際訓(xùn)練中需要重建三個(gè)視圖。

2D 重建分支不需要提前準(zhǔn)備好2D 圖像，而是直接將點(diǎn)云投影到PCA-GA 提取到的坐標(biāo)系下，以生成點(diǎn)云在不同方向上的視圖，該投影過(guò)程的成本在時(shí)間和計(jì)算上都是微乎其微的。同時(shí)，PCA-GA 提取到的三個(gè)坐標(biāo)軸是點(diǎn)云信息量最大的維度，在該坐標(biāo)軸下投影得到的點(diǎn)云視圖盡可能保留了點(diǎn)云的主要信息，降低了模型學(xué)習(xí)2D 視圖信息的難度。

2.4 目標(biāo)函數(shù)

結(jié)合編碼器的語(yǔ)義一致性度量損失和解碼器的2D-3D 重建，得出點(diǎn)云自編碼器的訓(xùn)練目標(biāo)：

經(jīng)過(guò)充分訓(xùn)練后，全局特征表示g可以用作點(diǎn)云的高維表示，并可用于下游應(yīng)用。該表征保證了旋轉(zhuǎn)不變性，更適用于具有旋轉(zhuǎn)擾動(dòng)的場(chǎng)景。此外，其以自我監(jiān)督的方式集成了來(lái)自3D點(diǎn)云和2D 視圖的豐富學(xué)習(xí)信號(hào)。另外，由于三維重建分支是從二維網(wǎng)格折疊到三維點(diǎn)云的架構(gòu)，視圖重建任務(wù)在一定程度上能夠促進(jìn)三維點(diǎn)云的重建。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文在合成數(shù)據(jù)集ModelNet40［17］、真實(shí)數(shù)據(jù)集ScanObjectNN［18］中評(píng)估提出的網(wǎng)絡(luò)。

ModelNet40 包括來(lái)自40 個(gè)人造對(duì)象類(lèi)別的12 311 個(gè)CAD 模 型，其 中，9 843 個(gè)CAD 模型用于培訓(xùn)，2 468 個(gè)模型用于測(cè)試。

ScanObjectNN 是一個(gè)更真實(shí)、更具挑戰(zhàn)性的3D 點(diǎn)云數(shù)據(jù)集，它由從真實(shí)室內(nèi)掃描中提取的對(duì)象組成。它包含來(lái)自15 個(gè)類(lèi)別的2 902 個(gè)對(duì)象，其中2 319 個(gè)用于訓(xùn)練，583 個(gè)用于測(cè)試。ScanObjectNN 有多個(gè)不同的變體，在本實(shí)驗(yàn)中使用常用的變體OBJ_BG（添加背景干擾和遮擋），以及難度最高的變體PB_T50_RS（添加平移和旋轉(zhuǎn)擾動(dòng)）。

3.2 實(shí)驗(yàn)設(shè)置

在無(wú)監(jiān)督學(xué)習(xí)中，網(wǎng)絡(luò)通過(guò)執(zhí)行精心設(shè)計(jì)的訓(xùn)練任務(wù)，可以獲得無(wú)標(biāo)簽的點(diǎn)云表征。衡量無(wú)監(jiān)督學(xué)習(xí)質(zhì)量的一個(gè)常見(jiàn)指標(biāo)是生成表征的線(xiàn)性可分性。因此，本文使用線(xiàn)性支持向量機(jī)（Support Vector Mechine，SVM）分類(lèi)器進(jìn)行對(duì)象分類(lèi)，作為評(píng)估特征表示能力的下游任務(wù)。具體來(lái)說(shuō)，在對(duì)象分類(lèi)實(shí)驗(yàn)中，采用OneVsRest 策略，以linearSVM 函數(shù)為內(nèi)核，從自動(dòng)編碼器獲得的全局特征中訓(xùn)練了一個(gè)線(xiàn)性SVM 分類(lèi)器。根據(jù)分類(lèi)精度來(lái)評(píng)估的點(diǎn)云表征的可分辨性。

另外，為了有效評(píng)估網(wǎng)絡(luò)的旋轉(zhuǎn)魯棒性，在三種情況下進(jìn)行實(shí)驗(yàn)，分別為原始訓(xùn)練集和測(cè)試集（z/z），原始訓(xùn)練集和任意3D 旋轉(zhuǎn)增強(qiáng)的測(cè)試集（z/SO3），任意3D 旋轉(zhuǎn)增強(qiáng)的訓(xùn)練集和測(cè)試集（SO3/SO3）。

在實(shí)驗(yàn)中，使用ADAM optimizer 在NVIDIA RTX 2080 Ti GPU 上訓(xùn)練網(wǎng)絡(luò)，初始學(xué)習(xí)率為0.000 1，批量大小為16。每20 個(gè)epoch，學(xué)習(xí)率降低20%，模型訓(xùn)練200 個(gè)epoch。

3.3 無(wú)監(jiān)督點(diǎn)云分類(lèi)結(jié)果分析

首先在合成數(shù)據(jù)集ModelNet40 上測(cè)試RI 2D-3D AE，并與最先進(jìn)的無(wú)監(jiān)督方法進(jìn)行比較，分類(lèi)精度如表1 所示。

表1 ModelNet40 數(shù)據(jù)集上不同方法的分類(lèi)精度Tab.1 Classification accuracy of the different methods on ModelNet40

從實(shí)驗(yàn)結(jié)果可以看出，在測(cè)試集隨機(jī)旋轉(zhuǎn)增強(qiáng)的情況下（z/SO3），常規(guī)的有監(jiān)督方法［2-4］和無(wú)監(jiān)督方法［13-15］的分類(lèi)準(zhǔn)確率出現(xiàn)了嚴(yán)重的衰減，當(dāng)前效果最好的無(wú)監(jiān)督方法PointGLR［13］僅能取得14.34% 的準(zhǔn)確率，而本文提出的RI 2D-3D AE 在不同的環(huán)境中始終保持優(yōu)異的性能。對(duì)于旋轉(zhuǎn)魯棒的競(jìng)爭(zhēng)方法，RI 2D-3D AE 顯著優(yōu)于ModelNet40 下的所有無(wú) 監(jiān)督競(jìng)爭(zhēng)對(duì) 手［8-9］。RI 2D-3D AE 不僅保證了表征的旋轉(zhuǎn)不變性，其所學(xué)習(xí)到的表征也有較高的可區(qū)分性，使分類(lèi)準(zhǔn)確率在三種情形下都達(dá)到了當(dāng)前領(lǐng)先的水平。

另外，在引入旋轉(zhuǎn)增強(qiáng)后，即在SO3/SO3 情況下，對(duì)比常規(guī)的有監(jiān)督方法，無(wú)監(jiān)督方法的性能并沒(méi)有很大的提升。DGCNN［4］在訓(xùn)練集引入旋轉(zhuǎn)增強(qiáng)后，分類(lèi)準(zhǔn)確率從20.60% 上升到81.10%，而FoldingNet［15］僅 從14.18% 上升到43.13%。這是由于無(wú)監(jiān)督學(xué)習(xí)中目標(biāo)函數(shù)旨在完成點(diǎn)云的重構(gòu)，并不是直接作用在分類(lèi)損失上，點(diǎn)云數(shù)據(jù)被旋轉(zhuǎn)增強(qiáng)后，通過(guò)其形狀挖掘語(yǔ)義信息將變得困難。在這種情形下，基于自重建的無(wú)監(jiān)督方法的性能將出現(xiàn)明顯衰減。因此在無(wú)監(jiān)督學(xué)習(xí)中，數(shù)據(jù)增強(qiáng)不能解決旋轉(zhuǎn)干擾問(wèn)題。相比之下，RI 2D-3D AE 在SO3/SO3 情況下生成的表征仍然保持著最優(yōu)的區(qū)分性。

考慮到ModelNet40 中的對(duì)象是姿勢(shì)相似且無(wú)噪聲的CAD 模型，與真實(shí)世界的數(shù)據(jù)有較大差距。為了證明RI 2D-3D AE 具有推廣到實(shí)際應(yīng)用的能力，在真實(shí)數(shù)據(jù)集ScanObjectNN 上評(píng)估模型，實(shí)驗(yàn)結(jié)果如表2 所示?？梢钥闯?，由于真實(shí)數(shù)據(jù)集中存在不少干擾因素，導(dǎo)致大多數(shù)方法的性能比其在 ModelNet40 數(shù)據(jù)集上的出現(xiàn)一定程度的衰減。而RI 2D-3D AE 在三種情況下依舊保持較高水平的表現(xiàn)，并且優(yōu)于其他先進(jìn)的無(wú)監(jiān)督方法，證明了其表征學(xué)習(xí)方法的魯棒性和實(shí)際應(yīng)用價(jià)值。

表2 ScanObjectNN 數(shù)據(jù)集上無(wú)監(jiān)督方法的分類(lèi)精度Tab.2 Classification accuracy of the unsupervised methods on ScanObjectNN

3.4 消融實(shí)驗(yàn)

為了評(píng)估RI 2D-3D AE 中各個(gè)模塊和架構(gòu)的貢獻(xiàn)，將模塊逐個(gè)分離來(lái)訓(xùn)練模型，并在z/SO3 情況下的ScanObjectNN（OBJ_BG）數(shù)據(jù)集上評(píng)估線(xiàn)性SVM 分類(lèi)器。首先固定解碼器為3D 重建，驗(yàn)證編碼器中的各個(gè)模塊，實(shí)驗(yàn)結(jié)果如表3 所示。

表3 在ScanObjectNN 上編碼器模塊的消融結(jié)果Tab.3 Ablation results of encoder on ScanObjectNN

基線(xiàn)模型A 可以被視為FoldingNet［15］的 變體，該模型僅由在局部坐標(biāo)系和全局坐標(biāo)系中分別計(jì)算的特征描述符f1，f2，以及局部特征學(xué)習(xí)Fa組成，分類(lèi)精度較低。在增加非局部相關(guān)性特征Fb后（模型B），準(zhǔn)確率較基線(xiàn)上升了12.18%，這有力證明了非局部特征學(xué)習(xí)模塊的有效性。在增加局部-非局部-全局語(yǔ)義一致性損失Lmetric后（模型D），準(zhǔn)確率較模型B 上升1.37%。模型C去除了在全局坐標(biāo)系中計(jì)算的特征描述符f2，準(zhǔn)確率較模型D 有所下降。結(jié)果說(shuō)明，編碼器的各個(gè)主要模塊對(duì)提升點(diǎn)云全局表征能力均具有重要作用。

固定編碼器，驗(yàn)證解碼器中的各個(gè)模塊的有效性，實(shí)驗(yàn)結(jié)果如表4 所示。從結(jié)果看，在加入全局對(duì)齊模塊PCA-GA 后（模型E），準(zhǔn)確率較模型D 上升了0.68%，說(shuō)明PCA-GA 能有效提升真實(shí)場(chǎng)景下的旋轉(zhuǎn)魯棒性。最后，加入2D 視圖重建模塊得到完整的模型F，也就是本文提出的RI 2D-3D AE，在ScanObjectNN 數(shù)據(jù)集上獲得了顯著的效果。

表4 在ScanObjectNN 上解碼器模塊的消融結(jié)果Tab.4 Ablation results of decoder on ScanObjectNN

為了進(jìn)一步驗(yàn)證點(diǎn)云2D 視圖在特征編碼中的有效性，研究2D 視圖重建分支的貢獻(xiàn)，使用不同視角的視圖對(duì)模型進(jìn)行訓(xùn)練，并在z/SO3 情況下的ModelNet40 中評(píng)估線(xiàn)性SVM 分類(lèi)器。實(shí)驗(yàn)結(jié)果如表5 所示。從結(jié)果看，即使使用單個(gè)方向上的2D 視圖，也可以產(chǎn)生更好的線(xiàn)性分類(lèi)結(jié)果。相對(duì)于其它視圖，俯視圖對(duì)結(jié)果的提升最大，為了分析原因，部分點(diǎn)云對(duì)象及其視圖可視化如圖4 所示。

表5 在ModelNet40 上各個(gè)視圖的消融結(jié)果Tab.5 Ablation results concerning each view on Model-Net40

圖4 部分點(diǎn)云對(duì)象及其視圖的可視化Fig.4 Visualization of partial point cloud objects and their views

從圖4 可以看出，一些點(diǎn)云的俯視圖反映出了3D 對(duì)象的大部分主要信息，另一些需要結(jié)合三個(gè)視圖來(lái)推測(cè)原始點(diǎn)云。在點(diǎn)云自編碼器中加入視圖重建分支后，相當(dāng)于建立起二維視圖與三維對(duì)象的聯(lián)系，引導(dǎo)編碼器向特征信息更多的方向進(jìn)行學(xué)習(xí)，增強(qiáng)網(wǎng)絡(luò)編碼能力。

3.5 可視化結(jié)果

為了更好地展示表征的可區(qū)分性，使用t-分布隨機(jī)近鄰嵌入（t-distributed Stochastic Neighbor Embedding，t-SNE）聚類(lèi)對(duì)學(xué)到的點(diǎn)云表征進(jìn)行可視化。首 先FoldingNet［15］在z/SO3 情 況下的ModelNet40 上生成的部分類(lèi)別表征可視化結(jié)果如圖5 所示?？梢?jiàn)在旋轉(zhuǎn)干擾情況下，F(xiàn)oldingNet 生成的各類(lèi)別表征難以區(qū)分。

圖5 FoldingNet 表征的t-SNE 聚類(lèi)可視化Fig.5 t-SNE clustering visualization of FoldingNet

本文提出的RI 2D-3D AE 可視化結(jié)果如圖6 所示。即使在樣本隨機(jī)旋轉(zhuǎn)的情況下，編碼器生成的點(diǎn)云表征的類(lèi)間距離仍較大，可區(qū)分性高，證明了表征具有良好的可區(qū)分性和旋轉(zhuǎn)魯棒性。

從圖6 還看出，比較難區(qū)分的類(lèi)別是Desk（淺藍(lán)色）和Table（灰色），原因在于這兩類(lèi)物體特征高度相似，即使是人類(lèi)也無(wú)法輕易區(qū)分。圖7 為錯(cuò)誤分類(lèi)樣本示例。本文提出的算法目前還不能區(qū)分這些高度相似的不同類(lèi)別樣本，這也是未來(lái)的一個(gè)優(yōu)化方向。

圖6 RI 2D-3D AE 表征的t-SNE 聚類(lèi)可視化Fig.6 t-SNE clustering visualization of RI 2D-3D AE

圖7 部分錯(cuò)誤分類(lèi)樣本Fig.7 Examples of misclassification

4 結(jié)論

本文針對(duì)現(xiàn)有點(diǎn)云自編碼器存在的旋轉(zhuǎn)干擾和特征提取不足問(wèn)題，提出一個(gè)旋轉(zhuǎn)不變的2D 視圖-3D 點(diǎn)云自編碼器。針對(duì)旋轉(zhuǎn)干擾問(wèn)題，對(duì)輸入點(diǎn)云進(jìn)行局部和全局的特征轉(zhuǎn)換，將點(diǎn)云轉(zhuǎn)換為旋轉(zhuǎn)不變的特征表示。針對(duì)特征提取問(wèn)題，設(shè)計(jì)局部和非局部特征提取模塊，并建模不同層次特征的語(yǔ)義一致性，增強(qiáng)了表征的空間和語(yǔ)義信息；設(shè)計(jì)二維視圖和三維點(diǎn)云重建任務(wù)，結(jié)合二維視圖訓(xùn)練模型，可以增強(qiáng)網(wǎng)絡(luò)編碼能力，促進(jìn)模型對(duì)3D 世界的有效理解。實(shí)驗(yàn)結(jié)果證明，本算法在隨機(jī)旋轉(zhuǎn)的合成數(shù)據(jù)集Model-Net40 和真實(shí)數(shù)據(jù)集ScanObjectNN 上的識(shí)別精度分別為90.84%和89.02%，學(xué)習(xí)到的點(diǎn)云表征的可辨別性和旋轉(zhuǎn)魯棒性?xún)?yōu)于其他先進(jìn)的無(wú)監(jiān)督方法。