蘆新宇 楊 冰 葉海良 曹飛龍

隨著三維傳感器和采集技術的快速發(fā)展，以及點云在機器人操作[1]、自主駕駛[2]和虛擬現實[3]等方向的廣泛應用，基于點云分析的各種任務(包括分類[4]，分割[5]，識別[6]和補全[7]等)已成為活躍的研究課題.在點云分析中，點云分類是一項基本且具有挑戰(zhàn)性的任務，關鍵在于能否提取到豐富且具有較高判別能力的特征，這也受到學者們的廣泛關注.

事實上，點云是由一組點構成，每個點由三維坐標和可能的屬性(如顏色和法線等)表示.然而，由于點云不規(guī)則和無序的性質，現階段點云分析任務面臨如下挑戰(zhàn).1)點云的性質導致常規(guī)的卷積神經網絡(Convolutional Neural Network, CNN)無法直接對其進行處理.2)點云通常會經歷較大的幾何變換，如何滿足變換不變性對于處理和分析3D點云也尤為重要.

為了解決上述問題，學者們提出許多有效方法，主要分為如下4種.1)基于體素的方法.Maturana等[8]將3D點采樣到體素網格中，再使用3D CNN處理該網絡.2)基于投影的方法.Su等[9]將點云投影成80個視圖,轉換為規(guī)則數據，再使用2D CNN進行處理.3)基于點的方法.Qi等[4]提出PointNet，使用逐點多層感知器(Multi-layer Perceptron, MLP)和最大池化操作聚合全局信息,執(zhí)行分類任務，但缺少局部信息.Qi等[5]又提出PointNet++，針對缺少局部信息的問題應用分層結構，采用k近鄰算法(k-Nearest Neighbor, KNN)分組，并在特征學習后緊跟著執(zhí)行最大池化操作，從而捕獲局部區(qū)域信息.然而PointNet++僅將局部特征的最大值進行聚合，未能充分利用局部區(qū)域內的信息.針對PointNet中缺少局部信息的問題，侯向丹等[10]提出基于圖卷積網絡的三維點云分類分割模型，融合鄰域信息與單個點信息，解決缺少局部信息的問題，提高分類與分割的準確率.Xu等[11]提出SpiderCNN,Li等[12]提出PointCNN,都是基于局部幾何信息定義點云上的卷積運算，而不是使用對稱函數進行處理.4)基于圖的方法.Simonovsky等[13]提出ECC(Edge-Condi-tioned Convolution),在點云特征學習的過程中加入圖方法，有效處理非結構化數據.Wang等[14]提出DGCNN(Dynamic Graph CNN)，在保持排列不變性的同時捕獲局部幾何結構，并使用每層特征空間中的KNN重構圖像.梁振明等[15]提出基于多尺度的動態(tài)圖卷積網絡，利用最遠點采樣方法和不同尺度的聚合方式，降低模型的復雜度和參數量.杜子金等[16]提出基于殘差邊卷積的模塊，全面考慮點云的局部特征與全局特征的有機結合.

近年來，人們對有效局部特征的學習也進行大量研究.眾所周知，目前較優(yōu)的特征學習方法是圍繞每個采樣點查詢局部組，再構建基于圖的學習方式或定義卷積運算，其中也綜合考慮全局結構和局部結構.盡管各種特征學習方法均已取得較優(yōu)的分類性能，但它們大多只考慮相鄰區(qū)域中相似結構點的局部信息交互，在交互中僅使用最大池化操作保留單一特征.這也說明一個問題，即在傳統(tǒng)方法中忽視遠距離相似結構點中的非局部幾何信息，而融合整體的幾何信息可有效為分類任務提供辨別線索.

為了解決此問題，受幾何共享網絡[17]的啟發(fā)，本文提出基于局部-非局部交互卷積的3D點云分類算法.首先，設計局部-非局部交互卷積模塊，通過兩個分支分別捕獲采樣點的局部特征和非局部特征.同時，為了緩解單分支鄰域在表示封閉區(qū)域時存在的冗余問題，穩(wěn)定點在高維特征下的泛化能力，將兩個分支進行不同特征的交互增強.再者，加入殘差連接[18]，在層與層之間傳輸信息，進行相同特征的交互增強，訓練更深入穩(wěn)定的網絡，緩解因網絡層數加深而產生的網絡退化問題.此外，考慮到原始數據的全局特征在學習過程中會受到損害，本文針對每個點自適應地融合多層次特征，獲得一個全面表示，完成點云的分類任務.

1 基于局部-非局部交互卷積的3D點云分類算法

1.1 局部-非局部卷積神經網絡

本文提出局部-非局部卷積模塊為基本單元構成的卷積神經網絡,框架如圖1所示.

圖1 局部-非局部交互卷積神經網絡框圖

其中MLP(·)表示多層感知器.對融合后的特征Fout進行一次MLP，獲得一個全局特征表示：

Fglobal=MLP(Fout).

然后對得到的Fglobal進行最大池化(Max Pooling, Max)和平均池化(Mean Pooling, Mean)操作，并拼接池化操作后的兩個高維特征,得到最終的形狀描述子：

fglobal=[Max(Fglobal)‖Mean(Fglobal)],

其中‖表示矢量拼接操作.最后，將fglobal輸入全連接網絡中，預測最終的分類得分.

1.2 特征圖卷積

給定一個具有N個點的點云X，記為

其中每個點含三維坐標pi=(xi,yi,zi)，并將

記為點云中每個點的特征，其中C為特征維度.對于每個點,首先按照輸入的坐標使用KNN尋找鄰域點，計算兩點的距離:

DistanceX(pi,pj)=‖pi-pj‖，

Mi=(pi1-pi,pi2-pi,…,pik-pi).

然后，根據幾何共享網絡中的特征圖卷積構造3D結構張量

對Ci進行特征值分解,得

DistanceE(pi,pj)=‖λi-λj‖.

F1=MLP([pi‖λi‖Re(Qi)])，

其中Re(·)表示Reshape維度打平操作.

1.3 局部-非局部交互卷積模塊

圖2 局部-非局部交互卷積模塊結構圖

其中,l=2,3,4,5，表示網絡層數.

其中+表示逐點相加.當且僅當l=2時,

值得注意地是，不同于DGCNN[14]等在卷積網絡中動態(tài)更新圖結構，即每層都生成新的索引構造新圖，但又考慮到每個卷積層都重新構圖的復雜性，本文在保留所有輸入點的前提下僅構圖一次，并在之后始終使用已得到兩種索引構圖，通過加深網絡的方法達到盡可能讓每個點包含更多其余點的特征信息的目的，甚至效果更優(yōu).

然而，此做法可能不足以表示每個鄰域，原因如下：1)三維空間中固定約束下的特征學習會削弱點在高維特征空間中的泛化能力；2)鄰域在表示封閉區(qū)域時可能存在冗余問題.

最后，拼接兩組交互后的特征，實現特征融合.但此時特征表示的依舊是整個鄰域的特征，所以本文使用MLP和Max操作，將鄰域點的特征聚合到中心點上，同時得到第l層的輸出，作為第l+1層的輸入：

1.4 自適應特征融合

在深度學習中，低層次的特征具有較強的幾何信息，而高層次的特征具有較強的語義信息，較好地融合不同層次的特征，可獲得更豐富且更具有區(qū)分度的特征，進一步提高網絡的分類性能.矢量拼接是一種經典的特征融合方法，但忽略不同層次特征的重要性區(qū)別.為了更合理地融合不同層次的特征，本文設計自適應特征融合方法，用于點云分類.首先分別為不同層次的特征分配初始影響權重，然后自適應地調整權重，使各層次特征可得到更有效的融合，具體做法如下.

經過之前的操作，網絡通過卷積模塊共輸出5組特征:F1,F2,F3,F4,F5，并且具有不同的通道維度.

其中ω在訓練過程中通過梯度反向傳播算法學習.最后，將權重與對應特征相乘，得到融合特征：

2 實驗及結果分析

2.1 實驗環(huán)境

在訓練階段，本文使用與DGCNN[14]相同的訓練策略，基于標簽平滑策略(平滑因子為0.2)，使用交叉熵損失函數計算損失，并使用整體精度(Overall Accuracy， OA)和類平均精度(mean Accu-racy， mAcc)作為分類的評價指標.

在NVIDIA GeForce RTX 2080Ti GPU上進行實驗，并使用隨機梯度下降(Stochastic Gradient De-scent, SGD)優(yōu)化器進行優(yōu)化.局部-非局部交互卷積神經網絡各層中參數的尺寸如表1所示.訓練輪數為500輪，初始學習率為0.1，隨后通過余弦退火函數衰減到0.001，批量大小為12，隨機種子數為1，動量系數為0.9.

本文選擇ModelNet40[19]、ScanObjectNN[20]數據集進行實驗.ModelNet40數據集是3D形狀分類任務中常用的基準數據集，主要由40個類別的12 311個CAD生成網格組成，其中9 843個用于訓練，其余2 468個用于測試.此外，從網格表面均勻采樣相應的數據點，再通過移動到原點并縮放到單位球體進行進一步預處理.對于文中每個點云樣本，只輸入1 024個點的三維坐標.

ScanObjectNN數據集是一個新發(fā)布的現實世界對象數據集，包含15個類別約15 000個對象.盡管類別少于ModelNet40數據集，但由于復雜的背景、缺失的部分和各種變形，比合成的同類數據集更具有實際挑戰(zhàn)性.

為了在訓練階段增加樣本數量并提高樣本的多樣性，本文采用如下兩種數據增強方式：1)在[-0.8,1.25]范圍內對已有數據進行隨機各向異性縮放；2)對已有數據增加服從N(0,0.01)分布的隨機抖動.

2.2 分類結果

本文選取如下對比方法：PointNet[4]、PointNet++[5]、SpiderCNN[11]、PointCNN[12]、ECC[13]、DGCNN[14]、SO-Net(Self-Organizing Network)[21]、Kd-Network[22]、ConvPoint(Continuous Convolutions for Point Cloud Processing)[23]、PCNN(Point CNN)[24]、PointConv[25]、A-CNN(Annularly CNN)[26]、RS-CNN(Relation-Shape CNN)[27]、GAPointNet(Graph Attention Based Point Neural Network for Exploiting Local Feature of Point Cloud)[28]、DRNet(Dense-Resolution Network)[29]、PointASNL(Robust Point Clouds Processing Using Nonlocal Neural Networks with Adaptive Samp-ling)[30]、Geo-CNN(Geometric-Induced CNN)[31]、3DmFV(3D Modified Fisher Vector)[32]、PointGLR(Point Global-Local-Bidirectional Reasoning)[33].

各方法在ModelNet40、ScanObjectNN數據集上的分類精度如表2和表3所示，表中黑體數字表示最優(yōu)結果.

表2 各方法在ModelNet40數據集上的分類精度

表3 各方法在ScanObjectNN數據集上的分類精度

由表2可看出，在ModelNet40數據集上，本文算法的OA值達到93.4%，超過大多數方法或與其持平，mAcc值處于對比算法中的次優(yōu)水平.同時值得注意地是，本文算法輸入僅為1 024個點的坐標信息，而部分持平或被超越的方法采用輸入更多的點數甚至選擇輸入更多的信息.這在一定程度上也體現本文算法優(yōu)勢.

由表3可看出，在ScanObjectNN數據集上，本文算法在采用相同輸入格式和點數的情況下，mAcc值和OA值分別超出次優(yōu)方法0.8%和1.3%，大幅提高點云分類的性能.

2.3 復雜性分析

除了對比分類精度之外，本文也進行復雜性分析.為了公平起見，在相同的條件(NVIDIA GeForce RTX 2080Ti)下進行測試.各方法的性能對比如表4所示.由表可看出，本文算法在參數量上處于中等偏高的水平.雖然訓練耗時相對較多，但推理速度較快，精度也較高.總之，本文算法在復雜度和性能之間實現良好的權衡.

表4 各方法在ModelNet40數據集上的性能對比

2.4 可視化分析

本文采用T-SNE(T-distributed Stochastic Neigh-bor Embedding)[34]對網絡得到的部分形狀描述子進行可視化，更好地展示本文算法得到的形狀描述子具有的判別能力，具體如圖3所示.

(a)ScanObjectNN

由圖3可看出，本文算法得到的形狀描述子具有良好的判別能力，能有效地對不同類別進行分類，即同一類別之間的距離較小，不同類別之間的距離較大.這也從一定程度上體現局部-非局部交互卷積模塊可提取到更豐富且具有更深層次結構的形狀特征.

2.5 消融實驗

本節(jié)主要討論局部-非局部卷積神經網絡中不同組件對分類性能的影響，結果如表5和表6所示，在表中，-表示網絡中不添加該組件，√表示網絡中使用該組件.

由表5可看出，單獨使用局部特征和非局部特征的效果并不如兩者結合使用后理想，而兩個不同特征分支之間的交互也提高性能.由表6可看出，單獨使用殘差連接和自適應融合對網絡的分類性能都有所提升，同時使用時效果更佳.這也證實本文算法中各組件的可行性和優(yōu)勢性.

表5 局部-非局部交互卷積模塊中組件的消融實驗結果

表6 局部-非局部卷積神經網絡中組件的消融實驗結果

2.6 超參數討論

為了降低超參數不可控的影響，本文網絡中僅有兩個超參數：聚合鄰域點的數量k和卷積模塊數量t.本節(jié)通過兩組對比實驗，分析k、t對分類性能的影響，結果如表7和表8所示.

表7 在ModelNet40數據集上k對本文算法的影響

表8 在ModelNet40數據集上t對本文算法影響

由表7可見，在一定范圍內，k對性能的影響作用并不大，即網絡本身提取的結構特征已較充分.同時也證實：當k過小時，會導致特征提取不充分，分類結果顯著降低；當k過大時，也會由于信息冗余使分類性能有所降低.因此，當k=20時，本文算法的分類性能達到最優(yōu).

由表8可知，只使用一次卷積模塊時分類精度最低，這主要是因為在點云的每個頂點周圍只考慮一個小的感受野.所以如果不考慮多個局部-非局部交互卷積模塊，特征信息將無法聚合更大范圍的信息，感受野也會受限.同時可看到，當局部-非局部交互卷積模塊的數量逐漸增加時，精度會先增加后降低，并且在t=4時精度達到最優(yōu).這可能是因為神經網絡太深時，訓練難度會大幅增加，而當層數特別深時，網絡需要的內存和時間都會大幅增加.

3 結 束 語

本文提出基于局部-非局部交互卷積的3D點云分類算法.算法關鍵在于構造局部-非局部交互卷積模塊，通過兩個分支分別捕獲采樣點的局部特征和非局部特征，并對這兩個分支進行不同特征的交互增強，有效緩解單分支鄰域在表示封閉區(qū)域時存在的冗余問題，穩(wěn)定點在高維特征下的泛化能力.同時，本文算法在層與層之間加入殘差連接，作為同一分支前后的交互作用，在改善信息傳遞的同時能訓練更深入、穩(wěn)定的網絡.此外，自適應特征融合方法合理有效地融合不同層次的特征，減緩全局特征在學習過程中受到的損害.最后通過最大池化和平均池化操作獲得形狀描述子，用于分類任務.大量實驗驗證本文算法的優(yōu)越性.本文也通過T-SNE對得到的形狀描述子進行可視化，驗證分類性能.

總之，本文算法具有較優(yōu)的分類性能，但在個別種類上的分類性能還較差，在具有背景的現實數據集上分類精度略有不足，主要原因是涉及類別的數量較少.所以今后可設計合理的損失，在保證大多數類別分類能力的前提下，增強數量較少類別的分類能力.