魯 斌，柳杰林*

（1.華北電力大學 計算機系，河北 保定 071003；2.復雜能源系統(tǒng)智能計算教育部工程研究中心（華北電力大學），河北 保定 071003）

0 引言

在計算機視覺領域三維（Three-Dimensional，3D）點云一直是研究熱點，其中三維點云的語義分割是極為關鍵的一環(huán)，不僅對三維點云場景重建［1］和場景修復補全［2］等下游任務起著關鍵作用，更是在生物醫(yī)學［3］、自動駕駛［4］和虛擬現(xiàn)實［5］等領域具有重要的應用價值。點云的采樣不規(guī)則性、密度不均勻性和剛體變換的旋轉性等特點，導致了語義分割任務困難，阻礙了它在上述應用場景的發(fā)展。

利用提取形狀幾何屬性的空間分布等手段的傳統(tǒng)點云分割方法［6-8］不再適合大型點云數(shù)據(jù)的處理。將三維點云映射到二維空間［9］、將點云體素化［10］和將三維點云投影成多視圖［11］等方法雖然可以勝任點云語義分割任務，但計算量過大，忽略了點云數(shù)據(jù)原本的數(shù)據(jù)結構特點，造成了信息的丟失。Qi 等［12］開創(chuàng)性地提出了直接處理不規(guī)則點云數(shù)據(jù)的PointNet 架構，通過對稱函數(shù)和空間變換網(wǎng)絡分別解決了點云的無序性問題和旋轉性問題，并使用共享權重卷積實現(xiàn)對特征的提??；但PointNet 只關注了點云的全局特征，沒有對點云局部特征以及存在的幾何關系進行處理。PointNet++［13］通過分層的思想實現(xiàn)了對點云局部特征的關注，但仍然缺少對點云幾何特性的利用。目前點云語義分割的主流算法多是基于上述兩個網(wǎng)絡的改進策略，如PointConv（deep Convolutional networks on 3D Point clouds）［14］提出了密度重加權卷積的策略；PointNGCNN（deep Convolutional Networks on 3D Point clouds with Neighborhood Graph filters）［15］構造鄰域圖表示點間的聯(lián)系，并通過切比雪夫多項式提取鄰域圖中包含的幾何特征；SO-Net（Self-Organizing Network）［16］同樣利用分層的思想，通過構建自組織映射模擬點云的空間分布。

盡管這些主流網(wǎng)絡有效地解決了點云語義分割任務中存在的一些問題，但仍具有一定的共同局限性，即在對三維點云重要空間幾何特征的獲取與利用方面考慮不足。本文針對上述問題給出了解決方案并提出了一種基于特征增強的點云語義分割網(wǎng)絡，賦予網(wǎng)絡點云數(shù)據(jù)的幾何特性感知能力，并引入注意力機制增強網(wǎng)絡的預測性能，有效地解決了上述問題，提升了分割效果。

1 本文方法

本文提出了一個新的網(wǎng)絡架構處理復雜場景的點云語義分割任務，圖1 為所提網(wǎng)絡的整體架構。網(wǎng)絡以原始點云數(shù)據(jù)作為輸入，首先經(jīng)過點云的幾何特征感知（Geometric Feature Sensing Of Point clouds，GFSOP）模塊感知點間的幾何結構特性，然后送入分組采樣（Set Abstraction，SA）模塊完成采樣、分組和特征提取，將GFSOP 模塊和SA 模塊作為下采樣組合，如圖1 所示，數(shù)據(jù)順序通過下_1、下_2 和下_3 這3 個組合結構完成下采樣過程，然后通過上_3、上_2 和上_1 這3個反向插值結構以及上下采樣結構相互對應的skip1_3、skip2_2 和skip3_1 跳躍連接完成上采樣過程；最后由雙注意力的融合預測模塊完成預測分割任務。

圖1 本文網(wǎng)絡架構Fig.1 Architecture of the proposed network

1.1 幾何特征感知

三維點云數(shù)據(jù)具有豐富的幾何域特征，其中投影密度和幾何特征在3D形狀分析中發(fā)揮著重要的作用［17］。現(xiàn)主流語義分割網(wǎng)絡對點云幾何特性的關注存在一定的不足，然而點間的幾何結構包含了豐富的語義信息，對分割工作會起到非常重要的作用。隨機選取局部點云，存在的幾何結構如圖2所示。

圖2 點云幾何關系示意圖Fig.2 Schematic diagram of geometric relationships between point clouds

1.2 幾何特征感知模塊

本文設計GFSOP 模塊增強網(wǎng)絡對點云幾何特性的感知能力。如圖3 所示，在一個GFSOP 模塊中，受PointSIFT（SIFT-like networks module on 3D Point clouds）［18］啟發(fā)，首先采用8 鄰域查詢最近鄰點（Stacked 8-Neighborhood，S8N）算法提取中心采樣點周圍8 個方向的最近鄰點信息，然后采用空間信息編碼方法對提取到的最近鄰點進行空間特征編碼，最后通過在x、y、z軸方向上進行卷積的方法實現(xiàn)進一步的特征融合。實驗結果表明，該模塊可有效優(yōu)化網(wǎng)絡的幾何特征感知能力，提高網(wǎng)絡的語義分割精度，并在復雜局部結構和稀疏點云數(shù)據(jù)的環(huán)境下，較其他網(wǎng)絡表現(xiàn)出更好的性能。

在GFSOP 模塊中，與常用的K最近鄰查找方法不同，中心點Pi的最近鄰點使用S8N 算法得到。圖4 為該方法原理示意圖，該點云簇為真實場景截取所得，其中Pi是通過隨機采樣的方法確定的任意中心點；以中心點為原點，以三維點云空間中的x、y、z這3 個坐標軸面為切分面，將中心點周圍的空間劃分為8 個小立方體，也就是將中心點周圍空間劃分為了8 個不同方向上相等的小區(qū)域；設定查詢半徑r，在劃分后的每個小立方體中查詢r內(nèi)距離中心點Pi最近的8 個鄰域點，得到該方法下采樣到的8 個不同方向上的最近鄰點。當某個方向上查詢區(qū)域內(nèi)沒有可選取的鄰域點時，取中心點的特征作為該方向上鄰域點特征。

圖4 S8N算法采樣示意圖Fig.4 Schematic diagram of S8N algorithm sampling

使用S8N 算法采樣得到的8 個最近鄰點不僅是簡單的位置坐標，它們與中心點之間具有很強的位置信息關聯(lián)性和幾何關系，包含了豐富的語義信息。本文對所得最近鄰點進行編碼，聚合各鄰近點與中心點的空間語義信息，達到局部空間特征增強的效果。給定中心點pi、鄰近點pj，定義空間信息編碼規(guī)則如式（1）：

其中：Tencode表示鄰近點編碼后的新特征，Toriginal表示鄰近點的原始特征 ‖，表示特征連接操作，⊕表示連接操作，‖pi-pj‖表示最近鄰點與中心點的歐氏距離，MLP（）為多層感知機。對中心點坐標、最近鄰點坐標和兩點間歐氏距離進行空間位置信息編碼并與原始特征聚合得到各鄰近點的新特征，從中心點和最近鄰點的空間坐標信息和空間位置信息中得到空間幾何特性。

得到的新特征維度由n×d轉化為了n×8×d，如式（2）～（4）所示，分別在三維空間中x、y、z軸方向上做卷積操作，給定特征M∈R2×2×2×d，前3 個維度2×2×2 分別表示該點在8 個子空間上的編碼。以x軸卷積為例，輸入數(shù)據(jù)維度為2×2×（2×d）（長×寬×通道），x軸可視為通道數(shù)為2×d的卷積輸入“通道”，使用d個大小為1×1×（2×d）的卷積核，卷積完成后特征維度整合為1×2×2×d。同樣方法完成在y軸和z軸方向的卷積，得到最終輸出特征Mxyz。

其中：Wx、Wy、Wz表示待優(yōu)化的卷積權重；L（-）代表ReLU［BN（-）］操作，即經(jīng)過批歸一化（Batch Normalization，BN）層和修正線性單元（Rectified Linear Unit，ReLU）激活函數(shù)。每個點經(jīng)過三階段的卷積最終都會得到新的特征向量Mxyz，該向量融合了不同方向的空間信息，豐富了局部特征，有利于提高網(wǎng)絡學習空間幾何特性的能力。

PointNet++［13］采用分層提取局部特征的思想，設計了多層SA 模塊結構提取點云深層次的局部特征，同時使用多尺度分組（Multi-Scale Grouping，MSG）［13］特征融合方式解決了在點云分布不均勻時，在密集區(qū)域學習出的特征不適合稀疏區(qū)域的問題。本文網(wǎng)絡充分利用分層特征提取的思想，采用多層GFSOP 模塊和SA 模塊組合結構，GFSOP 模塊通過幾何特征感知機制完成了點云幾何結構特征的捕獲，再通過SA模塊的特征提取操作獲得當前層的特征，其中通過最大池化（Max-Pooling，MP）實現(xiàn)局部信息融合，然后將得到的當前層特征再順序送入兩層該組合結構。對于單層該組合結構，實現(xiàn)對采樣點8 個方向鄰域內(nèi)的點進行特征提取，因此具有8個方向下鄰域的感受野，每個鄰域對應1 個特征點，隨著三層該組合結構的堆疊，各層的點對應了上一層8 個方向鄰域的特征點，每一層都具有了不同的感受野，因此每一層提取到的是不同尺度的幾何特征。網(wǎng)絡在提取到點云局部特征的同時獲得了感知不同尺度幾何信息的多尺度感知能力，使網(wǎng)絡在挖掘點云的局部特征關系方面表現(xiàn)出更加出色的性能。單層組合特征提取結構如圖5 所示。

圖5 單層組合特征提取結構Fig.5 Structure of single-layer combined feature extraction

1.3 雙注意力的融合預測

本文網(wǎng)絡設計了基于雙注意力的融合預測模塊，將空間注意力模塊（Spatial Attention Module，SAM）［19］和通道注意力模塊（Channel Attention Module，CAM）［19］融合用以預測分割結果，將插值上采樣所得可判別特征作為輸入特征同時送入SAM 和CAM。特征通過SAM 獲得具有權重的空間特征關系，強化空間特征的關聯(lián)性；同時通過CAM 得到具有權重的通道間的關聯(lián)性表示，突出通道間的相互依賴關系。最后將特征融合，增強空間和通道維度中的全局特征，并通過非線性變換預測每個點的語義標簽，輸出每個點的分數(shù)，完成分割任務。模塊結構如圖6 所示。

圖6 雙注意力的融合預測模塊結構Fig.6 Structure of fusion prediction module with dual attention

本文SAM 充分考慮點與點之間的關聯(lián)性，注意力權重由兩點間位置的相似性決定，相似性越高，分配的權重越高，選擇性地聚集每個位置的特征，然后對位置特征進行更新，最后加權聚合所有位置特征，得到具有更強幾何特征的特征表達。如式（5）（6）所示，給定輸入特征MC×H×W，經(jīng)過帶有BN層和ReLU 操作的卷積操作后再維度轉換生成新的特征圖M1、M2和M3，將特征 圖M1與特征圖M2的轉置相乘后通過Softmax 歸一化得到空間注意力映射圖SN×N，空間注意力權重表示為sij。

其中：Freshape()表示維度轉換，φ()表示帶有BN 層和ReLU 的卷積操作。

如式（7）所示，將注意力圖SN×N與特征M3做一次矩陣相乘操作獲得新的特征圖聚合空間特征，乘上權重因子α并與原始特征M相加獲得新的增強特征，為每個點原始特征與該點所有位置特征的加權和，提高了點云語義的一致性，其中α初始設置為0，通過學習完成更新。

無論是二維圖像還是三維點云，通道間都存在一定的映射關系，通道注意力可以提取不同通道間的相互依賴關系，從而獲取一定的語義信息，得到更豐富的全局特征。同樣對于輸入特征MC×H×W，為了保留通道間的映射關系，不對它作SAM 那樣的卷積操作，而是首先對輸入特征MC×H×W做維度轉換得到M1、M2和M3，然后將M1與M2的轉置做一次矩陣乘法，再運用Softmax 層進行歸一化操作后得到通道注意力映射圖XN×N，通道注意力權重xji表示第i通道對第j通道的影響，如式（8）所示。之后將XN×N與M3做矩陣乘法得到聚合了通道特征的新特征圖，乘上一個因子β并與原始特征M相加獲得新的增強特征，如式（9）所示。

SAM 通過學習自適應地選擇具有更多位置語義信息的特征，通過分配不同權重，選擇性地實現(xiàn)位置信息的特征增強；CAM 則更多關注通道間的依賴關系，通過通道間的相關程度有選擇地聚集通道間的依賴性特征，實現(xiàn)特征增強。輸入特征并行通過兩個注意力模塊后，對獲得的新特征圖以及原始特征圖進行融合處理，保留原始特征避免信息丟失，以實現(xiàn)特征增強的目的。再通過非線性變換生成最終預測圖，獲得分割結果。整個雙注意力預測模塊可自適應地集成局部依賴和全局依賴，進一步提高特征的可分辨性，在點云語義分割的實驗上表現(xiàn)出魯棒性。

1.4 其他網(wǎng)絡細節(jié)

S8N 算法較常用的K最近鄰查找方法在一些情境下具有高效性和穩(wěn)定性。圖7 為S8N 算法的3D 表現(xiàn)。其中圖7（a）展示的是點云簇在三維空間中的八方向空間劃分，可以看出，K值的設定對K最近鄰查詢方法具有關鍵的作用，當K值較小時，搜索到的最近鄰點很容易集中在一個很小的范圍，如圖7（b）中的橢圓區(qū)域，這不利于捕獲點的整體特征。當使用S8N 算法時，搜索到的是圖7（b）中小箭頭所指8 個最近鄰點，它們分布在中心點周圍的8 個不同方向區(qū)域內(nèi)，有利于豐富點的特征表達。且S8N 算法搜索的復雜度更低，如圖7（c）所示，每次搜索只需在8 個方向中的某一方向的區(qū)域內(nèi)進行，而K最近鄰查找方法需要在周圍所有區(qū)域內(nèi)進行搜索。上述優(yōu)勢使得本文網(wǎng)絡在對復雜局部結構和稀疏點云場景實現(xiàn)分割任務時具有較其他網(wǎng)絡更優(yōu)異的表現(xiàn)。

圖7 S8N算法的3D表現(xiàn)Fig.7 Performance of S8N algorithm in 3D space

原始SA 模塊中使用共享權重卷積層（shared-map）即多層感知機MLP（MultiLayer Perceptron）來完成點云局部和全局特征的提取，所有的神經(jīng)元使用相同的權重值，同時使用特征對齊網(wǎng)絡T-Net（joinT alignment Network）［12］使點云具有剛體變換不變性以增強分割效果。為了更好地提取點云數(shù)據(jù)更深層次和更細粒度的特征，如圖8 所示，對原始SA 模塊中特征提取部分作了優(yōu)化。首先使用卷積核為1 的一維卷積替代原來通過調整二維卷積通道數(shù)量提取不同維度特征的方法；同時將原特征提取層MLP（64，128，1 024）加深優(yōu)化為MLP（64，128，256）和MLP（256，512，1 024）兩個特征提取層，增加了將點云特征從128 維提取到256、512 維的卷積操作，并在兩個MLP 層間設計增加維度為（256×256）的T-Net特征對齊網(wǎng)絡，增強對復雜點云特征的提取能力，使網(wǎng)絡適應稀疏性不同的點云數(shù)據(jù)分割任務，增強擴展學習能力。

圖8 優(yōu)化特征提取模塊示意圖Fig.8 Schematic diagram of optimized feature extraction module

2 實驗設計

2.1 數(shù)據(jù)集

使用S3DIS（Stanford large-scale 3D Indoor Spaces）數(shù)據(jù)集［20］對本文網(wǎng)絡進行實驗。三維基準S3DIS 數(shù)據(jù)集是由斯坦福大學開發(fā)的大尺度真實點云數(shù)據(jù)集，由RGB-D 傳感器對3 個建筑物內(nèi)的6 個大型室內(nèi)區(qū)域的271 個房間采集得到，具有豐富的三維室內(nèi)特征結構，場景中每個點都具有坐標信息（X，Y，Z）、歸一化坐標和顏色信息（Red Green Blue，RGB），并帶有像素級的13 個語義標簽（天花板、地板、桌子、椅子等）。

2.2 實驗環(huán)境及參數(shù)

本文實驗在UBUNTU18.04.4、CUDA11.0 環(huán)境下，使用單個GeForce RTX 2080Ti GPU 進行訓練與測試。由于實驗設備限制，調整了批處理大小等參數(shù)以適應環(huán)境，訓練時的批處理大小為16，初始學習速率為0.001，采用Adam 優(yōu)化算法優(yōu)化訓練，通過PyTorch 1.7.1 框架實現(xiàn)，本文實驗均在相同的實驗環(huán)境下進行。

2.3 評價指標

評估指標采用點云語義分割領域常用的平均交并比（mean Intersection over Union，mIoU）、類別平均準確度（mean Accuracy，mAcc）和總體準確度（Overall Accuracy，OA）。OA 表示預測正確的點的數(shù)量在全部點云數(shù)量中的占比；mAcc 表示各類別準確度的平均值；mIoU 是語義分割的標準度量，表示模型對每一類預測的結果和真實值的交集與并集的比值，之后求和再計算平均。計算公式如下：

其中：k表示類別數(shù)，i表示真實類別，j表示預測類別，nii表示類別預測正確的點的數(shù)量，nij表示假負的數(shù)量，nji表示假正的數(shù)量。3 個指標值均為越高表示分割效果越佳。

3 實驗與結果分析

3.1 實驗結果分析

為了測試網(wǎng)絡在整個數(shù)據(jù)集整體上的性能表現(xiàn)，體現(xiàn)模型真實性能，本文采用6 折交叉驗證方法進行實驗。將S3DIS 數(shù)據(jù)集中6 個area 區(qū)域排列組合劃分為6 組實驗，保證數(shù)據(jù)集中所有數(shù)據(jù)都可作為測試集進行測試。

本文網(wǎng)絡與基準網(wǎng)絡的實驗評價指標對比如表1 所示。可以看出，本文網(wǎng)絡在OA、mAcc 和mIoU 這3 個指標上分別達到84.1%、71.0%和58.5%，相較于基準網(wǎng)絡PointNet++，分別提升了3.1、3.9 和5.7 個百分點，與RSNet（Recurrent Slice Network）和DGCNN（Dilate Gated Convolutional Neural Network）相比均有顯著提升，表明本文所提幾何特征感知、雙注意力融合預測下的新網(wǎng)絡在點云語義分割任務中具有更優(yōu)秀的表現(xiàn)，可以顯著提高整體分割效果。

表1 S3DIS數(shù)據(jù)集上的語義分割實驗結果 單位：%Tab.1 Experimental results of semantic segmentation on S3DIS dataset unit：%

本文網(wǎng)絡與其他網(wǎng)絡在13 個類別物體上的分割精度對比如圖9 所示?？梢钥闯?，本文網(wǎng)絡在9 個類別上的分割精度都達到了最優(yōu)，表明所提網(wǎng)絡雙注意力預測方法較其他網(wǎng)絡預測方法具有顯著的優(yōu)勢，通過雙注意力預測模塊實現(xiàn)了特征增強，利用更多顯著性特征實現(xiàn)更加準確的分割；其中對椅子、桌子的預測表現(xiàn)最好，這是由于此類型物體具有更多的空間結構，本文設計的幾何特征感知模塊能幫助網(wǎng)絡捕捉空間幾何特征，提供多尺度的具有辨別力的幾何語義信息，有效提升了對具有復雜立體結構物體的識別分割能力；網(wǎng)絡對沙發(fā)的分割精度明顯偏低，這是由于數(shù)據(jù)集中沙發(fā)的樣本偏少，導致網(wǎng)絡不能充分學習它的相關特征。對6 折交叉實驗過程進行統(tǒng)計，基準網(wǎng)絡PointNet++訓練過程中每個輪次平均時間代價為64 min，測試周期平均消耗4.5 h；本文網(wǎng)絡訓練過程中每個輪次平均時間代價為72 min，時間代價增長8 min，測試周期平均消耗4.7 h，與基準網(wǎng)絡基本持平，這主要是由于網(wǎng)絡在對點云進行特征提取之前增加了GFSOP 模塊感知幾何特征的過程，使得處理時間有一定程度的增加，但相較于網(wǎng)絡取得的效果，較小程度時間代價的犧牲可以接受。

圖9 13個類別物體的分割精度對比Fig.9 Comparison of segmentation accuracy for thirteen categories of objects

部分場景的語義分割實驗結果可視化如圖10 所示?？梢钥闯?，本文網(wǎng)絡具有更加出色的表現(xiàn)，分割結果更加真實。同時，也出現(xiàn)了一定的誤分割現(xiàn)象，但相比其他網(wǎng)絡的分割結果，已有了顯著的改進，更加接近真實場景，優(yōu)于當前許多工作。

圖10 部分語義分割實驗結果可視化Fig.10 Visualization of some experimental results of semantic segmentation

3.2 網(wǎng)絡性能魯棒性分析

為了進一步說明本文網(wǎng)絡的優(yōu)越性，選取了分割難度較大的部分場景進行驗證。

圖11 為衛(wèi)生間場景的語義分割實驗結果。該場景組成部分簡單，多為大面積雜物、地板、天花板、墻和門，但這些類別物體都具有平面面積大、表面光滑和結構平整等相似性很強的特征，且相接邊界較廣，因此對分割邊界具有較高的要求。如圖11（b）所示門與墻壁的邊界分割細節(jié)，PointNet++分割結果中存在兩者邊界分割不準確的現(xiàn)象，這是由于PointNet++采用插值上采樣的方法補全特征點，然后通過簡單的非線性操作實現(xiàn)預測分割，缺乏對點云全局和局部特征的充分利用；這個現(xiàn)象在本文網(wǎng)絡得到的分割結果（圖11（a））中有相當明顯的改善，本文網(wǎng)絡利用雙注意力融合預測的方法聚集關鍵位置特征并且強調通道間的依賴關系，通過增加權重，實現(xiàn)了對點云依賴關系關鍵信息的提取與增強，有效地提升了邊界分割效果。

圖11 衛(wèi)生間場景的語義分割對比結果Fig.11 Comparative results of semantic segmentation of bathroom scene

圖12 為大堂場景的語義分割實驗結果。該場景多由具有立體幾何結構的桌子、椅子等構成，如圖2 所示這類物體包含豐富的幾何特征，通過圖12（b）對桌子和垃圾桶的對比可以看出，PointNet++將桌子的支柱部分識別為了部分雜物和地板，垃圾桶的中間部位被識別為了椅子類別，這是由于PointNet++使用K近鄰的方法分組采樣，出現(xiàn)了采樣中心點周圍單一方向的點被劃定為最近鄰點的問題，缺少對全方位鄰近點的考慮，造成了誤分割的現(xiàn)象；本文網(wǎng)絡所設計的幾何特征感知模塊更加科學地對中心點周圍8 個方向進行采樣，并通過空間信息編碼賦予網(wǎng)絡幾何特征感知的能力，有效解決了立體結構物體的誤分割問題，具有較高的準確性，保證了物體的完整性與連續(xù)性，有效地提高了分割效能。

圖12 大堂場景的語義分割對比結果Fig.12 Comparison results of semantic segmentation of lobby scene

圖13 為辦公室場景的語義分割實驗結果。該場景較為復雜，點云存在密度不均勻的問題，且含有部分噪聲和離群點，具有很強的挑戰(zhàn)性。圖13（b）由上向下第3 個分割細節(jié)中的物體存在存在嚴重的密度不均現(xiàn)象，相較于PointNet++的分割結果，本文網(wǎng)絡對物體的分割完整度有顯著的提高；對比圖13（b）中間的細節(jié)，所圈部分為墻壁，由于掃描角度問題，存在離群現(xiàn)象，且周圍存在較多的噪聲，PointNet++將它誤分割為了雜物，顯然是沒有關注周圍幾何結構信息；同樣的問題也體現(xiàn)在圖13（b）的其他分割細節(jié)上?？梢?，本文網(wǎng)絡對離群點和噪聲問題也具有較強的處理能力，驗證了本文網(wǎng)絡的強魯棒性。

圖13 辦公室場景的語義分割對比結果Fig.13 Comparative results of semantic segmentation of office scene

從以上對比實驗可以看出，本文網(wǎng)絡對原始點云的質量沒有嚴格的先驗要求，對密度不均勻、存在離群點和噪聲問題均可有效改善并得到較為準確的分割效果，具有較好的適應性，故可認為本文網(wǎng)絡在點云分割任務上具有較強的學習擴展能力，分割表現(xiàn)更加出色。

3.3 點云稀疏性實驗

點云投影密度是語義分割任務中的關鍵因素，直接影響分割效果，也影響點云語義分割網(wǎng)絡的性能，圖14 為實驗中點云立體投影密度三視圖。

圖14 點云立體投影密度三視圖Fig.14 Three-view drawings of density of point cloud stereo projection

為驗證本文網(wǎng)絡對不同密度的點云數(shù)據(jù)具有更強的特征提取能力，進行了稀疏性實驗，對采樣的點云密度分別設置為4 096、2 048、1 024 和512，在PointNet、PointNet++和本文網(wǎng)絡上分別進行實驗，采用具有代表意義的平均交并比（mIoU）評價指標，對比分析結果如圖15。

圖15 稀疏性實驗結果Fig.15 Sparsity experimental results

可以看出，在點云密度不同的情況下，各網(wǎng)絡具有不同的分割精度，隨著點云密度的下降，各網(wǎng)絡均表現(xiàn)出分割效果下降的趨勢，PointNet和PointNet++都有較為明顯的下降幅度，且當點云數(shù)量減少到512和256時，即當處理稀疏點云時，本文網(wǎng)絡表現(xiàn)出了較強的穩(wěn)定性。因此認為，本文網(wǎng)絡對復雜局部結構和稀疏點云密度條件下的語義分割具有魯棒性。

3.4 消融實驗

為了進一步驗證本文網(wǎng)絡的分割效果，選取S3DIS 數(shù)據(jù)集 中area（1、2、3、4、6）為訓練 集、area5 為驗證 集，在PointNet++的基礎上設計了幾何特征感知模塊（+GFSOP）、空間注意力模塊（+SAM）、通道注意力模塊（+CAM）和雙注意力融合模塊（+SCAM）（Spatial and Channel Attention Module）不同模塊組合下的消融實驗，以mIoU、OA 和mAcc 為評價指標，表2 為不同模塊組合下的分割效果對比。

表2 不同模塊組合的消融實驗結果 單位：%Tab.2 Results of ablation experiments of different module combinations unit：%

可以看出，以PointNet++為基準網(wǎng)絡，添加GFSOP 模塊后，通過對點云特征補充幾何語義特征，經(jīng)過分層特征抽取實現(xiàn)多尺度的特征融合，使mAcc、OA 和mIoU 均有一定的提升，分別提升1.5、1.8 和1.9 個百分點。在對注意力機制作用的消融實驗中，單獨加入CAM 即僅選擇性地強調相互依賴的通道關系使得網(wǎng)絡在mIoU 指標上有0.9 個百分點的提升，而在準確度上表現(xiàn)不甚突出，但相較于單獨加入SAM 選擇性地聚集每個位置的特征，還是有一定的優(yōu)勢?？偨Y來說，單獨加入SAM 或CAM 對網(wǎng)絡分割效果的提升并不理想；在雙注意力機制下，將空間注意力和通道注意力融合使用，既考慮點云數(shù)據(jù)的通道依賴關系，也考慮空間依賴關系，該網(wǎng)絡在實驗結果上表現(xiàn)出了較好的效果，mIoU 提升至57.9%，同時OA 提升至86.5%，較分別單獨使用兩個注意力模塊OA（84.7%、85.0%）相比，有了較好的表現(xiàn)，這意味著點云數(shù)據(jù)的通道特征和空間特征具有一定的互補性，將兩種特征結合能夠有效地表征更加豐富準確的語義信息，進而提高總體語義分割精度。在同時加入GFSOP和SCAM后，網(wǎng)絡模型則有了更加優(yōu)秀的表現(xiàn)，與基準網(wǎng)絡模型相比，mIoU 提高了3.6 個百分點，OA 提高了2.4 個百分點，mAcc 提高了2.8 個百分點，優(yōu)于消融實驗中其余各網(wǎng)絡。上述模塊間的消融實驗結果表明，本文網(wǎng)絡對點云數(shù)據(jù)具有較好的學習能力，對點云全局和局部特征都實現(xiàn)了有效增強，對語義分割任務起到了關鍵作用，有效地提升了網(wǎng)絡的性能。

4 結語

語義分割是點云研究領域的一項具有重要意義和挑戰(zhàn)性的工作，本文提出了一種新的點云語義分割網(wǎng)絡。設計了點云的幾何特征感知模塊，獲取更加豐富的點云幾何特征，并利用分層特征提取思想實現(xiàn)多尺度特征提??；通過空間注意力和通道注意力加強點與點之間的相互聯(lián)系，實現(xiàn)對顯著性特征的自適應篩選，強化重要語義信息在預測分割時的作用。實驗結果表明，所提網(wǎng)絡在真實點云室內(nèi)場景的語義分割中具有魯棒性，在復雜局部結構和稀疏點云密度條件下表現(xiàn)出較強的穩(wěn)定性，對輸入網(wǎng)絡的原始點云質量沒有嚴格的先驗條件，具有較好的適應性和較強的學習擴展能力，在較好地處理噪聲和離群點的同時，也有效改善了較為普遍的分割邊界不清晰的問題。分割邊界問題是目前點云語義分割的瓶頸之一，具有很高的研究價值，今后擬對此問題進行進一步的研究；并嘗試將網(wǎng)絡推廣到更為復雜的室外場景的語義分割工作。