摘要：三維點云分類分割網(wǎng)絡忽視了融合特征中的冗余信息，缺乏放大有效特征占比能力，不能充分挖掘特征的表達性。在CurveNet網(wǎng)絡基礎上，提出了一種能夠篩選和豐富融合特征的方法，對點云的識別與分割效果達到了較先進水平。首先，提出了對融合特征具有篩選能力的特征選擇子網(wǎng)絡，利用結合了打分機制的TopK算子選出包含有效信息的融合特征，并且能夠自適應地賦予被選特征權重。其次，在聚合曲線特征模塊中增加了兩個新分支，分別學習曲線內(nèi)部點距離特征和曲線之間的線距離特征，通過快速通道相關性注意力機制提取各分支的內(nèi)部相關性，增強了網(wǎng)絡特征的信息描述能力。實驗結果表明，分類任務在ModelNet40數(shù)據(jù)集上準確率達到了93.8%，分割任務在ShapeNet Part數(shù)據(jù)集上平均交并比達到了86.4%。與基準網(wǎng)絡相比，分類效果與分割效果均有所提高，證明了算法的有效性。

關鍵詞：三維點云；融合特征篩選；曲線特征；注意力機制；分類分割

中圖分類號：TP391.文獻標志碼：A

DOI：10.7652/xjtuxb202405006.文章編號：0253-987X（2024）05-0052-12

Recognition and Segmentation of 3D Point Clouds Sensitive to Fusion Features

Abstract：The 3D point cloud classification and segmentation networks ignore the redundant information in the fusion features， lack the ability to amplify the proportion of effective features， and cannot fully explore the expressiveness of features. Based on the CurveNet network， this paper proposes a method that can filter and enrich the fusion features， and the recognition and segmentation effect of point cloud reaches a relatively advanced level. Firstly， a feature selection subnetwork with filtering ability for fusion features is proposed， which combines TopK operator and a scoring mechanism to select fusion features containing valid information and adaptively assign weight to the selected features. Secondly， two new branches are added to the aggregation curve feature module， so as to learn the curve internal point distance features and the curve line distance features， respectively， and extract the internal correlation of each branch through the quick channel affinity attention mechanism， which enhances the information description ability of the network features. The experimental results show that the accuracy of the classification task on the ModelNet40 dataset reaches 93.8%， and the average intersection over union of the segmentation task on the ShapeNet Part dataset reaches 86.4%. Compared with the benchmark network， the classification effect and segmentation effect are improved， which proves the effectiveness of the proposed algorithm.

Keywords：3D point cloud; fusion feature screening; curve feature; attentive mechanism; classification and segmentation

物體分類和分割是計算機視覺中基本且重要的任務，其中二維圖像識別和分割技術已取得了較好的發(fā)展，但實際效果易受光照和遮擋等因素影響。隨著激光雷達和深度相機等三維測量工具的發(fā)展與普及，三維點云識別和分割在自動駕駛、機器人和增強現(xiàn)實等領域獲得了廣泛地應用。但是，基于三維測量工具獲取的點云數(shù)據(jù)是無序且密度不均勻的，這極大地影響了點云特征的提取，對三維目標檢測、場景重建等下游任務造成了一定干擾。長程全局特征含有整體空間結構信息，短程局部特征敏感于細微空間幾何形狀以及密度的變化，因此有效捕獲局部特征和全局特征至關重要。

點云數(shù)據(jù)包含三維坐標、法向量、顏色和時間等信息。目前，針對點云數(shù)據(jù)直接提取特征的方法主要包含以下3種：①基于點的特征提取方式［1-6］，通過近鄰點采樣搜索中心點的相鄰特征點，在PointNet網(wǎng)絡［1］和PointNet++網(wǎng)絡［2］的基礎上，衍生出多種局部特征構造和提取方式來多層次細?；噜徧卣鳎镁酆虾瘮?shù)逐級匯聚中心點的相鄰特征；②基于卷積的特征提取方式［7-12］，將點的不規(guī)則近鄰點集比作二維空間中的像素，通過近鄰點集內(nèi)部的距離信息［7］、潛在順序［8］和形狀信息［9］等特點構造特定的三維卷積核，獲取近鄰點集信息；③以點云動態(tài)圖卷積網(wǎng)絡（dynamic graph CNN，DGCNN）［13］為代表的基于圖的特征提取方式［13-17］在近鄰點集中設計點云的邊關系，將邊特征作為目標任務的組成特征，動態(tài)構建邊的近鄰域并聚集相應的邊特征，利用圖卷積探索邊特征的局部結構。

邊特征能在一定程度上描述點云的局部組件結構，與對距離信息更具表述能力的點云特征互為補充。PRCDRNet網(wǎng)絡［18］和CurveNet網(wǎng)絡［19］等將邊特征和點特征作為基礎組成特征進行融合，增加特征描述符的語義信息。CurveNet網(wǎng)絡利用融合特征間的距離和方向關系，設計了一種長距離的特征提取方法，以相鄰融合特征之間的夾角為導向，在融合特征同構圖上建立具有幾何信息的曲線特征?；诰矸e的特征提取方法，在利用特定卷積動態(tài)提取特征的過程中需要耗費大量的時間和計算資源?；邳c的特征提取方法和基于邊的特征提取方法僅利用點特征或邊特征使網(wǎng)絡缺乏描述能力，結合點特征和邊特征可以增加特征的信息包含量，并且避免了構造特定卷積帶來的計算成本的增加。但是，邊特征利用了點特征之間的距離關系，直接融合點特征和邊特征會導致部分信息重疊，且沒有針對性地增強融合特征中與目標任務相關的特征向量，對相關度低的特征在總體特征中的占比無正相關作用。所以，增強網(wǎng)絡對有效融合特征的提取能力具有重要的研究意義。

為解決上述問題，本文以CurveNet網(wǎng)絡作為基準網(wǎng)絡，設計了一種對融合特征具有選擇性和表達性的三維點云識別和分割網(wǎng)絡。主要貢獻和創(chuàng)新點有以下3點：①為了加強網(wǎng)絡對融合特征的敏感性，提出了特征選擇子網(wǎng)絡模塊，在選擇融合特征時自適應地判斷融合特征的描述性，放大被選特征的信息表達程度。②為了更好地利用曲線特征包含的語義信息，設計了兩種曲線特征描述方法，增加了網(wǎng)絡內(nèi)部信道特征種類。③設計了結合快速注意力機制的自注意力機制模塊，在各通道間迅速聚合特征相關性，加強了特征內(nèi)部信息的表達性。

1.相關研究

1.1.基于點的特征提取方式

PointNet網(wǎng)絡和PointNet++網(wǎng)絡作為直接處理點云特征的開山之作，為后續(xù)點云研究工作提供了開創(chuàng)性啟發(fā)。PointSIFT網(wǎng)絡［3］認為K近鄰KNN算法對近鄰點集的探尋方向單一，沒有發(fā)揮出三維點云的空間優(yōu)勢，利用尺度不變特征變換匹配算法（SIFT）構建了具有8個方向搜索能力的方向編碼單元。Mo-Net網(wǎng)絡［4］將剛體幾何矩陣引入點云，利用多項式函數(shù)擬合點云的表面形狀關系。PointWeb網(wǎng)絡［5］使用影響函數(shù)和關系函數(shù)，建立局部特征間的聯(lián)系，逐元素地動態(tài)搭建特征差異圖，自適應地調(diào)整局部特征。王溪波等［6］構建雙邊結構，處理點云的語義信息和幾何信息，設置多種池化單元跨層提取特征信息。

基于點的特征提取方法通過多種方式加強局部特征的描述能力，并關注全局特征、整體表面形狀信息和顏色信息等，彌補局部描述符對整體特征的概括局限性。

1.2.基于卷積的特征提取方式

二維圖像中卷積核提取特征的本質是在像素區(qū)塊中進行互相關運算，點云局部特征實際是相鄰點集內(nèi)特征間的相關性表達。因此，利用特定的卷積核能夠針對性捕獲相鄰點集的相關性。文獻［8］基于X變換設計了將點云順序與點云特征分離的X卷積，用于聚合中心點的近鄰特征集。文獻［7］為了避免點云采樣過程中重疊采樣，提出了可以設定任意尺寸的環(huán)形卷積核。文獻［10］利用多層感知機（MLP）強大的學習能力模擬連續(xù)的三維卷積核，動態(tài)調(diào)整權重系數(shù)。文獻［11］受二維圖像可變性卷積的啟發(fā)，設計了跳過多層感知機學習權重參數(shù)的核心點卷積。彭秀平等［12］將點云特征劃分為包含27個子立方體的大立方體，設計立方體卷積對有序子立方體內(nèi)的點集進行高維特征抽取。

基于卷積的特征提取方式將二維算法遷移到點云中，對點云不規(guī)則、密度不均勻等特點針對性地設計局部區(qū)塊劃分方式，利用相應卷積核捕獲局部區(qū)塊內(nèi)的特征信息。

1.3.基于圖的特征提取方式

圖編碼將點云特征的全局坐標轉換為相對坐標，利用邊緣卷積，聚集邊特征的語義信息，不斷更新包含特征信息的特征圖。DGCNN網(wǎng)絡［13］在PointNet網(wǎng)絡的基礎上設計了邊緣卷積，將圖概念運用在點云上，以邊特征代替點特征，動態(tài)聚合局部幾何特征。SPG網(wǎng)絡［14］層次化地使用邊緣特征，幾何分割點云構建超點圖，為邊卷積設置條件的同時利用門控循環(huán)單元（GRU）提取目標整體上下文關系。GACNet網(wǎng)絡［15］在圖卷積中搭建注意力機制獲得中心點與鄰域點集的權重參數(shù)，使圖卷積聚焦于鄰域特征的內(nèi)部相關性。文獻［16］提出點云嚴格旋轉不變映射，利用離差平方和約束邊特征以構造層次聚類簇，表達點云的分布特性。PointMLP網(wǎng)絡［17］不以局部特征提取為重點，認為網(wǎng)絡架構是表達目標特征的關鍵，通過堆疊幾個簡單的前饋殘差網(wǎng)絡提取邊特征的局部關系。

基于圖的特征提取方法在DGCNN網(wǎng)絡的基礎上衍變出多種更新特征圖的方式，不斷提升局部特征提取器及網(wǎng)絡架構的性能。

2.對融合特征敏感的三維點云網(wǎng)絡

本文使用CurveNet網(wǎng)絡作為骨干網(wǎng)絡。CurveNet網(wǎng)絡由1個局部點特征聚集模塊、4個堆疊曲線干預卷積模塊和1個任務指定頭模塊串聯(lián)組成。首先通過局部點特征聚集模塊學習輸入點云坐標的相對局部編碼，將相對點云特征和邊特征投影到更高的維度以此來聚合局部特征；接著將局部特征傳入4個堆疊曲線干預卷積模塊中構建由曲線特征、點特征和邊特征組成的融合特征；最后利用任務指定頭模塊對融合特征進行分類預測和分割預測。CurveNet網(wǎng)絡最大的貢獻是利用局部特征間的幾何關系構建曲線特征，提供了一種新的描述物體幾何結構的局部特征聚合方法。

本文為了加強融合特征的表達性，在CurveNet網(wǎng)絡原堆疊曲線干預卷積模塊中的曲線聚合模塊內(nèi)設計了兩種新的曲線特征，同時針對這兩種曲線特征添加了相應的特征學習分支，并在該模塊內(nèi)加入了自注意力機制模塊，以加強曲線特征的表達性。為了使融合特征更準確地表達出目標信息的同時減少冗余信息，在CurveNet網(wǎng)絡的骨干架構上添加了4個特征選擇子網(wǎng)絡模塊。特征選擇子網(wǎng)絡模塊獲取相關性最大的前K個高維特征向量，并將其作為被選特征與曲線特征進行特征維度的拼接，得到融合特征，再將融合特征送入簡單的多層感知機中學習高維語義信息。在高維特征圖中，特征選擇子網(wǎng)絡篩選有效融合特征的同時兼顧了原始網(wǎng)絡結構和原始多級特征。整體網(wǎng)絡結構如圖1所示。本節(jié)將著重介紹特征選擇子網(wǎng)絡模塊的網(wǎng)絡結構、堆疊曲線干預卷積模塊內(nèi)曲線聚合模塊的網(wǎng)絡結構。

2.1.特征選擇子網(wǎng)絡模塊

堆疊曲線干預卷積模塊構造的曲線特征包含了幾何信息，局部點特征聚集模塊基于原始點云提取的高維局部邊特征和點特征包含了語義信息。CurveNet網(wǎng)絡將點特征、邊特征和曲線特征融合在一起，增加了特征的信息包含量。但是，直接利用多層感知機對這些特征進行融合操作并不能最大限度地發(fā)揮融合特征的優(yōu)勢，且在點特征、邊特征和曲線特征中出現(xiàn)與目標相關度低的信息重疊現(xiàn)象，這在一定程度上會對結果產(chǎn)生無效影響。受文獻［20］將TopK算子用于網(wǎng)絡輸出端篩選匹配度高的源點云交互特征和目標點云交互特征的啟發(fā)，本文設計了對特征有選擇性的特征選擇子網(wǎng)絡。該網(wǎng)絡旨在逐級提取不同階段的有效融合特征，過濾相關度低的特征，留下與目標任務相關性高的特征并賦予權重，以增強網(wǎng)絡對融合特征的敏感程度。

圖2為特征選擇子網(wǎng)絡模塊篩選融合特征的具體操作。特征選擇子網(wǎng)絡模塊包含兩個階段，階段1的輸入特征fin1是局部點特征聚集模塊的輸出特征或上一級特征選擇子網(wǎng)絡模塊的輸出特征，階段2在接收階段1輸出特征的同時，將對應層級的堆疊曲線干預卷積模塊輸出特征作為另一個輸入特征fin2。

階段1中，單憑TopK算子雖然可以選出任意數(shù)量的融合特征，但是不能保證篩選過程中被選特征的有效性，也無法增強網(wǎng)絡的敏感程度。所以，通過一維卷積和Sigmoid函數(shù)構造篩選機制，對fin1在網(wǎng)絡中的作用打分，將得分作為篩選原則和權重，反饋給fin1，加強相關度高的特征，削弱相關度低的特征，篩選出得分最高的前K個被賦予權重的特征，接著利用一個簡單的多層感知機提取出高維特征。階段1的內(nèi)部過程如下

M=γ（θm（τn→m1×1（x）））（1）

f1=M（T（fin1·δ（τn→11×1（fin1））））（2）

式中：M為多層感知機提取特征過程；τ為卷積操作，上標n→m表示卷積核的輸入特征維度為n，輸出特征維度為m，下標1×1為卷積核尺寸；θ為批歸一化處理操作，上標m為輸入特征維度；γ為Relu激活函數(shù)；δ表示Sigmoid函數(shù)；·表示點積操作；T表示利用TopK算子設定選取點的參數(shù)，得到包含權重特征的前K個索引量；f1為階段1的輸出特征。

階段2中，為了提高特征選擇子網(wǎng)絡模塊對整體特征的選擇性，將輸出特征fin2與階段1的輸出特征fl結合，利用多層感知機進行高維特征提取。該過程表示如下

2.2.堆疊曲線干預卷積模塊

堆疊曲線干預卷積模塊由兩個曲線干預卷積模塊串聯(lián)而來。在曲線干預卷積模塊中輸入特征先通過曲線分組子模塊捕獲一定數(shù)量的曲線特征，再利用曲線多特征聚合網(wǎng)絡得到融合后的曲線特征，最后重新設置局部點特征聚集模塊提取高維融合特征。為加強曲線特征的表達性，在曲線多特征聚合網(wǎng)絡模塊中構造了兩種新的曲線特征，設計對應的支路提取其與點、邊特征的映射關系，同時設計了快速通道相關性注意力機制挖掘特征間的內(nèi)部相關性。

2.2.1.曲線特征構造

CurveNet對曲線特征Ci的定義如下：在維度為B×3×N的點云特征P與維度為B×D×N的邊特征F的基礎上，利用KNN算法得到近鄰點集{Pli，…，PLi}∈RD。在近鄰點集中搜尋起始點與其余點的角度，選取角度合適的點作為該曲線特征的組成點特征，重復此操作直至選出一定數(shù)量的組成點集。曲線特征就是該組成點集構成的折線，它的尺寸為B×D×N×L，L為曲線特征的組成點集數(shù)。沿用這個定義，在該曲線特征的基礎上構造新的曲線特征，結合原有曲線特征一起描述目標任務。

曲線特征與點特征、邊特征相比，包含了更為豐富的幾何特征。在點云分類網(wǎng)絡中，曲線特征可以更好地根據(jù)物體整體形狀信息捕捉長距離特征，從物體整體結構上聚合長程特征。點云分割網(wǎng)絡需要精準捕獲物體部件的特征，利用曲線特征描繪物體各部件，可以更好地把握物體各部件的短程特征，通過部件不同的形狀特點加強自身的分辨度。曲線內(nèi)部點與點之間的距離可以代表曲線本身的長短和曲線的曲折程度，曲線和曲線之間的距離可以在一定程度上表達出曲線外部距離特征和結構特征。因此，本文設計了基于曲線內(nèi)部的點距離特征和基于曲線之間的線距離特征。

式中：Ci（i∈C（n））代表著N條曲線特征中的第i條中心曲線特征；Cji（j∈N（i））表示第i條中心曲線特征的第j個近鄰曲線特征，N（i）表示曲線特征Ci的近鄰曲線特征域；Pli（l∈C（i））為中心曲線特征Ci的第l個組成點，C（i）是中心曲線特征Ci的組成點集，P1i是中心曲線特征Ci的第一個組成點特征。

2.2.2.曲線多特征聚合網(wǎng)絡模塊

通過構造曲線特征，得到了由原曲線特征、曲線外部線距離特征和曲線內(nèi)部點距離特征組成的多種曲線特征。CurveNet網(wǎng)絡通過兩個分支提取原有曲線特征的線內(nèi)關系和線外關系，單獨處理點、邊特征，并與曲線特征相乘獲得映射關系。本文在此基礎上添加兩個分支學習曲線內(nèi)部點距離特征、曲線間線距離特征與點、邊特征的映射關系。

圖4為曲線多特征聚合網(wǎng)絡模塊結構示意圖，表示了這幾個分支對曲線特征和點、邊特征映射關系的提取過程。曲線多特征聚合網(wǎng)絡模塊中的曲線邊卷積和點邊卷積為2.2.1節(jié)中的曲線間線距離特征和曲線內(nèi)部點距離特征構造過程。這兩個特征分支與其他分支結構相似，利用特征映射分支提取出各曲線特征的映射關系后，接著利用兩個連續(xù)的多層感知機柔性融合曲線特征，最后模仿殘差網(wǎng)絡結構，將原始邊特征與融合后的曲線特征相加。此外，曲線特征和近鄰曲線特征之間在線的結構排列上存在關聯(lián)，在曲線間線距離特征分支中得到曲線間線距離特征Cintra后，采用三維卷積層和三維批歸一化層，提取中心曲線特征和近鄰曲線特征之間的結構排列關系。以下為兩個分支的構造過程

式中：C為曲線特征；τn→n/2是卷積核為1×1的三維卷積層，輸入特征維度為n，輸出特征維度為n/2；β表示最大池化操作；Ep-conv是點邊卷構造曲線內(nèi)部點距離特征Pinter過程；Ec-conv是曲線卷積構造曲線間線距離特征Cintra過程；Cmid是曲線特征通過曲線邊卷積、卷積層與批歸一化層后得到的中間曲線特征；Bmapping表示各個分支提取曲線特征的和點、邊特征映射過程。

在特征映射分支Bmapping中，利用二維卷積層和Softmax函數(shù)為Cintra和Pinter賦予權重，再通過快速通道相關性注意力機制提取上述特征的內(nèi)部相關性，利用獨立的多層感知機進行特征維度對齊，最后與點、邊特征矩陣相乘得到各自的映射關系。這一過程可以表示如下

式中：f為邊特征向量和點特征向量；Cin為相應支路轉換后的曲線特征；flogit是經(jīng)過維度轉換的邊特征，與經(jīng)過維度轉換的曲線中間特征fmid矩陣相乘；為Softmax函數(shù)；AQCA為快速通道相關性注意力機制提取特征過程。在構建特征映射的時候為了使曲線特征與邊、點特征維度對齊，對卷積層的輸入輸出特征維度進行了相應設置。

2.2.3.快速通道注意力機制

為了進一步提高曲線多特征聚合網(wǎng)絡模塊中多種曲線特征的描述能力，利用快速通道相關性注意力機制提取各支路特征的內(nèi)部相關性?？焖偻ǖ老嚓P性注意力機制借鑒了通道相關性注意力機制（CAA）［21］，結構如圖5所示。輸入特征被劃分為查詢矩陣、鍵矩陣、值矩陣，利用3個獨立的多層感知機對查詢矩陣、鍵矩陣、值矩陣進行特征提取和特征壓縮；接著利用3個快速注意力通道（QA）［22］賦予特征壓縮后的查詢矩陣、鍵矩陣和值矩陣的權重，進一步放大其內(nèi)部特征關系。在提取查詢矩陣與鍵矩陣之間的映射矩陣Z的過程中，先將得到的查詢矩陣和鍵矩陣相乘得到相關性矩陣S，利用最大池化單元得到相關性矩陣最大值，與相關性矩陣相減，再使用Softmax函數(shù)得到映射矩陣Z。“激勵”操作中，被賦予權重的值矩陣和映射矩陣Z相乘，再次通過快速注意力通道加強內(nèi)部特征，與原始輸入特征向量相加。具體過程可如下表示

S=［AQq（Mq（f））］T×AQk（Mk（f））（12）

Z=（β（S）-S）（13）

fout=f+AQ（Z×AQv（Mv（f）））（14）

式中：Mq、Mk、Mv分別為查詢矩陣、鍵矩陣和值矩陣的多層感知機；AQq、AQk、AQv分別為查詢矩陣、鍵矩陣和值矩陣的快速注意力通道；S、Z表示相關性矩陣和映射關系矩陣。

快速注意力通道利用一維卷積層和Sigmoid激活函數(shù)得到輸入特征的權重系數(shù)，將輸入特征與權重系數(shù)相乘以達到加強有效輸入特征這一目的，從而得到輸入特征的內(nèi)部相關性?？焖僮⒁饬νǖ澜Y構如圖5所示，這一過程可以用以下公式表示

fout=δ（τn→11×1（f））·f（15）

3.實驗結果與分析

為了驗證對融合特征敏感的曲線多特征聚合網(wǎng)絡的有效性，在ModelNet40數(shù)據(jù)集上進行點云分類實驗，在ShapeNet Part數(shù)據(jù)集上進行點云部件分割實驗，點云分類和部件分割的實驗環(huán)境和實驗參數(shù)如表1所示。

3.1.點云分類實驗

ModelNet40數(shù)據(jù)集常用于測試點云分類，包含40個類別的CAD模型，共12 311個樣本。將點云數(shù)據(jù)送入網(wǎng)絡之前，需要對點云數(shù)據(jù)進行預處理操作。預處理操作中，為了減少輸入點云數(shù)量以及提高輸入點云的質量，需要對點云進行采樣；為了增強網(wǎng)絡對旋轉等情況的魯棒性，需要對點云數(shù)據(jù)進行數(shù)據(jù)增強操作。與基準網(wǎng)絡的性能進行比較時，需要排除數(shù)據(jù)預處理操作與損失函數(shù)種類的干擾，因此本文采取與基準網(wǎng)絡相同的數(shù)據(jù)預處理操作以及損失函數(shù)種類。先對ModelNet40數(shù)據(jù)集所有樣本中的點云坐標進行均勻采樣，采樣數(shù)量設置為1 024，再對采樣點云坐標進行縮放和平移處理。在網(wǎng)絡中使用KNN算法捕獲近鄰點、邊特征和近鄰曲線特征時，為了排除參數(shù)K對識別準確率的影響，令其與基準網(wǎng)絡保持一致（K=20）。網(wǎng)絡的損失函數(shù)采用三維點云分類算法中常見的交叉熵損失函數(shù)。最后，固定隨機數(shù)種子以保證實驗過程不受隨機性的影響。

本文選取了近幾年基于點、卷積和圖的特征提取方法中較為經(jīng)典的網(wǎng)絡進行實驗，并將其與本文網(wǎng)絡進行了對比分析，表2為各網(wǎng)絡在ModelNet40數(shù)據(jù)集上的實驗結果。本文方法在ModelNet40數(shù)據(jù)集上的識別精度達到了93.8%，與基準網(wǎng)絡相比，識別精度提高了0.7%；與其他網(wǎng)絡相比，取得了較為先進的結果。其中，本文網(wǎng)絡僅使用1 024個原始點云坐標作為輸入向量，輸入向量種類少于PointWeb網(wǎng)絡、PointConv網(wǎng)絡和SO-Net網(wǎng)絡等將原始點云坐標和法線作為輸入特征的網(wǎng)絡，原始點云坐標數(shù)量也遠少于SO-Net網(wǎng)絡，且與上述網(wǎng)絡相比，本文模型獲得了更高的識別精度。這意味著在輸入?yún)?shù)的種類以及數(shù)量更少的情況下，本文網(wǎng)絡可以獲得更準確的目標任務信息。主要原因是，特征選擇子網(wǎng)絡模塊在篩選有效融合特征時，自適應地放大了有效融合特征的占比，過濾了與目標任務無關的特征，加強了網(wǎng)絡對有效特征的提取能力。同時，在輸入特征種類單一的情況下，構造多種曲線特征，采用注意力機制提取特征內(nèi)部的相關性，豐富了網(wǎng)絡特征的描述性。

本文網(wǎng)絡將特征提取過程劃分為4個階段，對應的特征篩選數(shù)量為1 024→1 024→256→64。圖6為網(wǎng)絡后3個階段關于ModelNet40數(shù)據(jù)集的融合特征，篩選的特征數(shù)量分別為1 024、256、64。在后3個階段中，被選特征數(shù)量逐漸減少，但依然可以清晰地分辨出目標物體類別輪廓，這說明被篩選的特征包含了目標任務的主要信息，特征選擇子網(wǎng)絡模塊有效地提取出了重要的融合特征。

3.2.點云部件分割實驗

ShapeNet Part數(shù)據(jù)集包含16個類別，共16 881個樣本，每個樣本中標記了不超過6個部位，共有50個部位，常用于三維點云部件分割實驗。在點云部件分割實驗中，與基準網(wǎng)絡比較的時候，同樣采用了相同的數(shù)據(jù)增強與損失函數(shù)。預處理操作中，在ShapeNet Part數(shù)據(jù)集樣本中均勻采樣2 048個點云數(shù)據(jù)，再對采樣點云進行縮放與平移處理。網(wǎng)絡中的KNN算法參數(shù)與基準網(wǎng)絡保持一致（K≤32）。網(wǎng)絡的評價指標采用三維點云部件分割算法中常見的平均交并比損失函數(shù)。

表3為本文模型與近幾年經(jīng)典網(wǎng)絡在ShapeNet Part數(shù)據(jù)集上的對比實驗結果。本文模型的平均交并比達到了86.4%，與基準網(wǎng)絡相比，平均交并比提高了0.1%；與其他部件分割網(wǎng)絡相比，取得了較為先進的結果。本文模型只采用原始點云坐標作為輸入特征向量，輸入特征向量種類少于PointNet++網(wǎng)絡和SO-Net網(wǎng)絡等以原始點云坐標和法線作為輸入特征的部件分割網(wǎng)絡。雖然與基準模型相比，本文模型的平均交并比只提高了0.1%，但是在水杯和飛機這兩個類別上實現(xiàn)了最近分割性能，且對其他類別的分割結果較為均衡。這是由于，本文模型在基準網(wǎng)絡原曲線特征的基礎上構建了基于曲線內(nèi)部的點距離特征和基于曲線之間的線距離特征，將物體的各實例部件以多種曲線的形式劃分，增強了各實例部件的部件特征，保證了模型對各部件的信息提取程度。此外，特征選擇子模型柔性化地結合了局部篩選特征和全局特征，將部件實例的局部信息和整體信息提供給所屬類別，加強了模型對部件實例的整體信息把控能力。

圖7為ShapeNet Part數(shù)據(jù)集的分割結果可視化圖。圖中每個物體的相同顏色代表該色域中點云屬于同一部件。用正方形標注同一物體不同部件在基準網(wǎng)絡與本文網(wǎng)絡中表現(xiàn)不同的地方，并在旁邊放大這些局部效果。在局部放大圖中，為了更清晰地看出兩個網(wǎng)絡的表現(xiàn)，用圓形標注出了具有差異的點云分割結果。從圖中標紅部分及其相應的放大結果可以觀察出，本文網(wǎng)絡在相鄰部件分界點云處的分割結果更細致，對部件的識別結果也更加準確。

3.3.網(wǎng)絡參數(shù)對比

本文網(wǎng)絡與近幾年經(jīng)典的網(wǎng)絡進行網(wǎng)絡參數(shù)量對比，結果如表4所示。可以觀察到，在分類與部件分割實驗中，PointNet網(wǎng)絡、PointNet++網(wǎng)絡、CurveNet網(wǎng)絡的網(wǎng)絡參數(shù)少于本文網(wǎng)絡，其余網(wǎng)絡的參數(shù)量遠超本文網(wǎng)絡。本文網(wǎng)絡在分類實驗中的識別精度與部件分割實驗中的平均交并比均處于先進水平。這說明了本文網(wǎng)絡在保證輸出結果高準確性的同時兼顧了網(wǎng)絡的規(guī)模，具有一定的實際運用價值。

3.4.消融實驗

本文提出了特征選擇子網(wǎng)絡模塊、基于曲線內(nèi)部的點距離特征與基于曲線之間的線距離特征、快速通道相關性注意力機制這3個模塊。為了驗證這3個模塊對網(wǎng)絡的影響，在ModelNet40數(shù)據(jù)集上進行了消融實驗，實驗結果如表5所示。

從表5中可以看出：原基準網(wǎng)絡在ModelNet40數(shù)據(jù)集上的識別準確率為93.1%；加入特征選擇子網(wǎng)絡模塊后，網(wǎng)絡的識別準確率提升了0.5%；在此基礎上依次在曲線干預卷積模塊中加入基于曲線內(nèi)部的點距離特征與基于曲線之間的線距離特征、快速通道相關性注意力機制后，網(wǎng)絡的識別精度也都提升了0.1%。由此可得，特征選擇子網(wǎng)絡對原始網(wǎng)絡的精度提升效果最好，證明了特征選擇子網(wǎng)絡可以提升整體網(wǎng)絡對有效特征的敏感程度。基于曲線內(nèi)部的點距離特征與基于曲線之間的線距離特征、快速通道相關性注意力機制也都對網(wǎng)絡的識別效果起到了一定的積極影響，在一定程度上豐富了網(wǎng)絡的信道特征種類，加深了網(wǎng)絡對各種特征內(nèi)部信息的挖掘程度，證明了豐富曲線特征種類、挖掘曲線特征信息這種思路是具備可行性的。

從參數(shù)量的角度觀察網(wǎng)絡，基準網(wǎng)絡參數(shù)量為2.1 MB，加入特征選擇子網(wǎng)絡模塊和快速通道相關性注意力機制都會使網(wǎng)絡參數(shù)量增加。這是因為，特征選擇子網(wǎng)絡模塊為了保持原始網(wǎng)絡優(yōu)勢，在不改變原始網(wǎng)絡結構的基礎上對融合特征進行篩選；快速通道相關性注意力機制為了充分提取出各曲線特征的內(nèi)部信息，加深了曲線干預卷積模塊的網(wǎng)絡層數(shù)。

4.結束語

本文提出了一種用于三維點云分類和分割的對融合特征敏感的曲線多特征聚合網(wǎng)絡。在構建基于曲線特征、點特征和邊特征的融合特征的同時，對融合特征的有效性打分，篩選出描述性強的融合特征。此外，在網(wǎng)絡中聚合曲線特征模塊內(nèi)部加入兩種曲線特征表示方式，利用三維卷積提取出曲線特征間的上下文聯(lián)系，利用快速通道相關性注意力機制加深各特征的內(nèi)部聯(lián)系。該方法在多點云對象信息感知中取得了較好的效果。

對融合特征敏感的曲線多特征聚合網(wǎng)絡雖然對點云分類和分割取得了不錯的效果，但是并沒有考慮到加入噪聲干擾點等干擾因素的影響，仍然需要不斷研究網(wǎng)絡的抗干擾能力。加強網(wǎng)絡的魯棒性和信息感知能力仍然是未來的重要研究方向。

參考文獻：

［1］CHARLES R Q， SU Hao， KAICHUN M， et al. PointNet： deep learning on point sets for 3D classification and segmentation ［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ， USA： IEEE， 2017： 77-85.

［2］QI C R， YI Li， SU Hao， et al. PointNet++： deep hierarchical feature learning on point sets in a metric space ［C］//Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY， USA： Curran Associates Inc.， 2017： 5105-5114.

［3］JIANG Mingyang， WU Yiran， ZHAO Tianqi， et al. PointSIFT： a SIFT-like network module for 3D point cloud semantic segmentation ［EB/OL］. （2018-11-24）［2023-08-10］. https：//arxiv.org/abs/1807.00652.

［4］JOSEPH-RIVLIN M， ZVIRIN A， KIMMEL R. Momen（e）t： flavor the moments in learning to classify shapes ［C］//2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW）. Piscataway， NJ， USA： IEEE， 2019： 4085-4094.

［5］ZHAO Hengshuang， JIANG Li， FU C W， et al. PointWeb： enhancing local neighborhood features for point cloud processing ［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ， USA： IEEE， 2019： 5560-5568.

［6］王溪波， 曹士彭， 趙懷慈， 等. 雙邊特征聚合與注意力機制點云語義分割 ［J］. 儀器儀表學報， 2021， 42（12）： 175-183.

WANG Xibo， CAO Shipeng， ZHAO Huaici， et al. Semantic segmentation of point cloud via bilateral feature aggregation and attention mechanism ［J］. Chinese Journal of Scientific Instrument， 2021， 42（12）： 175-183.

［7］KOMARICHEV A， ZHONG Zichun， HUA Jing. A-CNN： annularly convolutional neural networks on point clouds ［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ， USA： IEEE， 2019： 7413-7422.

［8］LI Yangyan， BU Rui， SUN Mingchao， et al. PointCNN： convolution on X-transformed points ［C］//Advances in Neural Information Processing Systems. San Francisco， CA， USA： Curran Associates Inc.， 2018： 820-830.

［9］LIU Yongcheng， FAN Bin， XIANG Shiming， et al. Relation-shape convolutional neural network for point cloud analysis ［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ， USA： IEEE， 2019： 8887-8896.

［10］WU Wenxuan， QI Zhongang， FUXIN Li. PointConv： deep convolutional networks on 3D point clouds ［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ， USA： IEEE， 2019： 9613-9622.

［11］THOMAS H， QI C R， DESCHAUD J E， et al. KPConv： flexible and deformable convolution for point clouds ［C］//2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway， NJ， USA： IEEE， 2019： 6410-6419.

［12］彭秀平， 仝其勝， 林洪彬， 等. 一種面向散亂點云語義分割的深度殘差－特征金字塔網(wǎng)絡框架 ［J］. 自動化學報， 2021， 47（12）： 2831-2840.

PENG Xiuping， TONG Qisheng， LIN Hongbin， et al. A deep residual-feature pyramid network framework for scattered point cloud semantic segmentation ［J］. Acta Automatica Sinica， 2021， 47（12）： 2831-2840.

［13］WANG Yue， SUN Yongbin， LIU Ziwei， et al. Dynamic graph CNN for learning on point clouds ［J］. ACM Transactions on Graphics， 2019， 38（5）： 146.

［14］LANDRIEU L， SIMONOVSKY M. Large-scale point cloud semantic segmentation with superpoint graphs ［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ， USA： IEEE， 2018： 4558-4567.

［15］WANG Lei， HUANG Yuchun， HOU Yaolin， et al. Graph attention convolution for point cloud semantic segmentation ［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ， USA： IEEE， 2019： 10288-10297.

［16］李冠彬， 張銳斐， 陳超， 等. 基于旋轉不變深度層次聚類網(wǎng)絡的點云分析 ［J］. 軟件學報， 2022， 33（11）： 4356-4378.

LI Guanbin， ZHANG Ruifei， CHEN Chao， et al. Rotation-invariant deep hierarchical cluster network for point cloud analysis ［J］. Journal of Software， 2022， 33（11）： 4356-4378.

［17］MA Xu， QIN Can， YOU Haoxuan， et al. Rethinking network design and local geometry in point cloud： a simple residual MLP framework ［J/OL］. （2022-11-29）［2023-08-22］. https：//arxiv.org/abs/2202.07123.

［18］楊軍， 王連甲. 結合位置關系卷積與深度殘差網(wǎng)絡的三維點云識別與分割 ［J］. 西安交通大學學報， 2023， 57（5）： 182-193.

YANG Jun， WANG Lianjia. Recognition and segmentation of 3D point cloud through positional relation convolution in combination with deep residual network ［J］. Journal of Xi’an Jiaotong University， 2023， 57（5）： 182-193.

［19］XIANG Tiange， ZHANG Chaoyi， SONG Yang， et al. Walk in the cloud： learning curves for point clouds shape analysis ［C］//2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway， NJ， USA： IEEE， 2021： 895-904.

［20］WU Bingli， MA Jie， CHEN Gaojie， et al. Feature interactive representation for point cloud registration ［C］//2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway， NJ， USA： IEEE， 2021： 5510-5519.

［21］QIU Shi， ANWAR S， BARNES N. Geometric back-projection network for point cloud classification ［J］. IEEE Transactions on Multimedia， 2022， 24： 1943-1955.

［22］WAZIR S， FRAZ M M. HistoSeg： quick attention with multi-loss function for multi-structure segmentation in digital histology images ［C］//2022 12th International Conference on Pattern Recognition Systems （ICPRS）. Piscataway， NJ， USA： IEEE， 2022： 1-7.

［23］YAN Xu， ZHENG Chaoda， LI Zhen， et al. Point ASNL： robust point clouds processing using nonlocal neural networks with adaptive sampling ［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ， USA： IEEE， 2020： 5588-5597.

［24］XU Mutian， DING Runyu， ZHAO Hengshuang， et al. PAConv： position adaptive convolution with dynamic kernel assembling on point clouds ［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ， USA： IEEE， 2021： 3172-3181.

［25］GUO Menghao， CAI Junxiong， LIU Zhengning， et al. PCT： point cloud transformer ［J］. Computational Visual Media， 2021， 7（2）： 187-199.

［26］LI Jiaxin， CHEN Benm， LEE G H. SO-Net： self-organizing network for point cloud analysis ［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ， USA： IEEE， 2018： 9397-9406.

［27］YU Xumin， TANG Lulu， RAO Yongming， et al. Point-BERT： pre-training 3D point cloud transformers with masked point modeling ［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ， USA： IEEE， 2022： 19291-19300.

［28］ZHANG Renrui， WANG Liuhui， GUO Ziyu， et al. Parameter is not all you need： starting from non-parametric networks for 3D point cloud analysis ［EB/OL］. （2021-05-10）［2023-08-22］. https：//arxiv.org/abs/2303.08134.

［29］YAN S， YANG Z， LI H， et al. Implicit autoencoder for point-cloud self-supervised representation learning ［C］//Proceedings of the IEEE/CVF International Conference on Computer Vision. ［S.l.］： ［s.n.］， 2023： 14530-14542.

［30］ZHANG Renrui， WANG Liuhui， QIAO Yu， et al. Learning 3D representations from 2D pre-trained models via image-to-point masked autoencoders ［C］//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ， USA： IEEE， 2023： 21769-21780.