孫劉杰，翟仁杰，王文舉，龐茂然

上海理工大學 出版印刷與藝術設計學院，上海 200093

點云是表征三維世界的主要數據格式[1]。由于傳感器只能在有限的視野范圍內掃描獲取數據，而實際應用中往往又需要完整的三維場景，因此需要點云配準算法將同一場景不同范圍的點云進行配準。點云配準是一種估計兩幀掃描點云之間變換矩陣的問題，同一個三維場景或物體的兩幀點云通過變換矩陣可以合并成一個完整的三維點云[2]。點云配準作為點云數據處理的上游任務，以其獨特而關鍵的作用成為計算機視覺三維點云處理領域中不可或缺的一個分類，具有重要的研究意義。

大多數點云配準工作流程為首先從點云中提取特征以尋找?guī)缀螌?，其次根據對應關系進行配準[3-5]。其中，尋找?guī)缀螌顷P鍵步驟。因此大量工作集中在設計并提取點云特征，以建立對應關系。傳統(tǒng)方法提取的3D特征都是使用手工制作的3D特征描述符，如USC[6]、FPFH[7]等，然而此類描述符通常缺乏對噪聲的魯棒性，因此后續(xù)的研究大多采用基于學習的方法。為了解決點云的稀疏性及無序性等問題，一些研究者利用體素、包圍球和K最近鄰等方式對點云進行組織，以提取更為豐富的幾何特征[8-9]。

Zeng 等人[10]提出了3DMatch。3DMatch 將點云量化為體素，輸入是三維體素數據，輸出是512 維的特征描述符，是點云配準領域首次基于深度學習的方法。Aoki等人[11]提出了PointNetLK，基于可學習點集來提取幾何描述符。對于輸入的無序點云，使用多層感知機（multilayer perceptrons，MLPs）分別對每個點提取特征，其次采用用于圖像對齊的LK 算法進行點云配準。Bai等人[12]提出了D3Feat（joint learning of dense detection and description of 3D local features），采用一種包含KPConv（kernel point convolution）的類UNet 型網絡架構。該網絡將核點與其半徑鄰域內采樣的點組成點集，基于可學習的點集來提取幾何描述符。為消除點云密度對關鍵點的影響，提出一種新的密度不變關鍵點選擇方法，并提出一種自監(jiān)督的檢測器損失函數。劉世光等人[13]提出了F-4PCS（fast 4-points congruent sets），給出了一種新的選擇四點基的方法，對四點基進行限制，在點云重疊率較低時仍可取得很好的效果。Ao等人[14]通過一種新的神經網絡結構SpinNet來提取點云特征描述符，該網絡首先將點云球形體素化并投影到一個圓柱形容器中，然后采用3D圓柱卷積來提取點云特征，特征具有旋轉不變性且泛化性較好。Horache 等人[15]提出了MS-SVConv（multi-scale architecture and self-supervised fine-tuning convolution）神經網絡，該網絡對點云進行不同大小的體素下采樣，將不同尺度的信息輸入一個類UNet 架構網絡分別提取特征，而后將輸出的不同尺度特征進行融合，該網絡具有很好的泛化性。由于點云的稀疏性，傳統(tǒng)3D卷積操作會造成計算資源的浪費，并且3D 卷積本身計算的時間復雜度也很高，Choy 等人[16]提出了FCGF（fully convolutional geometric features），這是第一個采用全卷積設置的點云特征提取網絡，使用稀疏3D卷積[17]代替?zhèn)鹘y(tǒng)的3D卷積，以緩解點云稀疏性帶來的問題，并通過使用稀疏卷積構建包含跳躍連接和殘差結構的ResUNet 網絡架構來提取點云的局部幾何特征。而在該方法中，UNet 跳躍連接會增加點云特征中的冗余信息；且點云信息相比圖像更加復雜，殘差結構用來提取點云特征無法充分利用點云中的有效信息。

為了解決上述方法中點云有效信息提取不充分等問題，本文以點云特征提取作為研究重點，提出了DFRUNet 點云特征提取網絡。在網絡的跳躍連接處，引入3DFDF 模塊，通過將編碼部分特征與解碼部分特征動態(tài)融合，減少冗余信息；采用SE-Res 殘差模塊，使網絡對顯著區(qū)域的特征進行重點提取，充分利用點云中的有效信息。

1 點云特征提取網絡DFRUNet

本文的點云特征提取網絡DFRUNet 見圖1。為充分提取點云中的有效信息，本文引入了3DFDF 特征動態(tài)融合模塊和SE-Res 殘差模塊，通過在ResUNet 架構中引入特征動態(tài)融合3DFDF（3D feature dynamic fusion）模塊，過濾冗余信息；采用SE-Res殘差模塊對顯著區(qū)域的特征進行重點提取，以提高所提取特征的質量。如圖1 所示，編碼部分采用SE-Res 模塊提取點云特征，特征通過步長為2的卷積層逐漸下采樣，以獲得不同尺度的點云信息；解碼部分同樣采用SE-Res模塊提取特征，其次通過步長為2 的反卷積層上采樣來恢復信息。網絡通過3DFDF 模塊過濾編碼模塊中地冗余信息，并與解碼模塊特征動態(tài)融合以補充信息。

圖1 DFRUNet總體結構Fig.1 DFRUNet structure

由于點云數據的稀疏性和無序性，直接處理非常困難，進行3D 卷積需要很大的計算量。因此本文首先對原始點云數據進行體素化處理，將體素化點云量化為稀疏張量，再進行特征提取。網絡的輸入為量化后的稀疏張量，卷積算子采用Minkowski 稀疏卷積[17]以減少計算量，輸出為3D幾何特征。

1.1 3D特征動態(tài)融合3DFDF模塊

在標準CNN架構中，特征逐漸降采樣，在不斷的下采樣過程中不斷地降低分辨率以獲得不同尺度的點云信息，使網絡得到的信息更加全面，其次通過上采樣恢復信息并通過跳躍連接將編碼模塊特征與解碼模塊特征進行融合以補充信息[18]。然而恢復信息時主要還是依賴上一層解碼模塊的輸出，并且編碼模塊特征包含冗余信息，而兩部分特征以相同權重進行融合，會使融合后的特征包含部分冗余信息，對網絡的輸出結果造成影響。

為解決這一問題，本文在AG（attention gate）[19]的基礎上，在跳躍連接處引入了3DFDF模塊，采用3D卷積[17]處理點云信息，增加感受野。如圖2 所示，模塊以編碼模塊特征和解碼模塊特征作為輸入，預先將兩部分特征進行融合來得到權重，輸出為權重更新后的編碼模塊特征。將新的編碼模塊特征與解碼模塊特征相融合，以補充信息，通過動態(tài)調整編碼模塊特征的權重來減少冗余信息。模塊主要分為以下兩個部分：

圖2 3DFDF模塊Fig.2 3D feature dynamic fusion（3DFDF）module

（1）融合兩模塊特征以求得權重系數。3DFDF 模塊的輸入xi∈?Fl和gi∈?Fg分別為編碼模塊特征和解碼模塊特征，其中Fl和Fg分別對應l層和g層特征映射的數量。附加公式如下：

（2）更新編碼模塊特征。3DFDF 模塊的輸出為輸入的編碼模塊特征與注意力系數的乘積：

1.2 擠壓與激勵殘差SE-Res模塊

殘差結構在圖像處理方面取得了很好的效果，而點云數據與圖像相比更復雜，具有稀疏性和無序性。為了更好地利用點云特征中的有效信息，本文在殘差結構中融入SE（squeeze and excitation）模塊[20]構成SE-Res（squeeze and excitation residual）模塊，在通道維度增加注意力機制[21-23]，從雜亂無章的點云數據中判定顯著區(qū)域，并對該區(qū)域特征進行重點提取。見圖3，SE 模塊通過插入到殘差結構中的3D卷積層之后來融入殘差結構，模塊對特征進行壓縮與激勵，通過自主學習的方式，即使用神經網絡獲取每個特征中通道的重要程度，然后據此賦予每個特征一個權重值，讓神經網絡去重點關注某些特征通道，以提升對當前任作用較大的特征通道，并抑制作用較小的特征通道。

圖3 SE-Res模塊Fig.3 SE-Res module

（1）擠壓與激勵特征。通過兩層卷積操作初步提取特征，擠壓操作將全局信息嵌入特征并能更直觀地表示，通過全局平均池化層，將尺寸為H×W×D×C的特征壓縮為1×1×1×C的向量。z通過壓縮c維特征u得來，附加公式如下：

為充分利用擠壓后的信息，接著進行激勵操作，目的是完全獲取通道的相關性。它不僅能學習通道間的非線性相互作用，還可以同時執(zhí)行多個通道的激活。公式如下：

其中，σ對應sigmoid 激活函數，δ對應relu 激活函數。為了限制模型的復雜性，使用兩個全連接層來進行降維，降維率為超參數r，根據文獻[17]的經驗設置r=16。

（2）更新特征通道。通過維數增加層返回輸出u的通道維數，最后將s加權到每個通道的特征上：

2 實驗結果與分析

實驗平臺硬件配置為Inter?CoreTMi9-10920X CPU 3.50 GHz，64 GB內存，NVIDIA Ge Force RTX 3070顯卡；軟件配置為Ubuntu 18.04系統(tǒng)，采PyTorch深度學習框架，CUDA11.1進行GPU加速。

2.1 實驗數據集及訓練參數

在室內數據集上驗證本文的特征提取算法（DFRUNet）。采用標準的3D Match 數據集[9]來訓練并測試網絡，3D Match 數據集包含62 個不同場景的總計超過20 萬幀RGB-D 深度圖，例如7-Scenes、SUN3D 以及Halber 等。每個場景被分成幾個片段，使用TSDF體積融合從50個深度幀重建每個片段，并保存到ply 文件中。圖4 為該數據集不同場景中的四組待配準點云可視化結果，用偽彩色表示點云的深度信息（z值）。右側漸變色條為點云z值范圍，z值較小的為藍色帶，表示物體距相機較近；z值較大的為紅色帶，表示物體距相機較遠。在實驗過程中，54 個場景用于訓練，8 個場景用于測試。實驗時采用隨機梯度下降法訓練100 個epochs，初始學習率為0.1。在訓練開始前對點云數據進行數據增強處理，包括隨機縮放和隨機旋轉增強等，以使DFRUNet網絡所提取的特征具有旋轉平移不變性。

2.2 評價指標

對于3D Match基準，本文采用兩個指標來衡量點云配準的特征質量：特征匹配召回率（feature-match recall，FMR）和配準召回率（registration recall）。

特征匹配召回率（feature-match recall）[10]。特征匹配召回率檢測能高置信度進行點云配準的點對的百分比。公式如下：

式中，M是點對的數目，Ωs為點對s之間的一組對應關系，x和y為來自兩幀點云的3D坐標，T*是真實值。τ1=0.1 m 是內點距離閾值，τ2=5%是內點召回閾值。

配準召回率（registration recall）[10]。配準召回率檢驗配準算法可以正確恢復多少重疊片段，計算公式如下：

式中，Ω*為片段{i,j} 對應的真實值的集合，x*和y*則為所對應的真實值的3D 坐標，T為兩幀點云變換矩陣。對于重疊率大于等于30%的點對，如果ERMSE<0.2 m 則認為該點對符合標準。

2.3 實驗結果分析

為了驗證本文所提出的點云特征提取算法，本文采用特征匹配召回率和配準召回率作為評價指標，其中STD 代表標準差，STD 越小表明算法越穩(wěn)定。在3D Match基準[10]上評估本文的算法。

本文將DFRUNet 與FPFH、PerfectMatch、FCGF 和D3Feat 進行了比較，表1 中列出在內點距離閾值為10 cm，內點召回閾值為5%時，不同特征提取算法的特征匹配召回率以及特征維度。實驗結果表明，本文提出的DFRUNet 網絡所提取的特征，在特征維度為32 維的情況下，特征匹配召回率為96.3%，達到了最高精度。DFRUNet 網絡通過3DFDF 模塊將特征動態(tài)融合，同時采用SE-Res 模塊對顯著區(qū)域重點提取特征，有效地提高所提取特征的質量，提升了特征匹配召回率。表1中最后一列為各個方法提取單個點云特征所需時間，本文網絡提取特征所需時間與FCGF一致，表明采用3DFDF模塊和SE-Res模塊對算法運行速度幾乎沒有影響。算法運行時間略低于D3Feat，這是由于本文網絡采用稀疏卷積提取點云特征，為稀疏張量創(chuàng)建哈希表增加了耗時。在點云預處理階段，點云將采樣體素化大小為2.5 cm情況下，特征匹配召回率比FCGF 提高了0.011，且在5 cm體素大小下也優(yōu)于FCGF算法。此外，點云體素大小與訓練時間呈線性相關，5 cm體素大小不僅比2.5 cm體素占用更少的訓練資源，且訓練時間也縮短近半。

表1 不同方法實驗結果對比Table 1 Comparison of experimental results with different methods

為了可視化網絡所提取特征的總體質量，本文使用t-SNE算法將所提取特征映射到標量空間，并采用顏色映射技術對特征進行著色，采用偽彩色表示特征值，可視化效果見圖5。

圖5 特征可視化Fig.5 Visualization of features

本文選擇FCGF 作為消融研究的基線，公平起見，所有的實驗數據及參數設置均保持不變。SE-ResUNet表示采用SE-Res殘差結構，DFUNet表示將3DFDF模塊引入網絡。如表2 所示，采用SE-Res 殘差結構后，特征匹配召回率提高了0.003，SE-Res 模塊通過對顯著區(qū)域重點提取特征，有效地提高所提取特征的質量。將3DFDF模塊引入網絡后，特征匹配召回率提高了0.008，3DFDF模塊通過將特征動態(tài)融合，充分地提取了點云中的有效信息，同樣也提高了所提取特征的質量。

表2 消融實驗結果Table 2 Results of ablation experiment

采用RANSAC[24]算法進行點云配準，即隨機選取3對對應點對求解變換矩陣，并將評估剩余點對，根據選定閾值來判別內點與外點；其次重復以上步驟直至抵達選代次數的上限，選擇內點最多的方案為最佳方案，點云配準可視化結果見圖6。根據可視化結果可以看出，本文方法兩幀點云的配準效果更貼近真實值。圖6中，第1、3、5 行分別代表場景1、場景2、場景3，對場景1 中紅色方框中的椅子靠背、場景2紅色方框中的床頭以及場景3 紅色方框中的沙發(fā)進行局部放大，第2、4、6 行分別為3 個場景的局部放大圖。場景1 中，從紅色方框中的椅子靠背處可以看出，采用FCGF配準時兩幀點云并未完全對齊，與真實值不符，而采用本文方法兩幀點云幾乎完全對齊，更為貼近真實值，場景2 同理；而場景3中，由紅色方框中的沙發(fā)處可以看出，采用FCGF 配準時兩幀點云配準失敗，而采用本文方法仍可配準成功。表明本文DFRUNet 網絡充分提取了點云中的有效信息，所提取特征質量要優(yōu)于FCGF 點云特征，采用本文方法配準效果更好。

對于點云配準，本文采用3DMatch 配準集[9]來評估DFRUNet所提取特征的配準召回率，結果見表3。實驗表明，本文的DFRUNet+RANSAC在8個場景的平均配準召回率達到了82.2%，優(yōu)于基線方法FCGF+RANSAC。

表3 不同場景配準召回率Table 3 Registration recall rate in different scenarios

3 結語

本文提出了一種基于特征動態(tài)融合的點云特征提取網絡DFRUNet，通過引入3DFDF 模塊將特征動態(tài)融合來充分提取點云中有效信息；采用SE-Res 殘差模塊提取特征，動態(tài)調整顯著區(qū)域特征的權重，提高了網絡所提取特征的質量。相較于基線方法FCGF，特征匹配召回率提高了0.011，配準召回率提高了0.01。證明了本文點云配準方法的有效性，對于其他點云配準研究具有一定的參考價值。但是由于本文算法采用稀疏卷積提取點云特征，創(chuàng)建哈希表增加了耗時，導致算法運行時間較長，未來將致力于提高算法的運行時間。