何?凱，李大雙，馬希濤，趙?巖，劉志國

基于混合注意力機制和相關性估計網絡的點云配準算法

何?凱，李大雙，馬希濤，趙?巖，劉志國

(天津大學電氣自動化與信息工程學院，天津 300072)

點云配準是對同一物體上采集到的點云數(shù)據進行精確匹配，然而傳統(tǒng)方法計算成本高，配準精度差．基于神經網絡的算法也存在噪聲干擾，在類別未見的點云數(shù)據上應用時效果不佳．為解決這一問題，本文提出了一種基于混合注意力機制和相關性估計網絡的點云配準算法．考慮到點云內部特征的復雜性和點云對變換的隨機性，提出一種混合注意力機制來提取關鍵特征信息，利用殘差的方式進行連接，可以得到更具魯棒性的點云特征．通過相關性估計網絡對點云特征進行非線性激勵，可以提高表達能力，獲取點云對之間更緊密的相關性．在人工合成數(shù)據集ModelNet40和真實數(shù)據集ICL-NUIM上的仿真實驗結果表明，本文算法在大尺度仿射變換下，對摻雜噪聲、類別未見點云數(shù)據的配準精度有顯著的提升，證明了其有效性．

點云配準；仿射變換；混合注意力機制；相關性估計網絡

點云指的是利用測量儀器，在物體外觀表面得到的點數(shù)據集合．由于測量視角的限制，通常需要在多個視角下對同一物體進行測量．如何利用采集到的點云數(shù)據來準確獲得物體的空間變換關系，實現(xiàn)二者的完美匹配，是點云配準的關鍵．點云配準是三維重建技術的前提和基礎，具有重要的研究意義．例如：在醫(yī)學成像領域，精確配準的點云數(shù)據可有效解決成像模糊、缺失等問題；在機器視覺方面，點云配準效果決定了機器人的姿態(tài)估計精度，進而影響其行為判別和后續(xù)處理；在3D打印方面，點云配準精度直接決定了產品的精度．

Besl等[1]提出了迭代最近點(ICP)算法，通過鄰近點查找建立點集之間的相關性，并重新計算對準的交替方式，來實現(xiàn)最小二乘優(yōu)化；該方法僅可用于小尺度仿射變換估計，配準精度也很不理想．2004年，Tsin等[2]提出了基于點集之間的相關性方法，可用于檢測點云中的異常點，提高了配準精度和算法的魯棒性．2010年，Jian等[3]提出利用高斯混合模型，以概率分布形式來表現(xiàn)不同點云之間的相關性，可實現(xiàn)點云的局部配準．2014年，韓賢權等[4]提出了一種改進的粒子群優(yōu)化算法，通過最小化法向量叉積代數(shù)和作為適應度函數(shù)，進行高效的全局搜索，可實現(xiàn)散亂點云的精確配準．2016年，葛寶臻等[5]引入鄰域半徑約束，提出了一種改進固有形狀特征點的提取方法，再利用人工蜂群算法[6]進行優(yōu)化求解，進而得到空間變換矩陣參數(shù)，提高了抗噪性和計算效率．上述傳統(tǒng)方法配準精度差，計算成本較高．

近年來，隨著點云數(shù)據量的不斷增加，傳統(tǒng)方法已不能滿足實際工程的需要，基于深度學習的方法實現(xiàn)點云配準受到了越來越廣泛的關注．例如：2017年，Qi等[7]提出了PointNet深度網絡結構，采用對稱的編碼器和解碼器，可直接處理無序的點云數(shù)據，但對大尺度變換和噪聲較敏感，精度有限．2019年，Aoki等[8]通過將PointNet與傳統(tǒng)方法相結合，提出PointNetLK模型，可將兩個點云數(shù)據映射到相同的空間進行處理，同時采用循環(huán)神經網絡減少了計算復雜性，在中等尺度變換和噪聲等條件下提高了匹配精度．Wang等[9]提出了深度最鄰近點(DCP)的方法，運用動態(tài)圖卷積網絡來挖掘點云的魯棒性特征，采用注意力機制在深層特征中計算點的相關性，并利用奇異值分解矩陣來估計點云的仿射變換，可實現(xiàn)在未知類別點云數(shù)據的精確配準．2020年，Yew等[10]從空間和局部幾何坐標來學習混合特征，使用退火等處理來減少初始對準結果的影響，采用迭代網絡來計算待配準點云和目標點云的相關性矩陣，提高了對噪聲、陌生類別，以及部分可視點云數(shù)據的泛化能力，但運算速度較慢．與傳統(tǒng)算法相比，深度學習方法具有特征提取效率高、運算速度快等特點，在點云配準方面具有很大的優(yōu)勢，代表了未來的研究方向．然而，現(xiàn)有深度學習方法仍然容易受到大視角、噪聲、類別多樣性等因素的影響，匹配準確率有待提高．

為解決上述問題，本文提出了一種基于混合注意力機制和相關性估計網絡的點云配準算法．采用混合注意力機制的方式關注更為細致的點云內部關鍵特征，以及點云對之間的空間聯(lián)系．此外，本文提出了相關性估計網絡，通過對編碼后的多通道特征直接進行解碼，可保留不同空間的特征信息，有助于提高特征的表達能力和相關性估計的準確性．

1?本文算法

圖1?混合注意力機制和相關性估計網絡結構

1.1?混合注意力機制

注意力機制能夠有選擇性地關注信息的部分內容，產生更具分辨能力的特征表示．例如：自注意力機制[11]能夠獲取點云內部點之間的依賴關系；互注意力機制[12]可以關注不同點云之間的特征相關性；多頭注意力機制[13]通過平行計算多個輸入特征信息，可以關注信息的不同部分．然而，上述注意力機制均存在一定的缺點：自注意力機制可有效保留點云內部的關聯(lián)性，但缺失內部空間的位置信息，容易陷入局部最優(yōu)；同時，缺失點云對之間的空間相對性，也會影響配準精度．相反，互注意力機制可以關注兩個點云不同空間位置的相關性，得到點云對的空間關系；但忽視了點云的幾何特性，容易檢測到部分獨立于關鍵點之外的異常點，產生誤匹配．

圖2?混合注意力機制模塊

上述操作可表示為

輸出注意力結果歸一化后，利用多層感知器模塊，使用前饋傳播的方式來學習點云數(shù)據的內部特征，可以獲得更精細的注意力表征．網絡含有1層隱藏層，節(jié)點數(shù)為1024，采用全連接的方式，激活函數(shù)采用ReLU．通過隱藏層的設置，可以將原始點云特征空間分布映射到更高維度的隱空間當中，尋找潛在特征信息．

對于隱藏層的輸出進行批歸一化處理，以提升網絡的泛化性能．隱藏層與輸出層之間也采用全連接的方式，從高維空間映射到原始特征空間．網絡的輸出層和輸入層節(jié)點數(shù)保持一致，并進行殘差連接，再利用層歸一化，以充分提取特征的關鍵信息，具體操作為

具體操作為

1.2?相關性估計網絡

PointNet[7]是首個直接將點云數(shù)據作為輸入的深度神經網絡，受其啟發(fā)，本文提出了一種簡易的卷積神經網絡，用于計算點云對之間的相關性，稱為相關性估計網絡(CE)．該網絡由編碼器和解碼器兩個部分組成，具體如圖3所示．編碼器共有4層，均采用相同的卷積、批歸一化和ReLU激活操作，且參數(shù)共享；使用一維卷積，卷積核大小為1×1，以保持特征圖大小不變，通過非線性激勵來提升網絡的表達能力，整合特征信息．編碼器前一層的輸出均作為后一層的輸入，從第1層到第4層的輸入通道數(shù)依次為80、64、128、256，第4層輸出通道數(shù)為1024，編碼過程為

式中：為激活函數(shù)；代表批歸一化；代表卷積核大小為1×1的一維卷積；為混合注意力機制的輸出．

1×1的卷積核可以在保持輸入尺寸不變的情況下，實現(xiàn)全連接的通道數(shù)變化．編碼器通過卷積操作，不斷增加特征的通道數(shù)，將輸入的特征從低維向高維空間進行非線性映射，不斷挖掘多通道特征的隱藏信息，可以適應大尺度的仿射變換．

為了得到點云對之間的相關性矩陣，需要對高維特征進行解碼．與編碼器對稱，解碼器結構包含3層，采用相同的處理方式；從第1層到第3層的輸入通道數(shù)依次為1024、512、256，第3層的輸出通道數(shù)為128．逐步減少通道數(shù)，通過非線性激勵獲得特征之間的相關性；采用1×1的卷積操作得到通道數(shù)為16的相關性矩陣輸出．

1.3?配準參數(shù)計算

高斯混合模型指的是多個高斯分布函數(shù)的線性組合．由于點云數(shù)據的不規(guī)則性，難以獲得其分布規(guī)律；高斯混合模型可以通過多個高斯分布函數(shù)來擬合點云數(shù)據，再根據內部點的相關性來賦予不同分布函數(shù)的對應權重，從而有效獲取點云數(shù)據的內部聯(lián)系，提高配準精度．

利用均方差損失，可有效提高網絡的收斂速度，得到精確的配準結果．

2?實驗結果與分析

為了驗證本文算法的有效性，將提出的混合注意力機制和相關性估計網絡應用在高斯混合模型框架上，在合成點云數(shù)據集ModelNet40[15]和真實數(shù)據集ICL-NIUM[16]上進行測試，并與經典點云配準方法進行了比較．

2.1?數(shù)據集處理

ModelNet40數(shù)據集包含有Clean、Noisy和Unseen 3個子數(shù)據集．其中：①Clean包含40類不含噪聲的點云數(shù)據，在點云對之間有明確的相關性，訓練/驗證集包含9843個點云對，測試集包含2468個點云對；②Noisy中加入具有(0，0.01)分布的高斯噪聲，以更加貼近現(xiàn)實情況；③Unseen除了加入高斯噪聲以外，在訓練時選取20個類別的點云數(shù)據，測試時采用另外20個類別的點云數(shù)據，以更好地測試算法的通用性．

ICL-NUIM數(shù)據集是利用激光掃描得到的真實室內點云數(shù)據，采取與ModelNet40數(shù)據集相同的處理方式，數(shù)據集包含1478個點云對樣本，其中1278個用于訓練和驗證，200個用于測試．

2.2?實驗環(huán)境和參數(shù)設置

計算機配置為：CPU Intel Core i9-9900K；內存64G；GPU RTX 2080Ti；顯存11G；Linux18.04系統(tǒng)，python編程環(huán)境，使用pytorch框架對點云數(shù)據進行配準．

網絡訓練時batch_size設為16，測試時設為32；采用Adam優(yōu)化器，學習率設為0.001，迭代次數(shù)為100．訓練樣本和驗證樣本按照9∶1比例劃分；驗證損失迭代20次、損失函數(shù)值未改善時，學習率減半．仿射變換中平移變換沿坐標軸在[-0.5，0.5]中隨機采樣，旋轉變換沿坐標軸在[0，180°]中隨機采樣．

2.3?實驗結果分析

采用根均方誤差(RMSE)對點云配準結果進行量化分析，其值越低表示配準效果越好，計算公式為

為了測試本文點云配準算法的有效性，在合成數(shù)據集ModelNet40的3個子數(shù)據集上，分別與幾種經典算法進行了對比．其中：ICP是局部點云經典配準算法；FGR[17]是全局點云經典配準算法；PointNetLK、PRNet[18]、DCP和DeepGMR[19]是近年來具有代表性的基于深度學習的點云配準方法．點云配準后RMSE結果如表1所示．

從表1中可以看出，傳統(tǒng)算法ICP容易陷入局部最優(yōu)，在3個數(shù)據集上表現(xiàn)不佳；基于深度學習方法DCP在Clean和Noisy兩個子數(shù)據集上表現(xiàn)較好，但在Unseen子數(shù)據集上效果較差，魯棒性不佳；由于DeepGMR和本文算法是在高斯混合模型上進行配準，效果遠優(yōu)于其他算法，為便于對比，在DeepGMR提供的算法上進行仿真，結果保留小數(shù)點后6位．可以看出，大視角變換條件下大部分算法誤差較大，加入噪聲后性能更是不佳．對于未訓練過的點云類別，算法普遍泛化能力較差；與之相比，本文算法能更好地關注點云特征的關鍵信息，對于大視角、含噪以及類別未見點云數(shù)據都具有良好的泛化能力，在3個合成數(shù)據集上指標均為最高，證明了算法的有效性．

表1?不同算法在合成數(shù)據集上配準效果對比

Tab.1 Comparison of the registration effects of different algorithms on a synthesized dataset

注：對比算法指標均采用文獻[19]中的結果．

為了測試本文算法在真實點云數(shù)據集上的配準效果，分別利用本文算法和經典算法，對ICL-NUIM數(shù)據集進行配準，RMSE結果如表2所示．從表2中可以看出，由于真實點云數(shù)據的復雜程度比合成點云更高，因此大多數(shù)算法的配準效果不及在Model Net40數(shù)據集上的測試結果(如表1所示)；但本文算法的配準效果仍然最佳，證明其具有較強的泛化能力.

表2?不同算法在真實數(shù)據集上配準效果對比

Tab.2 Comparison of the registration effects of different algorithms on a real dataset

注：對比算法指標均采用文獻[19]中的結果．

采用本文算法對不同點云數(shù)據集的配準效果如圖4所示，其中，圖4(a)～(d)分別代表在數(shù)據集ModelNet Clean、ModelNet Noisy、ModelNet Unseen和ICL-NUIM上的配準結果；左邊一列代表待配準點云和目標點云，右邊一列代表配準結果．從圖中可以看出，本文算法能夠精確地捕捉到關鍵特征信息，即使兩個點云存在較大的空間差異，仍然能夠獲得比較理想的配準效果．

為了證明本文模塊的有效性，分別進行了消融實驗．在不同數(shù)據集上，分別采用不同網絡結構：PointNet(PN)網絡，本文相關性估計網絡(CE)，本文混合注意力機制與PointNet網絡(MA＋PN)，本文混合注意力機制和相關性估計網絡(MA＋CE)進行配準．RMSE結果如表3所示．

圖4?不同數(shù)據集點云配準結果對比

表3?不同網絡結構點云配準效果對比

Tab.3 Comparison of registration effects using different network structures

從表3中可以看出，與傳統(tǒng)PN網絡相比，本文CE網絡效果更佳．這是由于PN網絡在編碼層后做了最大池化操作，并將結果與編碼層的輸出進行了拼接，此舉雖然可以消除冗余信息，但同時容易刪去關鍵性特征；而本文CE網絡是直接對編碼層的輸出特征進行解碼，可保留更多的特征信息．此外，還可以看出MA＋PN優(yōu)于PN網絡，表明本文提出的混合注意力機制模塊有助于關注點云對的主要特征，忽視無關信息．將本文提出的兩個模塊進行組合(MA＋CE)，配準效果最佳，證明了本文提出這兩個模塊的有效性．

為了驗證本文網絡模型的特征學習能力，與PointNet網絡在ModelNet Clean數(shù)據集上訓練時的RMSE曲線進行對比，結果如圖5所示．其中，橫坐標代表迭代步數(shù)．從圖5中可以看出，PointNet網絡收斂較慢，且在迭代步數(shù)達到8000時有很大的峰值波動；而本文模型指標僅在前2000步時浮動較大，隨后便保持平穩(wěn)，收斂速度明顯加快，表明本文網絡具有更強的特征學習能力．

2.4?算法復雜度分析

為了對網絡的整體性能進行評價，在ModelNet40測試集上，采用不同算法對一個點云對進行處理，其平均運算時間如表4所示．其中，PRNet在采樣點為3000時顯存溢出，無法獲得運算時間．從表中可以看出，本文算法的平均運算時間明顯少于已有算法，僅略高于DeepGMR算法．這主要是引入了混合注意力機制模塊所致，雖然時間略有增加，但有效提高了配準精度．

圖5?不同模型訓練結果對比

表4?不同點云配準算法的運算時間對比

Tab.4 Comparison of time comsumptions of different algorithms ?ms

注：對比算法指標均采用文獻[19]中的結果．

3?結?語

本文提出了一種混合注意力機制和相關性估計網絡模型．利用混合注意力機制來關注點云數(shù)據的細節(jié)特征，增強了網絡對重要信息的學習能力；其次，提出相關性估計網絡，可充分保留不同空間的點云特征．在合成數(shù)據集與真實數(shù)據集上的仿真實驗結果表明，本文算法可以獲得更高的配準精度，泛化能力更強．本文算法僅適用于對完整的點云數(shù)據進行處理，實際工程中可能存在部分點云數(shù)據丟失的現(xiàn)象，這會導致內部點相關性的丟失，影響本文算法精度．未來需要進一步優(yōu)化混合注意力機制模塊，調整網絡結構和參數(shù)配置，使得其在部分可見的點云數(shù)據上也能獲得良好的配準效果．

［1］ Besl P J，McKay N D. A method for registration of 3-D shapes[J]. IEEE Trans on Pattern，1992，1067：239-256.

［2］ Tsin Y，Kanade T. A correlation-based approach to robust point set registration[C]// 8th European Conference on Computer Vision. Heidelberg，Berlin，2004：558-569.

［3］ Jian B，Vemuri B C. Robust point set registration using gaussian mixture models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，33(8)：1633-1645.

［4］ 韓賢權，朱?慶，丁雨淋，等. 散亂點云數(shù)據精配準的粒子群優(yōu)化算法[J]. 武漢大學學報(信息科學版)，2014，39(10)：1214-1220.

Han Xianquan，Zhu Qing，Ding Yulin，et al. Precise registration of scattered cloud data based on the particle swarm optimization[J]. Geomatics and Information Science of Wuhan University，2014，39(10)：1214-1220(in Chinese).

［5］ 葛寶臻，周天宇，陳?雷，等. 基于改進ISS特征點與人工蜂群算法的點云拼接方法[J]. 天津大學學報(自然科學與工程技術版)，2016，49(12)：1296-1302.

Ge Baozhen，Zhou Tianyu，Chen Lei，et al. Point clouds registration algorithm based on improved ISS feature points and artificial bee colony algorithm[J]. Journal of Tianjin University(Science and Technol-ogy)，2016，49(12)：1296-1302(in Chinese).

［6］ Karaboga D，Basturk B. A powerful and efficient algorithm for numerical function optimization：Artificial bee colony(ABC) algorithm[J]. Journal of Global Optimization，2007，39(3)：459-471.

［7］ Qi C R，Su H，Mo K，et al. Pointnet：Deep learning on point sets for 3D classification and segmentation [C]// IEEE Conference on Computer Vision and Pattern Recognition. Honolulu，USA，2017：652-660.

［8］ Aoki Y，Goforth H，Srivatsan R A，et al. Point-netlk：Robust & efficient point cloud registration using pointnet[C]// IEEE Conference on Computer Vision and Pattern Recognition. Long Beach，USA，2019：7163-7172.

［9］ Wang Y，Solomon J M. Deep closest point：Learning representations for point cloud registration[C]// IEEE Conference on Computer Vision and Pattern Recognition. Long Beach，USA，2019：3523-3532.

［10］ Yew Z J，Lee G H. RPM-Net：Robust point matching using learned features[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle，USA，2020：11824-11833.

［11］ Lin Z，F(xiàn)eng M，Santos C N，et al. A structured self-attentive sentence embedding[EB/OL]. https://arxiv.org/ abs/1703. 03130，2017-03-09.

［12］ Xiong C，Zhong V，Socher R. Dynamic coattention networks for question answering[EB/OL]. https:// arxiv.org/abs/1611.01604，2016-11-05.

［13］ Vaswani A，Shazeer N，Parmar N，et al. Attention is all you need[C]// Advances in Neural Information Processing Systems. Long Beach，USA，2017：5998-6008.

［14］ Hornik K，Stinchcombe M，White H. Multilayer feedforward networks are universal approximators[J]. Neural Networks，1989，2(5)：359-366.

［15］ Wu Z，Song S，Khosla A，et al. 3d shapenets：A deep representation for volumetric shapes[C]// IEEE Conference on Computer Vision and Pattern Recognition. Boston，USA，2015：1912-1920.

［16］ Choi S，Zhou Q Y，Koltun V. Robust reconstruction of indoor scenes[C]// IEEE Conference on Computer Vision and Pattern Recognition. Boston，USA，2015：5556-5565.

［17］ Wang Y，Solomon J M. Prnet：Self-supervised learning for partial-to-partial registration[C]// Advances in Neural Information Processing Systems. Vancouver，Canada，2019：8812-8824.

［18］ Zhou Q Y，Park J，Koltun V. Fast global registration[C]// European Conference on Computer Vision. Amsterdam，The Netherlands，2016：766-782.

［19］ Yuan W，Eckart B，Kim K，et al. DeepGMR：Learning latent Gaussian mixture models for registration[C]// European Conference on Computer Vision. Seattle，USA，2020：733-750.

A Point Cloud Registration Algorithm Using a Mixed Attention Mechanism and Correlation Estimation Network

He Kai，Li Dashuang，Ma Xitao，Zhao Yan，Liu Zhiguo

(School of Electrical and Information Engineering，Tianjin University，Tianjin 300072，China)

Point cloud registration aims to accurately match point cloud data collected from the same object. However，traditional methods encounter high calculation cost and poor registration accuracy difficulties. Algorithms based on neural networks have not been effective in handling noisy and unseen point cloud data. To address this problem，a point cloud registration algorithm using a mixed attention mechanism (MA) and correlation estimation (CE)network is proposed. Considering that point clouds have complex internal features and random transformations，the MA is designed to fuse and extract the key features，which can be made more robust through a residual connection. Subsequently，the point cloud features are better expressed with the nonlinear excitation of the proposed CE network，which can obtain a closer correlation between point cloud pairs. Experimental results for the artificially synthesized dataset ModelNet40 and real dataset ICL-NUIM show a significant improvement in the registration accuracy of noisy and unseen point clouds under a large affine transformation，which demonstrates the effectiveness of the proposed algorithm.

point cloud registration；affine transformation；mixed attention mechanism；correlation estimation network

TP391

A

0493-2137(2022)03-0299-07

10.11784/tdxbz202012072

2020-12-31；

2021-02-27.

何?凱（1972—??），男，博士，副教授．

何?凱，hekai@tju.edu.cn.

國家自然科學基金資助項目(62171314).

Supported by the National Natural Science Foundation of China(No. 62171314).

(責任編輯：孫立華)