摘 "要:針對實際生產中工件相距過近,出現(xiàn)的粘連工件點云無法精確分割問題,提出基于特征點提取的工件點云分割方法。使用隨機采樣一致性算法將無關點云濾除,利用點云法向量特征進行特征點提取,采用歐式聚類算法對去特征點后的點云進行分割,最后利用模板點云進行配準并補全工件點云。實驗結果表明,該方法能將工件點云分割成功率由63.6%提升到81.8%。
關鍵詞:點云分割;法向量;特征點提?。稽c云配準
中圖分類號:TP391 " " " " " " " " " " " " " " " 文獻標識碼:A 文章編號:1008-5483(2024)03-0056-04
Workpiece Point Cloud Segmentation Method Based on
Feature Point Extraction
Yang Shuai1, Wang Shenghuai2, Zhong Ming1,2, Wang Wei1, Chen Zhe1,2
(1. School of Mechanical Engineering, Hubei University of Automotive Technology, Shiyan 442000, China;
2. Wuhan Zoomedu Technology Co. Ltd, Wuhan 430000, China)
Abstract: A workpiece point cloud segmentation method based on feature point extraction was proposed to address the issue of inaccurate segmentation of adhesive workpiece point clouds caused by the close proximity of workpieces in actual production. The random sampling consistency algorithm was used to filter out irrelevant point clouds, and feature points were extracted by using normal vector features of point clouds. The point clouds with feature points removed were segmented by using the Euclidean clustering algorithm, and the workpiece point cloud was finally registered and completed by using the template point cloud. The experimental results show that this method can increase the success rate of workpiece point cloud segmentation from 63.6% to 81.8%.
Key words: point cloud segmentation; normal vector; feature point extraction; point cloud registration
3D測量技術[1]能準確獲取物體信息,在工業(yè)生產中廣泛應用,與之相關的點云處理技術[2]受到了相關研究者的關注。點云分割技術作為點云處理的基礎部分,點云分隔的好壞與最后的測量結果密切相關。曹一等[3]提出了基于點云法向量的分層樹干分割方法,通過嵌套處理樹干,去除下垂枝葉同時保留完整樹干,降低了分割誤差但存在樹木種類限制。S. P. Levashev[4]利用激光掃描獲得的反射信號數(shù)據(jù),將點云初步劃分為不重疊集、超像素集,通過合并超像素集對目標進行分割。張佩祥等[5]提出了基于種子點距離閾值和路面波動加權幅值自適應的地面點云分割算法,通過控制種子點集的更新和建立點云分割閾值方程,提高了點云分割精度但增加了計算量。田青華等[6]利用改進的搜索半徑自適應歐氏聚類進行點云分割,同時利用線下模板點云注冊作為分割參數(shù)的選取依據(jù),保證了分割結果的準確性和速度。黃際瑋等[7]采用歐式聚類算法將目標點云劃分成點云簇,并利用區(qū)域生長算法對不同點云簇進行分割,最終得到準確的工件點云,但沒有對分割后的點云進行處理。楊誠軒等[8]提出了基于歐式聚類和點法向量特征優(yōu)化的點云分割算法,用于提取完整的螺栓點云。張薺勻等[9]提出基于表面法向量的差異和空間距離差異進行超體素聚類和曲面凹凸判斷,實現(xiàn)了料堆表面形態(tài)的判斷,但該方法對復雜曲面效果一般。Anh-Vu Vo等[10]提出了基于八叉樹的區(qū)域增長算法,用于快速準確地分割地面和空中激光雷達點云但處理速度較慢。上述方法在不同的場景和任務中展現(xiàn)了各自的優(yōu)勢,但在某些方面也存在不足,如計算速度、分割精度、適用范圍等。為了解決歐式聚類在分割粘連點云時效果較差的問題,在歐式聚類分割前先進行特征點提取,通過對粘連部位點云的特殊處理,提高了點云分割的成功率。
1 點云處理流程
1.1 點云處理方案
文中在傳統(tǒng)的歐式聚類分割算法基礎上加入特征點的限制,區(qū)分粘連部位的點云。由于工件點云粘連部位法向量夾角與其他部位點云法向量夾角不一致,在進行歐式分割之前,計算工件點云的法向量夾角,通過設定閾值,識別粘連部位的點云并去除。對處理后的點云進行歐式聚類分割,用ICP算法將分割后的點云與模板點云配準,補全工件點云,達成分割目的。技術路線見圖1。
1.2 實驗條件
實驗設備如圖2所示。實驗中,選擇Mech-Eye PRO S型號3D相機進行數(shù)據(jù)采集。Mech-Eye PRO S的成像效果好,精度高,掃描速度快,抗反射光性能優(yōu)異,溫漂較低,體積緊湊,接口完善,滿足更多場景實際需求。相機參數(shù)如表1所示。
實驗所用的操作系統(tǒng)為64位Windows11,CPU為AMD Ryzen 55600H/3.3 GHz,顯卡為NVIDIA GeForce RTX 3050,內存為16 GB,開發(fā)環(huán)境為Pyc harm,三維數(shù)據(jù)處理開源庫為Open3D。實驗對象為工業(yè)生產及日常生活常用的三通管,相鄰較近工件間距在3~6 cm相距較遠工件間距在7~11 cm,采集區(qū)域為實驗設備的采集區(qū),使用結構光相機對三通管進行拍照,采集數(shù)據(jù)。
1.3 點云預處理
原始點云必然會包含許多無關點云,如工作臺背景及其他噪點等,導致點云數(shù)量過大,影響后續(xù)點云的處理效率,因此需要進行點云預處理。文中使用隨機采樣一致性算法[11]將無關點云濾除。從點云數(shù)據(jù)中隨機選擇一定數(shù)量的點作為樣本集,利用樣本集的數(shù)據(jù)擬合1個幾何模型,并將所有點云數(shù)據(jù)代入模型中,根據(jù)預設的閾值判斷符合模型的點為內點。重復上述步驟多次,選擇內點最多的模型作為最終的擬合結果,預處理前后的點云如圖3所示。預處理前的點云數(shù)量為731 360,預處理后的點云數(shù)量為185 549,經(jīng)過預處理點云的數(shù)量減少了74.6%,大量無關點云被清除。
1.4 點云法向量夾角計算
點云法向量[12]描述了點云表面在每個點處的方向以及表面的朝向和幾何特征。計算點云法向量的常用的方法有最近鄰法、平面擬合法、點云曲面重建法。文中選擇適用性強、計算速度快的最小二乘擬合方法計算點云的法向量。對于每個目標點,選擇一定半徑范圍內的鄰域點,以目標點為未知數(shù),將鄰域內的點視為系數(shù),構建線性方程組:
[xi-x0A+yi-y0B+zi-z0C=0] (1)
式中:(A, B, C)為擬合平面的法向量;[x0, y0, z0]為目標點的坐標;[xi, yi, zi]為第[i]個領域點的坐標。一般情況下,法向量為單位向量,其長度為1。法向量N的大小和方向為
[N=A2+B2+C2] (2)
[N=-A,-B,-C/N] (3)
將N的方向與目標點進行關聯(lián),得到點云的法向量信息。對于每個目標點,重復上述計算,遍歷整個點云數(shù)據(jù)集。
1.5 基于法向量夾角的特征點提取
根據(jù)整個點云的法向量計算相鄰2個點的法向量夾角,結合求出的點云法向量夾角設置閾值,將法向量夾角在閾值內的點設置為特征點[13]并提取出來。根據(jù)2個法向量的內積和模長計算夾角,使用反余弦函數(shù)來求解夾角的弧度值:
[θ=arccos(N1N2)(N1N2)] (4)
將弧度值轉化為角度值,然后設置夾角的閾值。遍歷所有點,將在此閾值內的點設置為特征點。
1.6 基于特征點提取的歐式聚類分割
歐式聚類是基于歐式距離的聚類算法,用于將數(shù)據(jù)集分成不同的簇。文中基于提取的特征點進行歐式聚類分割[14]。對于數(shù)據(jù)集中的任意點[pi]和[pj]的歐式距離為
[dpi, pj=xi-xj2+yi-yj2+zi-zj2] (5)
式中:[(xi, yi, zi)]為點[Pi]的坐標;[(xj, yj, zj)]為點[pj]的坐標。根據(jù)計算出的[dpi, pj],通過設置閾值生成鄰接矩陣A,對于所有[dpi, pj]小于閾值的數(shù)據(jù)點[Pi]和[Pj],對應的A內的元素[Aij]為1,否則[Aij]為0。遍歷所有的點云數(shù)據(jù),將歐式距離小于閾值的點放入到同一個簇中,完成數(shù)據(jù)集的分割。
1.7 基于ICP配準算法的點云補全
點云分隔過程中,不可避免地會出現(xiàn)過分割現(xiàn)象。針對這種情況,文中利用ICP配準算法[15]將分割后的點云與模板點云進行配準,對過分割的點云進行補全,最終完成分割。對于參考點云中的每個點,從目標點云中找到離它最近的點作為其最近鄰點,并通過剛性變換(旋轉和平移)使參考點云能夠更好地對齊目標點云。平移向量為[t],旋轉矩陣為[R]。[t]的計算公式為
[t=1Nm=1Npm-qm] (6)
式中:[pm]和[qm]為根據(jù)參考點云和目標點云中對應的點的坐標構建的向量;[N]為匹配點的數(shù)量。根據(jù)參考點云和目標點云對應點集合構建協(xié)方差矩陣:
[H=m=1NpmqTm] (7)
式中:[pm]和[qm]為根據(jù)去除了質心的點的坐標構建的向量。對式(7)進行奇異值分解,可以得到:
[H=U∑VT] (8)
式中:[U]和[V]為正交矩陣。[R]的計算公式為
[R=VUT] (9)
當對[H]進行奇異值分解時,[U]和[V]的維度將由[H]的維度決定。由于點云數(shù)據(jù)是三維的,[H]是3×3矩陣,因此[U]和[V]是3×3正交矩陣,[R]同樣是3×3矩陣。根據(jù)計算的結果將點云進行旋轉平移,將分割后的單個工件點云與模板點云配準,完成點云補全,達到點云分割的最終目的。
2 實驗驗證
使用基于特征點提取的歐式聚類分割算法,根據(jù)法向量夾角對點云進行特征點提取,經(jīng)過特征點判斷將工件點云粘連部位去除。閾值的選取基于實用性、經(jīng)驗、計算效率和問題需求等多方面的考慮,在實際應用中找到了合適的平衡點,使得該方法能夠達到較好的效果。經(jīng)過不斷的調整參數(shù),觀察實驗效果,最終確定60°為選定的夾角閾值,使改進后的歐式聚類分割算法能將工件粘連部位點云成功分割。分割效果如圖4所示。
為了驗證文中算法的有效性,分別使用文中算法、歐式聚類分割算法和區(qū)域生長分割算法對文中數(shù)據(jù)進行分割效果對比,結果如圖5所示,3種算法分割成功率如表2所示。由圖5和表2可知,無論是歐式聚類分割算法還是區(qū)域生長算法,都能將相距較遠的工件點云成功分割,但對相距較近甚至粘連的工件點云分割時成功率大幅下降。文中算法利用點云法向量夾角不同的特征,在歐式聚類分割算法中引入特征點提取步驟,將粘連工件邊緣點云剔除,再進行分割,分割出來的工件點云如圖5b所示。實驗表明文中算法對粘連點云的分割成功率相較于另外2種算法有了大幅度的提升。
由于文中算法在進行特征點提取的過程中,會將一小部分屬于工件粘連范圍的點云計算在內,導致出現(xiàn)過分割的現(xiàn)象,因此在對分割完成之后的點云與模板點云進行配準,將誤刪的點進行還原,完成最終的工件點云分割,保證下一步的處理效果,經(jīng)過配準處理過的點云如圖6所示。
3 結論
采用3D相機采集原始點云,以三通管為研究對象,對歐式聚類點云分割方法進行了研究。針對傳統(tǒng)歐式聚類分割方法在特殊工況下,分割效果不理想的情況,利用法向量這一特征,采用特征點提取結合歐式聚類分割算法,通過實驗驗證,在經(jīng)過隨機采樣一致性算法剔除背景,計算點云法向量夾角確定選取特征點的夾角閾值,然后經(jīng)過分割,配準,達成工件點云分割的目的。將工件點云分割成功率由63.6%提升到81.8%以上。
參考文獻:
[1] "張鵬,宋一凡,宗立波,等. 3D目標檢測進展綜述[J]. 計算機科學,2020,47(4):94-102.
[2] nbsp;烏佳彤,羅毛欣,張奇,等. 三維點云分割方法綜述[J]. 電腦知識與技術,2023,19(8):26-28.
[3] "曹一,王健,常清法,等. 基于點云法向量的行道樹主干分割方法[J]. 應用激光,2023,43(1):76-83.
[4] "Levashev S P. Segmentation of a Point Cloud by Data on Laser Scanning Intensities[J]. Pattern Recognition and Image Analysis,2019,29(1):144-155.
[5] "張佩翔,王奇,高仁璟,等. 局部閾值自適應的地面點云分割[J]. 光學 精密工程,2023,31(17):2564-2572.
[6] "田青華,白瑞林,李杜. 基于改進歐氏聚類的散亂工件點云分割[J]. 激光與光電子學進展,2017,54(12):316-324.
[7] "黃際瑋,陸安江,趙麒,等. 自適應法向量約束的工件分割方法[J]. 科學技術與工程,2022,22(10):4039-4045.
[8] "楊誠軒,梁慶華,羅磊,等. 一種面向分揀的改進歐式聚類分割算法[J]. 機械設計與研究,2022(2):174-178.
[9] "張薺勻,王建軍,李旭輝,等. 基于激光雷達的料堆特征提取方法優(yōu)化[J]. 激光與光電子學進展,2023,60(2):373-379.
[10] "Vo A V,Truong-Hong L,Laefer D F,et al. Octree-based Region Growing for Point Cloud Segmentation[J]. ISPRS Journal of Photogrammetry and Remote Sensing,2015,104:88-100.
[11] "王紹臣. 基于點云重建技術的工件曲面輪廓度測量方法研究[D]. 濟南:山東大學,2020.
[12] "李新春,閆振宇,林森,等. 基于鄰域特征點提取和匹配的點云配準[J]. 光子學報,2020,49(4):255-265.
[13] "宋成航,李晉儒,劉冠杰. 利用特征點采樣一致性改進ICP算法點云配準方法[J]. 北京測繪,2021,35(3):317-322.
[14] "Cao Y,Wang Y C,Xue Y F,et al. FEC:Fast Euclidean Clustering for Point Cloud Segmentation[J]. Drones,2022,6(11):325.
[15] "Servos J,Waslander S L. Multi-channel Generalized-ICP:a Robust Framework for Multi-channel Scan Registration[J]. Robotics and Autonomous Systems,2017,87:247-257.