徐 華,陶長城,樂鑫淼

(湖北汽車工業(yè)學院材料科學與工程學院,十堰 442000)

0 引言

不同車型的車身焊裝夾具,具體尺寸均不相同,但是具有較高的相似性。在新車型焊裝夾具的設(shè)計過程中,在夾具零件庫中調(diào)用已有的設(shè)計數(shù)據(jù),是一種常用的提高設(shè)計效率的有效方法。夾具零件庫的搭建是實現(xiàn)焊裝夾具人工重用零件設(shè)計數(shù)據(jù)和自動化設(shè)計的基礎(chǔ)。隨著生產(chǎn)規(guī)模的不斷擴大,傳統(tǒng)的零件庫管理方式已經(jīng)無法滿足工廠的生產(chǎn)需要以及自動化設(shè)計對數(shù)據(jù)的要求。傳統(tǒng)的零件庫搭建方式主要有以下研究:王方倫等[1]根據(jù)規(guī)則化、模塊化和參數(shù)化的方式搭建數(shù)據(jù)庫實現(xiàn)焊裝夾具的參數(shù)化建模;YANG、李堂明等[2-4]根據(jù)CATIA二次開發(fā)技術(shù)和參數(shù)化理論搭建零件庫,并搭建其零件的圖形庫;周志強等[5]通過人工的方式建立焊裝夾具零件分類準則,并開發(fā)出焊裝夾具參數(shù)化零件庫。以上研究都是通過人工的方式來完成零件庫的搭建,需要不斷的通過人工的方式向零件庫添加零件,效率低下。

隨著人工智能技術(shù)的發(fā)展,計算機視覺技術(shù)在制造業(yè)中扮演著越來越重要的角色。點云作為一種重要的3D數(shù)據(jù)類型,隨著3D采集技術(shù)的發(fā)展已被廣泛用于多個應(yīng)用場景[6]。目前利用三維點云數(shù)據(jù)進行分類的深度學習研究主要有:夏緒輝等[7]運用K-Means算法對形貌特征相差較大的廢舊零件進行分類再加工,并通過PointNet網(wǎng)絡(luò)對同簇形貌特征相差較小的零件進行分類。該方法運行效率較高,但在處理同簇形貌差距較小的零件時,精度低于PointNet++網(wǎng)絡(luò);TANG等[8]將傳統(tǒng)的機器學習算法與多尺度模型相結(jié)合完成輸電線路走廊點云的分類,提高了輸電線路的分類精度,但該方法分類精度仍低于深度學習方法;ZHANG等[9]提出了一種通過顯著圖來指導(dǎo)替換點的選擇的數(shù)據(jù)增強方法,用于提高點云的分類精度,但該方法的時間復(fù)雜度較高;SHEIKH等[10]提出了一種可直接用于原始點云的深度特征變換網(wǎng)絡(luò)。該方法運行效率較高,但其分類精度略低;XU等[11]根據(jù)單視角和局部實驗來完成點云分類,驗證PAPNet的優(yōu)越性。但該方法無法充分利用全局信息,限制了分類精度的提高。MATTEO、SHI等[12-13]提出了一種有監(jiān)督機器學習零件分類的方法和零件聚類方法,對典型的機械工業(yè)零件進行分類,取得了良好的效果。但該方法缺乏對局部特征的獲取,對形貌差距較小的零件進行分類時,精度較低。YU等[14]將三維點云轉(zhuǎn)化為無向圖結(jié)構(gòu),用于自適應(yīng)獲取點云的鄰域信息,并引入殘差網(wǎng)絡(luò)提高分類精度,但該方法存在計算復(fù)雜度高和數(shù)據(jù)冗余的情況。

本文以歐標焊裝夾具零件為研究對象,針對傳統(tǒng)焊裝夾具零件識別分類過程中存在的時間成本高、效率低下以及其他機器學習方法中存在的忽略局部特征和全局特征等問題,對比各個機器學習模型的優(yōu)劣,采用兼顧局部和全局特征的PointNet++深度學習網(wǎng)絡(luò)完成焊裝夾具零件的自動識別分類,為焊裝夾具零件庫的自動化搭建及零件設(shè)計數(shù)據(jù)的重復(fù)調(diào)用提供一種新的思路。

1 基于PointNet++網(wǎng)絡(luò)的零件分類設(shè)計方法

1.1 三維點云模型的獲取

點云是指目標表面特性的海量點集合,用于描述物體的形狀和輪廓特征。三維點云數(shù)據(jù)包含的屬性信息主要為點云三維空間坐標、點云法向量、色彩值和透明程度等。本文通過CATIA獲取三角網(wǎng)格數(shù)據(jù)(stl文件),以Pycharm為平臺,通過Python第三方包Open3D進行數(shù)據(jù)類型的批量轉(zhuǎn)換和存儲,將pcd文件轉(zhuǎn)化為txt文件來存儲點云三維空間坐標,最終搭建各類數(shù)據(jù)集進行網(wǎng)絡(luò)訓練并通過Pytorch框架完成模型的訓練。

本文用于訓練的樣本數(shù)據(jù)共1000條,共5個類別,各類別樣本200條。取各類別樣本總數(shù)的80%和20%分別作為訓練集數(shù)據(jù)和驗證集數(shù)據(jù)。各類別點云數(shù)據(jù)如圖1所示。

(a) 型塊 (b) 連接塊 (c) 定位銷 (d) 銷座 (e) 歐標支座

1.2 原始點云預(yù)處理方法

本文主要通過Open3D庫完成原始點云的采集和預(yù)處理操作,首先通過stl文件獲取各頂點及其三角面片,然后從三角網(wǎng)格的三維表面進行均勻采樣n個點,作為原始點云。通過最遠點采樣(FPS)在每個點云樣本中截取m個點作為模型的輸入,可以有效的減少計算量并保留點云樣本的主要特征。最遠點采樣步驟為:

步驟1:從原始點云中隨機選取一個點,作為初始點記為p0;

步驟2:然后依次計算剩余點距離p0的歐氏距離,按照距離p0最遠的點進行選擇,表達式如式(1)所示。

p1=argmax(d(pi,p0)),i=1,2,…,n-1

(1)

式中:argmax表示取最大值的下標,pi與p0的距離記作d(pi,p0),i為點的下標。

步驟3:對于剩下的每個點,分別計算到p0和p1的距離,并選取最短的距離作為該點到p0和p1的整體距離,計算這些距離后,選取距離最大的那個點加入集合。重復(fù)步驟3操作直到選取到m個點為止。其表達式如式(2)所示。

pm=argmax(min(d(pi,pj))),i≠j,i,j=1,2,…,m-1

(2)

對采樣所得點云進行歸一化處理,使其在XYZ三個方向上的尺度均值為0,方差為1。通過均值和方差對原始點的坐標進行處理后,獲取最終的點歸一化后的坐標,消除量綱。該算法本質(zhì)上是通過均值對點云進行平移,并通過方差來實現(xiàn)點云的縮放,將點云數(shù)據(jù)的中心置于坐標原點,其均值計算公式如式(3)所示。

(3)

式中:μx、μy、μz為X、Y、Z三方向上的坐標均值。

將式(3)計算所得均值帶入式(4)得X、Y、Z三方向的方差σx、σy、σz:

(4)

將期望與方差代入式(5)得點云歸一化后坐標:

(5)

(a) 點云均勻采樣圖 (b) 點云FPS采樣圖

1.3 PointNet++單尺度分組策略分類網(wǎng)絡(luò)結(jié)構(gòu)

PointNet++通過SA層(集合抽象層)對原始點云進行采樣分組,采用單尺度分組(SSG)策略和多尺度分組策略(MSG),可以更好的提取點云數(shù)據(jù)的局部特征。PointNet++相對于PointNet,更加注重于物體點云的局部結(jié)構(gòu),通過一個多層級特征提取結(jié)構(gòu),可以有效的依據(jù)不同的感受野大小來提取不同區(qū)域的局部特征,最終總結(jié)出全局特征。PointNet++的SSG分類網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示,其中N是輸入點的數(shù)量,d是坐標維度,C是特征維度,N1、N2是經(jīng)過最遠點采樣后輸出的中心點的個數(shù),K為球形區(qū)域內(nèi)點的數(shù)量,C1、C2分別為經(jīng)過SA1層和SA2層后每個分組點云的特征維度,C3為經(jīng)過PointNet后每個分組點云的特征維度,k為所得的類別輸出。其主要由SA層和PointNet層交替堆疊構(gòu)成,最后用全連接層基于采集的點云特征進行分類。其中SA層對于每一個采樣點,找到其周圍一定范圍內(nèi)的點,形成一個新的點云數(shù)據(jù),通過多層感知機(MLP)對該點云數(shù)據(jù)進行特征提取,并通過最大池化操作聚合為一個特征向量。PointNet則通過多層感知機和池化操作將一個點云的點特征映射為一個全局點特征向量來表示整個點云的特征。

圖3 PointNet++單尺度分組分類模型網(wǎng)絡(luò)結(jié)構(gòu)

本文模型采用最遠點采樣的方法從原始點云中采集1024個點,采樣過程采用均勻采樣,并將這些點作為中心點。SA1層其輸入為X、Y、Z坐標值,輸入維度為(B,1024,3),其中B表示批處理大小,1024為輸入的點云的點數(shù),3為點的特征維度即XYZ坐標。交換輸入數(shù)據(jù)的第2個維度和第3個維度的位置,轉(zhuǎn)換得其特征維度為(B,3,1024)。進行均勻下采樣,采樣中心點的個數(shù)為512,運用球形鄰域查詢算法(ball query)得其特征維度為(B,512,3)。設(shè)置分組半徑為0.2,設(shè)置分組內(nèi)點的個數(shù)上限為32,進行分組,并增加一個維度,得其特征維度為(B,3,512,32)。再將特征輸入到(64,64,128)的多層感知機當中,對點進行特征提取,得其特征維度為(B,128,512,32)。再將所得特征輸入到最大池化層當中,最終得點云的特征維度為(B,128,512),其中128為每個中心點的特征維度,512為中心點的個數(shù)。SA1層流程圖如圖4所示。SA2層的分組半徑為0.4,分組內(nèi)點的個數(shù)上限為64,其流程與SA1層一致。相對于SSG網(wǎng)絡(luò),MSG網(wǎng)絡(luò)則采取梯度球形半徑的方式對點云進行分組。

圖4 SSG網(wǎng)絡(luò)集合抽象層1流程圖

(6)

group(X,Y)i,j=maxk∈SiYk,j

(7)

式中:X是輸入點云的坐標矩陣,Y是對應(yīng)的特征矩陣,group(X,Y)表示將點云X分成多個局部區(qū)域,i和j表示組合數(shù)組的索引,Si表示以點i為中心的球體內(nèi)所有點的索引集合。該方法會從每個組的所有點的特征向量中取出對應(yīng)的k值,然后從矩陣Y中取出對應(yīng)的特征向量,并取其中的最大值作為該組的輸出特征向量。該方法可以有效的提取每個組內(nèi)部的特征信息,避免了不同組之間地信息混淆,從而提高模型地精度和魯棒性。

1.4 模型超參設(shè)置

超參數(shù)的設(shè)定對網(wǎng)絡(luò)的預(yù)測精度有較大的影響,本文對超參數(shù)的調(diào)整共分為4個部分。首先根據(jù)模型預(yù)測任務(wù)及類別個數(shù)確定損失函數(shù)和輸出層編碼方式;其次根據(jù)神經(jīng)網(wǎng)絡(luò)的搭建規(guī)則確定卷積層和全連接層的隱藏層層數(shù),通常情況下三隱層的全連接層具有良好的效果,再通過實驗比對確定各隱藏層神經(jīng)元的個數(shù);然后根據(jù)實驗?zāi)Ｐ驮隍炞C集上的效果選擇正則化隨機丟掉神經(jīng)元的比例,并根據(jù)實驗過程中的預(yù)測精度隨時調(diào)整學習率、衰減率;最后根據(jù)網(wǎng)絡(luò)在驗證集上的預(yù)測精度調(diào)整網(wǎng)絡(luò)訓練迭代輪數(shù)。

本文搭建PointNet++模型來完成焊裝夾具零件的分類,觀察模型在訓練集和驗證集上的效果,選取該模型最合適的超參數(shù),最終確定各超參數(shù)分別為:訓練初始學習率為0.001,衰減率為0.01,批量處理大小為16,訓練迭代輪數(shù)為100輪,SA1層和SA2層隨機丟掉神經(jīng)元的比例為0.4,選取Relu為模型的激活函數(shù),損失函數(shù)選擇交叉熵函數(shù),采用Log_softmax函數(shù)作為輸出層的輸出函數(shù)。

2 案例分析

2.1 網(wǎng)絡(luò)訓練實驗

圖5和圖6為PointNet、PointNet++的SSG和MSG模型訓練過程圖。由圖可知:隨著迭代輪數(shù)的增加,所有模型在訓練集上的準確率都有所提高,且變化趨勢相似。其中,SSG和MSG模型在訓練集和驗證集上準確率均高于PointNet分類網(wǎng)絡(luò),SSG模型在訓練集上的準確率略低于MSG模型,但在驗證集上二者的準確率大致相同。

圖5 3模型訓練集準確率變化折線圖

2.2 模型對比實驗

在本文所搭建的數(shù)據(jù)集上,對SSG、MSG和PointNet的分類網(wǎng)絡(luò)所得的最優(yōu)模型進行對比實驗,各個模型在驗證集上的實驗結(jié)果如表1和表2所示。由表可知PointNet++的SSG和MSG準確率明顯高于PointNet,且PointNet分類模型的連接塊分類準確率只有67.5%,該分類模型準確率較低的主要原因為局部特征的丟失。MSG和SSG模型各個類別準確率差異不大,且它們的平均準確率相同,分析其原因為:本文采用均勻采樣方式進行數(shù)據(jù)預(yù)處理,使得點云密度均勻。因此,SSG網(wǎng)絡(luò)和MSG網(wǎng)絡(luò)所獲取的局部特征幾乎一致,導(dǎo)致多尺度分組策略和單尺度分組策略的平均準確率大致相同,當點云密度不均勻時MSG要優(yōu)于SSG。由模型訓練時間可知,MSG模型的訓練時間是SSG的3倍以上,模型運行速度低下,因此本文采用SSG網(wǎng)絡(luò)獲得的最優(yōu)模型來完成焊裝夾具零件的分類。

表1 3種模型驗證集各類別準確率對比結(jié)果 (%)

表2 3種模型驗證集平均準確率和訓練時間對比結(jié)果

2.3 單尺度分組模型測試實驗

對SSG網(wǎng)絡(luò)訓練所得最優(yōu)模型進行測試實驗。重新對焊裝夾具零件采集3組測試集數(shù)據(jù),每組150條數(shù)據(jù),每組測試集數(shù)據(jù)零件類別分布均勻,進行分類實驗,測試結(jié)果如表3所示。由表3可知模型在測試集上的分類結(jié)果表現(xiàn)良好,其中型塊、連接塊和銷座存在誤判的情況。對分類錯誤情況進行分析,主要原因為模型在對樣本進行隨機丟點和正則化過程中造成的數(shù)據(jù)丟失,導(dǎo)致的零件類別分類錯誤。

表3 單尺度分組(SSG)測試集實驗結(jié)果 (%)

3 結(jié)束語

針對傳統(tǒng)的人工搭建焊裝夾具零件庫過程中存在的自動化程度低、效率低下以及零件數(shù)模識別困難等問題,本文提出了一種基于PointNet++的焊裝夾具零件識別方法。通過對自建數(shù)據(jù)集的訓練和測試,證明了SSG網(wǎng)絡(luò)在該任務(wù)上的優(yōu)越性。同時,本文方法也為后續(xù)零件庫的搭建、零件設(shè)計數(shù)據(jù)重用以及焊裝夾具全面智能化、自動化設(shè)計提供了良好的基礎(chǔ)。