高瑞琪 唐妙奇 蘭鋒

摘要：本研究采用將焊點(diǎn)三維特征提取與人工神經(jīng)網(wǎng)絡(luò)模型兩種檢測(cè)方法相結(jié)合的方式進(jìn)行車(chē)載雷達(dá)焊點(diǎn)缺陷檢測(cè)，克服了基于三維特征提取檢測(cè)方法準(zhǔn)確率低、基于人工神經(jīng)網(wǎng)絡(luò)檢測(cè)方法對(duì)樣本質(zhì)量和數(shù)量要求高的缺點(diǎn)，具有在樣本數(shù)量較少的情況下達(dá)到較高的檢測(cè)準(zhǔn)確率以及隨著樣本數(shù)量的積累增加檢測(cè)準(zhǔn)確率不斷提升的優(yōu)點(diǎn)。

Abstract： In this study， the solder joints defect detection of vehicle radar is carried out by combining the three-dimensional feature extraction and artificial neural network model. It overcomes the shortcomings of low accuracy of detection method based on three-dimensional feature extraction and high requirements for sample quality and quantity based on artificial neural network. It has the advantages of achieving high detection accuracy when the number of samples is small and increasing with the accumulation of the number of samples.

關(guān)鍵詞：3D激光掃描;特征提取;PointNet;缺陷檢測(cè)

Key words： 3D laser scan;feature extraction;PointNet;defect detection

中圖分類(lèi)號(hào)：TP2 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文章編號(hào)：1674-957X（2022）03-0136-03

0 ?引言

目前，常見(jiàn)的產(chǎn)品三維外觀缺陷檢測(cè)方法有三維特征提取、人工神經(jīng)網(wǎng)絡(luò)檢測(cè)法兩種。產(chǎn)品三維特征提取方法基于對(duì)點(diǎn)云原始數(shù)據(jù)的分析與特征提取[1]，對(duì)點(diǎn)云的完整性要求較高，但對(duì)于表面形狀復(fù)雜的產(chǎn)品，獲取的點(diǎn)云往往缺失較多，數(shù)據(jù)分布不均，影響三維特征的計(jì)算，無(wú)法得到準(zhǔn)確的結(jié)果。因此，基于三維特征提取的三維缺陷檢測(cè)，對(duì)于復(fù)雜表面準(zhǔn)確率較低，針對(duì)焊點(diǎn)，準(zhǔn)確率只有約為74%?；谌斯ど窠?jīng)網(wǎng)絡(luò)的三維缺陷檢測(cè)是建立在先驗(yàn)知識(shí)的基礎(chǔ)上，對(duì)點(diǎn)云樣本的質(zhì)量和數(shù)量要求較高，點(diǎn)云越完整、數(shù)量越多、涵蓋的缺陷類(lèi)型越完整，檢測(cè)結(jié)果準(zhǔn)確率越高[2]。但在工業(yè)應(yīng)用過(guò)程中，前期的樣本量往往很少，達(dá)不到網(wǎng)絡(luò)模型的訓(xùn)練要求，積累樣本需要一定時(shí)間，導(dǎo)致檢測(cè)模型無(wú)法立即投入使用，為人工神經(jīng)網(wǎng)絡(luò)在工業(yè)檢測(cè)領(lǐng)域的應(yīng)用造成很大的障礙。針對(duì)上述問(wèn)題，本研究提出將三維特征提取與人工神經(jīng)網(wǎng)絡(luò)模型相結(jié)合的方式解決車(chē)載雷達(dá)PCB焊點(diǎn)三維缺陷檢測(cè)，克服基于三維特征提取檢測(cè)方法準(zhǔn)確率低、基于人工神經(jīng)網(wǎng)絡(luò)檢測(cè)方法對(duì)樣本質(zhì)量和數(shù)量要求高的缺點(diǎn)，具有在樣本數(shù)量較少的情況下檢測(cè)準(zhǔn)確率較高以及隨著樣本數(shù)量的積累增加檢測(cè)準(zhǔn)確率不斷提升的優(yōu)點(diǎn)。

1 ?三維視覺(jué)與點(diǎn)云

三維視覺(jué)是跨領(lǐng)域的學(xué)科，既與計(jì)算機(jī)視覺(jué)相關(guān)，亦與計(jì)算機(jī)圖形學(xué)相關(guān)[3]，依據(jù)使用光照條件可以分為主動(dòng)和被動(dòng)兩類(lèi)，根據(jù)原理不同分為結(jié)構(gòu)光視覺(jué)、線激光掃描三維視覺(jué)、雙目/多目立體視覺(jué)等[4]。本研究的檢測(cè)對(duì)象是車(chē)載雷達(dá)PCB板焊點(diǎn)，對(duì)掃描的精度和穩(wěn)定性要求較高，對(duì)外界光照變化不敏感。綜合分析各種3D掃描方式的特點(diǎn)[5]，本研究采用線激光掃描傳感器采集PCB焊點(diǎn)點(diǎn)云數(shù)據(jù)。

線激光三維視覺(jué)的原理是三維光學(xué)測(cè)量[6]，如圖1所示，攝像機(jī)與激光平面成一定的角度安裝。線激光發(fā)生器在物體表面透射一條線激光，線激光平面與物體表面相切，在物體表面形成一條光條。攝像機(jī)從另外一個(gè)角度拍攝結(jié)構(gòu)光條紋圖像。

假設(shè)線激光平面在世界坐標(biāo)系下的方程為：

上式中，（xc，yc，zc）和（x1，y1，z1）分別為Oc與P′在世界坐標(biāo)系下的坐標(biāo)。聯(lián)合式（1）、式（2），計(jì)算出直線OcP′與平面的交點(diǎn)，即為點(diǎn)P的坐標(biāo)。

相機(jī)與激光發(fā)生器的相對(duì)位姿保持不變，線激光與物體之間相對(duì)運(yùn)動(dòng)，實(shí)現(xiàn)待測(cè)表面輪廓的三維掃描[7]。獲取的車(chē)載雷達(dá)3D原始點(diǎn)云見(jiàn)圖2。

2 ?焊點(diǎn)檢測(cè)系統(tǒng)硬件平臺(tái)

車(chē)載雷達(dá)PCB焊點(diǎn)缺陷檢測(cè)系統(tǒng)主要由以下幾部分組成：SmartRay ECCO_95線激光掃描儀，HIWIN直線滑臺(tái)模組與三菱MR-JE直線伺服電機(jī)，三菱PLC及其顯示器，服務(wù)器一臺(tái)。系統(tǒng)通過(guò)PLC進(jìn)行集成，實(shí)現(xiàn)掃描動(dòng)作控制。檢測(cè)系統(tǒng)硬件平臺(tái)如圖3所示。

2.1 HIWIN直線滑臺(tái)模組與三菱MR-JE直線伺服電機(jī)

HIWIN直線滑臺(tái)模組負(fù)載線激光掃描儀，通過(guò)立柱支架保持激光掃描儀與被測(cè)產(chǎn)品保持最佳距離。工作時(shí)，通過(guò)直線伺服電機(jī)控制滑臺(tái)模組沿直線運(yùn)動(dòng)，并通過(guò)實(shí)時(shí)向掃描儀傳送ABZ相位差信號(hào)來(lái)確定傳感器的運(yùn)動(dòng)速度和距離。

2.2 ECCO_95線激光掃描儀

SmartRay視明銳公司的ECCO_95線激光掃描儀對(duì)車(chē)載雷達(dá)PCB板進(jìn)行圖像采集，通過(guò)激光線變形得到PCB板每個(gè)切面的高度信息，每個(gè)切面的高度信息值組成了整個(gè)PCB板的表面三維信息集，即點(diǎn)云。無(wú)論外界光照條件如何變化，掃描儀都可以對(duì)點(diǎn)云進(jìn)行精確掃描，從而保證檢測(cè)系統(tǒng)采樣的穩(wěn)定性。

2.3 三菱PLC MJ-JE-108

三菱PLC負(fù)責(zé)向直線滑臺(tái)模組和傳感器傳遞到位信號(hào)，接收?qǐng)D像采集完成信號(hào)并將信號(hào)反饋給服務(wù)器，服務(wù)器接收并完成點(diǎn)云的存儲(chǔ)。

3 ?焊點(diǎn)檢測(cè)軟件模塊構(gòu)成

3.1 背靠背焊點(diǎn)3D點(diǎn)云采集與配準(zhǔn)

線激光掃描采用三角測(cè)量原理進(jìn)行待測(cè)物表面點(diǎn)云采集，由于光具有沿直線傳播的特點(diǎn)，焊點(diǎn)表面坡度變化大，在背對(duì)相機(jī)的一側(cè)數(shù)據(jù)缺失嚴(yán)重，見(jiàn)表1，點(diǎn)云1為傳感器1采集的焊點(diǎn)點(diǎn)云，可以看出焊點(diǎn)一側(cè)數(shù)據(jù)缺失嚴(yán)重，會(huì)對(duì)影響三維信息的準(zhǔn)確提取，降低檢測(cè)結(jié)果的準(zhǔn)確性。為了解決該問(wèn)題，本研究采用傳感器1和傳感器2背靠背的方式從兩個(gè)相反的方向分別掃描采集（見(jiàn)圖4），獲得的點(diǎn)云1和點(diǎn)云2，其缺失數(shù)據(jù)互補(bǔ)。將點(diǎn)云1和點(diǎn)云2進(jìn)行配準(zhǔn)融合，可以很大程度的提高點(diǎn)云的完整性，保證檢測(cè)結(jié)果的準(zhǔn)確和可靠。

點(diǎn)云數(shù)據(jù)的配準(zhǔn)，即為將通過(guò)不同角度掃描獲取的點(diǎn)云數(shù)據(jù)對(duì)齊的過(guò)程，關(guān)鍵是找到點(diǎn)云數(shù)據(jù)之間的位姿關(guān)系[R，t]矩陣[8]。根據(jù)圖3硬件系統(tǒng)平臺(tái)，檢測(cè)工位的機(jī)械結(jié)構(gòu)定位精度為0.1mm，可以計(jì)算出點(diǎn)云1和點(diǎn)云2的初始配準(zhǔn)關(guān)系。然后采用PCL庫(kù)中最近點(diǎn)迭代算法（ICP，Iteractive Closest Point）[9]實(shí)現(xiàn)點(diǎn)云1與點(diǎn)云2的精確配準(zhǔn)融合，最終一組PCB點(diǎn)云。初始點(diǎn)云中單個(gè)樣本點(diǎn)數(shù)約為3000K（3M），其中有效焊點(diǎn)點(diǎn)云點(diǎn)數(shù)約為3K，占比約為0.1%，將全部點(diǎn)云進(jìn)行檢測(cè)運(yùn)算力浪費(fèi)很大，因此，根據(jù)焊點(diǎn)的坐標(biāo)值，分割剪裁至出五個(gè)統(tǒng)一大?。∟×3）焊點(diǎn)的點(diǎn)云，其中N表示點(diǎn)的數(shù)量，3表示一個(gè)點(diǎn)的坐標(biāo)維度（x，y，z），為后續(xù)缺陷檢測(cè)分析做準(zhǔn)備。

3.2 焊點(diǎn)三維特征提取與檢測(cè)

根據(jù)焊點(diǎn)的點(diǎn)云數(shù)據(jù)，對(duì)每個(gè)焊點(diǎn)的三維幾何特征信息進(jìn)行計(jì)算，與標(biāo)準(zhǔn)值進(jìn)行對(duì)比，超過(guò)設(shè)定的閾值范圍，即判定為不合格（方法一）。每個(gè)焊點(diǎn)的點(diǎn)云信息包含其三維坐標(biāo)X、Y、Z，搜索其最高點(diǎn)Z軸坐標(biāo)Zmax，其與底平面的高度差，Zmax-即為焊點(diǎn)高度hx;按照焊點(diǎn)標(biāo)準(zhǔn)高度h0值平均取5個(gè)橫截面的離散點(diǎn)集，見(jiàn)圖5，采用最小二乘法進(jìn)行橢圓擬合，計(jì)算最佳擬合橢圓面積S1x、S2x、S3x、S4x、S5x。將待測(cè)焊點(diǎn)的特征值與標(biāo)準(zhǔn)焊點(diǎn)做對(duì)比，見(jiàn)表2，差值超過(guò)設(shè)定的閾值，即判定焊點(diǎn)質(zhì)量異常，產(chǎn)品不合格。

3.3 基于人工神經(jīng)網(wǎng)絡(luò)的缺陷檢測(cè)

本研究用PointNet網(wǎng)絡(luò)用于焊點(diǎn)質(zhì)量檢測(cè)。鑒于焊點(diǎn)點(diǎn)云特點(diǎn)[10]， PointNet使用對(duì)稱(chēng)函數(shù)解決無(wú)序性和稀疏性問(wèn)題[12]。PointNet分別在每個(gè)點(diǎn)上訓(xùn)練了一個(gè)在點(diǎn)之間分享權(quán)重的MLP，每個(gè)點(diǎn)被“投影”到一個(gè)1024維空間，這為每個(gè)點(diǎn)云提供了一個(gè)1×1024的全局特征，輸入非線性分類(lèi)器進(jìn)行分類(lèi)，經(jīng)過(guò)一個(gè)MLP得到k個(gè)score。首先積累樣本數(shù)據(jù)對(duì)PointNet網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練完成后，將待檢測(cè)焊點(diǎn)點(diǎn)云輸入網(wǎng)絡(luò)進(jìn)行檢測(cè)，輸出檢測(cè)結(jié)果。

3.4 基于動(dòng)態(tài)加權(quán)值的檢測(cè)結(jié)果融合

綜上所述，根據(jù)兩種不同的檢測(cè)方法得到兩個(gè)檢測(cè)結(jié)果。通過(guò)焊點(diǎn)三維特征提取與標(biāo)準(zhǔn)數(shù)值對(duì)比分析獲得的檢測(cè)準(zhǔn)確率約為74%;基于人工神經(jīng)網(wǎng)絡(luò)的智能檢測(cè)算法初期訓(xùn)練樣本較少，對(duì)于大量未知的缺陷并不兼容，檢測(cè)準(zhǔn)確率偏低，隨著產(chǎn)線的運(yùn)行時(shí)間的增加，樣本逐漸積累，可以利用新的樣本集進(jìn)行多次增量訓(xùn)練，不斷的迭代算法模型使其具備更全面的檢測(cè)性能，因此，檢測(cè)準(zhǔn)確率會(huì)隨著運(yùn)行時(shí)間的增加不斷的提升。針對(duì)這種情況，本研究提出了基于動(dòng)態(tài)加權(quán)值的檢測(cè)結(jié)果融合算法，將兩個(gè)結(jié)果融合，提升檢測(cè)結(jié)果的準(zhǔn)確度。（圖6、圖7）

兩種檢測(cè)方法的檢測(cè)準(zhǔn)確率分別為a、b。針對(duì)待測(cè)焊點(diǎn)，方法一檢測(cè)合格率為p1，不合格率為bp1;方法二檢測(cè)合格率為p2，不合格率為bp2。融合步驟如下：①將a、b標(biāo)準(zhǔn)化處理，aa=，bb=，aa和bb分別為兩種檢測(cè)結(jié)果的加權(quán)值;②待測(cè)焊點(diǎn)的最終合格率p=aa*p1+bb*p2，不合格率bp=aa*bp1+bb*bp2;③判定：如果p>bp，焊點(diǎn)質(zhì)量合格;如果p≤bp，焊點(diǎn)質(zhì)量不合格。

4 ?結(jié)語(yǔ)

本研究采用將三維特征提取與人工神經(jīng)網(wǎng)絡(luò)相結(jié)合的方式解決車(chē)載雷達(dá)PCB焊點(diǎn)外觀的檢測(cè)問(wèn)題，解決了針對(duì)表面形狀復(fù)雜的產(chǎn)品基于三維特征提取的檢測(cè)準(zhǔn)確率低、基于人工神經(jīng)網(wǎng)絡(luò)檢測(cè)對(duì)樣本數(shù)量和質(zhì)量要求高的缺點(diǎn)，將基于三維特征提取方法要求樣本數(shù)量少、人工神經(jīng)網(wǎng)絡(luò)檢測(cè)方法檢測(cè)準(zhǔn)確率隨著運(yùn)行時(shí)間的增加、樣本的積累逐漸提升的優(yōu)點(diǎn)結(jié)合，使得整套設(shè)備在整個(gè)運(yùn)行過(guò)程中都保持一個(gè)較高的檢測(cè)準(zhǔn)確率，直至完全實(shí)現(xiàn)自動(dòng)檢測(cè)。

參考文獻(xiàn)：

[1]安毅.三維點(diǎn)云數(shù)據(jù)的幾何特性估算與特征識(shí)別[D].大連理工大學(xué)，2012.

[2]羅子湛，何祖威.基于系統(tǒng)辨識(shí)的中儲(chǔ)式制粉系統(tǒng)的運(yùn)行優(yōu)化[J].重慶大學(xué)學(xué)報(bào)：自然科學(xué)版，2005，28（1）：5.

[3]龍霄瀟，程新景，等.三維視覺(jué)前沿進(jìn)展[J].中國(guó)圖象圖形學(xué)報(bào)，2021，26（06）：1389-1428.

[4]吳慶華.基于線結(jié)構(gòu)光掃描的三維表面缺陷在線檢測(cè)的理論與應(yīng)用研究[D].華中科技大學(xué)，2013.

[5]張宗華，劉巍，等.三維視覺(jué)測(cè)量技術(shù)及應(yīng)用進(jìn)展[J].中國(guó)圖象圖形學(xué)報(bào)，2021，26（06）：1483-1502.

[6]鄭德華，沈云中，劉春.三維激光掃描儀及其測(cè)量誤差影響因素分析[J].測(cè)繪工程，2005（02）：32-34，56.

[7]李根，謝勁松，霍慶立，等.三維激光掃描系統(tǒng)測(cè)量方法與前景展望[J].機(jī)械工程師，2015（9）：3.

[8]王健，陳政，張華良.三維點(diǎn)云數(shù)據(jù)的預(yù)處理研究[J].科學(xué)技術(shù)創(chuàng)新，2021（22）：115-118.

[9]張晶，葉含笑，楊麟.基于誤差閾值控制的ICP點(diǎn)云配準(zhǔn)算法研究[J].藝術(shù)與設(shè)計(jì)（理論），2021，2（08）：90-91.

[10]趙樹(shù)寧.基于機(jī)器視覺(jué)在線焊錫質(zhì)量檢測(cè)系統(tǒng)開(kāi)發(fā)[D].廣東工業(yè)大學(xué)，2020.

[11]楊曉文.基于KNN-PointNet的點(diǎn)云語(yǔ)義分割[J/OL].激光與光電子學(xué)進(jìn)展：1-16[2021-11-19].http：//kns.cnki.net/kcms/detail/31.1690.tn.20210802.1730.064.html.

[12]趙中陽(yáng)，程英蕾，釋小松，秦先祥，李鑫.基于多尺度特征和PointNet的LiDAR點(diǎn)云地物分類(lèi)方法[J].激光與光電子學(xué)進(jìn)展，2019，56（05）：251-258.