胡丹，呂波，王靜靜，高向東

(廣東工業(yè)大學(xué) 廣東省焊接工程技術(shù)研究中心,廣州,510006)

0 序言

焊接是現(xiàn)代制造業(yè)中應(yīng)用最廣泛的材料成形和加工技術(shù)之一.焊接過(guò)程中的干擾因素或焊接參數(shù)控制不當(dāng)則容易產(chǎn)生焊接缺陷，嚴(yán)重影響焊接質(zhì)量.基于物理性質(zhì)的焊接缺陷檢測(cè)方法主要有超聲檢測(cè)、射線檢測(cè)、磁光成像檢測(cè)、滲透檢測(cè)等[1-4].超聲檢測(cè)需要耦合劑，且對(duì)焊縫表面粗糙度有一定要求，粗糙度過(guò)高會(huì)干擾超聲投射效果從而影響檢測(cè)結(jié)果的準(zhǔn)確性；射線檢測(cè)存在檢測(cè)成本較高以及對(duì)人體有害等問(wèn)題；磁光成像是一種新的檢測(cè)技術(shù)，磁光成像效果受磁場(chǎng)激勵(lì)方式、磁光薄膜特性以及提離度等因素的影響較大；滲透檢測(cè)的檢測(cè)效果一定程度受顯像劑、焊件表面情況、滲透液等因素的影響，且檢測(cè)效率低.相比于基于物理性質(zhì)的焊接缺陷檢測(cè)方法，基于視覺(jué)傳感技術(shù)的焊接缺陷檢測(cè)方法具有智能化程度高、信息豐富直觀、高精度等優(yōu)點(diǎn)，一直是焊接智能檢測(cè)領(lǐng)域的研究熱點(diǎn)[5-8].

目前，焊接質(zhì)量視覺(jué)傳感檢測(cè)可分為被動(dòng)視覺(jué)與主動(dòng)視覺(jué).被動(dòng)視覺(jué)利用相機(jī)直接拍攝焊縫表面，該方法能全面地獲取焊縫表面形貌，但也會(huì)帶來(lái)大量冗余信息，增加圖像處理、目標(biāo)提取與分割算法的復(fù)雜度[9-10].主動(dòng)視覺(jué)依靠輔助光源獲取焊縫成形特征，其中，因激光具有單色性、方向性、能量集中等優(yōu)點(diǎn)，常被選作為輔助光源.激光視覺(jué)焊縫質(zhì)量檢測(cè)系統(tǒng)裝置簡(jiǎn)單易操作，通過(guò)激光器向焊縫表面投射激光，相機(jī)采集焊縫條紋輪廓圖像，將焊縫表面成形特征轉(zhuǎn)化為激光條紋曲線形變，單道激光條紋即可表征焊件表面信息.文獻(xiàn)[11]利用線結(jié)構(gòu)光檢測(cè)高頻電阻焊焊件質(zhì)量，研究激光條紋中心線提取算法，建立三維焊縫形狀在世界坐標(biāo)系和圖像坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，實(shí)現(xiàn)了焊縫三維重建以及焊縫尺寸檢測(cè).文獻(xiàn)[12]針對(duì)填充焊縫和蓋面焊縫，研究結(jié)構(gòu)光視覺(jué)傳感焊縫質(zhì)量檢測(cè)方法，實(shí)現(xiàn)焊縫尺寸在線測(cè)量及質(zhì)量評(píng)估的功能.

文中基于激光視覺(jué)傳感研究了一種焊縫表面缺陷HOG-SVM 算法自動(dòng)分類與識(shí)別方法.對(duì)焊接缺陷激光條紋圖像進(jìn)行數(shù)字化處理，采用HOG 算法進(jìn)行焊接缺陷特征提取，通過(guò)識(shí)別率與運(yùn)行時(shí)間兩類指標(biāo)評(píng)估不同邊緣檢測(cè)算法、不同細(xì)胞單元大小以及不同分類器對(duì)檢測(cè)效果的影響，并通過(guò)5 折-交叉驗(yàn)證網(wǎng)格搜索方法尋找最佳檢測(cè)模型參數(shù)，最終建立SVM 焊縫表面缺陷識(shí)別與分類智能模型,分類精度可達(dá)97.86%.試驗(yàn)結(jié)果表明，所提方法可對(duì)焊縫表面缺陷(氣孔、凹陷、咬邊)和無(wú)缺陷進(jìn)行有效地識(shí)別與分類.

1 焊縫缺陷激光視覺(jué)成像

1.1 激光視覺(jué)檢測(cè)系統(tǒng)的硬件構(gòu)成

圖1 為焊縫質(zhì)量檢測(cè)平臺(tái)示意圖，主要由激光視覺(jué)傳感器、運(yùn)動(dòng)控制器、三軸運(yùn)動(dòng)平臺(tái)及工控機(jī)等組成.激光視覺(jué)傳感器由相機(jī)、激光器、鏡頭構(gòu)成，基于三角成像原理，激光器傾斜一定角度投射激光線于焊件表面，相機(jī)垂直拍攝焊件表面的激光條紋，掃描采集焊縫激光條紋圖像儲(chǔ)存于工控機(jī)，從而獲取圖像數(shù)據(jù).以對(duì)接焊縫、角焊縫為研究對(duì)象，掃描采集裝置如圖2 所示.

圖1 焊縫質(zhì)量檢測(cè)平臺(tái)示意圖Fig.1 Schematic diagram of weld quality inspection platform

圖2 掃描采集焊縫示意圖Fig.2 Diagram of weld scanning collection

1.2 焊縫缺陷激光視覺(jué)成像特征分析

圖3 為氣孔、凹陷、咬邊及無(wú)缺陷四種類型焊件試樣的實(shí)物圖、原始激光條紋圖像.利用激光視覺(jué)傳感器采集焊接缺陷原始激光條紋圖像，建立焊縫缺陷識(shí)別模型樣本集.

圖3 四種缺陷樣本的實(shí)物圖及原始激光條紋圖Fig.3 Physical image, fringe image of four kinds of defects.(a)porosity;(b)sag;(c)undercut;(d)no defect

焊縫表面缺陷具有十分明顯的幾何特征與形狀特征.其中，氣孔在焊縫表面的體積較小，孔內(nèi)的激光條紋被“吞噬”，相機(jī)無(wú)法拍攝，含氣孔的焊縫激光條紋圖像在氣孔處表現(xiàn)為斷點(diǎn)；凹陷為焊縫上出現(xiàn)的局部低凹，且形狀多元，含凹陷的焊縫圖像中焊縫區(qū)域出現(xiàn)下凹，大小和位置與焊縫表面成形一致；咬邊缺陷存在于焊縫與母材交界處，空間特征明顯，含咬邊的焊縫激光條紋圖像在焊縫與母材交接處出現(xiàn)低于母材的下凹；無(wú)缺陷的焊縫激光條紋過(guò)度平穩(wěn)，在母材基線上方形成平滑的曲線.

2 焊縫缺陷激光視覺(jué)成像特征提取

2.1 圖像的預(yù)處理

焊縫激光條紋圖像受光照、設(shè)備等影響，圖像中存在噪聲以及大量冗余信息.為了突出焊縫缺陷信息，提高識(shí)別率，需要對(duì)圖像進(jìn)行預(yù)處理，步驟如下.

ROI 提?。涸紙D像大小為400 pixel × 500 pixel，包括激光條紋與背景，其中缺陷特征僅在焊縫光條紋處，因此，進(jìn)行ROI 提取并調(diào)整大小為64 pixel ×128 pixel，最大程度地包含了焊縫所在位置，減少無(wú)用信息.

灰度化：將彩色圖像轉(zhuǎn)化為灰度圖像，保留亮度信息，去除顏色信息，減少計(jì)算量.濾波去噪：受環(huán)境、設(shè)備等影響，激光條紋圖像中會(huì)夾渣噪聲點(diǎn)，因此，采用3 × 3 中值濾波去噪，抑制尖銳噪聲的同時(shí)保留圖像細(xì)節(jié)部分.

二值化：通過(guò)觀察焊縫激光條紋圖像，光條區(qū)域與背景區(qū)域具有不同的灰度集合，采用最大類間方差法進(jìn)行二值化處理，增強(qiáng)光條紋特征.

邊緣提?。簩?duì)二值化后的焊縫激光條紋圖像進(jìn)行邊緣提取，得到的邊緣曲線能更好地表征焊縫輪廓，便于提取焊縫激光條紋圖像缺陷特征.四種試樣圖像的預(yù)處理效果如表1 所示.

表1 四種缺陷樣本的實(shí)物圖及原始激光條紋圖Table 1 Physical image, fringe image of four kinds of defects

2.2 HOG 特征提取

HOG 特征提取算法能提取圖像X，Y方向的梯度信息，對(duì)圖像中的邊緣，拐點(diǎn)等梯度變化大的地方更敏感，具有描述對(duì)象結(jié)構(gòu)和輪廓的能力，能準(zhǔn)確描述焊縫光條紋的邊緣分布和結(jié)構(gòu)特征，焊縫缺陷的表象和形狀能夠被梯度強(qiáng)度在梯度方向上的分布很好的描述，將其應(yīng)用于檢測(cè)焊縫表面缺陷具有很大的優(yōu)勢(shì)[13].基本步驟如下所示

(1) 采用Gamma 校正法對(duì)圖像進(jìn)行全局歸一化.

(2) 計(jì)算梯度.每個(gè)像素I(x,y)的梯度可表示如式(1)，式(2)所示，即

式中：Gx(x,y)、Gy(x,y) 分別為像素點(diǎn)I(x,y)處的水平梯度、垂直梯度，然后計(jì)算每個(gè)像素點(diǎn)的梯度幅值G(x,y)和 梯度方向θ (x,y)，即

(3) 構(gòu)建每個(gè)細(xì)胞單元(cell)的梯度方向直方圖.將圖像分割為若干個(gè)不重疊的cell，例如4 像素 × 4 像素的cell 大小，梯度方向量化為9，分別對(duì)應(yīng)于0，20···180；計(jì)算cell 中每個(gè)像素點(diǎn)的G(x,y)和θ (x,y)，根據(jù)像素點(diǎn)的梯度方向在直方圖中進(jìn)行加權(quán)投影，從而構(gòu)建每個(gè)cell 對(duì)應(yīng)的9 維向量.梯度方向劃分方式及cell 的梯度方向直方圖如圖4 所示.

圖4 細(xì)胞單元cell 的梯度方向&梯度方向直方圖Fig.4 Gradient direction & gradient direction histogram of cell(a)Gradient direction(b)gradient direction histogram

(4) 構(gòu)建塊(block)并歸一化.由2 × 2 個(gè)cell合成一個(gè)block，每個(gè)cell 有9 個(gè)特征，歸一化后形成一個(gè)36 維的特征向量.

(5) HOG 特征向量整合.經(jīng)預(yù)處理后的焊縫光條紋輪廓圖像大小為64 pixel × 128 pixel，以4 pixel 為步長(zhǎng)遍歷整幅圖片，得到HOG 特征向量維數(shù)為16 740，計(jì)算方式如式(5)所示，即

焊接缺陷條紋圖像的HOG 特征可視化效果如圖5 所示.

圖5 焊接缺陷條紋圖像的HOG 特征可視化效果Fig.5 HOG feature visualization effect of weld defect streak image.(a)Porosity;(b)Sag;(c)Undercut;(d)No defect

3 焊縫缺陷SVM 分類模型

SVM 是一個(gè)經(jīng)典且高效的機(jī)器學(xué)習(xí)算法，其基本思路是在樣本空間找到一個(gè)最優(yōu)分類超平面，將不同類別的樣本分開(kāi)[14].設(shè)有兩類樣本，分別用yi(1，-1)標(biāo)記，定義超平面，即

為了防止過(guò)擬合，提出“軟間隔”概念，允許SVM 對(duì)一些樣本出錯(cuò)，即允許一些樣本不滿足約束條件.引入“松弛變量ξi≥0”，用于表征不滿足約束的程度，于是，式(7)可轉(zhuǎn)變?yōu)?/p>

為解決線性不可分問(wèn)題，引入核函數(shù)把訓(xùn)練樣本映射到一個(gè)高維特征空間，從而找到一個(gè)合適的分類超平面，因此采用高斯核函數(shù)，函數(shù)表達(dá)式為

式中：g為高斯核函數(shù)的寬度參數(shù).

采取一對(duì)多(one-against-rest)方法解決多分類問(wèn)題，假設(shè)有k個(gè)樣本類別，把某一類作為正類，其余分為負(fù)類，需要構(gòu)造k個(gè)分類器.為了簡(jiǎn)化模型，選擇總性能最高的參數(shù)集(C、g)作為k個(gè)分類器的共享參數(shù)集.同時(shí)采用基于5 折-交叉驗(yàn)證的網(wǎng)格搜索方法選擇參數(shù)集，模型參數(shù)的交叉驗(yàn)證結(jié)果如圖6 所示.結(jié)果表明，當(dāng) log2C=-2、log2g=-3時(shí)，交叉驗(yàn)證確定的準(zhǔn)確性是最高的，達(dá)98.243%.因此，將C=0.25、g=0.125 作為模型訓(xùn)練的參數(shù)設(shè)置，建立焊縫缺陷分類模型.

圖6 模型參數(shù)的交叉驗(yàn)證結(jié)果Fig.6 Cross-validation results for the model parameters

4 試驗(yàn)過(guò)程及結(jié)果

試驗(yàn)運(yùn)行平臺(tái)：Windows10 操作系統(tǒng)，處理器為IntelCore I5，4GB 內(nèi)存.試驗(yàn)選取3 000 幅焊縫激光條紋樣本圖像作為數(shù)據(jù)集，其中凹陷、咬邊、表面氣孔和無(wú)缺陷各750 幅,采用8∶2 的比例分配訓(xùn)練集，測(cè)試集.各類缺陷任選600 幅作為分類模型的訓(xùn)練集，其余150 幅作為測(cè)試集.

試驗(yàn)具體步驟：①對(duì)樣本集進(jìn)行圖像預(yù)處理，選取合適的cell 大小、block 大小以及窗口移動(dòng)步長(zhǎng)，提取樣本圖像的HOG 特征向量，圖像預(yù)處理及特征提取如圖7 所示.并將所有數(shù)據(jù)集打上標(biāo)簽.②根據(jù)焊縫缺陷數(shù)據(jù)集分配原則隨機(jī)挑選樣本分為訓(xùn)練集與測(cè)試集，訓(xùn)練SVM 多分類模型，將訓(xùn)練好的模型和測(cè)試集作為參數(shù)輸入predict 函數(shù)，得到測(cè)試集的預(yù)測(cè)類型predict-Label，焊縫缺陷識(shí)別結(jié)果的準(zhǔn)確率可表示如下.

圖7 圖像預(yù)處理及特征提取過(guò)程示意圖Fig.7 Schematic diagram of process of image preprocessing and feature extraction

式中，Acc為準(zhǔn)確率，Nr為分類正確的圖像數(shù)量，Nn為測(cè)試樣本的圖像總數(shù)量.

4.1 不同邊緣檢測(cè)算子識(shí)別性能分析

為了探究不同邊緣檢測(cè)算子在焊縫缺陷激光條紋圖像識(shí)別中的效果，試驗(yàn)不同邊緣檢測(cè)算子預(yù)處理后的識(shí)別結(jié)果，試驗(yàn)結(jié)果如表2 所示.圖8、圖9分別為Roberts 算子、Canny 算子預(yù)處理后的焊接缺陷識(shí)別結(jié)果.

表2 不同邊緣檢測(cè)算子的試驗(yàn)結(jié)果Table 2 Experimental results of different edge detection operators

圖8 Roberts 算子處理后的焊接缺陷識(shí)別結(jié)果Fig.8 Results of weld defect identification using Roberts

圖9 Canny 算子處理后的焊接缺陷識(shí)別結(jié)果Fig.9 Results of weld defect identification using Canny

從表2 可以看出，Roberts 算子平均識(shí)別率最高，達(dá)97.73%；Canny 算子的平均識(shí)別率最低.Roberts 算子利用對(duì)角像素之差近似檢測(cè)邊緣，適合噪聲較小且邊緣明顯的圖像輪廓提取.對(duì)比圖8、圖9，發(fā)現(xiàn)經(jīng)Canny 算子處理后，更多的咬邊、氣孔等細(xì)小缺陷錯(cuò)誤地識(shí)別為無(wú)缺陷.從數(shù)學(xué)理論角度解釋其原因，Canny 對(duì)圖像進(jìn)行高斯平滑，然而在圖像預(yù)處理過(guò)程中，已經(jīng)采用中值濾波對(duì)圖像進(jìn)行去噪，若再次對(duì)圖像進(jìn)行平滑，可能會(huì)模糊焊縫激光條紋輪廓，對(duì)細(xì)小缺陷的邊緣信息定位不準(zhǔn)確，降低了識(shí)別率.

4.2 不同cell 大小識(shí)別性能分析

基于4.1 中的試驗(yàn)結(jié)果，后續(xù)采用Roberts 算子提取焊縫光條紋輪廓，再分別用4 × 4，8 × 8，16 ×16，32 × 32 大小的cell 對(duì)預(yù)處理后的焊縫激光條紋圖像進(jìn)行特征提取.表3 列舉了不同cell 大小的特征向量維數(shù)、平均識(shí)別率以及訓(xùn)練時(shí)間.

表3 不同cell 大小的試驗(yàn)結(jié)果Table 3 Experimental results of different cell size

對(duì)焊縫激光條紋輪廓圖像進(jìn)行HOG 特征提取前，要選擇合適的細(xì)胞單元大小，通過(guò)對(duì)不同cell 大小進(jìn)行對(duì)比試驗(yàn)，選取識(shí)別效果較好的cell大小.表3 數(shù)據(jù)表明，cell 大小為4 × 4，8 × 8 時(shí)識(shí)別率相當(dāng)，但4 × 4 cell 對(duì)應(yīng)的特征向量維數(shù)高，且模型訓(xùn)練時(shí)間約是8 × 8 cell 的5 倍，高維特征限制了識(shí)別速度，同時(shí)降低了識(shí)別率，因此選取8 × 8 cell進(jìn)行HOG 特征提取.

4.3 不同檢測(cè)器識(shí)別性能分析

選取最優(yōu)參數(shù)后(Roberts 算子、8 × 8 cell)，為評(píng)估HOG 特征對(duì)焊縫缺陷識(shí)別的效果，選取常用的圖像特征灰度共生矩陣(Gray Level Co-occurrence Matrix,GLCM)作為對(duì)照組，在焊縫缺陷樣本數(shù)據(jù)庫(kù)的基礎(chǔ)上，隨機(jī)選取70%作為訓(xùn)練集，30%作為測(cè)試集；對(duì)每次隨機(jī)生成的焊縫缺陷樣本提取特征(HOG 或GLCM)，分別用SVM，RF，KNN 以及CNB進(jìn)行分類識(shí)別，不同特征提取方式與不同分類器交叉組合，5 次試驗(yàn)平均識(shí)別率對(duì)比圖如圖10 所示.

圖10 平均識(shí)別率對(duì)比圖Fig.10 Comparison chart of average recognition rate

試驗(yàn)結(jié)果表明，在不同分類器中，HOG 特征的識(shí)別效果均優(yōu)于GLCM.可見(jiàn)，HOG 比GLCM 更適合表征焊縫缺陷激光條紋圖像特征.經(jīng)過(guò)5 次反復(fù)試驗(yàn)，HOG+SVM 的識(shí)別率最高，為97.86%.四種分類模型中，采用SVM 識(shí)別焊縫激光條紋圖像HOG 特征的準(zhǔn)確率更高，且其對(duì)于氣孔、凹陷、咬邊、無(wú)缺陷的識(shí)別率分別為96%、96.67%、98.67%和100%.因此，HOG+SVM 更適合基于激光視覺(jué)的焊縫缺陷識(shí)別與分類.

5 結(jié)論

提出一種基于HOG-SVM 算法的焊縫表面缺陷檢測(cè)方法，采用激光視覺(jué)焊縫質(zhì)量檢測(cè)裝置采集焊縫缺陷樣本圖像，對(duì)焊縫激光條紋圖像進(jìn)行充分的圖像預(yù)處理，提取焊縫缺陷激光條紋圖像特征.試驗(yàn)發(fā)現(xiàn)，Roberts 算子比其他邊緣檢測(cè)算子的識(shí)別率高，更適合焊縫激光條紋圖像的邊緣提取.通過(guò)不同分類器對(duì)HOG 特征與GLCM 特征進(jìn)行交叉組合識(shí)別試驗(yàn)，HOG 提取的邊緣結(jié)構(gòu)信息比GLCM 提取的局部紋理信息更能表征焊縫缺陷特征.將HOG 特征提取算法與SVM 結(jié)合可以實(shí)現(xiàn)焊縫表面缺陷的準(zhǔn)確識(shí)別，準(zhǔn)確率可達(dá)97.86%.