孫江浩 張勇 周偉 韋子輝 劉霜 方立德

摘 ?要： 焊接技術(shù)在游樂(lè)設(shè)施生產(chǎn)制造中具有不可替代的作用，焊接的質(zhì)量直接決定著產(chǎn)品運(yùn)行的安全性和可靠性，因此建立合理的游樂(lè)設(shè)施焊接缺陷檢測(cè)系統(tǒng)，檢測(cè)焊接外表面是否具有缺陷，對(duì)提高游樂(lè)設(shè)施的焊接生產(chǎn)質(zhì)量具有重要意義。使用Matlab圖像處理軟件和Python語(yǔ)言開(kāi)發(fā)焊接缺陷識(shí)別系統(tǒng)，對(duì)焊縫中的氣孔、裂紋、咬邊三種缺陷進(jìn)行圖像處理，提取焊接缺陷特征，并用神經(jīng)網(wǎng)絡(luò)建立焊接缺陷識(shí)別模型。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)對(duì)焊接過(guò)程中存在的氣孔、裂紋、咬邊三種缺陷的整體識(shí)別率可達(dá)92.86%，具有較好的識(shí)別率，有助于確保游樂(lè)設(shè)施焊接生產(chǎn)的質(zhì)量。

關(guān)鍵詞： 焊接缺陷檢測(cè); 游樂(lè)設(shè)施; 圖像處理; 特征提取; 缺陷識(shí)別模型; 識(shí)別率

中圖分類號(hào)： TN911.73?34 ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2020）23?0039?05

Abstract： The welding technology has an irreplaceable function in the manufacture of amusement facilities. The welding quality determines the operation safety and reliability of the product directly. Therefore， a reasonable detection system for the welding defects on the amusement facilities is established to detect whether the outer surface of the welding has defects， which has great significance for the welding quality of amusement facilities. In this paper， the image processing software Matlab and Python are used to develop a welding defect recognition system. The image processing is adopted to deal with three defects of stomata， crack and undercut in weld， and extract the weld defect features. The welding defect recognition model is established by means of neural network. The experimental results show that the system′s overall recognition rate of the three defects of the pores， cracks and undercuts in the welding process can reach 92.86%. That′s good enough to ensure the quality of the welding production of the amusement facilities.

Keywords： welding defect detection; recreational facility; image processing; feature extraction; defect recognition model; ?recognition rate

0 ?引 ?言

在游樂(lè)設(shè)施焊接生產(chǎn)過(guò)程中，零件表面或近表面可能存在焊接缺陷的隱患。這些缺陷的出現(xiàn)會(huì)導(dǎo)致產(chǎn)品質(zhì)量下降，使游樂(lè)設(shè)施運(yùn)行過(guò)程具有潛在的風(fēng)險(xiǎn)，輕則導(dǎo)致項(xiàng)目運(yùn)行故障，重則導(dǎo)致項(xiàng)目在運(yùn)行中發(fā)生斷裂，出現(xiàn)人員傷亡，因此在焊接完成后，對(duì)零件表面或近表面進(jìn)行焊接缺陷檢測(cè)具有重要意義。

隨著圖像處理技術(shù)以及人工智能的發(fā)展，除了原有的磁粉探傷法、超聲波探傷法、射線檢測(cè)法以及聲發(fā)射檢測(cè)法，人們開(kāi)始對(duì)圖像處理檢測(cè)法進(jìn)行研究，其目的就是利用機(jī)器人模仿人類思維，對(duì)焊接缺陷進(jìn)行檢測(cè)或者對(duì)缺陷種類進(jìn)行判別。

目前，國(guó)內(nèi)外對(duì)圖像處理檢測(cè)研究最多的領(lǐng)域在射線檢測(cè)上，比如文獻(xiàn)[1]采用B樣條曲線擬合出焊縫的灰度曲線，同時(shí)利用數(shù)學(xué)形態(tài)方法對(duì)缺陷進(jìn)行形狀和大小的研究，解決了X射線數(shù)字圖像對(duì)比度、背景起伏大以及紋理復(fù)雜的問(wèn)題。文獻(xiàn)[2]對(duì)焊縫X射線進(jìn)行圖像處理時(shí)，采用缺陷追蹤技術(shù)的同時(shí)用霍夫變換的方法，減少了由于噪聲產(chǎn)生的偽缺陷，從而增強(qiáng)了缺陷的識(shí)別效果。文獻(xiàn)[3]對(duì)X射線檢測(cè)焊縫圖像的缺陷表征方法進(jìn)行了研究，通過(guò)幾何特征和紋理特征表征不同種類的缺陷，并用支持向量機(jī)對(duì)缺陷進(jìn)行區(qū)分。文獻(xiàn)[4]篩選出常用于圖像缺陷表征的幾何特征參數(shù)，并利用多層感知機(jī)神經(jīng)網(wǎng)絡(luò)對(duì)焊縫進(jìn)行分類。文獻(xiàn)[5]利用主成分分析法對(duì)焊縫圓形和線性缺陷類型分類，利用支持向量機(jī)分類器實(shí)現(xiàn)了線形和圓形缺陷識(shí)別。

但是由于射線探傷檢測(cè)費(fèi)用高，對(duì)人身體有害，大部分企業(yè)將其用在檢測(cè)焊接內(nèi)部是否有缺陷，而焊接表面缺陷更多的是用人眼去識(shí)別，這樣極容易產(chǎn)生視覺(jué)疲勞，造成缺陷漏檢。

為了實(shí)現(xiàn)焊接外表面缺陷的自動(dòng)識(shí)別，文獻(xiàn)[6]利用Matlab與VB語(yǔ)言建立了焊接缺陷圖像預(yù)處理系統(tǒng)，實(shí)現(xiàn)了視覺(jué)效果較好、圖像對(duì)比度高的焊接缺陷圖像;文獻(xiàn)[7]在采集焊接圖像后，運(yùn)用圖像預(yù)處理、圖像增強(qiáng)、背景分割、二值化處理和輪廓提取等圖像處理技術(shù)，有效地提取出焊接缺陷特征。文獻(xiàn)[8]用OpenCV圖像設(shè)計(jì)語(yǔ)言，設(shè)計(jì)一種計(jì)算機(jī)的船舶焊縫缺陷識(shí)別系統(tǒng)，實(shí)現(xiàn)了船舶焊縫缺陷的識(shí)別與評(píng)級(jí)，極大地提高了船舶焊縫檢測(cè)的工作效率和船舶焊接質(zhì)量。文獻(xiàn)[9]通過(guò)分析焊縫圖像的問(wèn)題特征，從焊接圖像的灰度共生矩陣中提取出15種特征參數(shù)，并利用BP神經(jīng)網(wǎng)絡(luò)對(duì)這些特征參數(shù)進(jìn)行訓(xùn)練，最終整體識(shí)別率達(dá)到91%。文獻(xiàn)[10]利用離散小波變換從焊縫圖像中提取出其表面紋理特征，并用支持向量機(jī)對(duì)焊縫表面缺陷進(jìn)行分類。

在游樂(lè)設(shè)施生產(chǎn)過(guò)程中，常用磁粉探傷檢測(cè)近表面是否有焊接缺陷，然后用人眼判斷表面及近表面焊接缺陷的種類。這樣工作效率低，長(zhǎng)期工作容易產(chǎn)生漏檢、錯(cuò)檢的現(xiàn)象。因此，本文對(duì)焊接外表面缺陷自動(dòng)識(shí)別進(jìn)行研究分析，運(yùn)用Matlab軟件對(duì)缺陷照片進(jìn)行灰度處理、濾波處理、Canny提取邊緣以及形態(tài)學(xué)處理，從而達(dá)到對(duì)焊接缺陷特征參數(shù)提取效果，利用神經(jīng)網(wǎng)絡(luò)建立識(shí)別模型，在實(shí)際生產(chǎn)過(guò)程中，采用工人現(xiàn)場(chǎng)手機(jī)拍照的方式，將照片上傳至系統(tǒng)內(nèi)，從而識(shí)別焊縫缺陷的種類，給維修人員提供參考價(jià)值，提高游樂(lè)設(shè)施焊接生產(chǎn)的質(zhì)量。

1 ?焊接圖像預(yù)處理與缺陷特征提取

由于工廠現(xiàn)場(chǎng)光線較暗，工人在焊接時(shí)產(chǎn)生的孤光對(duì)拍照效果影響較大，在拍照的過(guò)程中不僅需要調(diào)整手機(jī)的光照強(qiáng)度還要遠(yuǎn)離焊接作業(yè)區(qū)域，從而保證成像的效果;其次，在焊接完成后，焊接表面會(huì)產(chǎn)生反光不均勻或者藥片未清理干凈的情況，這樣的照片在處理過(guò)程中會(huì)產(chǎn)生非缺陷性干擾，因此在對(duì)焊接表面進(jìn)行拍照時(shí)，應(yīng)該用鐵刷對(duì)焊縫表面進(jìn)行打磨，使得焊縫表面無(wú)藥片殘留，無(wú)明顯的亮暗不均現(xiàn)象;最后，在對(duì)焊縫表面進(jìn)行拍照時(shí)，需要將手機(jī)拍照倍數(shù)放大，這樣不僅可以放大缺陷的圖像，還可以使焊縫在照片中所占的比例較大，減少了周圍環(huán)境的影響。

本研究的原始圖片均為彩色照片，轉(zhuǎn)換為灰度圖像后，由于對(duì)焊接缺陷進(jìn)行拍照時(shí)會(huì)產(chǎn)生光照不均的現(xiàn)象，對(duì)灰度圖像進(jìn)行濾波處理，將濾波后圖像進(jìn)行二值化后，用Canny邊緣檢測(cè)使缺陷邊界更加清晰，通過(guò)膨脹、消除小面積區(qū)域等方法，將焊接圖像中的缺陷信息表達(dá)出來(lái)。

本文照片來(lái)自于保定市某游樂(lè)設(shè)施生產(chǎn)廠家的焊接車間，通過(guò)Matlab圖像處理后，得到含氣孔缺陷130張、含裂紋缺陷120張、含咬邊缺陷120張，總計(jì)370張照片，示例圖如圖1所示。

1.1 ?焊接圖像預(yù)處理

灰度處理作為圖像處理中最簡(jiǎn)單的技術(shù)，其主要作用就是增強(qiáng)圖像對(duì)比度，凸顯圖像的細(xì)節(jié)。本研究的灰度處理為加權(quán)平均法，將RGB圖像轉(zhuǎn)化為灰度圖。

在焊接圖片采集過(guò)程中，由于焊接金屬表面光滑，圖片呈現(xiàn)高反光現(xiàn)象或因拍攝環(huán)境光線不足使圖片整體較暗，出現(xiàn)圖像光照不均的現(xiàn)象。目前處理光照不均的方法有直方圖均衡化、基于照明反射模型的同態(tài)濾波、基于光照補(bǔ)償Retinex方法等，但是直方圖均衡化對(duì)處理灰度反差大的圖像有較好的效果，基于照明反射模型的同態(tài)濾波法與基于光照補(bǔ)償?shù)腞etinex方法對(duì)反光或光照不均具有較好的效果[11]。文獻(xiàn)[12]通過(guò)實(shí)驗(yàn)對(duì)比高斯高通濾波、巴特沃斯高通濾波、指數(shù)濾波3種方法，實(shí)驗(yàn)表明高斯高通濾波具有較好的處理效果。

1.2 ?焊接圖像缺陷特征提取

二值化處理在圖片處理中具有非常重要的地位，可以使圖像變得簡(jiǎn)單，同時(shí)能夠凸顯出目標(biāo)的輪廓，其圖像處理效果如圖5所示。

邊緣檢測(cè)的目的是檢測(cè)圖像中有意義、不連續(xù)的點(diǎn)位，常見(jiàn)的邊緣檢測(cè)算子有Roberts，log等算子，但是這些算子抗干擾能力差，適用于噪聲少且較為簡(jiǎn)單的圖像[13]，從圖5中可以看到，二值化后的圖片邊緣模糊且有些地方邊緣出現(xiàn)不連續(xù)現(xiàn)象，文獻(xiàn)[14]中對(duì)Canny邊緣算子、Roberts算子、log算子處理后的圖像進(jìn)行了比較。因此本文采用Canny邊緣檢測(cè)算子，其圖像處理效果如圖6所示。

形態(tài)學(xué)圖像處理可以通過(guò)腐蝕、膨脹等方法將邊緣檢測(cè)后的目標(biāo)圖像中目標(biāo)區(qū)域變小或變大，目的是為了消除小且無(wú)意義的目標(biāo)物或填補(bǔ)目標(biāo)中某些空洞以及小顆粒噪聲。文獻(xiàn)[15]利用閉運(yùn)算即先膨脹后腐蝕的方法將目標(biāo)中狹窄的間斷連接起來(lái)，同時(shí)也不會(huì)影響裂紋形狀的大小。圖6中咬邊圖像的間距過(guò)大，閉運(yùn)算無(wú)法使其連接起來(lái)，所以僅采用膨脹算法。

1.3 ?特征入庫(kù)

運(yùn)用函數(shù)regionprops在Matlab中提出缺陷的特征值，并與缺陷類別一同放入數(shù)據(jù)庫(kù)當(dāng)中，提取出的特征參數(shù)有以下9種，分別為：MajorAxisLength為與區(qū)域具有相同標(biāo)準(zhǔn)二階中心矩的橢圓的長(zhǎng)軸長(zhǎng)度;MinorAxisLength為與區(qū)域具有相同標(biāo)準(zhǔn)二階中心矩的橢圓的短軸長(zhǎng)度;Eccentricity為與區(qū)域具有相同標(biāo)準(zhǔn)二階中心矩的橢圓的離心率;EquivDiameter為與區(qū)域具有相同面積的圓的直徑;Solidity為同時(shí)在區(qū)域和其最小凸多邊形中的像素比例;Extent為同時(shí)在區(qū)域和其最小邊界矩形中的像素比例;Perimeter為圖像的周長(zhǎng);Thinnessratio為圖像各個(gè)區(qū)域的細(xì)度比例;Aspectratio為圖像各個(gè)區(qū)域的寬高比。

2 ?基于全連接神經(jīng)網(wǎng)絡(luò)的焊接缺陷分類識(shí)別方法

從采集的370張存在焊接缺陷的照片中，首先選取其中的300張作為訓(xùn)練用的樣本圖片，同時(shí)標(biāo)記1～100的訓(xùn)練集為裂紋缺陷，101～200的訓(xùn)練集為氣孔，201～300的訓(xùn)練集為咬邊，剩余70張作為測(cè)試樣本圖片，分成4組進(jìn)行識(shí)別訓(xùn)練，第一組為20張裂紋圖，第二組為30張氣孔圖，第三組為20張咬邊圖，第四組對(duì)70張樣本圖片打亂順序后進(jìn)行識(shí)別。訓(xùn)練樣本和測(cè)試樣本數(shù)量見(jiàn)表1。

2.1 ?全連接神經(jīng)網(wǎng)絡(luò)基本原理

神經(jīng)網(wǎng)絡(luò)對(duì)圖片進(jìn)行分類識(shí)別是目前最為常見(jiàn)的方法，具有運(yùn)算速度快、容錯(cuò)能力強(qiáng)以及豐富的聯(lián)想能力等，這些優(yōu)勢(shì)能夠使神經(jīng)網(wǎng)絡(luò)很好的進(jìn)行分類識(shí)別。本文以全連接神經(jīng)網(wǎng)絡(luò)為模型，以焊接缺陷特征信息作為輸入，焊接缺陷種類為輸出，構(gòu)建如圖9所示的1個(gè)輸入層，2個(gè)隱含層以及1個(gè)輸出層的模型。其中，輸入層神經(jīng)元個(gè)數(shù)為9，即圖像預(yù)處理后得到的9維焊接表面缺陷信息數(shù)據(jù)集，經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)隱層節(jié)點(diǎn)數(shù)目公式可得到隱層中節(jié)點(diǎn)數(shù)為35，最后輸出層神經(jīng)元個(gè)數(shù)為3，對(duì)焊接表面缺陷種類進(jìn)行判斷。

前一層的每個(gè)節(jié)點(diǎn)均與后一層的每個(gè)節(jié)點(diǎn)連接，假設(shè)輸入層到隱層1的權(quán)重為[wji]，隱層1到隱層2的權(quán)重為[wkj]，隱層2到輸出層的權(quán)重為[wlk]，輸入層到隱層1的偏置值為[aj]，隱層1到隱層2的偏置值為[bk]，隱層2到輸出層的偏置值為[cl]，激勵(lì)函數(shù)為常見(jiàn)的ReLU函數(shù)，其表達(dá)式為：[fz=max （z，0）]，[n]為樣本數(shù)量。

焊接圖像全連接神經(jīng)網(wǎng)絡(luò)識(shí)別流程如圖10所示。具體步驟如下：

1） 提取出的氣孔、裂紋、咬邊三種焊接缺陷特征參數(shù)先通過(guò)前向傳播獲得預(yù)測(cè)值。

2） 計(jì)算神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)值與正確值的差距。

3） 通過(guò)反向傳播相應(yīng)的更新神經(jīng)網(wǎng)絡(luò)的參數(shù)。

4） 迭代一定次數(shù)后，得到神經(jīng)網(wǎng)絡(luò)最終的參數(shù)。

5） 利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型對(duì)待測(cè)樣本數(shù)據(jù)進(jìn)行識(shí)別，從而實(shí)現(xiàn)焊接外表面缺陷的自動(dòng)識(shí)別。

2.2 ?識(shí)別結(jié)果

本研究分別對(duì)氣孔、咬邊、裂紋以及混合后整體進(jìn)行了識(shí)別研究，識(shí)別結(jié)果如表2所示。

本研究對(duì)氣孔的識(shí)別率為93.33%，對(duì)咬邊的識(shí)別率為85%，對(duì)裂紋的識(shí)別率為100%，整體識(shí)別率為92.86%，具有較好的整體識(shí)別率。

3 ?圖像處理系統(tǒng)實(shí)現(xiàn)

本研究所用的相機(jī)為蘋(píng)果手機(jī)，通過(guò)對(duì)有缺陷的焊縫進(jìn)行拍照，將照片上傳至系統(tǒng)內(nèi)，從而達(dá)到識(shí)別缺陷的效果。系統(tǒng)只能由專門(mén)的管理人員登錄，系統(tǒng)登錄界面如圖11所示。

系統(tǒng)界面主要由三部分組成，其中最左側(cè)為焊接縫表面缺陷識(shí)別依據(jù)，該識(shí)別依據(jù)來(lái)源于樣本數(shù)據(jù)的實(shí)時(shí)范圍，中間為圖像識(shí)別按鈕，最右邊為識(shí)別出的圖片，最下方為識(shí)別的結(jié)果，具體界面如圖12所示。

4 ?結(jié) ?論

根據(jù)游樂(lè)設(shè)施焊接表面質(zhì)量評(píng)價(jià)的需要，本文對(duì)焊接表面缺陷自動(dòng)識(shí)別進(jìn)行研究，得到以下結(jié)論：

1） 通過(guò)Matlab軟件處理圖片，解決了因?yàn)榉垂鈱?dǎo)致的焊接照片光照不均的問(wèn)題，得到了處理效果較好的圖片，確定了咬邊、裂紋、氣孔三種缺陷的9種特征參數(shù)即：MajorAxisLength， MinorAxisLength， Eccentricity， EquivDiameter，Solidity，Extent，Perimeter，Thinnessratio，Aspectratio。

2） 對(duì)三種缺陷的特征參數(shù)進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，建立全連接神經(jīng)網(wǎng)絡(luò)模型，同時(shí)對(duì)待測(cè)樣本進(jìn)行識(shí)別，實(shí)驗(yàn)表明氣孔、裂紋、咬邊的識(shí)別率分別為93.33%，100%，85%，整體的識(shí)別率為92.86%，識(shí)別效果較好。

3） 利用Python可以調(diào)用Matlab中函數(shù)的優(yōu)點(diǎn)，建立焊接缺陷自動(dòng)識(shí)別系統(tǒng)。

參考文獻(xiàn)

[1] 梁硼，魏艷紅，占小紅.基于B樣條曲線的X射線圖像焊縫缺陷分割與提取[J].焊接學(xué)報(bào)，2012，33（7）：109?112.

[2] CHANG Baohua， SHAO Jiaxin， DU Dong， et al. Automatic weld defect detection based on potential defect tracking in real?time radiographic image sequence [J]. NDT&E international， 2012， 46（1）： 14?21.

[3] VALAVANIS I， KOTSIOPOULOS D. Multiclass defect detection and classification in weld radiographic images using geometric and texture features [J]. Expert systems with applications， 2010， 37（12）： 7606?7614.

[4] LIM T Y， RATNAM M， KHALID M. Automatic classification of weld defects using simulated data and an MLP neural network [J]. NewsLink： newsletter of the international association of quality practitioners， 2007， 49（3）： 154?159.

[5] 高煒欣，胡玉衡，武曉朦，等.埋弧焊X射線焊縫缺陷圖像分類算法研究[J].儀器儀表學(xué)報(bào)，2016，37（3）：518?524.

[6] 周春成，張愛(ài)梅.焊接缺陷圖像預(yù)處理初探[J].礦山機(jī)械，2011，39（4）：109?112.

[7] 葛志霞，魏海坤，張侃健.基于圖像處理的自動(dòng)化焊接缺陷特征提取與焊接質(zhì)量分析[J].工業(yè)控制計(jì)算機(jī)，2018，31（5）：64?65.

[8] 王磊.計(jì)算機(jī)視覺(jué)在船舶焊縫缺陷識(shí)別的應(yīng)用[J].艦船科學(xué)技術(shù)，2018，40（8）：196?198.

[9] 焦敬品，李思源，常予，等.集箱管接頭內(nèi)焊縫表面缺陷識(shí)別方法研究[J].儀器儀表學(xué)報(bào)，2017，38（12）：3044?3052.

[10] BHAT N N， KUMARI K， DUTTA S. Friction stir weld classification by applying wavelet analysis and support vector machine on weld surface images [J]. Journal of manufacturing processes， 2015， 20（7）： 274?281.

[11] 劉毅，賈旭芬，田子建.一種基于同態(tài)濾波原理的井下光照不均圖像處理方法[J].工礦自動(dòng)化，2013，39（1）：9?12.

[12] 杜培明，邱現(xiàn)林.同態(tài)濾波下光照不均QR圖像校正研究[J].軟件導(dǎo)刊，2013，12（11）：159?161.

[13] 王弘毅，趙歡.基于數(shù)學(xué)形態(tài)學(xué)預(yù)處理的Canny算子邊緣檢測(cè)算法[J].菏澤學(xué)院學(xué)報(bào)，2019，41（2）：25?29.

[14] 何學(xué)明.一種基于Canny檢測(cè)算子的聲吶圖像邊緣檢測(cè)技術(shù)[J].公安海警學(xué)院學(xué)報(bào)，2019（2）：63?67.

[15] 邵闖，王生懷，徐風(fēng)華，等.基于圖像處理的混凝土表面裂縫檢測(cè)研究[J].湖北汽車工業(yè)學(xué)院學(xué)報(bào)，2019，33（2）：47?50.