孫士保 尹立航 閆曉龍 賈博文 章 沖

(河南科技大學(xué)信息工程學(xué)院 河南 洛陽 471023)

0 引 言

射線焊縫缺陷圖像的智能識(shí)別是無損檢測領(lǐng)域的一大熱點(diǎn)。針對從復(fù)雜背景中對射線圖像做出準(zhǔn)確識(shí)別問題，國內(nèi)外學(xué)者進(jìn)行了許多研究。文獻(xiàn)[1]引入主成分分析思想，對圓形缺陷和線型缺陷進(jìn)行降維從而完成兩種缺陷的分類。文獻(xiàn)[2]利用焊縫圖像邊界及區(qū)域特征對缺陷進(jìn)行描述，直接采用多類支持向量機(jī)進(jìn)行分類。文獻(xiàn)[3]提出一種基于自適應(yīng)網(wǎng)絡(luò)的模糊推理系統(tǒng)ANFIS(An adaptive-network-based fuzzy inference system)的射線焊縫缺陷識(shí)別方法，抽取12個(gè)幾何特征來描述缺陷的形狀和大小，對6類常見的缺陷進(jìn)行分類識(shí)別。文獻(xiàn)[4]引入深度學(xué)習(xí)網(wǎng)絡(luò)模型，以卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)構(gòu)建模擬大腦深度學(xué)習(xí)層次感知系統(tǒng)，最終以徑向基網(wǎng)絡(luò)對缺陷進(jìn)行識(shí)別。文獻(xiàn)[5]從25個(gè)形狀描述符中抽取代表性的9個(gè)描述符，通過訓(xùn)練多層感知機(jī)神經(jīng)網(wǎng)絡(luò)MLP(Mutil-layer perception)進(jìn)行識(shí)別。文獻(xiàn)[6]提出一種新的基于紋理特征的焊縫缺陷識(shí)別方法，提取了兩個(gè)常用的紋理特征：(1) 基于灰度共生矩陣；(2) 基于2D -Gabor 濾波器，最終使用指數(shù)展開分類器進(jìn)行識(shí)別。文獻(xiàn)[7]對缺陷圖像進(jìn)行二值化并提取特征，然后利用決策樹對焊縫圖像分類。文獻(xiàn)[8]通過設(shè)定二進(jìn)制閾值獲取分割區(qū)域，利用形態(tài)學(xué)濾波防止過分割，然而閾值的精確選取往往很難做到。文獻(xiàn)[9] 設(shè)計(jì)了基于幾何和紋理特征的多類缺陷識(shí)別專家系統(tǒng)，使用43個(gè)特征描述符對缺陷的紋理和幾何特征進(jìn)行描述，最后用三種方法，支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)、KNN對常見的6種缺陷進(jìn)識(shí)別并對比其準(zhǔn)確率。此外，在無損檢測領(lǐng)域還有一些新方法，比如文獻(xiàn)[10]提出一種基于時(shí)間序列的射線焊縫缺陷檢測方法，使幀內(nèi)分割與幀間跟蹤相結(jié)合從而完成缺陷識(shí)別。文獻(xiàn)[11]介紹一種基于自適應(yīng)參數(shù)模型的射線圖像缺陷統(tǒng)計(jì)檢測。

從已有的成果來看，射線圖像缺陷識(shí)別主要有以下幾種模型：深度學(xué)習(xí)模型、支持向量機(jī)模型、專家系統(tǒng)模型、統(tǒng)計(jì)模型。然而深度學(xué)習(xí)模型需要建立在大量樣本之上，并且需要合理控制網(wǎng)絡(luò)復(fù)雜程度，否則容易產(chǎn)生過度擬合、網(wǎng)絡(luò)退化等問題。專家系統(tǒng)則需要對焊縫缺陷特征有很專業(yè)的了解。支持向量機(jī)比較適合小樣本集的識(shí)別且分類種類相對單一，若需分類多個(gè)類別則需要構(gòu)建子分類器。并且除了基于深度學(xué)習(xí)的方法外，其他方法都需要對圖像進(jìn)行分割。然而由于射線圖像本身復(fù)雜，準(zhǔn)確的分割往往是很難做到的，從而使提取的特征不夠準(zhǔn)確，進(jìn)而導(dǎo)致識(shí)別正確率低。

針對以上問題，本文提出基于紋理特征提取的焊縫圖像缺陷識(shí)別方法。該方法綜合分析缺陷圖像紋理的全局與局部信息，提取圖像的整體輪廓特征、局部細(xì)分特征、鄰域差分特征三方面特征。然后分別計(jì)算每部分特征對應(yīng)的統(tǒng)計(jì)直方圖，并拼接到一起作為該缺陷圖像的綜合特征。最終利用最近鄰分類器做出智能識(shí)別。同時(shí)為了模擬實(shí)際生產(chǎn)中缺陷種類的復(fù)雜性，還對缺陷進(jìn)行了不同角度的旋轉(zhuǎn)。通過對某工廠980張實(shí)際焊縫圖片進(jìn)行測試，結(jié)果表明該方法準(zhǔn)確可行。

本文的創(chuàng)新點(diǎn)在于：首先該方法綜合分析缺陷圖像紋理的全局與局部信息，彌補(bǔ)了現(xiàn)有方法僅考慮單方面信息的不足；其次與基于深度學(xué)習(xí)的方法和ANFIS方法相比較具有較高的分類準(zhǔn)確率；最后和現(xiàn)有方法相比較本文方法只分析了圖像的整體輪廓特征、局部細(xì)分特征、鄰域差分特征三方面的特征，因此效率高、耗時(shí)少。

1 缺陷圖像預(yù)處理

由于采集到的射線圖像存在噪聲，首先對圖像進(jìn)行預(yù)處理。常見的去燥方法有中值濾波、均值濾波、維納濾波、小波濾波等。焊縫中噪聲主要表現(xiàn)為一些隨機(jī)分布的散點(diǎn)，這些散點(diǎn)的灰度值明顯不同于鄰居像素，類似于椒鹽噪聲。由于中值濾波對椒鹽噪聲有很好的處理效果，同時(shí)還能保持圖像中的細(xì)節(jié)信息，防止邊緣模糊，因此這里采用5×5的中值濾波器對原始圖像進(jìn)行預(yù)處理。圖1是經(jīng)過預(yù)處理后的焊縫圖像及其對應(yīng)的三維曲面圖。從圖中可以看出噪聲點(diǎn)能夠很好地被濾除，這是由于其中心像素的灰度值被鄰居像素灰度值的中值代替。

圖1 濾波前后的圖像及其對應(yīng)三維視圖

2 缺陷圖像紋理特征提取

紋理特征是圖像模式識(shí)別中最重要的特征之一，但是在X射線圖像無損檢測的自動(dòng)識(shí)別中，這種特征還沒有得到廣泛的應(yīng)用。本文采用文獻(xiàn)[12]中的結(jié)構(gòu)方差直方圖模型SDHR(Structural difference histogram representation)對缺陷圖像進(jìn)行紋理特征提取。SDHR源于局部二進(jìn)制模式LBP(Local binary pattern)，是在LBP模式上的改進(jìn)[13]。它從全局與局部兩個(gè)方面對射線圖像進(jìn)行特征描述。下面分別介紹每一部分的特征提取。

2.1 全局特征提取

全局特征提取得到的是圖像的輪廓信息。圖像的灰度直方圖描述了圖像整體灰度分布，由于不同像素帶有不同的圖像特征，為抽取焊縫圖像輪廓信息利用閾值對灰度值進(jìn)行區(qū)間劃分，將近似的像素灰度值映射到相應(yīng)的區(qū)間。對于尺寸為M×N的圖像J，它的輪廓信息J*為：

J*(x,y)=juj

(1)

式中：f(x,y)為像素點(diǎn)(x,y)處的灰度值，uj是射線圖像的第j個(gè)閾值。uj的取值按如下規(guī)則：

(2)

式中：u1是原焊縫圖像的最小灰度值，um是缺陷圖像的平均灰度值。其中δ∈2N+1，(N=1,2，…)。由上述分析可知原圖像J的灰度值被映射到了δ-1個(gè)區(qū)間，本文中δ=5取自文獻(xiàn)[12]中的值。最終變換后的圖像J*能夠表示原始缺陷圖像J的輪廓信息。對于轉(zhuǎn)變后的焊縫圖像J*，其局部區(qū)域中心像素灰度值的SSP計(jì)算如公式所示：

(3)

式中：Wj為第j個(gè)鄰域的灰度值，運(yùn)算符?·」保證了SSP值為整數(shù)，lt是中心像素鄰域的個(gè)數(shù)。這里lt=32，同樣取自文獻(xiàn)[12]中的值，即取中心像素的32鄰域，當(dāng)鄰域像素值小于lt時(shí)按雙線性插值計(jì)算?？梢钥闯?，SSP的最小值為lt，最大值為(δ-1)×lt，它的值共有(δ-2)×lt+1種，其統(tǒng)計(jì)直方圖為：

(4)

這里，當(dāng)x=y時(shí)f(x,y)=1，否則為0。

由上述方法可獲得焊縫圖像的全局特征，然而局部特征同樣是圖像特征不可或缺的一部分，接下來將介紹焊縫圖像的局部特征提取。

2.2 局部特征提取

圖像的局部特征描述了圖像的細(xì)節(jié)信息，它由兩個(gè)模式組成：細(xì)分的局部二進(jìn)制模式、鄰域差分模式。

2.2.1 細(xì)分的局部二進(jìn)制模式

細(xì)分的局部二進(jìn)制模式RLBP(Refined LBP)由三部分組成，符號(hào)、大小、局部區(qū)域中心像素值。對于一個(gè)含有P個(gè)鄰域的局部區(qū)域其中心像素Cp(x,y) (p=0,1,2，…,P-1)的符號(hào)由下式計(jì)算,本文實(shí)驗(yàn)中M=1。

(5)

類似符號(hào)的計(jì)算方式，細(xì)分模式中的大小由下式得出：

(6)

而中心像素則由取模操作獲取，取模操作用來量化GMI(x,y)：

RLBP_C=mod(GMI(x,y),lt)

(7)

GMI(x,y)的計(jì)算如公式所示：

(8)

式(8)中的取模操作用來縮小中心像素的范圍，這里lt同樣為中心像素的32鄰域。可以看出，GMI(x,y)是這些中心像素的整體大小。通過統(tǒng)計(jì)量化后GMI(x,y)的個(gè)數(shù)就可以得到它的統(tǒng)計(jì)直方圖。

由上面的方法可知RLBP的統(tǒng)計(jì)特征直方圖可由符號(hào)、大小、中心像素三部分得出。

2.2.2 鄰域差分模式

由于之前考慮的都是中心像素和鄰域像素之間的關(guān)系，沒有考慮鄰域與鄰域像素之間的關(guān)系，它們之間同樣攜帶可用的信息。鄰域之間的旋轉(zhuǎn)不變性計(jì)算如下：

(9)

式中：P是中心像素的鄰域個(gè)數(shù)。gmod(i,P)(x,y)、gmod(i+1,P)(x,y)分別是第i，i+1個(gè)鄰域。焊縫圖像的NDP特征直方圖表示了它的鄰域差分信息，其統(tǒng)計(jì)特征直方圖由下式計(jì)算：

(10)

2.3 相似度測量及分類器選擇

在基于統(tǒng)計(jì)的模式識(shí)別中，常用的測量相似度公式有歐氏距離、曼哈頓距離、馬氏距離、卡方距離等。雖然它們的形式不同，但是目的是一樣的，都能夠計(jì)算出兩個(gè)對象之間的距離。

本文中使用卡方距離計(jì)算訓(xùn)練樣本與測試樣本之間的距離，利用最近鄰分類器對缺陷圖像進(jìn)行分類。測試樣本與訓(xùn)練樣本之間的卡方距離為：

(11)

至此，通過以上原理即可完成射線缺陷圖像的智能識(shí)別，具體步驟如下：1) 對原始圖像集進(jìn)行降噪處理；2) 抽取缺陷圖像的SSP、RLBP、NDP三部分的特征直方圖；3) 對提取的特征進(jìn)行2-D聯(lián)合；4) 計(jì)算每個(gè)測試樣本與訓(xùn)練樣本之間的卡方距離；5) 使用最近鄰分類器進(jìn)行智能分類。圖2顯示了本文焊縫缺陷識(shí)別的具體框架圖。

3 實(shí)驗(yàn)及分析

本文要識(shí)別的焊縫缺陷類型有7種：裂紋、夾渣、夾鎢、未焊透、未融合、氣孔及正常。本文數(shù)據(jù)集來自某工廠實(shí)際生產(chǎn)中X射線無損檢測圖片，每類缺陷140張，共980張。實(shí)驗(yàn)中通過對常見7種缺陷進(jìn)行智能分類識(shí)別來驗(yàn)證該方法的準(zhǔn)確性。由于原始射線圖像比較大，直接作為輸入計(jì)算量將會(huì)很大。本文采用基于視覺機(jī)制獲取注意區(qū)域并將其規(guī)范至200×200大小，規(guī)范后的部分缺陷圖像如圖3所示。

3.1 在原始據(jù)集上的實(shí)驗(yàn)結(jié)果

為了測試該方法的有效性，首先將980張缺陷圖像按類別進(jìn)行遞增編號(hào)，然后從每類140張中隨機(jī)抽取30張，共210(30×7)張作為訓(xùn)練集，余下的770(110×7)張作為測試集。按照此方法，分別隨機(jī)從每類中抽取40、50、60、70、80、90、100、110、120張缺陷圖片作為訓(xùn)練集，剩下的作為測試集。為了驗(yàn)證該方法的隨機(jī)性，每類都進(jìn)行10次抽取。圖4顯示了該方法及其對比方法的平均識(shí)別正確率。

圖4 平均識(shí)別正確率

從圖4中可以看出，與采用基于深度學(xué)習(xí)模型的分類方法以及基于自適應(yīng)網(wǎng)絡(luò)的模糊推理系統(tǒng)(ANFIS)的方法相比較，本文所提出的方法識(shí)別正確率有明顯的提高。這是由于基于深度學(xué)習(xí)模型需要建立在大量的數(shù)據(jù)樣本上，剛開始訓(xùn)練樣本數(shù)據(jù)集少導(dǎo)致分類性能很差，隨著訓(xùn)練樣本的增加識(shí)別率逐漸提高，最終保持穩(wěn)定在89.72%。由于人為定義的特征有限，導(dǎo)致ANFIS方法識(shí)別準(zhǔn)確率被限制在72.13%左右。而本文所提出的方法能夠提取缺陷的全局與局部特征從而達(dá)到較高的識(shí)別率。

3.2 在旋轉(zhuǎn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

由于在實(shí)際生產(chǎn)過程中缺陷的種類是各種各樣，以裂紋為例，其裂紋方向是不確定的，可以是縱向裂紋、橫向裂紋及其他方向裂紋。為了盡可能的模擬實(shí)際生產(chǎn)中的缺陷，對980張?jiān)既毕輬D進(jìn)行(0°、5°、10°、15°、30°、45°、60°、75°、90°)9個(gè)不同角度的旋轉(zhuǎn)，得到8 820(980×9)200×200個(gè)樣本集。圖5展示了旋轉(zhuǎn)后的部分缺陷圖像。

圖5 旋轉(zhuǎn)后部分缺陷圖像

從中選取中心128×128大小作為旋轉(zhuǎn)后的圖像。此時(shí)每類樣本個(gè)數(shù)為1 260(140×9) 128×128，從中隨機(jī)選取1 000個(gè)作為訓(xùn)練集，剩余260個(gè)為測試集進(jìn)行測試。表1顯示了該方法及對比方法在原始數(shù)據(jù)集和旋轉(zhuǎn)數(shù)據(jù)集上執(zhí)行10次的平均識(shí)別正確率。

表1 平均識(shí)別正確率 %

從表中可以看出本文方法明顯優(yōu)于其他兩種方法。旋轉(zhuǎn)后造成文獻(xiàn)[3]中方法識(shí)別率低的原因可能在于:1) 該方法需要對缺陷位置進(jìn)行準(zhǔn)確分割才能對其進(jìn)行幾何特征提取，而射線圖片噪聲對圖像分割有很大的影響；2) 對于復(fù)雜的大規(guī)模缺陷數(shù)據(jù)集而言，12個(gè)描述符已經(jīng)不能夠表達(dá)焊縫缺陷的全部特征，從而使其分類準(zhǔn)確率下降到80.23%。對于深度學(xué)習(xí)模型，由于其訓(xùn)練樣本的增多使其識(shí)別率進(jìn)一步提高，但仍然低于本文方法。而本文的方法在局部特征提取中，細(xì)分局部二進(jìn)制模式和鄰域差分模式具有旋轉(zhuǎn)不變性，從而對不同方向的缺陷具有很好的魯棒性。同時(shí)，本文方法不需對缺陷圖像進(jìn)行分割，所以降低了因分割導(dǎo)致的誤識(shí)別。表2顯示的是旋轉(zhuǎn)后取其中一次的各類分類正確率。

表2 單類平均識(shí)別正確率 %

續(xù)表2

3.3 平均耗時(shí)

本文的實(shí)驗(yàn)在Inter Core i3-3320 CPU，3.3 GHz，4 GB內(nèi)存， MATLAB(2013 Ra)環(huán)境下執(zhí)行，為了測試該算法的平均耗時(shí)，對原始980張樣本集進(jìn)行10次測試，表3顯示了本文方法及其對比方法的平均耗時(shí)。從表中可以看出文獻(xiàn)[3]中方法的平均耗時(shí)是本文方法的3倍多，文獻(xiàn)[4]中方法的平均耗時(shí)是本文方法的2倍多，因此本文法在缺陷檢測中具有很高的效率。這是因?yàn)樯疃葘W(xué)習(xí)模型中網(wǎng)絡(luò)構(gòu)建特征過程有訓(xùn)練網(wǎng)絡(luò)、獲取節(jié)點(diǎn)權(quán)值過程，這一部分是最耗時(shí)的地方。然而本文方法沒有訓(xùn)練過程，直接分析缺陷圖像結(jié)構(gòu)，因此計(jì)算速度快。

表3原始數(shù)據(jù)集(980張)耗時(shí)秒

實(shí)驗(yàn)方法本文方法文獻(xiàn)[3]方法文獻(xiàn)[4]方法平均耗時(shí)3621137843

4 結(jié) 語

本文對焊縫缺陷圖像的識(shí)別進(jìn)行了研究，分析了當(dāng)前無損檢測領(lǐng)域缺陷識(shí)別存在的問題，提出一種基于紋理特征的射線焊縫缺陷識(shí)別方法。該方法從全局與局部兩方面分析缺陷圖像特征，直接提取圖像的整體輪廓特征、局部細(xì)分特征、鄰域差分特征，不需要對圖像進(jìn)行分割，能夠降低因分割不準(zhǔn)確導(dǎo)致的誤識(shí)別。通過對常見缺陷(裂紋、夾渣、夾鎢、未焊透、未融合、氣孔)進(jìn)行識(shí)別，結(jié)果表明該方法能夠很好的濾除噪聲，提高特征提取的精度，能夠識(shí)別方向復(fù)雜的缺陷且具有旋轉(zhuǎn)不變性。同時(shí)，運(yùn)行速度快、效率高，能滿足實(shí)際需要。

本文方法所研究的焊縫缺陷圖像光照較為均勻，然而由于實(shí)際環(huán)境中成像條件的限制，往往會(huì)造成焊縫圖像的光照不均勻。對光照不均勻條件下的缺陷圖像識(shí)別將是下一個(gè)研究的重點(diǎn)。

參考文獻(xiàn)

[1] 高煒欣, 胡玉衡, 武曉朦,等. 埋弧焊X射線焊縫缺陷圖像分類算法研究[J]. 儀器儀表學(xué)報(bào), 2016,37(3):518-524.

[2] 申清明,高建民,李成.焊縫缺陷類型識(shí)別方法的研究[J].西安交通大學(xué)學(xué)報(bào),2010,44(7):100-103.

[3] Zapata J, Vilar R, Ruiz R. An adaptive-network-based fuzzy inference system for classification of welding defects[J]. Ndt & E International, 2010,43(3):191-199.

[4] 余永維, 殷國富, 殷鷹,等. 基于深度學(xué)習(xí)網(wǎng)絡(luò)的射線圖像缺陷識(shí)別方法[J]. 儀器儀表學(xué)報(bào), 2014,35(9):2012-2019.

[5] Lim T Y, Ratnam M M, Khalid M A. Automatic classification of weld defects using simulated data and an MLP neural network[J].Insight - Non-Destructive Testing and Condition Monitoring, 2007,49(3):154-159.

[6] Mery D, Berti M A. Automatic detection of welding defects using texture features[J].Insight - Non-Destructive Testing and Condition Monitoring, 2003,45(10):676-681.

[7] 鐘映春.基于決策樹的焊縫缺陷類型識(shí)別研究[J]. 計(jì)算機(jī)工程與應(yīng)用, 2008,44(20):226-228.

[8] Carrasco M A, Mery D. Segmentation of welding defects using a robust algorithm[J]. Materials Evaluation, 2004,62(11):1142-1147.

[9] Valavanis I, Kosmopoulos D. Multiclass defect detection and classification in weld radiographic images using geometric and texture features[J].Expert Systems with Applications, 2010, 37(12):7606-7614.

[10] 田原, 都東, 侯潤石,等. 基于X射線圖像序列的焊縫缺陷自動(dòng)檢測方法[J]. 清華大學(xué)學(xué)報(bào)(自然科學(xué)版), 2007,47(8):1278-1281.

[11] Cogranne R, Retraint F. Statistical detection of defects in radiographic images using an adaptive parametric model[J].Signal Processing, 2014, 96(5):173-189.

[12] Feng J, Liu X, Dong Y, et al. Structural difference histogram representation for texture image classification[J].Iet Image Processing, 2017,11(2):118-125.

[13] Ojala T, Harwood I. A Comparative Study of Texture Measures with Classification Based on Feature Distributions[J]. Pattern Recognition,1996,29(1):51-59.