王 姮, 王 曼, 張 華, 劉桂華

(西南科技大學(xué)特殊環(huán)境機器人技術(shù)四川省重點試驗室，四川 綿陽 621010)

基于PCA模式和顏色特征的鋼軌表面缺陷視覺顯著性檢測

王 姮, 王 曼, 張 華, 劉桂華

(西南科技大學(xué)特殊環(huán)境機器人技術(shù)四川省重點試驗室，四川 綿陽 621010)

針對現(xiàn)有機器視覺缺陷檢測方法存在缺陷顯著性不明顯、魯棒性較弱等問題，提出一種主成分分析(PCA)模式和顏色特征相融合的鋼軌表面缺陷視覺顯著性檢測方法。為解決傳統(tǒng)模式特征計算效率低的問題，對PCA模式特征進行改進。利用缺陷圖塊的顏色特征與銹跡、斑痕等普通圖塊的差別較大這一特點，對鋼軌表面缺陷進行顯著性檢測。試驗結(jié)果表明，該方法可以處理不同形狀的軋疤、軋痕類缺陷，缺陷顯著性效果較好，能準確地顯示缺陷形狀、位置等信息。

鋼軌; 高斯分布; PCA模式特征; 顏色特征; 機器視覺; 顯著性檢測; 圖像識別

0 引言

目前，鋼軌表面缺陷檢測的方法主要有射線探傷法、超聲磁粉法、電渦流法以及機器視覺法，但這些方法都有各自的不足。同其他方法相比，機器視覺技術(shù)具有非接觸、速度快、精度高、抗干擾性強等優(yōu)點[1]。機器視覺作為一門新興且實用的技術(shù)，已被廣泛應(yīng)用于輪胎裂紋檢測、路面檢測以及帶鋼表面檢測等諸多領(lǐng)域。

鋼軌表面缺陷檢測技術(shù)在國內(nèi)發(fā)展較慢。2010年，徐科等人利用結(jié)構(gòu)光三維檢測和圖像識別方法，根據(jù)鋼軌表面深度變化及二維圖像處理信息，實現(xiàn)鋼軌表面缺陷的自動檢測[2]。這種方法受相機標(biāo)定和激光線提取精度影響，缺陷顯著性不明顯、魯棒性較低。2014年，中南大學(xué)夏利民等人提出了基于圖像差異和視覺反差的檢測[1]法。這種方法受光照影響較大，只能處理鋼軌表面比較光滑、無反光的缺陷圖像。此外，湖南大學(xué)賀振東、王耀南等人提出了反向P-M擴散的鋼軌表面缺陷視覺檢測[3]法。這種方法對參數(shù)比較敏感，需要手動設(shè)定合適的參數(shù)，才能達到理想的檢測效果，魯棒性較低。2015年，北京交通大學(xué)陳后金等人提出的灰度-梯度共生矩陣法檢測[4]法。這種方法只能處理高對比度的缺陷圖像，而鋼軌缺陷圖像大多是低對比度，灰度值較為接近。采用這種方法難以檢測出缺陷的具體位置信息。

針對上述機器視覺缺陷檢測方法存在的局限性大、缺陷顯著性不明顯、魯棒性較弱等缺點，本文對缺陷圖像的模式和顏色特征進行研究，分析了缺陷圖像與銹跡、斑痕等普通圖像存在模式和顏色特征的特殊性。試驗證明，基于PCA模式和顏色特征的鋼軌表面缺陷視覺顯著性檢測方法自適應(yīng)性較強，可以處理不同形狀的軋疤、軋痕類缺陷，并且不受缺陷圖像的普通復(fù)雜度、對比度、光照等因素的影響，缺陷顯著性突出。

1 缺陷圖像的模式特征顯著性計算

傳統(tǒng)圖像模式特征顯著性計算，如傅里葉頻譜殘差(spectrum residual,SR)、上下文感知(context aware,CA)[5-13]，是以塊為單位遍歷整幅圖像，比較圖塊之間的距離。這里的圖塊是將每一張圖像分成若干個圖塊。如果一個圖塊的特殊性強于圖像中的其他圖塊，則認為該圖塊是顯著的。這種方法在多數(shù)情況下比較適用，但是它忽略了像素之間的關(guān)聯(lián)性，因此在有些情況下會產(chǎn)生誤差。此外，由于要計算每個圖塊間的距離，這種計算方法效率較低。

1.1 基于PCA的模式特征顯著性計算

為了提高模式特征計算的效率，本文提出了一種基于主成分分析(principal component analysis,PCA)的模式特征計算方法。首先將一幅鋼軌缺陷圖像分成若干個l×l(這里的l由圖像的分辨率而定)的圖像塊pi，這里pi表示以像素點i為中心的圖塊，平均圖塊pv定義如下：

(1)

這里，Si,v為兩個圖像塊之間的方差，利用圖塊間的距離dposition(pi,pv)大小定義缺陷圖塊的模式特征：即dposition(pi,pv)較大時，說明該圖塊為顯著圖塊；反之，則為普通圖塊。這種方法沒有考慮圖像中圖塊的分布情況，會存在一定的誤差。采用本文算法，對上述模型加以修正，即先對圖像進行主成分分析，再進行距離計算。定義模式特征P(pi)是PCA坐標(biāo)系統(tǒng)下的L1范式(L1范式可以產(chǎn)生比較稀疏的解，具備一定的特征選擇的能力，在對高維特征空間進行求解時比較有用)：

(2)

1.2 圖像PCA模式特征顯著性計算的試驗分析

首先從顯著性檢測的通用數(shù)據(jù)庫[8]中隨機選擇200張圖片，然后從采集的缺陷圖片中隨機選擇200張鋼軌軋疤和200張軋痕的缺陷圖片，將600張圖片中的每一張分成若干個圖像塊；計算平均圖像塊與每個圖像塊和平均圖像塊之間的距離，將距離進行歸一化，這樣就得到顯著圖塊與普通圖塊之間的密度區(qū)分圖。

密度區(qū)分圖如圖1所示，實線表示普通圖塊，虛線表示顯著圖塊。

圖1 密度區(qū)分圖

通過分析圖1，我們可以得到粗略判斷一個圖塊是缺陷圖塊或是普通圖塊的方法，即判斷圖塊與平均圖塊之間的距離。如果距離較小，即認為該圖塊為普通圖塊；反之，則認為是缺陷圖塊。

但是這個判斷條件是不充分的。假如在2張不同的圖片中含有1個相同的圖像塊，同時2張圖片的平均圖塊相同，按照上述結(jié)論，該圖塊與平均圖塊之間的距離在2張圖片中是相同的。但是如果該圖塊在第一張圖片中是顯著的，在第二張圖片中不一定是顯著的。PCA坐標(biāo)系統(tǒng)下的圖塊分布如圖2所示。

圖2 PCA坐標(biāo)系統(tǒng)下的圖塊分布圖

假設(shè)有2張不同的圖片，pi是2張圖片都存在的圖塊，且2張圖片共有一個平均圖塊pv,2張圖片的主成分分別標(biāo)記為Img1和Img2。按照上述的判斷條件，pi與pv之間的距離是相等的，因此顯著程度在一個等級上，但是圖塊pi沿著主成分線到平均圖塊pv的距離不相等(d2>d1)。換句話說，與Img1相比，該圖塊在Img2中更顯著。因此，圖像的模式特征不僅要考慮圖塊與平均圖塊間的距離，還應(yīng)該考慮圖片中圖塊的分布。

2 基于顏色特征的顯著性計算

顏色特征顯著性檢測結(jié)果如圖3所示。盡管模式特征可以判斷圖像中一個圖像塊是否為缺陷圖塊，但是對于大多數(shù)缺陷圖像而言，它并非充要條件，如圖3(a)所示?；ǘ淠Ｊ教卣飨嗤?，但顏色特征不同，這種情況下特殊的顏色區(qū)域被認為是顯著的，如圖3(b)所示，因此顏色特征是圖像顯著性計算的必要條件。

圖3 顏色特征顯著性檢測結(jié)果圖

由于鋼軌表面會有大量的銹跡、斑痕等，而較淺軋痕、刮痕類缺陷與銹跡、斑痕等相比，顏色差異較大，但是局部圖塊差異不大。在這種情況下，如果采用模式特征檢測，會出現(xiàn)誤差較大、顯著性位置定位錯誤等問題，因此就必須采用顏色特征來檢測缺陷。本文檢測顏色差異的圖塊采用以下2個步驟。第一步，采用簡單線性迭代聚類(simple linear iterative clustering,SLIC)超像素分割法[9]將圖片分割成若干個圖塊，然后再確定哪個圖塊有獨特的顏色。第二步，把LAB顏色空間中該圖塊與其他圖塊的距離之和定義為該圖塊有顏色差異。假設(shè)有個圖塊，圖塊的顏色區(qū)分度定義為：

(3)

3 基于模式特征和顏色特征的顯著性融合

結(jié)合模式特征和顏色特征來檢測一幅圖像中的顯著性圖塊。為了使模式和顏色區(qū)分度相融合，將結(jié)果歸一化到[0,1]范圍內(nèi)，區(qū)分度映射定義如下：

D(pi)=P(pi)×C(pi)

(4)

由于視覺上顯著像素往往是集群形式，它們對應(yīng)于真實場景中的物體，為了進一步修正顯著模型，人們通常將較為顯著的目標(biāo)放置在圖片的近似中心處。因此，采用迭代閾值不同的區(qū)分度映射D(pi)檢測不同像素的集。閾值均勻分布在[0,1]區(qū)間。計算每個閾值結(jié)果的重心，在重心處放置一個δ=10 000的高斯分布，根據(jù)閾值，分配給高斯分布一個相應(yīng)的權(quán)重。此外，在圖像中心處增加一個權(quán)重為5的高斯分布，這樣就得到了一個高斯權(quán)重映射G(pi)，表示所有高斯分布的加權(quán)和。進一步定義顯著性映射S(pi)，將區(qū)分度映射和高斯權(quán)重映射融合，即：

S(pi)=G(pi)×D(pi)

(5)

4 試驗結(jié)果及分析

試驗采用的運動平臺主要用來模擬生產(chǎn)流水線實現(xiàn)鋼軌的傳送功能，包括傳送帶、電機、編碼器等。線陣相機選用Basler線陣相機，該相機清晰度和分辨率都較高。在綜合考慮鋼軌表面的高反光特性、光源照明亮度、均勻度以及幾何形狀等因素后，選用MVLZ公司MVLZ8080-W型號的大功率LED線型光源(條形光源)。照明方案選用型號為E6C2-CWZ6C、2 000線的編碼器。工件采用含有銹跡、斑痕等隨機噪聲的軋疤、軋痕類缺陷的鋼軌圖像進行顯著圖檢測。

兩種不同形狀的軋疤和軋痕缺陷圖如圖4所示。

圖4 兩種不同形狀的軋疤和軋痕缺陷圖

經(jīng)過本文算法的處理，效果如圖5、圖6所示。圖5是對圖4(a)進行處理的結(jié)果，圖6是對圖4(b)進行處理的結(jié)果。

圖5 軋疤顯著性檢測示意圖

圖6 軋痕顯著性檢測示意圖

試驗結(jié)果主觀上反映了本文算法具有魯棒性好、自適應(yīng)性強的優(yōu)勢。

除了上述主觀性的評價外，本文采用了文獻[14]、文獻[15]的方法，對本文算法與目前主流的算法的性能作了定性的評估。圖7描述了不同算法的受試者工作特性(receiver operating characteristic,ROC)曲線。曲線下面積(area under curve,AUC)越大，說明該算法正確率越高，即診斷準確性越好。本文繪制ROC曲線的數(shù)據(jù)庫圖像來自MSRA[8]數(shù)據(jù)庫中的60多張圖片和采集的60多張缺陷圖片。ROC曲線如表1所示。從表1可以看出，本文算法的AUC分數(shù)高于其他算法的AUC分數(shù)，因此本文算法優(yōu)于其他幾種算法，具有較好的診斷準確性。

圖7 ROC 曲線圖

算法AUC分數(shù) RC0．6152 LR0．6549 PD0．6733 HI0．7085 本文算法0．8232

5 結(jié)束語

本文對鋼軌圖像缺陷圖塊模式和顏色特征進行了研究，提出了基于PCA模式和顏色特征的鋼軌表面缺陷顯著性檢測。該方法首先計算出基于PCA的模式特征，在此基礎(chǔ)上結(jié)合建立的顏色顯著性模型，最后對融合模型加以修正，提高模型精確度。本文方法不受缺陷圖像的普通復(fù)雜度、對比度、光照等因素的影響，且試驗結(jié)果與實際相符。本文提出的算法具有很高的應(yīng)用價值。后期工作主要是結(jié)合機器學(xué)習(xí)方法對檢測到的缺陷加以分類，以提高檢測智能化。

[1] 夏利民，蔡南平，楊寶娟.基于圖像差異和視覺反差的鋼軌表面缺陷檢測[J].計算機工程與設(shè)計，2014，35(6)：2052-2055.

[2] 徐科，楊朝霖，周鵬,等.基于激光線光源的鋼軌表面缺陷三維檢測方法[J].機械工程學(xué)報，2010，46(8)：1-5.

[3] 賀振東，王耀南，毛建旭，等.基于反向P-M擴散的鋼軌表面缺陷視覺檢測[J].自動化學(xué)報，2014，40(8)：1667-1679.

[4] 陳后金，許文達，郝曉莉.基于灰度梯度共生矩陣的鋼軌表面缺陷檢測方法[J].北京交通大學(xué)學(xué)報，2015，39(2)：7-12.

[5] CHANG K Y，LIU T L，CHEN H T.Fusing generic objectness and visual saliency for salient object detection[C]// International Conference on Computer Vision.Barcelona,Spain：IEEE Process，2011： 914-921.

[6] GOFERMAN S，MANOR L Z，TAL A.Context-aware saliency detection [C]//International Conference on Computer Vision and Pattern Recognition.San Francisco，USA：IEEE Process，2010：2376-2383.

[7] SEO H J，MILANFAR P.Nonparametric bottom-up saliency detection by self-resemblance [C] // Computer Society Conference on Computer Vision and Pattern Recognition.Miami，USA：IEEE Process，2009：2376-2383.

[8] LIU T，SUN J.Learning to detect a salient object[C] // International Conference on Computer Vision and Pattern Recognition.Minneapolis，USA：IEEE Process，2007：1-8.

[9] ACHANTA R，SHAJI A，SMITH K.SLIC superpixels compared to state-of-the-art superpixel methods [J].Pattern Analysis and Machine Intelligence，2012，34(11)：2274-2282.

[10]CHENG M M，MITRA N J，HUANG L X.Global contrast based salient region detection[J].Pattern Analysis and Machine Intelligence，2011，37(3)：569-582.

[11]SHEN X H，WU Y .A unified approach to salient object detection via low rank matrix recovery[C]// International Conference on Computer Vision and Pattern Recognition.Providence，USA: IEEE Process，2012：853-860 .

[12]LONG M，NIU Y Z，LIU F.Saliency aggregation:a data-driven approach[C]//International Conference on Computer Vision and Pattern Recognition.Portland，USA：IEEE Process，2013：1131-1138.

[13]CHE Z H，ZHAI G T.A hierarchical saliency detection approach for bokeh images [C] // Multimedia Signal Processing.Xia Men，China：IEEE Process，2015：1-6.

[14]郭迎春，袁浩杰，吳鵬.基于Local特征和Regional特征的圖像顯著性檢測[J].自動化學(xué)報,2013，39(8)：1214-1224.

[15]馬小龍，謝旭東，林健文,等.基于魯棒主成分分析和多個色彩通道的顯著性檢測[J].清華大學(xué)學(xué)報，2014，54(8)：1122-1126.

Vision Saliency Detection of Rail Surface Defects Based on PCA Model and Color Features

WANG Heng, WANG Man, ZHANG Hua, LIU Guihua

(Robot Technology Used for Special Environment Key Laboratory of Sichuan Province,Southwest University of Science and Technology, Mianyang 621010, China)

In view of the existing problems of unobvious defect saliency,weak robustness, etc.,the visual saliency detection method based on PCA mode and color features for rail surface defects is proposed. To overcome the disadvantage of low efficiency in traditional mode feature calculation, the improvement is conducted by using PCA mode feature. The color features of the defect image blocks are quite different from the ordinary image blocks of the rust and scar, so the saliency of the surface defects can be detected. The test results indicate that this method can be applied to deal with the defects of rolling scar or rolling marks with different shapes, and offers better defect saliency; in addition, it can display more information about the shapes and locations of the defects.

Rail; Gaussian distribution; PCA model features; Color features; Machine vision; Saliency detection; Image recognition

四川省重點實驗室開放基金(13zxtk05)、校創(chuàng)新團隊基金(14tdtk01)資助項目

王姮(1971—)，女，碩士，教授，主要從事機器人技術(shù)及應(yīng)用、自動化技術(shù)的研究和應(yīng)用。E-mail:29949988@qq.com。

TH7;TP391

A

10686/j.cnki.issn 1000-0380.201701018

修改稿收到日期:2016-06-18