趙燕飛， 楊彥利， 王麗娟

(天津工業(yè)大學(xué) 天津市光電檢測(cè)技術(shù)與系統(tǒng)重點(diǎn)實(shí)驗(yàn)室， 天津 300387)

基于顯著性和深度卷積神經(jīng)網(wǎng)絡(luò)的輸送帶表面故障定位

趙燕飛， 楊彥利， 王麗娟

(天津工業(yè)大學(xué) 天津市光電檢測(cè)技術(shù)與系統(tǒng)重點(diǎn)實(shí)驗(yàn)室， 天津 300387)

提出了一種基于顯著性和深度卷積神經(jīng)網(wǎng)絡(luò)的輸送帶表面故障定位方法。該方法在輸送帶上、下表面的邊緣烙上數(shù)字，利用圖像處理技術(shù)檢測(cè)輸送帶圖像中的數(shù)字來間接定位輸送帶表面故障。首先，將采集的輸送帶圖像進(jìn)行高斯濾波、灰度線性變換等預(yù)處理，以提高圖像質(zhì)量、增強(qiáng)背景與目標(biāo)的對(duì)比度；然后根據(jù)譜殘差理論對(duì)預(yù)處理后的圖像進(jìn)行視覺顯著性處理，獲取包含數(shù)字區(qū)域的視覺顯著圖；最后，運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)對(duì)顯著圖進(jìn)行分類，以區(qū)分出數(shù)字區(qū)域和非數(shù)字區(qū)域。實(shí)驗(yàn)結(jié)果表明，該方法可以很好地檢測(cè)輸送帶圖像上的數(shù)字，進(jìn)而實(shí)現(xiàn)對(duì)輸送帶表面故障的定位。

輸送帶； 故障定位； 神經(jīng)網(wǎng)絡(luò)； 視覺顯著性； 圖像處理

0 引言

輸送帶是帶式輸送機(jī)的重要工作部件，在眾多行業(yè)應(yīng)用廣泛。輸送帶工作過程中容易發(fā)生劃傷、縱向撕裂、破損等表面故障，輸送帶的安全可靠運(yùn)行日益受到重視。隨著現(xiàn)代科技的迅猛發(fā)展，輸送帶運(yùn)行狀態(tài)監(jiān)測(cè)技術(shù)水平得到了快速提升。目前，基于機(jī)器視覺的輸送帶故障檢測(cè)技術(shù)開始受到關(guān)注，已經(jīng)取得一定成果[1-4]。由于輸送帶首尾相連，循環(huán)運(yùn)行，即使利用機(jī)器視覺等技術(shù)發(fā)現(xiàn)了其劃傷等故障，在檢修過程中查找故障位置仍需要耗費(fèi)大量的時(shí)間、人力和物力。因此，輸送帶故障區(qū)域定位成為輸送帶視覺監(jiān)測(cè)的一個(gè)重要技術(shù)問題。

針對(duì)輸送帶的故障定位問題，崔巖等[5]將實(shí)時(shí)性好的CAN總線用于帶式輸送機(jī)運(yùn)行故障定位系統(tǒng)，系統(tǒng)向各分站發(fā)送地址并接收分站發(fā)回的檢測(cè)信息。洪留榮等[6]以接頭為基準(zhǔn)參考點(diǎn)，提出了一種基于圖像處理技術(shù)的強(qiáng)力輸送帶接頭識(shí)別算法，并將其應(yīng)用于強(qiáng)力輸送帶X光無損檢測(cè)系統(tǒng)中。這些方法雖然不是針對(duì)輸送帶視覺檢測(cè)的表面故障定位問題，但具有一定的借鑒意義。本文提出一種基于機(jī)器視覺的輸送帶表面故障定位方法，利用數(shù)字容易被維修人員辨認(rèn)的特點(diǎn)，以數(shù)字為基準(zhǔn)點(diǎn)，在輸送帶上、下表面的邊緣烙上數(shù)字，采用圖像處理技術(shù)檢測(cè)輸送帶圖像上的數(shù)字，從而間接定位輸送帶表面故障區(qū)域。

1 輸送帶圖像數(shù)字檢測(cè)流程

在實(shí)驗(yàn)室搭建的輸送帶故障視覺檢測(cè)平臺(tái)如圖1所示。利用線陣CCD相機(jī)實(shí)時(shí)采集輸送帶圖像，采集到的圖像分為帶有數(shù)字的圖像和無數(shù)字圖像。若在帶數(shù)字的圖像上檢測(cè)出故障，就可以通過該數(shù)字來對(duì)故障進(jìn)行定位。由于數(shù)字以一定的間隔烙在輸送帶上，即使檢測(cè)到?jīng)]有數(shù)字的輸送帶圖像，也可以根據(jù)采集圖像的時(shí)序性，利用插值方法估計(jì)出與當(dāng)前圖像對(duì)應(yīng)的輸送帶位置，從而減少因排查故障而造成的停機(jī)時(shí)間。

通過觀察輸送帶的原始圖像，發(fā)現(xiàn)輸送帶圖像中數(shù)字比背景稍暗，且占整個(gè)圖像的很小一部分?；诖颂攸c(diǎn)，本文設(shè)計(jì)了基于視覺顯著性和卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNNs)的輸送帶圖像數(shù)字檢測(cè)方法，方法流程如圖2所示。該方法包括3個(gè)步驟：圖像預(yù)處理、粗定位和精定位。 圖像預(yù)處理是為了提高圖像質(zhì)量，增強(qiáng)背景與

圖1 輸送帶故障視覺檢測(cè)平臺(tái)

圖2 輸送帶圖像數(shù)字檢測(cè)的流程

目標(biāo)的對(duì)比度，以便于后續(xù)的數(shù)字識(shí)別。本文采用高斯濾波來消除噪聲，平滑圖像；對(duì)濾波后的圖像進(jìn)行灰度線性變換，以增加目標(biāo)和背景的對(duì)比度。線性灰度變換函數(shù)L(·)的定義如下[7]：

(1)

式中：DB表示輸出圖像的灰度；DA表示輸入圖像的灰度；fA表示線性函數(shù)的斜率；fB表示線性函數(shù)在y軸的截距。

當(dāng)fA>1時(shí)，輸出圖像的對(duì)比度將增大；當(dāng)fA<1時(shí)，輸出圖像的對(duì)比度將減小。

粗定位即利用視覺顯著性對(duì)數(shù)字區(qū)域進(jìn)行初步定位。利用譜殘差理論對(duì)預(yù)處理后的圖像進(jìn)行譜殘差顯著性提取，獲取預(yù)處理后圖像的顯著圖，進(jìn)而得到圖像的視覺顯著性區(qū)域。在粗定位過程中獲取的顯著性區(qū)域不僅包含數(shù)字，還會(huì)有一些特殊的背景。這就需要對(duì)粗定位后的圖像進(jìn)行進(jìn)一步處理，精定位就是為此而設(shè)計(jì)的。本文運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)來進(jìn)一步區(qū)分粗定位獲取的顯著性區(qū)域，首先設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，用粗定位得到的輸送帶顯著性區(qū)域訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，得到卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)，并測(cè)試網(wǎng)絡(luò)性能，最終實(shí)現(xiàn)輸送帶數(shù)字區(qū)域的精確高效識(shí)別。

2 粗定位

觀察經(jīng)過預(yù)處理的輸送帶圖像，發(fā)現(xiàn)數(shù)字在整個(gè)輸送帶圖像中占很小的區(qū)域，可以將具有選擇性的視覺注意機(jī)制引入輸送帶數(shù)字檢測(cè)中，提高圖像分析的效率，降低運(yùn)行時(shí)間。Itti和Koch[8-9]闡述了視覺顯著性功能和原理。他們認(rèn)為視覺顯著性突出了場(chǎng)景中與眾不同的位置，用于吸引視覺注意力。其核心是一個(gè)自下而上、刺激驅(qū)動(dòng)的信號(hào)，通常是通過待識(shí)別目標(biāo)與背景的不同來生成顯著圖。Barlow[10]的有效編碼假說和信息論相關(guān)理論表明，圖像中包含的信息由特殊部分和冗余部分組成，人類的視覺系統(tǒng)會(huì)過濾掉冗余的部分，而剩下的特殊部分就是引起視覺注意的顯著部分。Hou等[11]提出了譜殘差方法，從分析圖像頻譜的角度出發(fā)，計(jì)算圖像中的顯著性區(qū)域。參考文獻(xiàn)[12]指出，人類有一種對(duì)人臉與文字的定位能力，此能力在某種程度上與圖像傅里葉幅度譜中的信息相關(guān)，而Hou等提出的譜殘差顯著性算法恰是基于圖像傅里葉幅度譜的。因此，本文采用譜殘差顯著性算法對(duì)輸送帶數(shù)字進(jìn)行定位。

首先將輸送帶圖像I(x)從空間域轉(zhuǎn)換到頻率域，得到輸送帶圖像的幅度譜，然后對(duì)輸送帶圖像的幅度譜取對(duì)數(shù)，得到log譜。獲得log譜的過程如下[11]：

(2)

(3)

(4)

式中：A(f)表示傅里葉變換后的幅值；F(·)表示二維離散傅里葉變換；P(f)表示傅里葉變換后的相位；φ(·)表示相位函數(shù)；L(f)表示log譜。

大量實(shí)驗(yàn)表明，不同圖像log譜的曲線分布趨勢(shì)極其相似，而且曲線滿足局部線性條件[11]。因此，用局部平均濾波器hn(f)對(duì)log譜進(jìn)行平滑濾波，可獲得log譜的大致形狀。將經(jīng)過平滑濾波的log譜作為圖像的冗余信息，其表達(dá)式如下[11]：

U(f)=L(f)*hn(f)

(5)

式中：U(f)為均值濾波后的log譜；hn(f)為濾波算子，是n×n的矩陣，定義為

(6)

將譜殘差R(f)定義為原log譜減去均值濾波后的log譜，其表達(dá)式為

R(f)=L(f)-U(f)

(7)

對(duì)頻率域的譜殘差信息進(jìn)行傅里葉反變換，得到空間域的顯著圖S(x)，其表達(dá)式為

(8)

最后對(duì)S(x)進(jìn)行高斯模糊濾波就可以得到輸送帶原始圖像的顯著圖。

利用實(shí)驗(yàn)室所采集的圖像進(jìn)行顯著性分析，樣圖如圖3所示。第1列為輸送帶原始圖像；第2列是對(duì)應(yīng)的譜殘差顯著性圖像，圖像中的亮度表示顯著性程度，越亮代表越顯著；第3列是對(duì)譜殘差顯著圖做二值化后的圖像。第1列的第1幅圖像在圖像的邊緣包含2個(gè)數(shù)字3，第2列第1幅圖像中，譜殘差視覺顯著性算法成功抑制了輸送帶圖像中的非顯著區(qū)域，并突出了包含數(shù)字的顯著區(qū)域。對(duì)譜殘差顯著圖進(jìn)行二值化處理后，可清楚地看到凸顯的數(shù)字3的區(qū)域。第1列的第2幅圖像包含2個(gè)數(shù)字6，第2列的第2幅圖像中不僅包含數(shù)字的顯著性區(qū)域，還同時(shí)保留了輸送帶中其他顯著元素，通過精定位可有效抑制干擾元素。

圖3 譜殘差視覺顯著性分析樣圖

3 精定位

在顯著性區(qū)域中，可以分為有數(shù)字區(qū)域和非數(shù)字區(qū)域，本文采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)顯著性區(qū)域進(jìn)行分類，去除非數(shù)字區(qū)域。

CNNs是基于深度學(xué)習(xí)理論的一種人工神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)可直接將圖像數(shù)據(jù)作為輸入，避免了圖像預(yù)處理和特征提取等復(fù)雜操作[13]，被廣泛應(yīng)用于圖像識(shí)別領(lǐng)域。它不僅可顯著提升識(shí)別準(zhǔn)確率，而且在特征提取速度方面也優(yōu)于許多傳統(tǒng)方法[14-15]。CNNs是一種多層神經(jīng)網(wǎng)絡(luò)，由卷積層和下采樣層交替組成，每層又分為多個(gè)平面，而每個(gè)平面又包含多個(gè)獨(dú)立神經(jīng)元。關(guān)于CNNs的理論推導(dǎo)見參考文獻(xiàn)[16]。

本文采用6層網(wǎng)絡(luò)，CNNs由2個(gè)卷積層、2個(gè)下采樣層交替組成，如圖4所示。

圖4 CNNs結(jié)構(gòu)

有關(guān)檢測(cè)輸送帶數(shù)字的CNNs框架的詳細(xì)描述如下。

輸入層I：CNNs能夠?qū)ΧS圖像的特征進(jìn)行自主學(xué)習(xí)，在確保輸入圖像細(xì)節(jié)信息的情況下，為減少數(shù)據(jù)量，將通過顯著性得到的區(qū)域進(jìn)行灰度化，通過插值計(jì)算變化為28×28大小的圖像，將該圖像歸一化后作為網(wǎng)絡(luò)的輸入數(shù)據(jù)。

S1層是下采樣層，其目的是減小C1層特征圖的大小。對(duì)C1層中非重疊的2×2大小的區(qū)域求和，再乘以一個(gè)權(quán)重，加上一個(gè)偏置，最終獲得6個(gè)12×12大小的特征圖。為防止丟失更多圖像細(xì)節(jié)特征，選用2×2大小的下采樣域。每個(gè)子采樣特征圖需要訓(xùn)練2個(gè)參數(shù)，S1層共有6×2=12個(gè)參數(shù)需要訓(xùn)練。

C2層也是一個(gè)特征提取層，最終獲得12個(gè)8×8大小的特征圖。所用卷積核大小跟C1層相同，但所獲的特征圖個(gè)數(shù)不同。C2層需要將S1層的6個(gè)特征圖進(jìn)行組合，映射出12個(gè)特征圖。本文讓CNNs網(wǎng)絡(luò)自己學(xué)習(xí)組合。

S2層是子采樣層，它獲得12個(gè)4×4大小的特征圖，過程類似于S1層。

輸出層是一個(gè)全連接層。S2層共有12×4×4=192個(gè)神經(jīng)元，輸出層共有2個(gè)神經(jīng)元(即輸送帶數(shù)字區(qū)域和非數(shù)字區(qū)域) ，一個(gè)神經(jīng)元與輸出的每個(gè)神經(jīng)元相連，所以共有192×2=384個(gè)連接。將S2層看作一個(gè)192維的線性向量，則S2層到輸出層的映射等同于使用該線性向量進(jìn)行分類，分類器共有384個(gè)參數(shù)。

4 實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證本文方法的有效性，在Matlab平臺(tái)上進(jìn)行實(shí)驗(yàn)，所有原始數(shù)據(jù)均采集于實(shí)驗(yàn)室中的輸送帶。

4.1 粗定位結(jié)果與分析

由于參考文獻(xiàn)[18]與本文粗定位階段研究的問題類似，所以采用參考文獻(xiàn)[18]提出的評(píng)價(jià)標(biāo)準(zhǔn)：

(9)

(10)

(11)

式中：RR(Region Recall)為檢測(cè)到的數(shù)字區(qū)域召回率；DTB為檢測(cè)到的數(shù)字區(qū)域個(gè)數(shù)；TB為真實(shí)數(shù)字區(qū)域的個(gè)數(shù)；RP(Region Precision)代表檢測(cè)到的數(shù)字區(qū)域準(zhǔn)確率；DNB為檢測(cè)到的特殊背景區(qū)域的個(gè)數(shù)；RF為綜合RR和RP的算法整體性能。

[19]比較了4種顯著性算法，認(rèn)為Torralba的顯著性算法最適用于文字檢測(cè)。參考文獻(xiàn)[20]將Torralba的顯著性算法與譜殘差算法比較，綜合運(yùn)行速度等因素，認(rèn)為譜殘差視覺顯著性算法更適用于文字檢測(cè)。本文方法是在參考文獻(xiàn)[20]的基礎(chǔ)上，結(jié)合輸送帶圖像的特點(diǎn)，先對(duì)輸送帶圖像進(jìn)行預(yù)處理，再采用譜殘差視覺顯著性算法得到輸送帶數(shù)字的視覺顯著性圖。用含有0—9數(shù)字的10幅輸送帶圖像進(jìn)行實(shí)驗(yàn)，10幅圖像中共有22個(gè)數(shù)字。按照式(9)—式(11)的評(píng)價(jià)標(biāo)準(zhǔn)，將本文方法與參考文獻(xiàn)[20]中提出的方法進(jìn)行比較，結(jié)果見表1。

表1 顯著性算法比較 %

從表1可以看出，本文方法的準(zhǔn)確率RP、召回率RR和整體性能RF都要比參考文獻(xiàn)[20]中的方法高。召回率RR高表明本文方法檢測(cè)的數(shù)字區(qū)域更完整，遺漏的數(shù)字區(qū)域更少；準(zhǔn)確率 RP高意味著檢測(cè)到的數(shù)字區(qū)域比背景區(qū)域要多；整體性能RF是對(duì)上面2個(gè)指標(biāo)的綜合，越高越好。

從10幅輸送帶圖中選出3幅圖作為例子，對(duì)比結(jié)果如圖5所示。其中第1列是原始圖像，第2列是用本文方法得到的顯著圖， 第3列是其二值圖；第4列是用參考文獻(xiàn)[20]中的方法得到的顯著圖，第5列是其二值圖。

圖5 顯著結(jié)果對(duì)比

從圖5可以看出，由于本文方法考慮了輸送帶圖像中濾波和數(shù)字與背景的對(duì)比度，檢測(cè)出的數(shù)字區(qū)域更完整，會(huì)出現(xiàn)少量的背景區(qū)域。參考文獻(xiàn)[20]中的方法不僅會(huì)出現(xiàn)數(shù)字區(qū)域不完整的情況，還會(huì)出現(xiàn)大量的背景區(qū)域。

綜上所述，本文方法相比參考文獻(xiàn)[20]中的方法具有更好的性能。由于是粗定位，所以需要更高的召回率 RR，以利于后續(xù)算法的整體性能提升。本文方法的召回率在只有22個(gè)數(shù)字區(qū)域的情況下達(dá)到95.5%，但準(zhǔn)確率為46.7%，表明定位結(jié)果檢測(cè)的數(shù)字區(qū)域很完整，同時(shí)檢測(cè)到的非數(shù)字區(qū)域也很多。因此，需要對(duì)數(shù)字區(qū)域進(jìn)一步定位。

4.2 精定位結(jié)果與分析

部分輸送帶圖像如圖6所示。為了確保實(shí)驗(yàn)的準(zhǔn)確性和可靠性，本文選擇258幅1 024×1 024大小的輸送帶圖像，200幅用于訓(xùn)練集，58幅用于測(cè)試集。訓(xùn)練時(shí)，首先用譜殘差獲得視覺顯著圖，然后定位到原圖的顯著性區(qū)域進(jìn)行切割，切割出的圖像包括數(shù)字區(qū)域和非數(shù)字區(qū)域，選擇400個(gè)正樣本數(shù)據(jù)(數(shù)字區(qū)域)和800個(gè)負(fù)樣本數(shù)據(jù)(非數(shù)字區(qū)域)。由于圖4所示的CNNs只接收28×28大小的灰度圖像，所以，首先需要對(duì)切割的圖片進(jìn)行灰度化處理；然后，對(duì)圖片尺寸進(jìn)行縮放。由于實(shí)驗(yàn)室采集的輸送帶圖像是在同一光照下，尺度視角基本沒有發(fā)生變化，所以，先使用簡(jiǎn)單算法進(jìn)行歸一化，利用雙線性插值進(jìn)行幾何縮放，將所有圖片調(diào)整到28×28之后，再輸入到CNNs。測(cè)試時(shí)的正樣本是116個(gè)，負(fù)樣本是234個(gè)。

(a) 原始圖像

(b) 數(shù)字區(qū)域(正樣本)

(c) 背景區(qū)域(負(fù)樣本)

在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中一個(gè)重要的參數(shù)是訓(xùn)練的迭代次數(shù)。迭代次數(shù)過小會(huì)導(dǎo)致網(wǎng)絡(luò)的預(yù)測(cè)誤差過大，對(duì)輸入無法充分學(xué)習(xí)，導(dǎo)致最終多層的深度學(xué)習(xí)算法的分類準(zhǔn)確度過低；迭代次數(shù)過大會(huì)導(dǎo)致計(jì)算時(shí)間過長(zhǎng)，得到的準(zhǔn)確率只有微小的提升。表2顯示了迭代次數(shù)與識(shí)別率的關(guān)系，識(shí)別率是在迭代次數(shù)一樣的情況下，取5次訓(xùn)練的平均結(jié)果。從表2可以看到，隨著迭代次數(shù)的增加，準(zhǔn)確率會(huì)趨于穩(wěn)定，并最終收斂。為了減少實(shí)驗(yàn)的計(jì)算時(shí)間，在實(shí)驗(yàn)中取迭代次數(shù)為100，此時(shí)的準(zhǔn)確率較高且計(jì)算時(shí)間也較短。從表2可看出，神經(jīng)網(wǎng)絡(luò)對(duì)輸送帶數(shù)字區(qū)域檢測(cè)的正確率可達(dá)到99.91%。神經(jīng)網(wǎng)絡(luò)能夠以較高的可靠性區(qū)分出輸送帶圖像的數(shù)字區(qū)域和非數(shù)字區(qū)域，平均耗時(shí)為0.001 3 s。

表2 迭代次數(shù)與識(shí)別率的關(guān)系

用4.1節(jié)中的評(píng)價(jià)標(biāo)準(zhǔn)，取4.1節(jié)中所用的10幅圖像來評(píng)價(jià)顯著性+卷積神經(jīng)網(wǎng)絡(luò)方法的性能，結(jié)果見表3。從表3可以看出，進(jìn)行視覺顯著性提取后再進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)分類，輸送帶數(shù)字區(qū)域的識(shí)別準(zhǔn)確率RP由最初的46.7%增加到100%，充分說明后期的分類效果很好。整體性能RF從62.7%提升到97.7%。準(zhǔn)確率RP與綜合性能RF 的提升說明本文方法對(duì)輸送帶數(shù)字的定位更準(zhǔn)確。由于輸送帶的運(yùn)行速度較快，留給每幀圖像的處理時(shí)間較短，用本文方法處理每幅圖像的平均時(shí)間t為0.271 3 s，可知該方法運(yùn)行速度快，可以滿足實(shí)時(shí)性要求。

表3 顯著性+卷積神經(jīng)網(wǎng)絡(luò)方法的性能

5 結(jié)語

針對(duì)輸送帶視覺檢測(cè)的表面故障定位問題，利用數(shù)字容易被維修人員辨認(rèn)的特點(diǎn)，以數(shù)字為基準(zhǔn)點(diǎn)，提出了一種基于機(jī)器視覺的輸送帶表面故障定位方法。運(yùn)用譜殘差理論對(duì)輸送帶圖像進(jìn)行了處理，理論分析和實(shí)驗(yàn)結(jié)果表明,視覺顯著性可以突出輸送帶圖像中的數(shù)字區(qū)域，但同時(shí)也會(huì)將若干非數(shù)字區(qū)域突出顯示。利用CNNs對(duì)經(jīng)過顯著性提取后的輸送帶圖像進(jìn)行分類，以區(qū)分出數(shù)字區(qū)域和非數(shù)字區(qū)域。實(shí)驗(yàn)結(jié)果表明，CNNs可以很好地區(qū)分?jǐn)?shù)字區(qū)域和非數(shù)字區(qū)域。利用實(shí)驗(yàn)室現(xiàn)有的輸送帶進(jìn)行測(cè)試，發(fā)現(xiàn)該方法精度高，定位準(zhǔn)確且速度快，滿足實(shí)時(shí)性要求。

參考文獻(xiàn)：

[1] 張晞,劉鴻鵬,葉濤.帶式輸送機(jī)縱向撕裂數(shù)字圖像檢測(cè)系統(tǒng)設(shè)計(jì)研究[J].煤炭工程,2011,43(10):16-18.

[2] 唐艷同,喬鐵柱,牛犇.輸送帶縱向撕裂在線監(jiān)測(cè)預(yù)警系統(tǒng)的設(shè)計(jì)[J].煤礦機(jī)械,2012,33(5):242-244.

[3] YANG Y,MIAO C,LI X,et al.On-line conveyor belt sinspection based on machine vision[J].Optik-International Journal for Light and Electron Optics,2014,125(19):5803-5807.

[4] 亢伉,苗長(zhǎng)云,楊彥利.基于顯著性和最大熵的輸送帶撕裂檢測(cè)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2013,22(3):117-120.

[5] 崔巖.基于CAN總線長(zhǎng)距離膠帶輸送機(jī)故障定位系統(tǒng)的研究[D].沈陽:沈陽工業(yè)大學(xué),2010.

[6] 洪留榮.強(qiáng)力輸送帶接頭識(shí)別算法[J].工礦自動(dòng)化,2012,38(4):9-12.

[7] 張錚,王艷平,薛桂香.數(shù)字圖像處理與機(jī)器視覺:Visual C++與Matlab實(shí)現(xiàn)[M].北京:人民郵電出版社,2010.

[8] ITTI L, KOCH C, NIEBUR E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11): 1254-1259.

[9] ITTI L, KOCH C. Computational modelling of visual attention[J].Nat Rev Neurosci,2001,2(3):194-203.

[10] BARLOW H B. Possible principles underlying the transformation of sensory message[M/OL]//ROSENBLITH W A.Sensory communication.MIT Press Scholarship Online: 2013[2016-05-25].DOI:10.7551/mitpress/9780262518420.003.0013.

[11] HOU X D, ZHANG L Q. Saliency detection: a spectral residual approach[C]//IEEE Conference on Computer Vision and Pattern Recognition, 2007: 1-8.

[12] HONEY C, KIRCHNER H, VAN RULLEN R. Faces in the cloud: Fourier power spectrum biases ultrarapid face detection[J]. Journal of Vision, 2008, 8(12): 1-13.

[13] 趙志宏,楊紹普,馬增強(qiáng).基于卷積神經(jīng)網(wǎng)絡(luò)LeNet-5的車牌字符識(shí)別研究[J].系統(tǒng)仿真學(xué)報(bào),2010,22(3):638-641.

[14] 余永維,殷國(guó)富,殷鷹,等.基于深度學(xué)習(xí)網(wǎng)絡(luò)的射線圖像缺陷識(shí)別方法[J].儀器儀表學(xué)報(bào),2014,35(9):2012-2019.

[15] 高學(xué),王有旺.基于CNN和隨機(jī)彈性形變的相似手寫漢字識(shí)別[J].華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版),2014,42(1):72-76.

[16] BOUVRIE J. Notes on convolutional neural networks[EB/OL]. (2006-11-22)[2016-06-06].http://cogprints.org/5869/1/cnn_tutorial.pdf.

[17] 龔丁禧,曹長(zhǎng)榮.基于卷積神經(jīng)網(wǎng)絡(luò)的植物葉片分類[J].計(jì)算機(jī)與現(xiàn)代化,2014(4):12-15.

[18] SHI C, XIAO B, WANG C, et al. Graph-based background suppression for scene text detection[C]//10th IAPR International Workshop on Document Analysis Systems, Gold Coast,2012: 210-214.

[19] SHAHAB A, SHAFAIT F, DENGEL A. How salient is scene text[C]//10th IAPR International Workshop on Document Analysis Systems, Gold Coast,2012: 317-321.

[20] 姜維,盧朝陽,李靜,等.基于視覺顯著性與文字置信圖的場(chǎng)景文字的背景抑制方法[J].電子學(xué)報(bào),2015,43(1):62-68.

Surface fault location of conveyor belt based on saliency and deep convolution neural network

ZHAO Yanfei, YANG Yanli, WANG Lijuan

(Tianjin Key Laboratory of Optoelectronic Detection Technology and Systems, Tianjin Polytechnic University, Tianjin 300387, China)

A surface fault location of conveyor belt based on saliency and deep convolution neural network was proposed. The method imprints figures on the edge of upper and lower surfaces of conveyor belt, and uses image processing technology to detect the number in belt image, so as to indirectly locate surface fault of the conveyor belt. Firstly, the acquired image of the conveyor belt is preprocessed by Gaussian filtering and gray-scale linear transformation to improve image quality and enhance contrast between the background and the target. Then, visual saliency treatment is conducted to the preprocessed image according to spectral residual theory, and a visual saliency map containing numeric regions is obtained. Finally, saliency map is classified by using the convolution neural network to distinguish digital region from non-digital region. The experimental results show that the method can detect number of conveyor belt image and realize surface fault location of conveyor belt.

conveyor belt; fault location; neural network; visual saliency; image processing

2016-07-18；

2016-10-26；責(zé)任編輯：胡嫻。

國(guó)家自然科學(xué)基金資助項(xiàng)目(51274150，51504164)；天津市科技支撐計(jì)劃重點(diǎn)項(xiàng)目(13ZCZDGX01000)。

趙燕飛(1989-),女,山西晉城人,碩士研究生,研究方向?yàn)樵O(shè)備狀態(tài)監(jiān)測(cè)與信號(hào)處理,E-mail:zhaoyanfei226@126.com。通信作者:楊彥利(1979-)，男，河北行唐人，副教授，碩士研究生導(dǎo)師，博士，主要研究方向?yàn)樵O(shè)備狀態(tài)監(jiān)測(cè)與信號(hào)處理，E-mail:yyl070805@163.com。

1671-251X(2016)12-0072-06

10.13272/j.issn.1671-251x.2016.12.016

TD528.1

A

時(shí)間：2016-12-01 10:51

http://www.cnki.net/kcms/detail/32.1627.TP.20161201.1051.016.html

趙燕飛，楊彥利，王麗娟.基于顯著性和深度卷積神經(jīng)網(wǎng)絡(luò)的輸送帶表面故障定位[J].工礦自動(dòng)化，2016,42(12)：72-77.