徐曉龍，張學(xué)武，趙沛然，張 琳（河海大學(xué)物聯(lián)網(wǎng)工程學(xué)院，常州　213022）

?

一種金屬帶材表面缺陷檢測(cè)方法

徐曉龍，張學(xué)武，趙沛然，張 琳
（河海大學(xué)物聯(lián)網(wǎng)工程學(xué)院，常州213022）

摘 要：由于金屬板帶表面反光強(qiáng)烈，缺陷成因復(fù)雜，使得缺陷檢測(cè)系統(tǒng)性能的進(jìn)一步提升遇到了瓶頸。為打破瓶頸，提出了一種融合缺陷成因和統(tǒng)計(jì)特征的雙向協(xié)同視覺注意方法。金屬表面缺陷的產(chǎn)生與生產(chǎn)設(shè)備和工藝流程密切相關(guān)，將缺陷成因和統(tǒng)計(jì)特征分層量化，通過學(xué)習(xí)和訓(xùn)練加入先驗(yàn)知識(shí)庫(kù)，在自底向上的視覺注意模型中，分別對(duì)初級(jí)視覺特征提取，多特征圖合并和顯著圖三個(gè)層次施加權(quán)值控制，以引導(dǎo)視覺注意過程，從而實(shí)現(xiàn)自底向上和自頂向下的雙向協(xié)同，可有效提升檢測(cè)效率和檢出率。通過實(shí)驗(yàn)對(duì)比分析，結(jié)果表明，該方法在檢測(cè)性能和效率方面有很大提高。

關(guān)鍵詞：金屬帶材；機(jī)器視覺；缺陷成因；統(tǒng)計(jì)特征，雙向協(xié)同；視覺注意；缺陷檢測(cè)

1 引 言

由于金屬板帶表面反光強(qiáng)烈，缺陷成因復(fù)雜，使得缺陷檢測(cè)系統(tǒng)性能的進(jìn)一步提升遇到了瓶頸。同時(shí)復(fù)雜的現(xiàn)場(chǎng)環(huán)境導(dǎo)致圖像的信噪比低，對(duì)識(shí)別系統(tǒng)的可靠性、實(shí)時(shí)性、穩(wěn)健性都提出了很高要求［1］。傳統(tǒng)檢測(cè)方法是做圖像去噪、圖像增強(qiáng)等圖像預(yù)處理來消除噪聲的影響，增強(qiáng)和突出目標(biāo)特征，使其更容易從背景中分離出來。傳統(tǒng)方法的缺點(diǎn)在于適應(yīng)性差，對(duì)圖像質(zhì)量要求高，在噪聲比較大的情況下，過度的去噪，不僅會(huì)損失缺陷本身的特征，也會(huì)影響監(jiān)測(cè)的實(shí)時(shí)性［2］。

視覺注意機(jī)制是在應(yīng)用場(chǎng)景中快速獲取興趣目標(biāo)，從而做出理解和判斷。將視覺注意機(jī)制引入視覺檢測(cè)領(lǐng)域，使現(xiàn)有的圖像處理過程具備一定的理解能力，能夠模仿視覺感知系統(tǒng)，快速獲取信息中的感興趣區(qū)域，使有限的計(jì)算資源能夠集中去處理那些影響圖像性質(zhì)、有意義的區(qū)域或者物體［3-4］，這對(duì)

?解決如今視覺檢測(cè)領(lǐng)域中所面臨的數(shù)據(jù)篩選問題、圖像處理實(shí)時(shí)性問題，以及提高處理效率和機(jī)器視覺的智能性都具有重要意義。

由于工業(yè)生產(chǎn)環(huán)境復(fù)雜、光照及高速運(yùn)動(dòng)所造成的圖像質(zhì)量不理想，并且缺陷所占比重較小，如果單單應(yīng)用數(shù)據(jù)驅(qū)動(dòng)的自底向上的視覺注意機(jī)制，雖然可以突出圖像區(qū)域的顯著部分，實(shí)現(xiàn)目標(biāo)搜索，但是由于缺乏針對(duì)性而產(chǎn)生的低效率，無法滿足高速并行處理的檢測(cè)需求［5］。工業(yè)檢測(cè)中，在具備缺陷特征等先驗(yàn)知識(shí)的情況下，脫離具體的檢測(cè)任務(wù)和目標(biāo)特征，僅使用自底向上的視覺注意機(jī)制無疑具有很大的局限性。自頂向下的任務(wù)驅(qū)動(dòng)視覺注意機(jī)制將高層知識(shí)和任務(wù)帶入處理過程，可以極大提高檢出率和效率。而在現(xiàn)階段的很多研究中，一方面沒有充分結(jié)合應(yīng)用背景，僅從圖像的角度去解決問題，沒有根據(jù)應(yīng)用特點(diǎn)進(jìn)行一定的簡(jiǎn)化或擴(kuò)展；另一方面沒有充分融合底層數(shù)據(jù)，使得檢測(cè)過程過于復(fù)雜，在實(shí)際應(yīng)用中不易實(shí)現(xiàn)。

提出了一種融合缺陷成因和統(tǒng)計(jì)特征雙向協(xié)同的視覺注意方法。該方法將缺陷成因和統(tǒng)計(jì)特征分層量化，通過學(xué)習(xí)和訓(xùn)練加入先驗(yàn)知識(shí)庫(kù)，在自底向上的視覺注意模型中，分別對(duì)初級(jí)視覺特征提取，多特征圖合并和顯著圖三個(gè)層次施加權(quán)值控制，以引導(dǎo)視覺注意過程，從而實(shí)現(xiàn)自底向上和自頂向下的雙向協(xié)同，有效提升了檢測(cè)效率和檢出率。

2 基于雙向協(xié)同視覺注意機(jī)制的檢測(cè)方法

2.1雙向協(xié)同注意信息加工方法

金屬帶材表面缺陷特征有一定的特殊性，它是由生產(chǎn)設(shè)備的故障或缺陷所導(dǎo)致的，因此可以通過對(duì)成因的統(tǒng)計(jì)分析，獲得部分缺陷特征，使得自頂向下的任務(wù)引導(dǎo)有了數(shù)據(jù)基礎(chǔ)。結(jié)合自底向上與自頂向下兩種模型的優(yōu)點(diǎn)，將缺陷特征和檢測(cè)任務(wù)相結(jié)合，處理時(shí)，按相應(yīng)的權(quán)重，用底層特征來影響顯著圖的求解，從而實(shí)現(xiàn)自底向上和自頂向下的雙向協(xié)同。

采用對(duì)特定頻率和朝向敏感的Gabor濾波器構(gòu)成濾波器組，提取輸入信號(hào)的頻率和朝向。通過選取合適的參數(shù)值放大濾波器之間的差異，使響應(yīng)能夠與激勵(lì)有相同頻率和方向分布的濾波器相一致［6］。

雙向協(xié)同信息加工方法流程如圖1所示。整體模型以視覺注意領(lǐng)域最為經(jīng)典的Itti模型為基礎(chǔ)，結(jié)合異向抑制模型的思想，將任務(wù)信息和先驗(yàn)知識(shí)進(jìn)行量化，分別從初級(jí)視覺特征提取、不同特征圖歸一化合并以及最終的顯著圖三個(gè)層次加入與知識(shí)庫(kù)相關(guān)的權(quán)值來實(shí)現(xiàn)注意引導(dǎo)。

圖1 雙向協(xié)同注意信息加工流程圖

圖1中雙向協(xié)同信息加工主要體現(xiàn)在3個(gè)層次，通過先驗(yàn)知識(shí)庫(kù)對(duì)每一層次的權(quán)值矩陣進(jìn)行量化，從而實(shí)現(xiàn)視覺注意引導(dǎo)。第一層次為初級(jí)視覺特征合成，由于亮度特征沒有其他分量，這里對(duì)應(yīng)顏色、朝向2個(gè)初級(jí)特征權(quán)值。

由于所討論的應(yīng)用場(chǎng)景是確定的，因此可以從最底層特征開始進(jìn)行權(quán)值分配，底層特征提取后，按照權(quán)值生成對(duì)應(yīng)的特征圖。不同類型缺陷對(duì)應(yīng)的特征顯著性有所不同，例如劃痕和凹坑相比在顏色、亮度等特征均非常相似，但是劃痕在朝向特征上就更為明顯，因此在多特征圖合并階段，根據(jù)先驗(yàn)知識(shí)使用第二層次的權(quán)值進(jìn)行量化。

通過權(quán)值量化合成顯著圖S，通過勝者為王機(jī)制進(jìn)行注意掃視，然而在很多應(yīng)用中檢測(cè)目標(biāo)的空間分布有一定的概率。例如在交通標(biāo)志檢測(cè)應(yīng)用中，交通標(biāo)志位于路面右側(cè)，因此在圖像右上方出現(xiàn)的概率要遠(yuǎn)大于其他區(qū)域。在金屬帶材表面缺陷檢測(cè)應(yīng)用中同樣可以通過缺陷成因分析和統(tǒng)計(jì)得出目標(biāo)缺陷的分布概率，通過統(tǒng)計(jì)概率再次對(duì)顯著圖進(jìn)行加權(quán)，可以優(yōu)化缺陷注意和圖像分割的優(yōu)先級(jí)，提升系統(tǒng)的實(shí)時(shí)性。

設(shè)GC（y）為權(quán)值矩陣，每個(gè)子區(qū)域顯著性為Sx，y，在金屬帶材的檢測(cè)應(yīng)用中，檢測(cè)目標(biāo)在生產(chǎn)線上水平運(yùn)動(dòng)，為了簡(jiǎn)化模型，P調(diào)整為一維矩陣，即垂直于運(yùn)動(dòng)方向上的分布概率。權(quán)值定義如下：

其中ET（y）為時(shí)空能量，用于描述空間位置y處當(dāng)前存在缺陷的可能性；max（E）為時(shí)空能量的上限，用于對(duì)時(shí)空能量進(jìn)行歸一化。

由定義可知，時(shí)空能量ET（x）將隨著缺陷出現(xiàn)概率的增大而升高。假設(shè)當(dāng)前x處能量為E，并且連續(xù)Nf幀在該位置都存在缺陷，那么x處的能量將升高為。相反，如果位置x處在當(dāng)前時(shí)刻能量為E，在連續(xù)幀Nt都沒有缺陷，那么在位置x處的時(shí)空能量就衰減為E×γNt。常量Tenergy和γ需要事先確定，Tenergy的取值并不需要非常嚴(yán)格，Tenergy與能量更新率γ共同確定在有缺陷的過程中能量遞增的趨勢(shì)，在應(yīng)用中通過測(cè)試和實(shí)驗(yàn)選取經(jīng)驗(yàn)值。

能量更新率γ決定了衰減的速度，該值使時(shí)空能量隨著圖像幀數(shù)以指數(shù)形式進(jìn)行衰減。該值的確定取決于系統(tǒng)本身的狀況，由于生產(chǎn)線上缺陷產(chǎn)生的概率比較小，為了準(zhǔn)確估測(cè)下一個(gè)可能出現(xiàn)缺陷的位置，該時(shí)空能量就需要持續(xù)較長(zhǎng)的時(shí)間，要求衰減的速率盡可能慢，因此γ需要選取一個(gè)接近1的值。

在顯著圖中，圖像的顯著性以灰度形式表示，若顯著圖在位置（x，y）處的顯著性為S（x，y），則按照式（5）進(jìn)行顯著圖調(diào)整。

調(diào)整后，缺陷出現(xiàn)概率大的區(qū)域顯著性將被增強(qiáng)，概率小的則被抑制，從而減少焦點(diǎn)個(gè)數(shù)，提高搜索速度，也能夠在指定任務(wù)的情況下提高指定缺陷的檢出率。

2.2融合缺陷成因與統(tǒng)計(jì)概率的視覺注意機(jī)制

（1）常見缺陷分析

這里以帶鋼為例對(duì)缺陷進(jìn)行分析。帶鋼的生產(chǎn)過程包含多道工序，在每一個(gè)工序的任意一個(gè)環(huán)節(jié)都有可能導(dǎo)致表面缺陷，其成因涉及工藝、裝備等多個(gè)環(huán)節(jié)，因此表面缺陷的種類和成因非常復(fù)雜［7］。雖然成因復(fù)雜，但是相關(guān)缺陷仍然有一定規(guī)律，對(duì)生產(chǎn)工藝的分析和統(tǒng)計(jì)顯示，冷軋是眾多環(huán)節(jié)中產(chǎn)生質(zhì)量缺陷的主要環(huán)節(jié)［8］。

這里以冷軋缺陷為例，結(jié)合寶鋼集團(tuán)《冷軋產(chǎn)品表面質(zhì)量評(píng)定手冊(cè)》與實(shí)驗(yàn)室測(cè)試的銅帶缺陷樣品，對(duì)常見缺陷進(jìn)行分析。常見的表面缺陷有夾雜、結(jié)疤、孔洞、輥印、壓痕、銹斑、劃傷、油斑等幾十種，導(dǎo)致這些缺陷的原因也不盡相同，缺陷產(chǎn)生的部位、形狀等特征往往和產(chǎn)生原因有一定關(guān)聯(lián)，分析常見的缺陷類型與成因，能夠進(jìn)一步獲取不同類型缺陷出現(xiàn)的規(guī)律與特點(diǎn)，這是進(jìn)行表面缺陷檢測(cè)的數(shù)據(jù)基礎(chǔ)。例如劃傷缺陷一般與軋制方向平行，呈線狀，多為單條或者平行的多條，可能產(chǎn)生在任意部位。劃傷缺陷多是由于被動(dòng)輥?zhàn)涌ㄗ』蛘邔?dǎo)板位置不當(dāng)造成的。劃傷多是與運(yùn)動(dòng)方向相平行。

（2）特征量化

特征量化分為定性分析和定量測(cè)試。定性分析是確定權(quán)值層次和分量，定量測(cè)試則是根據(jù)實(shí)際應(yīng)用采集樣本，針對(duì)具體缺陷進(jìn)行訓(xùn)練，獲得最佳參數(shù)。不同類型的缺陷特征不一致，因此同時(shí)檢測(cè)的缺陷類型越多，在進(jìn)行相應(yīng)的權(quán)值調(diào)整時(shí)出現(xiàn)顧此失彼的情況就越突出，對(duì)應(yīng)的檢出率就越低，所以任務(wù)劃分時(shí)將缺陷特征相近的交由一個(gè)前端進(jìn)行檢測(cè)。

下面以劃傷缺陷為例給出定性分析過程。根據(jù)上文所述成因特征，生產(chǎn)線上的劃痕呈線狀，是生產(chǎn)設(shè)備刮擦導(dǎo)致，因此方向與運(yùn)動(dòng)方向平行。在初級(jí)視覺特征提取時(shí)，式（2）中，θ= 0°的角度應(yīng)當(dāng)?shù)玫皆鰪?qiáng)，而其他角度需要抑制，劃傷為三維缺陷，因此在暗域成像中會(huì)表現(xiàn)為明顯的白色，在指紋、油污等干擾情況下，亮度和朝向特征相對(duì)顏色特征更加突出，因此在第二層次的權(quán)值中GBO＞GBI＞GBC，通過抑制顏色特征分量突出劃傷所對(duì)應(yīng)的特征顯著性。

劃傷缺陷是生產(chǎn)設(shè)備刮擦所導(dǎo)致，因此一旦出現(xiàn)后，再次出現(xiàn)的可能性就很大，并且在垂直方向上的分布位置會(huì)相同。在對(duì)缺陷進(jìn)行統(tǒng)計(jì)分析后，針對(duì)出現(xiàn)概率較高的缺陷進(jìn)行針對(duì)性的權(quán)值配置，并根據(jù)缺陷分布情況對(duì)第三層次分布權(quán)值進(jìn)行調(diào)整，對(duì)已經(jīng)得到的顯著圖再次進(jìn)行加權(quán)就能夠進(jìn)一步突出需要檢測(cè)缺陷的顯著性。

針對(duì)多個(gè)檢測(cè)任務(wù)，通過訓(xùn)練的方式來獲得最佳權(quán)值，訓(xùn)練過程如圖2所示。程序通過定性分析，已經(jīng)確定了每個(gè)分量與對(duì)應(yīng)缺陷的對(duì)應(yīng)關(guān)系，在提交缺陷樣本，標(biāo)記與檢測(cè)任務(wù)對(duì)應(yīng)的缺陷區(qū)域和類型后，程序按照設(shè)定的步進(jìn)增量進(jìn)行迭代檢測(cè)，通過前后的檢測(cè)結(jié)果對(duì)比進(jìn)行不斷迭代，最終尋找最優(yōu)解。

3 實(shí)驗(yàn)結(jié)果與分析

（1）缺陷樣本初級(jí)視覺特征提取與顯著性檢測(cè)

利用從江蘇興榮公司獲取的缺陷圖像，提取了初級(jí)視覺特征并進(jìn)行顯著性檢測(cè)，這里選取三個(gè)樣本進(jìn)行簡(jiǎn)要分析。選取的樣本以及檢測(cè)結(jié)果對(duì)比如圖3所示。

（2）基于雙向協(xié)同視覺注意機(jī)制的金屬帶材表面缺陷檢測(cè)

為了驗(yàn)證本文所提出的檢測(cè)算法的有效性，我們選取了實(shí)驗(yàn)室條件下干擾較多的樣本進(jìn)行實(shí)驗(yàn)，與Itti自底向上視覺注意機(jī)制的實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比分析。實(shí)驗(yàn)樣本如圖4所示。

采用經(jīng)典的Itti模型在不對(duì)特征分量施加任何權(quán)值的情況下，生成的特征顯著圖如圖5所示。通過顯著圖可以看出最顯著區(qū)域位于左上角與中間上方，通過和圖4對(duì)比可以看出，顯著區(qū)域并不是我們所需要檢測(cè)的缺陷。

圖2 采用迭代訓(xùn)練方法的參數(shù)定量分析流程

圖3 缺陷樣本初級(jí)特征提取與顯著性檢測(cè)

圖4 實(shí)驗(yàn)樣本

圖5 自底向上視覺注意機(jī)制的顯著圖

在注意焦點(diǎn)轉(zhuǎn)移過程中，通過勝者為王和禁止返回機(jī)制競(jìng)爭(zhēng)產(chǎn)生的一系列興趣圖如圖6所示。注意焦點(diǎn)共經(jīng)過6次掃視，掃視過程如圖7所示，通過實(shí)驗(yàn)可以發(fā)現(xiàn)，總共轉(zhuǎn)移了5次才檢測(cè)出所需要檢測(cè)的缺陷，第1、2、4次掃視區(qū)域均為干擾區(qū)域。

圖6 采用自底向上視覺注意機(jī)制的興趣圖

圖7 采用自底向上視覺注意機(jī)制的注意焦點(diǎn)轉(zhuǎn)移圖

采用本文提出的雙向協(xié)同視覺注意方法進(jìn)行實(shí)驗(yàn)，顯著圖如圖8所示。與圖5對(duì)比就能夠發(fā)現(xiàn)左上角和中上部的指紋干擾區(qū)域的顯著性被明顯抑制，注意焦點(diǎn)轉(zhuǎn)移圖如圖9所示。通過本次實(shí)驗(yàn)可以發(fā)現(xiàn)，只需要進(jìn)行3次掃視就可以獲得全部缺陷區(qū)域，而且沒有一次掃視到干擾區(qū)域。

圖8 采用雙向協(xié)同方法的顯著圖

提取兩次實(shí)驗(yàn)的數(shù)據(jù)，分別填寫在表1和表2中。通過數(shù)據(jù)可以看出Itti經(jīng)典模型由于沒有根據(jù)缺陷特征和檢測(cè)任務(wù)對(duì)顏色特征等分量進(jìn)行抑制，使得在0、1、4次轉(zhuǎn)移中干擾區(qū)域競(jìng)爭(zhēng)獲勝。通過對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行進(jìn)一步分析可知，針對(duì)本次實(shí)驗(yàn)樣本，本文所采用的算法對(duì)特征選擇更加明確，整體效率更高。

圖9 采用雙向協(xié)同方法的焦點(diǎn)轉(zhuǎn)移圖

由于樣本中缺陷數(shù)量、干擾目標(biāo)均不盡相同，為了能夠客觀體現(xiàn)算法性能，這里主要統(tǒng)計(jì)兩個(gè)指標(biāo)：

缺陷檢出率=檢出缺陷數(shù)量/實(shí)際缺陷數(shù)量

檢測(cè)效率=檢出缺陷數(shù)量/最后一個(gè)缺陷掃視次數(shù)

對(duì)每一幅樣本分別計(jì)算上面兩個(gè)指標(biāo)，對(duì)比算法的缺陷檢出率和檢測(cè)效率分別為：94.3%和71.4%；本文提出算法對(duì)應(yīng)值分別為：97.6%和92.6%。

表1 采用自底向上視覺注意機(jī)制的實(shí)驗(yàn)數(shù)據(jù)

表2 采用本文雙向協(xié)同方法的實(shí)驗(yàn)數(shù)據(jù)

4 結(jié)束語

通過以上統(tǒng)計(jì)分析，可以發(fā)現(xiàn)使用的算法對(duì)缺陷檢出率和檢測(cè)效率均有改進(jìn)，這對(duì)節(jié)省計(jì)算資源，提升系統(tǒng)實(shí)時(shí)性都有重要意義。

參考文獻(xiàn)：

［1］張學(xué)武，丁燕瓊，段敦勤，等.基于視覺仿生機(jī)理的銅帶表面缺陷檢測(cè)［J］.中國(guó)圖象圖形學(xué)報(bào)，2011，16 （4）：593-599.Zhang Xuewu，Ding Yanqiong，Duan Dunqin，et al.Surface defects inspection of copper strips based on vision bionics［J］.Journal of Image and Graphics，2011，16（4）：593-599.

［2］Malamas E N，Petrakis E G，Zervakis M，et al.A survey on industrial vision systems，applications and tools［J］.Image and vision computing，2003，21（2）：171-188.

［3］田明輝.視覺注意機(jī)制建模及其應(yīng)用研究［D］.合肥：中國(guó)科學(xué)技術(shù)大學(xué)，2010.Tian Minghui.Research on modeling and application of visual attention mechanism［D］.Hefei：University of Science and Technology of China，2010.

［4］Gayubo F，Gonzalez J L，de la Fuente E，et al.On-line machine vision system for detect split defects in sheet-metal forming processes［C］.2006.IEEE，2006.

［5］Yan F，Liu C L，Yu K Q.Analysis of Surface Defects on Stainless Steel Cold Rolling Strip［J］.Applied Mechanics and Materials，2012，148：684-687.

［6］Itti L.Models of bottom-up and top-down visual attention［Z］.California Institute of Technology，2000.

［7］Zhenglian L F Y X，Jian H.Identification and Control of Surface Defects on Cold Rolled Strip［J］.Metallurgical Equipment，2010，1：19.

［8］亓愛濤.冷軋帶鋼表面缺陷及控制［J］.中國(guó)科技投資，2013（25）：2336-2339.Qi Aitao.Surface defects and control of cold rolled strip ［J］.Chinese Investment in Science and Technology，2013 （25）：2336-2339.

A Detection Method for Defect on Metal Strip Surface

Xu Xiaolong，Zhang Xuewu，Zhao Peiran，Zhang Lin
（College of Internet of Things Engineering，Hohai University，Changzhou 213022，China）

Abstract：Because of strong reflection on metal plate surface and complicated defect formations，it is difficult to further improve performance of the detection system.A bidirectional synergy visual attention method，mixing defect formation and statistical characteristics together，is put forward in this paper.Because the generation of metal surface defects is closely related to the production equipment and technological process，the defect formation and statistical characteristics are layered in quantizing and the priori knowledge is joined by learning and training.In order to guide the process of visual attention，in the bottom-up visual attention model，primary visual feature extraction，several characteristic figure merging and salient map are controlled respectively in weight to realize two-way collaboration，and thus testing efficiency and detection rate are promoted.The experiment results show that the method improves detection performance and efficiency obviously.

Key words：Mmetal strip；Machine vision；Defect formation；Statistical characteristics；Two-way collaboration；Visual attention；Defect detection

DOI：10.3969/j.issn.1002-2279.2016.02.015

中圖分類號(hào)：TN911

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1002-2279（2016）02-0056-05

基金項(xiàng)目：?國(guó)家自然科學(xué)基金（61273170）；高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金（20120094120023）

作者簡(jiǎn)介：徐曉龍（1974-），男，山東聊城人，實(shí)驗(yàn)師，碩士研究生，主研方向：表面缺陷檢測(cè)，EDA技術(shù)。

收稿日期：2015-06-12