田志新,徐 震,茅 健,林彬彬,廖 薇

(1.上海工程技術(shù)大學(xué) 機(jī)械與汽車工程學(xué)院,上海 201620;2.上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院,上海 201620)

鋼材生產(chǎn)過程中的表面缺陷分類與識(shí)別較為重要,而基于人工經(jīng)驗(yàn)的判斷不僅成本高且效率低下,利用計(jì)算機(jī)視覺替代人工實(shí)現(xiàn)缺陷檢測(cè)是一種較為高效的方法。缺陷圖像的紋理是一種重要的視覺線索,普遍存在但較難描述[1]。特征提取作為分類識(shí)別任務(wù)的關(guān)鍵環(huán)節(jié),直接影響分類結(jié)果。傳統(tǒng)方法通過手工設(shè)計(jì)特征提取模型進(jìn)行特征提取[2],但是其在單一尺度上進(jìn)行,不能反映圖像特有的多尺度特征,缺乏圖像的全局信息。紋理特征依賴于提取時(shí)采用的尺度[3],多個(gè)尺度下的圖像特征均具有較強(qiáng)的表示能力[4]。研究發(fā)現(xiàn)多尺度分析更能有效地描述紋理特征。文獻(xiàn)[5～11]針對(duì)多尺度特征融合、多尺度結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(Covolutional Neural Network,CNN)特征提取方式,結(jié)合灰度共生矩陣(Gray Level Co-occurrence Matrix,GLCM)的多尺度特征提取方式以及Gabor多尺度特征提取方式進(jìn)行了深入研究,并在遙感圖像場(chǎng)景分類、航空?qǐng)D像分類和醫(yī)學(xué)影像分類等領(lǐng)域進(jìn)行了嘗試。在特征提取階段,CNN面向原始圖像數(shù)據(jù),在一定程度上可以彌補(bǔ)因圖像變換等操作造成的信息丟失。CNN模擬了動(dòng)物皮層的功能,能夠感覺到不同空間特征的視覺刺激[12],且具有局部連接、權(quán)值共享等特點(diǎn)[13],能夠自動(dòng)檢測(cè)出重要特征[14]。文獻(xiàn)[15]通過設(shè)計(jì)多尺度CNN網(wǎng)絡(luò),融合不同尺度特征信息實(shí)現(xiàn)了對(duì)手勢(shì)的精確識(shí)別。文獻(xiàn)[16]認(rèn)為CNN能描述類的邊、角以及紋理等空間特征。

長短時(shí)記憶網(wǎng)絡(luò)(LSTM)[17]是一種常見的深度學(xué)習(xí)模型。有研究人員將LSTM用于分類任務(wù),取得了較好的效果。文獻(xiàn)[18～19]研究了LSTM網(wǎng)絡(luò),并結(jié)合CNN卷積特征提取能力開發(fā)出集成分類方法,分別應(yīng)用于圖像分類和水果識(shí)別等領(lǐng)域。

本文提出一種基于Gabor變換和GLCM的多尺度特征提取方法。將原始圖像通過Gabor濾波器進(jìn)行多尺度變換,構(gòu)建圖像的多尺度空間。利用GLCM對(duì)多尺度空間下的圖像進(jìn)行特征提取,在數(shù)據(jù)域建立特征向量,同時(shí)使用CNN卷積層對(duì)原始圖像進(jìn)行特征提取。將GLCM提取的包含多尺度統(tǒng)計(jì)信息的特征與CNN提取的特征信息做特征融合。融和后的特征向量經(jīng)過以序列方式輸入LSTM網(wǎng)絡(luò)分類器,實(shí)現(xiàn)對(duì)缺陷圖像的準(zhǔn)確分類。

1 方法原理

1.1 多尺度Gabor變換

Gabor濾波器是傅里葉變換的一種方式[20],也被稱為Gabor小波。受哺乳動(dòng)物的簡(jiǎn)單皮質(zhì)細(xì)胞概念啟發(fā)[21],其具有多尺度、多方向等特性,能夠捕捉圖像對(duì)應(yīng)的空間位置、尺度以及方向等結(jié)構(gòu)信息。

復(fù)數(shù)表達(dá)為

(1)

(2)

式中,λ代表波長;θ指定Gabor條紋方向;γ決定Gabor濾波器形狀;σ表示高斯因子的標(biāo)準(zhǔn)差,影響Gabor濾波器的帶寬;標(biāo)準(zhǔn)差和波長的關(guān)系為σ=0.56λ;Ψ表示相位偏移。

圖像經(jīng)過濾波器后生成各個(gè)尺度上的圖像,多尺度變換結(jié)果如圖1所示,圖像通過Gabor變換后產(chǎn)生多尺度子圖,各個(gè)子圖在保留一部分原圖信息的同時(shí)仍在各個(gè)方向上具有各自的特有信息。

圖1 圖像的多尺度變換Figure 1. Multi-scale transformation of image

1.2 灰度共生矩陣

圖像以數(shù)據(jù)矩陣為方式在計(jì)算機(jī)里進(jìn)行存儲(chǔ),攜帶較大數(shù)據(jù)量。為了減少運(yùn)算成本,將輸入圖像數(shù)據(jù)轉(zhuǎn)換為特征向量的簡(jiǎn)單集[22],該轉(zhuǎn)換過程被稱為特征提取過程。該特征向量包含相關(guān)信息,被作為分類的輸入向量。

對(duì)經(jīng)過多尺度變換后的子圖進(jìn)行特征提取,GLCM是一種傳統(tǒng)且廣泛應(yīng)用的基于統(tǒng)計(jì)學(xué)思想的紋理特征提取方法[23-24],依據(jù)圖像中距離較近的像素之間各種距離和角度關(guān)系進(jìn)行計(jì)算[25]。在實(shí)際操作時(shí),本文方法對(duì)原始圖像統(tǒng)計(jì)一定方向和一定距離上像素對(duì)出現(xiàn)的次數(shù),構(gòu)成灰度共生矩陣,依據(jù)灰度共生矩陣計(jì)算并導(dǎo)出紋理特征數(shù)據(jù),構(gòu)成特征向量。

如果將14種紋理特征[24]都考慮進(jìn)去,由于數(shù)據(jù)量較大將造成過擬合問題,并且有較多特征量線性相關(guān)性強(qiáng)(例如“和熵”、“差熵”與“熵”的意義相近),統(tǒng)計(jì)意義較小[26]。

本文選擇“對(duì)比度”、“熵”、“角二階矩”以及“逆差矩”4種特征量。

(3)

(4)

(5)

(6)

式中,對(duì)比度反映圖像中局部灰度變化;熵表示圖像所具有的信息量的復(fù)雜程度;角二階矩反映圖像灰度分布均勻程度;逆差矩反映圖像紋理的局部變化;P(i,j)表示灰度為i和j的像素對(duì)出現(xiàn)的概率;L表示灰度級(jí)。

f={Conk,Entk,Asmk,Idmk}

(7)

fg={Cong0,Entg0,Asmg0,Idmg0,…,Congk-1,
Entgk-1,Asmgk-1,Idmgk-1}

(8)

式中,f為灰度共生矩陣計(jì)算的特征向量;fg表示各尺度子圖的特征向量融合生成的高維向量;g表示Gabor變換后多尺度特征量;k表示第k幅圖像。

2 相關(guān)工作

2.1 多尺度特征提取

本文選取Gabor濾波器組的θ角范圍是[0,π],以π/6為增量分為6個(gè)方向,濾波器尺寸為3、5、7、9,構(gòu)建四尺度六方向?yàn)V波器組,圖2為多尺度特征提取過程。

圖2 多尺度特征提取Figure 2. Multi-scale feature extraction

2.2 CNN特征提取

CNN是圖像分類常用的網(wǎng)絡(luò)結(jié)構(gòu),圖像經(jīng)過卷積、池化層以及BN層等處理后實(shí)現(xiàn)圖像的特征提取。加深CNN層數(shù)可以的擴(kuò)大感受野,但同時(shí)參數(shù)量也會(huì)增加?？紤]到計(jì)算成本問題,部分CNN層使用空洞卷積,在增加感受野的同時(shí)減少了參數(shù)量,CNN模塊的搭建如圖3所示。

圖3 CNN卷積模塊Figure 3. CNN convolution module

經(jīng)過兩次3×3卷積與最大池化層實(shí)現(xiàn)圖像下采樣操作,然后通過3層不同膨脹率的膨脹卷積。為了解決多層膨脹卷積引起的“gridding effect”問題,b本文引入混合膨脹卷積(Hybrid Dilated Convolution,HDC)模塊,膨脹率的選擇應(yīng)滿足式(9)[27]。

Mi=max[Mi+1-2ri,Mi+1-2(Mi+1-ri),ri]

(9)

式中,ri為膨脹率;Mi為空洞數(shù)。當(dāng)卷積核尺寸為3時(shí),M2必須小于3才能避免空洞的產(chǎn)生?；诖?HDC層的膨脹率分別取r=1、r=2、r=3。

對(duì)卷積層輸出的特征圖進(jìn)行維數(shù)壓縮后輸入全連接層FC,FC輸出結(jié)點(diǎn)數(shù)與多尺度特征向量的維數(shù)相同。

2.3 多尺度特征融合

多尺度特征提取利用統(tǒng)計(jì)學(xué)方法,充分考慮了不同尺度下像素間的位置關(guān)系。而CNN卷積對(duì)圖像語義特征信息的提取能力強(qiáng),將兩種特征向量進(jìn)行融合得到增強(qiáng)版的紋理特征向量,在一定程度上豐富了多尺度提取的特征信息。圖4為多尺度特征融合過程。

圖4 多尺度特征融合Figure 4. Multi-scale feature fusion

2.4 分類模型

傳統(tǒng)分類器在處理高維特征向量前先進(jìn)行數(shù)據(jù)降維操作,從一定程度上降低模型運(yùn)算量,計(jì)算量也相應(yīng)減小。本文使用LSTM處理高維信息,其是循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)的一種[28],引入“遺忘門”、“輸入門”和“輸出門”,有效解決了“梯度消失”和“梯度爆炸”問題,能更好地能處理長序列問題,其單元結(jié)構(gòu)如圖5所示。

圖5 LSTM網(wǎng)絡(luò)示意圖Figure 5. LSTM network

對(duì)于分類問題,本文將圖像提取出的多尺度特征向量fg定義為序列值xt,xt是一個(gè)96維向量。

ft=σ(Wxxt+Whfht-1+bf)

(10)

ft將參數(shù)xt與上一時(shí)刻輸出狀態(tài)ht-1合并后輸入Sigmoid函數(shù),實(shí)現(xiàn)將輸入值映射到0～1之間,實(shí)現(xiàn)“門”的功能。

gt=tanh(Wxgxt+Whght-1+bg)

(11)

it=σ(Wxixt+Whiht-1+bi)

(12)

ct=ct-1⊙ft+gt⊙it

(13)

gt和it處理輸入紋理信息,ct將當(dāng)前時(shí)刻的信息累加到“記憶傳送帶”ct上,ct記錄了長記憶信息,當(dāng)前的圖像紋理已經(jīng)在“記憶細(xì)胞”內(nèi)儲(chǔ)存。

ot=σ(Wxoxt+Whoht-1+bo)

(14)

ht=ot⊙tanh(ct)

(15)

yt=Wyhht+by

(16)

式中,σ為Sigmoid函數(shù);“⊙”為對(duì)應(yīng)元素相乘的運(yùn)算符;W為權(quán)重參數(shù);xt為輸入序列;yt為輸出結(jié)果;b為偏置項(xiàng);ot處理當(dāng)前時(shí)刻輸出紋理信息,將輸出信息與長記憶帶信息結(jié)合作為此刻的輸出狀態(tài)ht,最終輸出采用“One-Hot”編碼。損失函數(shù)選擇交叉熵?fù)p失函數(shù),根據(jù)目標(biāo)輸出值進(jìn)行迭代,LSTM紋理分類器模型記錄了圖像在不同尺度下的紋理信息,從而充分利用了圖像的多尺度信息。

3 實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)流程如圖6所示。原始圖像經(jīng)過圖像預(yù)處理后通過Gabor變換,將圖像映射到多尺度空間,經(jīng)過GLCM進(jìn)行特征提取。另一支路經(jīng)過CNN網(wǎng)絡(luò)將兩路提取的特征進(jìn)行融合,送入分類器網(wǎng)絡(luò)進(jìn)行分類測(cè)試,結(jié)果采用混淆矩陣(Confusion Matrix,CM)進(jìn)行指標(biāo)評(píng)判。

圖6 實(shí)驗(yàn)流程Figure 6. Experimental flow

為了驗(yàn)證該方法的有效性,本文使用公開紋理數(shù)據(jù)集Brodatz進(jìn)行實(shí)驗(yàn)驗(yàn)證,選取鵝卵石(cobble)、水波(wave)、磚墻(brick)、圓圈(circle)、地面(ground)以及石塊(stone)6種紋理圖片進(jìn)行分類。紋理圖像進(jìn)行分塊處理,生成100塊子圖,取前80塊子圖作為訓(xùn)練集訓(xùn)練模型,后20塊作為測(cè)試集,搭建長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)(LSTM)分類器對(duì)圖像進(jìn)行紋理分類,得到單尺度和多尺度下LSTM分類器的分類混淆矩陣和F1指標(biāo)柱狀圖。

使用混淆矩陣記錄LSTM分類器在不同尺度下的分類結(jié)果,如圖7所示。

(a)

圖7(a)是單一尺度下LSTM分類器對(duì)6個(gè)類別的分類混淆矩陣,分類準(zhǔn)確率為96.7%。圖7(b)是多尺度下LSTM分類器對(duì)6個(gè)類別的分類混淆矩陣,分類準(zhǔn)確率為98.3%。

F1指標(biāo)評(píng)價(jià)模型精確度,是準(zhǔn)確率和召回率的調(diào)和平均數(shù),計(jì)算式如式(17)所示。

(17)

式中,Precision表示準(zhǔn)確率;Recall表示召回率。

由圖8可知,多尺度下LSTM網(wǎng)絡(luò)分類結(jié)果F1指標(biāo)普遍較單一尺度下的分類結(jié)果F1指標(biāo)高,表明多尺度下對(duì)每個(gè)類的分類精度較高。

圖8 LSTM網(wǎng)絡(luò)分類F1指標(biāo)Figure 8. F1 index of LSTM network classification

3.1 數(shù)據(jù)集

選擇NEU數(shù)據(jù)集[29]中6種表面缺陷圖片進(jìn)行分類實(shí)驗(yàn),分別為開裂(crazing)、內(nèi)含物(inclusion)、斑塊(patches)、點(diǎn)蝕表面(pitted)、軋制氧化皮(rolled-in)以及劃痕(scratches)。如圖9所示,每種表面缺陷有300張圖像數(shù)據(jù),每張圖像為3通道200×200像素的bmp格式,按照8∶2的比例劃分訓(xùn)練集與測(cè)試集。

圖9 NEU數(shù)據(jù)集6類表面缺陷Figure 9. Six kinds of surface defects of NEU data set

3.2 特征提取

訓(xùn)練集圖像經(jīng)過預(yù)處理后,通過Gabor變換為多尺度圖像,經(jīng)過GLCM提取統(tǒng)計(jì)特征。文獻(xiàn)[30]從理論上證明了的計(jì)算GLCM并不需要選取所有參數(shù)即可完整描述圖像的紋理特征。

表1列出了在不做處理的單尺度圖像與Gabor多尺度變換后的圖像中,GLCM在像素對(duì)方向α取不同值時(shí)提取出的特征向量與α在0°時(shí)提取出來的特征向量的余弦相似度?？梢园l(fā)現(xiàn),余弦相似度均約為1,說明只提取一個(gè)方向的特征量即可滿足要求。因此,為了減少計(jì)算量,本文選擇在0°方向上做灰度共生矩陣提取特征。

表1 不同方向與0°提取的特征量余弦相似度對(duì)比Table 1. Comparison of cosine similarity of feature quantity extracted from different directions and 0°

3.3 特征融合

經(jīng)過預(yù)處理的訓(xùn)練集圖像再經(jīng)過CNN卷積模塊提取特征。為了使CNN卷積模塊初始權(quán)重去隨機(jī)化,在參與特征提取前先將其FC層連接6分類Classifier結(jié)點(diǎn)在訓(xùn)練集上進(jìn)行有監(jiān)督訓(xùn)練。在測(cè)試集中達(dá)到80%的驗(yàn)證精度,然后去掉Classifier層,將其FC層接在GLCM特征輸出上。

特征融合的方式有兩種:1)直接進(jìn)行特征向量的拼接;2)各元素?cái)?shù)值相加。對(duì)這兩種融合方式進(jìn)行實(shí)驗(yàn),結(jié)果如表2所示。

表2 不同融合方式的預(yù)測(cè)結(jié)果Table 2. Prediction results of different fusion methods

由表2可知,隨著特征維數(shù)增加,預(yù)測(cè)結(jié)果降低,所需的預(yù)測(cè)時(shí)間更多。該現(xiàn)象可能是由于數(shù)據(jù)量大造成了模型過擬合,因此需采用元素相加的融合方式。

3.4 結(jié)果與分析

使用混淆矩陣(CM)記錄LSTM分類器在本文方法下的分類結(jié)果,如圖10所示。

圖10 LSTM網(wǎng)絡(luò)分類混淆矩陣Figure 10. LSTM network classification confusion matrix

圖10表明,除了“點(diǎn)蝕表面”和“劃痕”兩類有錯(cuò)分以外其他類都能被正確識(shí)別。

由式(18)計(jì)算得到模型分類準(zhǔn)確率為97.5%。

(18)

式中,TP為正類分類正確的個(gè)數(shù);TN為負(fù)類分類正確的個(gè)數(shù);FP為正類分類錯(cuò)誤的個(gè)數(shù);FN為負(fù)類分類錯(cuò)誤的個(gè)數(shù)。由于本文為多分類問題,因此分子為所有類分類正確的總數(shù),分母為所有的樣本數(shù)。

在多尺度特征和CNN特征融合的前提下分別使用LSTM、BP網(wǎng)絡(luò)、SVM、KNN以及CART等分類器對(duì)紋理圖像進(jìn)行分類并將分類結(jié)果進(jìn)行對(duì)比。圖11為各個(gè)分類器對(duì)圖像的分類F1指標(biāo)。

圖11 多尺度下各分類器F1指標(biāo)Figure 11. F1 index of classifiers at multi-scale

圖11表明,在Gabor變換后多尺度下,在同時(shí)使用CNN卷積進(jìn)行特征提取的各個(gè)分類器中,LSTM表現(xiàn)最好,對(duì)于較難分類的“點(diǎn)蝕表面”類,其F1指標(biāo)高達(dá)94%,而對(duì)于其余5個(gè)類別的分類的F1指標(biāo)也都在95%以上。

在多尺度下,圖像特征信息量較大,對(duì)KNN、SVM、CART等分類器易受到異常點(diǎn)影響,從而導(dǎo)致分類效果不佳。在這種情況下,神經(jīng)網(wǎng)絡(luò)分類器由于其復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu),具有較好的處理復(fù)雜信息的能力。對(duì)于一般的神經(jīng)網(wǎng)絡(luò),例如BP神經(jīng)網(wǎng)絡(luò)在一定程度上通過訓(xùn)練迭代使分類效果有所提高,但是在多維數(shù)據(jù)下,泛化能力較弱。LSTM網(wǎng)絡(luò)在一定程度上對(duì)輸入輸出具有選擇篩選能力,對(duì)于紋理圖像的多尺度特征有一定的記憶能力,通過不斷地迭代學(xué)習(xí),LSTM網(wǎng)絡(luò)模型可以充分利用多尺度特征信息,從而改善了分類效果。

為了驗(yàn)證本文方法的普適性,進(jìn)行了消融實(shí)驗(yàn)。本文搭建了機(jī)器學(xué)習(xí)中常用的分類方法SVM、KNN、CART以及深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)LSTM、BP、CNN和AlexNet網(wǎng)絡(luò),實(shí)驗(yàn)結(jié)果如表3所示。表3中“√”表示使用了對(duì)應(yīng)的特征提取方式,并將每種分類結(jié)果的準(zhǔn)確度計(jì)算出來。

表3 各分類器不同特征提取方式結(jié)果對(duì)比Table 3. Comparison of results of different feature extraction methods of various classifiers

表3表明,使用了Gabor多尺度變換和CNN卷積提取特征融合后的LSTM分類器準(zhǔn)確率最高,達(dá)到97.5%。同等分類器情況下僅使用Gabor多尺度變換的準(zhǔn)確率較低,而不使用Gabor多尺度變換和CNN卷積模塊的單一尺度分類效果較差。

CNN_Block為本文搭建的CNN模塊,表3顯示單獨(dú)使用CNN_Block模塊的效果并不好。由于神經(jīng)網(wǎng)絡(luò)深度以及迭代次數(shù)的影響,尤其是Alexnet等大型CNN網(wǎng)絡(luò)較耗時(shí),在綜合考量檢測(cè)實(shí)時(shí)性以及檢測(cè)精度的情況下,采用本文方法能夠達(dá)到較好的效果。

4 結(jié)束語

針對(duì)鋼材表面缺陷分類問題,本文提出了一種基于紋理圖像多尺度特征融合的分類方法。利用多尺度Gabor變換將圖像映射到多尺度空間,并利用GLCM實(shí)現(xiàn)多尺度特征提取。其次采用引入HDC模塊的CNN模塊提取紋理圖像的特征,將兩種特征向量進(jìn)行融合得到特征信息增強(qiáng)的特征向量。最后根據(jù)該融合特征向量的序列特性使用LSTM網(wǎng)絡(luò)作為分類器。為了驗(yàn)證該方法的準(zhǔn)確性,使用NEU數(shù)據(jù)集中熱軋帶鋼表面的不同缺陷進(jìn)行分類識(shí)別。利用LSTM、BP網(wǎng)絡(luò)、SVM、KNN、CART,CNN以及AlexNet分類方法對(duì)測(cè)試集中的360張圖像進(jìn)行了分類檢測(cè),通過消融實(shí)驗(yàn)驗(yàn)證了該方法的普適性?；贚STM分類的分類方法的準(zhǔn)確率達(dá)到97.5%,在分類器中表現(xiàn)最好。實(shí)驗(yàn)結(jié)果表明,特征融合后以及采用LSTM進(jìn)行分類的方法有效提升了紋理圖像的分類精度。

本文方法實(shí)現(xiàn)了圖像的多尺度特征信息提取,可同時(shí)用于缺陷等級(jí)劃分等后續(xù)研究,對(duì)于鋼材表面缺陷分類的研究具有意義。