， ，，

(中北大學(xué) 信息與通信工程學(xué)院，太原 030051)

0 引言

隨著國(guó)家的發(fā)展，工業(yè)及民眾對(duì)玻璃的需求日趨增加，對(duì)高質(zhì)量玻璃的需求也越來(lái)越大，而玻璃的外觀質(zhì)量是影響其產(chǎn)品性能的一個(gè)重要因素。衡量玻璃外觀質(zhì)量的好壞主要通過(guò)檢測(cè)表面是否存在缺陷。由于玻璃生產(chǎn)工程中工藝制度的破壞或操作過(guò)程的差錯(cuò)，使玻璃往往帶有不同類(lèi)型和大小的缺陷。例如夾雜、氣泡、錫皮，麻點(diǎn)，線條和劃痕等，不僅影響制品的外觀質(zhì)量,還影響玻璃制品的透明性和光學(xué)均一性，降低了制品的機(jī)械強(qiáng)度和熱穩(wěn)定性[1]。因此，在生產(chǎn)過(guò)程中對(duì)玻璃缺陷進(jìn)行識(shí)別，對(duì)于提高產(chǎn)品質(zhì)量等級(jí)，指導(dǎo)工藝改進(jìn)具有重要意義。

傳統(tǒng)上玻璃缺陷的識(shí)別主要靠人工肉眼觀察和業(yè)內(nèi)專(zhuān)家的經(jīng)驗(yàn)來(lái)識(shí)別缺陷，導(dǎo)致了人工的工作強(qiáng)度大、工作周期長(zhǎng)，工作效率低，而且長(zhǎng)時(shí)間疲勞工作會(huì)造成錯(cuò)誤率提高。目前玻璃缺陷識(shí)別方法主要通過(guò)BP算法、小波變換、灰度共生矩陣、SVM等。文獻(xiàn)[2]中利用BFGS算法的三層前饋神經(jīng)網(wǎng)絡(luò)(BP)作為分類(lèi)器，采用不變矩和灰度共生矩陣描述圖像的形狀和紋理，并綜合提取出可分類(lèi)的特征向量，有效的實(shí)現(xiàn)了玻璃缺陷分類(lèi)。文獻(xiàn)[3]中利用多分辨率和信息融合分析的方法對(duì)玻璃缺陷進(jìn)行識(shí)別，并采用二維離散小波變換，將具有有效區(qū)域的相減缺陷圖像分解為近似子圖像和詳細(xì)子圖像。利用灰度共生矩陣對(duì)玻璃缺陷進(jìn)行紋理特征提取，將氣泡、污點(diǎn)等缺陷進(jìn)行分類(lèi)[4]。利用統(tǒng)計(jì)方法的局部方差旋轉(zhuǎn)不變測(cè)量算子(RIMLV)檢測(cè)出缺陷邊緣，并采用統(tǒng)計(jì)模式識(shí)別理論中的多策略支持向量機(jī)(SVM)作為分類(lèi)器對(duì)缺陷類(lèi)型進(jìn)行識(shí)別[5]。

然而上述特征提取方法均根據(jù)簡(jiǎn)單的幾何特征提取，脫離了玻璃缺陷本身的特點(diǎn)：玻璃缺陷沒(méi)有固定的形狀特征,沒(méi)有固定的大小,沒(méi)有明顯的灰度差別,也沒(méi)有大量的細(xì)節(jié)特征[6]。因此特征提取同種缺陷時(shí)的特征差異較大，無(wú)法實(shí)現(xiàn)對(duì)玻璃表面質(zhì)量的客觀、高精度、高效率的識(shí)別。近年來(lái)計(jì)算機(jī)技術(shù)、電子技術(shù)的快速發(fā)展，基于機(jī)器學(xué)習(xí)自動(dòng)化識(shí)別技術(shù)也得到了飛速的發(fā)展，為玻璃表面質(zhì)量檢測(cè)提供了切實(shí)可靠的方案。

目前，通過(guò)結(jié)構(gòu)重組和減少權(quán)值將特征提取功能融合進(jìn)多層感知器中的卷積神經(jīng)網(wǎng)絡(luò)在人臉識(shí)別[7]、車(chē)牌識(shí)別[8-9]等方面取得了極大地成功。卷積神經(jīng)網(wǎng)絡(luò)模擬具有層次結(jié)構(gòu)的生物視覺(jué)感知系統(tǒng)，圖像無(wú)須復(fù)雜預(yù)處理即可直接輸入網(wǎng)絡(luò)學(xué)習(xí)到描述缺陷目標(biāo)的特征，直接輸入網(wǎng)絡(luò)學(xué)習(xí)到描述缺陷目標(biāo)的特征，即使對(duì)光照、幾何畸變等因素干像仍具有很好識(shí)別效果[9]，這避免了傳統(tǒng)玻璃缺陷識(shí)別方法中需要復(fù)雜圖像預(yù)處理和繁瑣的人工提取過(guò)程。

因此本文提出了一種集成學(xué)習(xí)方法。將卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)和KSVD字典相結(jié)合的方式進(jìn)行識(shí)別操作。首先采用圖像處理方法中的分段線性變換方法來(lái)降低圖像原有的噪聲，實(shí)現(xiàn)圖像預(yù)處理工作。然后引入KL距離和L1范數(shù)稀疏化自編碼器(Sparse Autoencoder, SAE),再利用SAE預(yù)訓(xùn)練權(quán)值并給予卷積神經(jīng)網(wǎng)絡(luò)充當(dāng)卷積核進(jìn)行訓(xùn)練，最后通過(guò)改進(jìn)KSVD字典進(jìn)行分類(lèi)。

1 引入稀疏性的自編碼器

稀疏自編碼是指隱層特征具有稀疏響應(yīng)特性。其預(yù)訓(xùn)練：首先提取輸入圖片的小塊信息經(jīng)過(guò)輸入層到達(dá)隱藏層則是對(duì)輸入數(shù)據(jù)進(jìn)行編碼，然后經(jīng)過(guò)隱藏層到達(dá)輸出層則是對(duì)輸入數(shù)據(jù)進(jìn)行解碼重構(gòu)出小塊圖片的過(guò)程。通常，在隱藏層神經(jīng)元中引入稀疏性，這樣可以帶來(lái)很多優(yōu)勢(shì)：一是編碼方案存儲(chǔ)能力大，具有聯(lián)想記憶能力，并且計(jì)算簡(jiǎn)便；二是使自然信號(hào)的結(jié)構(gòu)更加清晰；三是編碼方案既符合生物進(jìn)化普遍的能量最小經(jīng)濟(jì)策略，又滿足電生理實(shí)驗(yàn)的結(jié)論。

本文根據(jù)不同的情況引入兩種稀疏性，分別應(yīng)用在SAE的不同過(guò)程中，一種是不考慮隱層特征的維數(shù)與輸入維數(shù)之間的關(guān)系，利用KL距離引入稀疏性約束，二是在隱層特征的維數(shù)大于輸入的維數(shù)時(shí)，利用范數(shù)L1正則項(xiàng)引入稀疏性。

第一，利用KL距離引入稀疏性約束[10]：對(duì)于數(shù)據(jù)集有隱層特征的輸出：

(1)

利用如下公式計(jì)算隱層輸出每個(gè)節(jié)點(diǎn)的平均值：

(2)

讓隱層每個(gè)節(jié)點(diǎn)的平均輸出值盡量為0，大部分的隱層節(jié)點(diǎn)處于靜默狀態(tài)，為了量化隱層這種特性，通常假設(shè)隱層每個(gè)節(jié)點(diǎn)以一定的概率進(jìn)行響應(yīng)，且節(jié)點(diǎn)之間相互獨(dú)立。設(shè)每個(gè)隱層節(jié)點(diǎn)響應(yīng)或發(fā)生的期望概率為ρ=0.05。利用KL距離構(gòu)造的稀疏正則項(xiàng)[11]為:

(3)

(4)

第二，利用范數(shù)L1正則引入稀疏性，對(duì)于隱層節(jié)點(diǎn)的輸出構(gòu)造的范數(shù)約束項(xiàng)為:

(5)

得到的稀疏自編碼網(wǎng)絡(luò)的優(yōu)化目標(biāo)函數(shù)為:

(6)

2 改進(jìn)KSVD算法

傳統(tǒng)的字典學(xué)習(xí)方法是應(yīng)用一種無(wú)監(jiān)督的學(xué)習(xí)方法，如K-均值[11]對(duì)從圖像中采樣得到的訓(xùn)練樣本進(jìn)行聚類(lèi)。然而K-均值算法訓(xùn)練得到的詞典不具有確定性和合理性。為改進(jìn)K-均值算法而提出了KSVD算法。KSVD算法[12]是一個(gè)學(xué)習(xí)字典的優(yōu)化算法，當(dāng)算法中僅由一個(gè)聚類(lèi)中心表示樣本點(diǎn)時(shí)即為K-均值算法。它主要通過(guò)SVD奇異值分解方法優(yōu)化每個(gè)字典原子從而減少誤差獲得最優(yōu)值并通過(guò)基于當(dāng)前字典的稀疏編碼輸入數(shù)據(jù)之間迭代交替，更新字典中的原子以更好的擬合數(shù)據(jù)來(lái)工作。

其優(yōu)化學(xué)習(xí)的目標(biāo)函數(shù)為：

(7)

其中:Y是為算法輸入的無(wú)標(biāo)記樣本，D為待訓(xùn)練的過(guò)完備稀疏冗余字典，X為應(yīng)用字典D對(duì)樣本Y進(jìn)行表示的稀疏系數(shù)。稀疏約束為L(zhǎng)0范數(shù)。公式(7)的求解是個(gè)NP難問(wèn)題，可以使用Stephane提出的貪婪算法如正交匹配追蹤(orthogonal matching pursuit, OMP)，匹配追蹤(matching pursuit, MP)，弱匹配追蹤(weakly matching pursuit, WMP)和閾值算法(threshold algorithm, TA)。還有S.S Chen提出的松弛因子算法如基匹配算法(basis pursuit, BP)等求解。

在字典更新時(shí)，第一步得到的系數(shù)矩陣表示的數(shù)據(jù)往往和原數(shù)據(jù)有誤差，為了使整體誤差越來(lái)越小，采取逐列更新的方式并且更新后的字典滿足稀疏約束條件。更新規(guī)則為優(yōu)化目標(biāo)函數(shù)：

(8)

每次迭代對(duì)進(jìn)行奇異值(SVD)分解并更新Dk，使得目標(biāo)函數(shù)值最小，其中Ek去掉字典Dk的重構(gòu)誤差，T為進(jìn)行稀疏表示得到稀疏X中非零元素的個(gè)數(shù)的最大值。通過(guò)閾值T的設(shè)置來(lái)達(dá)到稀疏表示目的。

雖然KSVD方法在真實(shí)圖像中很有效，而且也考慮了重建誤差和系數(shù)的稀疏性，但是學(xué)習(xí)的字典沒(méi)有針對(duì)分類(lèi)任務(wù)進(jìn)行優(yōu)化。所以本文提出以下內(nèi)容進(jìn)行優(yōu)化。

2.1 更改稀疏約束

凸松弛算法是常用的一種稀疏約束方法，利用L1范數(shù)代替L0，但L1范數(shù)是基數(shù)層面上的稀疏，編碼具有較少的信息。基于此缺點(diǎn)，本文引入比較流行的L1-L2范數(shù)，定義為：

(9)

L1-L2范數(shù)是群集水平上的稀疏。其目標(biāo)函數(shù)改成：

(10)

其中:γ是平衡誤差和稀疏度的參數(shù)。

2.2 增加判別能力

KSVD方法在真實(shí)圖像中很有效，而且也考慮了重建誤差和系數(shù)的稀疏性，但是學(xué)習(xí)的字典沒(méi)有針對(duì)分類(lèi)任務(wù)進(jìn)行優(yōu)化。所以在此基礎(chǔ)上增加判別準(zhǔn)則。此處的判別準(zhǔn)則包括Softmax判別代價(jià)函數(shù)、費(fèi)舍爾判別準(zhǔn)則、線性預(yù)測(cè)分類(lèi)誤差、Logistic代價(jià)函數(shù)等。其核心模型為：

(11)

其中:D為稀疏表示字典，W為判別能力字典，第二項(xiàng)為分類(lèi)誤差。通過(guò)交替迭代求解優(yōu)化問(wèn)題，得到的解為[D,W]。然后在測(cè)試階段，對(duì)于測(cè)試信號(hào)XTest，利用判別能力字典，得到l=W×XTest，通過(guò)判斷進(jìn)而分類(lèi)。

3 實(shí)驗(yàn)研究

3.1 數(shù)據(jù)集

玻璃缺陷是影響玻璃質(zhì)量的首要因素。常見(jiàn)的玻璃缺陷主要有氣泡、光畸變、劃傷、夾雜、疥瘤等。本文數(shù)據(jù)是通過(guò)在實(shí)際生產(chǎn)線中使用CCD相機(jī)采集得到的圖片。其中我們選取夾雜、氣泡、劃痕、污點(diǎn)、癤瘤、斷板作為我們研究缺陷類(lèi)型的初始樣本。由于采集的數(shù)據(jù)量不大，數(shù)據(jù)集中的正負(fù)樣本分布極不均勻等特點(diǎn)往往會(huì)出現(xiàn)過(guò)擬合現(xiàn)象，為了防止過(guò)擬合，可以利用正則化方法[13]或者數(shù)據(jù)集擴(kuò)增的方法[14]。因?yàn)槲覀兊臄?shù)據(jù)樣本比較小所以在此采用數(shù)據(jù)集擴(kuò)增的方法，既可以消除過(guò)擬合現(xiàn)象也可以提高識(shí)別準(zhǔn)確率。

由于劃痕缺陷、夾雜缺陷、疥瘤缺陷、氣泡缺陷和污點(diǎn)缺陷這些缺陷特征圖受到系統(tǒng)噪聲的影響較大，為了降低系統(tǒng)噪聲，增大缺陷與背景灰度的差異，可以使用中值濾波和灰度變換方法。但某些小型缺陷和邊沿缺陷在濾除噪聲時(shí)會(huì)對(duì)其造成一定地?fù)p傷，因此我們采用分段線性變換方法。處理前后圖片分別為圖1和圖2。

圖1 部分未處理玻璃缺陷樣本

圖2 部分處理后玻璃缺陷樣本

3.2 實(shí)驗(yàn)過(guò)程

實(shí)驗(yàn)數(shù)據(jù)是在實(shí)際生產(chǎn)線中使用CCD像機(jī)采集的數(shù)據(jù)圖片。經(jīng)過(guò)后期操作總共可以使用的圖片為1800張，包含6種缺陷，每種缺陷各300張。其中每類(lèi)抽取200張共計(jì)1200張作為訓(xùn)練圖片，600張作為測(cè)試圖片。圖片統(tǒng)一預(yù)處理為28*28的灰度圖片。針對(duì)小數(shù)據(jù)集的研究首先采用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，提取特征，其中relu作為激活函數(shù)。參數(shù)設(shè)置如圖3所示。

圖3 深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)

訓(xùn)練集作為輸入圖片經(jīng)過(guò)圖4后分別提取S2層特征圖h1和S4層特征圖h2。然后分別作為SAE的輸入圖片。下面是對(duì)圖4 SK_CNN處理過(guò)程：

1)從訓(xùn)練樣本中隨機(jī)選取局部圖像塊進(jìn)行Zero-phase Component Analysis (ZCA)白化處理[15]。

2)將處理后的圖片經(jīng)過(guò)稀疏自編碼(此過(guò)程用KL引入稀疏項(xiàng))預(yù)訓(xùn)練得到權(quán)值W1。

3)特征圖h1進(jìn)行ZCA白化處理。

4)將處理后的圖片經(jīng)過(guò)稀疏自編碼(此過(guò)程用L1范數(shù)引入稀疏項(xiàng))預(yù)訓(xùn)練得到權(quán)值W2。

5)特征圖h2進(jìn)行ZCA白化處理。

6)將處理后的圖片經(jīng)過(guò)稀疏自編碼(此過(guò)程用L1范數(shù)引入稀疏項(xiàng))預(yù)訓(xùn)練得到權(quán)值W3。

7)W1,W2,W3在經(jīng)過(guò)CNN的監(jiān)督性訓(xùn)練就得到最優(yōu)的權(quán)值。

8)把測(cè)試集輸入CNN后經(jīng)過(guò)KSVD分類(lèi)器，進(jìn)行識(shí)別。

圖4 SK_CNN模型

如圖5所示分別對(duì)應(yīng)步驟2)、4)、6)所得到的權(quán)值圖像。此權(quán)值圖像是使用SAE無(wú)監(jiān)督訓(xùn)練CNNs濾波器權(quán)值W而得到的。設(shè)定CNNs第一層權(quán)值為12*7*7，即12個(gè)7*7大小的濾波器，則先在白化后的圖片切30000個(gè)7*7patches，將這些patches作為SAE的輸入，通過(guò)訓(xùn)練得到權(quán)值W為49*12，如圖5(a)所示，輸入層個(gè)數(shù)為49，隱藏層個(gè)數(shù)為12，輸入層維數(shù)大于隱藏層維數(shù)則引入KL稀疏約束，進(jìn)行稀疏化；第二層權(quán)值為24*4*4，即24個(gè)4*4大小的濾波器。將上述提取的特征圖h1作為SAE的輸入，隱藏層個(gè)數(shù)為24，通過(guò)訓(xùn)練得到的權(quán)值W為24*16，如圖5(b)所示，輸入層維數(shù)小于隱藏層維數(shù)則引入L1范數(shù)進(jìn)行稀疏化；第三層權(quán)值為48*3*3，即48個(gè)3*3大小的濾波器，將上述提取的特征圖h2作為SAE的輸入，隱藏層個(gè)數(shù)設(shè)為48，通過(guò)訓(xùn)練得到權(quán)值W為48*9，如圖5(c)所示，輸入層維數(shù)小于隱藏層維數(shù)則引入L1范數(shù)進(jìn)行稀疏化。

圖5 步驟2)、4)、6)所得到的權(quán)值圖像

3.3 實(shí)驗(yàn)結(jié)果

3.3.1 玻璃數(shù)據(jù)庫(kù)

我們?cè)谧约簞?chuàng)建的數(shù)據(jù)庫(kù)上評(píng)估提出的玻璃缺陷識(shí)別方法，并將其性能與最近提出的幾種算法進(jìn)行比較，包括softmax，SVM，kmeans和KSVD。在實(shí)驗(yàn)中所有算法使用的參數(shù)全部相同，學(xué)習(xí)詞典大小是全連接層輸出的大小，稀疏度先設(shè)為T(mén)=6。識(shí)別結(jié)果表明本文算法在缺陷的識(shí)別中除了疥瘤缺陷外的每一類(lèi)識(shí)別率均在90%以上，這可能由于疥瘤樣本數(shù)據(jù)量較少，沒(méi)有大范圍的涵蓋所有缺陷類(lèi)型所致。但相比其他方法也具有明顯的提高。識(shí)別結(jié)果如表1所示。

表1 識(shí)別缺陷的個(gè)數(shù)

表2的實(shí)驗(yàn)結(jié)果是在表1的基礎(chǔ)上完成的并增加了Kappa系數(shù)來(lái)說(shuō)明。實(shí)驗(yàn)參數(shù)不變。從表中可以觀察到，本文算法是在改進(jìn)的KSVD上增加了稀疏自編碼器相比于單純的KSVD提高了識(shí)別時(shí)間和準(zhǔn)確率。所有準(zhǔn)確率和識(shí)別時(shí)間均是在訓(xùn)練了10次后取的平均值。

表2 分類(lèi)算法對(duì)比結(jié)果

表3 不同方法對(duì)比

3.3.2 AR數(shù)據(jù)庫(kù)

AR數(shù)據(jù)庫(kù)對(duì)應(yīng)126個(gè)人(70名男性，56名女性)的4,000多張彩色圖片整合成的數(shù)據(jù)集。圖像具有不同的面部表情，每個(gè)人有26個(gè)人臉圖像。我們使用50名男性和50名女性的2,600張圖片作為新的數(shù)據(jù)集。本文隨機(jī)選取每個(gè)人的20張圖像作為訓(xùn)練，剩余的6張作為測(cè)試。實(shí)驗(yàn)過(guò)程中算法參數(shù)保持不變。本文投影臉部圖像∈R192×168到一個(gè)矢量∈R540使用Randomface[17]。稀疏度設(shè)定為T(mén)= 10,識(shí)別結(jié)果總結(jié)在表4中。本文的方法優(yōu)于所有競(jìng)爭(zhēng)方法。

表4 AR數(shù)據(jù)庫(kù)識(shí)別準(zhǔn)確率

4 結(jié)語(yǔ)

傳統(tǒng)玻璃缺陷識(shí)別方法中缺陷特征類(lèi)型的選取以及提取存在人為主觀因素影響、效率低、計(jì)算量大等不足。而玻璃缺陷目標(biāo)存在形態(tài)復(fù)雜多變、目標(biāo)過(guò)小等問(wèn)題，采取人為設(shè)計(jì)的特征提取方法難以有效表述缺陷目標(biāo)。因此基于稀疏自編碼與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的缺陷識(shí)別模型已經(jīng)建成。結(jié)合卷積神經(jīng)網(wǎng)絡(luò)參數(shù)的多層次和精細(xì)轉(zhuǎn)換的優(yōu)點(diǎn)，本文采用SAE預(yù)訓(xùn)練卷積核，取代傳統(tǒng)CNN中權(quán)值的隨機(jī)初始化，在優(yōu)化前參數(shù)可以得到更合適的值，以提高識(shí)別時(shí)間。并用KSVD進(jìn)行識(shí)別操作提高識(shí)別準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明，該方法可以對(duì)常見(jiàn)的玻璃缺陷進(jìn)行精確的分類(lèi)。但是應(yīng)用于人臉領(lǐng)域表現(xiàn)效果不是很好，接下來(lái)研究的重點(diǎn)是如何提高多方面領(lǐng)域的識(shí)別。