史甜甜

(浙江理工大學 信息學院,杭州 310018)

在紡織品領域中,織物疵點檢測占據(jù)著舉足輕重的地位,它是衡量成品的質(zhì)量以及價格的評判依據(jù).傳統(tǒng)的織物疵點檢測主要依賴于人工的肉眼,人工檢測容易產(chǎn)生疲勞,從而導致檢測精度低、誤檢率高.這幾年來,隨著計算機視覺和圖像處理技術突飛猛進的發(fā)展,紡織品領域使用織物疵點自動檢測技術已成為必然趨勢.頻譜法、統(tǒng)計法、結構法、模型法、神經(jīng)網(wǎng)絡和深度學習是織物疵點主要檢測方法.基于頻譜法、結構法以及神經(jīng)網(wǎng)絡的織物缺陷分類,仍然是該領域的研究重點.傅里葉變換、小波變換和Gabor變換是頻譜法常用的經(jīng)典變換方法,它們通常與其他相關算法組合應用.李東等人[1]結合傅里葉方法和支持向量機方法提出了一種多分類方法.由于小波變換[2]具有很明顯的局部時頻特點,在織物檢測方面,它受到廣泛應用.該方法在突出邊緣的缺陷中具有良好的效果,但在具有平滑灰度差異的缺陷中表現(xiàn)不佳.Gabor濾波器適用于模擬人眼的生物學特征,織物檢測經(jīng)常用到該方法.考慮到Gabor濾波器在進行濾波操作時有多方向和多尺度的特點從而引發(fā)高計算復雜性,實時要求難以得到滿足.文獻[3,4]通過采用遺傳算法來構建最優(yōu)Gabor濾波器達到降低計算復雜性的目的,但是該濾波器執(zhí)行的特點僅在一個方向和一個尺度上,導致性能不佳.Jing等人[5]使用遺傳算法構建的最佳Gabor濾波器對圖案化圖像進行濾波,并對處理后的圖像進行閾值化處理.文獻[6]通過HOG算子提取圖像塊特征,再利用低秩分解模型實現(xiàn)了織物疵點檢測.文獻[7]考慮了織物紋理和疵點特性,利用LBP算子實現(xiàn)了織物疵點準確分割.近年來,神經(jīng)網(wǎng)絡也被用于織物缺陷檢測和分類[8].除了經(jīng)典的反向傳播(BP)網(wǎng)絡之外,新興的神經(jīng)網(wǎng)絡,即脈沖耦合神經(jīng)網(wǎng)絡(PCNN)[9,10].

傳統(tǒng)的淺層神經(jīng)網(wǎng)絡結構主要由一個輸入層、一個隱藏層和一個輸出層構成.與淺層網(wǎng)絡結構相比,具有多個隱含層的神經(jīng)網(wǎng)絡,簡稱為深層網(wǎng)絡.Hinton等人[11]在2006年提出逐層貪婪算法,該算法通過初始化深度網(wǎng)絡結構權重,達到改善網(wǎng)絡性能的目的.Hinton引發(fā)了深度學習在研究和應用領域的熱潮,引起了學者們廣泛的反響,具有創(chuàng)歷史的意義.流行的深度學習模型框架如 AlexNet[12]、Vgg-16[13]、GoogleNet[14]和Inception V3[15]等深層網(wǎng)絡已成功用于圖像分類.Vgg-Face[16]網(wǎng)絡結構被用作一個非常深的網(wǎng)絡例子,在實驗中證明了它成功地學習面部特征來進行面部驗證.然而,由于高計算復雜性,導致計算機硬件設備無法滿足需求.隨后,Chollet[17]提出的 Xception 網(wǎng)絡證明了利用深度可分離濾波器可超越Inception V3網(wǎng)絡性能.另外Howard等人[18]利用深度可分離卷積設計了MobileNet并在手機端進行應用.Li等人[19]將Fisher準則融合到LSTM中實現(xiàn)了高效的識別分類.Li等人[20]提出對棧式去噪自編碼器加入Fisher準則來進一步提高織物疵點的檢測率,但是當樣本數(shù)量增加時,準確率有所下降.

本文為了對具有周期性圖織物實現(xiàn)自動化疵點分類檢測,提出了基于Fisher準則的深層卷積神經(jīng)網(wǎng)絡,其利用深度可分離卷積設計一個小型的深層卷積神經(jīng)網(wǎng)絡(DCNN),相比較于大型卷積神經(jīng)網(wǎng)絡,不僅大大地降低網(wǎng)絡參數(shù)、計算量和分類運行時間,還保證了織物疵點分類率較高;其次,對深層卷積神經(jīng)網(wǎng)絡的Softmax損失函數(shù)增加Fisher準則約束,減小類內(nèi)間距,增大類間間距,通過梯度算法更新整個網(wǎng)絡參數(shù),得到深層卷積神經(jīng)網(wǎng)絡(FDCNN);最后,分別將2類織物疵點數(shù)據(jù)集送入FDCNN網(wǎng)絡中進行疵點分類檢測.實驗結果表明:深度可分離卷積可有效地減小網(wǎng)絡參數(shù)、計算量以及運行時間,且通過對深層卷積神經(jīng)網(wǎng)絡增加Fisher準則約束,可有效提高織物疵點分類率.

1 深度可分離卷積

本文的網(wǎng)絡模型主要基于深度可分離卷積,核心就是將標準卷積因式分解為深度卷積和逐點卷積.深度可分離卷積先考慮區(qū)域,再考慮通道,實現(xiàn)了通道和區(qū)域的分離,其與標準卷積相比網(wǎng)絡參數(shù)和計算量減小.將DF×DF×M特征圖F作為輸入,經(jīng)過標準卷積核K大小為DK×DK×M×N,并輸出DF×DF×N特征圖G,其中DF、DK、DG分別是輸入特征圖、卷積核和輸出特征圖的寬和高,M是輸入通道,N是輸出通道,則標準卷積層的輸出特征圖和計算量如下式(1)(2):

利用深度可分離卷積將標準卷積分解為深度卷積和逐點卷積,通過1×1的逐點卷積將深度卷積輸出特征圖線性輸出,深度可分離卷積的計算量為深度卷積和逐點卷積之和,即深度卷積的輸出特征圖、計算量和深度可分離卷積的計算量分別如下式(3)(4)(5):

2 Fisher準則

假設由m個樣本構成的訓練數(shù)據(jù)集{(x1,y1),···,(xm,ym)},有yi∈{1,2,···,k},k為要分類的數(shù)量,則Softmax損失函數(shù)可表示為:

其中,ω為Softmax的參數(shù).

為了進一步提高深層卷積神經(jīng)網(wǎng)絡的分類性能,提出對深層卷積神經(jīng)網(wǎng)絡的損失函數(shù)進行Fisher準則約束,基于Fisher線性判別提出了新Fisher判據(jù),即表示為:

其中,uyi是第i類平均值,Oi為網(wǎng)絡輸出值,δ為判別式因子.減小類內(nèi)間距,增大類間間距,使得Lf達到最小.當深層卷積神經(jīng)網(wǎng)絡不斷更新uyi,則Softmax損失函數(shù)增加Fisher準則約束可表示為:

其中,θ介于0和1之間.在前向傳播和反向傳播過程中,w為損失參數(shù),θ參數(shù)標量,λ為學習率,迭代次數(shù)為e.通過式(10)和式(11)計算基于Fisher準則約束的深層卷積神經(jīng)網(wǎng)絡在每一次迭代過程中的誤差值和w:

3 基于FDCNN的織物疵點檢測

織物疵點分類檢測主要步驟:(1)構建織物疵點訓練集和測試集;(2)利用深度可分離卷積設計14層的深層卷積神經(jīng)網(wǎng)絡,輸入織物疵點樣本訓練DCNN模型;(3)對DCNN網(wǎng)絡的Softmax函數(shù)增加Fisher準則約束,根據(jù)反向傳播梯度下降不斷迭代更新權值進行訓練微調(diào),得到FDCNN模型;(4)將測試集的織物疵點圖像輸入到訓練好的FDCNN模型中進行分類識別.FDCNN算法具體流程如圖1所示.

圖1 FDCNN 算法流程圖

3.1 實驗環(huán)境與實驗數(shù)據(jù)集

實驗運行環(huán)境:Intel(R)Xeon(R)E5-2620 V4@2.10 GHZ,64 GB,在 MATLAB2018a 環(huán)境下編寫代碼.本文的織物疵點數(shù)據(jù)集主要來源于:TILDA織物數(shù)據(jù)集和彩色格子織物疵點樣本集,如圖2和圖3所示.

圖2為TILDA數(shù)據(jù)庫織物,通過數(shù)據(jù)增強方法增加圖片樣本量,使得深層卷積神經(jīng)網(wǎng)絡可以學到更多圖像特性,減小深層卷積神經(jīng)網(wǎng)絡過擬合的可能性.本文采用旋轉變換、翻轉變換、平移變換等操作將樣本數(shù)量擴充至原來10倍,再從原始圖像中隨機截取若干小塊圖像,并歸一化.實驗隨機選擇6460張為訓練集,2490張為測試集.圖3為實驗室環(huán)境下,使用工業(yè)相機實時采集的彩色格子織物數(shù)據(jù)集,彩色格子織物數(shù)據(jù)集共收集2768張.同樣采用上述的數(shù)據(jù)增強方法,對疵點樣本進行擴充6倍.隨機選取6869張為訓練集,2640張為測試集.

圖2 TILDA 織物

3.2 深層卷積神經(jīng)網(wǎng)絡結構

由于傳統(tǒng)CNN網(wǎng)絡采用的是標準卷積層和池化層,導致網(wǎng)絡參數(shù)、計算量大,無法滿足計算機硬件需求.深度可分離卷積將標準卷積層分解為深度卷積層和逐點卷積層,使得計算量和網(wǎng)絡參數(shù)減小.為了滿足在有限的織物疵點庫上提高織物疵點分類率,本文以Vgg-16網(wǎng)絡結構為基礎,結合深度可分離卷積設計出14層的深層卷積神經(jīng)網(wǎng)絡結構(不包括輸入層、BN、ReLu、池化層、Softmax層以及輸出層),降低網(wǎng)絡模型中的參數(shù)數(shù)量和計算量,節(jié)省了運行占用內(nèi)存,加快運行速度,減小分類時間.深層卷積神經(jīng)網(wǎng)絡(DCNN)結構流程如圖4所示.

圖3 彩色格子織物

圖4 DCNN 算法流程圖

3.3 訓練FDCNN

為了進一步提高DCNN網(wǎng)絡模型的性能,對其Softmax損失函數(shù)增加Fisher準則約束,將 θ =0.1、δ=0.05和α =0.5在TILDA織物疵點數(shù)據(jù)集上進行訓練微調(diào)過程,最后輸出織物疵點分類結果.在進行反向傳播過程中增加Fisher準則約束減小類內(nèi)間距,增大類間間距,在迭代更新權值時考慮誤差和損失值最小化,從而更加有利于網(wǎng)絡進行分類識別.FDCNN訓練過程如圖5所示.

圖5 FDCNN 訓練過程

4 實驗結果與分析

4.1 FDCNN網(wǎng)絡模型分析

表1為使用不同的分辨率因子作用于FDCNN在兩種織物數(shù)據(jù)集上的實驗結果,輸入層分辨率為224、192、128 和 64,批量大小為 32,學習率為 0.001,迭代次數(shù)為975次,訓練周期為6.

由表1可知:1)通過輸入不同分辨率的圖片,當輸入層分辨率不斷減小時,網(wǎng)絡參數(shù)不變,織物疵點分類運行時間逐漸降低.2)當FDCNN-128時,織物疵點分類率最高,在TILDA和彩色格子織物數(shù)據(jù)集上分類率分別為98.14%和98.55%.由上可知,本文的FDCNN模型輸入層圖片分辨率選取為128×128.

表1 基于不同的分辨率因子的深層卷積神經(jīng)網(wǎng)絡

表2 本文算法與流行網(wǎng)絡結構的對比

表3 本文算法與傳統(tǒng)算法的分類率對比 (單位:%)

4.2 FDCNN算法與其他算法進行比較

將FDCNN算法與當前流行的深層網(wǎng)絡模型、傳統(tǒng)算法在TILDA和彩色格子織物數(shù)據(jù)集上進行比較.選取AlexNet、Vgg-16和Inception V3流行網(wǎng)絡結構進行對比,實驗結果如表2所示.使用了2種傳統(tǒng)的特征提取方法,選取的特征包括方向梯度直方圖(HOG)特征和局部二值模式(LBP)特征,實驗結果如表3所示.

由表2可以看出:1)FDCNN模型與流行網(wǎng)絡結構相比,網(wǎng)絡參數(shù)最小為1.8百萬,運行時間最短為1781 s.深度可分離卷積可以節(jié)省網(wǎng)絡參數(shù)和運行時間,解決了網(wǎng)絡訓練時計算機硬件設備不足的困難.2)FDCNN模型在TILDA織物數(shù)據(jù)集上分類率為98.14%,FDCNN分類率比AlexNet提高0.38%,比Vgg-16和Inception V3分別下降0.18%和0.46%;3)FDCNN模型在彩色格子織物數(shù)據(jù)集上分類率為98.55%,FDCNN分類率比AlexNet和 Vgg-16分別提高0.13%和0.25%,比Inception V3 下降 0.2%;綜上可知,從網(wǎng)絡參數(shù)、運行時間和分類率上考慮,FDCNN模型最有效.

由表3可知:1)FDCNN和DCNN模型比傳統(tǒng)算法分類率高.當傳統(tǒng)算法與FDCNN均使用Softmax作為分類器,深層卷積神經(jīng)網(wǎng)絡通過非線性映射學習自動提取織物疵點的深層特征,其深層特征優(yōu)于傳統(tǒng)算法提取特征特性,其具有較強的識別能力.TILDA和彩色格子織物紋理結構較為豐富,采用兩種傳統(tǒng)的特征描述算子不能提取有效織物疵點特征,不利于Softmax分類器進行分類識別.2)在TILDA和彩色格子織物數(shù)據(jù)集上,FDCNN模型分類率分別為98.14%和98.55%,比DCNN模型分別提高2.62%和2.47%.由實驗結果表明,與大型卷積神經(jīng)網(wǎng)絡模型相比,對DCNN模型的Softmax層增加Fisher準則約束減小類內(nèi)間距,增大類間間距,不僅提高織物疵點分類率還大幅度降低了網(wǎng)絡參數(shù)、計算量和運行時間,所以,FDCNN模型設計是合理的,在實際檢測中是可行的.

5 結論

針對紋理結構復雜的織物疵點檢測人工提取特征的困難和檢測率低的不足,本文提出的基于Fisher準則的深層卷積神經(jīng)網(wǎng)絡織物疵點檢測算法.該方法不僅可以自動提取織物疵點的特征,還利用深度可分離卷積有效減小網(wǎng)絡參數(shù)量和降低運行時間,并通過對DCNN的Softmax層損失函數(shù)增加Fisher準則約束,減小類內(nèi)間距,增大類間間距,進而不斷更新整個網(wǎng)絡參數(shù),得到最優(yōu)化的FDCNN網(wǎng)絡模型,有效提高織物疵點分類精度.在TILDA和彩色格子織物數(shù)據(jù)集上,FDCNN模型分類率分別為98.14%和98.55%.實驗結果表明:FDCNN算法采用深度可分離卷積可減小網(wǎng)絡參數(shù)量和降低運行時間,且通過增加Fisher準則約束,不斷進行迭代更新微調(diào)參數(shù),對不同紋理背景的織物疵點圖像實現(xiàn)分類識別,具有泛化性.

在后續(xù)工作中,將通過改進算法來訓練出更好的深層卷積神經(jīng)網(wǎng)絡模型,使其對紋理更為復雜和疵點類型更多樣化的圖像庫中進行分類識別,并將探討如何將此方法檢測應用到自動檢測系統(tǒng)中.