張宏偉，湯文博,李鵬飛,葛志強，高振鐸

(1.西安工程大學(xué) 電子信息學(xué)院,陜西 西安 710048;2.浙江大學(xué) 工業(yè)控制技術(shù)國家重點實驗室,浙江 杭州 310027)

0 引 言

色織襯衫花型美觀多樣,近年來產(chǎn)銷量與日俱增,已成我國出口創(chuàng)匯的重要服裝產(chǎn)品之一。但在色織物生產(chǎn)過程中,由于織造設(shè)備故障、紗線問題等因素的影響[1],會造成織物表面各種不同形態(tài)的疵點,嚴重影響色織襯衫的產(chǎn)品質(zhì)量和市場議價能力,導(dǎo)致產(chǎn)品價格降低45%～65%[2]。目前,為降低色織物缺陷對色織襯衫產(chǎn)品的質(zhì)量影響,多數(shù)色織襯衫織造企業(yè)在色織物裁剪工序之后和縫制工序之前,加入人工驗片的工序,利用人工視覺進行檢測并剔除有缺陷裁片。但人工檢測勞動強度大,檢測效率低。近年來,隨著圖像處理和計算機視覺技術(shù)迅猛發(fā)展,利用視覺技術(shù)輔助織物疵點自動檢測吸引了產(chǎn)業(yè)界和學(xué)術(shù)界的廣泛關(guān)注[3]。

色織物由經(jīng)紗和緯紗交織而成,形成了點、星、條和格子等典型的紋理花型。常規(guī)的織物缺陷的檢測方法主要可分為3類:一是基于統(tǒng)計學(xué)算法的灰度共生矩陣[4]、數(shù)學(xué)形態(tài)學(xué)法[5]等;二是基于頻譜算法的Gabor濾波器法[6]、傅里葉變換法[7]和小波變換法[8];三是基于模型算法的馬爾科夫隨機場法[9]和自回歸模型[10]等。常規(guī)算法主要是解決白坯布和花型紋理相對簡單的凈色織物缺陷檢測問題,難以有效解決花型顏色復(fù)雜的問題。另外,色織物色彩種類繁多,且新花型隨著時尚元素推陳出新,導(dǎo)致基于有監(jiān)督機器學(xué)習(xí)算法的特征工程框架成本巨大,難以在實際的色織物缺陷檢測中推廣。因此,色織襯衫的缺陷檢測方法具有顯著的研究意義和工程意義。

深度學(xué)習(xí)是近年來興起的機器學(xué)習(xí)技術(shù),被廣泛應(yīng)用于圖像識別、語音識別、自然語言處理等領(lǐng)域[11]。尤其對于圖像處理,深度學(xué)習(xí)自動提取特征的能力極大簡化了數(shù)據(jù)預(yù)處理的過程。根據(jù)學(xué)習(xí)方式的不同,深度學(xué)習(xí)可分為有監(jiān)督和無監(jiān)督學(xué)習(xí)。目前應(yīng)用廣泛的多目標檢測算法的網(wǎng)絡(luò)模型有Faster R-CNN[12]、YOLO(you look only once)[13]、SSD[14]等。有監(jiān)督學(xué)習(xí)是指送入深度學(xué)習(xí)網(wǎng)絡(luò)中進行學(xué)習(xí)的不僅是數(shù)據(jù),還有與數(shù)據(jù)相對應(yīng)的標簽,然后通過反向傳播算法和優(yōu)化算法最小化實際輸出與實際標簽之間的誤差來調(diào)整網(wǎng)絡(luò)參數(shù)。在實際的深度學(xué)習(xí)網(wǎng)絡(luò)中,可能有成千上萬的參數(shù)需要學(xué)習(xí),因此就需要非常大量的帶有標簽的訓(xùn)練數(shù)據(jù)。但標簽是通過人工方式在進行數(shù)據(jù)學(xué)習(xí)之前就標記好的。在數(shù)據(jù)量非常大的情況下,對數(shù)據(jù)打標簽將是耗時耗力的工作。

無監(jiān)督學(xué)習(xí)方法中,比較著名的深度學(xué)習(xí)方法有受限波爾茲曼機、自編碼器以及生成式對抗網(wǎng)絡(luò)。自編碼器是一種特殊的神經(jīng)網(wǎng)絡(luò),定義目標函數(shù),通過迭代收斂,使用了反向傳播算法。與神經(jīng)網(wǎng)絡(luò)不同,自編碼器是一種無監(jiān)督學(xué)習(xí)算法,它的輸入向量等于輸出向量,通過中間隱層可以學(xué)習(xí)高維復(fù)雜數(shù)據(jù)。2017年,李云棟等[15]設(shè)計了一個4層的堆棧式去噪自編碼器,重構(gòu)TILDA 數(shù)據(jù)集里的無缺陷色織灰度圖像數(shù)據(jù),引入深度學(xué)習(xí)方法進行提花織物的特征提取,為無監(jiān)督色織物缺陷檢測提供了思路。但是,由于自編碼器是全連接網(wǎng)絡(luò),在對圖像特征進行建模時參數(shù)數(shù)量巨大,難以直接用于色織襯衫裁片圖像的缺陷檢測。近年來,卷積自編碼器被廣泛用于無監(jiān)督特征提取、圖像分類、3D 目標檢索、面部表情識別、人體姿態(tài)識別等任務(wù)。在以上任務(wù)中,卷積自編碼器均能提取到有效特征,并表現(xiàn)出突出的運算精度和效率[16]。文中引入去噪卷積自編碼器結(jié)構(gòu),提出基于深度去噪卷積自編碼器的色織襯衫裁片無監(jiān)督缺陷檢測算法。

1 方 法

本文提出的色織襯衫裁片缺陷檢測算法由2個主要部分組成:基于深度去噪卷積自編碼器的色織裁片圖像重構(gòu)算法和基于殘差圖像數(shù)學(xué)形態(tài)學(xué)分析的缺陷檢測算法。首先,利用大量無缺陷訓(xùn)練樣本進行噪聲干擾,使用深度去噪卷積自編碼器進行去噪重構(gòu)的訓(xùn)練,得到能夠從噪聲中恢復(fù)色織襯衫花型的網(wǎng)絡(luò)模型。隨后,計算待測色織襯衫圖像及其重構(gòu)圖像的殘差,利用數(shù)學(xué)形態(tài)學(xué)算法檢測和定位出殘差中的缺陷區(qū)域。圖1為色織襯衫裁片缺陷檢測算法框架。

圖 1 色織襯衫裁片缺陷檢測算法框架

1.1 色織襯衫裁片圖像重構(gòu)模型

hk=σ(x*wk+bk)

(1)

將得到的hk進行特征重構(gòu),可以得到

(2)

(3)

本文采取深度去噪卷積自編碼(Deep Denoising Convolutional Auto-Encode,DDCAE)的圖像重構(gòu)方法。不同于卷積自編碼器,深度去噪自編碼器的訓(xùn)練過程中,輸入為原始圖像加上噪聲,輸出目標為原始圖像。DDCAE的核心思想是能夠?qū)Α皳p壞”的原始數(shù)據(jù)編碼、解碼,并且恢復(fù)真正的原始數(shù)據(jù),以獲得較好的特征。通過訓(xùn)練使自編碼器學(xué)習(xí)到原樣本圖像更具魯棒性的表達,從而降低噪聲的影響。

重構(gòu)模型之前,首先建立一套自制的色織襯衫裁片樣本數(shù)據(jù)庫,再搭建基于深度去噪卷積自編碼器的色織襯衫裁片圖像重構(gòu)模型。然后,構(gòu)造輸出層為三通道的圖像分辨率的數(shù)據(jù)結(jié)構(gòu),再使用3層卷積、3層反卷積的卷積結(jié)構(gòu),利用豐富的無缺陷訓(xùn)練樣本重構(gòu)色織襯衫裁片圖像,通過大量圖像重構(gòu)恢復(fù)的結(jié)果對比,選取效果最佳的網(wǎng)絡(luò)結(jié)構(gòu)。另外,利用添加的訓(xùn)練噪聲和缺陷樣本,可以學(xué)習(xí)出更加魯棒的色織裁片花型重構(gòu)模型。最后得到基于色織襯衫裁片圖像的重構(gòu)恢復(fù)模型。

圖2是色織襯衫裁片圖像重構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)。展示了DDCAE網(wǎng)絡(luò)模型的體系結(jié)構(gòu)。網(wǎng)絡(luò)輸入圖像為三色通道,512×512的像素。卷積層數(shù)為3層卷積,3層反卷積。

圖 2 色織襯衫裁片圖像重構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Image reconstruction network structure of yarn-dyed shirt segments

表1為輸入圖像經(jīng)過3層卷積3層反卷積的卷積層數(shù)和最大池化層數(shù)的變化過程記錄。

表 1 網(wǎng)絡(luò)結(jié)構(gòu)

1.2 單通道殘差圖像分析的缺陷檢測模型

在利用大量的無缺陷樣本訓(xùn)練出色織襯衫裁片圖像噪聲修復(fù)模型和缺陷修復(fù)模型后,使用殘差圖像分析的缺陷檢測模型對待測圖像進行定位及檢測。當待測色織襯衫裁片出現(xiàn)缺陷,修復(fù)后的圖像和待測原圖做差。做差后,將原三通道圖像變?yōu)閱瓮ǖ阑叶葓D像,殘差部分就是待測圖像中的缺陷區(qū)域。在色織裁片無缺陷圖像重構(gòu)殘差分布為白噪聲的情況下,如果出現(xiàn)殘差圖像數(shù)據(jù)分布特性變化,即可通過數(shù)學(xué)形態(tài)學(xué)的開閉運算檢測和定位出殘差圖像中的缺陷區(qū)域,建立基于殘差圖像分析的色織襯衫裁片檢測模型。

Rn=I1-I2

(4)

式中：Rn代表殘差圖像；I1表示重待檢測缺陷圖像；I2表示重構(gòu)修復(fù)后的圖像。兩者做差,即可得到殘差圖像Rn。

1.3 殘差圖像的形態(tài)學(xué)處理

對于重構(gòu)修復(fù)后的圖像和待測缺陷圖像做差后的殘差圖像需要進一步進行圖像形狀和結(jié)構(gòu)的處理才能提取出更完整的檢測目標,數(shù)學(xué)形態(tài)學(xué)有膨脹、腐蝕、開啟和閉合4種基本運算。設(shè)A表示目標圖像,B表示結(jié)構(gòu)元素,y表示平移量。膨脹腐蝕運算可分別定義為

A?B={y|(B)y∩A≠Φ}

(5)

AΘB={y|(B)y?A}

(6)

膨脹是將物體周圍的點合并到該物體中,能縮小或者填充比結(jié)構(gòu)元素小的孔洞,它也可以連接有間斷的物體,形成連通區(qū)域。腐蝕是去除物體的邊界,具有細化或者收縮物體的作用,它還可以濾除小于結(jié)構(gòu)元素的物體。閉運算具有填充比結(jié)構(gòu)元素小的孔洞,彌合狹窄的間斷等作用。開運算則具有平滑物體輪廓、消除小于結(jié)構(gòu)元素的物體和極小突出物等作用。因此,與腐蝕和膨脹運算相比,開運算與閉運算能更好地保持目標物體的大小。

在數(shù)學(xué)形態(tài)學(xué)中,由腐蝕和膨脹的先后操作順序可以組合成形態(tài)學(xué)開運算和閉運算,開運算和閉運算都可以去除比結(jié)構(gòu)元素小的特定圖像細節(jié),同時保證不產(chǎn)生全局的幾何失真,先腐蝕后膨脹稱為開運算,先膨脹后腐蝕成為閉運算。

開閉運算可分別定義為

A°B=(AΘB)?B

(7)

A·B=(A?B)ΘB

(8)

結(jié)合各種運算的特點,經(jīng)過反復(fù)實驗,本文選用圖像形態(tài)學(xué)運算中的先腐蝕后膨脹運算的開運算對灰度殘差圖像進行處理,殘差圖像經(jīng)開運算后得到的白色連通部分即為色織襯衫裁片的缺陷區(qū)域。

2 實 驗

實驗主要由以下5部分組成:實驗平臺搭建,數(shù)據(jù)集的準備,網(wǎng)絡(luò)模型搭建、模型訓(xùn)練、以及網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化。

2.1 實驗平臺介紹

實驗采用GPU平臺,該系統(tǒng)主要配置為一個CPU Intel i7-6800k,一個NVIDIA GeForce 1080Ti 11G和8個16G內(nèi)存,操作系統(tǒng)為Ubuntu 16.04,CUDA9.0,cuDNN5.1, TensorFlow-gpu1.11.0版本,Anoconda3.0。

2.2 色織襯衫裁片數(shù)據(jù)庫

實驗數(shù)據(jù)樣本來自于集中制作的色織裁片數(shù)據(jù)庫,其中包含3種數(shù)據(jù)集,分別是Simple Lattices數(shù)據(jù)集,Stripe Patterns數(shù)據(jù)集,Complex Lattices數(shù)據(jù)集。共含有66種不同的色織襯衫花型,11 900張色織襯衫裁片圖像。實驗樣本選取色織裁片數(shù)據(jù)集中的6種典型織物花型,其中無缺陷圖片有1 007張,有缺陷圖片有86張,圖3為部分色織物襯衫裁片無缺陷及有缺陷樣本圖像。

2.3 結(jié)果與分析

2.3.1 基于去噪卷積自編碼器的色織裁片圖像重構(gòu)模型 首先在GPU工作站中搭建基于深度去噪卷積自編碼器的色織襯衫裁片圖像重構(gòu)模型。其次,將每一種織物花型圖像以3層卷積3層反卷積的網(wǎng)絡(luò)結(jié)構(gòu)分別在NVIDIA GeForce 1080Ti上迭代1 000次,訓(xùn)練時間分別為5～6 h。訓(xùn)練結(jié)束后,通過對驗證集的測試與實驗檢測結(jié)果的對比,記錄效果最佳的網(wǎng)絡(luò)參數(shù)及網(wǎng)絡(luò)。對于同一種花型,分別使用無缺陷和有缺陷的圖像作為輸入,重構(gòu)出來的結(jié)果如圖4所示。圖4(a)中Defect-free為無缺陷圖像,Noisy-image為加入噪聲的輸入,Reconstructed 1為待測圖像重構(gòu)后的圖像;圖4(b)中Defective為缺陷圖像,Noisy-image為加入噪聲的輸入,Reconstructed 2為待測圖像重構(gòu)后的圖像。可以看出,當輸入為無缺陷圖像,重構(gòu)后的圖像相比原始圖像,更清晰,更具魯棒性。當輸入為有缺陷圖像,經(jīng)重構(gòu)模型恢復(fù)后,缺陷區(qū)域消失。

(a) 無缺陷樣本

(b) 有缺陷樣本圖 3 色織襯衫裁片樣本圖Fig.3 Sample diagram of yarn-dyed shirts

2.3.2 基于殘差圖像分析的缺陷檢測模型 使用基于深度去噪卷積自編碼器的色織裁片圖像重構(gòu)模型，對有缺陷的圖像進行降噪處理,將圖像重構(gòu)恢復(fù)為無缺陷圖像。將重構(gòu)之后的圖像與待測有缺陷圖像相減做差,即可得到殘差圖像，如圖5所示。圖5(a)中Defect-free為無缺陷圖像,Reconstructed 1為待測圖像重構(gòu)后的圖像, Residual 1為待測圖像與重構(gòu)圖像做差后的殘差圖像;圖5(b)中Defective為缺陷圖像,Reconstructed 2為待測圖像重構(gòu)后的圖像, Residual 2為待測圖像與重構(gòu)圖像做差后的殘差圖像?？梢钥闯?無缺陷的色織襯衫裁片圖像進行去噪重構(gòu)求殘差后基本沒有明顯的殘差數(shù)值,而有缺陷的色織襯衫裁片圖像進行重構(gòu)和計算殘差之后,在缺陷區(qū)域會出現(xiàn)顯著的像素殘差。

(a) 無缺陷圖像重構(gòu)

(b) 缺陷圖像重構(gòu)圖 4 深度去噪卷積自編碼器對色織裁片噪聲圖像的重構(gòu)Fig.4 Reconstruction of yarn-dyed fabric noise image by deep denoising convoleutional setf-encoder

(a) 無缺陷樣本殘差圖像

(b) 無缺陷樣本殘差圖像圖 5 待測樣本圖像與重構(gòu)圖像的殘差示意圖Fig.5 Residual image detection and location based on morphological analysis

2.3.3 色織襯衫裁片殘差圖像形態(tài)學(xué)處理 對殘差圖像,需要進一步進行圖像形狀和結(jié)構(gòu)的處理才能提取出更完整的檢測目標,文中使用形態(tài)學(xué)中先腐蝕再膨脹的3×3開運算算子,對殘差圖像進行缺陷檢測和定位。待測無缺陷殘差圖像中細微的殘差數(shù)值經(jīng)過開運算后,可以有效屏蔽,如圖6(a)所示,Detection 1為殘差圖像經(jīng)開運算后的檢測圖像;有缺陷殘差圖像中的缺陷區(qū)域,經(jīng)過開運算計算之后,缺陷區(qū)域可以明顯的得到,如圖6(b)所示, Detection 2為殘差圖像經(jīng)開運算后的檢測圖像。

(a) 無缺陷圖像檢測及定位

(b) 缺陷圖像檢測及定位圖 6 基于形態(tài)學(xué)分析的殘差圖像檢測定位Fig.6 Residual image detection and location based on morphological analysis

2.3.4 實驗結(jié)果討論 在實際的織物裁片缺陷檢測中, 經(jīng)常使用檢出率和過檢率作為定量評價指標。 為了接近工程指標,選取檢測成功率(CR) 和過檢率(FAR)作為定量評價,CR和FAR的計算公式為

(9)

(10)

式中：TP為有疵點并檢測出疵點；FP為無疵點檢測出疵點；FN為有疵點未檢測出疵點；TN為無疵點并未檢測出疵點。

實驗選取低秩矩陣顯著性算法(Code-LowRankSaliency,CLRS)以及Gabor濾波器作為實驗對比算法。在2.1節(jié)所述的實驗平臺上,使用相同色織襯衫裁片待測樣本,對比本文提出的DDCAE算法,CLRS算法和Gabor濾波器在6種織物花型樣本集上的檢測成功率(CR)和過檢率(FAR)作為評價標準。

表2記錄了DDCAE算法,CLRS算法以及Gabor濾波器對6種色織襯衫裁片樣本的檢測成功率數(shù)據(jù)。其中,D1,D2,D3分別為DDCAE算法,CLRS算法,Gabor算法的成功檢出量,P1，P2,P3分別表示DDCAE算法，CLRS算法以及Gabor算法的檢測成功率。

圖7為DDCAE和CLRS 2種方法經(jīng)形態(tài)學(xué)分析后的實驗效果對比圖。使用相同的疵點圖像,CLRS方法檢測效果明顯不夠理想,檢測區(qū)域較大,還存在部分誤檢區(qū)域;而本實驗所采用的方法可以完整地定位出缺陷的基本輪廓,結(jié)果較好。對41張色織襯衫裁片樣本, DDCAE的平均檢出率為97.56%,CLRS平均檢出率為75.61%。

表 2 檢測成功率

圖 7 CLRS、DDCAE檢測效果對比圖Fig.7 Comparison of CLRS and DDCAE detection results

圖8為DDCAE和Gabor 2種方法經(jīng)形態(tài)學(xué)分析后的實驗效果對比圖。使用相同的疵點圖像,Gabor效果對缺陷檢測存在漏檢的情況,檢測成功率存在偶然性;而本實驗所采用的方法可以完整地定位出缺陷的基本輪廓,結(jié)果較好。對41張色織襯衫裁片樣本,DDCAE的平均檢出率為97.56%,Gabor平均檢出率為43.90%。

圖 8 Gabor、DDCAE檢測效果對比圖Fig.8 Comparison of Gabor and DDCAE detection results

表3記錄了DDCAE算法,CLRS算法和Gabor濾波器對6種色織襯衫裁片樣本的過檢率。其中,F1,F2,F3分別為DDCAE算法,CLRS算法,Gabor算法的過檢數(shù)量,P1，P2,P3分別為DDCAE算法,CLRS算法,Gabor算法的過檢率。

表 3 過檢率

圖9為DDCAE和CLRS 2種方法的過檢實驗效果對比圖。使用無缺陷的圖像作為測試圖像,CLRS方法會存在顯著的過檢區(qū)域；而本文提出的DDCAE中的重構(gòu)恢復(fù)缺陷檢測算法則準確地判定該幅圖像沒有缺陷區(qū)域。使用6種織物花型,48張色織襯衫裁片樣本, DDCAE的平均過檢率4.17%,CLRS平均過檢率為41.67%。

圖 9 CLRS、DDCAE過檢效果對比圖Fig.9 Contrast chart of CLRS and DDCAE over-inspection effect

圖10為DDCAE和Gabor 2種方法的過檢實驗效果對比圖。使用無缺陷的圖像作為測試圖像,Gabor的檢測結(jié)果難以分辨出圖像中是否存在缺陷；而本文提出的DDCAE中的重構(gòu)恢復(fù)缺陷檢測算法則準確地判定該幅圖像沒有缺陷區(qū)域。使用6種織物花型,48張色織襯衫裁片樣本, DDCAE的平均過檢率4.17%,Gabor平均過檢率為25%。

圖 10 Gabor、DDCAE過檢效果對比圖Fig.10 Contrast chart of gabor and DDCAE over-inspection effect

3 結(jié) 語

本文提出了一種基于深度去噪卷積自編碼器的色織襯衫裁片缺陷自動檢測的方法。該方法在僅使用無缺陷樣本的情況下,可以自動提取色織裁片紋理特征,并對無缺陷樣本加入噪聲訓(xùn)練,所建立的重構(gòu)恢復(fù)模型可以自動將待測樣本中的缺陷進行重構(gòu)修復(fù)。利用待測色織襯衫裁片圖像與重構(gòu)修復(fù)后的殘差,進行數(shù)學(xué)形態(tài)學(xué)分析,可以有效進行缺陷檢測。該方法的準確率和實時性能夠滿足色織襯衫裁片缺陷檢測的工程化需要,為色織裁片缺陷檢測和分類提出了一種無需人工設(shè)計特征的有效方案。