王 凱, 吳 瑩, 汪 軍, 1b, 李立輕, 周 建
(1. 東華大學(xué) a. 紡織學(xué)院; b. 紡織面料技術(shù)教育部重點實驗室,上海 201620; 2. 江南大學(xué) 紡織服裝學(xué)院, 江蘇 無錫 214122)
目前,機織物紋理的分類識別檢測仍然由人工進行,對機織物紋理進行精確描述或運用計算機技術(shù)對紋理進行識別與分類還存在不少困難。提高計算機圖像處理技術(shù)在機織物紋理分類識別方面的效率和準(zhǔn)確性,進而提高紡織品的質(zhì)量一直是研究熱點之一。
現(xiàn)有的紋理表征一般是在空間域和頻率域內(nèi)對紋理圖像進行處理??臻g域的方法有灰度共生矩陣等基于統(tǒng)計的方法和高斯-馬爾可夫隨機場模型等模型法。頻率域的方法有傅里葉分析法、Gabor變換和小波變換等。在空間域方法中,例如文獻[1]采用灰度共生矩陣,使用對比度、熵等共6個指標(biāo)作為參數(shù),確定正??椢锛y理像素方向、像素距離以及圖像灰度等級,但缺點是對隨機性較強的紋理圖像難以發(fā)揮較好的作用。頻率域方法中,Gabor變換效果優(yōu)異,如文獻[2-3]通過確定Gabor濾波器參數(shù),將織物圖像沿不同的尺度和方向分解,得到含不同信息的子圖像,融合得到織物主要紋理,但是該方法濾波器參數(shù)選擇非常復(fù)雜。由于織物紋理的多樣性特點,雖然相關(guān)的研究很多,但至今仍沒有一項技術(shù)可得到大范圍的應(yīng)用,因此,在利用計算機技術(shù)進行機織物紋理表征方面仍然需要進一步深入研究。
字典學(xué)習(xí)更多地應(yīng)用于圖像壓縮去噪[4]和人臉識別[5]方面,將其應(yīng)用到織物紋理表征方面是一個新穎且創(chuàng)新的研究方向。機織物紋理具有一定的周期性和方向性,文獻[6-8]利用機織物的這一特性,使用字典學(xué)習(xí)的方法對機織物進行紋理表征,對字典元素的個數(shù)進行討論和對子窗口尺寸進行優(yōu)選后,重構(gòu)織物紋理圖像,取得了不錯的紋理表征效果,但是這些研究都沒有考慮織物的結(jié)構(gòu)參數(shù)的變化是否會對字典學(xué)習(xí)的紋理表征結(jié)果產(chǎn)生影響。機織物的紋理多樣,其紋理特征的首要影響因素就是其組織結(jié)構(gòu)。研究組織結(jié)構(gòu)對紋理表征的影響,可能實現(xiàn)對織物的分類,進而可探討用通用字典表征某一類織物等問題。這樣能用最小的代價來表征織物紋理,進而實現(xiàn)機織物組織結(jié)構(gòu)自動識別、密度測量和在線紋理檢測等目的。
因此,本文將主要討論機織物結(jié)構(gòu)參數(shù)中的組織結(jié)構(gòu)變化對使用字典學(xué)習(xí)算法重構(gòu)織物紋理圖像的質(zhì)量的影響。
字典D是一個m×k的矩陣,字典學(xué)習(xí)可以表示為在最小平方誤差條件下求解m×n的數(shù)據(jù)矩陣Y的近似矩陣,其中,m為Y的維數(shù),n為Y中樣本的個數(shù),即選擇l2范數(shù)作為條件進行字典學(xué)習(xí),求解該字典可以寫成以下優(yōu)化問題:
式中:T為正整數(shù),控制稀疏程度;‖·‖0為l0范數(shù),表示表達式中非零項的個數(shù),即在字典D中選擇T(T?k)個原子的線性組合來近似表征Y。本文選擇T=4,其他原子的系數(shù)都為0,選擇離散余弦字典[9-10](discrete cosine dictionary, DCT)作為字典學(xué)習(xí)的初始化字典,再通過字典學(xué)習(xí)算法得到最終的學(xué)習(xí)字典,初始化DCT字典矩陣的大小為256像素×256像素。
對于重構(gòu)圖像的客觀評價指標(biāo),目前還沒有一種統(tǒng)一的方法,單一的評價指標(biāo)都有一定的不足,本文選擇均方誤差(mean square error, MSE)和結(jié)構(gòu)相似度兩個指標(biāo)來評價重構(gòu)圖像的質(zhì)量。
1.2.1 均方誤差
假設(shè)Y為M像素×N像素的織物樣本圖像,利用字典學(xué)習(xí)獲取的字典D對信號Y進行重構(gòu),X為重構(gòu)圖像,則樣本圖像與重構(gòu)圖像之間的MSE定義為
式中:M為Y的維數(shù);N為Y的列數(shù)。原樣本信號和重構(gòu)信號之間的均方誤差越小,表示重構(gòu)的近似效果越好。均方誤差無法利用圖像的結(jié)構(gòu)信息,其評價結(jié)果與主觀判斷相比,可能會有較大出入。
1.2.2 結(jié)構(gòu)相似度
采用結(jié)構(gòu)相似模型(SSIM)法[11]來計算原圖像與重構(gòu)圖像之間的結(jié)構(gòu)相似度,從而評價重構(gòu)效果。設(shè)X和Y為重構(gòu)圖像和原圖像的列首尾相連連接成的長度為M×N列向量,結(jié)構(gòu)相似度定義為
式中:SSIM中的3項分別代表圖像的結(jié)構(gòu)相似性、亮度相似性和對比度相似性;μX、μY、σX和σY分別為X和Y的均值和標(biāo)準(zhǔn)差;σXY為X和Y的協(xié)方差。SSIM的取值范圍為[-1, 1],其值越大,說明融合圖像與原圖像的結(jié)構(gòu)、亮度和對比度越相似,重構(gòu)圖像的質(zhì)量越好。
在保證織物所用紗線的原料和織物的密度等條件不變的情況下,使用不同組織結(jié)構(gòu)的機織物為樣本。本試驗所用的機織物樣本是在實驗室TNY101B-20型櫻牌劍桿小樣織機上制織的,為了便于織造,選用實驗室已有的20 tex×2的棉雙股股線為原料,織制7種組織,規(guī)格參數(shù)如表1所示,其中蜂巢組織和菱形斜紋是以一上四下斜紋為基礎(chǔ)組織的。經(jīng)過試驗,當(dāng)經(jīng)、緯密度均為350根/10cm時,織物的紋理較清晰,因此選用此數(shù)據(jù)作為試驗樣本密度。
表1 織物規(guī)格參數(shù)表Table 1 Weave fabric specification parameters
為保證獲取的機織物圖像不受圖像采集環(huán)境的影響,使用佳能9000F Mark II型掃描儀采集布樣的圖像,采用照片掃描模式,色彩模式為灰度,分辨率為300 dpi。為了增加圖像的對比度,掃描圖像時在織物的背面放置一塊黑色硬紙板作為背景,并將采集圖像的均值和方差進行標(biāo)準(zhǔn)化處理,使所有圖像有相同的均值和方差。每種織物掃描5塊機織物圖像作為樣本,每張圖像的大小為256像素×256像素,所對應(yīng)的實際織物尺寸為2.17cm×2.17cm。將每張織物圖像劃分為一定大小的子窗口作為樣本代入字典學(xué)習(xí)算法,訓(xùn)練得到最終的學(xué)習(xí)字典,用于表征原織物圖像。
字典學(xué)習(xí)所選擇的子樣本一般有兩種選取方法:一種是直接將圖像的每一列作為一個子樣本進行字典學(xué)習(xí);另一種是將圖像劃分為一定尺寸的小窗口,然后將其像素值首尾相連作為一個子樣本。采用子窗口的樣本劃分方法可以避免光照不勻的影響,此外,該樣本獲取方法也更能滿足實時性的要求。因此,本文采用子窗口對樣本進行劃分。
采用子窗口劃分樣本,需要確定子窗口的大小。以平紋和菱形斜紋為例,討論子窗口大小對字典學(xué)習(xí)紋理表征的影響。分別將樣本圖像劃分為8像素×8像素、16像素×16像素和32像素×32像素大小的子窗口,在相同字典元素個數(shù)下進行試驗。平紋和菱形斜紋重構(gòu)圖像如圖1所示。重構(gòu)圖像的近似指標(biāo)結(jié)果如圖2所示。
圖1 不同子窗口大小表征效果Fig.1 The representation results with different patch sizes
由圖2可知,隨著子窗口尺寸的增加,重構(gòu)的均方誤差值逐漸增大,SSIM值逐漸減小,說明使用更小的子窗口劃分進行重構(gòu)的圖像的質(zhì)量更好。
一般認(rèn)為過大的子窗口會顯著增加算法所消耗的時間,同時也會增加圖像重構(gòu)的誤差。但過小的子窗口,會導(dǎo)致樣本之間紋理信息波動過大,不利于重構(gòu),這是因為子窗口中包含的紋理循環(huán)太小。本文中8像素×8像素的子窗口近似效果最好,但同時也近似出一些隨機性的紋理。16像素×16像素與32像素×32像素的子窗口相比,重構(gòu)誤差小,SSIM值更大,學(xué)習(xí)字典所需時間更短。因此,本文選擇16像素×16像素的子窗口。子窗口劃分時,將16像素×16像素的窗口在樣本圖像上按水平和垂直方向滑動,每間隔一個像素距離取得一個子樣本,共計58 018個子樣本,將子樣本按列展開,可得到一個256×58 018樣本集。為減少學(xué)習(xí)時間,在這58 018個子樣本中每間隔10取一個子樣本,最終得到一個256×5 801的訓(xùn)練樣本集。
(a) MSE值
(b) SSIM值
在無約束字典學(xué)習(xí)中,當(dāng)子窗口的尺寸一定時,隨著字典個數(shù)的增加,通過字典學(xué)習(xí)法得到的重構(gòu)圖像和原圖像之間的重構(gòu)誤差是單調(diào)遞減的。對于本文使用的稀疏字典學(xué)習(xí)算法而言,稀疏度(T)的大小變化也會對試驗的結(jié)果產(chǎn)生影響。本文以圖1(e)菱形斜紋樣本為例,使用16像素×16像素的子窗口對其劃分后進行稀疏字典學(xué)習(xí),并重構(gòu)其紋理圖像,分析稀疏度對重構(gòu)誤差的影響,試驗結(jié)果如圖3所示。
圖3 稀疏度對重構(gòu)誤差的影響Fig.3 Mean squared error curve with different sparse degree
由圖3可知,在重構(gòu)圖像階段,當(dāng)T=2時,重構(gòu)圖像的誤差與原圖像的誤差已經(jīng)較小,再增加T值,重構(gòu)的均方誤差值減小不大,重構(gòu)紋理視覺上的變化也不明顯,然而隨著T的增大,算法運行所需要的時間明顯增多。由于不論是將字典學(xué)習(xí)用于織物圖像的紋理表征,還是最終用于織物瑕疵的鑒別,目的都是為了提取織物圖像主要的周期性紋理特征,而對于一些隨機的無規(guī)則紋理甚至是瑕疵部分則可以忽略。因此,綜合考慮還是在T=4條件下分析學(xué)習(xí)字典紋理表征的效果。
將7種不同組織結(jié)構(gòu)的機織物代入字典學(xué)習(xí)算法,初始化DCT字典的原子個數(shù)為256,通過MOD[12](method of optimal directions)算法和OMP[13](orthogonal matching pursuit)算法迭代更新10次,得到學(xué)習(xí)字典。使用學(xué)習(xí)字典重構(gòu)圖像時,仍將16像素×16像素的窗口每間隔一個像素,在需要重構(gòu)的256像素×256像素的織物紋理圖像上沿縱向和橫向滑動得到子窗口樣本,將每個子窗口內(nèi)的像素值按列首尾相連,得到256×58 018個子樣本,使用學(xué)習(xí)字典對這58 018個子樣本進行重構(gòu)。再按原樣本劃分的逆過程將這256×58 018子樣本進行對應(yīng)像素疊加融合,對于多次疊加的像素值通過求平均值的方法確定灰度值,最終還原為256像素×256像素的重構(gòu)圖像。每種織物5個樣本經(jīng)字典學(xué)習(xí)后所得的平均均方誤差值如圖4所示。重構(gòu)圖像與原圖像通過結(jié)構(gòu)相似模型法進行評價的結(jié)果如圖5所示。
圖4 不同組織重構(gòu)均方誤差圖Fig.4 Mean squared error with different fabric structure
圖5 SSIM評價結(jié)果Fig.5 SSIM of metrics
由圖4和5可知,不同組織在相同的條件下經(jīng)過相同的字典學(xué)習(xí)算法學(xué)習(xí)得到的重構(gòu)圖像與原圖像之間的重構(gòu)MSE值和SSIM值不同。根據(jù)MSE指標(biāo)和SSIM指標(biāo),經(jīng)本文的稀疏字典學(xué)習(xí)算法重構(gòu)得到的圖像質(zhì)量從好到差依次為方平>蜂巢組織>平紋>斜紋>菱形斜紋>緯面緞紋>經(jīng)面緞紋,兩種指標(biāo)的評價結(jié)果一致。但是從各種組織之間的差異來看,均方誤差所顯示的不同組織之間的差異更大,而使用SSIM指標(biāo)的不同組織之間的差異相對較小。這是由于MSE是對重構(gòu)圖像和原圖像的差求平方和的平均,因此會放大某些異常值在評價中的作用。相對來說,SSIM的評價效果與實際的視覺主觀評價更接近。
由圖5還可知,方平、平紋和斜紋相比,方平的交織與平紋類似,但是方平每次是兩根紗線參與交織,紋理的周期性優(yōu)于平紋,斜紋圖像紋理的均勻性稍差,重構(gòu)質(zhì)量也差一些。菱形斜紋、緯面緞紋和經(jīng)面緞紋重構(gòu)的效果之所以相對差一些,這是因為它們組織循環(huán)大,同時又有較長的浮長線,紋理的變異更大,因此重構(gòu)起來更困難。經(jīng)面緞紋和緯面緞紋的差異只是紋理的斜向不同,因此評價指標(biāo)的結(jié)果非常接近。蜂巢組織雖然組織循環(huán)跟菱形斜紋、緯面緞紋和經(jīng)面緞紋一樣,但是蜂巢組織經(jīng)緯紗交織的次數(shù)多,浮長線短,相應(yīng)的紋理的規(guī)則性更好,更易于重構(gòu)。
使用本文的稀疏字典學(xué)習(xí)算法學(xué)習(xí)所得的字典對織物紋理進行重構(gòu)的結(jié)果如圖6所示,其中,左邊的為織物原圖,右邊的為其重構(gòu)圖像。
(a) 平紋
(b) 斜紋
(c) 方平
(d) 經(jīng)面緞紋
(e) 緯面緞紋
(f) 蜂巢組織
(g) 菱形斜紋
由圖6可知,使用稀疏字典學(xué)習(xí)算法可以實現(xiàn)對織物紋理圖像的良好重構(gòu),同時還能夠去除原圖像上存在的隨機噪聲性紋理,使織物交織的紋理得到較好的保留。同時,以平紋和斜紋為例,平紋重構(gòu)圖像的客觀評價指標(biāo)優(yōu)于斜紋,但是從實際視覺上看,由于斜紋的紋理本身視覺上就更明顯,斜紋的紋理重構(gòu)效果要好于或者不差于平紋。雖然客觀的評價指標(biāo)能在一定程度上對重構(gòu)圖像的重構(gòu)質(zhì)量進行量化,但與主觀上的視覺評價還存在一定差異,對此仍需進一步的研究。
本文在字典學(xué)習(xí)算法的基礎(chǔ)上對機織物紋理圖像進行表征,討論組織結(jié)構(gòu)的變化對重構(gòu)誤差的影響。使用經(jīng)、緯密度均為350根/10cm的平紋、斜紋、方平、經(jīng)面緞紋、緯面緞紋、蜂巢組織和菱形斜紋等7種組織作為樣本,采用字典學(xué)習(xí)算法提取出機織物紋理的主要紋理特征作為字典對圖像進行重構(gòu)。本文所用機織物樣品的試驗結(jié)果表明:不同組織經(jīng)相同的字典學(xué)習(xí)算法處理所得圖像與原圖像的重構(gòu)誤差存在差異;織物組織循環(huán)越小,浮長線越短,表面的紋理特征越明顯,規(guī)則性越好,其重構(gòu)的誤差越小。7種織物組織重構(gòu)質(zhì)量按客觀評價指標(biāo)由好到差的次序為:方平>蜂巢組織>平紋>斜紋> 菱形斜紋>緯面緞紋>經(jīng)面緞紋。本文的方法和結(jié)果為機織物紋理分類深入研究提供了依據(jù),并可基于本文進一步探討用通用字典表征多種織紋理物等問題。
參 考 文 獻
[1] 高士忠. 基于灰度共生矩陣的織物紋理分析[J]. 計算機工程與設(shè)計, 2008, 29(16):4385-4388.
[2] 姚芳. 織物紋理的表征和自動識別的研究[D]; 上海:東華大學(xué)紡織學(xué)院, 2010:20-40.
[3] 薛樂, 李立輕, 汪軍. 應(yīng)用頻譜圖的機織物紋理分析[J]. 紡織學(xué)報, 2015, 36(7):55-60.
[4] 薛樂. 基于傅里葉變換和Gabor變換的機織物紋理分析方法研究[D]. 上海:東華大學(xué)紡織學(xué)院, 2015:16-32.
[5] 朱杰, 楊萬扣, 唐振民. 基于字典學(xué)習(xí)的核稀疏表示人臉識別方法[J]. 模式識別與人工智能, 2012, 25(5):859-864.
[6] ZHOU J, SEMENOVICH D, SOWMYA A, et al. Dictionary learning framework for fabric defect detection[J]. The Journal of the Textile Institute, 2014, 105(3):223-234.
[7] 毛兆華.基于非負(fù)字典學(xué)習(xí)的機織物瑕疵檢測算法研究[D]. 上海:東華大學(xué)紡織學(xué)院,2015:9-32.
[8] 毛兆華, 萬賢福, 汪軍, 等. 基于字典學(xué)習(xí)的機織物圖像重構(gòu)[J]. 東華大學(xué)學(xué)報(自然科學(xué)版), 2016, 42(1):35-39.
[9] 劉艷, 李宏東.DCT域圖象處理和特征提取技術(shù)[J].中國圖象圖形學(xué)報, 2003, 8(2): 121-128.
[10] ELAD M. Sparse and redundant representations: From theory to applications in signal and image processing[M]. New York: Springer, 2010: 235-237.
[11] WANG Z, BOVIK A C. A universal image quality index[J]. IEEE Signal Processing Letters, 2002, 9(3):81-84.
[12] PATI Y C, REZAIIFAR R, KRISHNAPRASAD P S. Orthogonal matching pursuit: Recursive function approximation with applications to wavelet decomposition[C]// Conference on Signals. IEEE, 1993:40-44.
[13] ENGAN K, AASE S O, HUS?Y J H. Multi-frame compression: Theory and design[J]. Signal Processing, 2000, 80(10):2121-2140.