林似水，鄭力新

（華僑大學(xué) 信息科學(xué)與工程學(xué)院，福建 廈門(mén) 361021）

織物疵點(diǎn)是影響織物品質(zhì)的重要因素。長(zhǎng)期以來(lái)，織物疵點(diǎn)檢測(cè)都由人工完成。這種方法自動(dòng)化程度極低，檢測(cè)速度慢。而且該方法是一種單調(diào)繁重的重復(fù)性勞動(dòng)，它極大地?fù)p傷人的視覺(jué)，檢測(cè)結(jié)果容易受到疲憊、緊張等主觀因素的影響。因此，開(kāi)發(fā)一種快速、有效、可靠、實(shí)時(shí)的疵點(diǎn)檢測(cè)系統(tǒng)成為迫切需要解決的問(wèn)題。

近年來(lái)，出現(xiàn)了很多疵點(diǎn)檢測(cè)方法[1-11]，其中應(yīng)用與人眼視覺(jué)近似的小波及Gabor是使用比較多的方法，這兩種方法都具有多尺度、多分辨率的特點(diǎn)，非常適合檢測(cè)尺度不同的疵點(diǎn)。但這兩種算法都比較復(fù)雜，計(jì)算量大，不能滿足生產(chǎn)線上對(duì)疵點(diǎn)檢測(cè)的實(shí)時(shí)性要求。本文在結(jié)合國(guó)內(nèi)外相關(guān)參考文獻(xiàn)的基礎(chǔ)上，針對(duì)從企業(yè)獲取的疵點(diǎn)圖像，提出了一種應(yīng)用LBP金字塔與SOM的織物疵點(diǎn)檢測(cè)方法。該方法結(jié)合了圖像金字塔的多分辨率特性，LBP對(duì)圖像局部紋理特征的卓越描繪能力，以及SOM對(duì)輸入數(shù)據(jù)的優(yōu)秀聚類能力。實(shí)驗(yàn)表明，該方法運(yùn)行速度快、檢測(cè)效果好，適用于不同紋理織物的不同疵點(diǎn)檢測(cè)。

1 LBP與SOM原理

1.1 局部二進(jìn)制模式（LBP）原理

LBP是一種有效的紋理描述算子，對(duì)圖像的局部紋理特征具有卓越的描繪能力，同時(shí)又具有很強(qiáng)的分類能力、較高的計(jì)算效率，對(duì)于單調(diào)的灰度變化具有不變性。

LBP的主要思想是以某一點(diǎn)與其鄰域像素的相對(duì)灰度作為響應(yīng)，正是這種相對(duì)機(jī)制使得LBP算子對(duì)于單調(diào)的灰度變化具有不變性。圖1給出了一個(gè)LBP算子，應(yīng)用LBP算子的過(guò)程類似于濾波過(guò)程中的模板操作。逐行掃描圖像，對(duì)于圖像中的每一個(gè)像素點(diǎn)，以該點(diǎn)的灰度值作為閾值，對(duì)其周圍3×3的8鄰域進(jìn)行二值化，按照一定的順序?qū)⒍祷Y(jié)果組成一個(gè)8位二進(jìn)制數(shù)，以此二進(jìn)制的值（0-255）作為該點(diǎn)的響應(yīng)。

圖1 LBP算子

1.2 自組織映射神經(jīng)網(wǎng)絡(luò)SOM

自組織映射神經(jīng)網(wǎng)絡(luò)（SOM）是由芬蘭赫爾辛基大學(xué)神經(jīng)網(wǎng)絡(luò)專家Kohonen教授在1981年提出的。這種網(wǎng)絡(luò)模擬大腦神經(jīng)系統(tǒng)自組織特征映射的功能，是一種競(jìng)爭(zhēng)式學(xué)習(xí)網(wǎng)絡(luò)，能無(wú)監(jiān)督地進(jìn)行自組織學(xué)習(xí)。自組織特征映射神經(jīng)網(wǎng)絡(luò)根據(jù)輸入向量在輸入空間的分布情況對(duì)它們進(jìn)行分類，使得輸入信號(hào)可以映射到低維空間，并保持相同特征的輸入信號(hào)在映射后的空間中對(duì)應(yīng)鄰近區(qū)域。圖2表示SOM的兩種基本網(wǎng)絡(luò)結(jié)構(gòu)。

圖2 SOM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

令輸入信號(hào)為 x=[x1，x2，…，xp]，輸出神經(jīng)元 j的權(quán)向量為 wj=[wj1，wj2，…，wjp]，j=1，2，…，N，設(shè) 輸入 信號(hào) x按順序依次輸入，每輸入一個(gè)向量（模式）時(shí)，首先尋找其權(quán)向量wj與x最佳匹配的神經(jīng)元e，一個(gè)簡(jiǎn)單的方法是計(jì)算它們之間的歐幾里德（Euclidean）距離，最小者即為最佳單元：

然后應(yīng)確定最佳匹配單元的鄰域，此鄰域是隨迭代次數(shù)n變化的，因此稱為鄰域函數(shù) Ni（n）。最后應(yīng)確定一個(gè)在Ni（n）內(nèi)神經(jīng)元的權(quán)值修改公式：

SOM網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程如下：

（1）權(quán)值初始化，用小的隨機(jī)數(shù)對(duì)各權(quán)向量賦初值wj（0）；

（2）在樣本集中隨機(jī)選一個(gè)樣本x作為輸入；

（3）在時(shí)刻 n，根據(jù)公式（1）選擇最佳匹配單元 e；

（4）確定鄰域函數(shù) Ni（n）；

（5）按照式（2）修正權(quán)值；

（6）n=n+1，返回（2），直到形成有意義的映射圖。

2 本文方法實(shí)現(xiàn)

本文算法的主要思想是，對(duì)織物圖像應(yīng)用圖像金字塔進(jìn)行降級(jí)采樣，得到不同分辨率的多級(jí)圖像，然后分別對(duì)每一級(jí)圖像進(jìn)行檢測(cè)，最后再對(duì)檢測(cè)結(jié)果進(jìn)行融合，去除孤立點(diǎn)后得到檢測(cè)結(jié)果。本算法充分利用圖像在不同多分辨率下所呈現(xiàn)出的整體與局部的特性，提高了算法的檢測(cè)效果。

算法步驟如下：

（1）獲取源圖像

獲取圖像大小為 M×N（本文為 512×512）的織物疵點(diǎn)圖像，對(duì)圖像進(jìn)行灰度化，將彩色圖像轉(zhuǎn)化為灰度圖像 f（x，y）。

（2）圖像金字塔分解

這里使用高斯金字塔向下采樣，獲得下一層圖像tn（x，y），n=1，2，3…。 執(zhí)行的過(guò)程為先用高斯核對(duì)圖像f（x，y）進(jìn)行卷積，然后刪除所有偶數(shù)行和偶數(shù)列，這樣得到的圖像面積變?yōu)樵瓉?lái)的四分之一。本文采用3級(jí)采樣，得到不同分辨率的圖像如圖3所示。

圖3 圖像金字塔向下采樣結(jié)果

（3）預(yù)處理

對(duì)圖像 tn（x，y），n=1，2，3 進(jìn)行高斯濾波，剔除噪聲獲得平滑信號(hào)和較好的圖像邊緣；再對(duì)圖像進(jìn)行直方圖均衡化，增加圖像灰度的動(dòng)態(tài)范圍，提高圖像對(duì)比度。從圖4（c）中可以看出，均衡化后圖像的對(duì)比度得到了顯著增強(qiáng)。

圖4 圖像預(yù)處理

（4）LBP 算子處理

LBP使用的是鄰域單元作為處理單元，使用中心點(diǎn)與周圍像素的相對(duì)灰度作為響應(yīng)，這樣可避免圖像因?yàn)槭芄庹斩a(chǎn)生的灰度變化的影響。應(yīng)用LBP對(duì)tn（x，y）進(jìn)行處理得到 Tn（x，y），如圖 5（b）所示。

圖5 LBP算子效果圖

（5）特征提取

由于織物都具有一定的紋理特征，這個(gè)特征又可以用紋理基元來(lái)表示，即紋理基元以一定的排列方式在織物圖像中周期性的重復(fù)。而紋理基元又是不同的灰度值按一定的排列方式形成，因而本文所提取的特征為一子窗口的特征，方法如下。

定義一個(gè) M×N 大小的模板 g（x，y），用式（3）為模板中的每個(gè)元素賦予一定的權(quán)值（式中L為繞中心點(diǎn)的層數(shù)，從最外層開(kāi)始依序?yàn)?0，1，2，…）。然后用該模板對(duì)圖像進(jìn)行卷積，得出的結(jié)果再歸一化到[0，1]，得到模板所對(duì)應(yīng)的圖像區(qū)域的一個(gè)特征c1。接著再計(jì)算模板g（x，y）所對(duì)應(yīng)的圖像區(qū)域的平均灰度值，歸一化后得到另外一個(gè)特征 c2。模板大小M和 N應(yīng)滿足式（4），其中wh為基元之間的水平距離，weh為基元的寬度；wv為基元之間的垂直距離，wev為基元的高度。

（6）SOM神經(jīng)網(wǎng)絡(luò)識(shí)別

在使用神經(jīng)網(wǎng)絡(luò)識(shí)別之前，需要提取正常織物圖像的特征對(duì)SOM網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到網(wǎng)絡(luò)的密碼本向量，即網(wǎng)絡(luò)的權(quán)值。網(wǎng)絡(luò)訓(xùn)練好后，統(tǒng)計(jì)每個(gè)輸出神經(jīng)元對(duì)應(yīng)的歐幾里德距離的最小值min與最大值max，并定義該神經(jīng)元的置信區(qū)間為[min，max]。識(shí)別時(shí)，對(duì)于落在置信區(qū)間內(nèi)的特征值，認(rèn)為是正常的織物元素；對(duì)于置信區(qū)間外的特征值，則認(rèn)為是疵點(diǎn)元素。圖6為不同層的織物圖像對(duì)應(yīng)的識(shí)別結(jié)果。

圖6 不同層對(duì)應(yīng)的識(shí)別結(jié)果

（7）識(shí)別結(jié)果融合與孤立點(diǎn)去除

結(jié)果的融合采用金字塔向上采樣的方法，即首先在每個(gè)維度上擴(kuò)大為原來(lái)的兩倍，新增的行以0填充，然后用拉普拉斯濾波器進(jìn)行卷積，估計(jì)新增的像素的近似值。融合結(jié)果如圖7（b）所示。孤立點(diǎn)的去除采用形態(tài)學(xué)中的開(kāi)運(yùn)算去除一些小點(diǎn)，然后計(jì)算孤立點(diǎn)的周長(zhǎng)和面積，將一些小的孤立點(diǎn)當(dāng)噪聲處理掉，得到圖像Q（x，y），如圖 7（c）所示。

圖7 識(shí)別結(jié)果融合與處理

3 實(shí)驗(yàn)結(jié)果

本實(shí)驗(yàn)是在OpenCV 2.1以及Visual Studio 2008環(huán)境下進(jìn)行的，計(jì)算機(jī)配置為Intel E5300 2.6 GHz CPU，2 GB內(nèi)存。OpenCV是一個(gè)開(kāi)源的跨平臺(tái)計(jì)算機(jī)視覺(jué)庫(kù)，由一系列的C函數(shù)及C++類組成，提供面向Intel IPP高效多媒體函數(shù)庫(kù)的接口，可針對(duì)用戶使用的Intel CPU優(yōu)化代碼，提高處理性能[12]。

實(shí)驗(yàn)分別對(duì)斷緯、缺經(jīng)、破洞和勾絲這四類最為常見(jiàn)的疵點(diǎn)進(jìn)行了測(cè)試，疵點(diǎn)圖像的大小為512×512。并與參考文獻(xiàn)[9]提出的算法進(jìn)行對(duì)比（使用兩個(gè)方向，3個(gè)尺度的Gabor算子），結(jié)果如表1所示。

表1 實(shí)驗(yàn)結(jié)果表

從表1的實(shí)驗(yàn)結(jié)果可以看出，對(duì)于不同紋理的織物，本文算法能將疵點(diǎn)從織物圖像中較準(zhǔn)確地分割出來(lái)，證明了該檢測(cè)算法具有良好的檢測(cè)效果，適用于不同紋理類型織物的不同疵點(diǎn)的檢測(cè)。并且本文算法在處理時(shí)間上開(kāi)銷較小，檢測(cè)速度快，能夠提高疵點(diǎn)檢測(cè)系統(tǒng)的實(shí)時(shí)性。

本文提出了一種聯(lián)合LBP與SOM的多分辨率織物疵點(diǎn)檢測(cè)方法。將織物圖像應(yīng)用圖像金字塔進(jìn)行降級(jí)分解，得到不同分辨率的圖像，再對(duì)每一級(jí)的圖像應(yīng)用局部二進(jìn)制（LBP）算子，提取特征后送入事先訓(xùn)練好的自組織映射神經(jīng)網(wǎng)絡(luò)（SOM）進(jìn)行識(shí)別。最后對(duì)已識(shí)別的多級(jí)圖像進(jìn)行融合，計(jì)算輪廓的周長(zhǎng)和面積去除孤立點(diǎn)后得出最終的檢測(cè)結(jié)果。實(shí)驗(yàn)結(jié)果表明，本文方法能將疵點(diǎn)從織物圖像中較準(zhǔn)確地分割出來(lái)，檢測(cè)速度快、效果好，適用于不同紋理類型織物的不同疵點(diǎn)的檢測(cè)。

[1]BISSI L， BARUFFA G， PLACIDI P， et al.Patch based yarn defect detection using Gabor filters[C].I2MIC，2012 IEEE International， 2012： 240-244.

[2]PRIYA S， KUMAR T A， PAUL D V.A novel approach to fabric defect detection using digital image processing[C].ICSCCN， 2011： 228-232.

[3]Ding S， Liu Z， Li C.AdaBoost learning for fabric defect detection based on HOG and SVM [C].International Conference on Multimedia Technology， 2011：2903-2906.

[4]Guan S， Yuan J， Ma K.Fabric defect detection based on wavelet reconstruction[C].ICMT 2011， 2011：3520-3523.

[5]Zhang L， He Xh， Zhang Hb.A fabric defects detection method usingSAR imaging[C].2010 6th International Conference on WiCOM， 2010：1-4.

[6] Jia X.Fabric defectdetection based on open source computer vision library OpenCV[C].2010 2nd International Conference on ICSPS， 2010：342-345.

[7]Zhang YH， Yuen CWM， Wong WK.A new intelligent fabric defect detection and classification system based on gabor filter and modified elman neural network[C].ICACC，2010：652-656.

[8]付蓉，石美紅.基于自適應(yīng)LBP和SVM的織物疵點(diǎn)檢測(cè)算法[J].計(jì)算機(jī)應(yīng)用，2010，30（6）：1597-1601.

[9]趙波.改進(jìn)的基于最大熵和Gabor濾波器的織物疵點(diǎn)檢測(cè)[J].微型機(jī)與應(yīng)用，2011，30（13）：29-35.

[10]管聲啟.方向性紋理織物疵點(diǎn)檢測(cè)方法研究[J].計(jì)算機(jī)工程與科學(xué)，2011，33（3）：73-76.

[11]盧亮，趙靜.基于小波變換和圖像最大熵的織物疵點(diǎn)檢測(cè)[J].科學(xué)技術(shù)與工程，2011，11（22）：5446-5450.

[12]BRADSKI G， KAEBLER A.Learning OpenCV[M].南京：東南大學(xué)出版社，2009.