劉秀平,馮 奇,杜勇辰,徐 健,閆煥營,童 里,陳小改，鄭冬冬

(1.西安工程大學(xué) 電子信息學(xué)院,陜西 西安 710048;2.深圳羅博泰爾機(jī)器人有限公司,廣東 深圳 518109)

0 引 言

紡織產(chǎn)業(yè)在改革開放40年來一直保持穩(wěn)步發(fā)展的態(tài)勢(shì)。 紡織品制造過程中,網(wǎng)狀織物缺陷檢測(cè)是決定產(chǎn)品質(zhì)量優(yōu)劣的重要環(huán)節(jié),對(duì)產(chǎn)品外觀及等級(jí)劃分有較大影響,如防蟲網(wǎng)的破損會(huì)影響農(nóng)作物防蟲效果,防雹網(wǎng)的斷紗會(huì)影響農(nóng)作物防御等。

隨著機(jī)器視覺技術(shù)的發(fā)展,利用機(jī)器視覺技術(shù)替代人工缺陷檢測(cè)越來越成為趨勢(shì)。 大多數(shù)紡織品生產(chǎn)企業(yè)依舊采用的是人工檢測(cè)織物缺陷的方法,效率低,成本高,而且微小的缺陷極易造成漏檢或錯(cuò)檢[1-2]。與人工檢測(cè)方法相比,機(jī)器視覺技術(shù)具有時(shí)間快、精度高、易于信息化等特點(diǎn)[3]。 常用的運(yùn)動(dòng)前景檢測(cè)算法包括背景差法[4]、光流法[5]、幀間差分法[6]、混合高斯模型(GMM,Gaussian mixture model)[7]和視頻背景提取算法(ViBe,visual background extraction)[8-9]。 背景差法能適應(yīng)多背景變化的情況,可以很快消除噪聲,但其背景建模速度慢,程序結(jié)構(gòu)復(fù)雜,各種參數(shù)調(diào)節(jié)比較困難;光流法的檢測(cè)精度較高,但是算法復(fù)雜,往往難以實(shí)現(xiàn);幀間差分法對(duì)環(huán)境適應(yīng)性強(qiáng),而且易于實(shí)現(xiàn),但只能提取目標(biāo)的邊界,不能完整顯示前景區(qū)域。GMM自學(xué)習(xí)能力強(qiáng),魯棒性很高,但是算法復(fù)雜,并且對(duì)每個(gè)像素都必須建立多個(gè)模型[10];ViBe算法是目前學(xué)者比較熱衷的算法,這是由于ViBe算法對(duì)環(huán)境擾動(dòng),緩慢光照等有較強(qiáng)的自適應(yīng)能力[11],并且算法簡單,運(yùn)算效率高。然而,該算法也存在一些問題,如鬼影、靜態(tài)目標(biāo)以及光照引起的陰影問題。

很多研究者對(duì)ViBe算法進(jìn)行了改進(jìn),以此解決以往傳統(tǒng)ViBe算法存在的不足。 利用相鄰幀圖像像素差值替代傳統(tǒng)ViBe算法單幀的像素值建立背景模型,再根據(jù)不同運(yùn)動(dòng)背景自適應(yīng)地更新閾值提取前景,其優(yōu)勢(shì)是抗噪魯棒性強(qiáng),提高了前景分割的準(zhǔn)確性,但是不足之處在于當(dāng)運(yùn)動(dòng)目標(biāo)數(shù)量較多時(shí),陰影難以消除,影響提取分割效果[12]。 在此基礎(chǔ)上,通過將多幀圖像替代傳統(tǒng)ViBe中第1幀圖像對(duì)背景建模而消除 “鬼影”,并利用Canny算子和形態(tài)學(xué)方法相結(jié)合使得提取的目標(biāo)更完整,時(shí)間更快[13-14]。 然而,該算法并沒有考慮光照所引起的陰影問題。利用前5幀中每一個(gè)像素點(diǎn)的鄰居位置隨機(jī)選取4個(gè)像素點(diǎn)初始化背景模型,并通過三幀差法提高了前景像素的漏檢率,能有效去除噪聲和抑制“鬼影”,但在復(fù)雜場(chǎng)景檢測(cè)時(shí)效果欠佳[15]。因此,本文提出了一種基于改進(jìn)ViBe算法的運(yùn)動(dòng)網(wǎng)狀織物缺陷檢測(cè)方法,利用基于顏色信息及背景差分進(jìn)行背景建模,通過HSV顏色空間轉(zhuǎn)換模型消除陰影問題,且采用OSTU算法計(jì)算最佳分割閾值。結(jié)果表明,改進(jìn)的ViBe算法可以較好地消除陰影,目標(biāo)檢測(cè)效果較好,實(shí)現(xiàn)了織物缺陷檢測(cè)的動(dòng)態(tài)性。

1 網(wǎng)狀織物缺陷檢測(cè)

ViBe算法是一種像素級(jí)的運(yùn)動(dòng)目標(biāo)檢測(cè)算法,本質(zhì)是將圖像的像素分割為前景像素和背景像素。ViBe算法實(shí)時(shí)性和魯棒性都比較高。 主要步驟包括背景模型的建立,前景檢測(cè)以及模型的更新[16]。

基于ViBe算法的運(yùn)動(dòng)網(wǎng)狀織物缺陷檢測(cè)方法,首先是通過視頻第1幀進(jìn)行背景建模,建立一個(gè)背景樣本集，然后對(duì)下一幀圖像的像素值逐個(gè)與樣本集中的像素值對(duì)照判定是背景像素點(diǎn)還是前景像素點(diǎn)，最后對(duì)樣本集中不屬于背景像素點(diǎn)的位置進(jìn)行更新。

1.1 背景模型建立

ViBe算法初始化的實(shí)質(zhì)為背景模型的建立。 ViBe算法的實(shí)現(xiàn)首先是通過視頻序列的第1幀獲取背景,為每一個(gè)像素建立樣本集合。 然后將后續(xù)各幀中的像素值按照對(duì)應(yīng)位置逐一與背景樣本集中的像素值比較。 若當(dāng)前幀某個(gè)位置的像素值與樣本集中的某些相近,可判斷此像素為背景像素。定義v(x)為RGB顏色空間中x處的像素值,vi為樣本集中每個(gè)像素的像素值,則由此建立的背景像素模型記為

M(x)={v1,v2,…,vN}

(1)

1.2 前景檢測(cè)

背景模型建立完成后,ViBe算法從第2幀開始進(jìn)行前景檢測(cè),即運(yùn)動(dòng)網(wǎng)狀織物缺陷檢測(cè)。 所謂前景檢測(cè),即就是對(duì)當(dāng)前幀的像素與背景樣本集中的像素進(jìn)行比較,判斷當(dāng)前像素是否屬于背景像素。 歐式空間像素分類如圖1所示, 其中C1,C2為二維顏色空間的像素分量,范圍為[0,255]。 設(shè)x處的像素值為v(x),并且以v(x)為中心,R為半徑,這樣可以得到一個(gè)區(qū)域SR(v(x)),此區(qū)域包含像素的背景樣本個(gè)數(shù)為區(qū)域SR(v(x))與背景模型M(x)的交集,記為

m={SR(v(x))∧(v1,v2,…,vN)}

(2)

通過m的大小可以判斷x處的像素是前景像素還是背景像素。 當(dāng)m小于最少數(shù)目匹配閾值#min時(shí),此時(shí)x處的像素是前景像素;當(dāng)m值大于或等于#min閾值時(shí),為背景像素。通常實(shí)驗(yàn)參數(shù)背景樣本集數(shù)目N=20,閾值#min=2,R=20。

圖1 歐式空間像素分類Fig.1 Euclidean space pixel classificationprocess

1.3 更新策略

ViBe算法的更新策略主要包含了3個(gè)方面:隨機(jī)選取樣本更新;隨機(jī)決定是否更新背景模型;隨機(jī)決定是否更新鄰域像素[17]。 若當(dāng)獲取的視頻當(dāng)前幀的像素點(diǎn)被判斷為背景像素點(diǎn),此前建立的背景模型的像素點(diǎn)就有可能被替換。 隨機(jī)選擇一個(gè)背景模型像素樣本點(diǎn),用當(dāng)前幀的該像素點(diǎn)替換上一幀此位置處的像素點(diǎn),更新的概率為1/λ,λ為更新因子。在運(yùn)動(dòng)網(wǎng)狀織物缺陷檢測(cè)時(shí),由于傳送帶的運(yùn)動(dòng)速度比較快,這樣會(huì)導(dǎo)致缺陷檢測(cè)時(shí)出現(xiàn)許多誤檢點(diǎn)。因此,在運(yùn)動(dòng)網(wǎng)狀織物缺陷檢測(cè)時(shí)需要根據(jù)傳送帶運(yùn)動(dòng)的快慢程度,調(diào)整λ的大小。在N幀背景模型中隨機(jī)抽取一幀圖像PG,如圖2所示。圖2(a)表示N幀背景模型任意一幀的x位置及其八鄰域的像素,如果新的一幀圖像圖2(b)中PG(x)像素被判斷為背景像素,則PG(x)及其鄰域的像素值就需要被替換。

(a) 背景模型 (b) 新一幀背景模型圖2 背景模型更新Fig.2 Background model update

2 改進(jìn)的網(wǎng)狀織物缺陷檢測(cè)

ViBe算法在運(yùn)動(dòng)網(wǎng)狀織物缺陷檢測(cè)時(shí),只適用于第1幀圖像不存在缺陷的檢測(cè),對(duì)于光照產(chǎn)生的陰影沒有得到很好的消除, 而且缺陷的形狀與實(shí)際形狀有一定差別。 為此,本文針對(duì)這些問題從以下幾點(diǎn)做了改進(jìn),使得傳統(tǒng)ViBe的缺陷檢測(cè)效果得以提高。

2.1 模型建立

傳統(tǒng)的ViBe算法在背景模型建立時(shí),視頻序列的第1幀沒有目標(biāo),所以用第1幀圖像作為背景進(jìn)行建模。 但是,多數(shù)運(yùn)動(dòng)目標(biāo)檢測(cè)時(shí),初始狀態(tài)已經(jīng)存在目標(biāo),所以使用ViBe算法前需要對(duì)第1幀圖像進(jìn)行分割。如圖3所示,首先將帶有缺陷的第1幀RGB圖像轉(zhuǎn)換到Y(jié)cbcr空間,然后將得到的Ycbcr空間的圖像進(jìn)行二值化處理,接著通過背景差分法得到網(wǎng)狀織物并將其作為背景,最后對(duì)得到的背景圖像采用ViBe算法進(jìn)行背景建模。

圖3 第1幀圖像背景提取Fig.3 Background extraction of the first frame image

2.2 HSV陰影濾除

ViBe算法在網(wǎng)狀織物缺陷檢測(cè)時(shí),在目標(biāo)與非目標(biāo)區(qū)域存在許多陰影,運(yùn)動(dòng)目標(biāo)檢測(cè)時(shí)所出現(xiàn)的陰影是由于光線被運(yùn)動(dòng)目標(biāo)遮擋[18]。 陰影區(qū)域通?？醋鍪且粋€(gè)半透明的區(qū)域,具有2個(gè)特點(diǎn):與原背景相比較,陰影遮擋的背景像素的顏色有所改變;像素點(diǎn)的飽和度與亮度比原來小。HSV檢測(cè)陰影的主要思想是:對(duì)于視頻序列的某一幀含有運(yùn)動(dòng)目標(biāo)圖像像素進(jìn)行H(色度)、S(飽和度)、V(亮度)比較,在HSV顏色空間中陰影的H和它的S與其他區(qū)域存在明顯差別[19]。

HSV顏色空間模型濾除陰影主要包括3個(gè)步驟:

(1) 顏色空間轉(zhuǎn)換 將RGB顏色空間圖像轉(zhuǎn)換到HSV顏色空間,再經(jīng)過各自通道分離,獲得H、S、V三通道的圖像。

(2) 陰影檢測(cè) 將每一幀圖像得到的H,S,V分量帶入(4)～(6)式,如果S(x,y)為0,即檢測(cè)到的為非陰影點(diǎn),反之檢測(cè)到的為陰影點(diǎn)。

(3)

SA(x,y)=|SC(x,y)-SB(x,y)|

(4)

HA(x,y)=HC(x,y)-HB(x,y)|

(5)

式中:S(x,y)為點(diǎn)(x,y)處像素的亮度值;HC(x,y),SC(x,y),VC(x,y)分別表示當(dāng)前幀陰影前景像素的H,S,V分量值;HB(x,y),SB(x,y),VB(x,y)分別表示背景圖像像素的H,S,V分量值;TH,TS分別表示當(dāng)前幀與背景幀在HSV彩色模型中的色調(diào)以及飽和度的范圍;α為光照影響因子,β為噪聲抑制因子,參數(shù)取值范圍為0≤α≤β≤1。

(3) 陰影濾除 陰影檢測(cè)出來之后,對(duì)檢測(cè)到的陰影區(qū)域的像素值全部置為0,從而消除陰影。

如圖4所示,檢測(cè)視頻第239幀中較好地消除了目標(biāo)區(qū)域周圍的陰影。

(a) 改進(jìn)前 (b)改進(jìn)后圖4 第239幀陰影消除效果Fig.4 The effect of 239th frame shadow elimination

2.3 OSTU閾值分割

σ2(t)=ω0(μ0-μ1)2+ω1(μ0-μ2)2

(6)

式中:μ0為圖像的灰度均值;μ1為前景均值;μ2為背景均值。當(dāng)σ2(t)為全局最大值時(shí)此時(shí)的t稱作圖像分割的最佳閾值。

本文采用OSTU確定運(yùn)動(dòng)網(wǎng)狀織物與缺陷分割的最佳閾值,圖5是檢測(cè)視頻第94幀分割后改進(jìn)ViBe算法的檢測(cè)效果。

(a) 改進(jìn)前 (b)改進(jìn)后圖5 第94幀改進(jìn)ViBe算法檢測(cè)效果Fig.5 The detection effect of the improved ViBealgorithm of 94th frame

從圖5可以看出,改進(jìn)前夾雜大量的偽目標(biāo)點(diǎn),采用OSTU分割后這些目標(biāo)點(diǎn)基本消除。

3 結(jié)果與分析

本文算法實(shí)現(xiàn)環(huán)境為Windows7操作系統(tǒng),Intel Core i7 處理器,CPU頻率3.60 GHz,結(jié)合Matlab 2016b,高清彩色工業(yè)相機(jī)JHSM300f(幀率12 fps,分辨率2 048×1 536), 鏡頭(型號(hào)M1614-MP2,焦距16 mm),白色可調(diào)光源(型號(hào)JHZM-A40-W,照度40 000 lx),傳送裝置(傳送速度:15 m/min),防蟲網(wǎng)等進(jìn)行運(yùn)動(dòng)網(wǎng)狀織物缺陷檢測(cè)系統(tǒng)的搭建。 首先通過工業(yè)相機(jī)采集一段網(wǎng)狀織物在傳送帶運(yùn)動(dòng)的視頻序列,然后再將視頻序列在Matlab軟件上借助檢測(cè)算法對(duì)織物缺陷進(jìn)行檢測(cè)。

為了驗(yàn)證本文改進(jìn)的ViBe算法對(duì)運(yùn)動(dòng)網(wǎng)狀織物缺陷的有效性,實(shí)驗(yàn)采用GMM、ViBe算法及改進(jìn)ViBe算法進(jìn)行對(duì)比實(shí)驗(yàn)。本文選取參數(shù)N=10,R=30,#min=2,λ=5，選取視頻第128幀,161,237幀。圖6(a)為原視頻幀,圖6(b)為混合高斯模型算法處理的效果,可以看出,混合高斯模型在處理時(shí)容易出現(xiàn)“鬼影”問題(綠色框所示)。圖6(c)為傳統(tǒng)ViBe算法處理的結(jié)果,由于傳送帶的運(yùn)動(dòng),導(dǎo)致大量的運(yùn)動(dòng)網(wǎng)狀織物的許多非缺陷被誤檢為缺陷(橙色框所示),也存在“鬼影”問題。圖6(d)為改進(jìn)ViBe算法處理的效果。從這幾種算法處理的效果可以直觀看出,改進(jìn)的ViBe算法較好地抑制了非缺陷對(duì)檢測(cè)帶來的影響,同時(shí)也消除了由于光照帶來的陰影問題,檢測(cè)結(jié)果更加接近運(yùn)動(dòng)網(wǎng)狀織物缺陷的形狀。

(a) 原圖 (b) 混合高斯模型 (c) 傳統(tǒng)ViBe (d) 改進(jìn)ViBe圖6 網(wǎng)狀織物缺陷檢測(cè)結(jié)果Fig.6 The defect detection result of mesh fabric texture

改進(jìn)的ViBe處理視頻的時(shí)間為15.71 s, 混合高斯模型和ViBe處理視頻的時(shí)間分別為19.29 s,16.48 s。為了更好比較改進(jìn)算法與其他算法,采用精確率(SPR)與召回率(SRE)2種評(píng)價(jià)指標(biāo)來衡量改進(jìn)算法。 精確度表示正確檢測(cè)出的前景點(diǎn)占檢測(cè)出的所有前景點(diǎn)的比例。 召回率表示正確檢測(cè)出的前景點(diǎn)占所有前景點(diǎn)比例。 精確度與召回率越高,運(yùn)動(dòng)網(wǎng)狀織物缺陷檢測(cè)效果越好。 具體評(píng)價(jià)指標(biāo)定義如式(7)所示。

(7)

式中:TP為正確檢測(cè)前景像素的數(shù)目;TN為正確檢測(cè)背景像素的數(shù)目;FP為非正確檢測(cè)前景像素的數(shù)目;FN為非正確檢測(cè)背景像素的數(shù)目。

表2列出了GMM、ViBe以及改進(jìn)ViBe算法對(duì)運(yùn)動(dòng)網(wǎng)狀織物缺陷檢測(cè)樣本的精確率,召回率進(jìn)行計(jì)算。

表2 本文算法與其他算法的評(píng)價(jià)指標(biāo)比較Table 2 Comparison of the evaluation indexes of this algorithm and other algorithms %

4 結(jié) 語

本文采用改進(jìn)的ViBe算法實(shí)現(xiàn)運(yùn)動(dòng)網(wǎng)狀織物缺陷檢測(cè),同時(shí)將其與ViBe算法和GMM進(jìn)行對(duì)比實(shí)驗(yàn)。 實(shí)驗(yàn)結(jié)果表明,改進(jìn)ViBe算法在處理運(yùn)動(dòng)網(wǎng)狀織物缺陷檢測(cè)問題時(shí)與ViBe、GMM相比,時(shí)間復(fù)雜度分別提高2.81 s和3.58 s,精確率分別提高3.4%和9.6%,召回率分別提高1.2%,4.5%,運(yùn)動(dòng)織物檢測(cè)的準(zhǔn)確性得到了提高。 但是,在網(wǎng)狀織物紋理不規(guī)則、背景復(fù)雜等方面還存在檢測(cè)效果欠佳、漏檢等問題,這些問題將是今后的研究重點(diǎn)。