洪存存,王雪琨,于文文,曹建軍,錢維瑩,高淑梅
(江南大學 理學院 江蘇省輕工光電工程技術研究中心,無錫 214122)
人造皮革現已廣泛應用于皮衣、汽車座椅和皮包的制作中。隨著市場對皮革需求量增加和消費者對產品質量要求不斷提高,如何切實保證生產出高質量皮革產品是企業(yè)生產過程中的一個重要環(huán)節(jié)。在皮革生產加工過程中,表面容易產生油污、孔洞、壓痕、劃痕和色差等缺陷。目前企業(yè)監(jiān)測缺陷主要通過的是工人的肉眼辨別,工作環(huán)境復雜多變,單純采用人眼檢測速度慢且易受到主觀影響[1-3]。
隨著計算機和圖像處理技術的快速發(fā)展,已有企業(yè)利用機器視覺實現皮革缺陷的自動化檢測。
傳統(tǒng)的機器視覺皮革缺陷檢測算法主要有:聚類分析法[4]、閾值分割法[5]、小波分析算法[6]和特征直方圖算法[7]等。上述多種算法在特定環(huán)境和實驗平臺中對于較為明顯的皮革缺陷具有一定的檢測效果,但當皮革樣本背景紋理與缺陷區(qū)域相近,或表面存在細小缺陷時,易導致算法檢測效率和準確率降低。算法對于不同材質皮革表面紋理敏感,所以無法得到廣泛應用。
種類不同的皮革表面紋理差異是影響皮革缺陷檢測過程中精度和準確率的最主要原因。本文中采用一種基于改進雙邊濾波的皮革缺陷檢測方法,將傳統(tǒng)雙邊濾波的2維非線性運算變?yōu)?維的快速傅里葉運算,提高了運算效率。利用改進的雙邊濾波算法快速模糊皮革表面紋理背景并保留缺陷邊緣,降低皮革背景紋理對檢測算法的影響。針對皮革樣本缺陷形狀不一和顏色相近的問題,采用灰度共生矩陣提取缺陷區(qū)域能量、對比度、熵和均勻性作為特征向量,最后利用最小二乘支持向量機構建分類器對皮革中的缺陷進行識別分類。
不同種類皮革表面紋理和材質都具有差異,因此圖像采集過程中對光照強度與照射角度的需求亦不同。目前機器視覺檢測平臺使用光源主要為發(fā)光二極管(light emitting diode,LED)環(huán)形光源、背光源或條形光源。這些光源都是同軸光源,照明光在目標面上對稱均勻分布,易導致在圖像采集中,皮革樣本中壓痕和細小缺陷與背景對比度小,算法無法有效檢測出來[8]。為應對復雜的皮革缺陷檢測,本文中搭建了基于機器視覺的皮革缺陷檢測平臺。使用曲面離軸LED陣列照明,其主要由4個部分組成:光源擺角器、曲面離軸LED陣列、焦距為12mm的高倍鏡頭和工業(yè)電荷耦合元件(charge-coupled device,CCD)相機,結構和實物如圖1所示。
Fig.1 Leather defect detection platform
本文中采用的皮革缺陷檢測算法,主要分為圖像采集、圖像預處理、特征提取和分類識別4個模塊。算法流程如圖2所示。
Fig.2 Flow chart of defect detection algorithm
皮革表面紋理對缺陷區(qū)域分割提取干擾較大,為降低背景紋理干擾,增加檢測算法的魯棒性和準確率,需要采用濾波算法來模糊皮革的背景紋理。傳統(tǒng)的空間域濾波,如高斯濾波[9]、中值濾波[10]和均值濾波[11]只考慮了空間域像素之間的歐氏距離,對圖像中背景紋理部分起到了平滑作用,但無法保留缺陷區(qū)域邊緣輪廓。因此準備采用雙邊濾波器[12],該算法是一種非線性濾波器,能有效模糊背景紋理并保持目標區(qū)域邊緣。由于該算法是進行非線性運算,計算量較大,易導致檢測時間過長[13]。
假設原圖像在點(x,y) 位置的灰度值為I(x,y),經雙邊濾波算法運算后得到的圖像在點(x,y)的灰度值為I′(x,y),如下式所示:
I′(x,y)=
(1)
(2)
式中,Wp是空間權值和灰度權值乘積的總和,Gs(‖p-q‖) 為空間域核,Gr(|Ip-Iq|)為值域核,其中‖‖表示歐氏距離,| |表示絕對值,S為雙邊濾波的范圍,Ip為鄰域像素點p的灰度值,Iq是中心像素點q的灰度值;Gr和Gs為灰度鄰近度函數和空間鄰近度函數,如下式所示:
(3)
(4)
式中,σs是基于高斯函數的距離標準差,σr是基于高斯函數的灰度標準差。
改進后濾波算法主要是將坐標上點的灰度值與圖像中點坐標相結合,產生一個3維圖像,再使用3維圖像函數與3維高斯核函數進行卷積運算,則把復雜的非線性運算轉換成線性運算,加快了濾波算法的運算速度。像素點轉換為3維后,則有3維權值函數E和3維圖像函數F,如下式所示:
(5)
(6)
(7)
式中,B為對3維矩陣E和F進行3維高斯濾波得到的3維矩陣,G是高斯核函數,?是矩陣運算符克羅內克積。
改進的雙邊濾波處理效果如圖3所示。圖3a為相機拍攝的皮革油污缺陷的原圖,圖3b為經采用改進雙邊濾波算法處理后效果圖。對比發(fā)現,經算法處理后,模糊皮革背景紋理區(qū)域且保留了油污缺陷內外邊緣輪廓,有助于后續(xù)缺陷區(qū)域準確地分割和特征提取。
Fig.3 Improved bilateral filtering processing graph
不同種類皮革表面缺陷形態(tài)各異、大小差異,因此不能簡單通過物理特征來進行特征提取[14]。進行實驗時發(fā)現,不同種類缺陷區(qū)域部分的紋理粗細、緊密和溝紋深淺程度不同,則每種缺陷都能夠采用紋理特征進行表征。灰度共生矩陣通過不同函數對缺陷區(qū)域紋理特征、緊密程度和顏色之間差異進行表征[15-16],通過實驗比較最終選用能量值T、對比度C、熵M和均勻性H這4個特征參量分別從紋理的粗細、對比度、信息量和局部變化4個維度進行表征,表達式如下式所示:
(8)
式中,L為灰度級,P(i,j)為灰度共生矩陣,i,j分別為像素點的灰度。
一副圖像經過區(qū)域分割后得到子圖像,子圖像即為皮革缺陷區(qū)域。計算該子圖像上述4個共生矩陣特征參量的值,作為特征值,并將4個特征值組合,由此每一個樣本可得到一個4維特征向量。圖像的灰度共生矩陣參量受到灰度量化級、像元對方向和距離的影響。本實驗中選定灰度量化級為32,像元對方向為0°,距離為8個像素點。
支持向量機(support vector machine,SVM)是建立在統(tǒng)計學理論的一種重要的分類器[17]。本研究中利用最小二乘支持向量機將樣本圖片中各子區(qū)域的4個特征值(能量、對比度、熵和均勻性)作為輸入的特征向量,建立分類模型對皮革缺陷進行識別,核函數為徑向基函數,記作:
K(X,Y)=exp(-σ‖X-Y‖2)
(9)
式中,σ為函數的距離參量,取值為0.0718;X和Y為輸入的特征向量。
SVM是一種二分類的分類器,只能用于兩類樣本的分類,想要對多個類別檢測識別分類,主要有3種實現方法,分別為:一對多的最大響應策略;一對一的投票策略;一對一的淘汰策略[18-21]。經過對比實驗,本文中采用的是一對一投票策略的分類方法,此分類方法原理是將4類樣本,進行兩兩組成訓練集,得到6個SVM分類器,把檢測樣本的特征向量依次送入這6個SVM分類器中,如果有n類樣本,則需要n(n-1)/2個分類器,最終計算權重,得出最佳結果。
本文中實驗樣本為皮革生產廠家提供有缺陷和正常的皮革產品,其中,正常皮革樣本100張,皮革缺陷樣本500張,共選用5種缺陷作為代表進行檢測實驗分析,缺陷包括:褶皺、劃痕 、孔洞、油污和鼓包。將本文中檢測算法與聚類分析算法、閾值分割算法和小波分析算法等缺陷檢測算法進行對比實驗,對比算法檢測準確率和運行效率。實驗平臺均采用為MATALAB2016b,系統(tǒng)環(huán)境為Windows7,運行內存4GB。
圖4為機器視覺實驗平臺分別采用普通環(huán)形面陣光源和曲面離軸LED陣列光源進行照明的檢測對比實驗結果。實驗中發(fā)現,采用普通環(huán)形光源垂直照射目標面,相機采集到的皮革樣本圖片,缺陷區(qū)域與紋理背景差異較小,算法無法準確檢測識別出缺陷位置。當采用曲面離軸LED陣列光源進行圖像采集照明,缺陷區(qū)域輪廓清晰且與背景紋理對比度強,算法能夠精確識別缺陷區(qū)域。曲面離軸LED陣列進行側面照明保證光照目標面均勻度,同時凸出皮革各向異性缺陷,提高檢測算法的準確率。
Fig.4 Defect detection results under two lighting modes
圖5為不同材質皮革的各類缺陷在對比算法下的運行結果。分別為缺陷原圖和經過聚類分析法、閾值分割法、小波分析和本文中的改進雙邊濾波法的實驗檢測結果。對于聚類分析方法,模型訓練時需要固定樣本大小,因此訓練樣本會出現一定程度拉伸或者壓縮,導致模型不能準確表征特征;對于孔洞或劃痕等細小缺陷,漏檢情況發(fā)生主要受算法預處理和后處理影響,在圖像濾波過程中,背景紋理對后續(xù)缺陷區(qū)域分割的影響極大。
Fig.5 Test results of the four algorithms
本文中采用改進雙邊濾波對皮革樣本圖像進行預處理,有效實現皮革缺陷區(qū)域增強、紋理背景的弱化,便于后續(xù)特征提取和識別。采用的檢測算法,能夠精確標記皮革缺陷所在位置,避免缺陷標準矩形框較大的問題,減少皮革的浪費。從客觀定量指標對檢測結果進行評價,本文中所采用的算法能很好檢測不同材質皮革缺陷。與其它3種檢測算法相比較,其檢測準確率高、速度快,準確率、算法運行時間分別如表1和表2所示。閾值分割法運行時間最短,但其準確率較低。因不同材質皮革表面缺陷顏色不用,簡單通過閾值分割,無法精確提取缺陷區(qū)域進行檢測。
Table 1 Accuracy statistics of defect detection algorithm
Table 2 Running time statistics of defect detection algorithm
針對不同材質皮革的視覺缺陷檢測算法研究較少,且相應算法對不同材質皮革表面紋理敏感,檢測效率不能滿足企業(yè)生產力需求,這一難題,本文中搭建了LED曲面離軸照明的機器視覺檢測平臺,與傳統(tǒng)面陣同軸照明檢測實驗平臺相比, LED曲面離軸照明有助于提高算法對皮革各向異性缺陷檢測準確率和精確度,并采用改進雙邊濾波對圖像樣本進行預處理,減小紋理背景對檢測的影響,增加算法魯棒性,實現對皮革紋理圖像的快速有效檢測。通過對比實驗分析,表明本文中采用的檢測算法,在實際皮革檢測效果及性能都較好應用。