王 炎，連曉峰，葉 璐

(北京工商大學(xué) 計(jì)算機(jī)與信息工程學(xué)院，北京 100048 )

基于特征融合的多尺度窗口產(chǎn)品外觀檢測(cè)方法

王 炎，連曉峰，葉 璐

(北京工商大學(xué) 計(jì)算機(jī)與信息工程學(xué)院，北京 100048 )

為提高產(chǎn)品外觀質(zhì)量的檢測(cè)精度和實(shí)時(shí)性，提出一種基于特征融合的多尺度滑動(dòng)窗口機(jī)器視覺檢測(cè)方法；在訓(xùn)練階段，首先提取圖像的HOG特征和Lab顏色特征，并采用典型相關(guān)分析法(CCA)進(jìn)行特征融合；接下來，采用支持向量機(jī)(SVM)對(duì)融合的特征進(jìn)行訓(xùn)練，生成分類器；在檢測(cè)階段，產(chǎn)品外觀不同區(qū)域?qū)鹊囊蟛煌?，為提高檢測(cè)效率，生成不同尺度的滑動(dòng)窗口，在每個(gè)窗口中都進(jìn)行圖像的特征提取與特征融合；最后，對(duì)采集的圖像序列進(jìn)行匹配，實(shí)現(xiàn)產(chǎn)品外觀劃痕的實(shí)時(shí)檢測(cè)；實(shí)驗(yàn)中，選取不同的特征提取方法進(jìn)行對(duì)比，并分別生成大小不同的滑動(dòng)窗口，通過分析實(shí)驗(yàn)結(jié)果，結(jié)合檢測(cè)時(shí)間與精度，確定各個(gè)區(qū)域的窗口尺度；實(shí)驗(yàn)表明，與傳統(tǒng)的檢測(cè)方法相比，所提方法在檢測(cè)精度和實(shí)時(shí)性上具有顯著提高。

機(jī)器視覺；質(zhì)量檢測(cè)；特征融合；多尺度滑動(dòng)窗口；支持向量機(jī)

0 引言

隨著生產(chǎn)力的提高以及生產(chǎn)資料的豐富，人們對(duì)工業(yè)產(chǎn)品質(zhì)量要求也不斷在提高，產(chǎn)品外觀缺陷問題愈發(fā)受到重視?，F(xiàn)有的外觀缺陷檢測(cè)方法有Blob檢測(cè)算法、LBP特征檢測(cè)算法等。Blob檢測(cè)算法是依據(jù)所需要的檢測(cè)精度將目標(biāo)圖像劃分成為一個(gè)個(gè)的小區(qū)域，計(jì)算時(shí)將每個(gè)小分區(qū)內(nèi)的RGB平均值代替分區(qū)顏色信息，然后再將待檢測(cè)的目標(biāo)圖像和標(biāo)準(zhǔn)圖像的對(duì)應(yīng)的分區(qū)進(jìn)行對(duì)比[1]。這種檢測(cè)方法檢測(cè)速度慢，內(nèi)存消耗大，不能滿足對(duì)產(chǎn)品的實(shí)時(shí)檢測(cè),并且如果待檢劃痕的顏色和機(jī)身本體顏色很接近，該算法的精度不高。LBP特征(局部紋理特征)檢測(cè)方法是將目標(biāo)圖像劃分為若干個(gè)3*3的小區(qū)域，通過對(duì)比區(qū)域中周圍8個(gè)點(diǎn)和中心點(diǎn)的灰度值來得到中心點(diǎn)的LBP值，并用該值來表示整個(gè)區(qū)域的LBP特征，這種特征提取方法并不能很好的描述工業(yè)產(chǎn)品的外觀特征，其精確度也不能滿足一般的工業(yè)要求。除此以外還有基于小波分析的外觀缺陷檢測(cè)方法[2]、Hough變換法[3]、自適應(yīng)閾值分割算法[4]等外觀檢測(cè)方法，但是目前僅限于實(shí)驗(yàn)研究階段，未能應(yīng)用于實(shí)際工業(yè)生產(chǎn)，對(duì)產(chǎn)品外觀進(jìn)行實(shí)時(shí)快速精確的檢測(cè)是當(dāng)前亟待解決的問題。

本文提出一種基于特征融合的多尺度滑動(dòng)窗口檢測(cè)算法，可以實(shí)現(xiàn)對(duì)產(chǎn)品外觀的快速精確的檢測(cè)。整個(gè)過程分為樣本訓(xùn)練階段和實(shí)際檢測(cè)階段。在訓(xùn)練階段，對(duì)訓(xùn)練樣本進(jìn)行圖像的HOG特征和Lab顏色特征提取，特征提取完畢采用CCA進(jìn)行特征融合，然后送入SVM進(jìn)行訓(xùn)練。在檢測(cè)階段，先在采集到的圖像上選取同樣的感興趣區(qū)域，在圖像上生成多尺度滑動(dòng)窗口，即對(duì)待不同精度需求的產(chǎn)品檢測(cè)面，生成大小不同的滑動(dòng)窗口。尺度分為三個(gè)等級(jí)，精度需求不同，窗口的尺度大小也不同，這樣既能保證檢測(cè)精度，又能保證檢測(cè)的實(shí)時(shí)性，大大提升了檢測(cè)效率。接下來在滑動(dòng)窗口中進(jìn)行特征提取與特征融合，將融合的特征送入已經(jīng)訓(xùn)練好的分類器中，檢測(cè)是否存在外觀劃痕缺陷，檢測(cè)完畢后滑至下一個(gè)窗口繼續(xù)檢測(cè)。總體的檢測(cè)流程如圖1所示。

圖1 檢測(cè)流程

1 特征提取與融合

特征提取包括基于局部的方向梯度直方圖(HOG)特征提取和基于全局的Lab顏色特征提取。

1.1 HOG特征提取

HOG特征是一種機(jī)器視覺與圖像處理中用來進(jìn)行圖像檢測(cè)的特征描述算子[5]。相比較其它的特征描述方法，其優(yōu)點(diǎn)在于它對(duì)圖像的幾何形變和光學(xué)形變擁有良好的魯棒性，因?yàn)檫@兩種形變只會(huì)出現(xiàn)在大的空間領(lǐng)域中，而HOG特征是在圖像劃分的小區(qū)間內(nèi)進(jìn)行操作的。HOG特征提取的步驟如下：

1)將目標(biāo)圖像進(jìn)行規(guī)范化(歸一化)，其目的主要是降低光照對(duì)圖像的影響；

2)分別用[-1,0,1]和[1,0,-1]T梯度算子對(duì)圖像做卷積運(yùn)算，得到水平方向和豎直方向的梯度分量。然后計(jì)算像素點(diǎn)(x,y)的梯度：

Gx(x,y)=H(x+1,y)-H(x-1,y)

(1)

Gy(x,y)=H(x,y+1)-H(x,y-1)

(2)

在式(1)、式(2)中，Gx(x,y)表示目標(biāo)圖像中像素點(diǎn)(x,y)的水平方向梯度，Gy(x,y)表示該像素點(diǎn)豎直方向梯度，H(x,y)表示像素值。像素點(diǎn)(x,y)的梯度幅值和梯度方向如式(3)所示：

(3)

3)將目標(biāo)圖像劃分為大小為6*6個(gè)像素的圖像單元，統(tǒng)計(jì)每個(gè)圖像單元的梯度直方圖。

4)將小的圖像單元組合成空間上連通的區(qū)間，每個(gè)區(qū)間上所有的圖像單元的特征向量串聯(lián)起來就可以得到該區(qū)間的HOG特征向量。最后將目標(biāo)圖像內(nèi)所有的區(qū)間HOG特征向量串聯(lián)起來，得到整個(gè)圖像的HOG特征向量。

HOG特征提取流程圖如圖2所示。

圖2 HOG特征提取流程

HOG特征提取如圖3所示，圖(a)為產(chǎn)品外觀圖，圖(b)為該圖提取的HOG特征，橫軸表示每一個(gè)block中的特征數(shù)量，縱軸表示block的個(gè)數(shù)。

圖3 產(chǎn)品外觀HOG特征提取

1.2 Lab顏色特征提取

與RGB等顏色空間相比，Lab顏色空間色域更加寬廣，包含了RGB和CMYK等其它顏色空間的所有色域，人類肉眼所能感知的顏色都可表現(xiàn)，同時(shí)Lab顏色空間又彌補(bǔ)了RGB和CMYK等其它顏色空間的色彩分布不均勻的缺陷。多次實(shí)驗(yàn)表明，使用Lab顏色空間來描述圖像的顏色特征，比其他顏色空間有更高的精度和更低的誤檢率。因目前常用的圖像獲取設(shè)備都是以RGB顏色空間為標(biāo)準(zhǔn)的，所以要先將RGB空間轉(zhuǎn)換為Lab空間[6]:

(4)

(5)

1.3 特征融合

常用的特征融合方法有CCA、D-S證據(jù)理論法和主成分分析法(PCA)[7]。主成分分析法考慮到變量內(nèi)部各維數(shù)據(jù)之間的關(guān)聯(lián)，誤差較小，但是其求解復(fù)雜，應(yīng)用困難，且本課題研究只需要融合兩種特征，所以主成分分析法不適用。D-S證據(jù)理論是一種多源信息融合方法，但是該方法要不同特征之間必須相互獨(dú)立，特征之間的關(guān)聯(lián)會(huì)導(dǎo)致融合出現(xiàn)較大的誤差，故也不適用。本文特征融合采取CCA。該方法通過提取兩組特征向量中有代表性的綜合變量，可以從整體上把握兩組特征向量之間的相關(guān)性。在融合特征的同時(shí)，又降低了特征表示維數(shù)。具體融合方法描述如下：

設(shè)從圖像中提取的HOG特征和Lab顏色特征分別為兩組向量空間X=[x1,x2,…,xm]和Y=[y,y2,…,yn]，m和n分別為兩組特征向量的維數(shù)。兩組特征向量的相關(guān)系數(shù)如式(6)所示：

(6)

式中，Cxy為X，Y間互協(xié)方差矩陣；Cxx為X的協(xié)方差矩陣；Cyy為Y的協(xié)方差矩陣。找到一組合適的投影矢量矩陣u和v，使得投影分量z1=uTx和z2=vTy的相關(guān)性最大。

2 SVM學(xué)習(xí)分類器

2.1 SVM基本原理

SVM是針對(duì)線性分類器提出的一種設(shè)計(jì)準(zhǔn)則，相比起其他的分類方法，其泛化性能強(qiáng)、精度高，在解決非線性小樣本的識(shí)別問題中具備很明顯的優(yōu)勢(shì)[8]。

SVM的目的是求得一個(gè)超平面使得該超平面與訓(xùn)練樣本的距離最大。求取超平面的極大化泛函如式(7)所示：

(7)

式中，N為樣本的個(gè)數(shù)，x為樣本，y為類別編號(hào)，ai為函數(shù)優(yōu)化時(shí)拉格朗日系數(shù)。求得函數(shù)最大值Q(a)，即可求得最優(yōu)解，最優(yōu)權(quán)向量為：

(8)

式中，Ns為支持向量的個(gè)數(shù)。求得拉格朗日系數(shù)ai，即可求得最優(yōu)超平面。

2.2 分類器生成

將采集到的圖像進(jìn)行HOG特征提取和Lab顏色特征提取，經(jīng)過特征融合以后送入分類器進(jìn)行訓(xùn)練，然后將訓(xùn)練好的分類器用于后續(xù)的外觀檢測(cè)中。在進(jìn)行檢測(cè)時(shí)，對(duì)待檢圖像進(jìn)行特征提取以及特征融合，然后送入已經(jīng)訓(xùn)練好的SVM分類器中，得到檢測(cè)結(jié)果。

3 多尺度滑動(dòng)窗口的生成

由于產(chǎn)品外觀劃痕的位置分布具有不確定性，所以檢測(cè)時(shí)在檢測(cè)面生成矩形窗口進(jìn)行檢測(cè)，選取大小合適的矩形窗口在圖像上進(jìn)行滑動(dòng)，使其包含整個(gè)圖像，每滑動(dòng)一次，就對(duì)窗口內(nèi)的圖像進(jìn)行一次特征提取。窗口的大小對(duì)檢測(cè)時(shí)間以及檢測(cè)精度會(huì)產(chǎn)生很大的影響，若是窗口選擇太大，包含過多的像素點(diǎn)，則會(huì)使窗口內(nèi)分辨率下降，降低檢測(cè)精度；若是窗口選擇太小，則會(huì)因?yàn)槎啻翁崛√卣鲗?dǎo)致檢測(cè)時(shí)間過長并且內(nèi)存消耗過大，而且可能會(huì)將機(jī)身上的灰塵或是水珠等誤檢為劃痕。

一件產(chǎn)品不同的面對(duì)于外觀缺陷的精度要求也是不同的。通常來說側(cè)面及正面對(duì)于檢測(cè)精度要求較高，生成尺度較小的窗口進(jìn)行檢測(cè)；而背面和頂面對(duì)于檢測(cè)精度要求較低，則需要生成尺度較大的窗口進(jìn)行檢測(cè)。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 數(shù)據(jù)集

本文所采用的數(shù)據(jù)集是來自海爾集團(tuán)滾筒洗衣機(jī)生產(chǎn)流水線上的產(chǎn)品實(shí)際外觀圖。每張圖片的尺寸為2 456*2 058。

4.2 實(shí)驗(yàn)設(shè)計(jì)

4.2.1 特征提取方式對(duì)比

采取HOG特征和Lab顏色特征相結(jié)合的特征提取方式，為了體現(xiàn)該方法的優(yōu)越性，另外選取不同的特征提取方式來進(jìn)行對(duì)比實(shí)驗(yàn)。在特征提取方式中，另外選取了Blob特征提取和LBP(局部二值模式)特征提取兩種特征提取方式。

實(shí)驗(yàn)中將機(jī)身貼上劃痕標(biāo)簽(如圖4所示)，用不同的特征提取方法來進(jìn)行檢測(cè)，比較檢測(cè)結(jié)果。

圖4 機(jī)身外觀劃痕

4.2.2 不同窗口尺度對(duì)比

滑動(dòng)窗口的尺度選取不同會(huì)較大程度地影響檢測(cè)結(jié)果，本實(shí)驗(yàn)所采用的檢測(cè)圖像較大，對(duì)于精度要求較低的檢測(cè)面，若窗口尺度選取較小，則需要相當(dāng)長的時(shí)間，不能滿足流水線的實(shí)時(shí)檢測(cè)。實(shí)驗(yàn)中分別選取尺度為20*20、25*25、30*30、35*35、40*40、45*45、50*50的窗口，每種尺度測(cè)試數(shù)量為200臺(tái)，將產(chǎn)品的檢測(cè)面上人為貼上劃痕標(biāo)簽，最終得到窗口尺度和檢測(cè)時(shí)間以及檢測(cè)精度的關(guān)系曲線圖。

4.3 實(shí)驗(yàn)結(jié)果分析

4.3.1 特征提取方式對(duì)比結(jié)果分析

分別采取不同的特征提取方式對(duì)同一批產(chǎn)品進(jìn)行檢測(cè)，選取幾組典型的檢測(cè)結(jié)果，可以明顯看出，相比起HOG特征和Lab顏色特征想結(jié)合的特征提取方法，其他特征提取方法效果并不理想(見圖5～圖7)。

圖5 Blob特征提取檢測(cè)結(jié)果

圖6 LBP特征提取檢測(cè)結(jié)果

圖7 HOG與Lab顏色特征結(jié)合檢測(cè)結(jié)果

4.3.2 不同窗口尺度對(duì)比結(jié)果分析

實(shí)驗(yàn)中選取大小不同的窗口，得到窗口大小和檢測(cè)時(shí)間的關(guān)系如圖8所示。

圖8 窗口大小和時(shí)間的關(guān)系

在生產(chǎn)過程中機(jī)身會(huì)沾染少許灰塵，在實(shí)驗(yàn)中若將灰塵檢測(cè)為劃痕，則判定為誤檢，若未能檢測(cè)到貼上的劃痕標(biāo)簽，則同樣判定為誤檢。設(shè)定精度為正確檢測(cè)的機(jī)器數(shù)量與總量的比值。窗口大小和檢測(cè)精度的關(guān)系如圖9所示。

圖9 窗口大小和精確度的關(guān)系

窗口大小15*1520*2025*2530*3035*3540*4045*45時(shí)間/s9.06.24.84.03.53.23.0精度96.1%96.9%98.8%98.3%98.2%97.8%96.5%

表1為不同大小的窗口的檢測(cè)時(shí)間與檢測(cè)精度對(duì)應(yīng)的具體數(shù)值。分析圖表，在窗口大小為25*25時(shí)，精確度會(huì)達(dá)到一個(gè)峰值，之后緩慢下降，結(jié)合時(shí)間，選取大小為25*25大小的滑動(dòng)窗口用于檢測(cè)產(chǎn)品的正面以及側(cè)面；35*35大小的窗口相比起30*30大小的窗口，精確度幾乎持平，而時(shí)間卻明顯減少，所以選取大小為35*35的滑動(dòng)窗口用于檢測(cè)產(chǎn)品的頂面；背面對(duì)于精確度的要求較低，可選取大小為40*40的滑動(dòng)窗口用于檢測(cè)背面。

5 結(jié)論

提出了一種基于HOG特征和Lab顏色特征融合的多尺度

滑動(dòng)窗口檢測(cè)方法，可以對(duì)產(chǎn)品外觀質(zhì)量完成快速準(zhǔn)確的檢測(cè)，且具有實(shí)時(shí)性，多特征融合可以保證檢測(cè)結(jié)果的準(zhǔn)確性，多尺度滑動(dòng)窗口既能保證較高的檢測(cè)精度又能降低檢測(cè)時(shí)間。實(shí)驗(yàn)過程中對(duì)比了其他幾種特征提取方法，結(jié)果表明本文采取的HOG特征和Lab顏色特征具有最高的檢測(cè)精度；通過分別選取不同大小的窗口，結(jié)合精度和時(shí)間，在不同的檢測(cè)面生成大小合適的窗口。在實(shí)際的生產(chǎn)流水線進(jìn)行實(shí)驗(yàn)，結(jié)果表明該研究具有很高的工業(yè)應(yīng)用價(jià)值。但是經(jīng)過實(shí)驗(yàn)，發(fā)現(xiàn)還是會(huì)存在誤檢漏檢的情況，在生產(chǎn)密集的時(shí)候，檢測(cè)速度還是略微有些跟不上生產(chǎn)速度，在未來的研究中，還需要繼續(xù)改進(jìn)，逐步完善性能。

[1] 孫 浩，王 程，王潤生.局部不變特征綜述[J]. 中國圖象圖形學(xué)報(bào)，2011,16(2)：141-151.

[2] 蔣年德，王耀南.一種新的基于主分量變換與小波變換的圖像融合方法[J]. 中國圖象圖形學(xué)報(bào)，2005，10(7)：910-915.

[3] 陳培俊，伍鐵軍.去除陰影后利用霍夫直線變換檢測(cè)茶葉中的雜質(zhì)[J].機(jī)械工程與自動(dòng)化，2014(5)：63-65.

[4] 龍建武，申鉉京，陳海鵬.自適應(yīng)最小誤差閾值分割算法[J].自動(dòng)化學(xué)報(bào)，2012,38(7)：1134-1144.

[5] Dragan V， Morozan T， Stoica A M．Robust Stabilization of Linear Stochastic Systems[J]．Mathematical Methods in Robust Control of Linear Stochastic Systems，2013，52:381-436．

[6] Guo Q， Chen G X， Luo J. A Blind Watermarking Algorithm Using DWT and DCT Techniques for Color Image[J].2015,731(1)：179-182.

[7] 劉金梅，王國宇.基于特征接近度的多特征融合方法[J].中國海洋大學(xué)學(xué)報(bào)，2015，45(11)：109-113.

[8] 唐銀鳳，黃志明，黃榮娟.基于多特征提取和SVM分類器的紋理圖像分類[J].計(jì)算機(jī)應(yīng)用與軟件，2011，28(6)：22-26.

Product Appearance Detection Based on Feature Fusion and Multi - Scale Window

Wang Yan，Lian Xiaofeng，Ye Lu

(School of Computer and Information Engineering,Beijing Technology and Business University,Beijing 100048, China)

In order to improve the detection accuracy and real-time performance of the product appearance quality, we present a method of machine vision on the basis of feature fusion and multi-scale sliding window. In the training phase, in the first part of the paper, the HOG feature and Lab color feature of the image are extracted, and then the feature are fused using the classical correlation analysis(CCA). Next, support vector machine(SVM) is used to train the fused features to generate a classifier. In the detection phase, the accuracy requirements of different regions of the product are different. In order to improve the detection efficiency, the sliding window of different scales is generated. In each window, the feature extraction and feature fusion are carried out. Finally, the acquisition of the image sequence to match, to achieve real-time detection of product appearance scratches. In the experiment, different feature extraction methods are selected to compare and generate sliding windows with different sizes respectively. By analyzing the experimental results and combining the detection time and precision, the window scales of each region are determined. Experiments show that compared with the traditional detection method, the proposed method has a significant improvement in detection accuracy and real-time.

machine vision; quality inspection; feature fusion; multi - scale sliding window; SVM

2017-05-26；

2017-06-10。

北京工商大學(xué)兩科基金培育項(xiàng)目(LKJJ2017-23)。

王 炎(1993-)，男，天津人，碩士研究生，主要從事機(jī)器視覺與智能檢測(cè)方向的研究。

連曉峰(1977-)，男，山西長治人，副教授，碩士研究生導(dǎo)師，主要從事圖像處理、機(jī)器視覺、智能控制與網(wǎng)絡(luò)測(cè)控方向的研究。

1671-4598(2017)12-0039-04

10.16526/j.cnki.11-4762/tp.2017.12.010

TP391

A