郭朝偉，張中煒（東華大學(xué)　信息科學(xué)與技術(shù)學(xué)院，上海 201620）

基于決策樹學(xué)習(xí)的柱狀二極管表面缺陷檢測(cè)系統(tǒng)設(shè)計(jì)*

郭朝偉，張中煒
（東華大學(xué)信息科學(xué)與技術(shù)學(xué)院，上海 201620）

研究對(duì)象為柱狀二極管，管體表面分布著白色文字和極性環(huán)。通過(guò)光學(xué)原理設(shè)計(jì)出能夠減弱反光、打亮側(cè)面的光學(xué)平臺(tái)。同時(shí)，從對(duì)象分割、特征提取和決策樹分類器三方面講述視覺(jué)軟件系統(tǒng)的設(shè)計(jì)流程：針對(duì)文字與缺陷ROI相混的情況，先利用筆畫寬度轉(zhuǎn)換（SWT）分割文字，剩下的連通ROI即是缺陷ROI；針對(duì)缺陷特征，提出平均灰度、環(huán)狀度、邊緣方向直方圖和LBP四項(xiàng)特征值；最后利用決策樹分類器對(duì)缺陷ROI進(jìn)行分類，缺陷ROI識(shí)別率接近100％，缺陷ROI分類正確率達(dá)到92.3％，取到了較好的識(shí)別和分類效果。

機(jī)器視覺(jué)；筆畫寬度轉(zhuǎn)換；全局LBP紋理算子；決策樹學(xué)習(xí)分類器

0　引言

目前機(jī)器視覺(jué)的被測(cè)對(duì)象大都是平面結(jié)構(gòu)，形狀和紋理的一致性很高。而對(duì)柱狀元件來(lái)說(shuō)，表面紋理分布于四周，缺陷的空間位置、形狀特征和灰度特征的不確定性很大，而且可能出現(xiàn)不同缺陷混在一起的情況，增大了圖像分割和特征提取的難度。對(duì)于這種柱狀元件，目前只能檢測(cè)側(cè)面外形缺陷和少數(shù)紋理缺陷，若要進(jìn)行完整檢測(cè)，需要增加相機(jī)的數(shù)量，成本很高。本文詳述了視覺(jué)系統(tǒng)主要部分的設(shè)計(jì)過(guò)程，從光學(xué)平臺(tái)設(shè)計(jì)和缺陷分割分類算法兩個(gè)方面提出創(chuàng)新，算法部分用MATLAB進(jìn)行仿真驗(yàn)證，完成外形和紋理缺陷的檢測(cè)任務(wù)。

1　系統(tǒng)方案

系統(tǒng)為實(shí)時(shí)在線監(jiān)測(cè)，包括硬件系統(tǒng)和軟件系統(tǒng)，如圖 1所示。硬件系統(tǒng)包括光學(xué)平臺(tái)［1］、傳送機(jī)構(gòu)、傳感器和執(zhí)行機(jī)構(gòu)；軟件系統(tǒng)包括人機(jī)界面、串口通信、圖像處理及分類算法。

2　軟件系統(tǒng)

首先介紹研究對(duì)象及其缺陷類型。缺陷類型包括：管腳缺陷和管體缺陷。管腳缺陷多為外形缺陷，管體缺陷包括：（a）管體大小不一；（b）管體缺損；（c）文字缺失；（d）片狀印染；（e）色環(huán)缺失；（f）極性環(huán)寬度不一；（g）露白膠。圖2為對(duì)象整流二極管封裝DO-41外形尺寸。

圖1　系統(tǒng)結(jié)構(gòu)圖

圖2　封裝DO-41外形尺寸

（a）、（e）、（f）類缺陷在分割時(shí)通過(guò)外形特征就能判斷出缺陷類型，算法的難點(diǎn)在于（b）、（c）、（d）、（g）類缺陷。針對(duì)（b）、（c）、（d）、（g）類可能出現(xiàn)混在一起的情況，先對(duì)文字進(jìn)行分割，留下來(lái)的連通區(qū)域就是（b）、（d）、（g）類；然后提取（b）、（d）、（g）類的特征，實(shí)際分類時(shí)又將這三類分為管體正面缺損、側(cè)面缺損、片狀印染和露白膠4種類型；最后利用決策樹分類器對(duì)4種類型進(jìn)行分類。下面是軟件系統(tǒng)中的主要算法。

2.1文字分割算法

筆畫寬度轉(zhuǎn)換 （Stroke Width Transform，SWT）最初在2010年由EPSHTEIN B提出并應(yīng)用于場(chǎng)景文字檢測(cè)［2］，作者通過(guò)SWT對(duì)文字進(jìn)行分割。本課題中，因二極管背景簡(jiǎn)單，字符筆畫寬度固定，故查全率接近 100％，而且可以去除邊緣彌散光造成的影響。

SWT的核心思想是：先對(duì)圖像做 Canny檢測(cè)，如圖 3所示，其中，M、N是邊緣上的點(diǎn)；然后求點(diǎn)M處梯度的單位方向向量 dM，dM大約垂直于筆畫邊緣。

圖3　SWT示意圖

以點(diǎn)M為起點(diǎn)，以dM為方向做射線，即射線r=M+ n.dM，n＞0，射線終點(diǎn)為另外一個(gè)邊緣點(diǎn) B，其梯度方向?yàn)?dB，如果 dB與 dM方向相反、大小相近，則將點(diǎn) M、B看做有效邊緣點(diǎn)，并將線段MB上所有像素點(diǎn)灰度值賦值為像素點(diǎn)M和點(diǎn)B間的像素個(gè)數(shù)，即筆畫寬度（SW）。如果沒(méi)有找到像素點(diǎn)B或者dB與dM不滿足要求，則放棄該射線。最后對(duì)圖像中所有像素點(diǎn)SW比率小于3的SW進(jìn)行歸類。

實(shí)際測(cè)試中發(fā)現(xiàn)在拐角處容易出現(xiàn)SW缺失的情況，針對(duì)這種情況進(jìn)行了改進(jìn)，以點(diǎn)M為例，以M為原點(diǎn)，以 dM和 tan（arctan（dM）±π/4）（dM為 dM斜率）為方向做三條射線，分別交另一條邊緣線于點(diǎn)B、A和C，其他操作與未改進(jìn)SWT相同，效果展示見(jiàn)第3節(jié)。

2.2外形特征提取

側(cè)面缺損和露白膠均為高灰度紋理，兩者區(qū)別在于輪廓特征和邊緣特征，用環(huán)狀度表述輪廓特征，用空間邊緣方向直方圖表述邊緣特征。下面是兩個(gè)特征算子的介紹。

（1）環(huán)狀度（壓縮度）

（2）空間邊緣方向直方圖

空間邊緣方向直方圖能夠較好地描述圖像的邊緣信息?？臻g邊緣方向直方圖特征與環(huán)狀度特征結(jié)合在一起，利用最近鄰法可以對(duì)露白膠和側(cè)面缺損兩種缺陷有效分類。

2.3紋理特征提取

LBP是基于局部特征的紋理算子，現(xiàn)以（P，R）=（8，1）為例說(shuō)明（如圖4所示）：以中心灰度值為gc的像素為原點(diǎn)，采樣半徑為R作圓，P為鄰域內(nèi)的像素個(gè)數(shù)，鄰域內(nèi)像素點(diǎn)為g（i），1≤i≤8，通過(guò)式（1）和式（2）得到中心像素的 LBP值，以 LBP（P，R）的直方圖統(tǒng)計(jì)作為特征值，共256維。簡(jiǎn)化分類器，取PCA降維后的前4個(gè)主分量為特征值。

圖4　LBP示意圖

LBP還有很多改進(jìn)能更好地提取對(duì)象特征，包括旋轉(zhuǎn)不變模式LBPROT［5］、均值模式Uniform LBP［6］、CLBP［7］等?？紤]到紋理具有方向性和算法效率，使用經(jīng)典的LBP算子。

2.4決策樹分類器設(shè)計(jì)

決策樹由一個(gè)根節(jié)點(diǎn)、一系列內(nèi)部節(jié)點(diǎn)、分支和葉節(jié)點(diǎn)組成。在機(jī)器學(xué)習(xí)中，決策樹代表的是對(duì)象屬性與對(duì)象值之間的一種映射關(guān)系。樹中的每個(gè)節(jié)點(diǎn)表示某個(gè)對(duì)象，而每個(gè)分叉樹則代表某個(gè)可能的屬性值，每個(gè)葉節(jié)點(diǎn)代表一個(gè)類別，即圖像的分類結(jié)果［8］。

按特征二次劃分后的決策樹如圖5所示，共用到LBP、平均灰度、環(huán)狀度和空間邊緣方向直方圖4項(xiàng)特征，其中兩個(gè)為直方圖特征和兩個(gè)為變量特征。這種決策樹學(xué)習(xí)將所有特征做成摘要形式，融進(jìn)層級(jí)思想，能更準(zhǔn)確地對(duì)數(shù)據(jù)集進(jìn)行分類。

圖5　按特征二次劃分后的決策樹

3　算法仿真驗(yàn)證

本節(jié)將展示系統(tǒng)仿真過(guò)程中的數(shù)據(jù)和結(jié)果，包括圖像分割、特征提取和決策樹分類。下面是缺陷輪廓的分割過(guò)程。

基于SWT的缺陷分割過(guò)程如圖6所示。觀察圖6中的缺損紋理和印染紋理，兩者灰度值相近，區(qū)別在于灰度的局部平整性。

圖6　基于SWT的缺陷分割過(guò)程

利用決策樹分類器對(duì)2.4節(jié)所述的4項(xiàng)特征進(jìn)行分類，即利用平均灰度值區(qū)分高灰度ROI和低灰度ROI；利用BP神經(jīng)網(wǎng)絡(luò)對(duì)低灰度ROI進(jìn)行訓(xùn)練并分為正面缺損和印染缺陷兩類；利用最近鄰分類法對(duì)露白膠和側(cè)面缺損進(jìn)行分類。表1為決策樹分類結(jié)果。

表1　決策樹分類結(jié)果分析

從缺陷ROI識(shí)別率的角度來(lái)看，在光學(xué)平臺(tái)設(shè)置合理的情況下，缺陷ROI均被打亮，缺陷的識(shí)別率接近100％。從缺陷ROI分類正確率來(lái)看，第三個(gè)節(jié)點(diǎn)分類正確率為90.7％，其他節(jié)點(diǎn)的分類均達(dá)到了很高的準(zhǔn)確率，缺陷ROI的整體分類正確率為92.3％。

4　結(jié)論

工業(yè)機(jī)器視覺(jué)中的缺陷檢測(cè)和視覺(jué)定位一般都是針對(duì)一致性很高的產(chǎn)品且背景單一，但是隨著自動(dòng)化程度的進(jìn)一步提高，對(duì)視覺(jué)系統(tǒng)的適應(yīng)性提出了更高的要求，需要更多優(yōu)秀的特征算子和基于機(jī)器學(xué)習(xí)的強(qiáng)分類器，以保證系統(tǒng)對(duì)復(fù)雜對(duì)象有一個(gè)更全面和智能的學(xué)習(xí)和認(rèn)識(shí)。在本系統(tǒng)設(shè)計(jì)中，一開(kāi)始用SWT分割文字，丟失了缺陷區(qū)域的很多邊緣信息，而這些邊緣信息是人眼視覺(jué)發(fā)現(xiàn)缺陷的重要特征，問(wèn)題是這些邊緣信息很雜亂，不同缺陷邊緣還可能互相交錯(cuò)，提取難度較大，對(duì)于特征提取來(lái)說(shuō)，還有很多需要深入研究的地方。

［1］STEGER C，ULRICH M，WIEDEMANN C.機(jī)器視覺(jué)算法與應(yīng)用［M］.楊少榮，吳迪靖，段德山，譯.北京：清華大學(xué)出版社，2008.

［2］EPSHTEIN B，OFEK E，WEXLER Y.Detecting text in natural scenes withstroke widthtransform［C］.CVPR，2010：2963-2970.

［3］張國(guó)翊，胡錚，徐婷.基于特征提取的缺陷圖像分類方法［J］.北京工業(yè)大學(xué)學(xué)報(bào)，2010（4）：450-457.

［4］王新紅，王晶，田敏，等.基于空間邊緣方向直方圖的Mean Shift跟蹤算法 ［J］.中國(guó)圖象圖形學(xué)報(bào)，2008，13 （3）：586-592.

［5］OJALAT，PIETIKAéNENM.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns［J］.IEEE Transaction on Pattern Analysis and Machine Intelligence，2002，24（7）：971-987.

［6］Zhao Guoying.Rotation-invariant image and video description with local binary pattern features［J］.IEEE Transaction on Image Process，2012，21（4）：1465-1477.

［7］Guo Zhenhua，Zhang Lei，ZHANG D.A completed modeling of local binary pattern operator for texture classification ［J］.IEEETransactions on Image Process，2010，19（6）：1657-1663.

［8］潘琛，杜培軍，張海榮.決策樹分類法及其在遙感圖像處理中的應(yīng)用［J］.測(cè)繪科學(xué)，2008（1）：208-211.

The design on surface defects detection system of cylindrical diode based on decision tree learning

Guo Chaowei，Zhang Zhongwei
（College of Information Science and Technology，Donghua University，Shanghai 201620，China）

The research object is cylindrical diode，and tube surface is printed with white text and polar ring.This paper designs the optical platform based on optical principle which can weaken reflection of light and lit the side of cylindrical diode.Meanwhile，it describes the design process of visual software system from the object segmentation，feature extraction and decision tree classifier.For the case of mixture of text and defects，it segments the text area with the stroke width transform（SWT），then the remaining connected ROI is defective ROI.For the defect characteristics，the four eigenvalues including average gray，compactness，edge direction histogram and LBP are introduced.Finally，it classifies the defective ROI through the decision tree classifier，the recognition rate of defective ROI is close to 100％and the classification accuracy rate of defective ROI reacheds 92.3％，which is a good results of identification and classification.

machine vision；stroke width transform（SWT）；local binary patterns（LBP）；decision tree learning classifier

TP751.1

A

1674-7720（2015）06-0039-03

2014-10-28）

郭朝偉（1986-），男，碩士，主要研究方向：機(jī)器視覺(jué)與機(jī)器人控制。

東華大學(xué)研究生學(xué)位論文創(chuàng)新項(xiàng)目基金（ 104 -06 -0019024 ）

張中煒（1957-），男，高級(jí)工程師，主要研究方向：工業(yè)過(guò)程控制自動(dòng)化領(lǐng)域的研究和工程實(shí)施，以及檢測(cè)與控制儀器儀表的產(chǎn)品研發(fā)。