邱光應(yīng) - 彭桂蘭 - 陶 丹 王崢榮 -

(西南大學(xué)工程技術(shù)學(xué)院，重慶 400716) (College of Engineering and Technology, Southwest University, Chongqing 400716, China)

基于決策樹支持向量機的蘋果表面缺陷識別

邱光應(yīng)QIUGuang-ying彭桂蘭PENGGui-lan陶 丹TAODan王崢榮WANGZheng-rong

(西南大學(xué)工程技術(shù)學(xué)院，重慶 400716) (CollegeofEngineeringandTechnology,SouthwestUniversity,Chongqing400716,China)

在基于機器視覺蘋果缺陷識別過程中，因果梗/花萼與缺陷表皮顏色相似，極大地降低蘋果表面缺陷識別準(zhǔn)確率，提出一種基于決策樹支持向量機(DT-SVM)的蘋果表面缺陷識別方法。該方法首先采用單閾值法去除背景，其次在R通道中利用Otsu法和連通域標(biāo)記法提取目標(biāo)區(qū)域(果梗、花萼和缺陷)的顏色、紋理和形狀特征，最后利用決策樹支持向量機進(jìn)行識別。以600幅富士蘋果圖像為例，使用該方法進(jìn)行缺陷識別，結(jié)果表明該方法的平均準(zhǔn)確率為97.7%。與1-V-1 多分類支持向量機(1-V-1 SVM)和AdaBoost分類算法相比，DT-SVM方法正確率高、耗時短。說明決策樹支持向量機對蘋果表面缺陷識別十分有效。

蘋果；表面缺陷；識別；果梗/花萼；決策樹支持向量機(DT-SVM)

中國蘋果種植面積和產(chǎn)量居世界首位，因蟲蛀和采摘過程中的損傷，采摘下來的蘋果不可避免地存在缺陷。蘋果采摘后及時分類成為一個急需解決的問題[1]。目前，主要是利用人工的方法進(jìn)行分類，需要耗費大量的勞動力，且長時間的勞動會導(dǎo)致分類準(zhǔn)確率下降。隨著圖像技術(shù)的發(fā)展，機器視覺檢測技術(shù)已廣泛地應(yīng)用于蘋果的分級，且已取得不錯的分類效果[2-5]。但因蘋果果梗/花萼與缺陷的表皮顏色的相似性和缺陷的結(jié)構(gòu)多樣性，缺陷果的檢測仍面臨諸多挑戰(zhàn)。Kleynen等[6-8]采用多光譜技術(shù)對果梗/花萼及缺陷進(jìn)行識別，但因設(shè)備昂貴、耗時長等原因，不利于實際生產(chǎn)應(yīng)用。Cheng等[9]提出將近紅外和中紅外相機結(jié)合的方法檢測蘋果的果梗/花萼區(qū)域，缺陷果的識別正確率92%。趙娟等[10]利用3個相機來拍攝一個蘋果9個不同角度的圖像，通過對9幅蘋果圖像進(jìn)行處理，提取缺陷面積和缺陷個數(shù)來對缺陷果進(jìn)行識別，但僅根據(jù)缺陷面積大小來剔除缺陷，極易造成誤檢，分類正確率為92.5%。張弛等[11]利用基于位置變化的點陣結(jié)構(gòu)光編碼方法識別蘋果果梗/花萼，正確率為93.17%。李慶中等[12]利用分形特征提取紋理參數(shù)，然后利用人工神經(jīng)網(wǎng)絡(luò)(BP)作為模式識別器，識別正確率為93%。宋怡煥等[13]利用雙數(shù)復(fù)小波變換(DT-CWT)提取紋理特征，然后用最小二乘支持向量機(LS-SVM)對其進(jìn)行識別，分類正確率為95.6%。Dong Zhang等[14]使用Evolutionary-Constructed(ECO)特征對蘋果表面缺陷進(jìn)行識別，分類正確率為94%。張保華等[15]提取果梗/花萼的顏色、紋理、形狀等特征，利用AdaBoot進(jìn)行分類，分類準(zhǔn)確率為95.7%。D.Uay等[16]通過提取蘋果的統(tǒng)計特征、紋理特征、外形特征等，比較LDC、K-NN、fuzzy K-NN、AdaBoost、SVM分類器的優(yōu)劣，結(jié)果表明SVM識別效果最好。

上述文獻(xiàn)表明，通過提取目標(biāo)區(qū)域特征，利用分類器進(jìn)行識別的方法能有效地識別果梗、花萼和缺陷且識別率高。但由于大多缺陷果存在多個缺陷，紋理特征提取運算量大，如果全部提取將勢必造成運算時間長，不利于在線快速檢測。決策樹是運用于分類的一種樹結(jié)構(gòu)，屬于監(jiān)督學(xué)習(xí)分類方法，決策樹一般構(gòu)造單層或多層樹結(jié)構(gòu)，對數(shù)據(jù)做邏輯運算，易于實現(xiàn)且分類效率高。與支持向量機相結(jié)合，可以提高分類準(zhǔn)確率且縮短處理時間[17]。

本研究提出一種基于決策樹和SVM相結(jié)合的蘋果表面缺陷快速檢測方法。通過觀察正常蘋果圖像可知，果梗與花萼不會同時出現(xiàn)在一幅圖像中，即正常果圖像的目標(biāo)區(qū)域(果梗、花萼、缺陷)不會>1，根據(jù)此特征，利用決策樹對蘋果圖像進(jìn)行粗分類，可分類出目標(biāo)區(qū)域個數(shù)>1的缺陷果圖像，然后提取剩下待測果圖像中單個目標(biāo)區(qū)域的顏色、紋理及形狀特征，利用SVM分類器對目標(biāo)區(qū)域進(jìn)行識別，以識別出缺陷果圖像。

1 材料與方法

1.1 試驗材料

試驗材料為農(nóng)貿(mào)市場購買的富士蘋果120個，其中40個正常果，其余為缺陷果。表面缺陷包括疤痕、腐爛、蟲咬、裂傷等。試驗前，將蘋果樣本用清水清洗干凈，然后將水漬擦干。

1.2 基于機器視覺蘋果圖像采集系統(tǒng)

蘋果圖像機器視覺采集系統(tǒng)示意圖見圖1。其主要由計算機、彩色CCD相機、鏡頭、LED光源和傳送機構(gòu)組成。為了防止外界光源的干擾，整個圖像采集設(shè)備放置在一個密閉的暗箱里。采集圖像時，將蘋果放置在傳送滾輪上，為了獲取完整的蘋果表面圖像，對每個蘋果分別拍攝5個不同角度的圖像，共采集蘋果圖像600幅。采集后的蘋果圖像用計算機進(jìn)行處理。每種類型的蘋果圖像及數(shù)量見圖2和表1。

1.3 蘋果圖像背景去除及目標(biāo)區(qū)域提取

由于蘋果圖像是在黑色的背景下拍攝，因此采用單閾值法去除背景。在單閾值去除背景過程中，會去除一些包括果梗、花萼及缺陷等低光度區(qū)域，采用孔洞填充獲得蘋果圖像邊緣，然后利用所得的掩模模板去除背景。目標(biāo)區(qū)域提取工作主要參見文獻(xiàn)[8]和[18]，首先，在R通道中采用Otsu法分割目標(biāo)區(qū)域，分割后的圖像中存在一些由噪聲引起的小點，采用形態(tài)學(xué)方法消除這些噪聲點，分割出來的目標(biāo)區(qū)域中存在一些孔洞，采用孔洞填充法填充，最后利用連通域標(biāo)記法標(biāo)記這些目標(biāo)區(qū)域[19]。

圖1 蘋果圖像采集系統(tǒng)示意圖Figure 1 Schematic diagram of image acquisition device表1 蘋果圖像類型及數(shù)量表Table 1 Types and numbers of apple images

蘋果類型蘋果圖像數(shù)/幅僅含健康果皮40僅含果梗的正常果106僅含花萼的正常果124僅含1個缺陷的蘋果80含有果梗和缺陷的蘋果134含有花萼和缺陷的蘋果116合計600

圖2 蘋果圖像Figure 2 Apple images

1.4 目標(biāo)區(qū)域特征提取

1.4.1 顏色特征提取 顏色特征是一種重要的視覺特征，對圖像的尺度、方向、視角等變化不敏感，具有很高的穩(wěn)定性。對獲取到的蘋果圖像提取反映目標(biāo)區(qū)域顏色分布的顏色矩。由于顏色分布信息主要集中在低階矩中，因此本試驗只需采用顏色的一階矩(均值μi)、二階矩(方差σi)、三階矩(斜度si)來表達(dá)圖像的顏色分布[20]。計算公式：

(1)

(2)

(3)

式中：

hij——第i個顏色通道中第j個像素的值；

n——像素個數(shù)。

1.4.2 紋理特征 基于灰度共生矩陣(gray level co-occurrence matrix，GLCM)的紋理特征提取是最具代表性的紋理分析方式[21]。在試驗中距離d選擇1，方向θ一般取0°，45°，90°，135°。分別計算4個方向的紋理特征值，然后以所有方向特征值的均值作為最終的紋理特征向量。由于灰度共生矩陣計算量比較大，在統(tǒng)計共生矩陣前，為了減輕計算機的運算量，將輸入圖像的每個像素由256個灰度級重新量化為16個灰度級。選擇比較常用且被認(rèn)為分類效果較好的4個紋理特征[22]：角二階矩ASM(angular second)、熵ENT(entropy)、對比度CON(contrast)、局部平穩(wěn)IDM(inverse difference moment)。計算公式：

(4)

(5)

(6)

(7)

式中：

p(i,j)——灰度共生矩陣的第i行、第j列的元素；

L——灰度級數(shù)。

1.4.3 形狀特征 形狀特征主要包括兩類：基于輪廓的形狀描述和基于區(qū)域的形狀描述。經(jīng)典的形狀特征描述方法有形狀特征法、傅里葉形狀描述符法、幾何參數(shù)法、形狀不變矩法等。由于幾何參數(shù)法的提取簡單且能有效代表區(qū)域特征，因此選取幾何參數(shù)中的面積(S)、周長(P)及圓形度(C)3個特征[23-24]。計算公式：

S=N，

(8)

P=NP，

(9)

(10)

式中：

N——目標(biāo)區(qū)域內(nèi)部像素點的數(shù)量；

NP——目標(biāo)區(qū)域邊緣像素點的數(shù)量。

1.5 基于決策樹SVM分離器的目標(biāo)區(qū)域識別

1.5.1 決策樹支持向量機(Decision Tree SVM，DT-SVM)

支持向量機(SVM)是V.Vapnik等于1995年提出的一種基于統(tǒng)計學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險最小原理基礎(chǔ)上的機器學(xué)習(xí)方法，它在解決小樣本、非線性與高維模式識別時很有優(yōu)勢，并且對于特征相關(guān)性和稀疏性不敏感[25-27]。然而，SVM是針對兩類分類問題提出的，目前SVM解決多類分類的方法可分為兩大類：整體法和分解法。整體法是在所有訓(xùn)練樣本上一次性求解一個大的二次規(guī)劃問題，同時將多類分開。這種方法思路雖然簡單，但求解最優(yōu)化問題的過程中使用的變量非常多，計算復(fù)雜度高而不適用。分解法主要是對多個兩類問題進(jìn)行多類分類，主要有：一對多法(one-Versus-Rest SVMs，1-V-R SVMs)、一對一法(one-Versus-One SVMs，1-V-1 SVMs)和決策樹SVM(Decision Tree SVM，DT-SVM)[28-29]。決策樹SVM的思路為從根節(jié)點開始，將全體樣本分類為2個子類，然后進(jìn)一步分成4個子類，以此類推，最終得到一個倒立的樹。該方法實際上是將支持向量機與決策樹相結(jié)合而形成的，它具有層次結(jié)構(gòu)、速度快的特點。對于N類問題，DT-SVM只需N-1個分類器，并且該方法不存在不可識別域，分類時也不需要遍歷所有的分類器。大量研究和試驗[30-31]表明，DT-SVM是目前用SVM解決多分類方法中最優(yōu)的一種，因此本文選用DT-SVM。

1.5.2 DT-SVM中決策樹的設(shè)計 DT-SVM的核心是構(gòu)造一棵合適的決策樹二叉樹，DT-SVM分類時，不需要完整地計算所有分類器的判別函數(shù)，并且上層節(jié)點處的分類器性能對整個模型的穩(wěn)定性影響很大。因此DT-SVM自上而下分類難度應(yīng)由易到難，根據(jù)這一原則，設(shè)計DT-SVM構(gòu)造流程：

步驟1：由于在一幅正常果圖像中，果梗和花萼不會同時出現(xiàn)，正常果的目標(biāo)區(qū)域不會超過1，因此根據(jù)目標(biāo)區(qū)域個數(shù)分類是最明確的。如果目標(biāo)區(qū)域個數(shù)>1，可以確定該蘋果為缺陷果，無需進(jìn)行下一步分類。如果目標(biāo)區(qū)域個數(shù)=1，則進(jìn)行下一步分類。如果目標(biāo)區(qū)域=0，則為正常果圖像。

步驟2：在果梗、花萼和缺陷的識別中，根據(jù)試驗得到，花萼相對果梗、缺陷特征較穩(wěn)定，識別正確率高，因此步驟2先分類出含花萼的正常果圖像。

步驟3：最后分類出含果梗的正常果圖像和缺陷果圖像。

基于決策樹SVM的缺陷蘋果識別流程圖見圖3。

2 結(jié)果與分析

2.1 目標(biāo)區(qū)域的提取

在蘋果圖像的R通道利用Otsu法和區(qū)域標(biāo)記法分割目標(biāo)區(qū)域，見圖4。圖4中分別分割出了1個花萼區(qū)域、7個缺陷區(qū)域和1個果梗區(qū)域、1個缺陷區(qū)域?？梢钥闯龉?、花萼和缺陷被完整地分割出來，說明該方法能有效地分割出目標(biāo)區(qū)域。

2.2 特征的提取

以圖4為例(尺寸為512像素×512像素)，對分離出來的果梗、花萼和缺陷目標(biāo)區(qū)域進(jìn)行特征提取，每個目標(biāo)區(qū)域基于顏色矩提取了R通道中的3個顏色特征，基于灰度共生矩陣提取了4個紋理特征，基于形狀特征提取3個特征，組成10維特征向量，見表2。

圖3 算法流程圖Figure 3 Flowchart of the algorithm

圖4 目標(biāo)區(qū)域的提取Figure 4 Examples of object segmentation

2.3 DT-SVM分類

考慮到每個維特征的量綱不同，取值范圍變化較大，因此在分類前對所有特征進(jìn)行歸一化處理。SVM核函數(shù)選擇徑向基(RBF)核函數(shù)。利用分類器對蘋果圖像進(jìn)行分類，結(jié)果見表3。

由表3可知，僅含健康果皮的蘋果圖像、含有果梗和缺陷的蘋果圖像、含有花萼和缺陷的蘋果圖像平均正確率為100%，平均耗時為200 ms左右。含健康果皮的蘋果圖像目標(biāo)區(qū)域為0，含有果梗和缺陷的蘋果圖像目標(biāo)區(qū)域>1，含花萼和缺陷的蘋果圖像目標(biāo)區(qū)域>1，決策樹DT根據(jù)目標(biāo)區(qū)域個數(shù)是否>1能快速將上述3種蘋果圖像分類。它們的平均耗時比僅含果梗的蘋果圖像、僅含花萼的圖像、僅含1個缺陷的圖像少，這是因為它們采用決策樹分類器無需進(jìn)行目標(biāo)區(qū)域特征的提取，且結(jié)合了SVM分類器，減少了運行時間。

表2 目標(biāo)區(qū)域特征表Table 2 The features of object regions

表4為分別采用DT-SVM方法、LibSVM工具箱中的1-V-1 SVM和AdaBoost算法對蘋果圖像處理結(jié)果。表中，決策樹分類器的正確率為100%，平均耗時為58 ms，平均正確率為98.2%，平均耗時為346 ms。與1-V-1 SVM和AdaBoost相比，DT-SVM的分類準(zhǔn)確率更高且耗時更短，說明DT-SVM對缺陷蘋果圖像識別十分有效。

表3 DT-SVM 分類識別率Table 3 Classification accuracy of DT-SVM

表4 3種方法分類結(jié)果Table 4 Recognition results of the three methods

3 結(jié)論

(1) 針對基于機器視覺蘋果缺陷識別過程中存在的問題，本試驗提出一種基于決策樹支持向量機的蘋果表面缺陷識別方法。通過提取目標(biāo)區(qū)域的顏色、紋理和形狀特征，然后用決策樹支持向量機進(jìn)行識別。試驗結(jié)果表明，平均正確率為98.2%，平均耗時為346 ms。說明該方法在缺陷蘋果識別中十分有效。

(2) 在缺陷果的圖像中，存在多個目標(biāo)區(qū)域，采用決策樹分類出目標(biāo)區(qū)域>1的缺陷果，避免了對缺陷果多個目標(biāo)區(qū)域的識別，大大地減少了運算時間。

(3) 本試驗只是針對蘋果表面缺陷進(jìn)行判斷，并未對缺陷作進(jìn)一步分類，這將是今后研究的一個方向。

[1] 郭志明. 基于近紅外光譜及成像的蘋果品質(zhì)無損檢測方法和裝置研究[D]. 北京: 中國農(nóng)業(yè)大學(xué), 2015: 1-3.

[2] LEE D J, ARCHIBALD J K, XIONG Guang-ming. Rapid Color Grading for Fruit Quality Evaluation Using Direct Color Mapping[J]. Automation Science & Engineering IEEE Transactions On, 2011, 8(2): 292-302.

[3] MIZUSHIMA A, LU Ren-fu. An image segmentation method for apple sorting and grading using support vector machine and Otsu’s method[J]. Computers & Electronics in Agriculture, 2013, 94(94): 29-37.

[4] LEEMANS V, DESTAINM F. A real-time grading method of apples based on features extracted from defects[J]. Journal of Food Engineering, 2004, 61(1): 83-89.

[5] 籍保平, 吳文才. 計算機視覺蘋果分級系統(tǒng)[J]. 農(nóng)業(yè)機械學(xué)報, 2000, 31(6): 118-121.

[6] KLEYNEN O, LEEMANS V, DESTAINM F. Development of a multi-spectral vision system for the detection of defects on apples[J]. Journal of Food Engineering, 2005, 69(1): 41-49.

[7] XING Juan, JANCSOK P, JDE B. Stem-end/Calyx Identifica-tion on Apples using Contour Analysis in Multispectral Images[J]. Biosystems Engineering, 2007, 96(2): 231-237.

[8] UNAY D, GOSSELIN B, DESTAINM F, et al. Automatic grading of Bi-colored apples by multispectral machine vision[J]. Computers & Electronics in Agriculture, 2011, 75(1): 204-212.

[9] CHENG Xue-mei. NIR/MIR dual-sensor machine vision system for online apple stem-end/calyx recognition [J]. Transactions of the Asae, 2003, 46(2): 551-558.

[10] 趙娟, 彭彥昆, SAGAR Dhakal, 等. 基于機器視覺的蘋果外觀缺陷在線檢測[J]. 農(nóng)業(yè)機械學(xué)報, 2013, 44(S1): 260-263.

[11] 張馳, 陳立平, 黃文倩, 等. 基于編碼點陣結(jié)構(gòu)光的蘋果果梗/花萼在線識別[J]. 農(nóng)業(yè)機械學(xué)報, 2015, 46(7): 1-9.

[12] 李慶中, 汪懋華. 基于分形特征的水果缺陷快速識別方法[J]. 中國圖象圖形學(xué)報, 2000, 15(2): 144-148.

[13] 宋怡煥, 饒秀勤, 應(yīng)義斌. 基于DT-CWT和LS-SVM的蘋果果梗/花萼和缺陷識別[J]. 農(nóng)業(yè)工程學(xué)報, 2012, 28(9): 114-118.

[14] ZHANG Dong, LILLYWHITE K D, LEE D J, et al. Automated apple stem end and calyx detection using evolution-constructed features[J]. Journal of Food Engineering, 2014, 119(3): 411-418.

[15] 張保華, 黃文倩, 李江波, 等. 基于亮度校正和AdaBoost的蘋果缺陷在線識別[J]. 農(nóng)業(yè)機械學(xué)報, 2014, 45(6): 221-226.

[16] UNAY D, GOSSELIN B. Stem and calyx recognition on ‘Jonagold’ apples by pattern recognition [J]. Journal of Food Engineering, 2007, 78(2): 597-605.

[17] 謝徵, 田建艷, 王芳, 等. 基于幾何參數(shù)特征與決策樹支持向量機的豬只姿態(tài)分類[J]. 黑龍江畜牧獸醫(yī), 2015, 19(10): 21-25.

[18] 劉佳男. 基于機器視覺的水果表面缺陷識別方法的研究[D]. 無錫: 江南大學(xué), 2012: 43-54.

[19] 岡薩雷斯. 數(shù)字圖像處理的MATLAB實現(xiàn)[M]. 北京: 清華大學(xué)出版社, 2013: 412-415.

[20] 郭永豪. 蘋果圖像特征提取與分類算法的研究與應(yīng)用[D]. 重慶: 重慶大學(xué), 2010: 6-18.

[21] 郭依正, 朱偉興, 馬長華, 等. 基于Isomap和支持向量機算法的俯視群養(yǎng)豬個體識別[J]. 農(nóng)業(yè)工程學(xué)報, 2016, 32(3): 182-187.

[22] 宋怡煥. 蘋果果梗/花萼與缺陷的紋理特征識別方法[D]. 浙江: 浙江大學(xué), 2012: 16-38.

[23] 侯文軍. 基于機器視覺的蘋果自動分級方法研究[D]. 南京: 南京林業(yè)大學(xué), 2006: 26-32.

[24] 劉靜, 黃勇平, 章程輝. 視覺系統(tǒng)開發(fā)模塊在芒果果面缺陷檢測中的應(yīng)用[J]. 食品與機械, 2009, 25(2): 82-85.

[25] 劉洋, 王濤, 左月明. 基于支持向量機的野生蘑菇近紅外識別模型[J]. 食品與機械, 2016, 32(4): 92-94.

[26] 劉靜, 管驍, 易翠平. 近紅外光譜技術(shù)結(jié)合支持向量機對食用醋品牌溯源的研究[J]. 食品與機械, 2016, 32(1): 38-40.

[27] 施冬艷. 基于GA-PSO優(yōu)化分層DT-SVM混合核的遙感圖像分類及其應(yīng)用[D]. 南京: 南京郵電大學(xué), 2014: 41-46.

[28] 厲小潤, 趙光宙, 趙遼英. 決策樹支持向量機多分類器設(shè)計的向量投影法[J]. 控制與決策, 2008, 23(7): 745-750.

[29] 何海龍, 程明. 基于優(yōu)化SVM-DT的閥門故障診斷方法[J]. 計算機工程與設(shè)計, 2016, 37(7): 1 932-1 936.

[30] SAHBI H, GEMAN D. A Hierarchy of Support Vector Machines for Pattern Detection [J]. Journal of Machine Learning Research, 2006, 7(2): 2 087-2 123.

[31] 謝徵. 基于決策樹支持向量機的豬只姿態(tài)分類與異常行為分析[D]. 太原: 太原理工大學(xué), 2015: 36-49.

DetectiononsurfacedefectofapplesbyDT-SVMmethod

During the process of apple blemish detection based on machine vision technology, due to the color similarity between stem/calyx and blemish, which greatly decreases the accuracy in apple detection, a method was proposed based on Decision Tree-Support vector machine (DT-SVM) to solve the challenge problem. Firstly, the single threshold method is used to remove the background. Then in the R channel, Connected Component Labeling method and Otsu method were employed to extract object regions (stem, calyx, blemish)，which were used to compute the color, texture and shape features. In the end, adopted the DT-SVM method to distinguish blemishes from the stem and calyx of apple images. By conducted on 600 apple images, the average accuracy of experiments was 97.7%. Compared to 1-V-1 SVM method and AdaBoost method, the DT-SVM method had a higher accuracy and less time-consuming, which could actually validate the effectiveness of the proposed method in recognizing the blemish of the apples.

apple; surface defect detection; recognize; stem/calyx; DT-SVM

中央高?？蒲袠I(yè)務(wù)費課題(編號：XDJK2016A007)；博士啟動基金項目(編號：SWU114109)；中央高校基本科研業(yè)務(wù)費雙創(chuàng)項目(編號：XDJK2016E050)

邱光應(yīng)，男，西南大學(xué)在讀碩士研究生。

彭桂蘭(1966—)，女，西南大學(xué)教授，博士。

E-mail：pgl602@163.com

10.13652/j.issn.1003-5788.2017.09.028