楚松峰 趙鳳霞 方 雙 吳振華

(鄭州大學(xué)機(jī)械與動(dòng)力工程學(xué)院，河南 鄭州 450001)

紅棗受到外部自然環(huán)境和采收運(yùn)輸?shù)挠绊?，表面?huì)受到一定程度的損傷，產(chǎn)生黑斑、干條、破頭等缺陷，這些缺陷影響著紅棗的品質(zhì)和等級(jí)。因而，紅棗缺陷檢測(cè)是紅棗深精加工過(guò)程中的一個(gè)重要環(huán)節(jié)。隨著種植面積和產(chǎn)量的提升，單純依靠傳統(tǒng)的人工分級(jí)，工作量大、產(chǎn)能低、成本高，已經(jīng)不能滿足實(shí)際生產(chǎn)的需要。

近年來(lái)國(guó)內(nèi)外許多學(xué)者針對(duì)紅棗缺陷檢測(cè)進(jìn)行了相應(yīng)研究，且取得了一定的進(jìn)展。趙杰文等[1]以河北金絲小棗為研究對(duì)象，利用紅棗色調(diào)H的均值和方差特征，通過(guò)支持向量機(jī)對(duì)紅棗油頭、漿頭和霉?fàn)€棗進(jìn)行分類。由于提取的特征較少，只對(duì)霉?fàn)€果進(jìn)行了分類，無(wú)法對(duì)干條、鳥(niǎo)啄等缺陷進(jìn)行分類，分選的種類不足以滿足實(shí)際生產(chǎn)需要。曾窕俊等[2]對(duì)裂紋棗進(jìn)行了分類，通過(guò)幀間路徑搜索的方法獲得圖像中單個(gè)棗的位置坐標(biāo)并構(gòu)建數(shù)據(jù)集，再通過(guò)集成卷積神經(jīng)網(wǎng)絡(luò)的方式，構(gòu)建多個(gè)卷積神經(jīng)網(wǎng)絡(luò)分別進(jìn)行分類，最終根據(jù)分類結(jié)果選擇最優(yōu)解。海潮等[3]根據(jù)紅棗及其表面缺陷特征，提出在顏色空間中采用BLOB分析算法實(shí)現(xiàn)圖像的分割及紅棗缺陷的識(shí)別。該方法對(duì)干條缺陷識(shí)別率較低且速度較慢。

支持向量機(jī)(Support Vector Machine，SVM)在模式識(shí)別中有許多優(yōu)勢(shì)[4]，針對(duì)紅棗缺陷類別較多，多種多分類思想能夠?qū)t棗所有缺陷進(jìn)行同時(shí)分類。缺陷類別多也決定了必須采集較多特征來(lái)反映紅棗的整個(gè)表面信息，如何準(zhǔn)確選擇區(qū)分度較高的輸入特征是SVM研究運(yùn)用中的一個(gè)重點(diǎn)。主成分分析法[5](Principle Component Analysis，PCA)能夠?qū)μ崛〉亩嗑S特征進(jìn)行降維，找出描述原始目標(biāo)對(duì)象的特征?；谝陨戏治觯囼?yàn)擬從實(shí)際工況下采集測(cè)試集，建立PCA-SVM的紅棗缺陷檢測(cè)模型，對(duì)紅棗圖像進(jìn)行缺陷識(shí)別，能夠在實(shí)際應(yīng)用中保證高識(shí)別率的同時(shí)提高紅棗缺陷識(shí)別效率，滿足產(chǎn)能需求。

1 材料與試驗(yàn)平臺(tái)

1.1 試驗(yàn)材料

新疆若羌干制紅棗：以紅棗表面是否存在黑斑、破頭和干條缺陷進(jìn)行篩選作為研究對(duì)象。

1.2 試驗(yàn)平臺(tái)

紅棗缺陷自動(dòng)檢測(cè)系統(tǒng)實(shí)驗(yàn)臺(tái)如圖1所示，包括輸送裝置和圖像采集裝置，其中圖像采集裝置由MER-503-36U3C型工業(yè)相機(jī)、日本Computer公司M0814-MP型工業(yè)鏡頭、LED條形光源等組成。調(diào)節(jié)光圈大小為2.0，快門速度設(shè)定為0.1 s，一次采集多個(gè)紅棗進(jìn)行處理。圖2為采集的一個(gè)樣本圖像，該圖像中包括了無(wú)缺陷棗和黑斑、破頭、干條3類缺陷棗。得到圖像后，首先需要進(jìn)行背景去除，從圖像中提取出單個(gè)棗，然后對(duì)單個(gè)棗進(jìn)行特征提取、優(yōu)化及分類識(shí)別。

2 紅棗表面特征的提取及優(yōu)化

2.1 特征提取

圖像特征提取是數(shù)字圖像處理的關(guān)鍵步驟之一，關(guān)系到分類器的效率與準(zhǔn)確度[6]。常見(jiàn)的特征以屬性不同分為形狀特征、顏色特征和紋理特征，并稱為圖像的三大底層特征[7]。

通過(guò)分析紅棗各類缺陷圖像可知，形狀特征對(duì)于紅棗分類識(shí)別意義并不大，而具有平移、旋轉(zhuǎn)不變性的顏色特征和描述了圖像中灰度排列規(guī)則，能夠體現(xiàn)圖像灰度變化的紋理特征來(lái)表示紅棗表面信息較為理想。

基于顏色矩提取紅棗圖像RGB 3個(gè)顏色通道下的均值、方差顏色特征分量，共3×2個(gè)特征分量；基于灰度共生矩陣(Gray Level Co-occurrence Matrix，GLCM)計(jì)算色調(diào)H、飽和度S下的能量、對(duì)比度、相關(guān)性和熵紋理特征分量，共2×4個(gè)特征分量。即提取的特征分量總計(jì)為14個(gè)。

1.上料機(jī)構(gòu) 2.下料及排序機(jī)構(gòu) 3.鼓型輸送軸 4.上檢測(cè)機(jī)構(gòu) 5.下檢測(cè)機(jī)構(gòu) 6.分類箱 7.噴吹機(jī)構(gòu) 8.收集箱圖1 紅棗缺陷自動(dòng)檢測(cè)系統(tǒng)試驗(yàn)臺(tái)Figure 1 Jujube automatic defect detection system test bench

圖2 紅棗圖像樣本Figure 2 Jujube image samples

顏色矩是一種能夠有效表示圖像顏色分布的顏色特征[8]。包括一階矩(均值μi)、二階矩(方差σi)和三階矩(偏斜度si)，其數(shù)學(xué)定義：

(1)

(2)

(3)

式中：

μi——灰度均值；

σi——灰度方差；

si——灰度偏斜度；

N——像素個(gè)數(shù)；

Pij——第i個(gè)顏色通道中第j個(gè)像素的值。

GLCM算法由Haralick等提出來(lái)描述物品的紋理狀況，反映的是圖像灰度關(guān)于方向、相鄰間隔、變化幅度的綜合信息[9]。常用的有以下4個(gè)紋理特征：

(1) 能量：矩陣各元素的平方和。反映了圖像灰度分布均勻程度和紋理粗細(xì)程度。

(4)

式中：

f1——能量；

L——灰度級(jí)數(shù)。

(2) 對(duì)比度：矩陣主對(duì)角線附近的慣性矩。反映了圖像的清晰度和紋理溝紋的深淺。

(5)

式中：

f2——對(duì)比度。

(3) 熵：體現(xiàn)了圖像紋理的隨機(jī)性。

(6)

式中：

f3——熵。

(4) 相關(guān)性：反映了圖像局部灰度相關(guān)性。

(7)

式中：

f4——相關(guān)性；

P(i,j)——灰度共生矩陣的第i行、第j列的元素。

2.2 特征優(yōu)化

在提取紅棗特征時(shí)，盡可能多地提取了不同空間下的顏色和紋理特征，以期提高分類器的識(shí)別率，但這些特征會(huì)存在一定的信息交叉，同時(shí)特征數(shù)量過(guò)多，加重分類器設(shè)計(jì)時(shí)的復(fù)雜性，影響分類器的性能。

采用PCA算法對(duì)提取的14維顏色和紋理特征進(jìn)行優(yōu)化降維[10]，選取能夠有效描述原始目標(biāo)對(duì)象的特征，在保證高識(shí)別率的前提下，提高缺陷識(shí)別效率。具體過(guò)程：

(1) 初始指標(biāo)數(shù)據(jù)的標(biāo)準(zhǔn)化：采集樣本，構(gòu)造樣本陣，對(duì)樣本陣元進(jìn)行標(biāo)準(zhǔn)化變換：

(8)

式中：

Z——標(biāo)準(zhǔn)化矩陣；

n——樣本個(gè)數(shù)；

Xij——第i個(gè)樣本的第j維特征。

得到標(biāo)準(zhǔn)化矩陣Z。

(2) 對(duì)Z求相關(guān)系數(shù)矩陣：

(9)

式中：

R——相關(guān)系數(shù)矩陣。

(3) 解樣本相關(guān)矩陣R的特征方程|R-λIP|=0得p個(gè)特征根，確定主成分。

(4) 將指標(biāo)變量轉(zhuǎn)換為主成分。

(10)

式中：

Uj——第j主成分。

(5) 對(duì)主成分進(jìn)行綜合評(píng)價(jià)：對(duì)m個(gè)主成分進(jìn)行加權(quán)求和，即得最終評(píng)價(jià)值，從預(yù)選特征中求得主成分作為新的特征代入算法，用于模型的訓(xùn)練及分類。

3 基于SVM的缺陷識(shí)別

以支持向量機(jī)作為分類模型，將優(yōu)化降維后的特征作為支持向量機(jī)輸入特征。高斯核函數(shù)是一種對(duì)應(yīng)非線性映射的核函數(shù)，可以處理非線性可分問(wèn)題，因此采用高斯核函數(shù)、最優(yōu)核函數(shù)參數(shù)g以及懲罰系數(shù)c對(duì)模型進(jìn)行訓(xùn)練，用訓(xùn)練后的模型對(duì)紅棗進(jìn)行缺陷識(shí)別，提高缺陷識(shí)別準(zhǔn)確率。

3.1 支持向量機(jī)

SVM是一類按監(jiān)督學(xué)習(xí)方式對(duì)數(shù)據(jù)進(jìn)行二元分類的廣義線性分類器[11]。以學(xué)習(xí)樣本求解的最大邊距超平面為決策邊界，得到以下優(yōu)化目標(biāo)：

(11)

式中：

n——樣本個(gè)數(shù)；

i——樣本索引；

xi——訓(xùn)練樣本；

yi——樣本類別，yi∈{-1,1}；

ω、b——主問(wèn)題參數(shù)；

C——懲罰因子；

ξi——松弛變量。

針對(duì)目標(biāo)求解最優(yōu)化問(wèn)題，構(gòu)造拉格朗日函數(shù)：

(12)

式中：

λi、μi——拉格朗日乘子。

分別對(duì)主問(wèn)題參數(shù)求偏導(dǎo)，得：

(13)

將式(13)代入拉格朗日函數(shù)[式(12)]中，得到：

(14)

得到?jīng)Q策函數(shù)為：

(15)

對(duì)于樣本點(diǎn)線性不可分的情況，需要將二維線性不可分樣本映射到高維空間中[12]。映射高維空間后維度增加，加重計(jì)算的復(fù)雜度，因而引入核函數(shù)，在原始樣本映射之前計(jì)算其內(nèi)積。選取高斯核函數(shù)作為SVM核函數(shù)進(jìn)行訓(xùn)練識(shí)別，其計(jì)算公式：

(16)

式中：

‖xj-xi‖——向量間的距離；

β——給常數(shù)。

3.2 多類分類思想

紅棗缺陷識(shí)別，需要對(duì)其黑斑、破頭、干條以及正常棗同時(shí)分類，涵蓋類別較多，因而需要構(gòu)造多分類SVM，對(duì)4類棗進(jìn)行準(zhǔn)確高效的劃分。多分類SVM是在二分類模型的基礎(chǔ)上推廣到M類的分類思想[13]。針對(duì)紅棗缺陷類別較多，選用一對(duì)一法[14]進(jìn)行多分類模型的構(gòu)造。具體步驟：

對(duì)于給定含N個(gè)樣本、M個(gè)類的訓(xùn)練集X。通過(guò)找到?jīng)Q策函數(shù)y=f(x)，用于預(yù)測(cè)測(cè)試樣本的類別。對(duì)于第i類和第j類數(shù)據(jù)，訓(xùn)練一個(gè)二分類SVM求解二次規(guī)劃問(wèn)題：

(17)

式中：

K——i類和j類樣本數(shù)之和；

t——i類和j類并集中樣本的索引；

yt——樣本類別，yt∈{i,j}；

ωij、bij——主問(wèn)題參數(shù)；

C——懲罰因子；

ξtij——松弛變量；

Ф(X)——輸入空間到特征空間的非線性映射。

然后求解式(17)的對(duì)偶問(wèn)題。

(18)

式中：

xt——訓(xùn)練樣本；

xnew——待預(yù)測(cè)樣本；

K(xt,xnew)——核函數(shù)。

式(18)用于判斷數(shù)據(jù)是屬于i類還是j類。

對(duì)于新數(shù)據(jù)，采用投票策略進(jìn)行分類，每個(gè)二分類SVM都會(huì)對(duì)測(cè)試樣本進(jìn)行預(yù)測(cè)，通過(guò)預(yù)測(cè)的結(jié)果對(duì)所屬類別進(jìn)行投票，票數(shù)最多的類別即對(duì)測(cè)試樣本的決策。

3.3 交叉算法尋優(yōu)

將原始樣本分為n份，依次取每一份作為測(cè)試樣本，剩余n-1份樣本作為訓(xùn)練樣本訓(xùn)練分類器對(duì)測(cè)試樣本進(jìn)行分類，一次循環(huán)后，對(duì)于某一組給定的參數(shù)對(duì)(c，g)，共得到n個(gè)識(shí)別率，求取n個(gè)識(shí)別率的平均值，作為該參數(shù)對(duì)應(yīng)的性能指標(biāo)，當(dāng)遍歷了所有可能的參數(shù)對(duì)后，比較相鄰參數(shù)對(duì)的性能指標(biāo)，由此得到最優(yōu)懲罰系數(shù)c和核函數(shù)參數(shù)g，作為SVM的參數(shù)。

4 試驗(yàn)結(jié)果和分析

構(gòu)造支持向量機(jī)分類器，首先需要提取訓(xùn)練集的特征，作為支持向量機(jī)的輸入對(duì)模型進(jìn)行訓(xùn)練。以黑斑、破頭、干條和無(wú)缺陷棗4類干制紅棗作為試驗(yàn)對(duì)象，每類采集15個(gè)作為訓(xùn)練集樣本。圖3為無(wú)缺陷紅棗訓(xùn)練集樣本圖像。

特征提取前，對(duì)圖像進(jìn)行預(yù)處理，去除輸送帶背景，并分離出每個(gè)紅棗。首先將訓(xùn)練集樣本圖像轉(zhuǎn)換至HSV顏色空間，得到圖像的S分量圖像(如圖4所示)；對(duì)S分量圖像運(yùn)用直方圖進(jìn)行閾值分割，將背景區(qū)域與紅棗區(qū)域分割開(kāi)，然后進(jìn)行腐蝕、膨脹、填充和形態(tài)轉(zhuǎn)化等處理，消除背景干擾；最后進(jìn)行連通域分析和特征提取，得到去除輸送帶背景的紅棗區(qū)域圖像，如圖5所示。

分離得到每個(gè)紅棗區(qū)域后，對(duì)紅棗進(jìn)行特征提取。按2.1所述，分別基于顏色矩和灰度共生矩陣提取RGB 3個(gè)顏色通道下的均值、方差共6個(gè)顏色特征分量；色調(diào)H、飽和度S下的能量、對(duì)比度、相關(guān)性和熵共8個(gè)紋理特征分量，總計(jì)14個(gè)特征。

為了在14個(gè)原始特征集中初步確定能夠保持樣本分類能力的特征子集，對(duì)訓(xùn)練集樣本分別提取4類紅棗在每一維特征下的特征值，得到每個(gè)特征下每一類紅棗的特征值范圍，并進(jìn)行排列，結(jié)果如圖6所示。在同一特征下，假設(shè)A類棗的特征值范圍和其他類棗的特征值范圍沒(méi)有重疊，說(shuō)明該特征對(duì)于A類棗具有較好的區(qū)分度，將其選為支持向量機(jī)的輸入特征。由圖6可知：圖像R通道下的均值和方差特征，色度H分量下的能量、熵和對(duì)比度特征；飽和度S分量下的能量、相關(guān)性和對(duì)比度特征，共有8個(gè)特征組成了最優(yōu)特征子集X。

圖3 無(wú)缺陷紅棗訓(xùn)練集樣本圖像Figure 3 Sample image of the defect-free jujube training set

圖4 HSV空間內(nèi)的S分量圖像Figure 4 S-component image in HSV space

圖5 去除背景后的紅棗區(qū)域圖像Figure 5 The complete jujube region image without background

運(yùn)用SPSS軟件對(duì)紅棗特征子集X進(jìn)行PCA分析，計(jì)算結(jié)果如圖7所示。由圖7可以看出，P=4時(shí)，特征值對(duì)應(yīng)的累計(jì)貢獻(xiàn)率已達(dá)93.26%，能夠代表原始數(shù)據(jù)具有的信息。因此，取前4個(gè)主成分組成向量Y作為紅棗圖像的特征向量代替原特征向量X，作為支持向量機(jī)的輸入特征。

利用PCA對(duì)訓(xùn)練集樣本特征矩陣降維處理后，得到了4個(gè)主成分，將其轉(zhuǎn)化為PC4數(shù)組矩陣，歸一化處理后作為支持向量機(jī)的輸入。支持向量機(jī)內(nèi)核選用高斯核函數(shù)，分類方法選用一對(duì)一法，懲罰參數(shù)c=0.05，核函數(shù)參數(shù)g=0.05作為支持向量機(jī)模型參數(shù)對(duì)測(cè)試集進(jìn)行識(shí)別。

測(cè)試集：無(wú)缺陷棗90個(gè)，黑斑、破頭和干條棗各30個(gè)，共180個(gè)測(cè)試樣本混合后，放置于試驗(yàn)臺(tái)中，在同一環(huán)境下采集5幅圖像，每幅圖像包含36個(gè)棗，得到的測(cè)試結(jié)果見(jiàn)表1。圖8為對(duì)一幅紅棗圖像樣本缺陷識(shí)別的結(jié)果。

由表1可以看出，運(yùn)用PCA對(duì)提取到的紅棗表面特征進(jìn)行優(yōu)化處理，將降維后的特征矩陣應(yīng)用到支持向量機(jī)分類器的訓(xùn)練中，通過(guò)調(diào)整支持向量機(jī)各項(xiàng)參數(shù)，能夠得到綜合識(shí)別率為97.2%的分類結(jié)果。其中，破頭棗和干條棗的識(shí)別率較高，可以達(dá)到100.0%和96.6%。與文獻(xiàn)[3]提出的采用BLOB分析算法進(jìn)行紅棗缺陷識(shí)別得到的破頭棗準(zhǔn)確率98.3%、黑斑棗準(zhǔn)確率92.5%相比，文中提出的方法缺陷識(shí)別準(zhǔn)確度高，同時(shí)對(duì)目前現(xiàn)有文獻(xiàn)鮮有研究的紅棗干條缺陷進(jìn)行了研究。

1、2、3、4分別表示色度H分量下的對(duì)比度、熵、能量和相關(guān)性；5、6、7、8分別表示飽和度S分量下的對(duì)比度、熵、能量和相關(guān)性；9、10、11、12、13、14分別表示RGB三通道下的方差和均值圖6 4類紅棗不同特征的對(duì)比圖Figure 6 Comparison chart of different characteristics of four types of red dates

圖7 貢獻(xiàn)率與累計(jì)貢獻(xiàn)率圖Figure 7 Contribution rate and cumulative contribution rate graph

表1 PC=4的SVM模型測(cè)試集識(shí)別結(jié)果Table 1 PC=4 SVM model test set recognition result

圖8 缺陷識(shí)別結(jié)果圖Figure 8 Defect recognition result image

在缺陷識(shí)別效率方面，采用PCA進(jìn)行了特征降維處理，減輕了分類器的計(jì)算復(fù)雜度，縮短了缺陷識(shí)別時(shí)間，平均一個(gè)棗識(shí)別用時(shí)15 ms(運(yùn)行環(huán)境是Intel酷睿i5 8G處理器的計(jì)算機(jī)硬件平臺(tái))。

由表1可知，該模型對(duì)黑斑棗的識(shí)別率只有93.3%，其主要原因是由光照導(dǎo)致處于邊緣部位的紅棗顏色較深，黑斑棗表面的黑色病害區(qū)域不明顯，從而產(chǎn)生一定的誤差，后續(xù)將從光源的布置等方面對(duì)其采集裝置進(jìn)行改進(jìn)。

5 結(jié)束語(yǔ)

為了提高紅棗缺陷識(shí)別的準(zhǔn)確率和效率，提出了一種基于PCA與SVM的紅棗缺陷分類方法，利用PCA來(lái)對(duì)多維特征矩陣進(jìn)行優(yōu)化降維以獲取低維特征矩陣。然后通過(guò)將降維后的優(yōu)化特征矩陣應(yīng)用于SVM分類器來(lái)實(shí)現(xiàn)對(duì)紅棗4類缺陷的分類訓(xùn)練。結(jié)果表明，通過(guò)運(yùn)用PCA對(duì)SVM輸入特征進(jìn)行優(yōu)化處理，能夠在保證紅棗缺陷識(shí)別準(zhǔn)確率高的同時(shí)，提高模型識(shí)別效率。但模型對(duì)黑斑棗的識(shí)別率較低，后續(xù)將針對(duì)黑斑缺陷對(duì)圖像采集裝置和算法模型進(jìn)行優(yōu)化改進(jìn)。