汪天宇 曹成茂 謝承健 李 正

(安徽農(nóng)業(yè)大學(xué)工學(xué)院，安徽 合肥 230036)

山核桃屬胡桃科植物，呈橢球狀，其果殼為淡褐色，果仁表皮為深褐或暗紅色，內(nèi)有多個(gè)分隔，屬于含隔堅(jiān)果類。山核桃仁富含營養(yǎng)且口感風(fēng)味獨(dú)特，深受消費(fèi)者的喜愛[1-3]。由于山核桃果殼硬且厚，食用不便，因此有進(jìn)一步深加工的必要性。其深加工需要將破殼后的混合物料進(jìn)行殼仁分選。破殼后的山核桃有各種不同形態(tài)的分離物，包括破碎的外殼、內(nèi)隔、核桃仁等，且殼仁形狀差別不規(guī)律、質(zhì)量不均勻，很難通過風(fēng)選機(jī)等除雜篩選機(jī)械進(jìn)行正確的篩分[2]。

國內(nèi)外專家在物料的分選和色選方面進(jìn)行了大量的研究[4-6]，如Justus[7]曾使用機(jī)器視覺同時(shí)識(shí)別榛子和杏仁等堅(jiān)果在紫外線范圍內(nèi)發(fā)霉的顆粒，并識(shí)別果仁表面的顏色缺陷以獲取品質(zhì)較高的果仁，此類研究中多是應(yīng)用于研究對(duì)象的分級(jí)，而將研究色選與圖像處理技術(shù)應(yīng)用于堅(jiān)果殼仁的分選中則非常少見。采用圖像特征識(shí)別技術(shù)分選堅(jiān)果的殼與仁的主要技術(shù)難點(diǎn)在于：果仁的表皮和外殼顏色特征差異性較小，尤其是山核桃等含隔堅(jiān)果類，其內(nèi)部分隔顏色與果仁表皮相近，難以通過僅選定某種色彩模型并設(shè)定色彩閾值的方式進(jìn)行分類識(shí)別。

本試驗(yàn)擬在研究山核桃殼仁分選的過程中同時(shí)利用顏色和紋理特征作為分選的物理指標(biāo)，基于Labview虛擬儀器技術(shù)并結(jié)合應(yīng)用模糊C-均值聚類算法，設(shè)計(jì)一種用于從山核桃殼仁混合物料中篩選出核桃仁的分選系統(tǒng)。該研究用于驗(yàn)證計(jì)算機(jī)視覺技術(shù)應(yīng)用于含隔堅(jiān)果分選的可行性，對(duì)提高山核桃等堅(jiān)果深加工生產(chǎn)的效率具有重要的意義。

1 山核桃的顏色紋理特征分析與提取

1.1 圖像的預(yù)處理

在分析山核桃顏色特征后，發(fā)現(xiàn)山核桃外殼與內(nèi)隔、核桃仁的顏色區(qū)別較大，分離物表面紋理排布具有一定的規(guī)律且差異性較大。各分離物形態(tài)如圖1所示，核桃仁種皮的顏色與內(nèi)隔(包括殼的內(nèi)壁部分)的顏色具有相似性，色域存在一定區(qū)域的重疊，很難通過傳統(tǒng)的閾值分割對(duì)目標(biāo)進(jìn)行正確的識(shí)別，因此有必要結(jié)合其紋理特征應(yīng)用模糊聚類算法對(duì)其進(jìn)行有效分類[8-10]。初步選用計(jì)算機(jī)視覺領(lǐng)域應(yīng)用較廣的HSV顏色模式下的色調(diào)(H)、飽和度(S)、明度(V)和表面紋理的灰度共生矩陣的特征量能量(A)、熵(E)、慣性矩(M)、相關(guān)度(R)[11-12]共同描述目標(biāo)的視覺特征，其中H/S/V特征值的論域范圍為[0，255]，預(yù)選的7種特征能夠表達(dá)物體顏色和紋理的基本信息。

圖1 山核桃各分離物

考慮到山核桃破殼后各分離物的顏色特征具有復(fù)雜性，提取山核桃的顏色特征需要復(fù)雜的流程處理，具體工作流程見圖2[13]。由于各顏色分量中偶爾會(huì)有小波段的高頻噪聲出現(xiàn)，預(yù)先對(duì)圖像的各像素通道進(jìn)行均值濾波處理以有效消除噪聲影響。針對(duì)核桃仁的顏色特征，必須考慮到核桃仁形態(tài)的不完整性，即大概率出現(xiàn)局部裸仁的現(xiàn)象。裸仁的顏色接近乳白色，與目標(biāo)分類對(duì)象特征具有很大的區(qū)別，在圖像處理中可以同化為背景處理，降低研究對(duì)象的復(fù)雜性[14]，系統(tǒng)設(shè)計(jì)中采用閾值分割分離背景以消除其對(duì)目標(biāo)特征的影響。預(yù)處理后的圖像包含了較為完整的對(duì)象特征信息，此時(shí)提取顏色特征信息輸出參數(shù)數(shù)值，完成基本處理步驟。

圖2 圖像的預(yù)處理流程

1.2 核仁分選系統(tǒng)的程序設(shè)計(jì)

基于Labview虛擬儀器技術(shù)編寫山核桃顏色特征的提取和分類程序，設(shè)計(jì)符合交互的用戶界面，用戶界面與部分特征提取程序見圖3。創(chuàng)建IMAQ Getimage.vi，用于初始化攝像頭及將獲取的圖像存儲(chǔ)在圖像緩存區(qū)內(nèi)[13]。在主程序中創(chuàng)建參數(shù)矩陣，局部變量交由MATLAB Script進(jìn)行模糊聚類處理。

對(duì)獲取圖像進(jìn)行預(yù)處理后，利用NI Vision Assistant分離出H/S/V的基色平面并數(shù)值化，創(chuàng)建獨(dú)立的子程序Image Getcolor.vi，提取相應(yīng)基色平面下的灰度值，即HSV顏色模式下的各分量數(shù)值。紋理特征反映了提取圖像中相鄰像素點(diǎn)之間的關(guān)系，創(chuàng)建子程序Image Gettexture.vi，通過Vision工具包提取目標(biāo)圖像灰度圖下的灰度值，由腳本程序生成灰度共生矩陣。計(jì)算表征灰度共生矩陣特征的標(biāo)量，分別為[15]：

能量A：

(1)

圖3 上位機(jī)程序設(shè)計(jì)

熵E：

(2)

慣性矩M：

(3)

相關(guān)性R：

(4)

式中：

G(x,y)——灰度共生矩陣，其中(x,y)為像素空間坐標(biāo)轉(zhuǎn)換成的灰度對(duì)；

1.3 主成分分析與特征降維

將模糊聚類計(jì)算應(yīng)用于山核桃殼仁分離物的顏色判斷，首先需要先建立一個(gè)包裹這2種顏色模型的7維特征數(shù)據(jù)[hj,sj,vj,aj,ej,mj,rj]，相關(guān)特征參數(shù)見表1。多維特征數(shù)據(jù)的集合常存在若干問題，特征相互之間往往會(huì)存在強(qiáng)烈的相關(guān)度和冗余特征[16]。多維數(shù)據(jù)不僅存在一些無關(guān)的變量，復(fù)雜的計(jì)算還會(huì)對(duì)程序的運(yùn)行造成負(fù)擔(dān)，擬選取的H、S、V、A、E、M、R7個(gè)特征之間數(shù)據(jù)維數(shù)相對(duì)較大，可能存在著冗余特征，為降低數(shù)據(jù)的維數(shù)有必要運(yùn)用特征降維。主分量分析(PCA)是一種將高維數(shù)據(jù)簡化到低維空間以便于分析和顯示的方法。利用主分量分析法對(duì)擬選用的7維特征數(shù)據(jù)的集合進(jìn)行降維處理，篩選出包含信息較多的特征，處理過程中除去其冗余或是貢獻(xiàn)較小的特征成分向量列，評(píng)估出最優(yōu)的特征子集。

表1 山核桃破殼分離物特征參數(shù)

通過對(duì)獲取特征數(shù)據(jù)集的因子分析，獲得數(shù)據(jù)集的總方差解釋。如表2所示，以某個(gè)成分的方差占全部方差的比重，即對(duì)應(yīng)特征值占全部特征值總和的比重來衡量某列成分對(duì)整個(gè)數(shù)據(jù)集合的綜合貢獻(xiàn)程度。表2中，前3種主成分的累積對(duì)圖像顏色信息的累積貢獻(xiàn)率達(dá)到了96.433%，幾乎能夠完整地表達(dá)出山核桃各破殼物的顏色差異性信息，故選取前3種作為模糊聚類計(jì)算的最優(yōu)特征成分子集。前3種主要成分的特征向量為7×3的向量矩陣，在Matlab Script中編寫將原始的j×7維數(shù)據(jù)集與主要成分的特征向量矩陣相乘，數(shù)據(jù)維度則變換為成分特征向量的維度，實(shí)現(xiàn)降維目的，以此獲得變換后的數(shù)據(jù)集。

表2 數(shù)據(jù)集的總方差解釋

2 模糊聚類算法的理論與實(shí)現(xiàn)

2.1 模糊聚類算法的理論推導(dǎo)

模糊聚類(FCM)算法由硬聚類(HCM)算法發(fā)展而來，是一種無監(jiān)督的聚類分析方法[17]。模糊聚類在聚類分析的基礎(chǔ)上進(jìn)一步探究樣本對(duì)各類歸屬的可能性，表達(dá)了樣本是介于類之間的特性，算法中引入隸屬度這個(gè)概念來表征這種不確定程度[18]。山核桃的破殼分離物由于在顏色特征上存在一定的相似性，顏色分量的波動(dòng)范圍存在重疊區(qū)，無法直接通過閾值劃分實(shí)現(xiàn)分類，有必要運(yùn)用模糊聚類算法進(jìn)行聚類計(jì)算。

(5)

式中：

xj——樣本X中的第j個(gè)樣本；

ci——類i的聚類中心；

uij——樣品j屬于某一類i的隸屬度；

m——隸屬度因子[19]。

首先采用拉格朗日乘數(shù)法將約束條件代入目標(biāo)函數(shù)中，并按所有j展開，得

(6)

求式(6)目標(biāo)函數(shù)的極值，分別對(duì)其中的變量uij、ci求導(dǎo)數(shù)，首先對(duì)uij求導(dǎo)。讓求導(dǎo)結(jié)果等于0的方程式見式(7)。

(7)

重新利用式(1)的約束條件，解出λj，并代入式(6)中，得到最終的迭代公式：

uij=

(8)

式(8)得到山核桃樣品屬于某一類的隸屬度函數(shù)，按照同樣的計(jì)算方式，求目標(biāo)函數(shù)J對(duì)ci的導(dǎo)數(shù)式見式(9)，解出聚類中心ci的迭代式見式(10)。

(9)

(10)

2.2 模糊聚類算法的實(shí)現(xiàn)

上述推導(dǎo)式中采用的數(shù)據(jù)集X的樣本xj是7維特征數(shù)據(jù)經(jīng)由特征降維處理后的3維數(shù)據(jù)樣本v1,v2,v3，提取大量樣本的顏色和紋理特征數(shù)據(jù)，生成數(shù)據(jù)的向量空間并寫入測量文件，保存為dat文件格式。在Matlab中完成對(duì)模糊聚類程序的編寫[22]，并導(dǎo)入Labview平臺(tái)下的Matlab腳本中，Matlab腳本對(duì)選擇的樣本空間進(jìn)行特征降維和迭代計(jì)算，導(dǎo)出計(jì)算得出的樣本隸屬度矩陣和各聚類中心的位置。模糊聚類應(yīng)用于數(shù)據(jù)的分類計(jì)算時(shí)具有無監(jiān)督性，需要具有相當(dāng)數(shù)量的樣本才能進(jìn)行聚類，為能使設(shè)計(jì)出的最終程序能夠?qū)蝹€(gè)樣品進(jìn)行正確的識(shí)別判斷，則需要保留樣本空間的數(shù)據(jù)。以最后一次采集到的樣本為目標(biāo)樣本，經(jīng)過圖像的采集和分析，對(duì)顏色和紋理的特征提取，目標(biāo)樣本特征數(shù)據(jù)的值是確定的，樣本空間X經(jīng)過模糊C-均值聚類計(jì)算后得出的3個(gè)聚類中心的位置也是一定的，依據(jù)聚類中心ci與隸屬度ui的關(guān)系式，可以分別輸出目標(biāo)樣本對(duì)已知?jiǎng)澐值暮颂胰?、外殼、?nèi)隔這3個(gè)類的隸屬度值，其中迭代終止誤差限為10-5，模糊加權(quán)指數(shù)m為2。

按照上述步驟，通過圖像采集與特征分析程序獲取選擇試驗(yàn)樣品的特征數(shù)據(jù)，將所有特征數(shù)據(jù)寫入測量文件fcmdata.dat中，選取數(shù)量為300個(gè)的山核桃破殼分離物樣本作聚類計(jì)算，最大迭代計(jì)算次數(shù)為30次，經(jīng)過23次左右的迭代計(jì)算獲得較為穩(wěn)定的目標(biāo)函數(shù)值。

停止迭代后，結(jié)果得出各分類的聚類中心位置和相應(yīng)數(shù)據(jù)樣本的隸屬度值，上述選取的分離物樣本的聚類中心分布位置見表3。

表3 聚類中心計(jì)算結(jié)果

由標(biāo)準(zhǔn)試驗(yàn)樣品經(jīng)程序計(jì)算得到的聚類中心及隸屬度矩陣分布見圖4，圖4(a)中可以看出經(jīng)過降維處理后樣本數(shù)據(jù)及聚類中心在三維空間中的分布情況，圖4(b)中的橫坐標(biāo)為試驗(yàn)樣本，縱坐標(biāo)為樣本對(duì)應(yīng)類的隸屬度值，其中：第1類為山核桃內(nèi)隔的隸屬度向量，第2類為山核桃外殼的隸屬度向量，第3類為山核桃仁的隸屬度向量。從圖4可以看出，程序?qū)ψ鳛槟繕?biāo)識(shí)別的樣本庫的分類具有合理性。

圖4 仿真效果圖

3 試驗(yàn)及結(jié)果

本試驗(yàn)設(shè)計(jì)了針對(duì)山核桃殼仁分離物識(shí)別的靜態(tài)試驗(yàn)方案，試驗(yàn)樣品選自主產(chǎn)地安徽省皖南山區(qū)天目山脈寧國市萬家鄉(xiāng)，采摘時(shí)間為2017年9月底。以沿山核桃縫合線直徑大小分為兩類樣本，個(gè)頭較小的樣本直徑為10～20 mm，個(gè)頭較大的樣本直徑為20～30 mm，個(gè)頭較小的山核桃內(nèi)部紋路較密集，顏色較深，個(gè)頭較大的山核桃內(nèi)部紋路較疏松，顏色較淺，將山核桃籽料直徑較大的試驗(yàn)材料命名為1號(hào)樣本，直徑較小的命名為2號(hào)樣本。1號(hào)樣本和2號(hào)樣本中各遴選50個(gè)山核桃，分別通過本課題組已經(jīng)研制出的仿生敲擊式山核桃破殼機(jī)[2]和基于低損傷離心力的二次破殼機(jī)進(jìn)行破殼，獲得核桃仁和破碎殼體的混合物料，通過風(fēng)選機(jī)吹除粉狀和粒狀小顆粒個(gè)體，篩選出破殼后體積相對(duì)較大的分離物。

搭建靜態(tài)圖像采集與測試試驗(yàn)臺(tái)，如圖5所示，采用美國國家儀器公司的Basler ace型彩色面掃描相機(jī)(含ICX618 CCD傳感器)，采集圖像格式為32位色彩色圖像，解析度為659×494。試驗(yàn)中采用暖白色的環(huán)形聚光光源，光線柔和，聚光效果良好，能夠有效消除圖像陰影。為獲取較為準(zhǔn)確的顏色特征，事先對(duì)攝像頭進(jìn)行校色處理，圖像的傳輸格式為bmp，保證對(duì)色彩的還原度。

經(jīng)CCD攝像頭對(duì)測試樣品進(jìn)行圖像采集與特征分析程序提取特征數(shù)據(jù)后，Labview中的Matlab腳本工具對(duì)測試樣品的特征數(shù)據(jù)進(jìn)行隸屬度計(jì)算，獲得測試的山核桃破殼分離物對(duì)各聚類中心的隸屬度值。依據(jù)設(shè)定的隸屬度值的范圍，由分選系統(tǒng)對(duì)各測試的樣本數(shù)據(jù)實(shí)現(xiàn)自動(dòng)歸類并與期望結(jié)果進(jìn)行比對(duì)，由此判斷識(shí)別的正確率。2組測試樣品的歸類識(shí)別與分選測試最終效果見表4。

1. 微型LED聚光光源 2. CCD攝像機(jī) 3. 光學(xué)支架 4. 工控機(jī) 5. 顯示器

圖5 靜態(tài)圖像采集測試裝置

Figure 5 The image acquisition and test device of static image

表4 分選試驗(yàn)結(jié)果

試驗(yàn)結(jié)果表明，采用顏色和紋理特征并應(yīng)用模糊C-均值聚類算法對(duì)山核桃破殼混合物實(shí)現(xiàn)分類并篩選出核桃仁的方法是具有可行性和較高正確率的，且對(duì)核桃仁的識(shí)別正確率高于83%。誤選為外殼和內(nèi)隔分別占7.0%和4.7%，是因?yàn)橛行┖颂胰时砥ゎ伾拈撝稻哂卸鄻有?，其中不乏有劣質(zhì)的核桃仁?？紤]到識(shí)別物體的不可分離性，預(yù)估擴(kuò)大樣本容量后，識(shí)別的正確率仍有進(jìn)一步提升的可能性。

4 結(jié)論

(1) 本試驗(yàn)的研究對(duì)象是屬含隔堅(jiān)果類的山核桃，根據(jù)山核桃破殼分離物的顏色和紋理特征，預(yù)先對(duì)圖像進(jìn)行處理和特征提取，并運(yùn)用模糊聚類算法對(duì)破殼物料合理分類，通過分類結(jié)果把核桃仁從破殼混合物料中分選出來。設(shè)計(jì)了對(duì)應(yīng)的靜態(tài)試驗(yàn)方案，試驗(yàn)結(jié)果驗(yàn)證了整體系統(tǒng)設(shè)計(jì)的可行性。系統(tǒng)對(duì)核桃仁的識(shí)別率達(dá)到了83%以上。

(2) 受到試驗(yàn)條件限制，研究中采用單面拍攝的方法，可能對(duì)研究對(duì)象無法進(jìn)行立體的評(píng)估，仍需進(jìn)一步思考優(yōu)化評(píng)估的方法和標(biāo)準(zhǔn)。研究中為盡可能地簡化研究對(duì)象，可能受到研究樣本不充分的影響，使實(shí)際研究對(duì)象的樣本劃分不足，導(dǎo)致選取類以外的對(duì)象無法在色選系統(tǒng)中被識(shí)別，如殼仁未完全分離體需要對(duì)圖像區(qū)域進(jìn)行分割識(shí)別。

(3) 本試驗(yàn)提出了將模糊聚類算法應(yīng)用到山核桃殼仁的分選，從其顏色特征的選取到分析提供了較為完整的理論依據(jù)，并設(shè)計(jì)了具體的試驗(yàn)方案作論證，對(duì)堅(jiān)果類及相似性質(zhì)的物料分選及色選具有很好的參考價(jià)值。