李成吉,張淑娟,邢書海,陳彩虹,孫海霞
(山西農(nóng)業(yè)大學(xué) 工學(xué)院,山西 太谷 030801)
核桃(Juglans regia)又稱胡桃,羌桃,為胡桃科植物,與扁桃、腰果、榛子并稱為世界“四大干果”[1]。核桃仁中含有豐富的脂肪、蛋白質(zhì)、碳水化合物等營(yíng)養(yǎng)成分,其中不飽和脂肪酸含量很高,核桃仁中含有豐富的維生素、礦物質(zhì)等微量元素,以及許多對(duì)人體有特殊生理功效的生物活性物質(zhì),具有很高的營(yíng)養(yǎng)與食用價(jià)值[2]。隨著生活水平的提高,人們對(duì)飲食結(jié)構(gòu)和營(yíng)養(yǎng)價(jià)值的要求也隨之提高,尤其對(duì)核桃產(chǎn)品的需求量大大增加,這就需要提高核桃殼仁分選的效率,便于后續(xù)核桃深加工。
國(guó)內(nèi)核桃的殼仁分離大多還停留在人工分揀階段,費(fèi)時(shí)費(fèi)力,勞動(dòng)成本高,且主要以物理方法為主。隨著計(jì)算機(jī)視覺技術(shù)的不斷發(fā)展,運(yùn)用于農(nóng)產(chǎn)品方面的檢測(cè)越來(lái)越多,并且相對(duì)于其它無(wú)損檢測(cè)方法,計(jì)算機(jī)視覺技術(shù)有著成本控制、快速高效等優(yōu)點(diǎn)。顏秉忠[3]等人基于計(jì)算機(jī)視覺技術(shù)對(duì)大棗品質(zhì)進(jìn)行檢測(cè)分級(jí),試驗(yàn)結(jié)果表明,系統(tǒng)對(duì)各級(jí)大棗的識(shí)別準(zhǔn)確率平均為94%,精準(zhǔn)度較高。胡孟晗[4]等人基于計(jì)算機(jī)視覺技術(shù)對(duì)香蕉在貯藏過(guò)程中的顏色和紋理進(jìn)行監(jiān)測(cè),結(jié)果表明,結(jié)合R和G均值的變化曲線可對(duì)香蕉在第6階段之前的表面狀況進(jìn)行描述,采用基于灰度共生矩陣的對(duì)比度和均勻度的變化曲線可對(duì)香蕉在第6階段之后的表面狀況進(jìn)行描述。申愛敏[5]等人基于計(jì)算機(jī)視覺技術(shù)實(shí)現(xiàn)了核桃核仁的大小分級(jí),分級(jí)正確率達(dá)90%以上。趙海波[6]等人基于計(jì)算機(jī)技術(shù)對(duì)番茄催熟和正常熟進(jìn)行識(shí)別,識(shí)別率為91.7%。
綜上,國(guó)內(nèi)研究者基于計(jì)算機(jī)視覺技術(shù)對(duì)農(nóng)產(chǎn)品的檢測(cè)分級(jí)作了大量研究,且效果較好,但在核桃殼、仁及分心木識(shí)別方面鮮有報(bào)道。本研究自行搭建圖像采集系統(tǒng),采用計(jì)算機(jī)視覺技術(shù)對(duì)核桃殼、仁及分心木的識(shí)別進(jìn)行研究,為快速、準(zhǔn)確在線識(shí)別核桃殼、仁及分心木提供有效的建模方法。
山西是核桃種植大省,本試驗(yàn)所用樣本為太谷“清香”核桃,并進(jìn)行人工破殼處理,分離殼、仁及分心木,挑選出180個(gè)核桃仁樣本、135個(gè)分心木樣本以及236個(gè)核桃殼樣本作為研究對(duì)象。由于核桃殼的內(nèi)外側(cè)特征明顯不同,對(duì)核桃殼的內(nèi)外側(cè)都需進(jìn)行研究,故核桃殼樣本分為兩組,115個(gè)樣本研究其內(nèi)側(cè),121個(gè)樣本研究其外側(cè),并利用Kennard-Stone算法[7]將樣本分為校正集和預(yù)測(cè)集,其中核桃仁樣本校正集135個(gè),預(yù)測(cè)集45個(gè);分心木樣本校正集101個(gè),預(yù)測(cè)集34個(gè);核桃殼內(nèi)側(cè)樣本校正集86個(gè),預(yù)測(cè)集29個(gè);核桃殼外側(cè)樣本校正集91個(gè),預(yù)測(cè)集30個(gè),各樣本如圖1所示。
圖1 試驗(yàn)樣本Fig.1 Experimental samples
自行構(gòu)建圖像采集系統(tǒng),如圖2所示,由FRD-AL00相機(jī),北京松下照明光源有限公司的三基色環(huán)形熒光燈(型號(hào)為YH327200KE),載物板,檢測(cè)箱組成。檢測(cè)箱為自行設(shè)計(jì)(長(zhǎng)寬高為440 mm×335 mm×425 mm)的暗箱,箱體密不透光,內(nèi)部涂刷成黑色,產(chǎn)生均勻的漫反射環(huán)境,外面用黑布遮蓋,防止外部環(huán)境光線影響。檢測(cè)箱的上方開一個(gè)圓形口(直徑為80 mm),用于放置相機(jī)及鏡頭,且內(nèi)部頂端安裝光源,底部中央有一個(gè)載物板,用于放置試驗(yàn)樣本。
圖2 圖像識(shí)別系統(tǒng)Fig.2 Image recognition system
將采集好的圖像放入計(jì)算機(jī)(Dell N4120,i5-2 430 M)中存儲(chǔ)并篩選,使用Photoshop CS6(Adobe Systems Software Ireland Ltd,USA)獲取不含背景的樣本圖片,在Matlab R2009a( The MathWorks,Natick,USA)對(duì)樣本圖像進(jìn)行預(yù)處理并提取特征值,然后對(duì)提取的數(shù)據(jù)建立LS-SVM 模型,最后在Origin8.5(Origin Lab,USA)繪制模型預(yù)測(cè)結(jié)果。
核桃殼仁樣本采集時(shí),將各樣本均勻放置在暗箱內(nèi)載物板上,并做好標(biāo)簽,然后調(diào)整光源和相機(jī),使達(dá)到理想的成像效果,依次采集圖像。每次采集3幅圖像,選取其中成像質(zhì)量最好的樣本圖像。
由于采集的原始圖片含有噪聲信息,影響試驗(yàn)結(jié)果。為改善圖像的成像效果,消除噪聲的影響,需采用合適有效的圖像預(yù)處理方法,常用的預(yù)處理方法有中值濾波和銳化處理。
中值濾波法較一般的線性濾波器,它能夠避免邊緣模糊,更好的保留圖像細(xì)節(jié)[8]。核桃仁樣本圖像用不同模板中值濾波效果如圖3所示。
圖3 核桃仁圖像不同模板中值濾波Fig.3 Different template median filtering of walnut kernel image
圖像銳化的作用是增強(qiáng)圖像的細(xì)節(jié)表現(xiàn)力,致力于圖像邊緣輪廓和線條細(xì)節(jié)信息的表達(dá)[9]。核桃仁樣本圖像用不同鄰域銳化處理效果如圖4所示。
圖4 核桃仁圖像不同鄰域銳化處理Fig.4 Different neighborhood sharpening of walnut kernel image
由圖3和圖4可見,3×3模板中值濾波去噪效果較好,四領(lǐng)域銳化處理效果較明顯,使特征邊界等細(xì)節(jié)更加明顯。因此本文采用3×3模板中值濾波處理,以消除噪聲影響。隨后對(duì)圖像進(jìn)行四領(lǐng)域銳化處理,以增強(qiáng)圖像細(xì)節(jié)的表現(xiàn)力。
2.2.1 圖像顏色特征提取
顏色測(cè)量技術(shù)在農(nóng)產(chǎn)品和食品領(lǐng)域是一種重要的質(zhì)量評(píng)價(jià)和監(jiān)控手段,可以用多種模型來(lái)描述物體顏色,但在實(shí)際應(yīng)用中,常用RGB和HSI模型[10~13]。核桃仁樣本圖像RGB模型和HSI模型如圖5所示。
圖5 核桃仁圖像RGB模型、HSI模型Fig.5 RGB model and HSI model of walnut kernel image
本研究提取各樣本RGB和HSI各分量均值和方差共12個(gè)顏色特征,各樣本顏色特征平均值如表1所示。從表1中看出,4種樣本的顏色特征有所差別,因此可作為輸入進(jìn)行建模判別。
2.2.2 圖像紋理特征提取
紋理特征描述圖像中物體的表面性質(zhì),在描述圖像同質(zhì)現(xiàn)象方面有獨(dú)特優(yōu)勢(shì)。在提取紋理特征值時(shí),需將目標(biāo)圖像轉(zhuǎn)換為灰度圖像,各樣本灰度直方圖如圖6所示。
灰度共生矩陣(gray level co-occurrence matrix,GLCM)是關(guān)于圖像亮度變化的二階特征統(tǒng)計(jì)[14],本文通過(guò)灰度共生矩陣分別提取各樣本能量、熵、慣性矩、相關(guān)性、逆差矩4個(gè)方向(0°,45°,90°,135°)共20個(gè)紋理特征參數(shù),各樣本紋理特征平均值如表2所示。
表1 樣本各顏色特征平均值Table 1 Average values of color characteristics of samples
圖6 各樣本灰度直方圖Fig.6 The grayscale histogram of each sample
由表2可見,四種樣本各紋理特征有所差別,其中相關(guān)性這一紋理特征差別最為顯著。
最小二乘支持向量機(jī)(LS-SVM)是在經(jīng)典SVM(Support Vector Machine)上的一種改進(jìn),能降低計(jì)算復(fù)雜度,加快求解速度[15]。
將樣本分別賦值作為判別依據(jù),將核桃仁賦值為1,分心木賦值為2,核桃殼賦值為3。分別以校正集樣本顏色特征值、紋理特征值、顏色-紋理特征值融合作為輸入,建立LS-SVM模型,分別用Y-LS-SVM、W-LS-SVM、Y-W-LS-SVM表示,并對(duì)預(yù)測(cè)集樣本進(jìn)行判別。由于模型預(yù)測(cè)結(jié)果為非整數(shù)型數(shù)值,所以確定0.5作為最大偏離值,即認(rèn)為預(yù)測(cè)類別值與假設(shè)類別值之間差值小于0.5時(shí)都判定為此類樣本。
表2 樣本各紋理特征平均值Table 2 Average value of texture features of samples
建立最小二乘支持向量機(jī)(LS-SVM)判別模型時(shí),采用徑向基核函數(shù)(Radial Basis Function,RBF),其中正則化參數(shù)γ和RBF核函數(shù)的核寬帶σ2的選取采用基于交叉驗(yàn)證(Cross-validation)的網(wǎng)絡(luò)搜索(Grid-search),各判別模型參數(shù)γ和σ2的選取結(jié)果如表3所示。
表3 LS-SVM模型參數(shù)Table 3 Parameters of the LS-SVM models
三種模型預(yù)測(cè)集結(jié)果如表4所示,圖7a、b、c分別為Y-LS-SVM模型,W-LS-SVM模型,Y-W-LS-SVM模型預(yù)測(cè)集樣本判別結(jié)果。
由表4可見,使用顏色特征值作為輸入建立的Y-LS-SVM模型對(duì)核桃仁、分心木及核桃殼的判別準(zhǔn)確率分別為91.1%、82.4%、96.6%,總判別正確率為91.3%;使用紋理特征值作為輸入建立的W-LS-SVM模型對(duì)核桃仁、分心木及核桃殼的判別準(zhǔn)確率分別為100%、85.3%、84.7%,總判別正確率為89.9%;使用顏色-紋理特征值融合處理作為輸入建立的Y-W-LS-SVM模型對(duì)核桃仁、分心木及核桃殼的判別準(zhǔn)確率分別為93.3%、97.1%、100%,總判別正確率為97.1%。顯然,顏色和紋理特征融合建立的Y-M-LS-SVM模型識(shí)別效果最好,正確識(shí)別率高于單一特征模型,這是由于顏色和紋理特征融合后,能更好的區(qū)分出核桃殼、仁及分心木的差別,表明特征組合可以產(chǎn)生更好的識(shí)別效果。
(1)構(gòu)建圖像采集系統(tǒng),通過(guò)對(duì)獲取的核桃殼、仁及分心木樣本圖像的處理,提取樣本圖像12個(gè)顏色特征值和20個(gè)紋理特征值,比較全面的描繪了不同樣本的特征,能夠滿足進(jìn)一步對(duì)不同樣本的識(shí)別。
(2)建立了分別以顏色特征值、紋理特征值以及顏色和紋理特征值融合處理為輸入的最小二乘支持向量機(jī)(LS-SVM)模型,均對(duì)核桃殼、仁及分心木有很好的識(shí)別效果,其中以顏色和紋理特征值融合處理為輸入的Y-W-LS-SVM模型判別準(zhǔn)確率最高,識(shí)別效果最好,總判別正確率為97.1%。
(3)基于計(jì)算機(jī)視覺技術(shù)的方法可以對(duì)核桃殼、仁及分心木進(jìn)行識(shí)別,為進(jìn)一步實(shí)現(xiàn)核桃殼、仁及分心木自動(dòng)分選技術(shù)提供基礎(chǔ)條件,為提高我國(guó)核桃產(chǎn)業(yè)水平具有重要意義。