許月明蔡健榮龔瑩輝

(1. 蕪湖職業(yè)技術(shù)學(xué)院生物工程學(xué)院，安徽 蕪湖　241003；2. 安徽師范大學(xué)環(huán)境科學(xué)與工程學(xué)院，安徽 蕪湖　241002；3. 江蘇大學(xué)食品與生物工程學(xué)院，江蘇 鎮(zhèn)江　212013)

?

基于計(jì)算機(jī)視覺的檳榔分級(jí)研究

許月明1，2蔡健榮3龔瑩輝3

(1. 蕪湖職業(yè)技術(shù)學(xué)院生物工程學(xué)院，安徽 蕪湖241003；2. 安徽師范大學(xué)環(huán)境科學(xué)與工程學(xué)院，安徽 蕪湖241002；3. 江蘇大學(xué)食品與生物工程學(xué)院，江蘇 鎮(zhèn)江212013)

檳榔品種的分級(jí)技術(shù)目前比較落后，主要靠人工完成分級(jí)，因而品種分級(jí)的質(zhì)量難以得到保證。該試驗(yàn)用計(jì)算機(jī)視覺技術(shù)進(jìn)行品種分級(jí)，通過圖像獲取、預(yù)處理等提取其顏色特征、形狀特征和紋理特征，通過試驗(yàn)分析，發(fā)現(xiàn)由顏色和形狀特征參數(shù)結(jié)合起來即可以獲得較好的效果。并對(duì)其進(jìn)行主成分分析后代入支持向量機(jī)進(jìn)行分級(jí)，預(yù)測(cè)集的正確識(shí)別率達(dá)到90.38%以上。

檳榔；計(jì)算機(jī)視覺；支持向量機(jī)；分級(jí)

檳榔[1](Betel Nut)屬棕櫚科多年生常綠喬木，果實(shí)長(zhǎng)圓形或卵球形，質(zhì)地堅(jiān)硬，系熱帶珍貴藥用植物，其與砂仁、益智仁、巴戟天并稱四大南藥。檳榔根據(jù)其顏色、形態(tài)、紋理等外觀屬性分為4個(gè)等級(jí)，不同等級(jí)間的品質(zhì)和價(jià)格差異較大。目前檳榔的分級(jí)主要依靠人工完成，而人工分級(jí)易受工作人員當(dāng)時(shí)生理和心理因素影響，很難做到客觀、穩(wěn)定，計(jì)算機(jī)視覺技術(shù)對(duì)檳榔進(jìn)行分級(jí)是解決這一問題的有效辦法。

檳榔分級(jí)主要包括檳榔鮮果分級(jí)和檳榔干果分級(jí)兩類。目前國(guó)內(nèi)外利用計(jì)算機(jī)視覺技術(shù)研究檳榔分級(jí)的報(bào)道較少，其中干果的研究報(bào)道，僅檢索到Liu Tong等[2]研究了基于計(jì)算機(jī)視覺對(duì)檳榔的分級(jí)，主要采用形狀特征構(gòu)建識(shí)別函數(shù)，通過閾值法提取區(qū)域特征向量，該方法僅僅反應(yīng)檳榔外形特征，對(duì)于發(fā)生病變的檳榔容易發(fā)生誤判，影響整體識(shí)別準(zhǔn)確率。本研究在文獻(xiàn)[2]的基礎(chǔ)上進(jìn)行改進(jìn)，通過提取檳榔的顏色特征、形狀特征和紋理特征，綜合分析3種特征參數(shù)，結(jié)合主成分分析和支持向量機(jī)的方法實(shí)現(xiàn)檳榔自動(dòng)分級(jí)，以彌補(bǔ)該研究的缺陷。

1　試驗(yàn)材料

試驗(yàn)所用的檳榔樣本均由湖南胖哥食品有限責(zé)任公司提供，2015年2月生產(chǎn)，產(chǎn)地湖南湘潭。檳榔的級(jí)別已由廠家專業(yè)人員通過評(píng)定來確定等級(jí)，分別為極品、金條、泡果、小果，按照品種級(jí)別依次分為4個(gè)級(jí)別。其中：1級(jí)果(極品)的特征是有究頭，如圖2所示，有很深的紋路包括縱向紋和橫向紋，長(zhǎng)度一般在55 mm以上；2級(jí)果(金條)的特征是表面紋路較深且比例較均勻，長(zhǎng)度在50 mm以上；3級(jí)果(泡果)的特征是其肚子的直徑比較大，一般大于25 mm且表面紋路相對(duì)較淺、較光滑，長(zhǎng)度與2級(jí)果類似；4級(jí)果(小果)的特征是其長(zhǎng)度小于50 mm。

2　圖像處理

檳榔圖像處理流程見圖1。

2.1圖像獲取

通過預(yù)試驗(yàn)發(fā)現(xiàn)，用黃色的滾輪和用白紙板做背景時(shí)效果最佳。試驗(yàn)過程中，為了消除光線強(qiáng)度等外界試驗(yàn)條件對(duì)圖像采集的影響，采用了直射加漫反射的光源系統(tǒng)。分別將單個(gè)檳榔樣本置于光源箱中的樣品臺(tái)上，用工業(yè)黑相機(jī)進(jìn)行圖像采集。對(duì)每個(gè)檳榔樣本分別采集圖像5次，采集后的圖像信息以RGB形式存放備用。

2.2圖像預(yù)處理

首先將獲得的原始圖像分解為R、G、B 3個(gè)單通道圖像，比較各分量灰度直方圖分布，發(fā)現(xiàn)G通道圖像的直方圖峰谷比較明顯，因此選用 G 值作為閾值分割的特征值，在簡(jiǎn)化運(yùn)算的同時(shí)，又可以較好地提取出檳榔圖像[3]。由于果梗對(duì)檳榔的分級(jí)也有一定影響，所以要將檳榔的果梗去除。利用數(shù)學(xué)形態(tài)學(xué)的方法可以提取出檳榔的果梗[4]，即用圖像開運(yùn)算和閉運(yùn)算等對(duì)其進(jìn)行操作，再將閾值分割后的圖像減去果梗圖像，即得到去除果梗后的圖像(見圖2)。再經(jīng)過一些操作，即可以獲得最終用于提取各特征參數(shù)的檳榔圖像，即感興趣區(qū)域(ROI)。

2.3特征提取

基于計(jì)算機(jī)視覺獲取檳榔的外部特征主要包括顏色特征、形狀特征及紋理特征3個(gè)方面[5]。

圖2　檳榔預(yù)處理前后圖像

2.3.1顏色特征提取在檳榔分級(jí)時(shí)，檳榔的顏色是一個(gè)重要特征。檳榔的顏色一般以棕褐色為主，有的偏深，有的偏淺，不同等級(jí)的檳榔顏色也有所差別。鑒于一種顏色系統(tǒng)很難將不同品種的檳榔區(qū)分開來，因此結(jié)合RGB顏色模型和HSI顏色模型來提取檳榔的顏色特征[6]。RGB模型沒有直觀地與顏色概念建立起聯(lián)系。因此，首先將 RGB 模型轉(zhuǎn)換為HSI(hue-saturation-intensity)顏色模型，HSI模型的特點(diǎn)是I分量與圖像的彩色信息無關(guān)及H和S分量與人體感受顏色的方式緊密相連，這比較符合人類對(duì)顏色的理解[7]。

從預(yù)處理后的檳榔圖像區(qū)域中分別提取出紅色、綠色、藍(lán)色及色調(diào)、飽和度、強(qiáng)度的平均灰度值(μR、μG、μB、μH、μS、μI)和平均灰度偏差值(δR、δG、δB、δH、δS、δI)，共12個(gè)顏色特征參數(shù)。

2.3.2外形特征提取根據(jù)檳榔的圖像特點(diǎn)，求出其最小外接矩形，然后分別計(jì)算出檳榔的面積、長(zhǎng)度、寬度、周長(zhǎng)，再通過特征參數(shù)的組合，最后得到檳榔的面積、長(zhǎng)度、寬度、周長(zhǎng)、長(zhǎng)寬比、檳榔面積與最小外接矩形面積的比值、凸性、圓度，共8個(gè)形狀特征參數(shù)。

2.3.3紋理特征提取紋理也是檳榔分級(jí)的重要指標(biāo)之一。不同等級(jí)的檳榔表面紋理不同，有的紋理粗，有的紋理細(xì)，存在一定的規(guī)律性，是一種準(zhǔn)規(guī)則紋理，因而采用統(tǒng)計(jì)分析方法里的灰度共生矩陣法來提取特征參數(shù)。由于檳榔的主要紋理是0°方向的，因而選取90°方向的灰度共生矩陣。在提取紋理特征參數(shù)時(shí)取檳榔的中間一段以減少檳榔頭尾紋理對(duì)其的影響。最終提取了90°方向的能量、相關(guān)性、均勻性、對(duì)比度值及圖像的平均灰度值、平均灰度偏差值和熵值，共7個(gè)紋理特征參數(shù)。

3　檳榔分級(jí)

本試驗(yàn)采用支持向量機(jī)(Support Vector Machine，SVM)模式識(shí)別方法來建立模型。SVM是20世紀(jì)90年代形成的一種新的模式識(shí)別方法，它將向量映射到一個(gè)更高維的空間里，在這個(gè)空間里建立有一個(gè)最大間隔超平面[9]。SVM算法目前廣泛應(yīng)用于圖形分類、圖像識(shí)別、生物信息采集等領(lǐng)域。本試驗(yàn)數(shù)據(jù)由HALCON 9.0軟件通過編程導(dǎo)出，其中對(duì)特征參數(shù)數(shù)據(jù)的主成分分析是基于SPSS軟件。

3.1SVM核函數(shù)類型及其參量的確定

SVM建立模型時(shí)核函數(shù)的選擇非常重要，目前核函數(shù)類型較多，不同種類的核函數(shù)對(duì)其建立的模型性能影響顯著。試驗(yàn)中選擇徑向基函數(shù)得到的擬合效果較好，因?yàn)閺较蚧瘮?shù)可以將非線性樣本數(shù)據(jù)映射到高維特征空間，處理具有非線性關(guān)系的樣本數(shù)據(jù)[10]，另外徑向基函數(shù)取值(0K>1)簡(jiǎn)單。本試驗(yàn)選擇徑向基核函數(shù)的核參數(shù)gamma為0.02和Nu為0.05的條件下建立的模型。

3.2主成分?jǐn)?shù)的確定

由于所獲得到的數(shù)據(jù)之間存在一定的相關(guān)性，因而選取合適的主成分?jǐn)?shù)對(duì)模型的建立有著重要的影響。一般情況下，如果選取的主成分?jǐn)?shù)偏少，有可能出現(xiàn)信息損失過多，將大大降低模型識(shí)別率；同等條件下，如果選取的主成分?jǐn)?shù)偏多，又會(huì)引入過多的冗余信息，這些冗余信息的介入會(huì)降低模型的預(yù)測(cè)性能，造成模型的魯棒性降低，同時(shí)使數(shù)據(jù)處理的時(shí)間加長(zhǎng)[11]。因此，通過主成分分析選擇合理的主成分是有效提升檳榔預(yù)測(cè)識(shí)別率的重要手段之一。

3.3識(shí)別結(jié)果

本試驗(yàn)共拍了4類檳榔，第一類共拍了93幅圖像，第二類共拍了210幅圖像，第三類共拍了186幅圖像，第四類共拍了239幅圖像，總共728幅圖像?，F(xiàn)將訓(xùn)練集與預(yù)測(cè)集按3∶1的比例進(jìn)行訓(xùn)練預(yù)測(cè)，并分別測(cè)試訓(xùn)練集和預(yù)測(cè)集中各類檳榔的識(shí)別率，用以權(quán)衡SVM模型性能指標(biāo)參數(shù)。

3.3.1單一類特征的識(shí)別率首先將提取出的顏色特征、形狀特征及紋理特征參數(shù)分別單獨(dú)代入支持向量機(jī)，以其全部特征參數(shù)進(jìn)行判斷識(shí)別，比較各個(gè)特征對(duì)分類的影響，其預(yù)測(cè)集和訓(xùn)練集的判斷結(jié)果見圖3～5。

由圖3～5可知，顏色特征和形狀特征對(duì)檳榔分級(jí)的影響較大，紋理特征對(duì)其影響較小，但當(dāng)它們各自單獨(dú)作用時(shí)不管是預(yù)測(cè)集，還是訓(xùn)練集的分類的效果都不是很好。因而考慮將各個(gè)特征結(jié)合來，比較各自的識(shí)別率。

圖3　　　　在顏色特征參數(shù)下各等級(jí)檳榔在預(yù)測(cè)集和訓(xùn)練集中的識(shí)別率

Figure 3The recognition rate of Betel Nut of each grade in prediction set and training set which use color feature parameters

圖4　　　　在形狀特征參數(shù)下各等級(jí)檳榔在預(yù)測(cè)集和訓(xùn)練集中的識(shí)別率

Figure 4The recognition rate of Betel Nut of each grade in prediction set and training set which use shape feature parameters

圖5　　　　在紋理特征參數(shù)下各等級(jí)檳榔在預(yù)測(cè)集和訓(xùn)練集中的識(shí)別率

Figure 5The recognition rate of Betel Nut of each grade in prediction set and training set which use texture feature parameters

3.3.2各特征組合后的識(shí)別率將各個(gè)特征參數(shù)進(jìn)行組合，即顏色特征與形狀特征結(jié)合，顏色特征與紋理特征結(jié)合、形狀特征與紋理特征結(jié)合，比較各全特征參數(shù)下各個(gè)組合預(yù)測(cè)集和訓(xùn)練集的識(shí)別率，結(jié)果見圖6～8。

由圖6～8可知，圖6的預(yù)測(cè)集和訓(xùn)練集的識(shí)別率都達(dá)到了比較好的效果，相比之下，圖7、8顯示的檳榔識(shí)別率就略低一點(diǎn)。

結(jié)合顏色特征、形狀特征與紋理特征，在各全特征參數(shù)下，預(yù)測(cè)集和訓(xùn)練集的識(shí)別率結(jié)果見圖9。

由圖9可知，結(jié)合顏色特征、形狀特征與紋理特征，其預(yù)測(cè)集和訓(xùn)練集的識(shí)別率都達(dá)到了比較好的效果。但與圖6比較，它們之間的差別卻不明顯。

圖6　　　　在顏色和形狀特征參數(shù)下各等級(jí)檳榔在預(yù)測(cè)集和訓(xùn)練集中的識(shí)別率

Figure 6The recognition rate of Betel Nut of each grade in prediction set and training set which use color and shape feature parameters

圖7　　　　在顏色和紋理特征參數(shù)下各等級(jí)檳榔在預(yù)測(cè)集和訓(xùn)練集中的識(shí)別率

Figure 7The recognition rate of Betel Nut of each grade in prediction set and training set which use color and texture feature parameters

圖8　　　　在形狀和紋理特征參數(shù)下各等級(jí)檳榔在預(yù)測(cè)集和訓(xùn)練集中的識(shí)別率

Figure 8The recognition rate of Betel Nut of each grade in prediction set and training set which use shape and texture feature parameters

圖9　　　　在所有特征參數(shù)下各等級(jí)檳榔在預(yù)測(cè)集和訓(xùn)練集中的識(shí)別率

Figure 9The recognition rate of Betel Nut of each grade in prediction set and training set which use all feature parameters

3.3.3最佳特征組合在不同主成分下的識(shí)別率綜上所述，當(dāng)選擇顏色和形狀特征時(shí)，預(yù)測(cè)集和訓(xùn)練集的識(shí)別率都較好，再添加紋理特征參數(shù)時(shí)，對(duì)各識(shí)別率的提升不大，且會(huì)增加運(yùn)行時(shí)間。因而僅將顏色和形狀特征參數(shù)帶入模型進(jìn)行運(yùn)算，并對(duì)顏色和形狀特征參數(shù)進(jìn)行主成分分析，在不降低識(shí)別率的情況下簡(jiǎn)化數(shù)據(jù)，提高速度。在選擇顏色和形狀特征下，不同主成分?jǐn)?shù)對(duì)模型預(yù)測(cè)集和訓(xùn)練集的識(shí)別率見圖10～11。

圖10　　　　不同等級(jí)的檳榔在不同主成分?jǐn)?shù)下預(yù)測(cè)集的識(shí)別率

Figure 10The recognition rate of different grades Betel Nut in prediction set which is under the different number of principal component

圖11　　　　不同等級(jí)的檳榔在不同主成分?jǐn)?shù)下訓(xùn)練集的識(shí)別率

Figure 11The recognition rate of different grades Betel Nut in training set which is under the different number of principal component

由圖10、11可知：隨著主成分?jǐn)?shù)的增加，模型的識(shí)別率呈現(xiàn)增加趨勢(shì)，當(dāng)主成分?jǐn)?shù)達(dá)到12后，其識(shí)別率基本趨于恒定狀態(tài)。因?yàn)楫?dāng)主成分?jǐn)?shù)達(dá)到12時(shí)，特征參數(shù)的累計(jì)方差貢獻(xiàn)率為99.745%，這12個(gè)主成分幾乎能全部反映圖像的20個(gè)特征變量的原始信息。且綜合考慮以1、2等級(jí)的識(shí)別率高為主，故將主成分?jǐn)?shù)確定為12。

選擇檳榔顏色和形狀特征共20個(gè)參數(shù)，分別是RGB和HIS各分量的平均灰度值和平均灰度偏差值及檳榔的面積、長(zhǎng)度、寬度、周長(zhǎng)、長(zhǎng)寬比、檳榔面積與最小外接矩形面積的比值、凸性、圓度。根據(jù)上述的主成分分析，圖像特征參數(shù)的最佳主成分?jǐn)?shù)為12。因此，將12個(gè)主成分作為支持向量機(jī)的輸入因子，并選用徑向基函數(shù)作為支持向量機(jī)的核函數(shù)，在核參數(shù)gamma為0.02和Nu為0.05的條件下，進(jìn)行訓(xùn)練建立模型。該模型訓(xùn)練集的識(shí)別結(jié)果見表1，其平均識(shí)別率約為99.86%，模型預(yù)測(cè)集的識(shí)別結(jié)果見表2，其平均識(shí)別率約為96.14%。

表1　檳榔在訓(xùn)練集中的識(shí)別結(jié)果

表2　檳榔在預(yù)測(cè)集中的識(shí)別結(jié)果

4　結(jié)論

本試驗(yàn)應(yīng)用計(jì)算機(jī)視覺技術(shù)并輔以模式識(shí)別對(duì)檳榔分級(jí)進(jìn)行識(shí)別判斷，以4個(gè)等級(jí)的檳榔為研究對(duì)象，對(duì)獲取的圖像提取顏色、形狀和紋理特征，通過試驗(yàn)發(fā)現(xiàn)有顏色和形狀特征即可以獲得較好的識(shí)別率。再對(duì)顏色和形狀特征參數(shù)進(jìn)行主成分分析提取相應(yīng)的主成分輸入到支持向量機(jī)模型對(duì)檳榔進(jìn)行識(shí)別。在模型建立過程中，選取徑向基函數(shù)(RBF)作為核函數(shù)，經(jīng)過主成分分析發(fā)現(xiàn)，主成分?jǐn)?shù)為12時(shí)建立的模型最佳，訓(xùn)練集平均識(shí)別率約為99.86%，預(yù)測(cè)集的平均識(shí)別率約為96.14%。試驗(yàn)結(jié)果表明應(yīng)用根據(jù)檳榔的顏色和形狀特征，采用支持向量機(jī)的模式識(shí)別方法，利用計(jì)算機(jī)視覺技術(shù)將不同等級(jí)的檳榔識(shí)別出來是可行的。該試驗(yàn)為計(jì)算機(jī)視覺技術(shù)對(duì)檳榔的在線分類提供了參考。

[1] 黃麗云, 劉立云, 李艷, 等. 海南主栽檳榔品種鮮果性狀評(píng)價(jià)[J]. 熱帶作物學(xué)報(bào), 2014, 5(2): 313-316.

[2] LIU Tong, XIE Jian-bin, HE Yi-zheng, et al. An automatic classification method for betel nut based on computer vision[C]// Proceedings of the 2009 IEEE International Conference on Robotics and Biomimetics, 19-23 Dec. Guilin: [s. n.], 2009: 1 264-1 267.

[3] 李明, 房俊龍, 喬翊博, 等. 基于機(jī)器視覺黃瓜果實(shí)自動(dòng)分級(jí)方法[J]. 農(nóng)機(jī)化研究, 2016(11): 229-233.

[4] 劉燕德, 鄧清. 高光譜成像技術(shù)在水果無損檢測(cè)中的應(yīng)用[J]. 農(nóng)機(jī)化研究, 2015(7): 227-231, 235.

[5] 施健, 何建國(guó), 張冬, 等. 基于計(jì)算機(jī)視覺鮮棗大小分級(jí)系統(tǒng)研究[J]. 食品與機(jī)械, 2013, 29(5): 134-137.

[6] 紀(jì)濱, 許正華, 胡學(xué)鋼, 等. 基于顏色的食品品質(zhì)檢測(cè)技術(shù)現(xiàn)狀及展望[J]. 食品與機(jī)械, 2013, 29(4): 229-232, 236.

[7] 王養(yǎng)廷. 基于SVM的遙感圖像自動(dòng)分類研究[J]. 計(jì)算機(jī)仿真, 2013, 30(6): 378-381, 385.

[8] LEEMANS V, MAGEIN H, DESTAIN M. Apple shape inspection with computer vision[C]// Proceedings of the FPAC IV Conference. Florida: [s. n.], 1997: 316-327.

[9] 田洪貞. 基于嵌入式系統(tǒng)人臉識(shí)別方法的研究[D]. 青島: 青島科技大學(xué), 2012: 23-38.

[10] 趙杰文, 呼懷平, 鄒小波. 支持向量機(jī)在蘋果分類的近紅外光譜模型中的應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2007(4): 149-152.

[11] 荊園園, 田源. 基于支持向量機(jī)核函數(shù)算法的圖像分割研究[J]. 紅外技術(shù), 2015, 37(3): 234-239.

Study on grading of betel nuts by computer vision

XU Yue-ming1,2CAIJian-rong3GONGYing-hui3

(1.SchoolofBiologicalEngineering,WuhuVocationalTechnicalCollege,Wuhu,Anhui241003,China;2.CollegeofEnvironmentalScienceandEngineering,AnhuiNormalUniversity,Wuhu,Anhui241002,China;3.SchoolofFoodandBiologicalEngineering,JiangsuUniversity,Jiangsu,Zhenjiang212013,China)

Current technologies for grading betel nuts remain rudimentary and heavily rely on manual inspection, which results in no assurance over grading quality. This paper describes a betel nut grading method based on the computer vision technology, which comprises image capture and pre-processing to collect characteristics such as color, shape, and texture. It is observed that combining both color and shape characteristics leads to satisfactory grading results. This method can reach a recognition rate over 90.38% following principle components analysis (PCA) and a support vector machine (SVM) algorithm.

betel nut; computer vision; support vector machine; classification

安徽省自然科學(xué)基金重點(diǎn)項(xiàng)目(編號(hào)：KJ2016A763)；安徽省高等教育振興計(jì)劃重大教學(xué)改革研究項(xiàng)目(編號(hào)：2014zdjy154)；安徽省質(zhì)量工程項(xiàng)目食品技術(shù)人才實(shí)訓(xùn)中心校企合作實(shí)踐教育基地項(xiàng)目(編號(hào)：2013sjjd036)

許月明，女，蕪湖職業(yè)技術(shù)學(xué)院副教授，碩士。

蔡健榮(1966—)，男，江蘇大學(xué)教授，博士，博士生導(dǎo)師。E-mail: jrcai@ujs.edu.cn

2016-05-06

10.13652/j.issn.1003-5788.2016.08.022