雷歡 焦?jié)申?馬敬奇 吳亮生,2 鐘震宇

基于多特征融合與SVM的蘋(píng)果品種快速識(shí)別算法

雷歡1焦?jié)申?馬敬奇1吳亮生1,2鐘震宇1

（1.廣東省智能制造研究所 廣東省現(xiàn)代控制技術(shù)重點(diǎn)實(shí)驗(yàn)室，廣東 廣州 510070 2.仲愷農(nóng)業(yè)工程學(xué)院，廣東 廣州 510225）

為快速無(wú)接觸地識(shí)別蘋(píng)果品種，采用機(jī)器視覺(jué)方式，提出基于多特征融合與SVM的蘋(píng)果品種快速識(shí)別算法。首先，基于HSV和La*b*顏色空間提取僅含色度信息的H，S，a*，b*分量，通過(guò)直方圖變換得到蘋(píng)果顏色特征，同時(shí)考慮蘋(píng)果表皮局部與全局紋理特性，研究基于GLCM與LBP的蘋(píng)果紋理特征描述子，并通過(guò)串接方式進(jìn)行顏色與紋理特征融合，實(shí)現(xiàn)不同品種蘋(píng)果表面特征的準(zhǔn)確描述；然后，構(gòu)建基于SVM的蘋(píng)果品種識(shí)別模型，并根據(jù)樣本特征量?jī)?yōu)選線性核函數(shù)，實(shí)現(xiàn)蘋(píng)果品種的快速準(zhǔn)確識(shí)別；最后，通過(guò)實(shí)驗(yàn)驗(yàn)證，該算法兼顧精度和實(shí)時(shí)性，在測(cè)試集上平均準(zhǔn)確率達(dá)94.0%，且推理時(shí)間僅2 ms，具有較高的實(shí)用價(jià)值。

顏色與紋理特征；支持向量機(jī)；蘋(píng)果品種快速識(shí)別

0　引言

我國(guó)蘋(píng)果產(chǎn)量居世界首位，也是我國(guó)熱銷的水果之一，其果實(shí)富含礦物質(zhì)和維生素。然而蘋(píng)果品種繁多，不同品種的蘋(píng)果栽培環(huán)境、貯藏條件及價(jià)格差別較大，且部分蘋(píng)果品種的成熟期、顏色、大小及口感等較接近，對(duì)于非專業(yè)人員而言很難辨別清楚[1]。為推進(jìn)蘋(píng)果產(chǎn)業(yè)標(biāo)準(zhǔn)化、規(guī)?；?、智能化生產(chǎn)經(jīng)營(yíng)水平，提高蘋(píng)果供應(yīng)能力及果實(shí)優(yōu)質(zhì)率，亟需研究一種實(shí)時(shí)、高效的蘋(píng)果品種無(wú)損識(shí)別方法。

近年來(lái)，國(guó)內(nèi)外研究者針對(duì)蘋(píng)果品種分類問(wèn)題在可見(jiàn)/近紅外光譜技術(shù)[1-2]、電子鼻技術(shù)[3-4]等方面開(kāi)展了相關(guān)研究。如，尚靜等[2]采用光譜技術(shù)建立基于K最近鄰和偏最小二乘判別分析的蘋(píng)果品種識(shí)別模型，實(shí)現(xiàn)了冰糖心、嘎啦和山東富士3種蘋(píng)果的有效判別；鄒小波等[3]采用電子鼻技術(shù)，提出基于小波去噪和支持向量機(jī)（support vector machines, SVM）的蘋(píng)果品種識(shí)別方法，實(shí)現(xiàn)了富士、花牛和姬娜3種不同品種蘋(píng)果氣味的區(qū)分。隨著人工智能技術(shù)的快速發(fā)展，機(jī)器視覺(jué)在使用便捷性、設(shè)備成本和檢測(cè)實(shí)時(shí)性等方面表現(xiàn)出明顯優(yōu)勢(shì)，已廣泛應(yīng)用于果實(shí)采摘檢測(cè)[5]、果實(shí)品質(zhì)檢測(cè)[6]、果實(shí)識(shí)別與估產(chǎn)[7-8]等領(lǐng)域。而目前采用視覺(jué)圖像與機(jī)器學(xué)習(xí)方法來(lái)識(shí)別蘋(píng)果品種的研究鮮有報(bào)道。

為此，本文基于機(jī)器視覺(jué)與圖像處理理論，提出一種基于多特征融合與SVM的蘋(píng)果品種快速識(shí)別算法。根據(jù)蘋(píng)果不同品種的顏色和紋理差異，提取HSV和La*b*空間的顏色直方圖特征；融合局部紋理與統(tǒng)計(jì)紋理特征，建立基于SVM的蘋(píng)果品種識(shí)別模型；綜合比較不同算法的識(shí)別效果，為機(jī)器視覺(jué)技術(shù)在農(nóng)業(yè)水果無(wú)損檢測(cè)與品種判別的應(yīng)用提供借鑒參考。

1　實(shí)驗(yàn)材料與方法

1.1 實(shí)驗(yàn)材料

本文實(shí)驗(yàn)蘋(píng)果數(shù)據(jù)選自kaggle上的Fruits-360水果數(shù)據(jù)集[9]，包含4個(gè)蘋(píng)果品種：布瑞本、金冠、澳洲青蘋(píng)和蛇果。其中，訓(xùn)練集樣本圖像2013張，含布瑞本492張、金冠539張、澳洲青蘋(píng)492張和蛇果490張；測(cè)試集樣本圖像660張，含布瑞本164張、金冠166張、澳洲青蘋(píng)164張和蛇果166張。為更準(zhǔn)確地評(píng)價(jià)模型識(shí)別性能，從bing網(wǎng)站下載135張圖像，包括布瑞本33張、金冠30張、澳洲青蘋(píng)34張和蛇果38張，并將其添加至原測(cè)試集，形成實(shí)驗(yàn)數(shù)據(jù)集，如圖1所示。

圖1 實(shí)驗(yàn)數(shù)據(jù)集示例樣本圖像

1.2 實(shí)驗(yàn)方法

蘋(píng)果品種識(shí)別算法流程如圖2所示，主要包括蘋(píng)果顏色和紋理特征提取、模型訓(xùn)練與識(shí)別構(gòu)建2部分。首先，提取蘋(píng)果訓(xùn)練集圖像的顏色特征即H，S，a*和b*分量直方圖特征，以及紋理特征即灰度共生矩陣（gray-level co-occurrence matrix, GLCM）的統(tǒng)計(jì)紋理特征和局部二值模式（pattern local binary pattern, LBP）紋理特征，通過(guò)特征串接融合形成蘋(píng)果判別特征向量；然后，構(gòu)建SVM的分類模型，通過(guò)蘋(píng)果特征學(xué)習(xí)訓(xùn)練，實(shí)現(xiàn)蘋(píng)果品種識(shí)別。

圖2 蘋(píng)果品種識(shí)別算法流程

1.2.1 特征提取

不同品種的蘋(píng)果通常呈現(xiàn)不同的顏色和紋理特征。如，布瑞本多呈紅色或橙紅色，有紅黃相間的細(xì)小顆粒和條紋；金冠蘋(píng)果成熟后表面金黃色中透紅暈，光澤鮮亮；澳洲青蘋(píng)果皮光滑，呈翠綠色，有白色細(xì)小斑點(diǎn)；蛇果果體棱角明顯，多呈鮮紅或暗紅色，伴有斷續(xù)紅條紋或紫紅粗條紋。本文以蘋(píng)果的顏色和紋理信息為特征，為模型訓(xùn)練和判別提供可靠數(shù)據(jù)來(lái)源，實(shí)現(xiàn)蘋(píng)果品種準(zhǔn)確判別。

1）顏色特征提取

為降低環(huán)境亮度對(duì)顏色特征提取的干擾，將圖像從RGB空間轉(zhuǎn)為HSV和La*b*空間。選擇HSV空間的色調(diào)H、飽和度S分量以及La*b*空間的a*，b*分量，通過(guò)H，S，a*和b*分量直方圖計(jì)算，獲得蘋(píng)果圖像的顏色特征，如圖3所示。

圖3 不同品種蘋(píng)果的各通道顏色直方圖

2）紋理特征提取

為充分挖掘不同品種蘋(píng)果的紋理信息，提取灰度共生矩陣的統(tǒng)計(jì)紋理特征和局部二值模式紋理特征。

① 對(duì)比度，可度量圖像矩陣的分布和圖像局部變化，反映蘋(píng)果圖像清晰度和紋理的溝紋深淺；

式中= 16，表示圖像的灰度等級(jí)。

② 能量，反映蘋(píng)果圖像灰度分布均勻程度和紋理粗細(xì)度，紋理越細(xì)，能量越?。?/p>

③ 熵，反映蘋(píng)果表面紋理分布的不均勻性或復(fù)雜程度，熵值越大，圖像紋理越復(fù)雜；

④ 逆方差，反映蘋(píng)果表面紋理局部變化，變化緩慢，則逆方差值相對(duì)較大；

⑤ 相關(guān)性，反映蘋(píng)果圖像局部灰度相關(guān)性，蘋(píng)果圖像紋理的一致性越強(qiáng)，其相關(guān)性值越大；

綜合考慮LBP局部紋理特征和GLCM統(tǒng)計(jì)紋理特征，既可避免LBP特征降維帶來(lái)的損失，又能準(zhǔn)確充分表征蘋(píng)果表面紋理分布特點(diǎn)，有助于提高蘋(píng)果品種分類魯棒性。

1.2.2 基于SVM的蘋(píng)果品種識(shí)別模型

通過(guò)串聯(lián)連接方式將H，S，a*和b*分量直方圖特征、LBP局部紋理特征和GLCM統(tǒng)計(jì)紋理特征進(jìn)行融合，形成表征蘋(píng)果顏色和紋理信息的特征向量。通過(guò)定義線性最優(yōu)超平面，將蘋(píng)果品種分類問(wèn)題轉(zhuǎn)化為確定超平面的優(yōu)化問(wèn)題。

SVM在解決小樣本、非線性及高維模式識(shí)別中具有較多優(yōu)勢(shì)[12]，最為關(guān)鍵的是引入核函數(shù)。通過(guò)核函數(shù)可避免高維變換，直接利用低維度數(shù)據(jù)代入核函數(shù)來(lái)等價(jià)高維度向量的內(nèi)積，并通過(guò)低維度數(shù)據(jù)非線性映射到高維空間，可將低維空間線性不可分的模式轉(zhuǎn)為高維空間線性可分問(wèn)題。

1）SVM分類器構(gòu)建

分類器目標(biāo)即找到一個(gè)分類錯(cuò)誤率最小的最優(yōu)超平面，可得到以下優(yōu)化問(wèn)題：

式中，為懲罰系數(shù)。

2）核函數(shù)的選擇

SVM算法應(yīng)用過(guò)程中，核函數(shù)的選擇對(duì)分類性能起重要作用，其表達(dá)式為

常用核函數(shù)有線性核、多項(xiàng)式核、RBF核及Sigmoid核。由于樣本特征含顏色和紋理信息，其中H直方圖特征360個(gè)；S，a*和b*直方圖特征均為256個(gè)；GLCM紋理特征20個(gè)（考慮0°，45°，90°和135°四個(gè)角度）；LBP紋理特征256個(gè)，總計(jì)1404個(gè)特征。樣本特征量較大，接近訓(xùn)練樣本集數(shù)目，故利用非線性核函數(shù)并不能提高分類器的性能，且需經(jīng)過(guò)繁瑣的調(diào)參過(guò)程以尋找最優(yōu)參數(shù)。為簡(jiǎn)化計(jì)算，提高分類器實(shí)時(shí)性，采用線性核函數(shù)，公式為

2　實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)在Windows10操作系統(tǒng) Visual Studio Code環(huán)境下，基于python-opencv和skimage開(kāi)源庫(kù)，采用python語(yǔ)言編程完成。硬件配置：Intel(R) Core(TM) i7-9750H；16.0 GB內(nèi)存；Nvidia Geforce GTX 1660 Ti。

訓(xùn)練集中2013張?zhí)O果樣本圖像經(jīng)過(guò)H，S，a*和b*顏色直方圖特征、GLCM統(tǒng)計(jì)紋理特征與LBP局部紋理特征提取后，輸入線性SVM模型進(jìn)行訓(xùn)練，迭代次數(shù)為3000次，懲罰系數(shù)設(shè)為1，獲得的蘋(píng)果品種識(shí)別模型在測(cè)試集上取得較好效果，如表1所示。4種蘋(píng)果的識(shí)別準(zhǔn)確率均大于91%；平均準(zhǔn)確率為94.0%；平均召回率為94.6%。其混淆矩陣如圖4所示，其中0為布瑞本、1為金冠、2為澳洲青蘋(píng)、3為蛇果。

表1 測(cè)試集預(yù)測(cè)結(jié)果統(tǒng)計(jì)表

圖4 測(cè)試集預(yù)測(cè)混淆矩陣圖

為進(jìn)一步準(zhǔn)確評(píng)價(jià)該算法的識(shí)別性能，開(kāi)展基于顏色和紋理單一或組合特征下K最近鄰（K-Nearest Neighbor，KNN）與SVM分類方法在測(cè)試集上對(duì)蘋(píng)果品種識(shí)別的實(shí)驗(yàn)，結(jié)果如表2所示。從算法識(shí)別性能和實(shí)時(shí)性來(lái)看：本文算法的表現(xiàn)均最佳，基于單一顏色或紋理特征的識(shí)別算法的平均準(zhǔn)確率和召回率均較低。在紋理和顏色組合特征下，KNN表現(xiàn)較好，其平均準(zhǔn)確率略低于本文算法，但推理時(shí)間需50 ms，是本文算法的25倍。RBF-SVM的精度與本文算法較接近，但其平均訓(xùn)練和推理時(shí)間相對(duì)較高，這可能是由于樣本特征量較大利用線性核函數(shù)可取得較優(yōu)性能，而無(wú)需轉(zhuǎn)化至高維空間。

表2 不同算法對(duì)比實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)表

綜上所述，基于多特征融合與SVM的蘋(píng)果品種快速識(shí)別算法識(shí)別性能表現(xiàn)優(yōu)異，且算法復(fù)雜度較低，訓(xùn)練時(shí)間僅3.4 ms，同時(shí)推理時(shí)間僅2 ms，具有很好的實(shí)時(shí)性，在蘋(píng)果品種識(shí)別方面具有較高的應(yīng)用價(jià)值。

3　結(jié)語(yǔ)

本文提出基于多特征融合與SVM的蘋(píng)果品種快速分類算法。首先，基于kaggle 中Fruits-360的蘋(píng)果數(shù)據(jù)集，及bing網(wǎng)隨機(jī)下載的蘋(píng)果數(shù)據(jù)，構(gòu)建了蘋(píng)果品種分類數(shù)據(jù)集；然后，根據(jù)不同品種蘋(píng)果表皮特點(diǎn)，提取H，S，a*和b*直方圖特征、GLCM統(tǒng)計(jì)紋理特征與LBP局部紋理特征，并通過(guò)串接方式進(jìn)行特征融合；最后，構(gòu)建基于SVM的蘋(píng)果品種識(shí)別模型，并根據(jù)樣本特征量?jī)?yōu)選線性核函數(shù)。該算法兼顧了準(zhǔn)確率和實(shí)時(shí)性，實(shí)現(xiàn)了蘋(píng)果品種的快速準(zhǔn)確識(shí)別，具有較高的實(shí)用價(jià)值。

[1] 尚靜,張艷,孟慶龍.光譜技術(shù)結(jié)合化學(xué)計(jì)量學(xué)識(shí)別蘋(píng)果品種[J].北方園藝, 2019(16):66-71.

[2] 尚靜,張艷,孟慶龍.可見(jiàn)/近紅外光譜技術(shù)無(wú)損識(shí)別蘋(píng)果品種的研究[J].保鮮與加工, 2019,19(3):8-14.

[3] 鄒小波,趙杰文.基于小波去噪和支持向量機(jī)的蘋(píng)果品種識(shí)別法[J].儀器儀表學(xué)報(bào), 2007,28(3):534-538.

[4] 潘胤飛.基于非線性模式識(shí)別的電子鼻技術(shù)在蘋(píng)果分類中的應(yīng)用[D].鎮(zhèn)江:江蘇大學(xué),2003.

[5] Zhuang J J, Luo S M, Hou C J, et al. Detection of orchard citrus fruits using a monocular machine vision-based method for automatic fruit picking applications[J]. Computers and Electronics in Agriculture, 2018, 152: 64-73.

[6] 熊俊濤,鄒湘軍,劉念,等.基于機(jī)器視覺(jué)的荔枝果實(shí)采摘時(shí)品質(zhì)檢測(cè)技術(shù)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2014,45(7):54-60.

[7] 荊偉斌,胡海棠,程成,等.基于深度學(xué)習(xí)的地面蘋(píng)果識(shí)別與計(jì)數(shù)[J].江蘇農(nóng)業(yè)科學(xué),2020,48(5):210-219.

[8] 袁明新,于洪濤,江亞峰,等.聯(lián)合遷移學(xué)習(xí)和自適應(yīng)學(xué)習(xí)率的蘋(píng)果成熟度識(shí)別[J].中國(guó)農(nóng)機(jī)化學(xué)報(bào),2019,40(11):131-135.

[9] Mihai O. Fruits 360 : A dataset of images containing fruits and vegetables[EB/OL]. https://www.kaggle.com/moltean/fruits, 2020-05-18.

[10] 陳旭,解天祺.基于B-CLBP和GLCM特征的紋理材質(zhì)分類[J].計(jì)算機(jī)應(yīng)用與軟件, 2020,37(6): 242-246.

[11] Tajeripour F, Kabir E, Sheikhi A. Defect detection in patterned fabrics using modified local binary patterns[C]//International Conference on Computational Intelligence and Multimedia Applications. IEEE, 2007: 261-267．

[12] 朱芳,趙慶平,王江濤.基于RBF核的SVM分類應(yīng)用研究[J]. 唐山學(xué)院學(xué)報(bào), 2017, 30(3):13-17,39.

Fast Recognition Algorithm of Apple Varieties Based on Multi Feature Fusion and SVM

Lei Huan1Jiao Zeyu1Ma Jingqi1Wu Liangsheng1, 2Zhong Zhenyu1

(1.Guangdong Institute of Intelligent Manufacturing, Guangdong Key Laboratory of Modern Control Technology, Guangzhou 510070, China 2.Zhongkai University of Agriculture and Engineering, Guangzhou 510225, China)

In order to identify apple varieties quickly and contactless, a fast classification algorithm based on multi feature fusion and SVM is proposed by using machine vision. Firstly, based on HSV and La * b * color space, the H, S, a * and b * components with only chromaticity information are extracted, and the color features of apple are obtained by histogram transformation. Considering the local and global texture characteristics of apple skin, the apple texture feature descriptors based on GLCM and LBP are studied, and the color and texture features are fused by concatenation to realize the accurate description of the surface features of different apple varieties. Then, an apple variety recognition model based on SVM is constructed, and the linear kernel function is selected according to the features number of training samples to realize the fast and accurate apple variety recognition. The experimental results show that the algorithm takes into account both accuracy and real-time performance, with an average accuracy of 94.0% in the test set, and its recognition time is only 2 ms, which has a high practical value.

color and texture features; support vector machine; apple variety fast recognition

雷歡，男，1987年生，碩士，主要研究方向：機(jī)器視覺(jué)、人工智能。

焦?jié)申?，男?991年生，博士，主要研究方向：機(jī)器視覺(jué)、人工智能。

馬敬奇，男，1988年生，碩士，主要研究方向：機(jī)器視覺(jué)、人工智能。

吳亮生（通信作者），男，1987年生，在讀碩士，主要研究方向：機(jī)器視覺(jué)、人工智能。E-mail: 478908734@qq.com

鐘震宇，男，1971年生，博士，主要研究方向：運(yùn)動(dòng)控制與機(jī)器視覺(jué)。

S24

A

1674-2605(2020)04-0003-05

10.3969/j.issn.1674-2605.2020.04.003