蔡浩，郭宏亮

(吉林農(nóng)業(yè)大學(xué)信息技術(shù)學(xué)院，長(zhǎng)春市，130118)

0 引言

我國(guó)是水果產(chǎn)量大國(guó)，生產(chǎn)的水果種類(lèi)繁多，生產(chǎn)總量占全世界的18%左右[1]。傳統(tǒng)的水果分類(lèi)是通過(guò)人工方式進(jìn)行的，這種方式不僅效率低，而且消耗大量勞動(dòng)力資源[2]。隨著圖像處理和機(jī)器視覺(jué)技術(shù)的發(fā)展，國(guó)內(nèi)外很多學(xué)者提出利用農(nóng)產(chǎn)品的各類(lèi)特征對(duì)農(nóng)產(chǎn)品進(jìn)行識(shí)別。趙玲等[3]通過(guò)提取草莓圖像在HIS顏色空間模型下的H分量的均值和方差，并結(jié)合草莓紅色著色面積比，使用BP神經(jīng)網(wǎng)絡(luò)識(shí)別草莓的成熟等級(jí)，識(shí)別準(zhǔn)確率達(dá)到90%。但是使用圖像的單特征并不能充分的描述圖像信息，識(shí)別結(jié)果會(huì)產(chǎn)生一定的誤差。Biswas等[4]在提取蔬菜顏色、形狀、紋理等特征的基礎(chǔ)上建立分類(lèi)器實(shí)現(xiàn)蔬菜的自動(dòng)分類(lèi)，試驗(yàn)表明該方法取得了較高的分類(lèi)精度。陶華偉等[5]提出了一種利用顏色完全局部二值模式提取的圖像紋理特征并結(jié)合圖像顏色特征，采用匹配得分融合算法將圖像顏色和紋理特征融合，使用最近鄰分類(lèi)器實(shí)現(xiàn)果蔬農(nóng)產(chǎn)品的分類(lèi)，該方法能夠?qū)崿F(xiàn)對(duì)果蔬農(nóng)產(chǎn)品的精確識(shí)別。Arivazhagan等[6]將HSV顏色空間中的H、S統(tǒng)計(jì)直方圖作為顏色特征，將小波域中的自相關(guān)矩陣作為紋理特征進(jìn)行果蔬識(shí)別。陳雪鑫等[7]提出了一種基于多顏色特征和紋理特征的水果識(shí)別算法，該方法對(duì)水果圖像的識(shí)別率可達(dá)90%以上。但是以上方法都采用了單個(gè)分類(lèi)器對(duì)水果種類(lèi)進(jìn)行識(shí)別，這將導(dǎo)致識(shí)別不均衡問(wèn)題，造成識(shí)別的正確率降低。而融合多個(gè)分類(lèi)器的識(shí)別結(jié)果，將多個(gè)分類(lèi)器進(jìn)行融合得到的最終識(shí)別結(jié)果，不僅可以提高識(shí)別準(zhǔn)確率，同時(shí)有效的結(jié)合了各個(gè)分類(lèi)器的優(yōu)勢(shì)，解決各分類(lèi)器的識(shí)別不均衡問(wèn)題。

本文提出了一種結(jié)合多種分類(lèi)器，利用DS證據(jù)理論對(duì)多種分類(lèi)器進(jìn)行融合的水果識(shí)別方法，均衡有效地實(shí)現(xiàn)了對(duì)水果種類(lèi)的識(shí)別。相對(duì)于單分類(lèi)器的識(shí)別，在識(shí)別準(zhǔn)確率和穩(wěn)定性上有明顯提高。

1 試驗(yàn)材料

本文選取了香蕉、蘋(píng)果、桃子、草莓、梨5種水果圖像為研究對(duì)象，數(shù)據(jù)來(lái)源于kaggle上的fruits360數(shù)據(jù)集，在fruits360的訓(xùn)練集上每類(lèi)水果選取了30幅，共150幅作為訓(xùn)練集。在fruits360的測(cè)試集上每類(lèi)水果選取了50幅，共250幅用來(lái)測(cè)試準(zhǔn)確率。又在fruits360的測(cè)試集上選取了10組測(cè)試集圖像，每組20幅，共200幅用來(lái)測(cè)試穩(wěn)定性。本試驗(yàn)5種水果的測(cè)試集和訓(xùn)練集共600幅樣本，部分樣本集如圖1所示。

(a) 桃子

(b) 香蕉

(c) 杏子

(d) 蘋(píng)果

(e) 荔枝

2 圖像處理與特征提取

2.1 圖像預(yù)處理

圖像在采集的過(guò)程中，會(huì)受環(huán)境及采集設(shè)備的影響，而產(chǎn)生噪聲。噪聲會(huì)降低信噪比，對(duì)后期圖像特征的提取造成影響。中值濾波[8]是一種簡(jiǎn)單的去噪方法，能夠在有效去除噪聲的同時(shí)保留圖像的細(xì)節(jié)，突出邊緣信息。

經(jīng)過(guò)多次試驗(yàn)后發(fā)現(xiàn)，圖像選用在3×3中值濾波模板上處理的圖像效果最好。通過(guò)預(yù)處理后的圖像結(jié)果如圖2所示。

(a) 灰度化后的圖像

(b) 中值濾波后的圖像

2.2 特征提取

2.2.1 顏色特征提取

不同的水果種類(lèi)的外觀變化明顯[9]，水果圖像的顏色特征能很好的反映出水果的種類(lèi)，是對(duì)水果種類(lèi)進(jìn)行區(qū)分的重要特征之一。表達(dá)顏色特征的特征參數(shù)有很多，不同的特征參數(shù)適用于不同的領(lǐng)域。而特征參數(shù)的描述需要基于對(duì)應(yīng)的顏色空間模型，常用的顏色空間模型包括RGB模型、HIS模型、HSB模型等。相比于RGB模型，HIS模型更符合人眼的感知習(xí)慣，對(duì)光照影響的抗干擾性強(qiáng)，而且HIS模型比RGB模型的維度更低，所以表明HIS模型要優(yōu)于RGB模型。所以本文選用在HIS模型下對(duì)水果圖像的顏色特征進(jìn)行提取。

顏色矩[10]是一種常見(jiàn)的顏色特征表達(dá)方法，而且圖像的顏色特征信息主要分布在其低階矩，所以本文采用在HIS模型下提取的各個(gè)通道的一階矩(均值，mean)、二階矩(方差，variance)、三階矩(斜度，skewness)，共9個(gè)參數(shù)作為水果圖像的顏色特征參數(shù)。三個(gè)顏色矩的數(shù)學(xué)公式[11]如式(1)所示。

(1)

式中:pi,j——彩色圖像第j個(gè)像素的第i個(gè)顏色分量；

N——圖像中的像素個(gè)數(shù)。

2.2.2 紋理特征提取

紋理特征[12]是對(duì)圖像空間分布特征和圖像區(qū)域內(nèi)像素變化的一種描述，其中包含了大量的像素空間分布信息?；叶裙采仃囀荹13]一種常見(jiàn)的紋理特征統(tǒng)計(jì)方法，是對(duì)區(qū)域內(nèi)像素灰度級(jí)空間相關(guān)性的一種描述。本文選用灰度共生矩陣上的能量、熵、相關(guān)性、對(duì)比度這4個(gè)參數(shù)作為圖像在紋理特征上的特征參數(shù)。其計(jì)算公式參考文獻(xiàn)[14]。

2.2.3 形狀特征提取

圖像的形狀特征能夠很好地描述圖像的輪廓信息以及區(qū)域信息[15]。本文采用輪廓信息作為圖像的形狀特征參數(shù)。首先將原圖轉(zhuǎn)換成灰度圖像，再選擇合適的灰度閾值將圖像轉(zhuǎn)化成二值圖像，最后通過(guò)邊緣提取算法提取圖像的邊緣。本試驗(yàn)采用的灰度閾值為210，采用的邊緣提取方法為canny算子，提取之后的圖像如圖3所示。再根據(jù)所提取到的圖像輪廓計(jì)算輪廓的圓形度S1、矩形度S2、伸長(zhǎng)度S3、形狀復(fù)雜度S4這4個(gè)參數(shù)作為圖像的形狀特征參數(shù)[16]。其計(jì)算公式如式(2)～式(5)所示。

S1=4πA/P2

(2)

S2=A/(H×W)

(3)

S3=P2/A

(4)

S4=H/W

(5)

式中:A——輪廓區(qū)域內(nèi)面積；

P——周長(zhǎng)；

H——與輪廓區(qū)域具有相同標(biāo)準(zhǔn)的二階中心矩的橢圓長(zhǎng)軸長(zhǎng)度；

W——與輪廓區(qū)域具有相同標(biāo)準(zhǔn)的二階中心矩的橢圓短軸長(zhǎng)度。

(a) 二值化后的圖像

(b) 邊緣提取后的圖像

3 基于多分類(lèi)器DS融合

3.1 DS證據(jù)理論

證據(jù)理論[17]是由Dempster在1967年提出，而后由他的學(xué)生Shafer完善的一種處理不確定性問(wèn)題的理論。DS證據(jù)理論是一種解決多種數(shù)據(jù)融合的方法，被廣泛的應(yīng)用于決策融合和信息融合上。DS證據(jù)理論主要包括識(shí)別框架，基本概率分配函數(shù)、信任函數(shù)、似然函數(shù)等。

DS證據(jù)理論中的識(shí)別框架是不確定性問(wèn)題的所有可能性的集合，常用Θ來(lái)表示。識(shí)別框架內(nèi)的元素之間互斥。它的冪集是2Θ,表示所有可能的問(wèn)題組合，但本文的識(shí)別結(jié)果具有原子性和唯一性。所以本文中所有可能的結(jié)果只有5種，并不討論冪集的情況。

DS證據(jù)理論針對(duì)識(shí)別框架中的每一種可能的結(jié)果都分配了概率，稱(chēng)為基本概率分配(BPA，Basic Probability Assignment)或者稱(chēng)之為基本置信分配(BBA，Basic Belief Assignment)。一般將基本概率分配函數(shù)稱(chēng)為mass函數(shù)，常用m來(lái)表示此函數(shù)。mass函數(shù)在識(shí)別框架的冪集2Θ滿(mǎn)足式(6)。

(6)

式中:U——冪集上的任意一個(gè)子集；

m(U)——U的基本概率分配函數(shù)。

DS證據(jù)理論中對(duì)命題多個(gè)證據(jù)的融合規(guī)則稱(chēng)為DS證據(jù)理論的融合，Dempster合成法則，也稱(chēng)證據(jù)合成公式是DS證據(jù)理論的核心，基于這一法則，多個(gè)獨(dú)立證據(jù)m1,m2,m3的合成結(jié)果為公式(7)。

(7)

式中:m——基本概率分配函數(shù)；

K——多個(gè)獨(dú)立證據(jù)m1,m2,m3的沖突程度。

3.2 構(gòu)建BPA函數(shù)

DS證據(jù)理論融合的前提是獲取BPA函數(shù)，即mass函數(shù)，它表示的是證據(jù)對(duì)每種可能產(chǎn)生的結(jié)果的支持度[18]。本文中指的是BP神經(jīng)網(wǎng)絡(luò)模型、K均值分類(lèi)模型、SVM分類(lèi)模型對(duì)5種水果分類(lèi)結(jié)果的支持度。

本文首先對(duì)訓(xùn)練集上的三種特征參數(shù)進(jìn)行訓(xùn)練確定這三種分類(lèi)模型，然后利用這三種分類(lèi)模型對(duì)樣本集進(jìn)行測(cè)試，求得三種分類(lèi)器對(duì)5種水果的識(shí)別準(zhǔn)確率，并結(jié)合被測(cè)樣本的識(shí)別結(jié)果，通過(guò)全概率公式進(jìn)行融合得到各分類(lèi)器對(duì)5種水果識(shí)別結(jié)果的支持度，通過(guò)歸一化后可得到BPA函數(shù)。

利用構(gòu)建的BPA對(duì)水果種類(lèi)識(shí)別的算法流程如圖4所示。

圖4 算法流程圖Fig. 4 Algorithm flow chart

主要有以下幾個(gè)步驟。

第一，設(shè)Fi(i=1,2,3)分別表示BP神經(jīng)網(wǎng)絡(luò)分類(lèi)模型、K均值分類(lèi)模型、SVM分類(lèi)模型。將j(j=1,2,3,4,5)類(lèi)水果圖像樣本集特征向量分別輸入到這三種分類(lèi)器中，求得i類(lèi)分類(lèi)器對(duì)j類(lèi)水果的識(shí)別準(zhǔn)確率為Pi j。

第二，引入被測(cè)水果圖像，在三種分類(lèi)器上分別進(jìn)行識(shí)別，得到的識(shí)別結(jié)果為Ri(Ri=1或Ri=0)，當(dāng)Ri=1時(shí)，表示識(shí)別結(jié)果是j類(lèi)水果，Ri=0時(shí)，表示識(shí)別結(jié)果不是j類(lèi)水果。然后通過(guò)全概率理論公式可以初步得到i類(lèi)分類(lèi)器對(duì)j類(lèi)水果識(shí)別結(jié)果的支持度，具體公式如式(8)所示。

mi j=Pi j×Ri+(1-Pi j)×(1-Ri)

(8)

式中:P——識(shí)別準(zhǔn)確率；

R——識(shí)別結(jié)果。

第三，根據(jù)BPA在識(shí)別框架冪集上的三種分類(lèi)器模型的信度之和等于1的特點(diǎn)，可以將式(8)歸一化，歸一化后的公式可以表示為式(9)。

(9)

根據(jù)式(9)可以得到各種分類(lèi)器對(duì)每種水果的信度值。通過(guò)DS整理理論融合規(guī)則和信度規(guī)則得到被測(cè)圖像的識(shí)別結(jié)果。

3.3 DS證據(jù)合成和決策級(jí)融合

利用BP神經(jīng)網(wǎng)絡(luò)分類(lèi)模型、K均值分類(lèi)模型和SVM分類(lèi)模型在5種水果上的BPA函數(shù)，對(duì)水果種類(lèi)進(jìn)行識(shí)別主要分為兩個(gè)步驟。

第一，將各水果上三種分類(lèi)器的BPA函數(shù)，通過(guò)DS融合規(guī)則進(jìn)行融合，得到各水果分類(lèi)識(shí)別結(jié)果的聯(lián)合信度。

第二，根據(jù)信度規(guī)則來(lái)對(duì)水果種類(lèi)實(shí)現(xiàn)最終的識(shí)別。

設(shè)最終識(shí)別的水果種類(lèi)的聯(lián)合信度為l，則l應(yīng)滿(mǎn)足以下信度規(guī)則。

1)l為5種水果聯(lián)合信度值的最大值。

2)l的值必須大于閾值x。

3)l與其他4種水果的聯(lián)合信度的差值總大于閾值y。

4) 若以上條件均不滿(mǎn)足，則輸出識(shí)別結(jié)果為“不確定水果類(lèi)型”。

本文經(jīng)過(guò)多次試驗(yàn)，將x和y的值確定為0.83和0.52。

4 試驗(yàn)與結(jié)果分析

4.1 融合多分類(lèi)器水果識(shí)別試驗(yàn)

為了驗(yàn)證本文提出的模型算法對(duì)5種水果種類(lèi)識(shí)別的有效性，針對(duì)上述算法在MATLAB上進(jìn)行了仿真試驗(yàn)驗(yàn)證。本試驗(yàn)以DS融合系統(tǒng)為主模塊，三種分類(lèi)模型系統(tǒng)為子模塊，最終實(shí)現(xiàn)對(duì)被測(cè)圖像的識(shí)別。該試驗(yàn)的系統(tǒng)流程結(jié)構(gòu)如圖5所示。

試驗(yàn)主要分為以下幾個(gè)步驟。

1) 首先，對(duì)采集到的水果圖像進(jìn)行預(yù)處理和特征提取。

2) 利用訓(xùn)練集特征集，得到BP神經(jīng)網(wǎng)絡(luò)分類(lèi)模型、K均值分類(lèi)模型、SVM分類(lèi)模型的模型參數(shù)，構(gòu)建三種分類(lèi)器模型。

3) 根據(jù)這三種分類(lèi)器模型，對(duì)樣本集進(jìn)行測(cè)試，得到各個(gè)分類(lèi)器對(duì)各類(lèi)水果分類(lèi)的識(shí)別準(zhǔn)確率。

4) 分別使用這三種分類(lèi)模型對(duì)被測(cè)圖像進(jìn)行識(shí)別，根據(jù)式(7)將識(shí)別結(jié)果和各分類(lèi)器的平均識(shí)別準(zhǔn)確率進(jìn)行融合，得到各分類(lèi)器對(duì)不同水果的基本概率密度函數(shù)(BPA)，即信任度。

5) 在DS融合系統(tǒng)中進(jìn)行多分類(lèi)器在各水果上的信度融合，得到待測(cè)圖像為j類(lèi)水果的聯(lián)合信度。

6) 最后根據(jù)信度規(guī)則，對(duì)待測(cè)圖像進(jìn)行識(shí)別。

圖5 系統(tǒng)流程結(jié)構(gòu)圖Fig. 5 System flow structure diagram

4.2 試驗(yàn)結(jié)果與分析

本文將采集到的5種水果圖像集，按照?qǐng)D5的流程進(jìn)行試驗(yàn)，本文使用5種水果圖像的測(cè)試集進(jìn)行了模型測(cè)試。

試驗(yàn)的測(cè)試結(jié)果如表1所示，試驗(yàn)對(duì)比了BP神經(jīng)網(wǎng)絡(luò)分類(lèi)模型、K均值分類(lèi)模型、SVM分類(lèi)模型和多分類(lèi)器融合模型在測(cè)試集上的識(shí)別準(zhǔn)確率和各分類(lèi)器在各水果種類(lèi)識(shí)別上的總體標(biāo)準(zhǔn)偏差。

表1 測(cè)試樣本集識(shí)別結(jié)果Tab. 1 Test sample set recognition results

從表1中可以看出，利用BP神經(jīng)網(wǎng)絡(luò)、K均值、SVM分類(lèi)模型對(duì)5種水果識(shí)別的平均準(zhǔn)確率為82%，79.6%，83.2%，總體標(biāo)準(zhǔn)偏差為0.113 14，0.088 9，0.092 61。融合多分類(lèi)器識(shí)別模型對(duì)5種水果識(shí)別的平均準(zhǔn)確率為95.2%，總體標(biāo)準(zhǔn)偏差為0.029 93。

結(jié)果表明，通過(guò)DS證據(jù)理論融合多分類(lèi)器的識(shí)別模型對(duì)5種水果識(shí)別的平均準(zhǔn)確率比只使用單分類(lèi)器模型的平均識(shí)別準(zhǔn)確率高。而且多分類(lèi)器融合后的識(shí)別模型在對(duì)不同水果的識(shí)別上比各單分類(lèi)器更均衡。

本文又在fruits360的測(cè)試集上隨機(jī)的選取了10組測(cè)試集圖像，每組20幅共200幅作為測(cè)試集，在各測(cè)試集上利用各單分類(lèi)器和融合分類(lèi)器進(jìn)行測(cè)試，測(cè)試結(jié)果如表2所示。

表2 在10組測(cè)試樣本集上的識(shí)別結(jié)果Tab. 2 Recognition results on 10 test sample sets

結(jié)果表明，在10組測(cè)試集上各單分類(lèi)器識(shí)別結(jié)果的平均準(zhǔn)確率為76%，70%，71.5%,總體標(biāo)準(zhǔn)偏差為0.106 77,0.116 19,0.089 58，融合分類(lèi)器識(shí)別結(jié)果的平均準(zhǔn)確率和總體標(biāo)準(zhǔn)偏差為93.5%和0.055。融合分類(lèi)器對(duì)水果識(shí)別的準(zhǔn)確率和穩(wěn)定性更好。

5 結(jié)論

1) 水果識(shí)別是現(xiàn)代農(nóng)業(yè)研究領(lǐng)域的熱點(diǎn)和難點(diǎn)，構(gòu)建合適的識(shí)別方法是進(jìn)行水果識(shí)別的關(guān)鍵步驟。傳統(tǒng)的水果識(shí)別算法主要是基于單分類(lèi)器的，不同分類(lèi)器對(duì)不同水果的識(shí)別效果不同，會(huì)造成識(shí)別結(jié)果不均衡。本文基于BP神經(jīng)網(wǎng)絡(luò)、K均值、SVM分類(lèi)模型，利用DS證據(jù)理論對(duì)三種分類(lèi)器進(jìn)行融合，構(gòu)建各分類(lèi)器對(duì)不同水果的BPA函數(shù)，最后根據(jù)DS融合規(guī)則得到聯(lián)合信度，最后根據(jù)信度規(guī)則得到識(shí)別結(jié)果。結(jié)果表明，融合分類(lèi)器對(duì)每種水果的識(shí)別準(zhǔn)確率分別為96%，98%，90%，98%，94%，5種水果準(zhǔn)確率的總體標(biāo)準(zhǔn)偏差為0.029 93，低于各單分類(lèi)器的總體標(biāo)準(zhǔn)偏差，且平均識(shí)別準(zhǔn)確率為95.2%，高于各單分類(lèi)器的平均識(shí)別準(zhǔn)確率，融合多分類(lèi)器識(shí)別模型能夠在提高識(shí)別準(zhǔn)確率的同時(shí)有效的解決各個(gè)單分類(lèi)器對(duì)不同水果的識(shí)別不均衡問(wèn)題。

2) 本試驗(yàn)又采集了10組水果種類(lèi)均衡的測(cè)試集，通過(guò)DS證據(jù)理論融合多分類(lèi)器得到的模型，對(duì)10組測(cè)試集進(jìn)行測(cè)試，結(jié)果表明，融合多分類(lèi)器在10組測(cè)試集上的平均識(shí)別準(zhǔn)確率和總體標(biāo)準(zhǔn)偏差為93.5%和0.055，而各個(gè)單分類(lèi)器在10組測(cè)試集上識(shí)別準(zhǔn)確率的識(shí)別準(zhǔn)確率和總體標(biāo)準(zhǔn)偏差分別為76%、70%、71.5%和0.106 77、0.116 19、0.089 58，進(jìn)一步驗(yàn)證了融合多分類(lèi)器在提高對(duì)水果種類(lèi)識(shí)別準(zhǔn)確率的同時(shí)，也提高了識(shí)別準(zhǔn)確率的整體穩(wěn)定性。