張善文 邵彧 李萍

摘要：同類葉片圖像的復(fù)雜多樣性增加了植物識(shí)別研究的難度，導(dǎo)致利用葉片圖像進(jìn)行植物識(shí)別的識(shí)別率不高，因此提出一種基于典型相關(guān)分析（CCA）全局和局部特征融合的植物識(shí)別方法。首先，采用有較好的光照及旋轉(zhuǎn)不變性的梯度直方圖（HOG）和邊緣輪廓Fourier描述子作為植物識(shí)別的特征;然后利用CCA在特征層將HOG和Fourier描述子相融合，構(gòu)成更具分類鑒別力的一個(gè)特征向量;最后利用K-最近鄰分類器進(jìn)行植物識(shí)別。在ICL葉片圖像數(shù)據(jù)庫(kù)上的試驗(yàn)結(jié)果表明了該方法的有效性。

關(guān)鍵詞：梯度直方圖;Fourier描述子;典型相關(guān)性分析;植物識(shí)別

中圖分類號(hào)： TN911.73;TP391.41 ?文獻(xiàn)標(biāo)志碼： A ?文章編號(hào)：1002-1302（2019）14-0255-04

植物影響著人類賴以生存的生態(tài)系統(tǒng)，對(duì)生態(tài)平衡和環(huán)境保護(hù)起著重要作用。開展植物物種的機(jī)器識(shí)別研究具有重要的現(xiàn)實(shí)意義，是計(jì)算機(jī)視角、圖像處理和植保等領(lǐng)域的一個(gè)主要的研究方向[1-2]。張娟研究了梅花葉片圖像的分割、特征提取、分類器分類等方面的問(wèn)題，提出了一種針對(duì)自然背景下基于紋理和顏色特征的梅花圖像分割方法[3]。為了提高植物葉片識(shí)別與分類的正確率，張昭等提出了一種基于主成分分析（PCA）和支持向量機(jī)（SVM）的植物葉片識(shí)別方法。該方法從分割、邊緣檢測(cè)的葉片圖像中提取了10個(gè)具有旋轉(zhuǎn)、比例、平移不變性的無(wú)量綱葉片特征參數(shù)，然后進(jìn)行主成分分析，將前3個(gè)主成分作為支持向量機(jī)的輸入進(jìn)行植物識(shí)別，取得了97.22%的識(shí)別率[4]。Du等提出了一種基于輪廓分形維數(shù)和葉脈分形維數(shù)描述植物葉片特征的新方法，首先利用多閾值邊緣檢測(cè)方法對(duì)葉脈和葉柄進(jìn)行分割，得到多條葉脈;然后計(jì)算葉片邊緣圖像和多脈圖像的二維分形維數(shù)，再提取小波分形特征進(jìn)行植物識(shí)別。試驗(yàn)結(jié)果證明了分形維數(shù)特征方法的有效性[5]。Mallah等建立了一個(gè)具有100多種植物且每種植物有16幅葉片圖像的數(shù)據(jù)集，并提出了一種基于葉片形狀、紋理和邊緣特征的后驗(yàn)概率相結(jié)合的植物葉片分類方法[6]。Chaki等提出了一種基于紋理特征和形狀特征相融合的植物葉片分類方法，該方法對(duì)葉片圖像的形狀、大小和方位具有一定的魯棒性[7]。Munisami等構(gòu)建了一套植物識(shí)別系統(tǒng)，用戶可以將拍攝的葉片圖像上傳到該系統(tǒng)的服務(wù)器，服務(wù)器對(duì)葉片圖像進(jìn)行預(yù)處理、特征提取和匹配。其中，提取的不同特征有葉片圖像的長(zhǎng)和寬、面積、周長(zhǎng)、顏色直方圖和質(zhì)心-輪廓徑向距離等[8]。丁嬌等提出了一種基于差異性值監(jiān)督局部線性嵌入（D-LLE）算法的多特征植物葉片圖像識(shí)別方法，該方法提取葉片的顏色、形狀和紋理作為葉片多特征，利用D-LLE對(duì)葉片高維特征進(jìn)行降維，在低維空間利用K-最近鄰分類器進(jìn)行植物葉片識(shí)別[9]。王麗君等綜合提取觀葉植物葉片圖像的顏色、形狀和紋理特征，利用SVM進(jìn)行識(shí)別，取得了91.41%的識(shí)別效果[10]。劉驥等針對(duì)葉緣葉裂明顯的植物葉片識(shí)別問(wèn)題，提出一種基于葉片形狀特征的識(shí)別方法，該方法提取了葉片圖像的8種形狀特征，經(jīng)過(guò)對(duì)8種特征的皮爾森相關(guān)系數(shù)分析與主成分分析，確定對(duì)分類貢獻(xiàn)最大的5個(gè)主成分，最后利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行植物識(shí)別[11]。Wang等提出了一種基于脈沖耦合神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)的植物識(shí)別方法，與現(xiàn)有方法相比，該方法具有較好的識(shí)別效果[12]。李洋等針對(duì)傳統(tǒng)植物識(shí)別方法工作任務(wù)量大、效率低下以及難以保證數(shù)據(jù)客觀性的問(wèn)題，提出了一種基于形狀特征的植物葉片識(shí)別算法，并開發(fā)了一款C/S模式的植物葉片在線識(shí)別Android應(yīng)用[13]。高良等針對(duì)當(dāng)前葉片特征描述存在的局限和葉片識(shí)別準(zhǔn)確率較低的問(wèn)題，設(shè)計(jì)描述葉片輪廓的距離矩陣和角點(diǎn)矩陣，通過(guò)計(jì)算基于幾何特征、紋理特征和角點(diǎn)距離矩陣的綜合相似度對(duì)葉片進(jìn)行精確識(shí)別，在Flavia數(shù)據(jù)集上的識(shí)別率高達(dá)97.5%以上[14]。單治磊等提出了一種基于植物多特征提取與局部嵌入融合的植物識(shí)別方法，該方法利用分塊的局部二值模式（LBP）算法提取植物葉片的紋理特征，使用局部線性嵌入（LLE）算法，對(duì)高維的LBP特征進(jìn)行降維，減少了分類識(shí)別時(shí)間，同時(shí)能夠達(dá)到更好的聚類效果[15]。Jeon等提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的植物識(shí)別方法，取得了較高的識(shí)別率，但該方法需要大量訓(xùn)練樣本進(jìn)行長(zhǎng)時(shí)間訓(xùn)練[16]。

在實(shí)際植物識(shí)別過(guò)程中，在復(fù)雜環(huán)境下拍攝的同一種植物的葉片圖像間差異較大，而且對(duì)于葉片圖像的顏色、形狀和紋理特征而言，由于同種葉片之間可能存在著較大差異，因而很多基于葉片的顏色、紋理和形狀特征的植物識(shí)別方法的識(shí)別率不高。不同方法得到的葉片圖像的全局特征和局部特征所描述的內(nèi)容和作用各不相同，如一些基于葉片的全局特征的方法缺乏對(duì)葉片光照、拍攝角度和大小等變化的魯棒性;而單純基于葉片的局部特征的方法又忽略了局部特征之間的聯(lián)系，從而損失了部分全局特征。對(duì)于復(fù)雜背景下的植物識(shí)別問(wèn)題，單純依靠某一種特征很難得到高的識(shí)別率。典型相關(guān)分析（canonical correlation analysis，CCA）通過(guò)最大化2組特征之間的相關(guān)性[17]，找出2個(gè)線性變換的投影矩陣，由此得到1個(gè)融合特征向量，使變換后的2組數(shù)據(jù)相關(guān)性最大化[18]。為了提高植物識(shí)別率，提出一種基于CCA融合全局和局部特征的植物識(shí)別算法，并利用ICL葉片圖像數(shù)據(jù)集驗(yàn)證其有效性。

1 材料與方法

1.1 試驗(yàn)材料

試驗(yàn)采用中國(guó)科學(xué)院合肥智能機(jī)械研究所智能計(jì)算實(shí)驗(yàn)室的ICL植物葉片圖像數(shù)據(jù)庫(kù)（http：//www.intelengine.cn/dataset/index.html），其中包括220種植物16 851幅葉片圖像，每種植物包含的葉片圖像的數(shù)目不一，紫穗槐有1 078幅葉片圖像，而五葉地錦僅有26幅葉片圖像。這些葉片圖像都是在不同的時(shí)間、光照和角度等條件下采集，然后再利用葉片圖像采集儀進(jìn)行拍攝得到。圖1為葉片圖像示例。

1.2 試驗(yàn)方法

基于葉片的植物分類方法由葉片的輪廓全局特征和內(nèi)部局部細(xì)節(jié)來(lái)識(shí)別，這些特征反映了葉片結(jié)構(gòu)的形狀和紋理特征，一般不包含顏色特征。筆者利用方向梯度直方圖（histogram of oriented gradient，HOG）特征描述子提取葉片圖像的內(nèi)部細(xì)節(jié)特征，然后利用Canny邊緣檢測(cè)算法和Fourier描述子提取葉片圖像的輪廓特征，再利用CCA將2組特征向量融合為1個(gè)特征向量，最后利用K-最近鄰分類器進(jìn)行植物分類。

1.2.1 方向梯度直方圖 HOG是在計(jì)算機(jī)視覺(jué)和圖像處理中廣泛使用的一種圖像局部特征提取方法，是通過(guò)計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來(lái)構(gòu)成特征，其步驟如下：（1）葉片圖像灰度化和歸一化。采用Gamma校正法對(duì)葉片圖像進(jìn)行RGB顏色空間數(shù)據(jù)歸一化處理，降低圖像局部的陰影和光照變化對(duì)特征提取的影響，而且可以抑制噪聲干擾。

2 試驗(yàn)結(jié)果與分析

采用2-折交叉驗(yàn)證法在ICL植物葉片圖像數(shù)據(jù)庫(kù)上進(jìn)行試驗(yàn)，并與紋理和形狀相結(jié)合的方法（TS）[7]、基于葉片形狀特征的方法（SH）[11]和多特征融合的方法（MFF）[14]3種植物識(shí)別方法以及直接將HOG特征和Fourier描述子串聯(lián)構(gòu)成的特征向量識(shí)別方法的識(shí)別結(jié)果進(jìn)行比較。由于數(shù)據(jù)庫(kù)中葉片圖像均為彩色圖像，圖像大小不一，在提取HOG和Fourier特征前須要對(duì)每幅圖像進(jìn)行預(yù)處理，將每幅圖像歸一化到 32×32，再轉(zhuǎn)換為灰度圖像（圖2）。

首先，通過(guò)PCA對(duì)提取的HOG直方圖特征向量和Fourier描述子特征向量進(jìn)行維數(shù)約簡(jiǎn);然后，利用CCA進(jìn)行融合，得到1個(gè)特征向量（經(jīng)驗(yàn)選取維數(shù)d為50）;最后，利用1-最近鄰分類器進(jìn)行分類。表1為5種植物識(shí)別方法經(jīng)過(guò)50次2-折交叉驗(yàn)證得到的葉片圖像的平均分類率和方差。

由表1可知，本研究方法的植物識(shí)別率最高。其主要原因是利用CCA將HOG特征和Fourier描述子相融合，而CCA能夠?qū)?組不同的特征向量有機(jī)融合，最大化2組向量之間的相關(guān)性，得到具有葉片圖像的HOG和Fourier描述子特征優(yōu)點(diǎn)的融合特征向量，得到了有利于分類的旋轉(zhuǎn)、尺度和光照

不變性全局和局部形狀和紋理特征，而TS方法和 HOG+Fourier方法沒(méi)有考慮2組特征之間的相關(guān)關(guān)系，SH方法提取的形狀沒(méi)有充分描述葉片圖像，MFF方法只是簡(jiǎn)單地提取圖像的多個(gè)特征，該特征不足以表示葉片形狀，所以4種比較方法的識(shí)別率不高。

3 結(jié)論

CCA是一種經(jīng)典的特征融合和維數(shù)約簡(jiǎn)算法，利用CCA能夠?qū)?組異構(gòu)的特征向量進(jìn)行融合，得到相關(guān)性很高的低維融合特征向量。本研究方法首先提取葉片圖像的全局和局部特征向量，然后利用CCA進(jìn)行特征融合，最后利用K-最近鄰分類器進(jìn)行植物分類。在ICL葉片圖像數(shù)據(jù)庫(kù)上的試驗(yàn)結(jié)果表明，該方法是可行的。下一步繼續(xù)研究魯棒、監(jiān)督的特征提取和融合算法，并討論算法的復(fù)雜度。

參考文獻(xiàn)：

[1]陶行科. 基于紋理特征的葉片識(shí)別系統(tǒng)研究[D]. 北京：北京林業(yè)大學(xué)，2015.

[2]Ehsanirad A. Plant classification based on leaf recognition[J]. International Journal of Computer Science&Information Security，2010，8（4）：100-109.

[3]張 娟. 基于圖像分析的梅花種類識(shí)別關(guān)鍵技術(shù)研究[D]. 北京：北京林業(yè)大學(xué)，2011.

[4]張 昭，楊民倉(cāng)，何東健. 基于PCA和SVM的植物葉片分類方法研究[J]. 農(nóng)機(jī)化研究，2013（11）：34-37，41.

[5]Du J X，Zhai C M，Wang Q P. Recognition of plant leaf image based on fractal dimension features[J]. Neurocomputing，2013，116（10）：150-156.

[6]Mallah C，Cope J，Orwell J. Plant leaf classification using probabilistic integration of shape，texture and margin features[J]. Acta Press，2013，3842（4）：107-111.

[7]Chaki J，Parekh R，Bhattacharya S. Plant leaf recognition using texture and shape features with neural classifiers[J]. Pattern Recognition Letters，2015，58：61-68.

[8]Munisami T，Ramsurn M，Kishnah S，et al. Plant leaf recognition using shape features and colour histogram with k-nearest neighbour classifiers[J]. Procedia Computer Science，2015，58：740-747.

[9]丁 嬌，梁 棟，閻 慶. 基于D-LLE算法的多特征植物葉片圖像識(shí)別方法[J]. 計(jì)算機(jī)工程與應(yīng)用，2015，51（9）：158-163.

[10]王麗君，淮永建，彭月橙. 基于葉片圖像多特征融合的觀葉植物種類識(shí)別[J]. 北京林業(yè)大學(xué)學(xué)報(bào)，2015，37（1）：55-61.

[11]劉 驥，曹鳳蓮，甘林昊. 基于葉片形狀特征的植物識(shí)別方法[J]. 計(jì)算機(jī)應(yīng)用，2016，36（增刊2）：200-202，226.

[12]Wang Z B，Sun X G，Zhang Y N，et al. Leaf recognition based on PCNN[J]. Neural Computing & Applications，2016，27（4）：899-908.

[13]李 洋，李岳陽(yáng)，羅海馳，等. 基于形狀特征的植物葉片在線識(shí)別方法[J]. 計(jì)算機(jī)工程與應(yīng)用，2017，53（2）：162-165，171.

[14]高 良，閆 民，趙 方. 基于多特征融合的植物葉片識(shí)別研究[J]. 浙江農(nóng)業(yè)學(xué)報(bào)，2017，29（4）：668-675.

[15]單治磊，張王菲，趙熙臨，等. 多特征與局部線性嵌入融合算法在植物識(shí)別中的應(yīng)用研究[J]. 西南林業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版），2017，37（6）：188-194.

[16]Jeon W S，Rhee S Y. Plant leaf recognition using a convolution neural network[J]. International Journal of Fuzzy Logic&Intelligent Systems，2017，17（1）：26-34.

[17]Yuan Y H，Yang J L，Shen X B，et al. Discriminative scatter regularized CCA for multiview image feature learning and recognition[C]. Chinese Conference on Biometric Recognition，2015：694-701.

[18]Yang X H，Liu W F，Tao D P，et al. Canonical correlation analysis networks for two-view image recognition[J]. Information Sciences，2017，385：338-352.

[19]Neto J C，Meyer G E，Jones D D，et al. Plant species identification using Elliptic Fourier leaf shape analysis[J]. Computers and Electronics in Agriculture，2006，50（2）：121-134.