王 禮， 洪祖兵， 方陸明， 陳 珣， 吳 超

（1.浙江農(nóng)林大學(xué) 信息工程學(xué)院，浙江 杭州311300；2.浙江農(nóng)林大學(xué) 浙江省林業(yè)智能監(jiān)測(cè)與信息技術(shù)研究重點(diǎn)實(shí)驗(yàn)室，浙江 杭州311300；3.浙江省仙居縣林業(yè)局，浙江 仙居 317300）

觀賞植物是專門(mén)培植來(lái)供觀賞的植物，一般都有美麗的花或者形態(tài)比較奇異［1］。在校園或公園等地會(huì)經(jīng)?？吹剑胀ǖ姆菍I(yè)人士一般不易識(shí)別。當(dāng)前智能手機(jī)得到普及，同時(shí)，人們對(duì)辨識(shí)觀賞植物有著濃厚的興趣。通過(guò)手機(jī)拍攝，并將識(shí)別相關(guān)信息在手機(jī)端展現(xiàn)，將提高人們對(duì)觀賞植物的欣賞能力。國(guó)內(nèi)外學(xué)者通過(guò)葉片識(shí)別植物已做了不少研究，并取得了一定的研究成果。2012年，由華盛頓大學(xué)、哥倫比亞大學(xué)、馬里蘭大學(xué)和美國(guó)自然歷史博物館（即史密斯研究院）共同開(kāi)發(fā)的手機(jī)應(yīng)用 “Leafsnap”可以通過(guò)樹(shù)木葉片圖像識(shí)別相應(yīng)的樹(shù)種，即從復(fù)雜背景中分割出葉片圖像，然后提取葉脈輪廓線及其曲率，最后從存有美國(guó)東北部184個(gè)樹(shù)種的數(shù)據(jù)庫(kù)中查詢匹配［2］。陳芳等［3］開(kāi)發(fā)了嵌入式植物自動(dòng)識(shí)別系統(tǒng)，通過(guò)提取葉片的形狀特征實(shí)現(xiàn)了對(duì)校園內(nèi)9種植物葉片的識(shí)別；張玉琢等［4］設(shè)計(jì)了植物遠(yuǎn)程快速識(shí)別的方法，通過(guò)網(wǎng)絡(luò)上傳葉片圖像，采用與葉片庫(kù)中葉片進(jìn)行圖像對(duì)比的方式識(shí)別植物種類。當(dāng)前最具有代表性的植物識(shí)別商業(yè)系統(tǒng)應(yīng)用程序（application，APP）有形色、花伴侶、微軟識(shí)花等。此類系統(tǒng)依托了龐大的植物數(shù)據(jù)庫(kù)，采用了人工智能識(shí)別技術(shù)。但其植物識(shí)別過(guò)程較粗放、不精細(xì)，背后過(guò)于龐大的數(shù)據(jù)庫(kù)反而容易誤導(dǎo)，導(dǎo)致識(shí)別結(jié)果不夠準(zhǔn)確。并且以上植物識(shí)別系統(tǒng)都無(wú)法將植物與本地文化相結(jié)合。本研究基于iOS系統(tǒng)，采取精細(xì)化識(shí)別方法，對(duì)傳統(tǒng)的圖像識(shí)別流程進(jìn)行了優(yōu)化。省去圖像去噪處理，篩選了顏色、形狀、紋理特征中具有代表性的10種特征，從而將識(shí)別時(shí)間控制在合理范圍內(nèi)，提高了識(shí)別率，加入了觀賞植物的科學(xué)和人文屬性，充分發(fā)揚(yáng)了本地校園內(nèi)觀賞植物的人文價(jià)值。

1 系統(tǒng)設(shè)計(jì)

1.1 研發(fā)流程及系統(tǒng)示意

植物識(shí)別系統(tǒng)由數(shù)據(jù)庫(kù)、圖像預(yù)處理、特征提取、識(shí)別顯示等組成。其中，圖像預(yù)處理、特征提取、圖像分類是關(guān)鍵環(huán)節(jié)。研發(fā)流程如圖1所示。SQLite數(shù)據(jù)庫(kù)用于存儲(chǔ)葉片特征數(shù)據(jù)、植物屬性信息；在數(shù)據(jù)采集階段，采集觀賞植物葉片樣本以及結(jié)合了校園文化的植物屬性信息；然后用MATLAB軟件處理采集到的葉片樣本，提取顏色、形狀、紋理等特征，與植物屬性信息一同存入數(shù)據(jù)庫(kù)；最后采用OpenCV技術(shù)編寫(xiě)iOS程序，實(shí)現(xiàn)系統(tǒng)功能。

圖1 系統(tǒng)研發(fā)流程圖Figure 1 Flow diagram of system research and development

如圖2所示：面對(duì)識(shí)別植物，打開(kāi)iPhone手機(jī)中的觀賞植物識(shí)別APP，正面拍攝植物葉片，相關(guān)程序模塊對(duì)獲取的葉片圖像進(jìn)行分割，提取葉片的顏色特征、形狀特征、紋理特征，并運(yùn)用支持向量機(jī)（SVM）分類器識(shí)別葉片，并從SQLite數(shù)據(jù)庫(kù)中篩選出最具可能的植物并展示結(jié)果。

1.2 數(shù)據(jù)庫(kù)設(shè)計(jì)

數(shù)據(jù)庫(kù)是系統(tǒng)的核心內(nèi)容，需搭建SQLite數(shù)據(jù)庫(kù)。系統(tǒng)的數(shù)據(jù)庫(kù)由2個(gè)部分組成：特征（feature）表存儲(chǔ)葉片的3種特征，用于匹配和識(shí)別（表1）；人文及科學(xué)價(jià)值信息（information）表用于儲(chǔ)存校園文化、人文典故及科學(xué)價(jià)值等方面的信息，從而將物種識(shí)別、科學(xué)普及、校園文化及人文典故有機(jī)結(jié)合，真正起到了既識(shí)別物種又展示文化的效果（表2）。

表1 存儲(chǔ)葉片的特征表Table 1 Features

圖2 系統(tǒng)示意及識(shí)別流程圖Figure 2 System schematic and recognition procedure diagrams

表2 人文及科學(xué)價(jià)值信息表Table 2 Information

2 數(shù)據(jù)采集

數(shù)據(jù)庫(kù)框架和表格設(shè)計(jì)完成后，需選取觀賞植物并采集葉片，提取數(shù)據(jù)存入數(shù)據(jù)庫(kù)。植物的選取需要兼顧普及率和觀賞性。本研究選取了浙江農(nóng)林大學(xué)校園內(nèi)8種常見(jiàn)的觀賞植物，分別為山茶Camellia japonica，玉蘭Magnolia denudata，銀杏Ginkgo biloba，大葉黃楊Euonymus japonicas，紫葉小檗Berberis thunbergiivar.atropurpurea，日本晚櫻Cerasus serrulatavar.lannesiana，繡球莢蒾Viburnum macrocephalum，紅葉石楠Photinia fraseri（圖3）。植物葉片的外觀在不同時(shí)期存在一定差異，對(duì)每種植物在不同時(shí)期采集共200張葉片。其中100張作為SVM分類器訓(xùn)練樣本，其余100張作為系統(tǒng)測(cè)試樣本。

采集后帶回實(shí)驗(yàn)室拍照獲取圖像。采用的拍照設(shè)備為1 200萬(wàn)像素的iPhone SE。使用MATLAB_R2014b圖像處理軟件分割葉片圖像，提取相關(guān)特征值，存入特征表中；查閱該植物的人文及科學(xué)價(jià)值信息，存入信息表，完成SQLite數(shù)據(jù)庫(kù)建設(shè)。

3 圖像預(yù)處理

圖像預(yù)處理的目的是獲得圖像中的葉片部分，它會(huì)直接影響后續(xù)的特征提取與識(shí)別。主要由灰度轉(zhuǎn)換、自動(dòng)閾值分割和形態(tài)學(xué)處理3個(gè)環(huán)節(jié)構(gòu)成。由于目前的iPhone手機(jī)拍照分辨率普遍較高，成像清晰，因此本研究未做圖像去噪處理。

本研究的原始圖片都基于RGB顏色模型，轉(zhuǎn)換為灰度圖后，運(yùn)用OTSU法將其分割，得到二值圖像；通過(guò)形態(tài)學(xué)操作，消除雜物、空洞填充、腐蝕、膨脹等，得到形狀精確的二值圖，進(jìn)而得到分割后的葉片灰度圖。

圖3 選取的8種觀賞植物葉片F(xiàn)igure 3 Leaves of the 8 selected ornamental plants

3.1 灰度轉(zhuǎn)換

葉片圖像的分割首先要借助灰度圖。本研究運(yùn)用標(biāo)準(zhǔn)的灰度轉(zhuǎn)換算法，采用轉(zhuǎn)換算式（1），將RGB圖像轉(zhuǎn)換為灰度圖。

式（1）中：Gray為灰度值；R為紅色分量；G為綠色分量；B為藍(lán)色分量。

3.2 自動(dòng)閾值分割

將RGB原圖轉(zhuǎn)換為灰度圖后，可自動(dòng)分割。自動(dòng)閾值分割采取OTSU法［5］，又名大津法，是一種使類間方差最大的自動(dòng)確定閾值的方法，對(duì)于呈現(xiàn)雙峰特點(diǎn)的灰度直方圖尤其有效，是一種常用的閾值選取方法。葉片實(shí)驗(yàn)表明，該方法簡(jiǎn)潔、高效、精確，對(duì)葉片圖像的分割效果良好。

3.3 形態(tài)學(xué)處理

分割后生成的葉片圖像二值圖，內(nèi)部可能會(huì)存在孔洞，外部出現(xiàn)雜點(diǎn)，需進(jìn)行二值圖像孔洞填充、去雜點(diǎn)、膨脹、腐蝕等形態(tài)學(xué)處理。此過(guò)程可有效去除二值圖的噪聲，而且不會(huì)明顯改變?nèi)~片原先的輪廓。

灰度膨脹公式：

灰度腐蝕公式：

式（2）和式（3）中：f⊕B為灰度膨脹函數(shù)；f?B為灰度腐蝕函數(shù)；f和f（x,y）代表輸入圖像；B和B（i,j）代表結(jié)構(gòu)元素；x和y分別代表輸入圖像的橫、縱坐標(biāo)；i和j分別代表結(jié)構(gòu)元素的橫、縱坐標(biāo)；Df和DB分別是輸入圖像和結(jié)構(gòu)元素的定義域。圖4展示了銀杏葉片圖像分割的各個(gè)步驟。

4 特征提取

分割出圖像中的葉片后，需要提取葉片的特征參數(shù)。本研究選用植物葉片的顏色、形狀和紋理3種主要特征。同種植物的不同葉片往往具有不同的特征值，因此計(jì)算結(jié)果取其平均值。

4.1 顏色特征

植物葉片的顏色很直觀，具有旋轉(zhuǎn)、平移不變性，但不同種類葉片的色相H和飽和度S會(huì)有較大差異。本研究采用HSI顏色模型中H和S分量表示葉片的顏色特征，即分割后的H分量圖像的色相均值和S分量圖像的飽和度均值。H和S的轉(zhuǎn)換如式（4）：

圖4 葉片圖像分割各步驟示例Figure 4 Examples on procedures for leaf image segmentation

4.2 形狀特征

植物識(shí)別的依據(jù)是葉片的形狀特征［6］。形狀是葉片最本質(zhì)的特征，具有移動(dòng)、縮放不變的特性，不同植物的葉片幾乎有著完全不同的形狀。同類葉片大小不一，但相對(duì)形狀一致。本研究采用了葉片的縱橫軸比、矩形度、圓形度、形狀參數(shù)等4種相對(duì)形狀特征，算式如下：

4.3 紋理特征

不同葉片表面的紋理在粗細(xì)、走向上都有很大差別。相比其他方法，灰度共生矩陣（gray level cooccurrence matrix,GLCM）特征能夠更好地突出圖像的紋理信息，被大量應(yīng)用于將灰度值轉(zhuǎn)化為紋理信息［7］?？紤]到計(jì)算量與有效性，選取了灰度共生矩陣中的能量、對(duì)比度、熵和局部平穩(wěn)性等4種紋理特征：①能量f1，反映了圖像灰度分布均勻程度和紋理粗細(xì)度，采用式（9）計(jì)算：

②對(duì)比度f(wàn)2，反映了圖像的清晰度和紋理的溝紋的深淺，采用式（10）計(jì)算：

③熵f3，度量了圖像紋理的非均勻度，采用式（11）計(jì)算：

④局部平穩(wěn)性f4，度量了圖像紋理的平坦度，采用式（12）計(jì)算：

式（9）～（12）中：i和j為像素點(diǎn)橫、縱坐標(biāo)值；N由葉片圖像的范圍確定；p（i，j）為像素點(diǎn)的灰度值。

4.4 特征入庫(kù)

運(yùn)用公式提取出葉片的特征值，并與植物屬性數(shù)據(jù)一同存入數(shù)據(jù)庫(kù)。表3為每種葉片的各特征歸一化后的數(shù)值，它們?yōu)?00個(gè)葉片的平均值。

5 分類方法

支持向量機(jī)（support vector machines，SVM）是一種最常用的分類器。與人工神經(jīng)網(wǎng)絡(luò)分類方法相比，SVM分類方法在解決小樣本、非線性及高維模式識(shí)別中優(yōu)勢(shì)突出［8］。

表3 每種植物葉片各特征的平均值Table 3 List of mean values of features of each plant leaf

將每種葉片的3類特征作為SVM的訓(xùn)練特征，進(jìn)而得到SVM分類器。得到葉片的顏色、形狀和紋理特征的向量后，將這些特征作為分類方法的輸入向量，用于植物葉片的識(shí)別。

SVM的關(guān)鍵在于核函數(shù)，低維空間向量集通常難以劃分，解決的方法是將它們映射到高維空間；但這個(gè)辦法帶來(lái)的困難就是計(jì)算復(fù)雜度的增加，而核函數(shù)正好巧妙地解決了這個(gè)問(wèn)題。由于徑向基核函數(shù)是非線性函數(shù)，在SVM分類器訓(xùn)練過(guò)程中，能有效減少計(jì)算復(fù)雜性。多數(shù)研究［9－11］都采取了SVM分類器并采用徑向基核函數(shù)。因此本研究選擇徑向基函數(shù)作為分類器核函數(shù)，定義為：

式（13）中：K為徑向基函數(shù)名；x為權(quán)向量；xi為樣本集中第i個(gè)樣本；δ核函數(shù)擴(kuò)展常數(shù)；該參數(shù)決定SVM分類器的預(yù)測(cè)能力。

6 系統(tǒng)實(shí)現(xiàn)

系統(tǒng)開(kāi)發(fā)基于macOS操作系統(tǒng)，SQLite數(shù)據(jù)庫(kù)，Xcode 8.0開(kāi)發(fā)環(huán)境，采用Swift 3.0語(yǔ)言和OpenCV技術(shù)。

圖5為系統(tǒng)運(yùn)行的界面。設(shè)計(jì)了3個(gè)Tab按鈕，分別為 “瀏覽” “識(shí)別” “詳情”。用戶可在3個(gè)按鈕之間自由切換。 “瀏覽”界面為觀賞植物列表，點(diǎn)擊選擇某種觀賞植物葉片，程序會(huì)自動(dòng)跳轉(zhuǎn)到“詳情”界面，可查看該植物的校園文化、典故等信息，并展現(xiàn)文字和四季圖片。識(shí)別時(shí)，點(diǎn)擊中間的“識(shí)別”按鈕，然后將取景框?qū)?zhǔn)葉片，點(diǎn)擊 “拍照”按鈕（或點(diǎn)擊 “相冊(cè)”按鈕直接從相冊(cè)中獲取圖片），等待2 s左右，識(shí)別結(jié)果以圖文形式在 “詳情”界面上顯示。

圖5E和5F為銀杏葉片的識(shí)別結(jié)果，展示了浙江農(nóng)林大學(xué)校園內(nèi)銀杏大道一年四季的景色，體現(xiàn)了深厚的文化內(nèi)涵。

7 結(jié)果對(duì)比與結(jié)論

7.1 與其他識(shí)別軟件的對(duì)比

每種植物選取100張葉片圖像做訓(xùn)練，100張作為測(cè)試數(shù)據(jù)，經(jīng)過(guò)實(shí)際試驗(yàn)，得出了3個(gè)系統(tǒng)對(duì)于各觀賞植物的平均識(shí)別率和所用時(shí)間（表4）。由表4可知：本系統(tǒng)盡管平均用時(shí)比形色和花伴侶更長(zhǎng)，但識(shí)別率最高，更能適應(yīng)校園師生對(duì)校園內(nèi)觀賞植物識(shí)別和文化獲取的需求。前2個(gè)商業(yè)應(yīng)用程序無(wú)法給出與本地校園有關(guān)的觀賞植物文化信息。

7.2 結(jié)論

本研究選取植物葉片的顏色、形狀、紋理特征，采用SVM分類器，利用iOS和OpenCV技術(shù)開(kāi)發(fā)了觀賞植物識(shí)別系統(tǒng)，基本滿足了公眾對(duì)植物識(shí)別的要求，為校內(nèi)觀賞植物的精細(xì)化識(shí)別及人文信息展現(xiàn)提供了可能。但研究所選植物數(shù)量少，還需擴(kuò)充植物數(shù)量，完善數(shù)據(jù)庫(kù)。同時(shí)，采用B/S架構(gòu)，建立觀賞植物中心數(shù)據(jù)庫(kù)，將數(shù)據(jù)集中于后臺(tái)服務(wù)器，提高處理效率，擴(kuò)大應(yīng)用范圍。

圖5 系統(tǒng)界面及功能展示Figure 5 System interface and function exhibition

表4 各觀賞植物識(shí)別應(yīng)用程序的識(shí)別率和所用時(shí)間Table 4 Recognition rate and time of various ornamental plants recognition APP

8 參考文獻(xiàn)

［1］ 劉奕清.觀賞植物［M］.北京：化學(xué)工業(yè)出版社,2009.

［2］ KUMAR N,BELHUMEUR P N,BISWAS A,et al.Leafsnap:a computer vision system for automatic plant species identification ［C］//FITZGIBBON A,LAZEBNIK S,PERONA P,et al.European Conference on Computer Vision.Heidelberg Berlin:Springer,2012:502－516.

［3］ 陳芳，張廣群，崔坤鵬，等.嵌入式植物自動(dòng)識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)［J］.浙江農(nóng)林大學(xué)學(xué)報(bào)，2013，30（3）：379－384.CHEN Fang,ZHANG Guangqun,CUI Kunpeng,et al.Design and implementation of an embedded automatic plant recognition system ［J］.J Zhejiang A＆F Univ,2013,30（3）:379 － 384.

［4］ 張玉琢，李柏依.植物遠(yuǎn)程快速識(shí)別的方法［J］.計(jì)算機(jī)應(yīng)用，2016，36（增刊2）:206－209.ZHANG Yuzhuo,LI Boyi.Remote rapid recognition method for plants ［J］.J Comput Appl,2016,36（suppl 2）:206 －209.

［5］ OTSU N.A threshold selection method from Gray-Level Histograms ［J］.IEEE Trans Syst Man Cybern,1979,9（1）:62－66.

［6］ 胡秋萍.基于葉片形狀特征的植物識(shí)別技術(shù)研究［D］.西安：西安電子科技大學(xué)，2014.HU Qiuping.The Study of Plant Identification Technology based on Leaves’Shape Features［D］.Xi’an:Xidian University,2014.

［7］ 柴阿麗.基于計(jì)算機(jī)視覺(jué)和光譜分析技術(shù)的蔬菜葉部病害診斷研究［D］.北京:中國(guó)農(nóng)業(yè)科學(xué)院,2011.CHAI Ali.Study on Diagnosis of Vegetable Foliage Diseases based on Computer Vision and Spectral Analysis［D］.Beijing:Chinese Academy of Agricultural Sciences,2011.

［8］ 王梅嘉，何東健，任嘉琛.基于Android平臺(tái)的蘋(píng)果葉病害遠(yuǎn)程識(shí)別系統(tǒng)［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2015，36（9）： 2585 － 2590.WANG Meijia,HE Dongjian,REN Jiachen.Remote recognition of apple leaf disease based on Android platform ［J］.Comput Eng Des,2015,36（9）:2585 － 2590.

［9］ 丁世飛,齊丙娟,譚紅艷，等.支持向量機(jī)理論與算法研究綜述［J］.電子科技大學(xué)學(xué)報(bào)，2011，40（1）：2－10.DING Shifei,QI Bingjuan,TAN Hongyan,et al.An overview on theory and algorithm of support vector machines ［J］.J Univ Electron Sci Technol China,2011,40（1）:2 － 10.

［10］ 王麗君，淮永建，彭月橙.基于葉片圖像多特征融合的觀葉植物種類識(shí)別［J］.北京林業(yè)大學(xué)學(xué)報(bào)，2015，37（1）:55 － 61.WANG Lijun,HUAI Yongjian,PENG Yuecheng.Method of identification of foliage from plants based on extraction of multiple features of leaf images ［J］.J Beijing For Univ,2015,37（1）:55 － 61.

［11］ 李洋，李岳陽(yáng)，羅海馳，等.基于形狀特征的植物葉片在線識(shí)別方法［J］.計(jì)算機(jī)工程與應(yīng)用，2017，53（2）：162－165.LI Yang,LI Yueyang,LUO Haichi,et al.Online plant left recognition based on shape features ［J］.Comput Eng Appl,2017,53（2）:162 － 165.