摘 要：文章提出了一個(gè)基于圖像識(shí)別的植物葉片識(shí)別系統(tǒng)，采用Opencv計(jì)算機(jī)視覺庫(kù)在Android平臺(tái)上進(jìn)行嵌入式開發(fā)，通過(guò)調(diào)用移動(dòng)設(shè)備攝像頭對(duì)即時(shí)拍攝的150幅植物葉片照片進(jìn)行物種識(shí)別。比較了包括canny邊緣檢測(cè)和EM分割算法等方法，再通過(guò)自適應(yīng)核的形態(tài)學(xué)操作進(jìn)行后期處理，提取到較準(zhǔn)確的葉片邊緣輪廓信息。計(jì)算輪廓曲率并且統(tǒng)計(jì)成曲率直方圖特征，最后通過(guò)SVM分類器，對(duì)特征進(jìn)行分類，來(lái)達(dá)到對(duì)不同的植物葉片進(jìn)行識(shí)別和分類。識(shí)別率較高，運(yùn)算速度有待提升。

關(guān)鍵詞：圖像處理；形態(tài)學(xué)；EM算法；直方圖比對(duì)；SVM；支持向量機(jī)

引言

模式識(shí)別技術(shù)被用于計(jì)算機(jī)視覺及圖像處理領(lǐng)域，近些年得到了飛速的發(fā)展，吸引了世界上眾多學(xué)者參與研究。如何提取或者測(cè)量葉子的特征是一個(gè)長(zhǎng)期研究中的話題[1]。這使得模式識(shí)別在這個(gè)領(lǐng)域的應(yīng)用面臨了一個(gè)新的挑戰(zhàn)[2][13]。根據(jù)文獻(xiàn)[2]，由計(jì)算機(jī)自動(dòng)獲取現(xiàn)存植物的數(shù)據(jù)的做法還沒有被實(shí)施。

而目前國(guó)內(nèi)外針對(duì)植物葉片形狀特征中的輪廓特征，對(duì)植物葉片輪廓提取的方法主要分為基于輪廓和基于區(qū)域[3]。文章通過(guò)對(duì)現(xiàn)場(chǎng)拍攝的植物葉片照片進(jìn)行預(yù)處理，對(duì)比[4]中使用的canny邊緣檢測(cè)，我們采用Expectation-Maximization算法對(duì)植物和背景進(jìn)行圖像分割[5]，能在移動(dòng)平臺(tái)上以較快的速度獲取相對(duì)更加準(zhǔn)確的邊緣信息。結(jié)合文章提出的自適應(yīng)核植物形態(tài)學(xué)開閉運(yùn)算，以達(dá)到去除葉片莖的干擾，然后提取植物葉片邊緣輪廓的曲率特征。

關(guān)于特征的選擇，雖然目前已經(jīng)有許多方法，但大都使用了預(yù)定義的特征。而[9]中使用了一個(gè)移動(dòng)中值中心超球面分類器，因?yàn)槠湫枰罅康牡?jì)算，不適合在移動(dòng)平臺(tái)上應(yīng)用。相似的做法在[2]中也提出了。他們的另外一篇論文提出了一個(gè)用于葉片形狀匹配的簡(jiǎn)單的動(dòng)態(tài)規(guī)劃算法，相對(duì)[9]而言計(jì)算速度有一定提升。而文章采用采用的多尺度提取輪廓曲率信息，既能有很短的計(jì)算時(shí)間，通過(guò)實(shí)驗(yàn)篩選出最具代表性的尺度特征，相比采用"不變矩"或類似于多尺度距離矩陣[10]等尺度不變方法，不僅能保證識(shí)別的成功率，而且計(jì)算量較小。

以上的很多方法都使用了k-鄰域的分類方法[2][8][9]，而有些文章中采用虛擬神經(jīng)網(wǎng)絡(luò)的方法。在[11]中作者結(jié)合花和葉子的信息來(lái)分類野生的花，[12]中提出一個(gè)虛擬神經(jīng)網(wǎng)絡(luò)的運(yùn)用來(lái)分類仙人掌。但是根據(jù)[9]中作者所論證的，SVM分類將更有利于對(duì)高維特征進(jìn)行更加精確的分類。

所以文章最后通過(guò)SVM訓(xùn)練形成的強(qiáng)分類器，與曲率直方圖相交[5]這種方法對(duì)比，對(duì)其曲率直方圖進(jìn)行分類，使得系統(tǒng)的識(shí)別率更加穩(wěn)定，達(dá)到對(duì)不同的植物葉片進(jìn)行識(shí)別和分類。

1 提取葉片

由于植物在不同的季節(jié)顏色變化較大，并且葉片受光照環(huán)境的不同，很容易發(fā)生顏色的改變；如果以葉片的脈絡(luò)作為特征，伴隨著葉片的生長(zhǎng)變化極大，不利于同種物種的準(zhǔn)確識(shí)別。同時(shí)，為了模擬在真實(shí)環(huán)境中需要進(jìn)行現(xiàn)場(chǎng)拍攝，所以在Android平臺(tái)上進(jìn)行嵌入式開發(fā)?？紤]到移動(dòng)平臺(tái)的攝像頭像素偏低，我們盡量選擇高亮的背景進(jìn)行拍攝，為了能夠提高識(shí)別的準(zhǔn)確率，只能通過(guò)對(duì)葉片輪廓形狀上的特征進(jìn)行提取。

這樣的話，要獲得一個(gè)描述充分準(zhǔn)確的葉片輪廓形狀就顯得十分關(guān)鍵。與canny邊緣檢測(cè)比較而言，使用Expectation-Maximization算法對(duì)圖像的前景和背景顏色分布進(jìn)行估計(jì)，能夠保證提取的輪廓閉合，完整。如果使用canny邊緣檢測(cè)，在葉脈比較突出的情況下，可能會(huì)檢測(cè)到多個(gè)邊緣，并且不一定能形成完整閉合的輪廓。通過(guò)EM訓(xùn)練，利用這個(gè)訓(xùn)練結(jié)果，對(duì)獨(dú)立的每個(gè)像素進(jìn)行分類。得到一個(gè)最初的分割二值圖像，如果圖像含有噪點(diǎn)可以利用中值濾波進(jìn)行處理，之后通過(guò)Opencv中的FindContour方法取出輪廓，就能保證所得輪廓的完整和邊緣曲率信息的精確，然后通過(guò)形態(tài)學(xué)開閉運(yùn)算及根據(jù)連通性進(jìn)行除去陰影區(qū)域和葉片的葉桿。

1.1 通過(guò)Expectation-Maximization算法進(jìn)行初始分割

我們初始化每個(gè)高斯模型在各自的期望中心附近分布，注意到公式中的系數(shù)為0.5，當(dāng)采用兩個(gè)相等權(quán)重的高斯分布時(shí)，從新圖像中讀入數(shù)據(jù)，函數(shù)能收斂到相應(yīng)的閾值。特征提取就通過(guò)EM分割，交替地使用每個(gè)像素估計(jì)當(dāng)前參數(shù)，然后在使用新參數(shù)對(duì)像素點(diǎn)進(jìn)行預(yù)測(cè)，從而更新和修正參數(shù)，反復(fù)迭代直至收斂。

我們將拍攝圖片按比例縮放為400*400像素，比較了不同的采樣方式。首先，采取生成隨機(jī)二維數(shù)組，作為采樣像素點(diǎn)的橫縱坐標(biāo)，采樣點(diǎn)數(shù)為總像素?cái)?shù)量的百分之一；其次，選擇存儲(chǔ)圖像的矩陣中，每隔10個(gè)像素點(diǎn)取一個(gè)采樣點(diǎn)，從像素點(diǎn)（10，10）開始，同樣采樣點(diǎn)數(shù)為總像素?cái)?shù)量的百分之一。

結(jié)果表明，采用第二種采樣的方式更有利于初始分割圖像的準(zhǔn)確性。其原因是當(dāng)拍攝者在對(duì)葉片進(jìn)行拍攝時(shí)，主觀的會(huì)將葉片置于整幅圖像的中心，而采用網(wǎng)格狀取樣方式，能對(duì)采樣點(diǎn)的不同類型有一個(gè)全面的覆蓋。

然而對(duì)于光照產(chǎn)生的陰影和葉片上比較薄的部分，或者由于拍攝攝像頭像素過(guò)低，以至于照片模糊，有可能使得葉片邊緣會(huì)有一些噪點(diǎn)，增加中值濾波，可以消除這一影響。

1.2 使用形態(tài)學(xué)操作去除錯(cuò)誤預(yù)測(cè)區(qū)域

在EM處理之后，每個(gè)像素點(diǎn)都根據(jù)其在EM處理中和兩個(gè)高斯之間的關(guān)系被認(rèn)定為葉子或者是背景上的像素。這就導(dǎo)致了一開始的分割中有時(shí)候會(huì)存在因?yàn)椴痪獾谋尘?、陰影或者圖像中多余的物體而產(chǎn)生錯(cuò)誤預(yù)測(cè)區(qū)域。另外，圖像中多余的邊緣信息也會(huì)導(dǎo)致錯(cuò)誤分割區(qū)域，這是因?yàn)樵趯?shí)驗(yàn)時(shí)，我們通常會(huì)在葉子后面放置一張白紙來(lái)產(chǎn)生一個(gè)高亮的背景，之后拍攝照片，這些照片有的會(huì)拍到白紙的邊緣，從而產(chǎn)生潛在的錯(cuò)誤預(yù)測(cè)區(qū)域。

因?yàn)槿~片的柄，較葉面而言大多都比較狹長(zhǎng)，在進(jìn)行一個(gè)形態(tài)學(xué)開運(yùn)算之后，也就是一系列的膨脹和腐蝕操作過(guò)后，二值圖像會(huì)分離成一系列相互不連通的區(qū)域，而去除莖不應(yīng)該增加相互不連通區(qū)域的數(shù)量，所以我們認(rèn)為這樣的候選部分最可能是桿，所以我們通過(guò)頂帽算法將莖提取出后，在原圖上修剪掉這一部分，剩下的就只剩葉面了，如圖1、圖2。endprint

1.4提取結(jié)果

經(jīng)過(guò)以上步驟，葉片的邊緣形狀提取到此完成，在安卓4.0系統(tǒng)普通手機(jī)上需要一共運(yùn)行3.27s，主要花費(fèi)時(shí)間為EM預(yù)測(cè)，占總時(shí)間的72.3%。

不過(guò)這一系列操作對(duì)于沒有葉柄的圖1來(lái)說(shuō)，去莖處理之后，會(huì)損失一定的邊緣信息，應(yīng)該如何解決或圖像恢復(fù)，文章尚且沒有做更多的研究。

2 曲率特征的計(jì)算和存儲(chǔ)

2.1 曲率的計(jì)算

對(duì)于不同拍攝者的不同拍攝尺度選擇，會(huì)使得有時(shí)葉片面積占整幅照片面積比例過(guò)小，有的過(guò)大，所以只有使用多尺度的葉片形狀特征，才可以有效地分辨不同種類的植物葉片。

對(duì)于離散的點(diǎn)來(lái)說(shuō)，要求輪廓的曲率并不能夠直接求取，由于我們考慮到在移動(dòng)平臺(tái)上不能夠進(jìn)行長(zhǎng)時(shí)間大量的運(yùn)算，只能夠借由在葉片輪廓上，以輪廓點(diǎn)為半徑畫圓，統(tǒng)計(jì)在院內(nèi)的像素為葉片的像素點(diǎn)數(shù)，來(lái)廣義的表示該點(diǎn)處的曲率值[13]，曲率越大，園內(nèi)的葉片像素點(diǎn)數(shù)越接近圓面積的一半，如圖3、4所示。

我們嘗試從葉片輪廓的某一點(diǎn)出發(fā)，按照順時(shí)針順序，選取不同的尺度，計(jì)算輪廓曲線的曲率大小，形成一組關(guān)于輪廓點(diǎn)序列和其在不同尺度下所對(duì)應(yīng)的曲率值的向量，將其轉(zhuǎn)化成矩陣形式可以在表示成橫坐標(biāo)為輪廓點(diǎn)的序號(hào)，縱坐標(biāo)表示為尺度大小，而橫縱坐標(biāo)所對(duì)應(yīng)的值就是這一點(diǎn)，在這一尺度下的曲率大小。我們?nèi)×?～30個(gè)像素大小的不同尺度，繪制灰度圖像如圖5?；叶戎翟礁?，代表該處曲率越大。如圖5所示。

2.2 曲率特征的存儲(chǔ)

完成計(jì)算后，相對(duì)應(yīng)的，每一幅R-P圖像的直方圖信息將對(duì)應(yīng)著一種植物的特征。由于在Android平臺(tái)下自帶Sqlite數(shù)據(jù)庫(kù)，讀寫速度快，并且較為輕便，我們?yōu)榱瞬粊G失直方圖精度，不進(jìn)行歸一化處理，而是將數(shù)據(jù)以32位Float型數(shù)字轉(zhuǎn)化為字符串，存入數(shù)據(jù)庫(kù)中，作為植物特征信息比對(duì)數(shù)據(jù)庫(kù)。

3 直方圖比對(duì)

3.1 傳統(tǒng)圖像直方圖比較

設(shè)D為評(píng)估直方圖相似程度的距離，N代表2～30的28個(gè)尺度，B為直方圖的bins由Opencv函數(shù)calhist的histsize參數(shù)決定，文章中均設(shè)置為20，ai，bi分別為直方圖被歸一化之后所分成的區(qū)間段所對(duì)應(yīng)的峰值。由于每張葉片照片的輪廓點(diǎn)數(shù)不同，計(jì)算生成的直方圖需要?dú)w一化才能進(jìn)行統(tǒng)一比較，所以O(shè)pencv歸一化操作時(shí)使用插值算法的同時(shí)，必然造成精度以及特征的丟失，但是直方圖相交方法分尺度的比較可以大大減少這類誤差帶來(lái)的影響。結(jié)果如圖八所示。

3.2 采用SVM對(duì)直方圖進(jìn)行分類

采用傳統(tǒng)直方圖相交的比較方法確實(shí)可以帶來(lái)相對(duì)較高的準(zhǔn)確度，但是對(duì)于需要在更加嚴(yán)謹(jǐn)?shù)膱?chǎng)合使用葉片識(shí)別系統(tǒng)，那么還需要提高識(shí)別率。

3.1 中提到直方圖在比較時(shí)容易丟失精度，所以進(jìn)行比較也只是進(jìn)行一個(gè)二維的距離映射，從而判斷他們的相似程度，顯得比較顯得不夠細(xì)致。文章在曲率直方圖特征提取的基礎(chǔ)上提出使用SVM支持向量機(jī)對(duì)，直方圖進(jìn)行分類。

4 結(jié)束語(yǔ)

文章所提出的基于Android平臺(tái)的葉片識(shí)別系統(tǒng)，在葉片特征提取上利用了EM聚類分割算法，使得葉片輪廓信息得以較好的完整保存，比canny輪廓檢測(cè)效果好，信息精確度較高，而且利用兩個(gè)等量的高斯模型，使得迭代算法的收斂速度加快；通過(guò)自適應(yīng)核對(duì)拍攝者的不同構(gòu)圖習(xí)慣給圖像處理帶來(lái)的影響大大降低，充分利用形態(tài)學(xué)處理克服較多拍攝的不利條件；多尺度的邊緣輪廓曲率特征地提取，有效地將傳統(tǒng)意義上的曲率和積分不變性相互聯(lián)系起來(lái)，實(shí)現(xiàn)了尺度不變的方法；再通過(guò)統(tǒng)計(jì)方法，將無(wú)方向信息的直方圖聯(lián)系在一起，最終用比較了針對(duì)曲率信息的直方圖中傳統(tǒng)直方圖相似度比較方式和SVM直方圖分類各自的優(yōu)缺點(diǎn)；證實(shí)了SVM在高位特征空間具有強(qiáng)大的分類能力，并且效果確實(shí)優(yōu)于傳統(tǒng)直方圖比較方法。為基于圖像形狀特征的葉片種類識(shí)別，在移動(dòng)設(shè)備上開發(fā)的繼續(xù)深入研究，做了一個(gè)小結(jié)。

由于移動(dòng)平臺(tái)靈巧輕便，既適合科研人員進(jìn)行科學(xué)實(shí)驗(yàn)及學(xué)習(xí)研究，又將會(huì)作為一款科普手機(jī)軟件受到旅游或者探險(xiǎn)愛好者們的喜愛。

參考文獻(xiàn)

[1]H. Fu and Z. Chi.Combined thresholding and neural network approach for vein pattern extraction from leaf images[J].IEE Proceedings-VisionImage and Signal Processing， 2006 ，153（6）.

[2]J.-X. Du， X.-F. Wang， and G.-J. Zhang.Leaf shape based plant species recognition [J].Applied Mathematics and Computation， 2007，185.

[3]Zhang D， Lu G. Review of shape representation and description techniques[J].Pattern recognition， 2004， 37（1）：1-19.

[4]Valliammal N， Geethalakshmi S N. Hybrid image segmentation algorithm for leaf recognition and characterization[C].Process Automation， Control and Computing （PACC）， 2011 International Conference on. IEEE， 2011：1-6.

[5]Kumar N， Belhumeur P N， Biswas A， et al. Leafsnap： A computer vision system for automatic plant species identification[M].Computer Vision-ECCV 2012. Springer Berlin Heidelberg， 2012：502-516.endprint

[6]Wang Z， Chi Z， Feng D. Fuzzy integral for leaf image retrieval[C].Fuzzy Systems， 2002. FUZZ-IEEE'02. Proceedings of the 2002 IEEE International Conference on. IEEE， 2002， 1： 372-377.

[7]F. Gouveia， V. Filipe， M. Reis， C. Couto， and J. Bulas-Cruz. Biometry：the characterisation of chestnut-tree leaves using computer vision，"[J].in Proceedings of IEEE International Symposium on Industrial Electronics， Guimar？ aes， Portugal， 1997.

[8]X. Gu， J.-X. Du， and X.-F. Wang.Leaf recognition based on the combination of wavelet transform and gaussian interpolation[J].in Proceedings of International Conference on Intelligent Computing 2005， ser. LNCS 3644. Springer， 2005.

[9]X.-F. Wang， J.-X. Du， and G.-J. Zhang.Recognition of leaf images based on shape features using a hypersphere classifier[J].in Proceedings of International Conference on Intelligent Computing 2005， ser. LNCS 3644. Springer， 2005.

[10]Hu R， Jia W， Ling H， et al. Multiscale distance matrix for fast plant leaf recognition[J]. Image Processing， IEEE Transactions on， 2012， 21（11）：4667-4672.

[11]T. K. Takeshi Saitoh.Automatic recognition of wild flowers[J].in Proceedings of 15th International Conference on Pattern Recognition （ICPR'00）， 2000， 2.

[12]B. C. Heymans， J. P. Onema， and J. O. Kuti. A neural network for opuntia leaf-form recognition，"[J].in Proceedings of IEEE International Joint Conference on Neural Networks， 1991.

[13]Manay S.， Cremers D.， Hong B.W.， et al.Integral invariants for shape matching[J].TPAMI， 2006，28：1602-1618.

作者簡(jiǎn)介：普楠（1993-）男，云南昆明人，蘇州大學(xué)敬文書院本科生， 研究方向：計(jì)算機(jī)視覺。endprint

[6]Wang Z， Chi Z， Feng D. Fuzzy integral for leaf image retrieval[C].Fuzzy Systems， 2002. FUZZ-IEEE'02. Proceedings of the 2002 IEEE International Conference on. IEEE， 2002， 1： 372-377.

[7]F. Gouveia， V. Filipe， M. Reis， C. Couto， and J. Bulas-Cruz. Biometry：the characterisation of chestnut-tree leaves using computer vision，"[J].in Proceedings of IEEE International Symposium on Industrial Electronics， Guimar？ aes， Portugal， 1997.

[8]X. Gu， J.-X. Du， and X.-F. Wang.Leaf recognition based on the combination of wavelet transform and gaussian interpolation[J].in Proceedings of International Conference on Intelligent Computing 2005， ser. LNCS 3644. Springer， 2005.

[9]X.-F. Wang， J.-X. Du， and G.-J. Zhang.Recognition of leaf images based on shape features using a hypersphere classifier[J].in Proceedings of International Conference on Intelligent Computing 2005， ser. LNCS 3644. Springer， 2005.

[10]Hu R， Jia W， Ling H， et al. Multiscale distance matrix for fast plant leaf recognition[J]. Image Processing， IEEE Transactions on， 2012， 21（11）：4667-4672.

[11]T. K. Takeshi Saitoh.Automatic recognition of wild flowers[J].in Proceedings of 15th International Conference on Pattern Recognition （ICPR'00）， 2000， 2.

[12]B. C. Heymans， J. P. Onema， and J. O. Kuti. A neural network for opuntia leaf-form recognition，"[J].in Proceedings of IEEE International Joint Conference on Neural Networks， 1991.

[13]Manay S.， Cremers D.， Hong B.W.， et al.Integral invariants for shape matching[J].TPAMI， 2006，28：1602-1618.

作者簡(jiǎn)介：普楠（1993-）男，云南昆明人，蘇州大學(xué)敬文書院本科生， 研究方向：計(jì)算機(jī)視覺。endprint

[6]Wang Z， Chi Z， Feng D. Fuzzy integral for leaf image retrieval[C].Fuzzy Systems， 2002. FUZZ-IEEE'02. Proceedings of the 2002 IEEE International Conference on. IEEE， 2002， 1： 372-377.

[7]F. Gouveia， V. Filipe， M. Reis， C. Couto， and J. Bulas-Cruz. Biometry：the characterisation of chestnut-tree leaves using computer vision，"[J].in Proceedings of IEEE International Symposium on Industrial Electronics， Guimar？ aes， Portugal， 1997.

[8]X. Gu， J.-X. Du， and X.-F. Wang.Leaf recognition based on the combination of wavelet transform and gaussian interpolation[J].in Proceedings of International Conference on Intelligent Computing 2005， ser. LNCS 3644. Springer， 2005.

[9]X.-F. Wang， J.-X. Du， and G.-J. Zhang.Recognition of leaf images based on shape features using a hypersphere classifier[J].in Proceedings of International Conference on Intelligent Computing 2005， ser. LNCS 3644. Springer， 2005.

[10]Hu R， Jia W， Ling H， et al. Multiscale distance matrix for fast plant leaf recognition[J]. Image Processing， IEEE Transactions on， 2012， 21（11）：4667-4672.

[11]T. K. Takeshi Saitoh.Automatic recognition of wild flowers[J].in Proceedings of 15th International Conference on Pattern Recognition （ICPR'00）， 2000， 2.

[12]B. C. Heymans， J. P. Onema， and J. O. Kuti. A neural network for opuntia leaf-form recognition，"[J].in Proceedings of IEEE International Joint Conference on Neural Networks， 1991.

[13]Manay S.， Cremers D.， Hong B.W.， et al.Integral invariants for shape matching[J].TPAMI， 2006，28：1602-1618.

作者簡(jiǎn)介：普楠（1993-）男，云南昆明人，蘇州大學(xué)敬文書院本科生， 研究方向：計(jì)算機(jī)視覺。endprint