龐俊震 淮永建

(北京林業(yè)大學信息學院 北京 100083)

?

基于移動端的月季花快速識別方法研究

龐俊震 淮永建

(北京林業(yè)大學信息學院 北京 100083)

花卉植物的快速識別是當今園藝植物的研究熱點。選取自然背景下的月季花作為研究對象，結(jié)合移動端的便利和優(yōu)勢，提出針對月季花的快速識別方法。對人機交互式分割預處理后的圖像，使用主顏色提取算法和形狀特征描述算法提取主顏色和形狀特征，采用改進的融合GLCM和LBP算法提取紋理特征。通過特征選擇算法對提取到的特征進行優(yōu)化后，得到18個強分類特征，采用Random Forest算法對1 000幅圖像進行實驗，平均識別率可達93.5%。研究結(jié)果表明，該方法具有良好的識別效果和較快的識別速度。

特征提取 隨機森林 特征選擇 快速識別

0 引 言

月季花有“花中皇后”的美譽，不僅可供觀賞，而且具有醫(yī)藥價值。目前，世界上有萬余種月季花，分布在我國就有一千多個品種[1]。由于月季種類繁多，給非專業(yè)人士識別月季造成一定的困難。隨著智能手機等硬件和圖像處理技術(shù)的進一步發(fā)展，依托智能手機來解決一些圖像方面的問題變得可行。通過手機移動端的攝像頭采集圖像，然后利用手機的人機交互功能和優(yōu)化的圖像算法對圖像處理，最后服務器端將月季花的識別結(jié)果顯示給用戶。這種方法可以使用戶快速便捷地了解月季花的種類，具有較好的實用價值。

基于圖像處理技術(shù)對植物和花卉等對象進行識別的研究工作已有很多。Satioh[2]等提出了一種基于用數(shù)碼相機拍攝的自然背景下的花朵自動識別系統(tǒng)，雖然識別效果不錯，但是操作較為復雜；Hsu[3]等提出了將交互操作帶入花卉識別的過程，通過一系列復雜的人工操作，提高了識別率，但沒有針對特定種類的花朵識別進行研究；張娟[4]提出了一種識別不同種類梅花的研究方法，取得了較好的識別效果；Rouanet等提出了利用用戶指定區(qū)域作為研究對象，盡量減少冗余信息，然后根據(jù)提取到的圖像特征進行識別分類[5]。目前有一些基于移動端的花卉識別軟件，如“拍照識花”，它們主要是針對不同品種的花卉做識別，并沒有專門針對月季的特征做深入研究，不能有效識別不同種類的月季。

鑒于上述情況，本文針對月季花的特性，提取月季花的底層視覺特征，利用HSV模型提取花朵顏色特征，利用CLCM和LBP融合算法提取花朵的紋理特征、銳度特征、輪廓特征、邊界特征等來確定月季花的形狀特征，共提取到月季花的22個特征；通過特征選擇算法獲取其中的18個強分類特征；采用Random Forest算法進行分類和識別。經(jīng)驗證，本文提出的基于移動端月季花快速識別方法平均識別率可達93.5%，用戶可以快速便捷地利用手機移動端進行使用，具有不錯的識別效果和便利性，能夠?qū)Ψ菍I(yè)人士識別和鑒賞月季花起到一定的幫助。

1 花卉植物特征提取

1.1 圖像采集和預處理

本文利用華為P8手機的高清攝像頭提取花朵的清晰照片，拍攝角度需要正對花朵，將花朵置于中心位置，并且保證花朵輪廓完整且清晰，便于之后獲取花朵圖像的有效信息，減少識別誤差。獲取原始圖像之后，為了更好地提取花朵圖像信息，需要進行預處理操作，將圖像中的花朵圖像和復雜背景分離開。首先要利用選擇框框選花朵輪廓，本文設(shè)計實現(xiàn)的移動端軟件界面如圖1(a)所示。點擊右下角的按鈕，系統(tǒng)生成一個大小可變的四邊形選擇框，將花朵輪廓盡可能的圈入四邊形，然后使用顯著性檢測算法和GrabCut算法處理圖像。步驟為：首先通過圖像顯著性檢測，得到前景和背景區(qū)域并建立高斯混合模型GMM，利用K-Means算法初始化GMM，將前景和背景聚為NF類和NB類；然后利用最大流-最小割思想進行圖像進行切分，循環(huán)迭代更新GMM參數(shù)，讓能量函數(shù)趨于收斂，最終實現(xiàn)分割。本文提取的花朵圖像如圖1(b)所示。

圖1 圖像預處理和背景分割過程

1.2 顏色特征提取

月季花花色豐富，不同的品種花色不同，總共可分為紅色系、朱紅色系、橙色系等九種，不同品種的月季花在顏色方面的存在差異，并且顏色具有形狀和方向無關(guān)性，所以可以將顏色特征作為月季花識別分類的重要依據(jù)。相比于RGB顏色空間，HSV空間可以更直觀地表達色彩的色調(diào)、鮮艷程度、亮度，有助于在不同的顏色之間對比。所以，首先將圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間，其中，H為色調(diào)，取值范圍為0°～360°；S為飽和度，表示顏色接近光譜色的程度，即顏色的深淺程度；V為明度，表示顏色明亮的程度。為便于減小計算量，本文將HSV空間進行非等間隔量化，公式如下：

(1)

(2)

(3)

由于圖像采集過程中，手機拍攝的花朵圖片易受光照強度的影響，因此可以把三個顏色分量合成一個一維特征矢量[6]：L=8H+4S+V，這樣不僅有效降低了HSV顏色空間中亮度對圖像的影響，還可以進一步減小計算量。本文所使用的圖像主顏色提取算法的具體流程如下：

(1) 將各像素的顏色值由RGB轉(zhuǎn)換到HSV顏色空間；

(2) 確定10個聚類中心；

(3) 計算每個像素點與10個聚類中心的距離，找到最小距離，將該點歸入相應的聚類中；

(4) 完成各個像素點的分類后，重新確定聚類中心，并重復執(zhí)行步驟(3)-步驟(4)，直到10個中心點穩(wěn)定；

(5) 從圖像中提取到10個主顏色以及其頻率。

本文以Fn(1,2…,n)表示提取的第n個特征，由圖2可知，有兩個顏色所占比例較高，因此選取這兩個顏色為圖像的主顏色，提取4個特征來描述圖像的顏色特征：第一主顏色特征F1，所占比例F2；第二主顏色特征F3，所占比例F4。

圖2 主顏色提取結(jié)果

1.3 形狀特征提取

不同的月季花品種，花蕾形狀、花朵形態(tài)都有所不同，通過分析這些形狀特征有助于提高月季花分類的準確率，本文主要從月季花銳度特征、輪廓特征、邊界特征這三個方面描述月季花的形狀。

首先，我們定義花朵區(qū)域的質(zhì)心作為花朵的中心[3]，計算如下：

(4)

(5)

sum為花朵圖像邊界上所有的像素點的個數(shù)，xn為第n個像素點的橫坐標，yn為第n個像素點的縱坐標，像素點到花朵中心的距離計算公式如下：

(6)

本文用F5～F13來表現(xiàn)花朵區(qū)域的形狀特征，表述如下：

(1) 銳度特征F5，用于描述月季花的缺陷明顯度，通過計算花朵的邊界點到花朵中心的最大和最小距離的比值得到，定義如下：

(7)

(2) 輪廓特征F6，用于描述月季花的飽滿程度，計算公式如下：

(8)

Sflower是花朵區(qū)域的面積圖3(a)，Sch是花朵圖像凸包(最小外接凸多邊形)的面積圖3(b)?；ǘ湫螤钤斤枬M，F(xiàn)6就會越接近于1，該特征值對于旋轉(zhuǎn)、平移、縮放具有魯棒性。

圖3 月季花形狀特征提取示意圖

(9)

(10)

(11)

用于描述邊界特征的七個不變矩見式(12)-式(18)，這七個不變矩有平移、旋轉(zhuǎn)和尺度變化的不變性。

F7 =η20+η02

(12)

F8=(η20-η02)2+4η11

(13)

F9=(η30-3η12)2+(η21-η03)2

(14)

F10=(η30+η12)2+(η21+η03)2

(15)

F11= (η30-3η12)(η30+η12)[(η30+η12)2-

(η21+η03)2]+(3η21+η03)(3η21+

η03)[3(η30+η12)2-(η21+η03)2]

(16)

F12= (η20-η02)[(η30+η12)2-(η21+η03)2]+

4η11(η30+η12)2(η21+η03)

(17)

F13= (3η21-η03)(η30+η12)[(η30+η12)2-

3(η21+η03)2]+(3η12-η30)(η21+

η03)[3(η30+η12)2-(η21+η03)2]

(18)

1.4 紋理特征提取

不同的月季花的紋理特征也有差異。本文采用融合的灰度共生矩陣和局部二進制模式的方法[8]來描述紋理特征。

局部二進制模式LBP[9-10]是一種紋理描述算子，具有旋轉(zhuǎn)不變性、光照變化不敏感、計算復雜度低等優(yōu)點。原始LBP算子計算過程：(1) 將3×3的窗口中心像素設(shè)為閾值；(2) 比較其余八個像素和中心像素的灰度值的大小，大于閾值則該點為1，小于閾值則為0，然后按照順時針方向得到八位二進制數(shù)，即為該中心像素點的LBP值，如圖4所示。

圖4 原始LBP算子計算過程

為了克服LBP取值易受噪音影響，李春立等[11]提出一種改進的LBP算子，通過將紋理圖像均勻分塊，對每一塊計算像素灰度值均值，將此作為一個新像素點的灰度值，然后再利用LBP算子。公式如下：

(19)

各變量含義：x是紋理圖像分塊的大??；pab代表位置為(a,b)像素的灰度值。

灰度共生矩陣GLCM(Gray-level Co-occurrence Matrix)是像素距離和角度的矩陣函數(shù)。通過計算某個方向上一定距離的兩點灰度之間的相關(guān)性，可以有效地反映圖像灰度的綜合信息[12]，例如變化幅度、相鄰間隔等。

本文利用李春立提出的改進的LBP算子，結(jié)合融合的灰度共生矩陣和局部二進制模式的方法描述月季花圖像的紋理特征。具體步驟：首先選取改進的LBP算子，對圖像的每個像素經(jīng)過LBP運算，得到LBP圖像。設(shè)定距離d=1，從四個角度(0°，45°，90°，135°)分別計算LBP特征譜的4個灰度共生矩陣，然后對各個灰度共生矩陣求和并除以4，得到均值矩陣，為了更好地分析GLCM，Haralick 提出了14個特征，本文使用常用的9個特征(記為F14～F22)來表達圖像的紋理特征，分別是：能量(Energy)、熵(Entropy )、對比度(Contrast)、相關(guān)性( Correlation )、均值(Mean) 、方差(Variance) 、同質(zhì)性(Homogeneity)、非相似性(Dissimilarity)、角二階矩( Angular Second Moment )。部分特征的計算公式見公式：

能量：

(20)

熵：

(21)

對比度：

(22)

相關(guān)性：

(23)

各變量含義：M(i,j)為矩陣中位置為(i,j)點的值，μx、μy分別為Mx、My的均值，σx、σy分別為Mx、My的標準差。

綜合從顏色、形狀、紋理三方面提取的特征共計22個，對每一個特征進行歸一化處理，最終得到22維的特征變量：F=[F1,F2,…,F22]。

1.5 特征選擇

本文利用從顏色、形狀、紋理三方面提取到的月季花的22個特征對月季花進行識別研究，但是有些特征對于分類精度影響較小，并且還會影響計算速度。因此，在進行分類前，首先利用隨機森林算法(Random Forest)進行特征選擇。

(24)

2 系統(tǒng)總體設(shè)計

本文采用客戶端-服務器(C/S)模型，基于移動端的月季花的快速識別方法如圖5所示。

圖5 基于移動端的月季花快速識別方法

移動端工作包括圖像采集和預處理，具體操作是：在手機移動端通過攝像頭拍攝獲取月季花圖像并進行預處理，即在觸摸屏上利用手勢操作將花朵輪廓框選，利用GrabCut算法對月季花圖像進行分割，將花朵圖像和周圍復雜的背景分離開，然后將預處理后的花朵圖像上傳給服務器。服務器端工作主要包括：特征分析和提取、分類器分類、返回結(jié)果。服務器端接收移動端傳輸?shù)膱D像后，利用本文所提出的特征提取算法從顏色、形狀、紋理三個方面提取月季花視覺特征，并采用分類器進行分類。

本文實驗數(shù)據(jù)來源于在北京植物園和北京陶然亭公園利用華為P8手機拍攝的20個月季花品種，部分圖像如圖6所示。

3 實驗結(jié)果和分析

實驗所用服務器的配置：酷睿I5處理器，頻率3.1 GHz，8 GB內(nèi)存。移動端設(shè)備配置：Kirin 930處理器，頻率2.2 GHz，內(nèi)存3 GB。操作系統(tǒng)為Linux系統(tǒng)。

本文利用華為P8手機拍攝的20個月季花品種共計1 000幅圖像進行實驗，每個品種包括50幅圖片。實驗采取五折交叉驗證，訓練模型階段將每個品種等分為五分，依次選取其中的四份作為訓練樣本，剩下的一份為測試樣本(袋外數(shù)據(jù))，分別得到五個數(shù)據(jù)集(每個訓練集包括800幅訓練樣本和200幅測試樣本)。

為提高分類器的識別分類效率，首先對原始特征進行篩選，利用OOB錯誤率估算法對原有的22個特征變量的重要性進行計算并排序，排序結(jié)果為Fsort=[F1,F6,F5,F7,F8,F10,F2,F3,F9,F12,F11,F13,F4,F15,F17,F16,F18,F14,F22,F19,F21,F20]，其中顏色特征和形狀特征的重要性明顯高于紋理特征。分別利用Random Forest算法、SVM算法、KNN算法對排序后的不同數(shù)量的特征進行實驗，結(jié)果如圖7所示。

圖7 根據(jù)重要性排序后各分類器對不同特征維數(shù)的識別率

由圖7可以看出，隨著特征維數(shù)的增加，Random Forest算法、SVM算法、KNN算法的識別率也不斷提高，在特征數(shù)量達到一定的個數(shù)的時候，識別率達到比較高的水平并保持穩(wěn)定。其中，特征維數(shù)為18的時候，Random Forest 算法和KNN算法的識別率達到最好的效果，其識別率分別可達93.5%和88.4%，此后識別率隨著特征維數(shù)的增加趨于穩(wěn)定。SVM算法在特征維數(shù)為19的時候達到穩(wěn)定，識別率為91.8%。由此得出，在保持識別率穩(wěn)定的前提下，利用特征選擇算法，可以有效地優(yōu)化特征數(shù)量，通過降低特征變量的維度，加快運算速度。其中，Random Forest算法在特征維數(shù)為18的時候，識別率達到穩(wěn)定狀態(tài)，并且高于SVM算法和KNN算法的識別精度。

對于不同的分類器，根據(jù)這五個數(shù)據(jù)集建立五個模型，首先對這五個模型的訓練樣本和測試樣本分別計算標準化均方誤差(NMSE)，求得五次平均的NMSE，然后根據(jù)實驗中每個品種的識別結(jié)果計算平均識別率。其中NMSE計算公式如下：

(25)

表1 不同算法下對數(shù)據(jù)的NMSE分析

通過分析表1中各個算法對訓練集和數(shù)據(jù)集的NSME結(jié)果可知：KNN、SVM、Random Forest算法對數(shù)據(jù)集都有較好的可靠性，其中Random Forest算法的訓練集和測試集的NSME結(jié)果分別為0.000 9、0.051 3，可靠性較其他兩種算法更好。

綜上所述：本文提出的從顏色、形狀、紋理三方面提取到的22個視覺特征對月季花的識別具有良好的識別率，利用特征選擇算法提取的18個強分類特征在保證月季花良好的識別效果的同時，可以減少特征提取階段的工作量以及分類器識別分類階段的計算量，加快了計算速度。分類器選擇方面，Random Forest算法在識別率、可靠性、計算速度等方面表現(xiàn)最佳，所以本文采用Random Forest算法對提取到的18個特征進行分析，各品種月季花的平均識別率見表2。

表2 月季花識別實驗結(jié)果

從實驗結(jié)果可以看出，這20種月季的平均識別率可達93.5%，識別效果良好。其中，金香玉和金風凰的識別率較差，通過分析可知，這兩種花在顏色、形狀特征較為相似，造成了較大的識別誤差。此外，由于數(shù)據(jù)庫中采集的花朵在拍攝角度、花朵輪廓完整性等方面存在差異，并且花朵在不同的時期形態(tài)也有所不同，在一定程度上干擾了識別效果，降低了識別率。

4 結(jié) 語

本文利用圖像處理技術(shù)和手機移動端相結(jié)合的方法，從顏色、形狀、紋理三方面得到了月季花的22個特征，提出了適合描述月季花視覺特征的方法。利用特征選擇算法對特征變量進行重要性排序，通過實驗發(fā)現(xiàn)其中的18個特征具有良好的分類效果。最終，將有效的特征減少為18個，并作為Random Forest算法的輸入變量。實際操作中，移動端完成拍照之后，服務器能夠在4 s內(nèi)將結(jié)果返回到移動端的用戶界面。實驗表明：本文所提出的方法實現(xiàn)了對月季花進行快速的識別，具有較強的便利性和實用性。雖然某些品種的月季花分類效果不是特別理想，但是總體上來說，具有較好的分類效果。

本文對基于移動端的月季花快速識別做了初步的分析，取得了一定的成果；但是還有一些問題尚未解決：其一，由于訓練樣本數(shù)量有限，得到的特征模型并不能對所有的月季花種類進行有效的識別，具有一定的局限性。其二，現(xiàn)在的特征提取方法不夠精確，特征分類不夠全面。其三，受限于硬件水平，圖像采集的過程要求較為嚴格，易受外部環(huán)境的影響，并且不能有效地提取花卉植物的立體圖像，所以只能得到花卉植物的部分特征。在以后的研究中，將更多新的圖像處理技術(shù)引入到花卉圖像識別中，同時擴展有效特征數(shù)量，比如將味道、葉片、植株大小等特征作為新的特征融入進來，有望進一步提高識別率。此外，隨著智能眼鏡、智能手表等智能穿戴設(shè)備的快速發(fā)展，未來結(jié)合圖像處理算法和智能穿戴設(shè)備進行花卉植物快速識別研究也是一個比較有意義的方向。

[1] 劉佳,丁曉六,于超,等.7個月季和5個玫瑰品種的核型分析[J].西北農(nóng)林科技大學學報(自然科學版),2013,41(5):165-172.

[2] Saitoh T,Aoki K,Kaneko T.Automatic Recognition of Blooming Flowers[C]//Pattern Recognition,2004.ICPR 2004.Proceedings of the 17th International Conference on.IEEE,2004:27-30.

[3] Hsu T H,Lee C H,Chen L H.An interactive flower image recognition system[J].Multimedia Tools and Applications,2011,53(1):53-73.

[4] 張娟,黃心淵.基于圖像分析的梅花品種識別研究[J].北京林業(yè)大學學報,2012,34(1):96-104.

[5] 蔣樹強,閔巍慶,王樹徽.面向智能交互的圖像識別技術(shù)綜述與展望[J].計算機研究與發(fā)展,2016,53(1):113-122.

[6] 陶華偉,趙力,奚吉,等.基于顏色及紋理特征的果蔬種類識別方法[J].農(nóng)業(yè)工程學報,2014,30(16):305-311.

[7] 趙志杰,孫小英,金雪松,等.多重圖像輪廓特征結(jié)合的步態(tài)識別算法[J].哈爾濱工業(yè)大學學報,2016,48(4):182-188.

[8] 王國德,張培林,任國全,等.融合LBP和GLCM的紋理特征提取方法[J].計算機工程,2012,38(11):199-201.

[9] Hu R,Qi W,Guo Z.Feature Reduction of Multi-scale LBP for Texture Classification[C]//International Conference on Intelligent Information Hiding and Multimedia Signal Processing.IEEE,2015:397-400.

[10] Ojala T,Pietik?inen M,Harwood D.A comparative study of texture measures with classification based on featured distributions[J].Pattern Recognition,1996,29(1):51-59.

[11] 李春利,沈魯娟.基于改進LBP算子的紋理圖像分類方法[J].計算機工程與設(shè)計,2016,37(1):232-236.

[12] 白帆,鄭慧峰,沈平平,等.基于花朵特征編碼歸類的植物種類識別方法[J].浙江大學學報(工學版),2015,49(10):1902-1908.

[13] Ye Y,Wu Q,Huang J Z,et al.Stratified sampling for feature subspace selection in random forests for high dimensional data[J].Pattern Recognition,2013,46(3):769-787.

[14] 姚登舉,楊靜,詹曉娟.基于隨機森林的特征選擇算法[J].吉林大學學報(工學版),2014,44(1):137-141.

[15] Zhou Q,Zhou H,Li T.Cost-sensitive feature selection using random forest: Selecting low-cost subsets of informative features[J].Knowledge-Based Systems,2016,95:1-11.

RAPIDRECOGNITIONAPPROACHFORCHINESEROSEBASEDONMOBILEPHONE

Pang Junzhen Huai Yongjian
(SchoolofInformationScienceandTechnology,BeijingForestryUniversity,Beijing100083,China)

The rapid recognition of flower and plants has become the research hotspot of horticultural plants research. We chose the Chinese rose which lives in the natural background as a research object. Based on convenience and advantages of mobile phone, a rapid recognition method for Chinese rose is proposed. After using the artificial interactive image segmentation preprocessing, we used the new main color extraction algorithm and the shape feature description algorithm to extract the main color and shape features. Then twenty two texture features were extracted by applying the improved fusion GLCM and LBP algorithm. 18 strong classification characteristics were got by using feature selection algorithm. Finally, random forest algorithm was used to test 1 000 images and the average recognition rate can reach 93.5%, and the result shows that this method has well recognition effect and fast recognition speed.

Feature extraction Random forest Feature selection Rapid recognition

2017-01-16。中央高?；究蒲袠I(yè)務費專項(2015ZCQ-XX)。龐俊震，碩士生，主研領(lǐng)域：計算機應用技術(shù)?；从澜ǎ淌?。

TP3

A

10.3969/j.issn.1000-386x.2017.08.007