米 福，陸佳平，孫 旋，方繼凡

（1.江南大學 機械工程學院，江蘇無錫 214122；2.黃山市猴坑茶業(yè)有限公司，安徽黃山 245700）

0 引言

將茶葉進行自動化生產，是當前茶葉行業(yè)的趨勢。猴魁茶葉的傳統制作過程分為采摘、殺青、理條、捏尖、壓扁和烘干定形6個階段，茶葉成品的外形與捏尖息息相關［1-3］。捏尖是抓住茶葉的葉柄，然后將茶葉的葉尖旋轉兩圈半。為更好地完成捏尖工藝，需要識別自動化生產線上每一根猴魁茶葉的葉尖和葉柄，然后統一葉尖和葉柄的排列方向，提高捏尖加工做形的效率。

目前有許多研究應用圖像處理技術來識別茶葉的老葉和嫩葉，徐張群等［4］利用圖像處理中的形態(tài)學運算和二值圖像標記算法獲取茶葉鮮葉的數量和位置；吳雪梅等［5］利用基于圖像的顏色信息來區(qū)分茶葉的嫩葉與老葉；韋佳佳［6］利用形態(tài)學處理茶葉圖像識別茶葉嫩芽，然后采用質心法確定嫩芽的中心位置。在茶葉分類方面，TANG等［7］利用LBP-GLCM結合的方法識別茶葉類別為一芽兩葉、一芽一葉和一芽多葉；BORAH等基于茶葉紋理特征對茶葉進行分類［8-9］。目前的研究主要集中于識別茶葉的嫩芽位置以及茶葉的等級分類。

為識別猴魁茶葉經過殺青預搓條后的葉尖和葉柄，使用攝像頭采集茶葉圖像，在圖像預處理完成后，利用圖像處理技術完成對茶葉紋理信息和形狀信息的提取，對2種特征融合后得到的新特征運用支持向量機（SVM）分類實現對葉尖和葉柄的區(qū)分。

1 圖像采集和預處理

1.1 圖像樣本選擇

選取清明節(jié)后殺青預搓條后的猴魁茶葉作為樣本，如圖1所示。猴魁茶葉葉尖部分呈橢圓形，葉柄部分比較細長；葉尖部分紋理豐富，葉柄部分紋理較少；葉尖端和葉柄端顏色區(qū)分不明顯。因此基于顏色進行葉尖和葉柄的區(qū)分效果不佳。

圖1 猴魁茶葉殺青搓條后的樣本Fig.1 Samples of Houkui tea after rubbing

1.2 圖像采集處理

采用?？低昅V-CA060-10GM/GC型相機，參數如表1所示。攝像頭為CMOS型傳感器，最大分辨率為3027×2048 DPI。用于采集猴魁茶葉的訓練和測試樣本。

表1 相機參數Tab.1 Camera parameters

1.3 圖像的預處理

在VS2019中運用OpenCV圖像處理技術，將相機采集到的猴魁殺青茶葉由彩色圖像轉化為灰色圖像，然后對圖像進行濾波處理，以降低采集到圖片的噪聲。通過對濾波處理后的茶葉圖像進行反二值化操作，進行茶葉圖片形態(tài)學操作處理；然后進行開運算處理，將茶葉從葉尖和葉柄的正中間分開，提取茶葉的葉尖、葉柄ROI；最后分別提取茶葉整體輪廓、葉尖和葉柄的形狀參數。操作步驟如圖2所示。

圖2 茶葉預處理流程圖Fig.2 Flow chart of tea pretreatmen

1.3.1 圖片灰度化

將相機捕獲后的茶葉彩色圖片轉換成灰度圖片，利用灰度變換函數實現圖片從RGB顏色空間到灰度圖像的轉變，以減少后續(xù)圖像處理的計算量，提高運行速度。RGB顏色空間轉換的計算如下式：

1.3.2 圖像反二值化

圖像反二值化操作是在灰度圖中設置1個閾值，將灰度圖中小于該閾值的灰度值設置為白色（255），將大于該閾值的灰度值設置為黑色（0），以便于后續(xù)對茶葉的形態(tài)學參數的提取。對茶葉進行反二值化操作的結果如圖3所示。

圖3 茶葉的反二值化Fig.3 De-binarization of tea

1.3.3 提取圖像的ROI

使用ROI可以指定圖像中想要的目標，減少處理時間，提升處理精度。提取茶葉葉尖和葉柄部分的ROI，獲取葉尖和葉柄的中間列數。分別用矩形區(qū)域提取葉尖和葉柄的ROI，如圖4、圖5所示。

圖4 茶葉左半邊ROIFig.4 ROI on the left half of the tea leaves

圖5 茶葉右半邊ROIFig.5 ROI on the right half of the tea leaves

1.3.4 形態(tài)學處理

對于二值化后的茶葉，圖片存在細小的毛刺。為消除這些小毛刺，并平滑茶葉的邊界，使用形態(tài)學上的開運算對二值化后的茶葉進行處理。開運算是先腐蝕后膨脹的過程，膨脹是將目標像素的值替換為卷積核覆蓋區(qū)域的局部最大值，腐蝕則相反［10］。

2 圖像的特征分析和分類方法

2.1 圖像的紋理特征分析

LBP（local binary pattern）特征最早由OJALA等［11］提出，用于描述圖像的紋理特征，具有旋轉不變性和灰度不變性等顯著優(yōu)點。LBP算子以一種巧妙的方式編碼局部圖案。局部二值圖案描繪像素點和像素點周圍的關系，原始的LBP定義在單個像素點的3×3鄰域內，以這個鄰域的中心點像素作為比較值，從鄰域左上角的每個像素值開始按照順時針方向依次與鄰域中心點的像素相減，如果結果大于0，那么這個像素點的位置賦值為1；如果小于等于0，那么這個像素點的位置賦值為0。3×3的鄰域經過與中心點的像素值比較后一共有8個繞鄰域的值，將這8個值按照順時針排列得到1個在0與255之間的數，一共有256種可能。計算過程如圖6所示。

圖6 經典LBP模式計算過程Fig.6 The calculation process of the classical LBP mode

經典的LBP在3×3的鄰域內經過計算變成8位的二進制數，如式（2）、式（3）所示，再轉化為十進制有256種，但是計算量過大。于是OJALA等［12］在此基礎上提出圓形LBP模式，將3×3推廣到任意鄰域，面積更大，適用范圍更廣。旋轉不變的LBP模式，將圓形LBP計算得到的二進制進行循環(huán)旋轉，找出其中的二進制最小值，將此刻的最小LBP值作為該鄰域的LBP值。對于8個采樣點的LBP旋轉不變模式，LBP值一共有36種可能。

其中，（xc，yc）為像素的坐標；p為領域內的第p個像素；C為鄰域中心的像素；ip為第p個像素值；ic為鄰域中心的像素值。

等價LBP是OJALA對LBP降維的一種方法，當某個LBP所對應的二進制數從0到1或從1到0最多有2次跳變時，該LBP所對應的二進制就稱為1個等價模式。對于3×3鄰域內原來的8個采樣點，一共有256種可能，而等價模式的LBP減至58種，大幅降低LBP的種類，提高計算的效率。在猴魁茶葉的葉尖和葉柄識別中，運用等價LBP分別計算茶葉左半部分和右半部分，結果如圖7所示。

圖7 猴魁茶葉的等價LBPFig.7 Uniform LBP of Houkui Tea

計算等價LBP特征向量，首先將計算好的等價LBP圖用小滑窗統計滑窗內的等價LBP值；然后建立小滑窗內直方圖。當統計完成后，小滑窗滑向下一個圖片中的區(qū)域，建立下一個區(qū)域內的LBP直方圖。當整張圖片內所有的區(qū)域直方圖建立完成后，將所有直方圖連起來得到整張圖片的等價LBP特征向量直方圖。

2.2 圖像的形狀特征分析

對于區(qū)分猴魁茶葉的葉尖和葉柄，僅用等價LBP值來提取紋理信息作為區(qū)分的依據并不完善。等價LBP只能夠完整表示葉尖和葉柄紋理的信息，茶葉的形狀信息也是作為區(qū)分的重要依據。茶葉葉尖和葉柄的形狀信息指標有面積A、周長C、直徑D、圓形度F和hu不變矩等［13］。

面積描述茶葉圖像輪廓線內包含的所有像素個數；周長表示茶葉圖像輪廓線上的像素總和；直徑是指與茶葉面積等價的最小圓直徑，計算如式（4）所示；圓形度在茶葉輪廓中用于描述葉片接近圓形的程度，計算如式（5）所示；hu矩是歸一化中心矩的線性組合。

hu矩有7個，隨著hu矩定義式中階數的增加，hu矩變得很小，故取h1和h2矩替代整個hu矩。h1的計算如式（6），h2的計算如式（7）所示。

其中，v20，v02和v11為歸一化中心矩。

定義細長度T為茶葉的區(qū)域最小外接矩形的長（L）和寬（S）之比，計算如下式所示：

定義矩形度R為茶葉的面積與茶葉區(qū)域外接最小矩形的面積之比。

將采集到的60張茶葉圖片進行圖像處理，計算得到8個有關茶葉形狀特征平均值參數，如表2所示。

表2 茶葉葉尖和葉柄形狀特征參數Tab.2 Shape characteristic parameters of tea leaf tip and petiole

由表2可知，葉尖端面積比值大于葉柄端面積比值，葉尖端周長比值接近于葉柄端比值，直徑比值也是葉尖端大于葉柄端。對于圓形度，葉尖端的比值比葉柄端更接近于1，表明茶葉的葉尖端更加圓整。h1矩和h2矩都是葉尖端小于葉柄端，對于矩形度比值則是葉柄端高于葉尖端，葉柄端的外形更接近于矩形，葉柄端的細長度比值大于葉尖端。根據以上分析對比，利用形狀特征參數的不同，可以將茶葉的葉尖端和葉柄端進行有效的區(qū)分。

2.3 支持向量機分類方法

支持向量機是一種在傳統機器學習上非常重要的分類算法，其基本形式是基于一系列的樣本對2類物體進行區(qū)分。SVM的效果取決于選擇合適的核函數，將某個特定維度空間的數據映射到更高維的空間中去，這個空間也叫核空間［14-16］。在新的核空間中，線性分類器常?？梢哉业?類的分界函數。在OpenCV的SVM可用的核有線性核、多項式核、徑向基函數核、Sigmoid核、指數卡方分布核和直方圖交運算核。對于處理數據中的離群點，SVM的優(yōu)點是當數據有限時，可以獲得非常好的性能和準確率。

3 試驗設計與結果分析

3.1 試驗設計

對于猴魁茶葉的葉尖和葉柄識別，首先采用Uniform LBP特征值和6個形狀特征進行參數融合，得到1個新的包含茶葉紋理和形狀參數的融合特征向量；然后將新的融合特征利用SVM進行大量數據訓練；最后將訓練好的SVM用于預測識別茶葉的葉柄和葉尖，得到葉尖和葉柄信息。識別的基本過程如圖8所示。

圖8 茶葉葉尖和葉柄的識別基本流程Fig.8 The basic process of identifying tea leaf tips and petioles

挑選200片清明節(jié)后的猴魁茶葉作為樣本，經過圖像采集后，對茶葉圖片進行圖像預處理，在OpenCV中分別獲取猴魁茶葉的葉尖端和葉柄端的形狀特征參數如面積A、直徑D、圓形度F、h1矩和h2矩，將這些形狀參數進行歸一化處理后生成8維特征向量。另一方面對圖像采集后的茶葉提取ROI后，分別計算茶葉的葉尖端和葉柄端的等價LBP值。

首先運用PCA降維方法把等價LBP特征向量降至28維；然后將形狀特征向量和降維后的等價LBP特征向量直接串聯起來作為新的融合特征向量，80%的樣本作為訓練數據集，20%的樣本作為測試集，葉尖端對應的特征向量賦值為+1，葉柄端對應的特征向量賦值為0。利用訓練好的SVM模型去預測測試集中的葉尖端和葉柄端的分類結果，實現對猴魁茶葉的葉尖端和葉柄端的區(qū)分。

為具有優(yōu)秀的實時性能和準確率，便于將來在生產上應用的實現，選擇SVM的核為徑向基函數核。SVM參數經過以識別準確率為目標進行優(yōu)化，經過網格參數調優(yōu)法選擇后，核參數C=10，核參數gramma=0.6，核的類型為C-SVC。

3.2 試驗結果分析

單獨利用等價LBP模式提取茶葉兩端的特征，用于SVM訓練，葉尖和葉柄識別的準確率為80.9%；而經過融合之后得到的特征，利用SVM訓練，最后得到的準確率為98.5%。經過紋理和形態(tài)特征的融合，使得新的特征具有不同維度的特點，能有效地提升訓練準確率。

將LBP特征和形狀特征融合后的新特征利用隨機森林來進行茶葉葉尖和葉柄的區(qū)分，識別的精確率、召回率、準確率和綜合評價指標如表3所示。融合的新特征有效提高了茶葉葉尖和葉柄分類的準確率，從不同的維度進行分類更全面。對于分類方法，支持向量機比隨機森林分類的效果更好。融合的新特征加上SVM的方法根據綜合評價指標得分也是最高，為0.987。基于LBP紋理特征和形態(tài)特征參數的方法識別猴魁茶葉的葉尖和葉柄也可以適用于其地茶葉，可以作為其他茶葉定制加工的參考。

表3 不同方法進行識別效果對比Tab.3 Comparison of recognition effects of different methods

4 結語

本文針對猴魁茶葉做形的精細化加工要求，識別出猴魁茶葉葉尖和葉柄位置，為后續(xù)調換猴魁茶葉的位置提供基礎。首先利用攝像機采集茶葉的圖像；然后對圖像進行預處理后提取形狀信息和紋理信息，將形狀特征和紋理特征融合；最后運用SVM訓練以新特征識別茶葉葉尖和葉柄，準確率達到98.5%。結果表明新方法比單一紋理特征方法的準確率提升了17.6%，可以有效地識別出猴魁茶葉的葉尖端和葉柄端。后續(xù)將進一步計算猴魁茶葉的形心，研究調換猴魁茶葉的葉尖和葉柄位置，完成葉尖和葉柄方向的統一排列。