吳正敏，曹成茂，謝承健，吳佳勝，胡汪洋，汪天宇

安徽農(nóng)業(yè)大學(xué)工學(xué)院，安徽 合肥 230036

基于圖像處理技術(shù)和神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)機(jī)采茶分級(jí)

吳正敏，曹成茂*，謝承健，吳佳勝，胡汪洋，汪天宇

安徽農(nóng)業(yè)大學(xué)工學(xué)院，安徽 合肥 230036

為解決名優(yōu)綠茶采摘環(huán)節(jié)的瓶頸問題，提出對(duì)機(jī)采大宗綠茶進(jìn)行分級(jí)的思路。現(xiàn)有綠茶機(jī)采設(shè)備采摘的鮮葉一般只能制作普通的大宗綠茶，鮮葉存在混雜、破碎率高和老梗葉等問題，本文基于Labview vision、圖像處理技術(shù)和神經(jīng)網(wǎng)絡(luò)算法分析機(jī)采綠茶成品的凸包面積、 凸包周長、長軸長度、短軸長度等形態(tài)特征并對(duì)樣本進(jìn)行分類，實(shí)現(xiàn)從機(jī)采大宗綠茶中分選出名優(yōu)綠茶。其中樣本的形態(tài)特征采用工業(yè)CCD攝像頭獲取；用戶界面用 Labview自定義開發(fā)設(shè)計(jì)，數(shù)據(jù)交互方便，開發(fā)周期短。茶葉樣本試驗(yàn)結(jié)果表明：該方案機(jī)采綠茶成品的分級(jí)正確率可以穩(wěn)定在90%以上。本研究為進(jìn)一步研究機(jī)采茶分級(jí)設(shè)備提供了良好的理論基礎(chǔ)。

機(jī)采綠茶；分級(jí)；神經(jīng)網(wǎng)絡(luò)；圖像處理技術(shù)

名優(yōu)綠茶采摘環(huán)節(jié)是制約我國綠茶產(chǎn)業(yè)發(fā)展的重要因素，受到茶園管理水平、茶樹品種、地形地貌、設(shè)備等因素的影響，現(xiàn)有機(jī)采設(shè)備采摘的鮮葉往往存在長短不齊、老嫩不均、莖梗含量高、勻凈度低等問題[1]，優(yōu)質(zhì)綠茶特別是級(jí)別較高的名優(yōu)綠茶，還得靠人工采摘，加上近幾年勞動(dòng)力逐漸短缺和勞動(dòng)力成本不斷上漲，名優(yōu)茶的采摘問題日漸突出。

為解決名優(yōu)綠茶機(jī)采問題，本文提出了基于圖像處理技術(shù)和神經(jīng)網(wǎng)絡(luò)算法對(duì)機(jī)采綠茶成品進(jìn)行分級(jí)處理。傳統(tǒng)的茶葉分級(jí)方法主要有滾篩分級(jí)、圓篩分級(jí)和風(fēng)選分級(jí)等，這些方法可以使機(jī)采鮮葉原料在一定程度上按大小歸類，有效地將正常芽葉與斷碎芽葉和雜物等進(jìn)行分離，但分級(jí)效果離優(yōu)質(zhì)茶鮮葉的要求還有一定的差距[2-3]。圖像處理技術(shù)和分類算法在茶葉加工領(lǐng)域的應(yīng)用主要集中在茶葉品質(zhì)鑒定、茶葉色選、鮮葉分級(jí)3個(gè)方面[4-6]，國外基于圖像處理技術(shù)對(duì)茶葉領(lǐng)域的研究多集中在茶葉機(jī)理和品質(zhì)鑒定中，對(duì)茶葉分級(jí)特別是機(jī)采茶的分級(jí)研究較少[7-9]。國內(nèi)張春燕等[10]提出最小外接圓外徑與最大內(nèi)切圓半徑比形狀特征，依據(jù)最小錯(cuò)誤率貝葉斯分類器對(duì)茶葉、茶梗圖像的類別判斷，從而實(shí)現(xiàn)茶葉茶梗圖像快速分類；常春等[11]設(shè)計(jì)了一種基于神經(jīng)網(wǎng)絡(luò)圖像分析的智能鮮茶葉分選機(jī)，可以很好地實(shí)現(xiàn)手采鮮葉的分選，但機(jī)采綠茶的特征較為復(fù)雜，這從一定程度上加大了分級(jí)的難度。

本文基于Labview vision、圖像處理技術(shù)分析機(jī)采綠茶成品的凸包面積、凸包周長、長軸長度、短軸長度特征并利用神經(jīng)網(wǎng)絡(luò)算法對(duì)特征進(jìn)行分級(jí)，實(shí)現(xiàn)從機(jī)采大宗綠茶中分選出名優(yōu)綠茶（全芽、一芽一葉和一芽二葉）。

1 機(jī)采茶樣本的選擇與圖像預(yù)處理

1.1 樣本選擇

選擇谷雨前機(jī)采綠茶加工成品作為樣本，機(jī)采綠茶中有全芽、一芽一葉、一芽二葉，以及一芽多葉并混雜有茶梗、老茶碎片和嫩茶碎片，具體特征如圖1所示，從機(jī)采茶樣本中選出優(yōu)質(zhì)茶樣本如圖2所示。

1.2 圖像采集

采用索尼數(shù)字 CCD相機(jī)配合 NI的Labview vision模塊進(jìn)行圖像采集，CCD相機(jī)用來獲取訓(xùn)練樣本、測(cè)試樣本以及標(biāo)定板圖像，采用上位機(jī)軟件進(jìn)行圖像處理和顯示，照明采用暖白色光源，設(shè)計(jì)圖像采集試驗(yàn)臺(tái)如圖3所示。

1.3 圖像預(yù)處理

運(yùn)用 Labview圖像處理技術(shù)將采集到的干茶樣品彩色圖像轉(zhuǎn)換為灰度圖像，進(jìn)而轉(zhuǎn)換為二值圖像，再對(duì)二值圖像進(jìn)行形態(tài)學(xué)處理，最后提取二值圖像的參數(shù)特征進(jìn)行分析，具體工作流程如圖4所示。

圖1 機(jī)采茶樣本Fig. 1 The machine plucked tea samples

圖2 優(yōu)質(zhì)茶樣本Fig. 2 The high quality tea samples

圖3 圖像采集試驗(yàn)臺(tái)Fig. 3 The test platform for image acquisition

圖4 圖像預(yù)處理流程圖Fig. 4 The flow chart of image preprocessing

1.3.1 提亮處理

對(duì)于獲取到的機(jī)采茶圖片，利用Brightness函數(shù)改變亮度，增強(qiáng)對(duì)比度，改變伽瑪值，改善圖像質(zhì)量[12]，實(shí)驗(yàn)樣本圖像預(yù)處理過程將 Brightness值設(shè)為 115、Contrast值設(shè)為87、Gamma值設(shè)為1.06，效果如圖5-b所示。

1.3.2 二值化處理

通過設(shè)置 Red、Green、Blue 3個(gè)參數(shù)的閾值，將綠色茶葉提取出來，二值化分閾值分割的計(jì)算公式如式（1）所示[6]。

其中f(x,y)和g(x,y)分別代表原始灰度圖像和二值化閾值處理后的圖像，T為閾值，大于T的像素置為白，小于T的像素置為黑。如圖5-c所示，在該試驗(yàn)環(huán)境下，當(dāng)閾值T為68時(shí)，目標(biāo)圖像和背景得到了很好的分割。

1.3.3 形態(tài)學(xué)處理

圖像經(jīng)過二值化處理之后得到的二值圖像與原來的圖像相比有很多的細(xì)節(jié)信息在處理過程中被丟失了，形態(tài)學(xué)處理可以有效消除圖像中的小粒子，填補(bǔ)空洞，有效減少對(duì)粒子分析結(jié)果的干擾。

圖5 二值圖像與原來的圖像對(duì)比圖Fig. 5 Comparison of two value image and original image

1.3.4 圖像標(biāo)定

利用機(jī)器視覺系統(tǒng)得到的茶葉圖像信息是以像素為單位，為了統(tǒng)計(jì)茶葉形態(tài)描述的實(shí)際值，須建立數(shù)字圖像像素與實(shí)際尺寸的對(duì)應(yīng)關(guān)系，通過反向映射，掃描輸出像素的位置，并在每一個(gè)位置計(jì)算輸入圖像中相應(yīng)的位置，計(jì)算公式如式（2）所示[13-14]。

采用網(wǎng)格標(biāo)定法，標(biāo)定模板中的黑色圓點(diǎn)半徑為2 mm，相鄰圓點(diǎn)圓心間的距離為1 cm。同時(shí)在相機(jī)、鏡頭工作距離不變的情況下獲取樣品圖像信息，用模板進(jìn)行標(biāo)定。試驗(yàn)中就可以得到樣品實(shí)際的形態(tài)特征參數(shù)。

1.3.5 粒子分析

根據(jù)GB/T 23776—2009中名優(yōu)綠茶品質(zhì)劃分標(biāo)準(zhǔn)，品質(zhì)最優(yōu)的一檔名優(yōu)綠茶以單芽到一芽二葉初展或相當(dāng)嫩度的單片為原料加工而成，分析滿足該條件的名優(yōu)綠茶的凸包面積、凸包周長、長軸長度、短軸長度等特征，采用Labview vision中的粒子分析函數(shù)對(duì)經(jīng)過預(yù)處理的圖像進(jìn)行參數(shù)統(tǒng)計(jì)，統(tǒng)計(jì)了全芽、一芽一葉、一芽二葉優(yōu)質(zhì)綠茶成品樣本各30個(gè)，處理后各參數(shù)均值如表1所示。

由表1和圖6可知，優(yōu)質(zhì)綠茶成品樣本中的全芽、一芽一葉和一芽二葉的形態(tài)特征參數(shù)值有著明顯的區(qū)別，特別是凸包周長、長軸長度、凸包面積這幾個(gè)參數(shù)值相差較大，可以作為分級(jí)的重要參考指標(biāo)。

1.4 圖像采集與預(yù)處理程序設(shè)計(jì)

圖像采集與預(yù)處理程序設(shè)計(jì)主要由程序框圖和用戶界面兩部分組成，通過 USB攝像頭進(jìn)行圖像獲取，Labview vision模塊編寫圖像采集和處理程序，程序框圖中 IMAQdx Snap.vi用以打開攝像頭，IMAQ Create.vi創(chuàng)建圖像緩沖區(qū)來存儲(chǔ)獲得的圖像，再用提亮、二值化、形態(tài)學(xué)處理等VI進(jìn)行圖像的預(yù)處理，最后用IMAQ Particle Analysis.vi進(jìn)行茶葉的特征分析；用戶界面可以進(jìn)行參數(shù)設(shè)置和圖像顯示，并可以直觀顯示粒子分析的結(jié)果，本文中所設(shè)計(jì)的程序框圖如圖7、圖8所示，用戶界面如圖9所示。

2 分類算法

表1 茶葉樣本形態(tài)特征均值統(tǒng)計(jì)Table 1 The statistic analysis of morphology features of tea samples

圖6 茶葉樣本形態(tài)特征均值統(tǒng)計(jì)圖Fig. 6 The statistical chart of morphology features of tea samples

圖7 圖像采集程序Fig. 7 Image acquisition program

圖8 圖像處理程序Fig. 8 Image processing program

圖9 用戶界面Fig. 9 User interface

2.1 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是一個(gè)3層的前饋神經(jīng)網(wǎng)絡(luò)，主要包括輸入層、隱藏層和輸出層，其中輸入層的作用是將刺激傳遞給隱藏層，隱藏層通過神經(jīng)元之間聯(lián)系的權(quán)重和激活函數(shù)將刺激傳到輸出層[15]，其結(jié)構(gòu)如圖10所示。

神經(jīng)網(wǎng)絡(luò)的第一層神經(jīng)元的輸出為：Out1=F1(XW1),第 二 層 的 輸 出 為 ：Out2=F2(F1(XW1)W2)，輸出層的輸出為：Out3=F3(F2(F1(XW1)W2)W3)，其中X表示網(wǎng)絡(luò)的輸入向量，W1～W3表示網(wǎng)絡(luò)各層的連接權(quán)向量，F(xiàn)1～F3表示神經(jīng)網(wǎng)絡(luò)3層的激活函數(shù)。

綜合模糊控制算法、貝葉斯分類器以及神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，考慮到機(jī)采綠茶的圖像特征與最終需要的分類結(jié)果之間關(guān)系較為模糊，故選擇非線性的BP神經(jīng)網(wǎng)絡(luò)作為工具，BP神經(jīng)網(wǎng)絡(luò)首先要以一定的學(xué)習(xí)準(zhǔn)則進(jìn)行學(xué)習(xí)，然后才能工作，通過有效的訓(xùn)練，得到較好的分類結(jié)果。

2.2 BP神經(jīng)網(wǎng)絡(luò)進(jìn)行機(jī)采綠茶分類的實(shí)現(xiàn)

（1）輸入與輸出層的設(shè)計(jì)，根據(jù)粒子分析的結(jié)果，選出適合名優(yōu)綠茶分類的特征參數(shù)凸包面積、凸包周長、長軸長度、短軸長度4個(gè)特征作為輸入，并對(duì)輸入?yún)?shù)進(jìn)行歸一化的處理，避免量級(jí)差異帶來的影響；輸出層選擇單一向量作為輸出，避免輸出不穩(wěn)定，根據(jù)名優(yōu)綠茶品質(zhì)標(biāo)準(zhǔn)，用1～3分別表示單芽、一芽一葉和一芽二葉的情況。

（2）隱層和隱單元的數(shù)目，考慮到隱層數(shù)目過多會(huì)導(dǎo)致計(jì)算量過大，結(jié)合試驗(yàn)效果，將隱層和隱單元的數(shù)目均確定為1。

（3）網(wǎng)絡(luò)訓(xùn)練，輸入機(jī)采綠茶樣本的數(shù)據(jù)和教師數(shù)據(jù)并將網(wǎng)絡(luò)權(quán)值初始化；為每一個(gè)樣本計(jì)算其隱層和輸出層的輸出以及輸出誤差；判定誤差是否滿足要求，若不滿足誤差要求則更新權(quán)值和閾值，并返回輸出計(jì)算，直到滿足要求。

圖10 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig. 10 Neural network architecture

（4）歸類。根據(jù)在學(xué)習(xí)過程中所積累的各層系數(shù)進(jìn)行計(jì)算得到輸出結(jié)果，并與期望值比較得出最終的分類。

2.3 神經(jīng)網(wǎng)絡(luò)分級(jí)程序設(shè)計(jì)

基于Labview中的Matlab script進(jìn)行神經(jīng)網(wǎng)絡(luò)的分級(jí)程序的設(shè)計(jì)，用Labview中的讀取電子表格函數(shù)讀取訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)并作為Matlab script的輸入；用premnmx、tramnmx函數(shù)對(duì)訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)進(jìn)行歸一化處理，將數(shù)據(jù)歸一化到[-1,1]區(qū)間；創(chuàng)建神經(jīng)網(wǎng)絡(luò)并設(shè)置參數(shù)進(jìn)行訓(xùn)練、對(duì)測(cè)試數(shù)據(jù)進(jìn)行預(yù)測(cè)并計(jì)算出所設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)的識(shí)別率。程序設(shè)計(jì)流程和程序代碼如圖11、圖12所示。

3 分級(jí)試驗(yàn)與結(jié)果分析

選擇45個(gè)訓(xùn)練樣本，其中全芽、一芽一葉、一芽二葉各為15個(gè)；45個(gè)測(cè)試樣本，混雜部分非全芽、一芽一葉、一芽二葉，采集圖像并獲取特征參數(shù)，并對(duì)特征參數(shù)進(jìn)行歸一化處理。

圖11 程序設(shè)計(jì)流程圖Fig. 11 The flow chart of the software

圖12 神經(jīng)算法程序Fig. 12 Neural algorithm program

測(cè)試時(shí)將神經(jīng)網(wǎng)絡(luò)訓(xùn)練的目標(biāo)誤差設(shè)為0.005，當(dāng)誤差小于0.005，訓(xùn)練過程結(jié)束；最大迭代次數(shù)設(shè)為400，迭代次數(shù)越多，計(jì)算量越大；學(xué)習(xí)率設(shè)為0.05，學(xué)習(xí)率對(duì)BP神經(jīng)網(wǎng)絡(luò)收斂速度有一定的影響，并決定網(wǎng)絡(luò)能否收斂，該值設(shè)定較小時(shí)可以保證網(wǎng)絡(luò)收斂，但是收斂較慢，相反，如果該值設(shè)置較大則有可能使網(wǎng)絡(luò)訓(xùn)練不收斂。用戶輸入和顯示界面如圖13～圖15所示。

測(cè)試結(jié)果與分析：程序運(yùn)行后，當(dāng)?shù)綌?shù)達(dá)到 400步的時(shí)候，學(xué)習(xí)誤差值最小，為0.012，訓(xùn)練 150次左右，基本收斂，該系統(tǒng)最終的識(shí)別正確率穩(wěn)定在 95.5556%，能夠達(dá)到預(yù)期的效果，該結(jié)果不僅驗(yàn)證了分級(jí)算法的可靠性，也充分說明了前期對(duì)樣本的圖像處理方法切實(shí)可行。

圖13 用戶輸入和顯示界面Fig. 13 The user input and display interface

圖14 最佳訓(xùn)練效果Fig. 14 Best training performance

圖15 訓(xùn)練狀態(tài)Fig. 15 Train state

4 結(jié)論

本文試驗(yàn)研究的是在靜態(tài)環(huán)境下機(jī)采綠茶的分級(jí)情況，通過CCD相機(jī)獲取樣本圖像并利用 Labview和圖像處理技術(shù)對(duì)圖像進(jìn)行分析，獲取機(jī)采綠茶成品樣本的形態(tài)學(xué)參數(shù)，設(shè)計(jì)三級(jí)的BP神經(jīng)網(wǎng)絡(luò)算法進(jìn)行分級(jí)，從機(jī)采大宗綠茶中分選出名優(yōu)茶，試驗(yàn)結(jié)果表明分類識(shí)別的正確率可以穩(wěn)定在90%以上，有效實(shí)現(xiàn)了對(duì)全芽、一芽一葉、一芽二葉名優(yōu)綠茶成品的分級(jí)，對(duì)研究機(jī)采綠茶分級(jí)裝置有很好的參考價(jià)值。

[1]唐小林, 李文萃, 范起業(yè). 機(jī)采茶鮮葉分類分級(jí)技術(shù)及相關(guān)設(shè)備研究進(jìn)展[J]. 中國茶葉加工, 2015(2): 5-8.

[2]楊娟, 李中林, 袁林穎, 等. 機(jī)采茶鮮葉分級(jí)技術(shù)初步研究[J]. 中國茶葉加工, 2015(2): 41-45.

[3]張?zhí)m蘭, 董跡芬, 唐萌, 等. 名優(yōu)茶機(jī)采鮮葉分級(jí)技術(shù)研究[J]. 浙江大學(xué)學(xué)報(bào): 農(nóng)業(yè)與生命科學(xué)版, 2012, 38(5): 593-598.

[4]李明珠, 倪超, 張曉, 等. 基于彩色線陣CCD的茶葉分選識(shí)別算法研究[J]. 中國農(nóng)機(jī)化學(xué)報(bào), 2015, 36(4): 124-129.

[5]Zhe T, Yuancheng S, Meng J. A local binary pattern based texture descriptors for classification of tea leaves [J]. Neurocomputing, 2015, 168(30): 1011-1023.

[6]Shahabi M, Rafiee S, Mohtasebi SS, et al. Image analysis and green tea color change kinetics during thin-layer drying [J]. Food Science and Technology International, 2014, 20(6): 465-476.

[7]Gagandeep SG, Amod K, Ravinder A. Monitoring and grading of tea by computer vision [J]. Journal of Food Engineering, 2011(106): 13-19.

[8]Laddi A, Sharma S, Kumar A，et al. Classification of tea grains based upon image texture feature analysis under different illumination conditions [J]. Journal of Food Engineering, 2013, 115(2): 226-231.

[9]張春燕, 陳筍, 張俊峰. 基于最小風(fēng)險(xiǎn)貝葉斯分類器茶葉茶梗分類[J]. 計(jì)算機(jī)工程與應(yīng)用, 2012, 48(28): 187-192.

[10]常春, 陳怡群, 肖宏儒, 等. 基于神經(jīng)網(wǎng)絡(luò)圖像分析的智能鮮茶葉分選機(jī)[J]. 中國農(nóng)機(jī)化學(xué)報(bào), 2013, 34(1): 137-141.

[11]趙吉文, 高尚, 魏正翠, 等. 基于 FPGA 的西瓜子機(jī)器視覺色選系統(tǒng)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2011, 42(8): 173-177.

[12]鄭華軍, 張憲, 喬欣. 蟻群聚類分析算法在茶葉等級(jí)分類識(shí)別中的應(yīng)用[J]. 輕工機(jī)械, 2011, 25(9): 91-93.

[13]施健, 何建國, 張冬, 等. 基于計(jì)算機(jī)視覺的鮮棗大小分級(jí)系統(tǒng)研究[J]. 食品與機(jī)械, 2013, 29(5): 134-137.

[14]孔彥龍, 高曉陽, 李紅玲, 等. 基于機(jī)器視覺的馬鈴薯質(zhì)量和形狀分選方法[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2012, 28(17): 143-148.

[15]Kurtulmus F, Alibas I, Kavdir I. Classification of pepper seeds using machine vision based on neural network [J]. Int J Agric and Biol Eng, 2016, 9(1): 51-62.

Grading of Machine Picked Tea Based on Image Processing Technology and Neural Network

WU Zhengmin, CAO Chengmao*, XIE Chengjian, WU Jiasheng, HU Wangyang, WANG Tianyu

College of Engineering, Anhui Agricultural University, Hefei 230036, China

To solve the picking problem of famous green tea, a new technology was proposed to classify machine picked tea in this paper. Fresh tea leaves plucked by machine are often mixed, with tea stalks and have a high broken rate and thereby only suitable for making general green tea. The convex hull area, convex hull perimeter, long axial length, short axial length and other morphological features of machine plucked tea leaves were analyzed by Labview vision, image processing technology and neural network to screen high quality tea. Industrial CCD camera with appropriate optical system was used to collect object classification features. User interface was developed by Labview, which can realize the data interaction, convenient operation, short development cycle and meet different users’ requirements. Finally, sample test showed that the correct rate of tea classification could reach about 90%, which provides a good theoretical basis for further research of tea grading equipment.

machine plucked tea, grading, neural network, image processing technology

TS272.3；S23

A

1000-369X（2017）02-182-09

2016-12-30

2017-02-26

科技部科技型中小企業(yè)技術(shù)創(chuàng)新基金項(xiàng)目（14C26213401694）

吳正敏，女，碩士，主要從事智能檢測(cè)與控制技術(shù)研究。*通訊作者：caochengmao@sina.com