摘要：為實(shí)現(xiàn)茶嫩芽快速識(shí)別與采摘點(diǎn)定位，研究一種輕量級(jí)深度學(xué)習(xí)網(wǎng)絡(luò)實(shí)現(xiàn)茶嫩芽分割與采摘點(diǎn)定位。采用MobileNetV2主干網(wǎng)絡(luò)與空洞卷積相結(jié)合，較好地平衡茶嫩芽圖像分割速度與精度的矛盾，實(shí)現(xiàn)較高分割精度的同時(shí)，滿足茶嫩芽快速識(shí)別的要求，并設(shè)計(jì)外輪廓掃描與面積閾值過(guò)濾相結(jié)合的采摘點(diǎn)定位方法。試驗(yàn)表明：所提出的茶嫩芽分割算法在單芽尖及一芽一葉數(shù)據(jù)集中精度優(yōu)異，平均交并比mIoU分別達(dá)到91.65%和91.36%；在保持高精度的同時(shí)，模型復(fù)雜度低，參數(shù)量?jī)H5.81 M、計(jì)算量?jī)H39.78 GFOLPs；在單芽尖、一芽一葉及一芽?jī)扇~數(shù)據(jù)集中各隨機(jī)抽取200張圖片進(jìn)行采摘點(diǎn)定位驗(yàn)證，定位準(zhǔn)確率分別達(dá)到90.38%、95.26%和96.60%。

關(guān)鍵詞：茶嫩芽；深度學(xué)習(xí)；語(yǔ)義分割；空洞卷積；感受野；采摘點(diǎn)定位

中圖分類號(hào)：S571.1； TP391

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2095-5553 （2024） 05-0246-07

收稿日期：2022年9月5日" 修回日期：2022年11月7日*基金項(xiàng)目：江蘇省重點(diǎn)研發(fā)計(jì)劃重點(diǎn)項(xiàng)目（BE2021016—3）

第一作者：王化佳，男，1998年生，江蘇連云港人，碩士研究生；研究方向?yàn)闄C(jī)器視覺(jué)、深度學(xué)習(xí)。E-mail： 2284311326@qq.com

通訊作者：顧寄南，男，1964年生，江蘇鎮(zhèn)江人，博士，教授，博導(dǎo)；研究方向?yàn)槿斯ぶ悄堋⒅悄苤圃?、智能機(jī)器人等。E-mail： gujinan@tsinghua.org.cn

Research on tea bud segmentation and picking point location based on deep learning

Wang Huajia， Gu Jinan， Wang Mengni， Xia Zilin

（College of Mechanical Engineering， Jiangsu University， Zhenjiang， 212013， China）

Abstract：

In order to realize the rapid recognition of tea buds and the location of picking points， a lightweight deep learning network is studied to realize the segmentation of tea buds and the location of picking points. The combination of MobileNetV2 backbone network and dilated convolution can better balance the contradiction between the speed and accuracy of tea bud image segmentation， and meet the requirements of fast recognition of tea buds while achieving high segmentation accuracy. A picking point location method combining outer contour scanning and area threshold filtering is designed. The experiments show that the tea bud segmentation algorithm proposed in this paper has excellent accuracy in single bud tip and one bud one leaf-dataset， and mIoU reaches 91.65% and 91.36% respectively. While maintaining high accuracy， the model complexity of this algorithm is the lowest， with only 5.81 M parameters and 39.78 GFLOPs calculations. In the single bud tip， one bud and one-leaf， and one-bud and two-leave data sets，" 200 pictures were randomly selected to verify" the location of picking point， and the positioning accuracy reached 90.38%， 95.26% and 96.60% respectively.

Keywords：

tea bud; deep learning; semantic segmentation; dilated convolution; receptive field; picking point positioning

0 引言

我國(guó)是農(nóng)業(yè)大國(guó)，是茶的故鄉(xiāng)。茶葉作為一種自然饋贈(zèng)的綠色飲品，深受廣大消費(fèi)者喜愛(ài)。2022年全國(guó)干毛茶總產(chǎn)量3181kt，總產(chǎn)值3 180.68億元［1］，隨著茶葉產(chǎn)量的逐年增加，人口老齡化加重，用工難成為制約茶葉發(fā)展的重要因素。機(jī)械收割技術(shù)的發(fā)展以及市場(chǎng)的需求一定程度上催生了不同種類的采茶機(jī)器，但現(xiàn)階段使用的采茶機(jī)只適用于大宗茶的采摘，不能夠?qū)?yōu)質(zhì)茶葉進(jìn)行有選擇性的采摘。因此，茶嫩芽的智能識(shí)別和檢測(cè)，是實(shí)現(xiàn)優(yōu)質(zhì)茶機(jī)械化、自動(dòng)化采摘的前提與關(guān)鍵，也為其他農(nóng)作物的智能化采摘提供指導(dǎo)價(jià)值。

由于茶嫩芽在顏色、形狀及紋理上略微區(qū)別于其他茶葉，許多學(xué)者嘗試?yán)眠@些特征將嫩芽目標(biāo)和背景區(qū)分開(kāi)來(lái)，實(shí)現(xiàn)識(shí)別效果，例如方坤禮等［2］基于改進(jìn)JSEG技術(shù)將茶芽從背景中分割出來(lái)。陳妙婷［3］提出一種PSO-SVM算法，提高傳統(tǒng)圖像處理方法對(duì)茶葉分割的效果。龍樟等［4］基于閾值分割與形態(tài)學(xué)去噪方法實(shí)現(xiàn)茶嫩芽的識(shí)別。雖然這些方法從圖像上能夠識(shí)別出茶芽，但均包含誤分割區(qū)域，魯棒性差，無(wú)法直接用于茶園中進(jìn)行識(shí)別與采摘。

近年來(lái)，深度學(xué)習(xí)在農(nóng)業(yè)領(lǐng)域產(chǎn)生了重大的影響，越來(lái)越多的學(xué)者利用深度學(xué)習(xí)去解決茶葉采摘的難題。其中，Xu等［5］結(jié)合利用YOLOv3的快速檢測(cè)能力和DenseNet201的高精度分類能力，實(shí)現(xiàn)了嫩芽的準(zhǔn)確檢測(cè)。許高建等［6］基于Faster R-CNN深度網(wǎng)絡(luò)對(duì)茶葉嫩芽圖像進(jìn)行識(shí)別。但以上方法均未解決茶葉采摘點(diǎn)定位問(wèn)題，僅停留在嫩芽的識(shí)別階段。Yang等［7］對(duì)YOLOv3進(jìn)行改進(jìn)并應(yīng)用于嫩芽檢測(cè)，采用骨架提取與最小外接矩形的最低交點(diǎn)作為采摘點(diǎn)，該方法過(guò)于復(fù)雜，其本質(zhì)上采用骨架最低點(diǎn)作為采摘點(diǎn)。Chen等［8］首先利用Faster R-CNN檢測(cè)圖像中的嫩芽區(qū)域，再利用全卷積網(wǎng)絡(luò)FCN對(duì)嫩芽區(qū)域中的茶芽莖部進(jìn)行分割，從而實(shí)現(xiàn)采摘點(diǎn)的定位，但該方法需要兩個(gè)神經(jīng)網(wǎng)絡(luò)對(duì)茶芽進(jìn)行識(shí)別與采摘點(diǎn)的定位，網(wǎng)絡(luò)規(guī)模大，運(yùn)行速度慢，采茶機(jī)無(wú)法真正提高采摘效率的目的。

現(xiàn)有的茶嫩芽識(shí)別方法大多圍繞目標(biāo)檢測(cè)與傳統(tǒng)圖像處理的方法，但依然包含以下不足：首先，嫩芽識(shí)別大多依靠深度學(xué)習(xí)進(jìn)行目標(biāo)檢測(cè)，但目標(biāo)框無(wú)法實(shí)現(xiàn)采摘點(diǎn)的定位。其次，當(dāng)前針對(duì)嫩芽識(shí)別及采摘點(diǎn)定位分為兩個(gè)獨(dú)立任務(wù)，并沒(méi)有結(jié)合成一個(gè)整體。最后，現(xiàn)有研究成果網(wǎng)絡(luò)模型參數(shù)量大，識(shí)別速度慢，未能實(shí)現(xiàn)效率與精度的有效平衡。

針對(duì)以上問(wèn)題，本文提出一種基于深度學(xué)習(xí)的茶嫩芽分割與采摘點(diǎn)定位方法。利用輕量化語(yǔ)義分割方法快速得到茶嫩芽識(shí)別結(jié)果，其中包含了嫩芽的輪廓、類別及位置信息。利用圖像處理方法，提取分割出來(lái)的嫩芽輪廓。綜合利用嫩芽分割區(qū)域面積和輪廓信息進(jìn)行采摘點(diǎn)定位。

1 茶嫩芽分割和采摘點(diǎn)定位方法

1.1 茶嫩芽分割網(wǎng)絡(luò)

茶嫩芽與茶葉背景無(wú)論在顏色、紋理及形狀上都高度相似，容易出現(xiàn)誤分割或者漏分割現(xiàn)象，茶嫩芽分割的精度高低會(huì)直接影響到后續(xù)采摘點(diǎn)的定位?？焖僮R(shí)別茶嫩芽與定位采摘點(diǎn)是提高采茶效率的關(guān)鍵，如不能提高嫩芽的識(shí)別效率，茶葉的智能化采摘依舊僅停留在試驗(yàn)階段。因此，本文針對(duì)嫩芽識(shí)別與采摘點(diǎn)定位提出一種語(yǔ)義分割算法。為了提高分割精度、保持較高的分割速度，解決語(yǔ)義分割算法中計(jì)算量大、參數(shù)多、分割精度不足等問(wèn)題，本文采用了輕量化主干特征提取網(wǎng)絡(luò)MobileNetV2［9］，引入GELU激活函數(shù)以及空洞卷積。本文的網(wǎng)絡(luò)整體結(jié)構(gòu)如圖1所示。

1.1.1 主干網(wǎng)絡(luò)

MobileNetV2網(wǎng)絡(luò)是一種輕量化卷積神經(jīng)網(wǎng)絡(luò)，主要由1個(gè)Conv2d卷積與7個(gè)bottleneck模塊組合而成。bottleneck模塊由兩個(gè)1×1的普通卷積以及3×3的深度可分離卷積組成，具體前向傳播流程首先是特征輸入到1×1普通卷積實(shí)現(xiàn)通道的擴(kuò)張；再經(jīng)過(guò)3×3的深度可分離卷積實(shí)現(xiàn)圖像中每個(gè)特征的提??；最后經(jīng)過(guò)1×1的卷積實(shí)現(xiàn)通道的壓縮，總體呈瓶頸結(jié)構(gòu)。3×3深度可分離卷積原理如圖2所示，主要由逐通道卷積和逐點(diǎn)卷積組成，它使用的計(jì)算量比普通卷積少8～9倍，精度只下降了小部分，這樣能夠大大降低整體網(wǎng)絡(luò)模型的計(jì)算量，提高運(yùn)行速度。

大多數(shù)語(yǔ)義分割是將圖片輸入到主干網(wǎng)絡(luò)中，經(jīng)過(guò)多次下采樣來(lái)增加感受野，但這樣會(huì)導(dǎo)致其空間結(jié)構(gòu)不再可識(shí)別，類似于茶嫩芽的小目標(biāo)信息無(wú)法重建。為此需要減少下采樣的次數(shù)，保留空間結(jié)構(gòu)信息，同時(shí)增加感受野，為此，在主干網(wǎng)絡(luò)MobileNetV2中引入空洞卷積，其原理如圖3所示。圖3（a）空洞率為1，即普通卷積，每層特征圖的感受野大小與卷積核大小相同，均為3×3。圖3（b）空洞率為2，即在原來(lái)3×3卷積核之間插入兩行兩列間隙，每層特征圖的感受野大小為5×5，此時(shí)，在未擴(kuò)大卷積核大小的情況下，特征圖感受野得到提高。

本文參考文獻(xiàn)［10］，將bottleneck4～bottleneck7的步距設(shè)置為1，bottleneck4～bottleneck5的深度可分離卷積的空洞率設(shè)置為2，bottleneck6～bottleneck7的深度可分離卷積的空洞率設(shè)置為4，其具體網(wǎng)絡(luò)結(jié)構(gòu)見(jiàn)表1，其中n為模塊堆疊次數(shù)，s為步長(zhǎng)，r為空洞率。

1.1.2 ASPP特征融合結(jié)構(gòu)

ASPP（Atrous Spatial Pyramid Pooling）在DeepLabv2［11］中首先提出，在之后DeepLab系列中得到不斷改進(jìn)，ASPP利用主干特征提取網(wǎng)絡(luò)生成的特征圖作為輸入，用不同空洞率的卷積及平均池化對(duì)輸入進(jìn)行并行采樣，然后將得到的結(jié)果進(jìn)行拼接實(shí)現(xiàn)特征融合，實(shí)現(xiàn)不同感受野特征信息的相互交流，顯著提高模型性能。

如圖4所示，從左往右共有五個(gè)并行分支，其前向傳播流程分別為：第一個(gè)分支將64×64×320經(jīng)過(guò)1×1卷積生成64×64×256特征圖。

由于主干網(wǎng)絡(luò)只經(jīng)過(guò)三次下采樣，為了得到更大的感受野，將第二、三、四分支中的空洞率設(shè)置為12、24、36，經(jīng)過(guò)空洞卷積后均生成64×64×256特征圖。第五個(gè)分支首先將64×64×320特征圖進(jìn)行全局平均池化生成1×1×320特征圖，然后經(jīng)過(guò)1×1卷積將通道數(shù)改為256，最后經(jīng)過(guò)雙線性插值上采樣生成64×64×256特征圖。經(jīng)過(guò)五個(gè)并行分支生成5個(gè)相同大小的特征圖，將其按通道維度進(jìn)行拼接，最終生成64×64×1 280特征圖。

1.1.3 解碼器部分

解碼器部分參考DeepLabV3+［12］，主要實(shí)現(xiàn)將特征圖上采樣到原圖大小，實(shí)現(xiàn)分割效果。如圖1中解碼器所示，其具體前向傳播流程為：將ASPP輸出進(jìn)行通道壓縮與2倍上采樣，同時(shí)將bottleneck2生成的特征圖進(jìn)行通道數(shù)調(diào)整，并與2倍上采樣后的特征圖進(jìn)行按通道拼接，然后經(jīng)過(guò)3×3卷積與1×1卷積將通道數(shù)調(diào)整為分類類別數(shù)，最后經(jīng)過(guò)4倍上采樣得到分割圖。

2.2 茶嫩芽分割結(jié)果及分析

本試驗(yàn)設(shè)備配有CPU為E5-2678 V3，擁有16 G內(nèi)存，并配有Nvidia 3090顯卡，擁有24 G顯存。

利用所構(gòu)建的三種數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練并與其他算法進(jìn)行對(duì)比分析。訓(xùn)練圖片大小調(diào)整為512像素×512像素，所有算法均訓(xùn)練700個(gè)Epoch得到最優(yōu)解，采用Adam（Adaptive momentum）優(yōu)化器，momentum參數(shù)設(shè)置為0.9，采用動(dòng)態(tài)學(xué)習(xí)率下降策略，加快收斂速度。

為了驗(yàn)證所提出算法在茶嫩芽分割上的先進(jìn)性，將其與全卷積語(yǔ)義分割性能最優(yōu)的FCN-8s［13］、應(yīng)用池化金字塔的PSPNet［14］和DeepLab系列中性能最優(yōu)的DeepLabV3+語(yǔ)義分割算法進(jìn)行對(duì)比，結(jié)果見(jiàn)表3。

表3中，DY、YY及LY分別表示單芽尖、一芽一葉及一芽?jī)扇~。針對(duì)茶嫩芽分割，所提出的語(yǔ)義分割算法在單芽尖及一芽一葉小目標(biāo)上分割性能最優(yōu)，mIoU分別達(dá)到了91.65%和91.36%，在一芽?jī)扇~大目標(biāo)上分割性能略低，但本算法無(wú)論在參數(shù)量還是計(jì)算量上均為最低，適用于真實(shí)場(chǎng)景下茶嫩芽的快速分割。茶嫩芽分割結(jié)果示例如圖9所示。

2.3 采摘點(diǎn)定位方法驗(yàn)證

利用茶嫩芽分割后的圖片結(jié)果，進(jìn)行輪廓掃描及其面積閾值過(guò)濾，得到茶嫩芽的外輪廓信息。將外輪廓中每一個(gè)像素坐標(biāo)按y軸方向從大到小進(jìn)行排序，找出嫩芽外輪廓底邊并求坐標(biāo)均值得出采摘點(diǎn)。將采摘點(diǎn)定位圖和原圖進(jìn)行混合，驗(yàn)證采摘點(diǎn)定位是否正確。定位結(jié)果如圖10所示，其中，黑色線條為茶嫩芽的外輪廓，黑色實(shí)心圓形為采摘點(diǎn)位置，本文提出的方法最終能夠?qū)崿F(xiàn)采摘點(diǎn)的確定，為后續(xù)機(jī)械手采摘提供具體位置。

為了驗(yàn)證本文采摘點(diǎn)定位算法的準(zhǔn)確性，從單芽尖、一芽一葉及一芽?jī)扇~數(shù)據(jù)集中各自隨機(jī)抽取200張圖片，試驗(yàn)統(tǒng)計(jì)結(jié)果如表4所示。

試驗(yàn)結(jié)果表明，本文提出的茶嫩芽采摘點(diǎn)定位效果優(yōu)異，單芽尖采摘點(diǎn)定位準(zhǔn)確率為90.38%，一芽一葉采摘點(diǎn)定位準(zhǔn)確率為95.26%，一芽?jī)扇~采摘點(diǎn)定位準(zhǔn)確率高達(dá)96.60%，達(dá)到了預(yù)期要求。

2.4 試驗(yàn)結(jié)果分析

為了驗(yàn)證本文分割算法的優(yōu)越性及采摘點(diǎn)定位的準(zhǔn)確性，應(yīng)用當(dāng)前主流的語(yǔ)義分割算法與本文采摘點(diǎn)算法結(jié)合進(jìn)行可視化對(duì)比，對(duì)比效果如圖11所示。針對(duì)茶嫩芽分割，F(xiàn)CN-8s、PSPNet及DeepLabV3+語(yǔ)義分割網(wǎng)絡(luò)均出現(xiàn)誤分割、漏分割現(xiàn)象，相對(duì)于這三種分割算法，本文算法尤其在小目標(biāo)嫩芽分割性能優(yōu)越，其分割結(jié)果作為采摘點(diǎn)定位的依據(jù)，準(zhǔn)確率高。

3 結(jié)論

本文提出一種基于深度學(xué)習(xí)的茶嫩芽分割及采摘點(diǎn)定位方法。以期彌補(bǔ)傳統(tǒng)算法精度低和深度學(xué)習(xí)算法模型復(fù)雜度高的不足，有利于茶嫩芽智能化識(shí)別及自動(dòng)化采摘。

1）" 利用輕量級(jí)主干網(wǎng)絡(luò)MobileNetV2實(shí)現(xiàn)茶嫩芽的特征提取，在主干中引入空洞卷積減少下采樣次數(shù)從而保留更多空間信息，減少分割精度損失；在ASPP模塊中設(shè)定與主干網(wǎng)相適應(yīng)的空洞率實(shí)現(xiàn)特征融合。

2）" 對(duì)分割結(jié)果進(jìn)行外輪廓掃描獲取茶芽輪廓信息，利用閾值法過(guò)濾掉面積較小誤分割輪廓，利用輪廓底部區(qū)域?qū)?yīng)位置坐標(biāo)點(diǎn)的均值作為采摘點(diǎn)，實(shí)現(xiàn)茶嫩芽的采摘定位。

3）" 構(gòu)建單芽尖、一芽一葉和一芽?jī)扇~三種數(shù)據(jù)集，在不同網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練和測(cè)試對(duì)比。試驗(yàn)結(jié)果表明，較其他語(yǔ)義分割網(wǎng)絡(luò)而言，本文提出的語(yǔ)義分割算法在單芽尖及一芽一葉數(shù)據(jù)集中表現(xiàn)最優(yōu)，采摘點(diǎn)定位方法的準(zhǔn)確率均在90%以上。

參 考 文 獻(xiàn)

［1］ 梅宇， 張朔. 2022年中國(guó)茶葉生產(chǎn)與內(nèi)銷形勢(shì)分析［J］. 中國(guó)茶葉， 2023， 45（4）： 25-30.

Mei Yu， Zhang Shuo. Analysis of China’s tea production and domestic sales in 2022［J］. China Tea， 2023， 45（4）： 25-30.

［2］ 方坤禮， 廖建平， 劉曉輝. 基于改進(jìn)JSEG技術(shù)的茶葉圖像嫩芽分割與識(shí)別研究［J］. 食品工業(yè)， 2017， 38（4）： 134-138.

Fang Kunli， Liao Jianping， Liu Xiaohui. Research on tea leaf of image segmentation and recognition using improved JSEG algorithm ［J］. The Food Industry， 2017， 38（4）： 134-138.

［3］ 陳妙婷. 基于計(jì)算機(jī)視覺(jué)的名優(yōu)茶嫩芽識(shí)別與定位［D］. 青島： 青島科技大學(xué)， 2019.

Chen Miaoting. Recognition and location of high-quality tea buds based on computer vision ［D］. Qingdao： Qingdao University of Science amp; Technology， 2019.

［4］ 龍樟， 姜倩， 王健， 等. 茶葉嫩芽視覺(jué)識(shí)別與采摘點(diǎn)定位方法研究［J］. 傳感器與微系統(tǒng)， 2022， 41（2）： 39-41， 45.

Long Zhang， Jiang Qian， Wang Jian， et al. Research on method of tea flushes vision recognition and picking point localization ［J］. Transducer and Microsystem Technologies， 2022， 41（2）： 39-41， 45.

［5］ Xu W， Zhao L， Li J， et al. Detection and classification of tea buds based on deep learning ［J］. Computers and Electronics in Agriculture， 2022， 192： 106547.

［6］ 許高建， 張?zhí)N， 賴小燚. 基于Faster R-CNN深度網(wǎng)絡(luò)的茶葉嫩芽圖像識(shí)別方法［J］. 光電子·激光， 2020， 31（11）： 1131-1139.

Xu Gaojian， Zhang Yun， Lai Xiaoyi. Recognition approaches of tea bud image based on faster R-CNN depth network ［J］. Journal of Optoelectronics·Laser， 2020， 31（11）： 1131-1139.

［7］ Yang H， Chen L， Chen M， et al. Tender tea shoots recognition and positioning for picking robot using improved YOLO-v3 model ［J］. IEEE Access， 2019， 7： 180998-181011.

［8］ Chen Y T， Chen S F. Localizing plucking points of tea leaves using deep convolutional neural networks ［J］. Computers and Electronics in Agriculture， 2020， 171： 105298.

［9］ Sandler M， Howard A， Zhu M， et al. Mobilenetv2： Inverted residuals and linear bottlenecks ［C］. International Conference on Computer Vision and Pattern Recognition， IEEE， 2018： 4510-4520.

［10］ Yu F， Koltun V， Funkhouser T. Dilated residual networks ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017： 472-480.

［11］ Chen L C， Papandreou G， Kokkinos I， et al. Deeplab： Semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected crfs ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 40（4）： 834-848.

［12］ Chen L C， Zhu Y， Papandreou G， et al. Encoder-decoder with atrous separable convolution for semantic image segmentation ［C］. Proceedings of the European Conference on Computer Vision， 2018： 801-818.

［13］

Long J， Shelhamer E， Darrell T. Fully convolutional networks for semantic segmentation ［C］. International Conference on Computer Vision and Pattern Recognition， IEEE， 2015： 3431-3440.

［14］ Zhao H， Shi J， Qi X， et al. Pyramid scene parsing network ［C］. International Conference on Computer Vision and Pattern Recognition， IEEE， 2017： 2881-2890.