梁喜鳳，章鑫宇，王永維

·農(nóng)業(yè)信息與電氣技術(shù)·

基于改進(jìn)Mask R-CNN的番茄側(cè)枝修剪點識別方法

梁喜鳳1，章鑫宇1，王永維2

（1. 中國計量大學(xué)機(jī)電工程學(xué)院，杭州 310018； 2. 浙江大學(xué)生物系統(tǒng)工程與食品科學(xué)學(xué)院，杭州 310058）

為解決番茄枝葉修剪機(jī)器人無法準(zhǔn)確識別番茄側(cè)枝修剪點的問題，提出基于改進(jìn)Mask R-CNN模型的番茄側(cè)枝修剪點的識別方法。將Mask R-CNN的主干網(wǎng)絡(luò)ResNet50替換為MobileNetv3-Large來降低模型復(fù)雜度和提升運行速度，并對部分特征圖添加ECA（Efficient Channel Attention）注意力機(jī)制，以提升模型精度；通過改進(jìn)的Mask R-CNN模型預(yù)測番茄側(cè)枝與主枝的分割掩膜和邊框位置；針對部分單根枝條被分割成多段掩膜的問題，通過掩膜邊界框?qū)捀弑葏^(qū)分側(cè)枝和主枝，分析同一枝條相鄰掩膜約束條件，然后將符合約束條件的掩膜進(jìn)行合并連接；根據(jù)修剪點在主枝附近的特點確定修剪點所在端，確定靠近修剪端端點的中心點作為側(cè)枝的修剪點。試驗結(jié)果表明，改進(jìn)的Mask R-CNN模型平均分割圖片時間為0.319 s，召回率和精確率分別為91.2%和88.6%，掩膜平均合并成功率為86.2%，修剪點識別平均準(zhǔn)確率為82.9%。該研究為番茄枝葉修剪機(jī)器人的研發(fā)提供參考。

模型；圖像識別；目標(biāo)檢測；Mask R-CNN；側(cè)枝；主枝；修剪點

0 引 言

番茄是世界上栽培最為普遍的果蔬之一，中國是世界上番茄生產(chǎn)總量最多國家之一[1-2]。枝葉修剪是番茄種植過程中的重要環(huán)節(jié)，及時修剪枝葉可以改善植株通透性，降低病害率和提高番茄經(jīng)濟(jì)效益[3]。由于葉子生長在側(cè)枝上，目前番茄枝葉修剪主要通過人工割斷或掰斷側(cè)枝實現(xiàn)，這樣不僅增加了人工成本，在割斷或掰斷過程中還會造成番茄植株的損傷[4-5]。規(guī)模化種植的番茄植株間的行距較為寬闊，適合枝葉修剪自動化作業(yè)[6]。因此，研發(fā)番茄枝葉修剪機(jī)器人代替人工摘葉是可行且有必要的，而要實現(xiàn)番茄枝葉修剪自動化作業(yè)，番茄側(cè)枝、主枝的檢測與修剪點的識別十分重要。

目前，學(xué)者們在植株枝條自動化修剪和果蔬采摘方面進(jìn)行了相關(guān)研究。荷蘭Priva公司在2017年發(fā)布了一款番茄枝葉修剪機(jī)器人，可實現(xiàn)番茄枝葉自動化修剪[7]。寧政通等[8]通過改進(jìn)Mask R-CNN對葡萄果梗進(jìn)行識別與分割，葡萄果梗的識別平均精確率為88%。嚴(yán)亞飛[9]為了解決枸杞枝條自然環(huán)境下識別干擾多的問題，采用k-means聚類分割法識別出枸杞枝條。韋錦等[10]采用DA2-YOLOv4模型識別綠籬，檢測速度為83.1幀/s，平均精確率為98.5%。Peng等[11]采用DeepLab v3+分割荔枝枝條，模型分割的平均交并比為76.5%。Zhang等[12]采用R-CNN檢測蘋果分支，平均召回率與準(zhǔn)確率分別為91.5%和85.5%。Qi等[13]采用TC-YOLO模型檢測茶菊花，檢測平均精度為92.49%，檢測速度為47.23幀/s，該算法在復(fù)雜和非結(jié)構(gòu)化環(huán)境下仍表現(xiàn)出較高魯棒性。馬志艷等[14]采用改進(jìn)的Mask R-CNN模型分割莖稈雜質(zhì)，分割識別準(zhǔn)確度可達(dá)91.12%，平均處理時間為3.57 s。Palacios等[15]結(jié)合VGG19與Segnet對葡萄花穗進(jìn)行檢測與分割，F(xiàn)1分?jǐn)?shù)分別為0.93和0.73。Afonso等[16]建立了基于Mask R-CNN的成熟番茄和未成熟番茄識別模型，識別準(zhǔn)確率分別為95%和94%。陳鋒軍等[17]采用改進(jìn)的EfficientDet 模型檢測油橄欖果實的成熟度，精確率和召回率分別為92.89%和93.59%。Liang等[18]采用YoloV3與U-Net相結(jié)合的方法檢測與分割夜間環(huán)境下的荔枝與果梗，試驗表明精確度與魯棒性較高。

上述研究表明，植株枝條自動化修剪和果蔬采摘領(lǐng)域已經(jīng)有了一定的進(jìn)展，而番茄側(cè)枝修剪點識別方面的研究較少且以傳統(tǒng)圖像處理方法為主。傳統(tǒng)圖像處理方法和卷積神經(jīng)網(wǎng)絡(luò)檢測方法是常見的目標(biāo)識別方法，由于番茄植株側(cè)枝、主枝、葉片與未成熟果實顏色相近，采用基于閾值特征的傳統(tǒng)圖像處理方法無法進(jìn)行有效區(qū)分和分割，而卷積神經(jīng)網(wǎng)絡(luò)模型可以基于目標(biāo)的顏色、形態(tài)和紋理特征檢測出番茄植株的主枝和側(cè)枝。

本文以規(guī)?；N植的番茄植株為研究對象，為解決傳統(tǒng)圖像處理方法難以將枝條從近色背景中有效分割的問題和保證不同環(huán)境下識別的魯棒性，采用MobileNetv3-Large替換Mask R-CNN模型的主干網(wǎng)絡(luò)，并引入ECA（Efficient Channel Attention）注意力機(jī)制，以此建立了一種基于改進(jìn)Mask R-CNN的番茄主枝與側(cè)枝的檢測分割模型，利用同一枝條相鄰掩膜約束合并被分割成多段掩膜的單根枝條，通過側(cè)枝修剪點在主枝附近的特點識別修剪點，為番茄枝葉修剪機(jī)器人修剪點的識別提供技術(shù)支持。

1 模型檢測分割

1.1 建立數(shù)據(jù)集

圖像數(shù)據(jù)采集于杭州傳化來春農(nóng)場，在2022年4－7月期間拍攝晴天和陰天條件下番茄植株枝條800張圖片，采樣距離為300～600 mm，圖片尺寸調(diào)整為960×704像素。為了提升模型的泛化能力和魯棒性，通過鏡像、平移、添加高斯噪聲的方式進(jìn)行數(shù)據(jù)增強(qiáng)，最終得到3 200張圖片，隨機(jī)選擇1 000張圖片作為數(shù)據(jù)集，其中800張為訓(xùn)練集，200張為測試集。

番茄植株整株枝條形態(tài)不一，將植株上的所有枝條視作一個整體進(jìn)行標(biāo)記不利于神經(jīng)網(wǎng)絡(luò)提取枝條的形狀特征，所以本文采用如圖1所示的分段標(biāo)記方式進(jìn)行標(biāo)注，即將每根枝條視作一個單獨的標(biāo)記目標(biāo)。由于側(cè)枝是修剪作業(yè)對象，主枝是作為后續(xù)修剪點識別的輔助對象，所以選擇側(cè)枝和主枝作為標(biāo)記訓(xùn)練對象，類別均為branch（側(cè)枝與主枝后續(xù)可通過邊界框?qū)捀弑葏^(qū)分）。圖 1a中番茄植株有3個標(biāo)記對象，包括1個主枝和2個側(cè)枝，分段標(biāo)記后生成了與枝條對應(yīng)的3段標(biāo)記掩碼，如圖1b。

圖1 標(biāo)記側(cè)枝和主枝

1.2 改進(jìn)的Mask R-CNN模型

Mask R-CNN[19]是何凱明提出的一種實例分割網(wǎng)絡(luò)，可用于目標(biāo)檢測與分割，但該網(wǎng)絡(luò)參數(shù)過多、計算量大，因此本文提出了一種基于MobileNetv3-Large骨干網(wǎng)絡(luò)和ECA注意力機(jī)制的改進(jìn)Mask R-CNN模型，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

注：C2-C5代表MobileNetv3-Large網(wǎng)絡(luò)特征圖；P2-P5代表經(jīng)特征金字塔網(wǎng)絡(luò)FPN特征融合后的特征圖；GAP代表全局平均池化；C代表通道數(shù)；H代表高度，W代表寬度，單位為像素。

首先將數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)集輸入到改進(jìn)的Mask R-CNN網(wǎng)絡(luò)中，采用MobileNetv3-Large網(wǎng)絡(luò)對輸入的圖像進(jìn)行特征提取，獲取特征圖C2、C3、C4、C5，然后將C3和C4輸入到ECA注意力模塊中進(jìn)行特征加強(qiáng)，并與特征圖C2、C5輸入到特征金字塔網(wǎng)絡(luò)FPN中對提取的枝條特征進(jìn)行融合，區(qū)域建議網(wǎng)絡(luò)RPN（Region Proposal Network）分別采用卷積核大小為1×1的卷積層對興趣區(qū)域進(jìn)行分類和回歸，獲得枝條的初步候選區(qū)域，不同尺寸的候選區(qū)域特征層通過興趣區(qū)域?qū)R調(diào)整到相同尺寸，最后輸入到頭部網(wǎng)絡(luò)中，全連接層用于檢測側(cè)枝與主枝的種類與邊界框回歸，全卷積網(wǎng)絡(luò)用于檢測側(cè)枝與主枝的掩膜。

1.2.1 主干網(wǎng)絡(luò)MobileNetv3-Large

考慮枝葉修剪機(jī)器人在移動端場景中工作，本文采用MobileNetv3-Large替代原始Mask R-CNN模型骨干網(wǎng)絡(luò)ResNet50來降低模型復(fù)雜度，提升運行速度。

MobileNetv3-Large是谷歌提出的輕量神經(jīng)網(wǎng)絡(luò)模型，基本單元是深度可分離卷積，通過兩個超參數(shù)（寬度因子和分辨率因子）來調(diào)節(jié)網(wǎng)絡(luò)速度和準(zhǔn)確度[20-21]。該網(wǎng)絡(luò)使用1個3×3的標(biāo)準(zhǔn)卷積和多個bneck層進(jìn)行特征提取，使用1×1的卷積代替全連接層，最后通過最大池化層完成分類，MobileNetV3-Large結(jié)構(gòu)如表1所示。

表1 MobileNetV3-Large結(jié)構(gòu)

注：Conv2d為普通卷積層，pool為池化層，benck為瓶頸層，exp size代表膨脹系數(shù)，#out代表輸出特征圖的通道數(shù)，SE表示是否引入注意力模塊，NL表示激活函數(shù)的類型，HS代表h-swish激活函數(shù)，RE代表ReLU激活函數(shù)，NBN為無批標(biāo)準(zhǔn)化，表示步長，表示目標(biāo)類別數(shù)目。

Note: Conv2d is ordinary convolution layer, pool is pooling layer, benck is bottleneck layer, exp size represents expansion factor, #out represents channel of output feature maps, SE represents whether there is a Squeeze-And-Excite in that block, NL represents the type of nonlinearity,HS represents h-swish, RE represents ReLU, NBN represents no batch normalization,represents stride,represents number of target category .

bneck層繼承了MobileNet V1中的深度可分離卷積與MobileNet V2[22]中的具有線性瓶頸的逆殘差結(jié)構(gòu)，部分bneck塊引入SE（Squeeze-And-Excite）[23]注意力機(jī)制。為了減少運算量和提升運行速度，使用h-swish代替激活函數(shù)swish，使用h-sigmoid代替激活函數(shù)sigmoid，h-sigmoid、h-swish的計算公式如下：

式中為輸入張量，ReLU6為激活函數(shù)ReLU6。

1.2.2 ECA注意力機(jī)制

為了保證模型復(fù)雜度降低的同時仍具有較高的精度，引入ECA注意力機(jī)制對MobileNetv3-Large提取的特征圖C3、C4中枝條特征進(jìn)行加強(qiáng)。

ECA是Wang等[24]在2020年提出的一種輕量級通道注意力機(jī)制，能夠有效捕捉局部跨通道交互信息。ECA原理如圖2中ECA具體結(jié)構(gòu)部分，該機(jī)制不進(jìn)行降維操作，直接進(jìn)行全局平均池化，然后通過自適應(yīng)選擇的尺寸為的快速一維卷積來進(jìn)行局部跨通道連接，之后使用sigmoid函數(shù)獲得每個通道權(quán)重，將原始輸入特征與通道權(quán)重結(jié)合獲得具有通道注意力的特征，其中的取值表示為

2 枝條掩膜合并

將圖片輸入到改進(jìn)的Mask R-CNN模型中進(jìn)行預(yù)測，部分圖片的預(yù)測結(jié)果中出現(xiàn)一根枝條被分割成多段掩膜的情況，這會對后續(xù)枝條修剪點的識別產(chǎn)生干擾，因此需要將屬于同一枝條的多個掩膜合并為一個掩膜。

2.1 同一枝條相鄰掩膜約束分析

為了將屬于同一枝條的多個掩膜合并為一個掩膜，本文選取測試集中被分割成多段掩膜的單根枝條進(jìn)行分析，確定同一枝條相鄰掩膜約束條件。

1）同一枝條相鄰掩膜重疊約束條件

同一枝條相鄰的兩個掩膜間存在重疊區(qū)域。因此，對于任意兩個掩膜A與B，若屬于同一枝條相鄰掩膜，需要滿足約束條件：存在重疊區(qū)域，該條件等價為

式中、為像素點坐標(biāo)，(,)為掩膜A二值圖象在(,)處像素值，(,)為掩膜B二值圖象在(,)處像素值。

2）同一枝條相鄰掩膜極點約束條件

將被分割成多段的側(cè)枝和主枝上的掩膜簡化為圖3，側(cè)枝和主枝上相鄰掩膜極點約束條件有所不同，需要分開討論。

注：MA1與MB1為一側(cè)枝上的兩個相鄰掩膜，L1、R1分別為MA1的左右極點，L2、R2分別為MB1的左右極點，V1為MA1與MB1重疊區(qū)域；MA2與MB2為一主枝上的兩個相鄰掩膜，T1、B1分別為MA2的上下極點，T2、B2分別為MB2的上下極點，V2為MA2與MB2重疊區(qū)域。

對于側(cè)枝，由圖3觀察確定了同一枝條相鄰掩膜滿足極點約束條件：

1=2（4）

式中1為L1、R1、L2、R2在重疊區(qū)域V1上的個數(shù)。

對于主枝，同理確定了同一枝條相鄰掩膜滿足極點約束條件：

2=2（5）

式中2為T1、B1、T2、B2在重疊區(qū)域V2上的個數(shù)。

2.2 同一枝條掩膜合并

基于同一枝條相鄰掩膜約束條件，本文提出了一種同一枝條掩膜合并算法，其合并過程如圖4所示，具體步驟如下：

圖4 同一枝條掩膜合并過程

1）將圖片輸入模型中，獲取枝條邊界框、掩膜二值圖相關(guān)信息，計算每個掩膜邊框?qū)捀弑?，然后對掩膜進(jìn)行分類，通過對側(cè)枝與主枝掩膜邊界框進(jìn)行統(tǒng)計，結(jié)果如圖5所示，所以確定分類依據(jù)為：當(dāng)≥0.6，掩膜為偏水平掩膜（側(cè)枝掩膜）；當(dāng)<0.6，掩膜為偏豎直掩膜（主枝掩膜）。寬高比表示為

式中1、1為邊界框左上角頂點坐標(biāo)，2、2為邊界框右下角頂點坐標(biāo)。

2）合并被分割多次的側(cè)枝掩膜：將側(cè)枝掩膜兩兩組合且不重復(fù)，根據(jù)式（3）初步篩選出符合重疊約束條件的組合及獲取重疊區(qū)域，利用Opencv[25]查找初步篩選出的組合內(nèi)每張掩膜圖的輪廓并獲取左右極點坐標(biāo)，計算4個極點在重疊區(qū)域內(nèi)的個數(shù)，根據(jù)式（4）篩選出符合極點約束的掩膜組合并進(jìn)行掩膜合并，掩膜合并表示為

式中merge為合并后掩膜，為合并前同一枝條上掩膜個數(shù)，mask為合并前同一枝條上第個掩膜。

3）為合并后的側(cè)枝掩膜生成新邊界框，設(shè)合并前同一枝條上的第(=1,2,…,)個掩膜邊界框的左上角頂點坐標(biāo)、右下角頂點坐標(biāo)分別為x1、y1、x2、y2，則新邊界框生成方式表示為

圖5 主枝與側(cè)枝寬高比

式中new1、new1、new2、new2依次為新邊界框的左上角頂點橫縱坐標(biāo)、右下角頂點橫縱坐標(biāo)。

4）合并被分割多次的主枝掩膜和生成新邊界框，主枝掩膜合并實現(xiàn)方式與步驟2）類似，但是計算對象為初步篩選出的組合內(nèi)掩膜上下極點在重疊區(qū)域中的個數(shù)，然后對滿足式（5）的掩膜組合并進(jìn)行掩膜合并。主枝新邊界框生成式同上式（8）。

3 枝條修剪點識別

為確定修剪點的坐標(biāo)位置，本文提出了一種基于主枝輔助的修剪點識別方法，首先根據(jù)側(cè)枝修剪點靠近主枝的特點確定修剪點在側(cè)枝的左端還是右端，然后在修剪點所在端進(jìn)行修剪點坐標(biāo)的計算。

=[1–70,2+70]（9）

式中1、2分別為主枝掩膜的邊界框Box3左上角頂點、右下角頂點橫坐標(biāo)。

注：Mask1、Mask2為側(cè)枝的分割掩膜，Edge1、Edge2分別為對應(yīng)邊緣，Box1、Box2分別為對應(yīng)邊界框，J1、J2分別為對應(yīng)修剪點;D1、E1為Mask1的左右端點，D2、E2為Mask2的左右端點; S1、S2為邊緣Edge1上的2個邊緣點，位于D1左側(cè)且水平方向上與D1間距15像素；S3、S4為邊緣Edge2上的2個邊緣點，位于E2右側(cè)且水平方向與E2間距距離15像素。

修剪點具體位置的確定。若修剪點在側(cè)枝掩膜右端，如圖6中點J1，修剪點坐標(biāo)計算式為

式中0、0為修剪點J1的坐標(biāo)，1、1為邊緣點S1坐標(biāo)，2、2為邊緣點S2坐標(biāo)。

若修剪點在側(cè)枝掩膜左端，如圖6中點J2，修剪點坐標(biāo)計算式為

式中3、3為修剪點J2的坐標(biāo)，4、4為邊緣點S3坐標(biāo)，5、5為邊緣點S4坐標(biāo)。

根據(jù)上面原理，基于主枝輔助的修剪點識別過程如圖7所示，具體步驟如下：

圖7 修剪點識別過程

首先，按照式（9）計算主枝附近修剪點橫坐標(biāo)可能存在的范圍；然后，對每個側(cè)枝掩膜二值圖進(jìn)行邊緣提取（邊緣為黑色），按列獲取側(cè)枝輪廓邊緣點坐標(biāo)，第1個邊緣點為側(cè)枝左端端點，最后1個邊緣點為側(cè)枝右端端點，其中邊緣點坐標(biāo)滿足式（12）。

(,)=0（12）

式中(,)表示掩膜邊緣圖中坐標(biāo)為(,)像素點的像素值。

4 結(jié)果與分析

4.1 模型訓(xùn)練

本文試驗環(huán)境為：Intel i7 10875H的CPU，NVIDIA GeForce RTX 2060的GPU，運行內(nèi)存為16GB; 軟件環(huán)境為Windows10，深度學(xué)習(xí)框架Tensorflow1.16。模型訓(xùn)練方式為遷移學(xué)習(xí)，訓(xùn)練初始學(xué)習(xí)率為0.001，權(quán)值衰減系數(shù)為0.000 1，動量因子為0.9，共訓(xùn)練200個epoch。

4.2 模型對主枝與側(cè)枝識別評估

采用以ResNet50為主干的原始Mask R-CNN模型、以MobileNetv3-Large為主干的Mask R-CNN+模型和基于MobileNetv3-Large并添加ECA注意力機(jī)制的改進(jìn)Mask R-CNN模型進(jìn)行對比試驗，評價模型對主枝與側(cè)枝識別效果的指標(biāo)主要包括召回率（，%）和精確率（，%），各評價指標(biāo)計算為

式中TP表示正樣本預(yù)測為正的個數(shù)，F(xiàn)P表示負(fù)樣本預(yù)測為正的個數(shù)，F(xiàn)N表示正樣本預(yù)測為負(fù)的個數(shù)，TN表示負(fù)樣本預(yù)測為負(fù)的個數(shù)。

模型運行速度用單張圖片平均分割時間表示，最終得到不同模型下的側(cè)枝和主枝檢測分割效果和對比結(jié)果如表2和圖8所示。

表2 不同模型檢測對比結(jié)果

圖8 不同模型檢測分割

由表2和圖8可知，原始Mask R-CNN的召回率、精確率和平均分割時間分別為87.9%、93.3%和0.357s，主干網(wǎng)絡(luò)MobileNetv3-Large參數(shù)量僅為ResNet50的21.1%，以MobileNetv3-Large為主干的Mask R-CNN+模型相比于以ResNet50為主干的原始Mask R-CNN模型召回率、精確率和平均分割時間分別下降2.1、7.7個百分點和0.053 s，說明僅將原始Mask R-CNN模型主干ResNet50替換為MobileNetv3-Large可以降低模型參數(shù)和提升模型的運行速度，但是模型召回率和精確率均有下降會影響枝條檢測；在改進(jìn)主干網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)一步添加ECA注意力機(jī)制最終得到改進(jìn)Mask R-CNN模型，改進(jìn)Mask R-CNN模型相比于Mask R-CNN+模型召回率、精確率和平均分割時間分別增加5.4、3.0個百分點和0.015 s，說明ECA注意力機(jī)制的添加可以改善Mask R-CNN+模型僅改進(jìn)主干網(wǎng)絡(luò)造成的召回率和精確率下降的問題。改進(jìn)Mask R-CNN的召回率、精確率和平均分割時間分別為91.2%、88.6%和0.319 s。與原始Mask R-CNN相比，改進(jìn)Mask R-CNN模型平均分割時間降低了0.038 s，召回率提高3.3個百分點。召回率的提升使改進(jìn)Mask R-CNN模型較原始Mask R-CNN檢測出更多的側(cè)枝，降低枝條漏識別情況的發(fā)生，平均分割時間的降低使模型能更快檢測枝條?？傮w上，與原始Mask R-CNN相比，改進(jìn)Mask R-CNN在降低模型參數(shù)和速度提升的同時對枝條仍具備較好的檢測性能，能夠更快、更多檢測到枝條。

4.3 合并效果評估

為評估單根枝條是否合并成功，即單根枝條分割掩膜數(shù)量是否為1。本文隨機(jī)選取被模型分割成多段掩膜的側(cè)枝和主枝，采用同一枝條掩膜合并算法合并掩膜，合并結(jié)果和效果如表3和圖9。

表3 同一枝條掩膜合并結(jié)果

注：1、2、3分別表示合并前枝條掩膜、合并后枝條掩膜和合并后僅有1個掩膜的枝條總數(shù)。

Note:1,2,3are total number of branch masks before merging, branch masks after merging and branches with only one mask after merging.

圖9 掩膜合并前后對比

由表3可知，利用掩膜合并算法對被分割成多段掩膜的側(cè)枝和主枝進(jìn)行合并，側(cè)枝、主枝掩膜合并成功率分別為81.3%和92.3%，側(cè)枝合并成功率比主枝合并成功率低主要是因為側(cè)枝的形態(tài)更具多樣性,其曲狀特征更明顯。側(cè)枝與主枝掩膜平均合并成功率為86.2%，由圖9可知，采用同一枝條掩膜合并算法合并效果較好，可有效避免后續(xù)修剪點識別時單根枝條因被分割成多段掩膜而造成的存在多個修剪點的情況。

4.4 修剪點識別評估

機(jī)器人末端執(zhí)行器修剪作業(yè)方式如圖10a，考慮到機(jī)器人末端執(zhí)行器的尺寸和容錯性，確定了修剪點是否識別準(zhǔn)確的評價標(biāo)準(zhǔn)：1）修剪點在側(cè)枝上；2）修剪點水平方向上距離主枝95像素以內(nèi)。滿足以上2個標(biāo)準(zhǔn)的修剪點視為識別準(zhǔn)確，以圖10b為例，Z3識別準(zhǔn)確，Z1、Z2識別錯誤。

注：Z1、Z2和Z3為側(cè)枝修剪點。 Note: Z1, Z2 and Z3 are lateral branch pruning points.

隨機(jī)選取測試集中圖片進(jìn)行修剪點識別，結(jié)果如表4和圖11。

表4 側(cè)枝修剪點識別結(jié)果

由表4和圖11可知，晴天和陰天條件下修剪點識別成功率分別為87.3%和76.7%，修剪點未能成功識別主要原因為：1）部分側(cè)枝分割掩膜與側(cè)枝發(fā)生偏移，導(dǎo)致識別出的修剪點不在側(cè)枝上，見圖11b中樣例1與樣例4；2）背景中的其余目標(biāo)誤識別為側(cè)枝，導(dǎo)致修剪點在欄線等其余目標(biāo)中，見圖11b中樣例2；3）側(cè)枝遮擋過于嚴(yán)重，導(dǎo)致側(cè)枝被誤判不在主枝附近而無法識別，見圖11b中樣例3；4）被分割成多段掩膜的側(cè)枝掩膜合并失敗，導(dǎo)致單根側(cè)枝有多個修剪點，見圖11b中樣例2；針對修剪點識別失敗的情況在未來可進(jìn)一步研究。

陰天條件下修剪點平均識別成功率較晴天低，這是因為陰天條件下受光照強(qiáng)度影響枝條特征不明顯，針對光照較弱時識別成功率下降的問題未來可從光源選擇、算法改進(jìn)等角度進(jìn)一步研究；晴天和陰天條件下修剪點平均識別成功率為82.9%，可為番茄植株的側(cè)枝修剪自動化作業(yè)提供技術(shù)依據(jù)。

注：紅點為修剪點，紅色框代表識別失敗。

5 結(jié) 論

本文基于MobileNetv3-Large和ECA注意力機(jī)制提出了一種用于枝條檢測分割的改進(jìn)Mask R-CNN的模型，以保證模型降低復(fù)雜度的同時具有較好的檢測性能；采用同一枝條掩膜合并算法以解決部分單根枝條被分割成多段掩膜的問題，最后提出一種基于主枝輔助的修剪點識別方法確定修剪點坐標(biāo)。

1）原始Mask R-CNN的召回率、精確率和平均分割時間分別為87.9%、93.3%和0.357 s，改進(jìn)Mask R-CNN的召回率、精確率和平均分割時間分別為91.2%、88.6%和0.319 s，表明改進(jìn)Mask R-CNN在速度提升的同時對枝條仍具備較好的檢測性能，實現(xiàn)更快、更多的檢測枝條。

2）采用同一枝條掩膜合并算法合并被分割多次的主枝與側(cè)枝，由于側(cè)枝形態(tài)曲狀特征更明顯，主枝合并成功率高于側(cè)枝，側(cè)枝與主枝平均合并成功率為86.2%，表明該合并算法可有效解決部分枝條被多次分割的情況。

3）采用基于主枝輔助的修剪點識別方法，先確定修剪點所在端，然后確定靠近修剪端端點的中心點作為側(cè)枝的修剪點。對晴天和陰天條件下的圖片進(jìn)行修剪點識別測試，陰天條件下修剪點平均識別成功率較晴天低，修剪點平均識別準(zhǔn)確率為82.9%，可為番茄枝葉修剪機(jī)器人研發(fā)提供技術(shù)依據(jù)，針對光照較弱時識別成功率下降以及修剪點識別失敗的問題在未來可進(jìn)一步研究。

[1] 龍潔花，趙春江，林森，等. 改進(jìn)Mask R-CNN的溫室環(huán)境下不同成熟度番茄果實分割方法[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(18)：100-108.

Long Jiehua, Zhao Chunjiang, Lin Sen, et al. Segmentation method of the tomato fruits with different maturities under greenhouse environment based on improved Mask R-CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(18): 100-108. (in Chinese with English abstract)

[2] Li Z, Miao F, Yang Z, et al. Factors affecting human hand grasp type in tomato fruit -picking: A statistical investigation for ergonomic development of harvesting robot[J]. Computers and Electronics in Agriculture, 2019, 157: 90-97.

[3] 王慧茹，閆思華，高艷明，等. 不同整枝方式對櫻桃番茄果實商品性、營養(yǎng)品質(zhì)及產(chǎn)量的影響[J]. 浙江大學(xué)學(xué)報（農(nóng)業(yè)與生命科學(xué)版），2021，47(3)：347-353.

Wang Huiru, Yan Sihua, Gao Yanming, et al. Effects of different pruning patterns on fruit commodity, nutritional quality and yield of cherry tomato[J]. Journal of Zhejiang University (Agric. & Life Sci.), 2021, 47(3): 347-353. (in Chinese with English abstract)

[4] 楊銘濤，梁喜鳳. 番茄枝葉裁剪機(jī)械臂設(shè)計與運動學(xué)分析[J]. 中國農(nóng)機(jī)化學(xué)報，2021，42(4)：8-14.

Yang Mingtao, Liang Xifeng. Design and kinematics analysis of a tomato branch and leaf cutting manipulator[J]. Journal of Chinese Agricultural Mechanization, 2021, 42(4): 8-14. (in Chinese with English abstract)

[5] 李天華，孫萌，丁小明，等. 基于YOLO v4+HSV的成熟期番茄識別方法[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(21)：183-190.

Li Tianhua, Sun Meng, Ding Xiaoming, et al. Tomato recognition method at the ripening stage based on YOLO v4 and HSV[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(21): 183-190. (in Chinese with English abstract)

[6] 王海楠，弋景剛，張秀花. 番茄采摘機(jī)器人識別與定位技術(shù)研究進(jìn)展[J]. 中國農(nóng)機(jī)化學(xué)報，2020，41(5) ：188-196.

Wang Hainan, Yi Jinggang, Zhang Xiuhua. Research process on recognition and localization technology of tomato picking robot[J]. Journal of Chinese Agricultural Mechanization, 2020, 41(5): 188-196. (in Chinese with English abstract)

[7] Priva. World's first fully automated leaf-cutting robot for tomato crops[EB/OL]. (2021-09-16) [2022-10-28]. https://www.priva.com/blog/horticulture/worlds-first-fully- automated-leaf-cutting-robot.

[8] 寧政通，羅陸鋒，廖嘉欣，等. 基于深度學(xué)習(xí)的葡萄果梗識別與最優(yōu)采摘定位[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(9)：222-229.

Ning Zhengtong, Luo Lufeng, Liao Jiaxin, et al. Recognition and the optimal picking point location of grape stems based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(9): 222-229. (in Chinese with English abstract)

[9] 嚴(yán)亞飛. 智能枸杞采摘機(jī)器人枝條識別與定位關(guān)鍵技術(shù)研究[D]. 合肥：合肥工業(yè)大學(xué)，2019.

Yan Yafei. Research on the Key Technology of Branch Recognition and Location of Intelligent Chinese Wolfberry Picking Robot[D]. Hefei: Hefei University of Technology, 2019. (in Chinese with English abstract)

[10] 韋錦，李正強(qiáng)，許恩永，等. 基于DA2-YOLOv4算法綠籬識別研究[J]. 中國農(nóng)機(jī)化學(xué)報，2022，43(9)：122-130.

Wei Jin, Li Zhengqiang, Xu Enyong, et al. Research on hedge recognition based on DA2-YOLOv4 algorithm[J]. Journal of Chinese Agricultural Mechanization, 2022, 43(9): 122-130. (in Chinese with English abstract)

[11] Peng H X, Xue C, Shao Y Y, et al. Semantic segmentation of litchi branches using DeepLab v3+ model[J]. IEEE Access, 2020, 8: 164546-164555.

[12] Zhang Q, Zhang X, Zhang J, et al. Branch detection for apple trees trained in fruiting wall architecture using depth features and regions-convolutional neural network (R-CNN)[J]. Computers and Electronics in Agriculture, 2018, 155: 386-393.

[13] Qi C, Gao J F, Pearson S, et al. Tea chrysanthemum detection under unstructured environments using the TC-YOLO model[J].Expert Systems with Applications, 2022, 193: 116473.

[14] 馬志艷，張徐康，楊光友. 基于改進(jìn)Mask R-CNN的水稻莖稈雜質(zhì)分割方法研究[J]. 中國農(nóng)機(jī)化學(xué)報，2021，42(6)：145-150.

Ma Zhiyan, Zhang Xukang, Yang Guangyou. Research on segmentation method of rice stem impurities based on improved Mask R-CNN[J]. Journal of Chinese Agricultural Mechanization, 2021, 42(6): 145-150. (in Chinese with English abstract)

[15] Palacios F, Bueno G, Salido J, et al. Automated grapevine flower detection and quantification method based on computer vision and deep learning from on-the-go imaging using a mobile sensing platform under field conditions[J]. Computers and Electronics in Agriculture, 2020, 178: 105796.

[16] Afonso M, Fonteijn H, Fiorentin F S, et al. Tomato fruit detection and counting in greenhouses using deep learning[J]. Frontiers in Plant Science, 2020, 11: 571299-571310.

[17] 陳鋒軍，張新偉，朱學(xué)巖，等. 基于改進(jìn)EfficientDet的油橄欖果實成熟度檢測[J]. 農(nóng)業(yè)工程學(xué)報，2022，38(13)： 158-166.

Chen Fengjun, Zhang Xinwei, Zhu Xueyan, et al. Detection of the olive fruit maturity based on improved EfficientDet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(13): 158-166. (in Chinese with English abstract)

[18] Liang C, Xiong J, Zheng Z, et al. A visual detection method for nighttime litchi fruits and fruiting stems[J]. Computers and Electronics in Agriculture, 2020, 169: 105192.

[19] He K M, Gkioxari G, Dollar P, et al. Mask R-CNN[C]//Proceedings of 2017 Conference on Computer Vision (ICCV). Venice: IEEE, 2017: 2980-2988.

[20] Howard A G, Zhu M, Chen B, et al. MobileNets: Efficient convo-liutional neural networks for mobile vision applications[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Hawaii: IEEE, 2017: 1704-1712.

[21] Howard A, Sandler M, Chu G, et al. Searching for mobilenetv3[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Seoul, Korea (South): IEEE, 2019: 1314-1324.

[22] Sandler M, Howard A, Zhu M, et al. MobileNetV2: Inverted residuals and linear bottlenecks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 4510-4520.

[23] Huang G, Liu Z, Laurens V, et al. Densely connected convolutional networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Maryland, USA: IEEE, 2017: 3641-3647.

[24] Wang Q, Wu B, Zhu P, et al. ECA-Net: Efficient channel attention for deep convolutional neural networks[C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition. Virtual, USA: IEEE, 2020: 11531-11539.

[25] 李立宗. OpenCV輕松入門：面向Python[M]. 北京：電子工業(yè)出版社，2019.

Recognition method for the pruning points of tomato lateral branches using improved Mask R-CNN

Liang Xifeng1, Zhang Xinyu1, Wang Yongwei2

(1.,,310018; 2.,,310058,)

Branch and leaf pruning has been one of the most important links in the process of tomato planting for reducing the disease rate and increasing economic benefits. However, the manual pruning of tomato branches and leaves cannot fully meet large-scale production in recent years, due to the time-consuming and labor-intensive task. An accurate and rapid identification of the pruning position can be greatly contributed to the automatic operation of tomato branch and leaf pruning. In this study, a Recognition method was proposed for the pruning point of the tomato lateral branch using an improved Mask R-CNN. Firstly, the backbone network of ResNet50 in the original Mask R-CNN was replaced with the MobileNetv3-Large to reduce the model complexity. Efficient Channel Attention was added to the feature map C3 and C4, in order to focus more on the features of the lateral and main branch rather than other features. Then, the tomato lateral and main branches were predicted using the improved Mask R-CNN. Three steps were selected to avoid some single branches taken as multiple masks. The lateral and main branch masks were first distinguished by the aspect ratio of the bounding boxes. The overlap and pole constraints were then analyzed for the adjacent masks that belonged to the same branch. The masks with similar constraints were finally merged and joined in the images. The pruning point of the lateral branch was only positioned at one of the two ends of the lateral branch. The lateral pruning point identification was proposed with the help of the main branch, in order to determine the coordinate of the lateral pruning point. The range near the main branch was first determined. And then the branch pruning end was determined by estimating which one of the lateral branch left and right endpoints was in the range. The center point close to the endpoint of the pruning end was finally determined as the pruning point of the lateral branch. The original and improved Mask R-CNN were also compared to verify the detection performance of the lateral and main branches. The recall rate and precision of the original Mask R-CNN were 87.9% and 93.3%, respectively, whereas, the recall rate and precision of the improved Mask R-CNN were 91.2% and 88.6%, respectively. The number of backbone network parameters in the improved Mask R-CNN was only 21.1% of that in the original one. The average segmentation time of the improved Mask R-CNN decreased by 0.038 s than before. The results showed that the backbone network of MobileNetv3-Large reduced the model parameters with the high speed in the improved Mask R-CNN. More branches were recognized, particularly when adding the Efficient Channel Attention mechanism into the feature map C3 and C4. Lateral and main branches that were divided into multiple masks were selected randomly to verify the performance of merging masks. The merging success rate of lateral branch masks was lower than that of the main branch masks, due to the more outstanding curved shape of the lateral branch. The average success rate of merging masks was 86.2%, indicating the excellent performance of merging masks. The presence of multiple pruning points was effectively reduced, where the single branch was normally taken as the multiple masks. Some images were selected randomly in the test set to verify the recognition accuracy for the pruning point of the lateral branch. The result showed that the recognition success rate on sunny days was higher than that on cloudy. The average recognition success rate was 82.9%,which fully met the requirements of lateral branch pruning. This finding can provide the technical support for the tomato branch and leaf pruning automatically.

model; image recognition; target detection; Mask R-CNN; lateral branch; main branch; pruning point

10.11975/j.issn.1002-6819.2022.23.012

TP391.41

A

1002-6819(2022)-23-0112-10

梁喜鳳，章鑫宇，王永維. 基于改進(jìn)Mask R-CNN的番茄側(cè)枝修剪點識別方法[J]. 農(nóng)業(yè)工程學(xué)報，2022，38(23)：112-121.doi：10.11975/j.issn.1002-6819.2022.23.012 http://www.tcsae.org

Liang Xifeng, Zhang Xinyu, Wang Yongwei. Recognition method for the pruning points of tomato lateral branches using improved Mask R-CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(23): 112-121. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.23.012 http://www.tcsae.org

2022-09-16

2022-11-11

國家自然科學(xué)基金資助項目（31971796）

梁喜鳳，博士，教授，研究方向為農(nóng)業(yè)機(jī)器人。Email：lxfcjlu@163.com