摘要：針對辣椒采摘機器人在真實場景中辣椒簇狀、粘連和光照不均導致無法精準采摘辣椒的問題，提出一種基于Mask R-CNN實例分割網(wǎng)絡(luò)模型的辣椒識別方法。以真實場景下的辣椒為研究對象，采集自然生長的辣椒圖像4 496張，對其中的4 000張進行數(shù)據(jù)標注作為數(shù)據(jù)集，通過設(shè)置不同的學習率、訓練周期和模型網(wǎng)絡(luò)層對數(shù)據(jù)集進行訓練。試驗結(jié)果表明，Mask R-CNN網(wǎng)絡(luò)模型對真實場景下辣椒的識別和分割效果較好，平均準確率達到90.34%，平均速度達到0.82 s/幅，為智能辣椒采摘機器人的辣椒分割識別和定位提供有力的技術(shù)支撐。

關(guān)鍵詞：辣椒識別；實例分割；Mask R-CNN；神經(jīng)網(wǎng)絡(luò)；采摘機器人

中圖分類號：S225.92； TP391.4" " " 文獻標識碼：A" " " 文章編號：2095?5553 （2024） 09?0215?05

Research on pepper recognition method in complex environment based on Mask R-CNN

Fu Xiaoge Li Han Zuo Zhijiang Du Zheng

（1. State Key Laboratory of Percision Blasting， Jianghan University， Wuhan， 430056， China;

2. Hubei Key Laboratory of Blasting Engineering， Wuhan， 430056， China;

3. Institute of Agricultural Mechanization， Wuhan Academy of Agricultural Sciences， Wuhan， 430207， China）

Abstract： In order to solve the problem that pepper picking robots can not pick pepper accurately in real scenes due to pepper clusters， adhesion and uneven lighting， a pepper recognition method based on Mask R-CNN instance segmentation network model is proposed. With pepper in the real scene as the research object， 4 496 images of naturally growing pepper were collected， and 4 000 of them were labeled as data sets. The data sets were trained by setting different learning rates， training cycles and model network layers. The experimental results show that the Mask R-CNN network model has a good effect on pepper recognition and segmentation in the real scene， with an average accuracy of 90.34% and an average speed of 0.82 s/frame， providing a strong technical support for pepper segmentation recognition and location of intelligent pepper picking robot.

Keywords： pepper recognition; instance segmentation; Mask R-CNN; neural networks; picking robot

0 引言

辣椒是一種重要的蔬菜和調(diào)味品，富有多種維生素，種植面積和年產(chǎn)量不斷增長，位居蔬菜種植種類中的首位[1]。在農(nóng)業(yè)生產(chǎn)中，辣椒的采摘過程主要依靠勞動人力進行，采摘效率較低，采摘成本較高。加快農(nóng)業(yè)生產(chǎn)的發(fā)展，推動農(nóng)業(yè)生產(chǎn)實現(xiàn)自動化、智能化是未來必要的發(fā)展趨勢，采用智能辣椒采摘機器人進行辣椒的采摘具有重大的意義[2?4]。

智能辣椒采摘機器人中主要有4大模塊，分別是相機、柔性機械夾持器、六自由度機械臂和機器人移動底盤。其中，相機安裝在六自由度機械臂末端，通過機器視覺技術(shù)，實現(xiàn)辣椒的識別檢測和定位，進而引導機械臂對識別到的辣椒進行采摘，辣椒識別和定位的精準性，直接影響到智能辣椒采摘機器人的效率和準確性。因此，實現(xiàn)對辣椒快速且準確的識別定位是研發(fā)智能辣椒采摘機器人的關(guān)鍵技術(shù)。

目標分割識別算法主要有基于特征、像素和深度學習的三類識別方法[5]。汪杰等[6]提出HSV和形狀特征融合的花椒識別算法，利用花椒圓度特征，排除樹枝及樹葉等的干擾，實現(xiàn)花椒的準確識別。但基于特征的目標分割識別方法需要目標物體顏色或者形狀能夠和背景形成強烈的對比，而辣椒植株枝葉茂密，辣椒與枝葉顏色沒有明顯差別，僅依靠顏色和形狀特征難以實現(xiàn)辣椒的識別和定位。Lu等[7]開發(fā)一種通用的自動閾值方法，快速有效地從結(jié)構(gòu)照明反射成像獲得的圖像中的蘋果。邵志明等[8]通過Otsu法對近紅外圖像進行背景分割，基于圖像的灰度直方圖進行無損和有損區(qū)域分割閾值的設(shè)定，并結(jié)合形態(tài)學處理提取蘋果樣本的損傷區(qū)域。但基于像素的識別，會受到光線條件的影響，導致識別分割的效果不是很好。張磊等[9]提出基于改進YOLOv4網(wǎng)絡(luò)模型的番茄果實檢測，可以很好地實現(xiàn)自然環(huán)境下番茄果實的精準檢測。Yan等[10]改進YOLOv5能夠有效地識別未被遮擋或僅被樹葉遮擋的可抓蘋果和被樹枝遮擋或其他果實遮擋的不可抓蘋果。閆建偉等[11]RetinaNet為基礎(chǔ)，通過改進bias公式以及運用K-means++聚類算法，增強數(shù)據(jù)和合理調(diào)節(jié)參數(shù)，實現(xiàn)對刺梨加工車間的果實進行高精度、快速識別。李艷文等[12]提出改進的SegNet模型能夠更好地分割自然環(huán)境下蘋果目標的采摘點。但目標檢測只能夠識別圖像中目標的類別和目標的大致位置，且采用矩形框進行目標物體的定位，由于辣椒長條形的特殊形狀，對于水平方向的定位精度要求較高。一旦矩形包圍框在水平方向的偏移較大，極有可能使得最終的定位中心不在辣椒上。語義分割只能夠識別圖像中的每個像素所屬的類別，但是無法分辨同類物體的不同個體[13]，因此無法處理自然環(huán)境下辣椒簇狀、粘連和光照不均的問題。在應(yīng)用于辣椒采摘時，使用目標檢測和語義分割并不能夠?qū)⒚總€辣椒之間以及辣椒和背景之間的邊緣識別出來，會導致辣椒采摘機器人在進行采摘時，造成不必要的采摘損失。而實例分割結(jié)合了目標檢測和語義分割的優(yōu)勢，不僅能夠?qū)D像中的辣椒類別和位置檢測出來，還能將辣椒像素類別識別出來，獲得辣椒的輪廓，以實現(xiàn)辣椒的識別分割和定位。

針對上述情況，本文提出一種基于Mask R-CNN實例分割網(wǎng)絡(luò)模型的辣椒識別方法，利用Mask R-CNN網(wǎng)絡(luò)模型對辣椒圖像進行分割，識別出圖像中辣椒像素類別，獲得辣椒的輪廓。

1 數(shù)據(jù)集制作

1.1 數(shù)據(jù)采集和預處理

試驗數(shù)據(jù)采集地位于武漢市農(nóng)業(yè)科學院農(nóng)業(yè)機械化研究所，采集場景如圖1所示，選取圓錐椒類和長椒類等不同類別的辣椒進行取樣采集，采集硬件設(shè)施主要包括計算機、深度相機和手機等移動設(shè)備，相機主要采用的是D455深度相機，深度分辨率為1 280像素×720像素，深度幀率為90 fps，拍攝條件包括0.5 m、1 m和2 m等不同遠近距離，背光和逆光等不同角度光照，辣椒豎直和彎曲等不同生長狀態(tài)，辣椒葉子和桿子等不同雜物遮擋，共采集了562張辣椒圖像，如圖2所示，數(shù)據(jù)集的圖片大小為1 024像素×682像素與640像素×480像素。為加強圖像的視覺效果，提高圖像的清晰度，突出圖像中感興趣的特征，抑制無用的圖像信息，將圖像通過翻轉(zhuǎn)、旋轉(zhuǎn)、裁剪、縮放、平移和抖動等數(shù)據(jù)增強方法生成4 496張圖像，選取其中的4 000張圖像作為訓練數(shù)據(jù)集，496張為測試數(shù)據(jù)集。

1.2 數(shù)據(jù)標注

使用圖像標注軟件labelme對辣椒訓練數(shù)據(jù)集圖像中的辣椒進行標注，采用標注點方法對圖像中的目標辣椒邊緣輪廓進行標注，獲取辣椒區(qū)域的特征，不同辣椒實例之間標上不同編號，將其辣椒標簽和辣椒標注點坐標保存到對應(yīng)的json文件中。通過json_to_dataset將json數(shù)據(jù)標注的結(jié)果進行可視化，分為背景和辣椒，且不同辣椒的實例也通過不同的mask進行標記區(qū)分，呈現(xiàn)出不同的顏色，如圖3所示。

2 Mask R-CNN網(wǎng)絡(luò)模型

2.1 Mask-RCNN模型框架

Mask R-CNN主要包括Backbone、RPN和ROI Align三個主要部分，相較Faster R-CNN增加了一個Mask分支，在實現(xiàn)目標檢測的同時將目標像素分割出來，Mask-RCNN模型結(jié)構(gòu)如圖4所示。

Backbone（骨干網(wǎng)絡(luò)）通過一系列的卷積對圖像中的目標物體進行特征提取，隨著網(wǎng)絡(luò)層數(shù)的不斷加深，模型的準確率不斷提高，獲取的特征信息也越來越豐富，直至達到飽和狀態(tài)。隨著網(wǎng)絡(luò)的繼續(xù)加深，會造成梯度爆炸和梯度消失的問題，阻礙網(wǎng)絡(luò)的收斂，模型出現(xiàn)退化現(xiàn)象。ResNet通過shortcut支路將輸入直接連接到后邊的網(wǎng)絡(luò)層，保護特征信息的完整性，解決了退化問題。ResNet主要有5種大小的網(wǎng)絡(luò)：ResNet18、ResNet34、ResNet50、ResNet101和ResNet152，各個網(wǎng)絡(luò)之間最大的區(qū)別是需要通過訓練更新的層數(shù)不同。底層網(wǎng)絡(luò)的特征語義信息較少，但檢測的目標位置比較準確，可以將簡單的目標區(qū)分開來，高層網(wǎng)絡(luò)則相反，有較豐富的語義信息，能夠?qū)碗s的目標區(qū)分開來，但檢測的目標位置比較粗略。FPN結(jié)合了底層網(wǎng)絡(luò)和高層網(wǎng)絡(luò)的特征，可以獲取準確的語義信息和檢測目標位置信息。FPN主要包括3部分，分別是bottom?up、top?down和lateral connection。bottom?up是通過將圖像輸入到卷積網(wǎng)絡(luò)中來提取特征的過程，每個stage往上用step=2的降采樣。top?down通過上采樣將高層的小特征圖放大到和上個stage的特征圖一樣的大小。lateral connection將上采樣后的高層語義特征與底層位置信息進行融合。本文利用同一數(shù)據(jù)集在不同ResNet網(wǎng)絡(luò)結(jié)構(gòu)上進行試驗，最終選用ResNet101網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合FPN作為Backbone。

原始圖像經(jīng)過ResNet101和FPN處理得到Feature Map，同時將目標物體特征信息輸入RPN中。在R-CNN和FastR-CNN等物體檢測中，使用Selective Search來提取候選框，比較耗費時間，但RPN可以將物體檢測融入到神經(jīng)網(wǎng)絡(luò)中，使用特征提取的形式生成預選框的位置，提升了預選框生成的速度。RPN對特征圖上的anchor point生成不同大小的anchor boxes，將anchor boxes輸入到網(wǎng)絡(luò)層，通過二分類方法來判斷每個anchor box是屬于foreground還是background，得到目標物體相應(yīng)的anchor boxes。

將得到的Feature Map和anchor boxes輸入給ROIAlign，ROI Align對ROI Pooling進行了改進，遍歷每個anchor boxes，對于量化中產(chǎn)生的坐標為浮點數(shù)的像素，使用雙線性內(nèi)插方法計算像素值，取消了量化操作，將Feature Map統(tǒng)一為固定大小，得到每個anchor boxes的Feature Map。將Feature Map輸入到Fully Connected Layers和Fully Connected Network，得到目標物體的Classification、BoxRegression和Mask。

2.2 損失函數(shù)

Mask R-CNN的損失函數(shù)主要有3部分組成，分別是矩形框分類損失、矩形框回歸框損失和生成掩碼損失，可以表示為

L=L_cls+L_box+L_mask （1）

式中：L_cls——矩形框分類損失；

L_box——矩形框回歸框損失；

L_mask——生成掩碼損失。

3 試驗與分析

3.1 試驗方法

試驗所用的硬件為筆記本電腦，系統(tǒng)為Windows 10，64位操作系統(tǒng)，基于x64的處理器，機帶RAM位16.0 GB，訓練編程語言為Python3.7，環(huán)境為tensorflow1.13.2深度學習庫，keras2.1.5人工神經(jīng)網(wǎng)絡(luò)庫。使用ResNet101結(jié)合FPN為主干網(wǎng)絡(luò)的Mask R-CNN進行模型訓練，訓練模式為“coco”，訓練權(quán)重從頭開始訓練，合適的學習率能夠使得目標函數(shù)再合適的時間內(nèi)收斂到局部最小值，通過設(shè)置不同的學習率進行對比試驗，選定效果較好的0.000 01設(shè)置為最終訓練模型學習率，訓練的周期設(shè)為100。

3.2 評價指標

本文選取準確率Accuracy、召回率Recall作為評價指標，準確率是指所有預測中預測正確的比例，召回率是指在原始樣本的正樣本中正確識別的概率，計算如式（2）、式（3）所示。

Accuracy=TP+TN/TP+TN+FP+FN （2）

Recall=TPTP+FN （3）

式中： TP——正確預測正樣本的數(shù)量；

FN——錯誤預測正樣本的數(shù)量；

FP——正確預測負樣本的數(shù)量；

TN——錯誤預測負樣本的數(shù)量。

3.3 結(jié)果分析

3.3.1 不同網(wǎng)絡(luò)模型的對比試驗

為驗證Mask R-CNN網(wǎng)絡(luò)模型作為辣椒采摘機器人視覺系統(tǒng)的有效性，分別采用Faster R-CNN、SegNet和Mask R-CNN網(wǎng)絡(luò)模型，設(shè)置相同的訓練參數(shù)，對相同的辣椒數(shù)據(jù)集進行對比試驗。檢測效果如圖5所示。

Faster R-CNN檢測效果如圖5（b）所示，F(xiàn)aster R-CNN可以找到圖像中所有的辣椒，確定辣椒在圖像中的位置，判斷出每張圖像中包含的每個辣椒的種類和位置，但是矩形框只能對辣椒進行粗略的定位，作為辣椒采摘機器人的視覺系統(tǒng)引導機械臂作業(yè)時，不能精準對辣椒進行采摘，容易對辣椒造成損傷。SegNet檢測效果如圖5（c）所示，SegNet可以找到圖像中所有屬于辣椒的像素，并對像素進行分類，可以將辣椒的邊緣與背景分割開來，作為辣椒采摘機器人的視覺系統(tǒng)引導機械臂作業(yè)時可以精準的采摘辣椒，但是對于辣椒之間簇裝、粘連以及辣椒混雜的情況時，SegNet會將多個辣椒識別為一個實例，此時引導機械臂作業(yè)時，就會對辣椒的定位以及數(shù)量檢測造成誤差，進行采摘時就會損害到辣椒。Mask R-CNN檢測效果如圖5（d）所示，采用Mask R-CNN網(wǎng)絡(luò)模型時不僅能夠?qū)⒗苯愤吘壟c背景分割開來，每個辣椒之間的邊緣也能夠很好的進行分割，作為辣椒采摘機器人的視覺系統(tǒng)引導機械臂作業(yè)時，能夠精準的識別到每個辣椒，有效滿足了辣椒采摘機器人視覺系統(tǒng)的需求。

利用測試集來驗證不同算法的檢測結(jié)果，計算出準確率和召回率，使用Mask R-CNN網(wǎng)絡(luò)模型相較Faster R-CNN和SegNet在準確率和召回率上都有一定的提升，準確率由83.43%和64.54%提升到90.34%，召回率由85.32%和83.67%提升到89.52%，三種不同算法的試驗評價結(jié)果如表1所示。

試驗結(jié)果可見，對辣椒的識別分割和定位，提出的基于Mask R-CNN的復雜環(huán)境下辣椒識別方法比其他兩種方法的檢測精度更好，平均速度達到0.82 s/幅，能夠很好地滿足辣椒采摘機器人對辣椒識別的需求。

3.3.2 不同骨干網(wǎng)絡(luò)的對比試驗

深度學習中有很多種骨干網(wǎng)絡(luò)，例如AlexNet、VGG、ResNet、LeNet和DenseNet等，Mask R-CNN延用了Faster R-CNN的ResNet作為骨干網(wǎng)絡(luò)，通過構(gòu)建恒等映射來處理網(wǎng)絡(luò)的輸入輸出，ResNet主要有5種大小的網(wǎng)絡(luò)：ResNet18、ResNet34、ResNet50、ResNet101和ResNet152，各個網(wǎng)絡(luò)之間最大的區(qū)別是需要通過訓練更新的層數(shù)不同。在Mask R-CNN中最常用的是ResNet50和ResNet101這兩種大小的網(wǎng)絡(luò)，本文在保證其他參數(shù)相同的情況下，分別使用ResNet50和ResNet101作為骨干網(wǎng)絡(luò)來進行對比試驗，兩種模型損失見圖6。

由圖6可以看出，ResNet101網(wǎng)絡(luò)相較ResNet50網(wǎng)絡(luò)最后的損失值更低，說明ResNet101網(wǎng)絡(luò)能夠得到更高的提取精度，所以選取ResNet101網(wǎng)絡(luò)作為Mask R-CNN網(wǎng)絡(luò)模型的骨干網(wǎng)絡(luò)。

3.3.3 不同學習率的對比試驗

學習率作為梯度下降過程中更新權(quán)重時的超參數(shù)，設(shè)置過小時網(wǎng)絡(luò)收斂過程會變得很緩慢，設(shè)置過大時會在最小值附近來回震蕩，導致網(wǎng)絡(luò)無法收斂。為了驗證不同學習率對Mask R-CNN網(wǎng)絡(luò)的影響，選擇合適的學習率進行訓練，設(shè)置0.000 001為初始學習率，在每個batch之后都更新網(wǎng)絡(luò)增加學習率，統(tǒng)計每個batch的loss，繪制學習率和loss變化曲線，如圖7所示，直觀地觀察學習率對網(wǎng)絡(luò)模型的影響。

從圖7中可以看出，隨著學習率從初始值開始變大的過程，網(wǎng)絡(luò)模型的loss先下降，直至達到一個較小的數(shù)值，隨后隨著學習率的增大而增大。因此，學習率設(shè)置為0.00 001時損失函數(shù)收斂，網(wǎng)絡(luò)模型能夠達到很好的擬合效果。

4 結(jié)論

提出基于Mask R-CNN實例分割網(wǎng)絡(luò)模型的辣椒識別方法，通過設(shè)置不同網(wǎng)絡(luò)模型的對比試驗，驗證Mask R-CNN網(wǎng)絡(luò)模型對簇裝、粘連和光照不均情況下的辣椒識別具有很好的效果。

1） 分別研究不同骨干網(wǎng)絡(luò)和不同學習率對Mask R-CNN網(wǎng)絡(luò)模型的影響，選擇對辣椒特征提取效果較好的ResNet101結(jié)合FPN作為骨干網(wǎng)絡(luò)，設(shè)置0.000 01為Mask R-CNN網(wǎng)絡(luò)模型訓練的學習率。

2） Mask R-CNN網(wǎng)絡(luò)模型對真實場景下辣椒的識別和分割效果較好，平均準確率達到90.34%，平均速度達到0.82 s/幅，基本可以滿足辣椒采摘機器人視覺模塊的需求。

參 考 文 獻

[ 1 ] 鄒學校， 馬艷青， 戴雄澤， 等. 辣椒在中國的傳播與產(chǎn)業(yè)發(fā)展[J]. 園藝學報， 2020， 47（9）： 1715-1726.

[ 2 ] 王立浩， 張寶璽， 張正海， 等. “十三五”我國辣椒育種研究進展、產(chǎn)業(yè)現(xiàn)狀及展望[J]. 中國蔬菜， 2021（2）： 21-29.

[ 3 ] Arad B， Balendonck J， Barth R， et al. Development of a sweet pepper harvesting robot [J]. Journal of Field Robotics， 2020， 37（6）： 1027-1039.

[ 4 ] Augusto M S， Paul M A， dos Neves S F， et al. Active perception fruit harvesting robots： A systematic review [J]. Journal of Intelligent amp; Robotic Systems， 2022， 105（1）.

[ 5 ] 李天華， 孫萌， 婁偉， 等. 采摘機器人分割與識別算法的研究現(xiàn)狀[J]. 山東農(nóng)業(yè)科學， 2021， 53（10）： 140-148.

[ 6 ] 汪杰， 陳曼龍， 李奎， 等. 基于HSV與形狀特征融合的花椒圖像識別[J]. 中國農(nóng)機化學報， 2021， 42（10）： 180-185.

Wang Jie， Chen Manlong， Li Kui， et al. Prickly ash image recognition based on HSV and shape feature fusion [J]. Journal of Chinese Agricultural Mechanization， 2021， 42（10）： 180-185.

[ 7 ] Lu Yuzhen， Lu Renfu. Histogram?based automatic thresholding for bruise detection of apples by structured?illumination reflectance imaging [J]. Biosystems Engineering， 2017， 160.

[ 8 ] 邵志明， 王懷彬， 董志城， 等. 基于近紅外相機成像和閾值分割的蘋果早期損傷檢測[J]. 農(nóng)業(yè)機械學報， 2021， 52（S1）： 134-139.

Shao Zhiming， Wang Huaibin， Dong Zhicheng， et al. Early bruises detection method of apple surface based on near infrared camera imaging technology and image threshold segmentation method [J]. Transactions of the Chinese Society for Agricultural Machinery， 2021， 52（S1）： 134-139.

[ 9 ] 張磊， 劉琪芳， 聶紅玫， 等. 基于改進YOLOV4網(wǎng)絡(luò)模型的番茄果實檢測[J]. 中國農(nóng)機化學報， 2022， 43（12）： 162-169.

Zhang Lei， Liu Qifang， Nie Hongmei， et al. Tomato fruit detection based on improved YOLOv4 network model [J]. Journal of Chinese Agricultural Mechanization， 2022， 43（12）： 162-169.

[10] Yan Bin， Fan Pan， Lei Xiaoyan， et al. A real?time apple targets detection method for picking robot based on improved YOLOv5 [J]. Remote Sensing， 2021， 13（9）： 1619.

[11] 閆建偉， 張樂偉， 趙源， 等. 改進RetinaNet的刺梨果實圖像識別[J]. 中國農(nóng)機化學報， 2021， 42（3）： 78-83.

Yan Jianwei， Zhang Leiwei， Zhao Yuan， et al. Image recognition of Rosa roxburghii fruit by improved RetinaNet [J]. Journal of Chinese Agricultural Mechanization， 2021， 42（3）： 78-83.

[12] 李艷文， 左朝陽， 王登奎， 等. 基于改進型SegNet的蘋果采摘點分割算法研究[J]. 燕山大學學報， 2022， 46（5）： 455-460， 470.

Li Yanwen， Zuo Chaoyang， Wang Dengkui， et al. Apple picking point segmentation based on improved SegNet [J]. Journal of Yanshan University， 2022， 46（5）： 455-460， 470.

[13] 蘇麗， 孫雨鑫， 苑守正. 基于深度學習的實例分割研究綜述[J]. 智能系統(tǒng)學報， 2022， 17（1）： 16-31.