余賢海，孔德義，謝曉軒，王 瓊，白先偉

基于深度學(xué)習(xí)的番茄授粉機(jī)器人目標(biāo)識(shí)別與檢測(cè)

余賢海1，孔德義2,3※，謝曉軒2,3，王 瓊2,3，白先偉2,3

（1. 合肥工業(yè)大學(xué)微電子學(xué)院，合肥 230601；2. 中國(guó)科學(xué)院合肥智能機(jī)械研究所，合肥 230031；3. 中國(guó)科學(xué)技術(shù)大學(xué)研究生院科學(xué)島分院，合肥 230009）

針對(duì)植物工廠中對(duì)番茄花朵授粉作業(yè)的自動(dòng)化和智能化需求，為克服當(dāng)前機(jī)器人在授粉作業(yè)過(guò)程中因番茄花朵小、姿態(tài)朝向各異而導(dǎo)致的檢測(cè)精度不高和授粉策略不完善等難題，該研究提出了一種由目標(biāo)檢測(cè)、花期分類(lèi)和姿態(tài)識(shí)別相結(jié)合的番茄花朵檢測(cè)分類(lèi)算法——TFDC-Net（Tomato Flower Detection and Classification Network）。在目標(biāo)檢測(cè)階段，提出了一種改進(jìn)的YOLOv5s網(wǎng)絡(luò)模型ACW_YOLOv5s，通過(guò)在YOLOv5s網(wǎng)絡(luò)中添加卷積塊注意力模塊（Convolutional Block Attention Module，CBAM）并采用加權(quán)框融合（Weighted Boxes Fusion，WBF）方法，使模型的準(zhǔn)確率達(dá)到0.957，召回率達(dá)到0.942，mAP0.5為0.968，mAP0.5-0.95為0.620，各項(xiàng)指標(biāo)相較于原YOLOv5s網(wǎng)絡(luò)模型分別提高了0.028、0.004、0.012、0.066，并改善了目標(biāo)漏檢和誤檢的狀況。進(jìn)而，針對(duì)不同花期的花朵以及花蕊不同姿態(tài)朝向的授粉問(wèn)題，采用EfficientNetV2分類(lèi)網(wǎng)絡(luò)分別對(duì)3種不同花期和5種不同花蕊姿態(tài)朝向的花朵進(jìn)行訓(xùn)練，分別得到花期分類(lèi)模型及姿態(tài)識(shí)別模型，通過(guò)選取300張花期圖片和200張姿態(tài)圖片對(duì)其進(jìn)行測(cè)試，花期分類(lèi)模型和姿態(tài)分類(lèi)模型的總體準(zhǔn)確率分別為97.0%和90.5%。將研究提出的TFDC-Net算法應(yīng)用于自主研發(fā)的授粉機(jī)器人中進(jìn)行試驗(yàn)驗(yàn)證，結(jié)果表明，該算法能夠?qū)崿F(xiàn)對(duì)番茄花朵的目標(biāo)檢測(cè)、花期分類(lèi)和姿態(tài)識(shí)別。在此基礎(chǔ)上，通過(guò)坐標(biāo)轉(zhuǎn)換對(duì)目標(biāo)快速定位，利用機(jī)器人機(jī)械臂末端執(zhí)行器對(duì)番茄花朵中的花蕊完成了精準(zhǔn)授粉，驗(yàn)證了該算法的有效性。該研究可實(shí)現(xiàn)對(duì)番茄花朵的目標(biāo)識(shí)別與檢測(cè)，有助于進(jìn)一步推動(dòng)授粉機(jī)器人的研發(fā)與應(yīng)用。

深度學(xué)習(xí)；神經(jīng)網(wǎng)絡(luò)；目標(biāo)檢測(cè)；花期分類(lèi)；姿態(tài)識(shí)別；授粉機(jī)器人

0 引 言

番茄是植物工廠中種植最廣泛的蔬菜之一，在自然環(huán)境中可通過(guò)自然風(fēng)或昆蟲(chóng)等媒介完成授粉，但在植物工廠這樣的密閉環(huán)境中，由于缺乏自然風(fēng)和昆蟲(chóng)活動(dòng)，導(dǎo)致番茄植株授粉不良，易造成落花、落果、畸形果等問(wèn)題，影響番茄的產(chǎn)量和品質(zhì)[1]。而人工授粉存在授粉不均勻、勞動(dòng)強(qiáng)度大等問(wèn)題[2]，因此授粉機(jī)器人應(yīng)運(yùn)而生。授粉機(jī)器人能有效減少授粉工作量，提高番茄的產(chǎn)量和品質(zhì)[3]。由于番茄花朵生長(zhǎng)環(huán)境為非結(jié)構(gòu)化環(huán)境[4]，且花朵小、姿態(tài)朝向各異，不易識(shí)別，因此番茄花朵的目標(biāo)檢測(cè)與定位成為授粉機(jī)器人的關(guān)鍵技術(shù)和研究熱點(diǎn)。

目前國(guó)內(nèi)外對(duì)花朵的目標(biāo)檢測(cè)已經(jīng)取得了一定的進(jìn)展。崔明等[5]針對(duì)草莓圖像特點(diǎn)，采用改進(jìn)K均值聚類(lèi)方法完成圖像的分割，并利用形態(tài)學(xué)處理和連通區(qū)域特征分析提取花朵區(qū)域目標(biāo)，完成對(duì)草莓花朵的識(shí)別。Jason等[6]采用遠(yuǎn)近識(shí)別相結(jié)合的方法，使用相機(jī)對(duì)目標(biāo)進(jìn)行遠(yuǎn)程識(shí)別，并用分類(lèi)器對(duì)顏色進(jìn)行粗分割，提取圖像中可能是花的區(qū)域，再用遷移學(xué)習(xí)的方法判斷在此區(qū)域中是否存在花朵目標(biāo)。在近距離識(shí)別中使用RGB-D相機(jī)（深度相機(jī)）以及實(shí)時(shí)密集SLAM（Simultaneous Localization and Mapping）對(duì)植株進(jìn)行重構(gòu)，再用分類(lèi)算法對(duì)重構(gòu)的植株圖像中的花朵進(jìn)行識(shí)別，總體準(zhǔn)確率達(dá)到78.6%。

傳統(tǒng)圖像處理技術(shù)在進(jìn)行目標(biāo)檢測(cè)時(shí)存在檢測(cè)精度低、抗干擾能力差、無(wú)法適應(yīng)復(fù)雜環(huán)境等問(wèn)題[7]。近年來(lái)，對(duì)于花朵的目標(biāo)檢測(cè)，基于深度學(xué)習(xí)的方法應(yīng)用最為廣泛。該方法利用深度卷積神經(jīng)網(wǎng)絡(luò)提取花朵的多維特征，可實(shí)現(xiàn)端到端的目標(biāo)檢測(cè)，達(dá)到更高的檢測(cè)準(zhǔn)確率[8-9]。Williams等[10]采用深度學(xué)習(xí)方法，通過(guò)Faster RCNN（Regions with Convolutional Neural Network Features）網(wǎng)絡(luò)算法訓(xùn)練獼猴桃花朵的數(shù)據(jù)集，得到的模型平均精度為85.3%。Dias等[11]采用一種對(duì)雜亂和光照變化具有魯棒性的花卉識(shí)別技術(shù)，對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行調(diào)整，使其對(duì)花朵有更好的識(shí)別效果，訓(xùn)練得到的模型精準(zhǔn)率和召回率都高于90.0%。Tian等[12]采用SSD（Single Shot Multibox Detector）深度學(xué)習(xí)方法，利用牛津大學(xué)出版的花卉數(shù)據(jù)集VOC2007和VOC2012進(jìn)行訓(xùn)練，前者的平均準(zhǔn)確率為83.6%，后者的平均準(zhǔn)確率為87.0%，并可以檢測(cè)2個(gè)或多個(gè)目標(biāo)花卉。

針對(duì)番茄花朵檢測(cè)，Yuan等[13]利用雙目視覺(jué)系統(tǒng)，根據(jù)飽和度和色相的顏色特征以及大小特征對(duì)番茄花簇進(jìn)行檢測(cè)。當(dāng)花簇只有1朵花時(shí)識(shí)別率只有50.0%，當(dāng)有2朵花以上時(shí)識(shí)別率高于80.0%。對(duì)花簇進(jìn)行識(shí)別后再授粉，如果不能準(zhǔn)確地識(shí)別每一個(gè)花朵目標(biāo)，就無(wú)法達(dá)到精準(zhǔn)授粉的目的。

綜上所述，傳統(tǒng)圖像處理技術(shù)提取的番茄花朵特征有限，識(shí)別精度較低[14]，而對(duì)花簇進(jìn)行識(shí)別再授粉的方法無(wú)法達(dá)到精準(zhǔn)授粉的目的。鑒于此，本文提出了一種基于深度學(xué)習(xí)的TFDC-Net（Tomato Flower Detection and Classification Network）算法，它由番茄花朵目標(biāo)檢測(cè)算法、花期分類(lèi)和花朵姿態(tài)朝向識(shí)別算法整合而成，不僅對(duì)番茄花朵具有較高的檢測(cè)準(zhǔn)確率，而且能夠?qū)ㄆ诤突ǘ渥藨B(tài)朝向進(jìn)行準(zhǔn)確識(shí)別，更符合實(shí)際場(chǎng)景需求，因此更具有實(shí)用性，可為機(jī)器人優(yōu)化授粉控制策略提供依據(jù)。

1 TFDC-Net算法

1.1 番茄花朵目標(biāo)檢測(cè)

本文基于YOLOv5s算法，提出一種改進(jìn)的YOLOv5s算法，并用于番茄花朵的目標(biāo)檢測(cè)。

1.1.1 YOLOv5s算法原理

YOLOv5s網(wǎng)絡(luò)可以分為4個(gè)部分，分別是輸入層，主干網(wǎng)絡(luò)，頸部網(wǎng)絡(luò)和輸出層。輸入層用于輸入圖片，通過(guò)主干網(wǎng)絡(luò)提取特征[15]，隨后將特征送到頸部網(wǎng)絡(luò)進(jìn)行多尺度融合[16]，再將融合特征傳入檢測(cè)層，最后經(jīng)過(guò)非極大值抑制等處理得到置信度得分最高的預(yù)測(cè)類(lèi)別以及目標(biāo)框的位置坐標(biāo)[17-18]。圖1展示了YOLOv5s 5.0目標(biāo)檢測(cè)網(wǎng)絡(luò)的整體框圖。

圖1 YOLOv5s 5.0網(wǎng)絡(luò)結(jié)構(gòu)

輸入層包括Mosaic（馬賽克）數(shù)據(jù)增強(qiáng)、自適應(yīng)縮放圖片以及自適應(yīng)計(jì)算錨框。Mosaic數(shù)據(jù)增強(qiáng)即對(duì)圖片進(jìn)行裁剪再拼接，并按照網(wǎng)絡(luò)輸入尺寸進(jìn)行自適應(yīng)縮放，達(dá)到豐富數(shù)據(jù)集的目的。自適應(yīng)計(jì)算錨框是指通過(guò)計(jì)算真實(shí)框與預(yù)測(cè)框之間的誤差并反向傳播，通過(guò)不斷更新參數(shù)得到最合適的錨框值。

主干網(wǎng)絡(luò)主要包含C3（Concentrated-Comprehensive Convolution Block）模塊、空間金字塔池化（Space Pyramid Pooling，SPP）模塊[19]以及Focus模塊。C3模塊是用于特征學(xué)習(xí)的主要模塊，在減少網(wǎng)絡(luò)計(jì)算量的同時(shí)增強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)能力。SPP模塊能將任意尺寸的圖片轉(zhuǎn)換成固定大小的圖片，以滿足網(wǎng)絡(luò)輸入的要求。Focus模塊用于對(duì)圖片進(jìn)行切片操作和卷積處理，在無(wú)信息損失的同時(shí)獲得采樣特征圖，并提升訓(xùn)練速度。

頸部網(wǎng)絡(luò)位于主干網(wǎng)絡(luò)和輸出層的中間，利用它可以進(jìn)一步提升特征的多樣性和魯棒性。YOLOv5s的頸部網(wǎng)絡(luò)采用特征金字塔網(wǎng)絡(luò)（Feature Pyramid Networks，F(xiàn)PN）[20]和路徑聚合網(wǎng)絡(luò)（Path Aggregation Network，PAN）結(jié)構(gòu)，前者從上至下傳遞語(yǔ)義特征，后者則由下到上傳遞定位特征。將兩者結(jié)合，可加強(qiáng)網(wǎng)絡(luò)特征融合能力，使模型獲得更加豐富的特征信息。

輸出層用于目標(biāo)檢測(cè)結(jié)果的輸出，包括目標(biāo)的預(yù)測(cè)類(lèi)別、置信度得分、目標(biāo)框的位置坐標(biāo)等[21]。

1.1.2 YOLOv5s損失函數(shù)

YOLOv5s網(wǎng)絡(luò)在訓(xùn)練過(guò)程中使用損失函數(shù)計(jì)算誤差，包括分類(lèi)損失函數(shù)、置信度損失函數(shù)、定位損失函數(shù)，通過(guò)BP（Back Propagation）算法不斷迭代模型，優(yōu)化參數(shù)，以獲得最優(yōu)模型。

YOLOv5s用二元交叉熵?fù)p失函數(shù)作為分類(lèi)損失和置信度損失的損失函數(shù)。以分類(lèi)損失為例，其二元交叉熵?fù)p失函數(shù)如式（1）所示。

式中表示類(lèi)別總個(gè)數(shù)，取值為1；y為當(dāng)前類(lèi)別預(yù)測(cè)值經(jīng)過(guò)Sigmoid激活函數(shù)后得到的當(dāng)前類(lèi)別的概率；y*則為當(dāng)前類(lèi)別的真實(shí)值（0或1）；class為分類(lèi)損失。

YOLOv5s用CIoU（Complete Intersection over Union）損失函數(shù)作為定位損失函數(shù)。CIoU通過(guò)更多的維度來(lái)考量預(yù)測(cè)框與真實(shí)框之間的差異。當(dāng)真實(shí)框和預(yù)測(cè)框不重疊時(shí)，將真實(shí)框和預(yù)測(cè)框中心點(diǎn)歐氏距離的平方與這2個(gè)框的最小外接矩形對(duì)角線長(zhǎng)度的平方之比作為計(jì)算定位損失的因素之一。CIoU損失函數(shù)如式（2）所示。

式中IoU(，B)表示預(yù)測(cè)框與真實(shí)框的交并比，為預(yù)測(cè)框和真實(shí)框長(zhǎng)寬比例差值的歸一化參數(shù)，是用于平衡比例的參數(shù)，和b分別為兩框的中心點(diǎn)，表示歐氏距離，表示兩框的最小外接矩形的對(duì)角線長(zhǎng)度，CIoU為定位損失。

1.1.3 不同網(wǎng)絡(luò)模型性能對(duì)比

YOLOv5s是一種單階目標(biāo)檢測(cè)網(wǎng)絡(luò)，具有模型尺寸小、檢測(cè)速度快、檢測(cè)精度高、能有效區(qū)分目標(biāo)與背景等特點(diǎn)。該網(wǎng)絡(luò)有利于模型的部署，能夠?qū)崿F(xiàn)端到端的實(shí)時(shí)目標(biāo)檢測(cè)，適用于本文對(duì)番茄花朵的檢測(cè)。為驗(yàn)證YOLOv5s檢測(cè)番茄花朵的優(yōu)越性，本文用同一番茄花朵數(shù)據(jù)集在相同條件下訓(xùn)練得到Y(jié)OLOv5-Lite、YOLOv5n、YOLOv5s、YOLOv5m等番茄花朵檢測(cè)模型，并采用準(zhǔn)確率（Precision，）、召回率（Recall，）、平均精度（Average Precision，AP）、平均精度均值（mean Average Precision，mAP）和模型大小作為衡量模型性能的主要指標(biāo)，對(duì)比結(jié)果如表1所示。

表1 不同模型性能對(duì)比

注：mAP0.5是IoU（Intersection over Union）閾值為0.5時(shí)的平均精度均值，mAP0.5-0.95是在不同IoU閾值下的平均精度均值。

Note: mAP0.5is the average mean accuracy at an IoU threshold of 0.5. mAP0.5-0.95is the average mean accuracy at different IoU thresholds.

YOLOv5s模型的值為0.929，值為0.938，mAP0.5為0.956，mAP0.5-0.95為0.554。其中準(zhǔn)確率略低于YOLOv5m的0.932，其余指標(biāo)都優(yōu)于其他模型。YOLOv5s模型大小為14.06 MB，高于YOLOv5-Lite的3.30 MB和YOLOv5n的3.83 MB，但是遠(yuǎn)低于YOLOv5m的41.48 MB。綜合考慮，YOLOv5s網(wǎng)絡(luò)模型針對(duì)番茄花朵的目標(biāo)檢測(cè)更具優(yōu)勢(shì)。

1.1.4 YOLOv5s網(wǎng)絡(luò)改進(jìn)

為進(jìn)一步提升對(duì)番茄花朵的檢測(cè)精度，本文對(duì)原網(wǎng)絡(luò)做了兩點(diǎn)改進(jìn)，一是增加了卷積塊注意力模塊[22]（Convolutional Block Attention Module，CBAM），二是采用了加權(quán)框融合（Weighted Boxes Fusion，WBF）方法[23]。

注意力機(jī)制廣泛應(yīng)用于視覺(jué)識(shí)別領(lǐng)域[24]。本文采用的CBAM模塊結(jié)構(gòu)如圖2所示，包括通道注意力模塊（Channel Attention Module，CAM）和空間注意力模塊（Spatial Attention Module，SAM）。在CAM模塊中，采用全局平均池化和全局最大池化，提取更豐富的高層次特征，再通過(guò)2個(gè)全連接層和對(duì)應(yīng)的激活函數(shù)獲取通道之間的關(guān)聯(lián)性，進(jìn)而將2個(gè)輸出進(jìn)行合并獲得通道權(quán)重，進(jìn)而將得到的權(quán)重與原來(lái)的特征進(jìn)行乘法操作，得到新的特征分布。在SAM模塊中，將通過(guò)CAM模塊得到的（××）維度特征圖作為輸入，采用2種池化操作，得到2個(gè)（××）維度特征圖，再采用一個(gè) 7×7大小的卷積核進(jìn)行卷積操作，得到新的（××）維度特征圖。最后采用加權(quán)操作，將得到的新特征圖加權(quán)到通道注意力模塊特征上，得到經(jīng)過(guò)雙注意力模塊優(yōu)化的最終特征圖，使得有效特征得到加強(qiáng)，而無(wú)效特征得到抑制。

注：CAM，通道注意力模塊；SAM，空間注意力模塊。

第二點(diǎn)改進(jìn)是采用WBF方法。在篩選預(yù)測(cè)框的過(guò)程中，常用的方法是非極大值抑制（Non-Maximum Suppression，NMS）[25]，其原理是從多個(gè)預(yù)測(cè)框中篩選出置信度最高的預(yù)測(cè)框。NMS不能有效結(jié)合多個(gè)預(yù)測(cè)框來(lái)產(chǎn)生一個(gè)平均的預(yù)測(cè)框，而WBF則能夠利用多個(gè)預(yù)測(cè)框來(lái)構(gòu)造出融合的預(yù)測(cè)框，這樣能充分利用預(yù)測(cè)信息得到更準(zhǔn)確的結(jié)果。WBF先把預(yù)測(cè)框按照置信度得分高低進(jìn)行排序，然后通過(guò)聚類(lèi)方法把同一個(gè)目標(biāo)的預(yù)測(cè)框聚類(lèi)在一起，再用融合框公式把同一類(lèi)的預(yù)測(cè)框做加權(quán)融合，得到最終的預(yù)測(cè)框。融合公式如式（3）～（7）所示，（1，1）、（2，2）和（1，1）、（2，2）分別為融合前兩個(gè)預(yù)測(cè)框的左上角和右下角的像素坐標(biāo)，（1，1）、（2，2）分別為融合后預(yù)測(cè)框左上角和右下角的像素坐標(biāo)，、分別為融合前兩個(gè)預(yù)測(cè)框的置信度得分，為融合后預(yù)測(cè)框的置信度得分。

1.1.5 線下數(shù)據(jù)增強(qiáng)

為減少過(guò)擬合現(xiàn)象，提高模型的泛化能力，本文在Mosaic數(shù)據(jù)增強(qiáng)的基礎(chǔ)上進(jìn)一步采用了線下數(shù)據(jù)增強(qiáng)。對(duì)圖像的具體操作包括改變亮度、仿射變換、正負(fù)30°旋轉(zhuǎn)、80.0%～95.0%之間圖像比例縮放，以及沿軸和軸將圖像平移15個(gè)像素等。通過(guò)線下數(shù)據(jù)增強(qiáng)可使數(shù)據(jù)集擴(kuò)充一倍。

根據(jù)修改后的《指南》規(guī)定，申請(qǐng)人可根據(jù)需要選擇不同類(lèi)型的權(quán)利要求撰寫(xiě)形式來(lái)尋求專(zhuān)利保護(hù)。從權(quán)利要求的主題名稱(chēng)來(lái)看，涉及硬件裝置及其改進(jìn)的發(fā)明專(zhuān)利申請(qǐng)即可以撰寫(xiě)為系統(tǒng)類(lèi)、裝置類(lèi)的產(chǎn)品權(quán)利要求，也可以依據(jù)數(shù)據(jù)流向和處理流程撰寫(xiě)為方法類(lèi)權(quán)利要求。而全部基于計(jì)算機(jī)程序的軟件類(lèi)專(zhuān)利申請(qǐng)，由于計(jì)算機(jī)程序天然具有時(shí)序性，可以很方便地撰寫(xiě)為方法類(lèi)權(quán)利要求；此外，根據(jù)修改后的《指南》規(guī)定，還允許撰寫(xiě)為硬件與軟件相結(jié)合的混合式裝置權(quán)利要求、與方法權(quán)利要求一一對(duì)應(yīng)的“程序模塊構(gòu)架”類(lèi)的裝置權(quán)利要求，以及直接以“存儲(chǔ)介質(zhì)”為主題名稱(chēng)的介質(zhì)類(lèi)權(quán)利要求。以下試以一個(gè)具體方案為例加以解釋說(shuō)明。

1.2 番茄花朵的花期分類(lèi)和姿態(tài)識(shí)別

本文基于EfficientNetV2[26]網(wǎng)絡(luò)訓(xùn)練得到花期和姿態(tài)分類(lèi)模型，用于花期分類(lèi)和花朵姿態(tài)識(shí)別，以判斷是否對(duì)目標(biāo)花朵進(jìn)行授粉。

EfficientNetV2是谷歌團(tuán)隊(duì)在2021年推出的一個(gè)新的卷積網(wǎng)絡(luò)，相比于之前的EfficientNetV1[27]網(wǎng)絡(luò)，該網(wǎng)絡(luò)具有更快的訓(xùn)練速度和更好的參數(shù)效率。為提高訓(xùn)練速度并保證準(zhǔn)確率，該網(wǎng)絡(luò)引入改進(jìn)的漸進(jìn)學(xué)習(xí)方法，同時(shí)還采用Fused-MBConv模塊，前者會(huì)根據(jù)訓(xùn)練圖片的尺寸動(dòng)態(tài)調(diào)節(jié)正則方法，后者能夠更好地利用移動(dòng)端或服務(wù)端的加速器，提高訓(xùn)練速度。為減少參數(shù)數(shù)量，EfficientNetV2采用非均勻縮放策略來(lái)縮放模型。因此，EfficientNetV2與EfficientNetV1和NFNet（Normalizer-Free ResNets）系列網(wǎng)絡(luò)相比，訓(xùn)練速度更快，并且參數(shù)數(shù)量更少。

本文通過(guò)整合番茄花朵目標(biāo)檢測(cè)算法、花期分類(lèi)算法和姿態(tài)識(shí)別算法，得到TFDC-Net算法。該算法能夠從復(fù)雜背景中檢測(cè)出番茄花朵并截取出目標(biāo)框，然后對(duì)截取的花朵依次進(jìn)行花期分類(lèi)和姿態(tài)識(shí)別。TFDC-Net算法原理如圖 3所示。

圖3 TFDC-Net算法原理

2 試驗(yàn)及結(jié)果分析

本文將TFDC-Net算法移植到自主研發(fā)的授粉機(jī)器人控制系統(tǒng)中，通過(guò)TFDC-Net算法完成對(duì)番茄花朵的目標(biāo)檢測(cè)、花期分類(lèi)和姿態(tài)識(shí)別，對(duì)處在全開(kāi)期并且姿態(tài)為前的花朵目標(biāo)進(jìn)行定位，并控制機(jī)械臂完成授粉作業(yè)。

2.1 數(shù)據(jù)收集

本文的番茄花朵數(shù)據(jù)集采集于安徽東華農(nóng)科番茄種植基地。總共采集了2 568張番茄花朵的圖片，按照8:2的比例劃分為訓(xùn)練集和測(cè)試集，訓(xùn)練集為2 054張，測(cè)試集為514張。在不重標(biāo)不漏標(biāo)的原則下，使用LabelImg標(biāo)注工具對(duì)每張圖片的目標(biāo)對(duì)象進(jìn)行標(biāo)注，將番茄花朵的目標(biāo)框作為分類(lèi)網(wǎng)絡(luò)的數(shù)據(jù)集。本文把花期分為花蕾期、全開(kāi)期、謝花期[28]3種，各篩選出789、755、248張圖片。3種不同花期的代表性番茄花朵如圖4所示。如圖5所示，將花朵的姿態(tài)按照花蕊的朝向分為前、后、左、右、下5種，各篩選出323、310、315、326、316張圖片。

圖4 3種不同花期的番茄花朵

圖5 5種不同的姿態(tài)

2.2 試驗(yàn)設(shè)置

本文網(wǎng)絡(luò)訓(xùn)練硬件環(huán)境的CPU為Intel i7 9700 K，GPU為Nvidia RTX 2080Ti，內(nèi)存為64 G，網(wǎng)絡(luò)訓(xùn)練框架選用Pytorch，并配有并行計(jì)算框架CUDA 10.02和深度學(xué)習(xí)加速計(jì)算庫(kù)CuDNN7.6.5。根據(jù)該硬件環(huán)境以及采集到的數(shù)據(jù)集圖片數(shù)量，在檢測(cè)網(wǎng)絡(luò)訓(xùn)練試驗(yàn)中將Epochs（輪數(shù)）設(shè)置為400輪，Batch-size（批次大?。┰O(shè)置為8，訓(xùn)練和測(cè)試時(shí)的圖片大小設(shè)置為640×480，并采用遷移學(xué)習(xí)的方法提高訓(xùn)練速度和模型精度；在分類(lèi)網(wǎng)絡(luò)訓(xùn)練中將Epochs設(shè)置為500輪，Batch-size設(shè)置為16，同樣采用遷移學(xué)習(xí)的方法來(lái)提高訓(xùn)練速度和模型精度。

2.3 模型性能衡量指標(biāo)

與目標(biāo)檢測(cè)模型有所不同，對(duì)于分類(lèi)網(wǎng)絡(luò)模型，主要采用準(zhǔn)確率和模型大小來(lái)評(píng)估模型的性能。

2.4 消融試驗(yàn)

本文通過(guò)消融試驗(yàn)來(lái)對(duì)比不同改進(jìn)模型的性能，結(jié)果如表2所示。A_YOLOv5s模型相較于YOLOv5s模型，其準(zhǔn)確率和mAP0.5-0.95有所提高，分別達(dá)到了0.937和0.588；W_YOLOv5s模型相較于YOLOv5s模型其mAP0.5-0.95提高了0.012；CW_YOLOv5s模型相較于YOLOv5s模型其值提高了0.017，mAP0.5-0.95提高了0.043。在網(wǎng)絡(luò)改進(jìn)的基礎(chǔ)上再進(jìn)行數(shù)據(jù)增強(qiáng)訓(xùn)練得到ACW_YOLOv5s模型，該模型相比于原網(wǎng)絡(luò)模型YOLOv5s各指標(biāo)都有提升，值、值、mAP0.5和mAP0.5-0.95分別提高了0.028、0.004、0.012、0.066。此外，各模型大小差別不大，均在14～15 MB之間?？傮w來(lái)說(shuō)，網(wǎng)絡(luò)改進(jìn)以及數(shù)據(jù)增強(qiáng)均使值有一定程度的提高，平均精度均值也有不同程度的提升，但值總體變化不大。在不同改進(jìn)模型中，ACW_YOLOv5s模型性能最優(yōu)。

2.5 目標(biāo)檢測(cè)模型性能對(duì)比試驗(yàn)

為進(jìn)一步驗(yàn)證ACW-YOLOv5s模型對(duì)番茄花朵的實(shí)際檢測(cè)性能，本文采用該模型與原YOLOv5s模型對(duì)目標(biāo)被部分遮擋、存在小目標(biāo)、目標(biāo)數(shù)量較多這3種不同復(fù)雜情況下的花朵進(jìn)行識(shí)別對(duì)比，識(shí)別效果如圖6所示。YOLOv5s模型存在遠(yuǎn)處的小目標(biāo)及被遮擋的目標(biāo)漏檢的情況，并存在重疊目標(biāo)誤檢的問(wèn)題，而本文的ACW-YOLOv5s模型都能準(zhǔn)確檢測(cè)出花朵目標(biāo)。另外，隨機(jī)選取8張未經(jīng)過(guò)網(wǎng)絡(luò)訓(xùn)練的圖片對(duì)模型進(jìn)行測(cè)試，兩個(gè)模型的實(shí)際檢測(cè)性能比較如表3所示。8張測(cè)試圖片中共計(jì)38個(gè)花朵目標(biāo)，YOLOv5s模型正確檢測(cè)出31個(gè)，漏檢數(shù)為7個(gè)，而ACW-YOLOv5s模型將全部38個(gè)目標(biāo)正確檢測(cè)出來(lái)。

表2 消融試驗(yàn)結(jié)果

注：A表示使用了線下數(shù)據(jù)增強(qiáng)，C表示增加了CMBA模塊，W表示采用了WBF方法。

Note: A indicates adoption of offline data enhancement, C indicates addition of the CMBA module，W indicates application of the WBF method.

圖6 復(fù)雜情況下模型識(shí)別效果圖

表3 目標(biāo)檢測(cè)模型性能比較

2.6 分類(lèi)模型訓(xùn)練及測(cè)試結(jié)果

花期分類(lèi)網(wǎng)絡(luò)訓(xùn)練的第308輪得到的模型精度最高，達(dá)到了94.5%，模型大小為79.69 MB；姿態(tài)分類(lèi)網(wǎng)絡(luò)訓(xùn)練的第467輪得到的模型精度最高，達(dá)到了86.9%，模型大小為79.70 MB。

為進(jìn)一步測(cè)試花期分類(lèi)模型的性能，選取了共300張未經(jīng)網(wǎng)絡(luò)訓(xùn)練的不同花期花朵圖片進(jìn)行測(cè)試，其中花蕾期、全開(kāi)期、謝花期分別為100張。測(cè)試結(jié)果如表4所示。由表4可知，花蕾期、全開(kāi)期、謝花期測(cè)試圖片的正確識(shí)別數(shù)分別為95、99、97，識(shí)別準(zhǔn)確率分別為95.0%、99.0%、97.0%?；ㄆ诜诸?lèi)模型對(duì)3種花期測(cè)試圖片的識(shí)別準(zhǔn)確率均為95.0%以上，處于全開(kāi)期的花朵識(shí)別準(zhǔn)確率最高，達(dá)到了99.0%。300張測(cè)試圖片的總體識(shí)別準(zhǔn)確率為97.0%，說(shuō)明花期分類(lèi)模型具有較高的準(zhǔn)確度。

為測(cè)試姿態(tài)分類(lèi)模型的性能，選取了200張未經(jīng)網(wǎng)絡(luò)訓(xùn)練的不同姿態(tài)花朵圖片進(jìn)行了測(cè)試，5種不同姿態(tài)花朵圖片各40張。測(cè)試結(jié)果如表4所示。其中花蕊向前、向后、向下、向左、向右的測(cè)試圖片的正確識(shí)別數(shù)分別為39、38、33、34、37，識(shí)別準(zhǔn)確率分別為97.5%、95.0%、82.5%、85.0%、92.5%。姿態(tài)分類(lèi)模型對(duì)花蕊朝向?yàn)榍?、后、右的測(cè)試圖片識(shí)別效果較好，這3種姿態(tài)測(cè)試圖片的平均識(shí)別準(zhǔn)確率為95.0%；而對(duì)于花蕊朝向?yàn)橄潞妥蟮臏y(cè)試圖片，該模型的平均識(shí)別準(zhǔn)確率為83.8%，仍有待提高。這200張姿態(tài)測(cè)試圖片的總體識(shí)別準(zhǔn)確率為90.5%。

表4 花期與姿態(tài)分類(lèi)模型測(cè)試結(jié)果

通過(guò)測(cè)試結(jié)果可知，花期分類(lèi)模型和姿態(tài)分類(lèi)模型有較好的分類(lèi)效果，模型的測(cè)試準(zhǔn)確率較高，可用于機(jī)器人在授粉作業(yè)時(shí)對(duì)花期和姿態(tài)的識(shí)別和判斷。圖7給出了一組對(duì)番茄花朵的姿態(tài)及花期的分類(lèi)識(shí)別測(cè)試結(jié)果，其中姿態(tài)測(cè)試圖片的分類(lèi)結(jié)果為下（down），置信度為0.852；花期測(cè)試圖片的分類(lèi)結(jié)果為謝花期，置信度為0.908。

2.7 授粉試驗(yàn)

授粉試驗(yàn)的硬件平臺(tái)為一臺(tái)自主研發(fā)的授粉機(jī)器人，主要由智能移動(dòng)底盤(pán)、升降臺(tái)、六自由度機(jī)械臂、用于接觸式授粉的末端執(zhí)行器、Intel Realsense D435深度相機(jī)等部件組成。其中，深度相機(jī)不僅用于檢測(cè)番茄花朵目標(biāo)并獲取其花期和姿態(tài)信息，還用于對(duì)番茄花朵進(jìn)行空間定位，即獲得目標(biāo)在機(jī)械臂底座坐標(biāo)系下的真實(shí)三維坐標(biāo)，并把坐標(biāo)信息反饋給機(jī)械臂進(jìn)行授粉。在不考慮相機(jī)畸變的情況下，真實(shí)坐標(biāo)是由目標(biāo)框中心點(diǎn)的像素坐標(biāo)及深度信息、相機(jī)的內(nèi)參矩陣以及剛體變換的外參矩陣經(jīng)過(guò)坐標(biāo)變換得到的。坐標(biāo)變換如式（12）所示，是目標(biāo)中心像素點(diǎn)的深度，(,)是像素坐標(biāo)，f、f、C、C為相機(jī)內(nèi)參，f、f分別為相機(jī)方向和方向的焦距，C，C分別為相機(jī)方向和方向上的偏移量，、為剛體變換外參矩陣，其中為旋轉(zhuǎn)矩陣，為平移矩陣，(X,Y,Z)是真實(shí)坐標(biāo)。

注：橫縱坐標(biāo)軸為像素；class代表分類(lèi)結(jié)果；prob代表置信度得分。

本文通過(guò)張正友相機(jī)標(biāo)定方法[29]得到相機(jī)的內(nèi)參矩陣，通過(guò)觀察和測(cè)量相機(jī)坐標(biāo)系與機(jī)械臂底座坐標(biāo)系的相對(duì)位置得到外參矩陣。內(nèi)參標(biāo)定結(jié)果如表5所示；外參標(biāo)定結(jié)果如式（13）所示。

表5 相機(jī)內(nèi)參

將本文提出的集目標(biāo)檢測(cè)、花期分類(lèi)、姿態(tài)識(shí)別算法于一體的TFDC-Net模型移植到上述授粉機(jī)器人控制系統(tǒng)，在模擬植物工廠條件下，對(duì)正處于開(kāi)花期的番茄花朵進(jìn)行授粉試驗(yàn)。圖8是機(jī)器人進(jìn)行授粉作業(yè)時(shí)的情形。首先，通過(guò)安裝在機(jī)械臂上的深度相機(jī)，尋找并檢測(cè)出視野內(nèi)的番茄花朵；與此同時(shí)，對(duì)花期和花朵姿態(tài)進(jìn)行識(shí)別，對(duì)處于全開(kāi)期并且其姿態(tài)符合授粉條件的花朵，計(jì)算出其空間位置。隨后，利用機(jī)械臂攜帶的末端執(zhí)行器蘸取花粉，對(duì)花朵內(nèi)的花蕊進(jìn)行接觸式授粉。在多達(dá)100次的重復(fù)性試驗(yàn)中，末端執(zhí)行器均能與花蕊準(zhǔn)確接觸，驗(yàn)證了本文提出的TFDC-Net模型的有效性。

3 結(jié) 論

針對(duì)植物工廠中對(duì)番茄花朵授粉作業(yè)的自動(dòng)化和智能化需求，為克服當(dāng)前機(jī)器人在授粉作業(yè)過(guò)程中因番茄花朵小、姿態(tài)朝向各異而導(dǎo)致的檢測(cè)精度不高和授粉策略不完善等難題，本文提出了TFDC-Net（Tomato Flower Detection and Classification Network）算法，實(shí)現(xiàn)了對(duì)番茄花朵的目標(biāo)檢測(cè)、花期分類(lèi)及姿態(tài)識(shí)別。具體如下：

1）針對(duì)花朵的單目標(biāo)檢測(cè)，本文提出了一種改進(jìn)的YOLOv5s網(wǎng)絡(luò)模型ACW_YOLOv5s，通過(guò)在YOLOv5s網(wǎng)絡(luò)中添加卷積塊注意力模塊（Convolutional Block Attention Module，CBAM）并采用加權(quán)框融合（Weighted Boxes Fusion，WBF）方法，使模型的準(zhǔn)確率達(dá)到0.957，召回率達(dá)到0.942，mAP0.5為0.968，mAP0.5-0.95為0.620，各項(xiàng)指標(biāo)相較于原YOLOv5s網(wǎng)絡(luò)模型分別提高了0.028、0.004、0.012、0.066，并改善了目標(biāo)漏檢和誤檢的狀況。

2）針對(duì)不同花期的花朵以及花蕊不同姿態(tài)朝向的授粉問(wèn)題，采用EfficientNetV2分類(lèi)網(wǎng)絡(luò)分別對(duì)3種不同花期和5種不同花蕊姿態(tài)朝向的花朵進(jìn)行訓(xùn)練，分別得到花期分類(lèi)模型及姿態(tài)識(shí)別模型，通過(guò)選取300張花期圖片和200張姿態(tài)圖片對(duì)其進(jìn)行測(cè)試，花期分類(lèi)模型和姿態(tài)分類(lèi)模型的總體準(zhǔn)確率分別為97.0%和90.5%。

3）將目標(biāo)檢測(cè)算法與花期分類(lèi)和姿態(tài)識(shí)別算法進(jìn)行整合，得到TFDC-Net算法。將其移植到自主研發(fā)的授粉機(jī)器人中進(jìn)行試驗(yàn)驗(yàn)證，結(jié)果表明，該算法能夠?qū)崿F(xiàn)對(duì)番茄花朵的目標(biāo)檢測(cè)、花期分類(lèi)和姿態(tài)識(shí)別，進(jìn)而利用機(jī)器人機(jī)械臂末端的執(zhí)行器對(duì)番茄花朵中的花蕊完成了接觸式授粉操作，驗(yàn)證了該算法的有效性。

[1] 王景盛，劉巧英，趙平珊. 日光溫室冬春茬番茄振動(dòng)器授粉效果研究[J]. 蔬菜，2016(4)：21-23.

Wang Jingsheng, Liu Qiaoying, Zhao Pingshan. Pollination effect of tomato vibrator in winter and spring crop in solar greenhouse[J]. Vegetable Science, 2016(4): 21-23. (in Chinese with English abstract)

[2] 孫艷軍，徐剛，高文瑞，等. 不同授粉方式對(duì)日光溫室番茄產(chǎn)量、品質(zhì)及效益的影響[J]. 中國(guó)蔬菜，2017(6)：38-41.

Sun Yanjun, Xu Gang, Gao Wenrui, et al. Effects of different pollination methods on yield, quality and efficiency of tomato in solar greenhouse[J]. China Vegetables, 2017(6): 38-41. (in Chinese with English abstract)

[3] Mao S H, Li Y H, Ma Y, et al. Automatic cucumber recognition algorithm for harvesting robots in the natural environment using deep learning and multi-feature fusion[J]. Computers and Electronics in Agriculture, 2020(170): 105254.

[4] 王新忠，韓旭，毛罕平. 基于吊蔓繩的溫室番茄主莖稈視覺(jué)識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2012，28(21)：135-141.

Wang Xinzhong, Han Xu, Mao Hanping. Vision-based detection of tomato main stem in greenhouse with red rope[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(21): 135-141. (in Chinese with English abstract)

[5] 崔明，陳仕雄，李民濤. 基于圖像處理的草莓花朵識(shí)別算法研究[J]. 數(shù)字技術(shù)與應(yīng)用，2019，37(12)：109-111.

Cui Ming, Chen Shixiong, Li Mintao. Research on strawberry flower recognition algorithm based on image proc-essing[J]. Digital Technology and Application, 2019, 37(12): 109-111. (in Chinese with English abstract)

[6] Jason G, Yong-Lak P, Xin L, et al. Design of an Autonomous Precision Pollination Robot[C]. 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2018), Madrid(ES), 2018: 7711-7718.

[7] 張凡，張鵬超，王磊，等. 基于YOLOv5s的輕量化朱鹮檢測(cè)算法研究[J]. 西安交通大學(xué)學(xué)報(bào)，2023(1)：1-12.

Zhang Fan, Zhang Pengchao, Wang Lei, et al. Research on lightweight ibis detection algorithm based on YOLOv5s[J]. Journal of Xi'an Jiaotong University, 2023(1): 1-12. (in Chinese with English abstract)

[8] 樊湘鵬，許燕，周建平，等. 基于遷移學(xué)習(xí)和改進(jìn) CNN的葡萄葉部病害檢測(cè)系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(6)：151-159.

Fan Xiangpeng, Xu Yan, Zhou Jianping, et al. Detection system for grape leaf diseases based on transfer learning and updated CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(6): 151-159. (in Chinese with English abstract)

[9] 林景棟，吳欣怡，柴毅，等. 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化綜述[J].自動(dòng)化學(xué)報(bào)，2020，46(1)：24-37.

Lin Jingdong, Wu Xinyi, Chai Yi, et al. Structure optimization of convolutional neural networks: A survey[J]. Acta Automatica Sinica, 2020, 46(1): 24-37. (in Chinese with English abstract)

[10] Williams H, Nejati M, Hussein S, et al. Autonomous pollination of individual kiwifruit flowers: Toward a robotic kiwifruit pollinator[J]. Journal of Field Robotics. 2020, 37: 246–262.

[11] Dias P A, Tabb A, Medeiros H. Apple flower detection using deep convolutional networks[J]. Computers in Industry, 2018, 99:17-28.

[12] Tian M, Chen H, Wang Q. Detection and recognition of flower image based on SSD network in video stream[J]. Journal of Physics Conference Series, 2019, 1237: 32-45.

[13] Yuan T, Zhang S, Sheng X, et al. An autonomous pollination robot for hormone treatment of tomato flower in greenhouse[C]. 2016 3rd International Conference on Systems and Informatics (ICSAI). Shanghai, China, 2016: 108-113.

[14] 岑海燕，朱月明，孫大偉，等. 深度學(xué)習(xí)在植物表型研究中的應(yīng)用現(xiàn)狀與展望[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(9)：1-16.

Cen Haiyan, Zhu Mingyue, Sun Dawei, et al. Current status and future perspective of the application of deep learning in plant phenotype research[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(9): 1-16. (in Chinese with English abstract)

[15] 高明華，楊璨. 基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的交通目標(biāo)檢測(cè)方法[J]. 吉林大學(xué)學(xué)報(bào)（工學(xué)版），2021，45(5)：1-9.

Gao Minghua, Yang Can. Traffic target detection method based on improved convolutional neural network[J]. Journal of Jilin University (Engineering and Technology Edition), 2021, 45(5): 1-9. (in Chinese with English abstract)

[16] Zhu L, Geng X, Li Z, et al. Improving YOLOv5 with attention mechanism for detecting boulders from planetary images[J]. Remote Sensing, 2021, 13(18): 152-161.

[17] 高云鵬. 基于深度神經(jīng)網(wǎng)絡(luò)的大田小麥麥穗檢測(cè)方法研究[D]. 北京：北京林業(yè)大學(xué)，2019：1-68.

Gao Yunpeng. Research on Wheat Ear Detection Method Based on Deep Neural Network in Field[D]. Beijing: Beijing Forestry University, 2013: 1-68. (in Chinese with English abstract)

[18] 馬永康，劉華，凌成星，等. 基于改進(jìn)YOLOv5的紅樹(shù)林單木目標(biāo)檢測(cè)研究[J]. 激光與光電子學(xué)進(jìn)展，2022，59(18)：436-446.

Ma Yongkang, Liu Hua, Ling Chengxing, et al. Research on mangrove single wood target detection based on improved YOLOv5[J]. Laser and Optoelectronics Progress, 2022, 59(18): 436-446. (in Chinese with English abstract)

[19] He K, Zhang X, Ren S, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916.

[20] Lin T Y, Dollár P, Girshick R, et al. Feature pyramid networks for object detection[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 2017: 936-944.

[21] 楊其晟，李文寬，楊曉峰，等. 改進(jìn)YOLOv5的蘋(píng)果花生長(zhǎng)狀態(tài)檢測(cè)方法[J]. 計(jì)算機(jī)工程與應(yīng)用，2022，58(4)：237-246.

Yang Qisheng, Li Wenkuan, Yang Xiaofeng, et al. Improved YOLOv5 method for apple blossom Growth state detection[J]. Computer Engineering and Application, 2022, 58(4): 237-246. (in Chinese with English abstract)

[22] Woo S, Park J, Lee J Y, et al. CBAM: Convolutional Block Attention Module[C]. Proceedings of the 2018 European Conference on Computer Vision, 2018: 3-19.

[23] Roman S, Weimin W, Tatiana G. Weighted boxes fusion: Ensembling boxes from different obj-ect detection models[J]. Image and Vision Computing, 2021(107): 104117.

[24] 張連超，喬瑞萍，黨祺瑋，等. 具有全局特征的空間注意力機(jī)制[J]. 西安交通大學(xué)學(xué)報(bào)，2020，54(11)：129-138.

Zhang Lianchao, Qiao Ruiping, Dang Qiwei, et al. Spatial attention mechanism wi-th global features[J]. Journal of Xi'an Jiaotong University, 2020, 54(11): 129-138. (in Chinese with English abstract)

[25] Neubeck A, van Gool L. Efficient non-maximum suppressi-on[C]. 18th Intern-ational Conference on Pattern Reco-gnition (ICPR'06). Hong Kong: IEEE, 2006, 3: 850-855.

[26] Tan M X. Quoc V. L. EfficientNetV2: Smaller Models and Faster Training[C]. Proceedings of the 38th International Conference on Machine Learning, PMLR, 2021:10096-10106.

[27] Tan M X, Quoc V L. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks[C]. Proceedings of the 36 th International Conference on Machine Learning, Long Beach, California, PMLR, 2019,1905:11946.

[28] 趙春江，文朝武，林森，等. 基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的番茄花期識(shí)別檢測(cè)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(24)：143-152.

Zhao Chunjiang, Wen Chaowu, Lin Sen, et al. Identification and detection method of tomato flowering period based on cascade convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(24): 143-152. (in Chinese with English abstract)

[29] Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

Deep learning-based target recognition and detection for tomato pollination robots

Yu Xianhai1, Kong Deyi2,3※, Xie Xiaoxuan2,3, Wang Qiong2,3, Bai Xianwei2,3

(1.,,230601,;2.,()230031,; 3.,,230009,)

Intelligent pollination of tomatoes has been widely used in plant factories in modern agriculture in recent years. However, the low detection accuracy cannot fully meet the needs of large-scale production during robotic pollination. The imperfect pollination strategies can also be caused by the small flowers and different posture orientations in the pollination robots. In this study, tomato flower detection and classification were proposed to combine target detection, flowering classification, and posture recognition using deep learning. According to the characteristics of tomato flowers, the tomato flower detection and classification network (TFDC-Net) were also divided into two parts: The target detection of tomato flowers, and the flowering pose classification of flowers. In flower detection, the YOLOv5s network was selected to improve the target detection accuracy. Two improvements were proposed for the network structure: firstly, a Convolutional Block Attention Module (CBAM) was added to enhance the effective features but suppress the invalid ones, and secondly, a Weighted Boxes Fusion (WBF) approach was adopted to fully use the prediction information. The network was then trained using offline data augmentation to obtain the ACW_YOLOv5s model, indicating an accuracy of 0.957, a recall of 0.942, a mAP0.5of 0.968, and a mAP0.5-0.95of 0.620, with each index improving by 0.028, 0.004, 0.012, and 0.066, respectively, compared with the original. The actual detection performance of the model was verified for the tomato flowers. The original YOLOv5s model was selected to compare with the recognition of flowers under different complex situations. The tests show that the ACW_YOLOv5s model was used to better treat the missed detection of small distant targets, obscured targets, and false detection of overlapping targets that exist in the original YOLOv5s. At the same time, the better pollination of flowers was realized under the various flowering stages and different stamen orientations. EfficientNetV2 classification network was used to train three flowering stages and five postures of flowers, in order to obtain the flowering stage classification model and posture recognition model, respectively, indicating accuracy of 94.5%, and 86.9%, respectively. Furthermore, 300 flowering and 200 gesture images were selected to further validate the performance of the classification model. The overall accuracies were 97.0%, and 90.5%, respectively, for the flowering and gesture classification models. The TFDC-Net was obtained to integrate the ACW_YOLOv5s target detection, the flowering, and the posture classification model. As such, the detection of tomato flowers and the classification of flowering pose fully met the vision requirements of pollination robots. The TFDC-Net was also applied to the self-developed pollinator robot. It was found that the TFDC-Net was used to implement the target detection, flowering classification, and pose recognition of flowers. The target was then localized using coordinate conversion. The true 3D coordinates of the target were obtained in the coordinate system of robot arms. The feedback was received in the robot arm for the pollination of the target in full bloom with a front attitude. This finding can provide a technical basis for the target detection and localization of pollination robots.

deep learning; neural networks; target detection; flower classification; gesture recognition; pollination robot

10.11975/j.issn.1002-6819.2022.24.014

TP391.4

A

1002-6819(2022)-24-0129-09

余賢海，孔德義，謝曉軒，等. 基于深度學(xué)習(xí)的番茄授粉機(jī)器人目標(biāo)識(shí)別與檢測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(24)：129-137.doi：10.11975/j.issn.1002-6819.2022.24.014 http://www.tcsae.org

Yu Xianhai, Kong Deyi, Xie Xiaoxuan, et al. Deep learning-based target recognition and detection for tomato pollination robots[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(24): 129-137. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.24.014 http://www.tcsae.org

2022-10-10

2022-12-13

安徽省科技重大專(zhuān)項(xiàng)資助（202203a06020002）

余賢海，研究方向?yàn)闄C(jī)器視覺(jué)與圖像處理。Email：1399310012@qq.com

孔德義，博士，研究員，研究方向?yàn)檗r(nóng)業(yè)機(jī)器人、仿生機(jī)器人等。Email：kongdy@iim.ac.cn