李志軍 楊圣慧 史德帥 劉星星 鄭永軍

摘要：果樹測(cè)產(chǎn)是果園管理的重要環(huán)節(jié)之一，為提升蘋果果園原位測(cè)產(chǎn)的準(zhǔn)確性，本研究提出一種包含改進(jìn)型YOLOv5果實(shí)檢測(cè)算法與產(chǎn)量擬合網(wǎng)絡(luò)的產(chǎn)量測(cè)定方法。利用無(wú)人機(jī)及樹莓派攝像頭采集摘袋后不同著色時(shí)間的蘋果果園原位圖像，形成樣本數(shù)據(jù)集;通過(guò)更換深度可分離卷積和添加注意力機(jī)制模塊對(duì)YOLOv5算法進(jìn)行改進(jìn)，解決網(wǎng)絡(luò)中存在的特征提取時(shí)無(wú)注意力偏好問(wèn)題和參數(shù)冗余問(wèn)題，從而提升檢測(cè)準(zhǔn)確度，降低網(wǎng)絡(luò)參數(shù)帶來(lái)的計(jì)算負(fù)擔(dān);將圖片作為輸入得到估測(cè)果實(shí)數(shù)量以及邊界框面總積。以上述檢測(cè)結(jié)果作為輸入、實(shí)際產(chǎn)量作為輸出，訓(xùn)練產(chǎn)量擬合網(wǎng)絡(luò)，得到最終測(cè)產(chǎn)模型。測(cè)產(chǎn)試驗(yàn)結(jié)果表明，改進(jìn)型YOLOv5果實(shí)檢測(cè)算法可以在提高輕量化程度的同時(shí)提升識(shí)別準(zhǔn)確率，與改進(jìn)前相比，檢測(cè)速度最大可提升15.37%，平均mAP最高達(dá)到96.79%;在不同數(shù)據(jù)集下的測(cè)試結(jié)果表明，光照條件、著色時(shí)間以及背景有無(wú)白布均對(duì)算法準(zhǔn)確率有一定影響;產(chǎn)量擬合網(wǎng)絡(luò)可以較好地預(yù)測(cè)出果樹產(chǎn)量，在訓(xùn)練集和測(cè)試集的決定系數(shù)R分別為0.7967和0.7982，均方根誤差RMSE分別為1.5317和1.4021 kg，不同產(chǎn)量樣本的預(yù)測(cè)精度基本穩(wěn)定;果樹測(cè)產(chǎn)模型在背景有白布和無(wú)白布的條件下，相對(duì)誤差范圍分別在7%以內(nèi)和13%以內(nèi)。本研究提出的基于輕量化改進(jìn)YOLOv5的果樹產(chǎn)量測(cè)定方法具有良好的精度和有效性，基本可以滿足自然環(huán)境下樹上蘋果的測(cè)產(chǎn)要求，為現(xiàn)代果園環(huán)境下的智能農(nóng)業(yè)裝備提供技術(shù)參考。

關(guān)鍵詞：蘋果原位測(cè)產(chǎn);深度學(xué)習(xí);果實(shí)檢測(cè);BP神經(jīng)網(wǎng)絡(luò);YOLOv5

中圖分類號(hào)：S252+.9文獻(xiàn)標(biāo)志碼：A文章編號(hào)：202105-SA005

引用格式：李志軍，楊圣慧，史德帥，劉星星，鄭永軍.基于輕量化改進(jìn)YOLOv5的蘋果樹產(chǎn)量測(cè)定方法[J].智慧農(nóng)業(yè)（中英文），2021，3（2）： 100-114.

LI Zhijun， YANG Shenghui， SHI Deshuai， LIU Xingxing， ZHENG Yongjun. Yield estimation method of apple tree based on improved lightweight YOLOv5[J]. Smart Agriculture， 2021， 3（2）： 100-114. （in Chinese with English abstract）

1引言

果樹產(chǎn)量測(cè)定不但可以幫助果農(nóng)掌握果樹的生長(zhǎng)情況、估算果園的整體產(chǎn)值，而且可以為合理安排收獲提供定量依據(jù)[1]。傳統(tǒng)的果樹測(cè)產(chǎn)方法主要依靠人工目測(cè)清點(diǎn)，不僅對(duì)測(cè)產(chǎn)人員的經(jīng)驗(yàn)有較高要求，而且勞動(dòng)強(qiáng)度大、精度較低[2]。

為實(shí)現(xiàn)蘋果測(cè)產(chǎn)流程的自動(dòng)化，學(xué)者開始利用機(jī)器視覺(jué)等技術(shù)進(jìn)行相關(guān)研究，主要集中在利用該技術(shù)從果樹圖像提取出果實(shí)個(gè)數(shù)等信息[3-5]，而基于圖像信息估測(cè)果樹產(chǎn)量的研究仍需進(jìn)一步深入。程洪等[6]提出將果實(shí)區(qū)域比例、果實(shí)個(gè)數(shù)比、小面積果實(shí)比例、果實(shí)樹葉比等作為特征輸入，建立神經(jīng)網(wǎng)絡(luò)的方法擬合果樹產(chǎn)量。

Crtomir等[7]從果樹撿果結(jié)束到果實(shí)收獲期內(nèi)，采集“Golden Delicious”和“Braebum”兩種蘋果樹圖像數(shù)據(jù)，以果實(shí)個(gè)數(shù)為輸入，產(chǎn)量為輸出構(gòu)建人工神經(jīng)網(wǎng)絡(luò)進(jìn)行模型的訓(xùn)練和測(cè)試。該方法需要進(jìn)行多組數(shù)據(jù)的采集，因此僅適用于接近或已經(jīng)位于成熟期的蘋果果樹測(cè)產(chǎn)。Roy等[8]提出了一種基于顏色識(shí)別蘋果的半監(jiān)督聚類方法，以及一種利用空間屬性從具有任意復(fù)雜幾何形狀的蘋果簇中估計(jì)數(shù)量的無(wú)監(jiān)督聚類方法，將其集成為一個(gè)完整的端到端計(jì)算機(jī)視覺(jué)系統(tǒng)，使用單個(gè)攝像機(jī)捕獲的圖像作為輸入，輸出果園的預(yù)測(cè)產(chǎn)量，在不同數(shù)據(jù)集上的準(zhǔn)確度為91.98%～94.81%。

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法可以快速檢測(cè)出目標(biāo)數(shù)量，其主要分為兩類，一類是以YOLO（You Only Look Once）系列[9-12]和SSD（Single Shot MultiBox Detector）系列[13-15]為代表的一階段檢測(cè)算法，該類算法具有較快的檢測(cè)速度，但是精度相對(duì)偏低;另一類是以區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Region-CNN，R-CNN）系列[16-18]為代表的二階段檢測(cè)算法，其檢測(cè)精度較高，缺點(diǎn)是實(shí)時(shí)性差。YOLOv5憑借其較快的檢測(cè)速度以及良好的檢測(cè)精度得到了研究人員的青睞[19，20]。具體來(lái)看，YOLOv5在數(shù)據(jù)的輸入端增加了Mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算、自適應(yīng)圖片縮放等操作;特征提取網(wǎng)絡(luò)為基于CSPNet[21]的CSPDarknet53，可以在一定范圍內(nèi)降低內(nèi)存損耗;處理輸出部分采用FPN[22]和PANet[23]結(jié)構(gòu)，可以加快各層級(jí)之間的信息流通。

本研究以自然環(huán)境下的蘋果為研究對(duì)象，通過(guò)對(duì)YOLOv5檢測(cè)算法進(jìn)行輕量化改進(jìn)，考慮摘袋后不同著色時(shí)間、不同光照條件以及背景有無(wú)白布對(duì)結(jié)果的影響進(jìn)行數(shù)據(jù)分析;融合產(chǎn)量擬合網(wǎng)絡(luò)，建立蘋果樹測(cè)產(chǎn)模型，將圖像數(shù)據(jù)作為輸入，估測(cè)蘋果樹產(chǎn)量，為果實(shí)收獲期合理安排采摘人員提供參考，為現(xiàn)代果園環(huán)境下的智能農(nóng)業(yè)裝備提供技術(shù)參考。

2數(shù)據(jù)采集與處理

2.1圖像數(shù)據(jù)采集

原位圖像在山東省煙臺(tái)市棲霞市官道鎮(zhèn)姚莊村山東通達(dá)現(xiàn)代農(nóng)業(yè)集團(tuán)有限公司果園基地（北緯37°16′，東經(jīng)120°64′）采集，蘋果品種為“煙富3號(hào)”，摘袋后著色16～22d采摘果實(shí)。采集設(shè)備為自制的四旋翼無(wú)人機(jī)（圖1），搭載樹莓派4B作為圖像采集與存儲(chǔ)核心，其CPU為Cortex-A72@1.5GHz，GPU為Broadcom VideoCore VI，運(yùn)行內(nèi)存8GB，存儲(chǔ)容量128G。攝像頭（Raspberry Pi Camera V2），像素為500萬(wàn)，采集頻率為30Hz，影像最大光圈為F2.35，焦距為3.15 mm，視場(chǎng)角為65°。

為降低其他果樹產(chǎn)生的干擾，采用長(zhǎng)4m、高3m的白色幕布為背景，跟隨無(wú)人機(jī)移動(dòng)（如圖1（c）所示）。圖像采集時(shí)無(wú)人機(jī)飛行高度為1.5 m，距離果樹1.2 m，在晴天時(shí)采集順光、側(cè)光、逆光三個(gè)角度的有白色背景與自然條件圖像，作為測(cè)產(chǎn)模型的訓(xùn)練及在自然環(huán)境下的應(yīng)用效果驗(yàn)證。

著色1d的蘋果顏色呈現(xiàn)青綠色，與果樹葉片顏色較為接近;8d時(shí)開始上色，顏色呈現(xiàn)淡紅色;著色15d即可完全上色。不同著色時(shí)間的數(shù)據(jù)，便于對(duì)本研究提出的果實(shí)檢測(cè)算法進(jìn)行泛化能力測(cè)試。圖像采集日期為2020年10月3日至17日，每隔7 d采集一次圖像，采集時(shí)間為上午10點(diǎn)至下午4點(diǎn)，共采集到蘋果著色1d、著色8d、著色15 d的三組數(shù)據(jù)，在果實(shí)著色16d時(shí)采集果樹產(chǎn)量數(shù)據(jù)（圖2）。

2.2圖像數(shù)據(jù)預(yù)處理

2.2.1數(shù)據(jù)清洗

為降低重復(fù)圖片數(shù)量以及無(wú)果實(shí)圖片對(duì)模型訓(xùn)練的干擾，使用人工篩選的方法對(duì)采集圖像進(jìn)行數(shù)據(jù)清洗，即刪除因無(wú)人機(jī)懸停造成的重復(fù)圖片以及無(wú)人機(jī)姿態(tài)調(diào)整過(guò)程中不含蘋果的圖片。數(shù)據(jù)清洗后，著色1d、8d和15d部分?jǐn)?shù)據(jù)如圖3所示。利用不同著色時(shí)間采集的不同光照條件數(shù)據(jù)，分析不同著色時(shí)間以及不同光照條件數(shù)據(jù)對(duì)檢測(cè)算法的影響。圖像數(shù)據(jù)包含果樹整體圖像以及局部圖像，檢測(cè)算法在工作過(guò)程中只迭代訓(xùn)練標(biāo)注過(guò)的果實(shí)區(qū)域。本研究無(wú)人機(jī)拍攝的整體圖像與局部圖像果實(shí)區(qū)域大小相近、分布相似，故將整體與局部圖像作為訓(xùn)練數(shù)據(jù)可以使算法在不損失檢測(cè)準(zhǔn)確率的同時(shí)提高其泛化能力。

利用不同時(shí)間點(diǎn)采集的背景無(wú)白布數(shù)據(jù)，與背景有白布數(shù)據(jù)進(jìn)行對(duì)比分析，驗(yàn)證本研究提出檢測(cè)算法的實(shí)際應(yīng)用效果，背景無(wú)白布下不同時(shí)間點(diǎn)采集的部分蘋果圖片如圖4所示。

2.2.2數(shù)據(jù)集劃分與標(biāo)注

數(shù)據(jù)清洗后，著色1d、8d和15d數(shù)據(jù)各保留1000張。從背景有白布數(shù)據(jù)中隨機(jī)挑選300張圖片作為測(cè)試集1，并將測(cè)試集1分為順光、側(cè)光和逆光三個(gè)子集，每個(gè)子集包含100張圖片;從背景無(wú)白布數(shù)據(jù)中挑選300張作為測(cè)試集2，不分光照條件子集;剩下的圖片均作為訓(xùn)練集數(shù)據(jù)。

采用人工劃分方法，在labelling軟件中對(duì)目標(biāo)果實(shí)進(jìn)行框選，包含目標(biāo)框的位置坐標(biāo)、類別等信息，標(biāo)注結(jié)果如圖5（第104頁(yè)）所示。

標(biāo)注完成后，將樣本數(shù)據(jù)集制作成標(biāo)準(zhǔn)PASCAL. VOC2012格式的數(shù)據(jù)集，圖片及目標(biāo)框數(shù)量如表1所示。

2.3產(chǎn)量數(shù)據(jù)采集

產(chǎn)量數(shù)據(jù)于2020年10月18日9：00—17：00采集，此時(shí)蘋果著色16 d。采集時(shí)對(duì)單株果樹進(jìn)行編號(hào)，在每株果樹收獲前，使用無(wú)人機(jī)拍攝當(dāng)前果樹圖像;收獲后，將單株果實(shí)放置在同一個(gè)框中，使用電子秤對(duì)蘋果進(jìn)行稱重，去掉框的重量即可得到單株果樹產(chǎn)量。得到數(shù)據(jù)共93組，每組數(shù)據(jù)包含果樹圖像以及相應(yīng)產(chǎn)量，其中60組用于產(chǎn)量擬合網(wǎng)絡(luò)訓(xùn)練，13組用于產(chǎn)量擬合網(wǎng)絡(luò)測(cè)試，10組用于背景有白布的測(cè)產(chǎn)模型驗(yàn)證，10組用于背景無(wú)白布的測(cè)產(chǎn)模型驗(yàn)證。將不同產(chǎn)量數(shù)據(jù)集數(shù)據(jù)繪制成散點(diǎn)圖，如圖6所示。果實(shí)數(shù)量與果樹產(chǎn)量之間呈現(xiàn)一定的線性相關(guān)性，并且果實(shí)平均重量在250～280 g之間，表明該果園的果樹長(zhǎng)勢(shì)較好，果樹個(gè)體之間無(wú)明顯差異。

3蘋果樹測(cè)產(chǎn)模型

3.1模型總體結(jié)構(gòu)

本研究提出的果樹測(cè)產(chǎn)模型分為果實(shí)檢測(cè)算法和產(chǎn)量擬合網(wǎng)絡(luò)兩部分，如圖7所示。果實(shí)檢測(cè)算法利用改進(jìn)型Y0L0v5對(duì)輸入的果樹圖像進(jìn)行目標(biāo)檢測(cè)，輸出圖像中果實(shí)數(shù)量以及所有果實(shí)邊界框總面積;產(chǎn)量擬合網(wǎng)絡(luò)負(fù)責(zé)將上述算法的輸出作為當(dāng)前網(wǎng)絡(luò)的輸入，利用BP神經(jīng)網(wǎng)絡(luò)擬合果樹產(chǎn)量。檢測(cè)算法部分使用圖像訓(xùn)練集、擬合網(wǎng)絡(luò)部分使用產(chǎn)量訓(xùn)練集分開進(jìn)行訓(xùn)練，訓(xùn)練完成后，可實(shí)現(xiàn)在測(cè)產(chǎn)模型中輸入果樹圖像即可直接輸出相應(yīng)的果樹產(chǎn)量。

3.2改進(jìn)型YOLOv5果實(shí)檢測(cè)算法

3.2.1基于輕量化改進(jìn)的YOLOv5

YOLOv5模型起源于YOLO，該算法在輸出層回歸目標(biāo)框的位置坐標(biāo)及其所屬類別具有良好的檢測(cè)速度。YOLO算法的核心思想是將輸入圖片劃分為7×7個(gè)網(wǎng)格，目標(biāo)中心所在的網(wǎng)格負(fù)責(zé)預(yù)測(cè)該目標(biāo)。每個(gè)網(wǎng)格負(fù)責(zé)預(yù)測(cè)2個(gè)目標(biāo)框，該目標(biāo)框回歸位置坐標(biāo)以及預(yù)測(cè)置信度值[24]。設(shè)定一個(gè)置信度閾值，濾除置信度較低的目標(biāo)框，并對(duì)保留的框進(jìn)行非極大值抑制（Non- Maximum Suppression， NMS）處理，得到最終的預(yù)測(cè)效果，如圖8所示。

然而，傳統(tǒng)的YOLOv5網(wǎng)絡(luò)參數(shù)量較大，且在提取過(guò)程中存在無(wú)注意力偏好問(wèn)題，即對(duì)不同重要程度的特征采用相同的加權(quán)方式。因此，本研究提出將YOLOv5特征提取網(wǎng)絡(luò)中的標(biāo)準(zhǔn)卷積更換為輕量化的深度可分離卷積，并且基于深度可分離卷積[25]和視覺(jué)注意力機(jī)制提出一個(gè)池化注意力模塊（Pooling Block Attention Module，PBAM），將該模塊添加到Y(jié)OLOv5網(wǎng)絡(luò)中解決無(wú)注意力偏好問(wèn)題。PBAM利用先壓縮后擴(kuò)張的方式，將淺層特征采樣到的關(guān)鍵點(diǎn)進(jìn)行增強(qiáng)學(xué)習(xí)，并且該模塊引入了類似殘差單元的結(jié)構(gòu)，保證了網(wǎng)絡(luò)在較深的情況下不會(huì)出現(xiàn)梯度消失或是梯度爆炸的問(wèn)題;該模塊輸出特征圖與輸入特征圖分辨率保持一致，在不更改網(wǎng)絡(luò)結(jié)構(gòu)的前提下，PBAM可以嵌入到任意網(wǎng)絡(luò)結(jié)構(gòu)中，具有結(jié)構(gòu)簡(jiǎn)單、使用方便等優(yōu)勢(shì)，通過(guò)建立通道間的相互依賴關(guān)系，從而達(dá)到自適應(yīng)校準(zhǔn)通道間相應(yīng)特征的目的。圖9為改進(jìn)后的YOLOv5算法框圖，其中，紅框?yàn)楸狙芯扛倪M(jìn)部分。

融合后的YOLOv5算法不僅可以利用深度可分離卷積減少注意力機(jī)制模塊帶來(lái)的計(jì)算壓力，而且可以將卷積計(jì)算得到的淺層特征圖抽取為重要信息更多的深層特征圖，進(jìn)一步提取關(guān)鍵信息，提升算法的整體檢測(cè)效果。

3.2.2損失函數(shù)計(jì)算

YOLOv5的損失函數(shù)由邊界框置信度損失（L）、類別損失（L）以及坐標(biāo)損失（L）三部分構(gòu)成，改進(jìn)后的YOLOv5算法僅深化了網(wǎng)絡(luò)深度，對(duì)以上函數(shù)并無(wú)影響，不需要構(gòu)建新的損失函數(shù)。其中置信度損失和類別損失采用交叉熵的方法進(jìn)行計(jì)算，如公式（1）～（3）所示。

L-L+L+L（1）

（2）

其中，S為劃分的網(wǎng)格數(shù)量，個(gè);B為每個(gè)網(wǎng)格預(yù)測(cè)邊界框數(shù)量，個(gè);為判斷第i個(gè)網(wǎng)格的第j個(gè)邊界框是否有需要預(yù)測(cè)的目標(biāo);為判斷第i個(gè)網(wǎng)格的第j個(gè)邊界框是否有不需要預(yù)測(cè)的目標(biāo);λ和λ為網(wǎng)格有無(wú)目標(biāo)的權(quán)重系數(shù);C，為預(yù)測(cè)目標(biāo)和實(shí)際目標(biāo)的置信度值;c為邊界框預(yù)測(cè)的目標(biāo)類別;p（c）為第i個(gè)網(wǎng)格檢測(cè)到目標(biāo)時(shí)，其所屬c的預(yù)測(cè)概率，%;為第i個(gè)網(wǎng)格檢測(cè)到目標(biāo)時(shí)，其所屬c的實(shí)際概率，%。

本研究采用L作為邊界框坐標(biāo)的損失函數(shù)，如公式（4）～（6）所示。

（4）

（5）

（6）

其中，A為真實(shí)框的面積，像素;B為預(yù)測(cè)框的面積，像素;C為A和B的最小外接矩形面積，像素。

3.3產(chǎn)量擬合網(wǎng)絡(luò)

由于果實(shí)檢測(cè)數(shù)量以及邊界框面積與估測(cè)產(chǎn)量之間的函數(shù)映射關(guān)系并不明確，屬非線性函數(shù)關(guān)系特征，因此本研究采用BP神經(jīng)網(wǎng)絡(luò)作為果實(shí)產(chǎn)量擬合部分，提升模型整體對(duì)任意復(fù)雜模式的分類能力與多維函數(shù)映射能力。由于BP網(wǎng)絡(luò)的輸入包含了邊界框面積，因此圖像拍攝的距離與相機(jī)的參數(shù)就顯得尤為重要。本研究在圖像采集時(shí)，保持采集平臺(tái)與果樹的距離不變，并且固定相機(jī)的參數(shù)，保證測(cè)產(chǎn)的準(zhǔn)確性。

本研究采用3層全連接層、1層ReLU激活層和1層Sigmoid激活層完成網(wǎng)絡(luò)結(jié)構(gòu)的搭建，網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如圖10所示。BP網(wǎng)絡(luò)的輸入神經(jīng)元數(shù)量為2個(gè)，分別對(duì)應(yīng)改進(jìn)型YOLOv5果實(shí)檢測(cè)算法輸出的果實(shí)數(shù)量（個(gè)）以及邊界框總面積（像素）;輸出神經(jīng)元的數(shù)量為1個(gè)，對(duì)應(yīng)圖像中的果樹產(chǎn)量。在隱藏層中加入ReLU或Sigmoid激活函數(shù)，可以在一定程度上增加神經(jīng)網(wǎng)絡(luò)的非線性因素，加快算法訓(xùn)練速度，并且可以解決反向傳播時(shí)梯度消失問(wèn)題，有效降低過(guò)擬合發(fā)生的概率。

隱藏層神經(jīng)元數(shù)量的確定沒(méi)有明確的理論方法，因此本研究先由經(jīng)驗(yàn)公式確定初始值，如公式（7）所示;再根據(jù)網(wǎng)絡(luò)訓(xùn)練過(guò)程中的誤差表現(xiàn)選取最優(yōu)值。最終的隱藏層神經(jīng)元數(shù)量為15個(gè)或11個(gè)，如圖10所示。

（7）

其中，N為隱藏層節(jié)點(diǎn)數(shù)量，個(gè);m為輸入神經(jīng)元數(shù)量，個(gè);n為輸出神經(jīng)元數(shù)量，個(gè);a為1～10之間的常數(shù)。

利用BP網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)擬合的主要步驟如下。

（1）數(shù)據(jù)歸一化。為保證性能的穩(wěn)定性，分別對(duì)果實(shí)數(shù)量、邊界框面積以及果樹產(chǎn)量進(jìn)行輸入樣本的歸一化處理。通過(guò)除以歸一化系數(shù)，將輸入特征和輸出產(chǎn)量歸一到0～1之間。

（2）BP網(wǎng)絡(luò)訓(xùn)練?？煞譃樗牟?，首先，初始化網(wǎng)絡(luò)權(quán)重;其次，數(shù)據(jù)正向傳播;再次，誤差反向傳播;最后，網(wǎng)絡(luò)權(quán)重與神經(jīng)網(wǎng)絡(luò)元偏置調(diào)整。

（3）數(shù)據(jù)反歸一化。為獲取果樹產(chǎn)量對(duì)應(yīng)的常量，需要對(duì)預(yù)測(cè)值進(jìn)行反歸一化。將預(yù)測(cè)數(shù)據(jù)乘以對(duì)應(yīng)的歸一化系數(shù)，將該數(shù)據(jù)重新映射到原始區(qū)間，得到最終產(chǎn)量。

3.4模型訓(xùn)練

模型訓(xùn)練分為兩個(gè)階段，第一階段為果實(shí)檢測(cè)，通過(guò)訓(xùn)練目標(biāo)檢測(cè)算法，預(yù)測(cè)圖片中果實(shí)數(shù)量及邊界框總面積;第二階段為產(chǎn)量預(yù)測(cè)，基于BP神經(jīng)網(wǎng)絡(luò)擬合數(shù)據(jù)集的果實(shí)數(shù)量、邊界框面積和產(chǎn)量。

采用PyTorch深度學(xué)習(xí)框架進(jìn)行模型的搭建，系統(tǒng)硬件配置為AMD Ryzen7 4800H CPU@2.9GHz處理器，6 GB NVIDIA GeForce GTX 1660Ti GPU，16 GB運(yùn)行內(nèi)存，512 GB SSD硬盤容量，訓(xùn)練和測(cè)試所用的操作系統(tǒng)為Windows 10，64位系統(tǒng)。代碼編譯器為PyCharm2019.3.3社區(qū)版，并且配置了CUDA 10.2和cuDNN 7.6.5進(jìn)行GPU加速工作。

4算法測(cè)試與試驗(yàn)

4.1果實(shí)檢測(cè)算法性能分析

本研究選取平均準(zhǔn)確率（mAP）作為算法的整體評(píng)價(jià)指標(biāo)。查準(zhǔn)率（P）是指被預(yù)測(cè)為正例的樣本中實(shí)際為正樣本的比例，查全率（R）是指實(shí)際為正例的樣本中被預(yù)測(cè)為正樣本的比例，根據(jù)查準(zhǔn)率和查全率之間的關(guān)系可以繪制查準(zhǔn)率一查全率曲線（P-R曲線）。所有類別的準(zhǔn)確率（AP）是指曲線與坐標(biāo)軸圍成區(qū)域的面積，求出所有類別的4P并取均值，可得各類別的mAP，計(jì)算如公式（8）～（11）所示。

（8）

（9）

（10）

（11）

其中，TP為正樣本預(yù)測(cè)正確的數(shù)量，個(gè);FN為負(fù)樣本預(yù)測(cè)錯(cuò)誤的數(shù)量，個(gè);FP為正樣本預(yù)測(cè)錯(cuò)誤的數(shù)量，個(gè);TN為負(fù)樣本預(yù)測(cè)正確的數(shù)量，個(gè);p（r）為不同查準(zhǔn)率r下對(duì)應(yīng)的查全率p;AP為第i類的檢測(cè)準(zhǔn)確率;N為類別數(shù)量，個(gè)。

為驗(yàn)證本研究提出的改進(jìn)型YOLOv5果實(shí)檢測(cè)算法的可行性，需要對(duì)特征提取網(wǎng)絡(luò)中單獨(dú)更換深度可分離卷積、單獨(dú)嵌入注意力機(jī)制模塊、融合深度可分離卷積和注意力機(jī)制模塊的YOLOv5算法與未改進(jìn)的YOLOv5算法進(jìn)行檢測(cè)速度、平均準(zhǔn)確率性能測(cè)試，性能測(cè)試完成后進(jìn)行背景有白布以及背景無(wú)白布數(shù)據(jù)測(cè)試。

（1）檢測(cè)速度算法測(cè)試。本研究對(duì)算法檢測(cè)多張圖片的速度進(jìn)行記錄，并取其均值，對(duì)比試驗(yàn)結(jié)果如表2所示，包括以改進(jìn)前算法檢測(cè)速度為基礎(chǔ)不同改進(jìn)版本算法的相對(duì)提升率。其中YOLOv5s、YOLOv5m、YOLOv51和YOLOv5x分別是YOLOv5的4個(gè)不同深度和寬度的網(wǎng)絡(luò)結(jié)構(gòu)，其參數(shù)量依次遞增。

單獨(dú)更換深度可分離卷積，使算法的檢測(cè)速度明顯提升，提升幅度為11.26%～17.28%。單獨(dú)嵌入注意力機(jī)制模塊會(huì)對(duì)計(jì)算速度有一定影響，但是影響較小，與改進(jìn)前YOLOv5算法檢測(cè)速度基本持平。融合深度可分離卷積和注意力機(jī)制模塊后，與單獨(dú)更換深度可分離卷積相比，算法會(huì)增加部分計(jì)算負(fù)擔(dān)，降低部分檢測(cè)速度;檢測(cè)速度最快為31.44ms，與改進(jìn)前相比提升最大15.37%。上述結(jié)果表明，單獨(dú)更換深度可分離卷積帶來(lái)計(jì)算速度的提升較大;融合注意力機(jī)制模塊后，與改進(jìn)前的算法相比仍具有較快的檢測(cè)速度優(yōu)勢(shì)。

（2）平均準(zhǔn)確率算法測(cè)試。本研究對(duì)算法檢測(cè)多張圖片的mAP進(jìn)行記錄，對(duì)比試驗(yàn)結(jié)果如表3所示，包括以改進(jìn)前算法平均準(zhǔn)確率為基礎(chǔ)不同改進(jìn)版本算法的絕對(duì)提升率。

改進(jìn)前的YOLOv5算法在不同結(jié)構(gòu)下的mAP分別是89.83%、90.75%、92.07%和93.44%，除了改進(jìn)后單獨(dú)更換深度可分離卷積YOLOv5s的檢測(cè)準(zhǔn)確率低于90%，其余結(jié)構(gòu)均在90%以上，該結(jié)果表明YOLOv5擁有較好的模型結(jié)構(gòu)以及檢測(cè)效果，對(duì)自然環(huán)境下的蘋果檢測(cè)具有較好的適用性。單獨(dú)更換深度可分離卷積會(huì)使算法損失少量準(zhǔn)確率，與改進(jìn)前相比，損失率基本控制在1%以內(nèi)。不同結(jié)構(gòu)下算法最高準(zhǔn)確率與最低準(zhǔn)確率最大相差4.35%，出現(xiàn)在單獨(dú)嵌入注意力機(jī)制模塊的YOLOv5算法檢測(cè)中，在該種改進(jìn)方式下，檢測(cè)準(zhǔn)確率與改進(jìn)前相比最大可提升3.56%，平均提升3.17%。通過(guò)在算法結(jié)構(gòu)中嵌人注意力機(jī)制模塊，有助于將卷積計(jì)算得到的淺層特征圖抽取為重要信息更多的深層特征圖，學(xué)習(xí)通道間的相關(guān)性，把特征圖中重要的特征增強(qiáng)，次要的特征減弱，對(duì)關(guān)鍵信息進(jìn)行更進(jìn)一步的提取，有效提升算法的整體檢測(cè)效果。融合后的YOLOv51和YOLOv5x檢測(cè)準(zhǔn)確率均超過(guò)95%，其中YOLOv5x的檢測(cè)準(zhǔn)確率達(dá)到96.27%，為測(cè)試結(jié)果最高。以上結(jié)果均表明改進(jìn)后的Y0L0v5算法具有較高的檢測(cè)準(zhǔn)確率。

（3）背景有白布算法測(cè)試。在自然光照條件下，太陽(yáng)光作為主要的光源，不同的拍攝角度會(huì)在一定程度上影響目標(biāo)檢測(cè)的mAP。本研究選取了不同時(shí)間點(diǎn)下不同光照角度的蘋果圖像作為樣本數(shù)據(jù)集，對(duì)改進(jìn)后的YOLOv5模型進(jìn)行迭代訓(xùn)練，目標(biāo)檢測(cè)效果如圖11。

順光拍攝的照片明亮清晰，不會(huì)出現(xiàn)明顯的光影變化;側(cè)光拍攝的照片層次分明，物體有較為明顯的輪廓;逆光拍攝的照片陰暗模糊，容易出現(xiàn)曝光不足。本研究針對(duì)上述不同數(shù)據(jù)集，并且與YOLOv5、YOLOv3、SSD等模型進(jìn)行對(duì)比實(shí)驗(yàn)，各模型檢測(cè)結(jié)果如表4所示。

改進(jìn)的YOLOv5在各種不同的光源和時(shí)間點(diǎn)的數(shù)據(jù)中，全部得到了最好的檢測(cè)結(jié)果。最高mAP出現(xiàn)在著色15d側(cè)光數(shù)據(jù)集，達(dá)到96.79%，在不同數(shù)據(jù)集中表現(xiàn)均優(yōu)于YOLOv5、YOLOv3、SSD，在不同測(cè)試集中平均mAP為93.30%，說(shuō)明改進(jìn)YOLOv5算法具有較好的檢測(cè)性能;所有算法在側(cè)光條件下檢測(cè)效果最好，在逆光條件下檢測(cè)效果最差的原因是：逆光下樹葉與果實(shí)的顏色較暗，果實(shí)邊緣不夠清晰，容易造成混淆，增加目標(biāo)檢測(cè)難度;算法效果隨著色時(shí)間提高，原因在于著色1d果實(shí)顏色與樹葉顏色較為接近，呈現(xiàn)出綠色，容易誤識(shí)別，而第15d果實(shí)顏色較為鮮艷，可以明顯與周圍葉片區(qū)分開，檢測(cè)準(zhǔn)確率較高。

（4）背景無(wú)白布算法測(cè)試。為驗(yàn)證改進(jìn)型YOLOv5果實(shí)檢測(cè)算法在自然環(huán)境下的應(yīng)用效果，對(duì)無(wú)白色背景的著色1d、8d和15d蘋果圖像進(jìn)行測(cè)試，結(jié)果如圖12。

結(jié)果可知，算法均可完成檢測(cè)任務(wù)，對(duì)近處的果實(shí)識(shí)別率較高。由于近處的蘋果區(qū)域面積較大，呈現(xiàn)特征較多，算法對(duì)其預(yù)測(cè)的置信度較高;遠(yuǎn)處的蘋果在圖像上占據(jù)的像素點(diǎn)數(shù)量較少，呈現(xiàn)的特征較少，識(shí)別置信度受到影響。

表5為無(wú)白布背景下的算法mAP對(duì)比結(jié)果，與背景有白布的算法檢測(cè)準(zhǔn)確率相比，在不同著色時(shí)間的數(shù)據(jù)集下均有一定的準(zhǔn)確度損失。但是對(duì)于果樹測(cè)產(chǎn)而言，需要測(cè)定的是距離攝像頭較近的果樹產(chǎn)量，利用算法過(guò)濾背景中的果樹果實(shí)，減少背景果實(shí)對(duì)其產(chǎn)量的影響，因此在該背景下并不是檢測(cè)準(zhǔn)確率越高越好。本研究的果實(shí)檢測(cè)算法恰能滿足識(shí)別近處蘋果、濾除遠(yuǎn)處蘋果的要求，可適用于背景無(wú)白布的果實(shí)檢測(cè)。

4.2產(chǎn)量擬合網(wǎng)絡(luò)性能分析

采用表6中的相關(guān)參數(shù)評(píng)估產(chǎn)量擬合網(wǎng)絡(luò)的性能。相關(guān)系數(shù)R和決定系數(shù)R用于衡量預(yù)測(cè)產(chǎn)量和實(shí)際產(chǎn)量之間的相關(guān)程度，數(shù)值越大表明二者的相關(guān)性越好;均方根誤差RMSE用來(lái)衡量預(yù)測(cè)產(chǎn)量和實(shí)際產(chǎn)量之間的誤差，其值越小表明精確度越高;平均絕對(duì)誤差MAE和平均絕對(duì)百分比誤差MAPE能夠反映預(yù)測(cè)產(chǎn)量偏離實(shí)際產(chǎn)量的程度，數(shù)值越小，表明二者差別越小，擬合效果越好。在訓(xùn)練集和測(cè)試集上預(yù)測(cè)產(chǎn)量和實(shí)際產(chǎn)量的R分別為0.8979和0.8864，R分別為0.7967和0.7982，表明果實(shí)數(shù)量、邊界框面積和產(chǎn)量之間線性相關(guān)程度較高，曲線擬合較好。

對(duì)于訓(xùn)練集樣本，RMSE為1.5317 kg，MAE為1.1259 kg，MAPE為6.3372%;對(duì)于測(cè)試集樣本，RMSE為1.4021 kg，MAE為1.0253 kg，MAPE為6.2524%。

基于樣本訓(xùn)練集建立的產(chǎn)量擬合網(wǎng)絡(luò)，在測(cè)試集上的對(duì)比結(jié)果如圖13所示?？梢?，該模型可以較好地預(yù)測(cè)出果樹產(chǎn)量，對(duì)于不同產(chǎn)量樣本的預(yù)測(cè)精度基本穩(wěn)定，具有較好的魯棒性。通過(guò)測(cè)試結(jié)果可知該模型可適用于自然環(huán)境下果樹收獲前的產(chǎn)量測(cè)定。

4.3測(cè)產(chǎn)模型測(cè)試

（1）背景有白布的測(cè)產(chǎn)模型性能測(cè)試。用本研究提出的蘋果樹測(cè)產(chǎn)模型，以產(chǎn)量驗(yàn)證集中背景有白布的果樹圖像作為輸入，輸出該株果樹的預(yù)測(cè)產(chǎn)量。由表7所示的相對(duì)誤差可見，測(cè)產(chǎn)模型相對(duì)誤差的絕對(duì)值取值范圍為3.05%～6.13%。在對(duì)10組數(shù)據(jù)的預(yù)測(cè)過(guò)程中，僅有第7組的誤差稍大，總體相對(duì)誤差范圍基本在7%以內(nèi)。表明提出的果樹測(cè)產(chǎn)模型對(duì)于輸入背景有白布的果樹圖像，有著較好的產(chǎn)量預(yù)測(cè)效果;可以通過(guò)果實(shí)檢測(cè)算法和產(chǎn)量擬合網(wǎng)絡(luò)的協(xié)調(diào)工作，學(xué)習(xí)到圖像數(shù)據(jù)以及產(chǎn)量數(shù)據(jù)的重要特征，輸出相應(yīng)的預(yù)測(cè)產(chǎn)量。

（2）無(wú)白布背景的測(cè)產(chǎn)模型性能測(cè)試。為驗(yàn)證本研究提出的測(cè)產(chǎn)模型在自然環(huán)境下的應(yīng)用效果，選用產(chǎn)量驗(yàn)證集中圖像背景無(wú)白布的數(shù)據(jù)集作為模型輸入，輸出該株果樹的預(yù)測(cè)產(chǎn)量，經(jīng)過(guò)計(jì)算后得到表8所示的相對(duì)誤差。

與背景有白布的測(cè)試結(jié)果相比，背景無(wú)白布的測(cè)產(chǎn)模型相對(duì)誤差偏大，絕對(duì)值的取值范圍為8.28%～12.71%。出現(xiàn)這一現(xiàn)象的主要原因在于背景中有其他果樹果實(shí)的干擾，產(chǎn)量擬合網(wǎng)絡(luò)在預(yù)測(cè)產(chǎn)量時(shí)會(huì)將檢測(cè)到的果實(shí)均判定為當(dāng)前果樹果實(shí)，導(dǎo)致結(jié)果出現(xiàn)一定的偏差。但是，背景果樹中僅有部分特征較多的蘋果會(huì)被識(shí)別，大部分蘋果由于距離較遠(yuǎn)，在圖像中占據(jù)的像素點(diǎn)較少，檢測(cè)算法不能識(shí)別，因此造成的影響不大，相對(duì)誤差總體范圍在13%以內(nèi)。上述結(jié)果表明，本研究提出的測(cè)產(chǎn)模型具有良好的精度和有效性，并且在不同背景下的測(cè)產(chǎn)魯棒性較好，可適用于自然環(huán)境下的蘋果樹產(chǎn)量測(cè)定。

5結(jié)論

本研究提出了一種蘋果樹測(cè)產(chǎn)模型，融合產(chǎn)量擬合網(wǎng)絡(luò)和改進(jìn)型YOLOv5果實(shí)檢測(cè)算法，結(jié)合數(shù)據(jù)集預(yù)處理，對(duì)模型進(jìn)行了訓(xùn)練和應(yīng)用，結(jié)論如下。

（1）通過(guò)更換深度可分離卷積和添加注意力機(jī)制模塊改進(jìn)的YOLOv5蘋果檢測(cè)網(wǎng)絡(luò)，解決網(wǎng)絡(luò)中存在的特征提取時(shí)無(wú)注意力偏好問(wèn)題和參數(shù)冗余問(wèn)題。以圖像數(shù)據(jù)集為輸入，得到估測(cè)果實(shí)數(shù)量以及邊界框面總積。測(cè)試結(jié)果表明，該算法可以在提高輕量化程度的同時(shí)提升準(zhǔn)確率，與改進(jìn)前相比，檢測(cè)速度最大可提升15.37%，平均mAP最高達(dá)到96.79%，在不同數(shù)據(jù)集下的測(cè)試結(jié)果表明光照條件、著色時(shí)間以及背景有無(wú)白布均對(duì)算法準(zhǔn)確率有一定影響。

（2）以估測(cè)果實(shí)數(shù)量與邊界框面積為輸入、實(shí)際產(chǎn)量為輸出，訓(xùn)練產(chǎn)量擬合網(wǎng)絡(luò)，測(cè)試結(jié)果表明，產(chǎn)量擬合網(wǎng)絡(luò)訓(xùn)練集和測(cè)試集的R分別為0.7967和0.7982，RMSE分別為1.5317和1.4021 kg，測(cè)產(chǎn)誤差較小。

（3）將果實(shí)檢測(cè)算法和產(chǎn)量擬合網(wǎng)絡(luò)融合得到最終的測(cè)產(chǎn)模型。試驗(yàn)結(jié)果表明，果樹測(cè)產(chǎn)模型在背景有白布和無(wú)白布的條件下，相對(duì)誤差范圍分別在7%以內(nèi)和13%以內(nèi)，證明本研究建立的蘋果園原位測(cè)產(chǎn)模型具有較好的精度和魯棒性。如增加更多的樣本作為數(shù)據(jù)輸入，可進(jìn)一步提高目標(biāo)的識(shí)別度和測(cè)產(chǎn)的準(zhǔn)確性。

參考文獻(xiàn)：

[1]黑龍江省佳木斯農(nóng)業(yè)學(xué)校，江蘇省蘇州農(nóng)業(yè)學(xué)校.果樹栽培學(xué)總論[M].北京：中國(guó)農(nóng)業(yè)出版社，2009.

Jiamusi Agricultural. School of Heilongjiang province， Suzhou Agricultural. School of Jiangsu province. General. introduction to fruit cultivation[M]. Beijing： China Agriculture Press， 2009.

[2]王少敏，張毅，高華軍，等.蘋果套袋栽培技術(shù)[M].濟(jì)南：山東科學(xué)技術(shù)出版社，2006.

WANG S， ZHANG Y， GAO H， et al. Apple bagging cultivation technology[M]. Jinan： Shandong Science and Technology Press， 2006.

[3] PAPAGEORGIOU E I， AGGELOPOULOU K D， GEMTOS T A， et al. Yield prediction in apples using fuzzy cognitive map learning approach[J]. Computers and Electronics in Agriculture， 2013， 91： 19-29.

[4] AGGELOPOULOU A D， BOCHTIS D， FOUNTAS S，et al. Yield prediction in apple orchards based on image processing[J]. Precision Agriculture， 2011， 12（3）：448-456.

[5] ZHOU R， DAMEROW L， SUN Y， et al. Using colour features of cv.'Gala' apple fruits in an orchard in image processing to predict yield[J]. Precision Agriculture， 2012， 13（5）：568-580.

[6]程洪，DAMEROW L， BLANKE M，等.基于樹冠圖像特征的蘋果園神經(jīng)網(wǎng)絡(luò)估產(chǎn)模型[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2015， 46（1）： 14-19.

CHENG H， DAMEROW L， BLANKE M， et al. Ann model for apple yield estimation based on feature of tree image[J]. Transactions of the CSAM， 2015， 46（1）： 14-19.

[7] CRTOMIR R， CVELBAR U， TOJNKO S， et al. Application of neural. networks and image visualization for early predicted of apple yield[J]. Erwerbs-Obstbau， 2012， 54（2）： 69-76.

[8] ROY P， KISLAY A， PLONSKI P， et al. Vision-based preharvest yield mapping for apple orchards[J]. Computers and Electronics in Agriculture， 2019， 164： ID 104897.

[9] REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： Unified， real-time objectdetection[C]//The IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， New York， USA： IEEE， 2016： 779-788.

[10] REDMON J， FARHADI A. YOLO9000： Better， faster， stronger[C]// The IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， New York， USA： IEEE， 2017： 7263-7271.

[11] REDMON J， FARHADI A. YOLO v3： An incremental. improvement[EB/OL]. 2018. arXiv： 1804.02767vl.

[12] BOCHKOVSKIY A， WANG C， LIAO H. YOLOv4： Optimal. speed and accuracy of object detection[EB/OL]. 2020. arXiv： 2004.10934.

[13] LIU W， ANGUELOV D， ERHAN D， et al. SSD： Single shot multibox detector[C]// European Conference on Computer Vision. Cham， Switzerland： Springer，2016： 21-37.

[14] ZHANG S， WEN L， BIAN X， et al. Single-shot refinement neural. network for object detection[C]// The IEEE Conference on Computer Vision and Pattern Reco-gnition. Piscataway， New York， USA： IEEE， 2018： 4203-4212.

[15] WANG D， ZHANG B， CAO Y， et al. SFSSD： Shallow feature fusion single shot multibox detector[C]// International. Conference in Communications， Signal. Processing， and Systems. Cham， Switzerland： Springer， 2019： 2590-2598.

[16] GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]// The IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，New York， USA： IEEE， 2014： 580-587.

[17] GIRSHICK R. Fast R-CNN[C]// Proceedings of the IEEE International. Conference on Computer Vision. Piscataway， New York， USA： IEEE， 2015： 1440-1448.

[18] REN S， HE K， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal. networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2017， 39（6）： 1137-1149.

[19]周偉鴻，朱思霖.基于深度學(xué)習(xí)技術(shù)的智慧考場(chǎng)方案的應(yīng)用探究[J].信息技術(shù)與信息化，2020（12）： 224-227.

ZHOU W， ZHU S. Research on the application of smart examination room solutions based on deep learning technology[J]. Information Technology and Informatization， 2020（12）： 224-227.

[20]王洋.改進(jìn)YOLOv5的口罩和安全帽佩戴人工智能檢測(cè)識(shí)別算法[J].建筑與預(yù)算，2020（11）： 67-69.

WANG F. Artificial. intelligence detection and recognition algorithm for masks and helmets based on improved YOLOv5[J]. Construction and Budget， 2020 （11）： 67-69.

[21] WANG C Y， LIAO H Y M， YEH I H， et al. CSPNet： A new backbone that can enhance learning capability of CNN[C]// The IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Seattle， WA， USA： CVPRW， 2020： 390-391.

[22] LIN T Y， DOLLAR P， GIRSHICK R， et al. Feature pyramid networks for object detect-ion[C]// The IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， New York， USA： IEEE， 2017： 2117- 2125.

[23] LIU S， QI L， QIN H， et al. Path aggregation network for instance segmentation[C]// The IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， New York， USA： IEEE， 2018： 8759-8768.

[24]李德鑫，閆志剛，孫久運(yùn).基于無(wú)人機(jī)視覺(jué)的河道漂浮垃圾分類檢測(cè)技術(shù)研究[J/OL].金屬礦山：1-11.[2021-06-20]. http：//kns.cnki.net/kcms/detail/34.1055.TD.20210608.1117.005.html.

LI D， YAN Z， SUN J. Study on classification and detection technology of river floating garbage based on UAV vision[J/OL]. Metal. Mine： 1-11. [2021-06-20].http：//kns.cnki.net/kcms/detail/34.1055.TD.20210608.1117.005.html.

[25] SIFRE L， MALLAT S. Rigid-motion scattering for texture classification[J]. Computer Science， 2014， 3559： 501-515.

Yield Estimation Method of Apple Tree Based on Improved Lightweight YOLOv5

LI Zhijun1，2， YANG Shenghui1，2， SHI Deshuai1，2， LIU Xingxing1，2， ZHENG Yongjun1，2*

（1. College of Engineering. China Agricultural. University， Beijing 100083， China; 2. Yantai Institute of China Agricultural. University. Yantai 264670， China）

Abstract： Yield estimation of fruit tree is one of the important works in orchard management. In order to improve the accuracy of in-situ yield estimation of apple trees in orchard， a method for the yield estimation of single apple tree， which includes an improved YOLOv5 fruit detection network and a yield fitting network was proposed. The in-situ images of the apples without bags at different periods were acquired by using an unmanned aerial. vehicle and Raspberry Pi camera， formed an image sample data set. For dealing with no attention preference and the parameter redundancy in feature extraction， the YOLOv5 network was improved by two approaches： 1） replacing the depth separable convolution， and 2） adding the attention mechanism module， so that the computation cost was decreased. Based on the improvement， the quantity of fruit was estimated and the total. area of the bounding box of apples were respectively obtained as output. Then， these results were used as the input of the yield fitting network and actual. yields were applied as the output to train the yield fitting network. The final. model of fruit tree production estimation was obtained by combining the improved YOLOv5 network and the yield fitting network. Yield estimation experimental. results showed that the improved YOLOv5 fruit detection algorithm could improve the recognition accuracy and the degree of lightweight. Compared with the previous algorithm， the detection speed of the algorithm proposed in this research was increased by up to 15.37%， while the mean of average accuracy （mAP） was raised up to 96.79%. The test results based on different data sets showed that the lighting conditions， coloring time and with white cloth in background had a certain impact on the accuracy of the algorithm. In addition， the yield fitting network performed better on predicting the yield of apple trees. The coefficients of determination in the training set and test set were respectively 0.7967 and 0.7982. The prediction accuracy of different yield samples was generally stable. Meanwhile， in terms of the with/without of white cloth in background， the range of relative error of the fruit tree yield measurement model was respectively within 7% and 13%. The yield estimation method of apple tree based on improved lightweight YOLOv5 had good accuracy and effectiveness， which could achieve yield estimation of apples in the natural. environment， and would provide a technical. reference for intelligent agricultural. equipment in modem orchard environment.

Key words： apple in-situ yield estimation; deep learning; fruit detection; BP neural. network; YOLOv5

（登陸www.smartag.net.cn免費(fèi)獲取電子版全文）

作者簡(jiǎn)介：李志軍（1996—），男，碩士研究生，研究方向?yàn)橹悄苻r(nóng)業(yè)裝備。E-mail：335022969@qq.com。

*通訊作者：鄭永軍（1973—）男，博士，教授，研究方向?yàn)橹悄苻r(nóng)業(yè)裝備。電話：13810868016。E-mail：zyj@cau.edu.cn。