馬 帥，張 艷，周桂紅，劉 博

（河北農業(yè)大學 信息科學與技術學院 / 河北省農業(yè)大數(shù)據(jù)重點實驗室，河北 保定 071001）

中國是世界上最大的梨生產國。在我國，梨是僅次于蘋果和柑橘的第三大水果，有著悠久的栽培歷史［1］。而河北省是梨的重要產區(qū)，栽培面積和產量均為全國第一［2］。

近年來隨著人工智能的發(fā)展，工業(yè)、農業(yè)等傳統(tǒng)行業(yè)通過人工智能技術改進傳統(tǒng)的作業(yè)模式取得了良好的效果，而卷積神經網(wǎng)絡(Convolutional Neural Network)在圖像識別領域良好的表現(xiàn)，被廣泛應用于檢測圖像中目標的場景中。Kang Hanwen等［3］采用LedNet 卷積神經網(wǎng)絡對蘋果果實進行檢測和識別，其召回率和精確率分別達到0.821和0.853，表明卷積神經網(wǎng)絡在果實檢測場景中具有可行性。閆建偉等［4］將Faster RCNN 中的ROI Pooling 替換為ROI Align，對刺梨果實進行識別，平均識別精度達到92.01%，但對果實顏色與背景顏色相近的果實識別率較低。Longsheng Fu 等［5］采用ZFNet 作為Faster RCNN 的主干特征提取網(wǎng)絡，對遮擋、重疊、多果實相鄰等不同場景下的獼猴桃果實圖像進行識別，其總體識別率為92.3%。呂石磊等［6］提出使用1 種基于GIoU 邊框回歸損失函數(shù)，并采用MobileNet-v2 作為特征提取網(wǎng)絡改進YOLOv3-LITE 算法，使用 GIoU 回歸框損失函數(shù)替代傳統(tǒng)損失函數(shù)邊框回歸的均方誤差部分（MSE），對自然環(huán)境下柑橘果實圖像進行識別，平均精度達到90.38%，為柑橘采摘機器人定位提供良好的技術支持。閆建偉等［7］采用改進YOLOv3 算法對刺梨果實圖像進行識別，其平均準確率達88.5%，平均召回率為91.5%，在刺梨果實檢測場景下具有良好的表現(xiàn)。目前，YOLOv4 為較新的YOLO 系列算法，已有相關研究將YOLOv4 應用于在柑橘、蘋果、番茄、獼猴桃、櫻桃、香蕉、小麥等作物識別與應用場景中［8-16］。目前，將卷積神經網(wǎng)絡直接應用于梨的果實識別的場景中的相關研究較少，而以上研究成果為梨的果實識別研究提供了良好的參考。

目前，梨園的生產方式以傳統(tǒng)的栽培模式為主，在這種模式下，主要以人工的方式進行花果管理、果實采摘以及產量統(tǒng)計。而這種模式存在著人工成本高、生產效率低等問題。梨的成熟果實體積較小，部分梨果實易被其它果實或葉片遮擋，且梨果實的顏色與葉片顏色相近，這就增加了對自然條件下梨果實的識別與定位的難度。本試驗通過對自然環(huán)境中梨樹的栽培模式與生長模式進行分析，通過對YOLOv4 網(wǎng)絡模型進行調整和改進，對梨果實數(shù)據(jù)集進行訓練，得到改進YOLOv4 的梨果實識別模型，在保證檢測精度的同時使查全率得到提升，實現(xiàn)對梨果實的識別與定位。

1 數(shù)據(jù)采集與數(shù)據(jù)集的構建

1.1 數(shù)據(jù)采集

本試驗所使用的梨果實圖像采集于河北省邢臺市威縣，品種為‘紅香酥’，果園的栽培模式為株距1 m、行距3.5 m，采集6 年生和4 年生的成熟時期梨樹圖像共800 幅。所用圖像通過HUAWEI Mate 30 設備，于距目標果樹約3 m 處進行水平拍攝。拍攝的圖像原始格式為JPG，分辨率為2 736×3 648像素。采集的梨樹圖像樣本示例如圖1 所示。

圖1 梨樹圖像樣本示例Fig.1 Examples of pear tree image samples

1.2 數(shù)據(jù)集的構建

本實驗將采集的800 幅圖像用于訓練和測試神經網(wǎng)絡模型，為保證訓練效果，使用OpenCV 對圖像進行數(shù)據(jù)增強，數(shù)據(jù)增強的方式為水平翻轉，擴充數(shù)據(jù)集至1 600 幅圖像。

由于原圖像和數(shù)據(jù)增強后的圖像分辨率較大，直接作為網(wǎng)絡模型訓練的輸入會導致占用顯存過大、特征提取難度高以及訓練效果差等問題，故將每幅分辨率為2 736×3 648 像素的圖像裁剪為5×6 共30 幅608×608 像素的圖像。由于原圖像分辨率無法滿足裁剪的每幅子圖像都為608×608 像素，故對圖像進行填充，即在原圖的右側以及數(shù)據(jù)增強后圖像的左側進行填充，填充尺寸為304×3 648 像素，填充顏色為RGB(0,0,0)，使原圖像和數(shù)據(jù)增強后的圖像為3 040×3 648 像素，之后對圖像進行裁剪，圖1 所示圖像樣本裁剪后的效果如圖2 所示。

圖2 單幅圖像裁剪示例Fig.2 Example of single image cropping

裁剪后的圖像共48 000 幅，使用LabelImg 軟件對圖像中的梨果實目標進行標注，生成標簽，本試驗采用Pascal VOC 2007 數(shù)據(jù)集格式進行圖像樣本標簽的制作。

2 實驗環(huán)境及方法

2.1 實驗環(huán)境

本研究采用的實驗環(huán)境為Ubuntu 18.04，64位操作系統(tǒng)，硬件配置為服務器，采用Intel(R)Xeon(R) Gold 5220 處理器，主頻2.20 GHz；顯卡為NVIDIA Quadro RTX 5000，顯存為16 GB。本研究采用的編程語言為Python 3.8，采用Pytorch 1.7.1框架，CUDA 版本為10.0。

2.2 YOLOv4 網(wǎng)絡模型

本研究選擇YOLOv4 作為梨果實識別的基礎網(wǎng)絡模型，并對該網(wǎng)絡模型進行改進和優(yōu)化，使訓練后的模型可以達到更好的檢測和識別效果。

YOLOv4 網(wǎng)絡模型［17］由3 個部分構成：主干特征提取網(wǎng)絡CSPDarknet53、SPP 模塊以及PANet模塊。網(wǎng)絡模型首先對輸入的圖片通過主干網(wǎng)絡進行特征提取，然后對主干網(wǎng)絡的最后1 層輸出進行3 次卷積操作，之后通過空間金字塔池化層(SPP)不同尺寸的池化核進行最大池化，將池化結果進行融合得到1 個輸出，并與主干網(wǎng)絡的倒數(shù)第2 層及倒數(shù)第3 層的輸出通過PANet 模塊得到3 個輸出，之后進行分類回歸，得到預測結果。

2.3 對YOLOv4 網(wǎng)絡模型的改進

2.3.1 改進SPP 模塊 空間金字塔池化［18］(Spatial Pyramid Pooling，以下簡稱SPP)，是基于RCNN 進行改進的，能夠增加感受野，可以對不同尺寸的特征圖輸入，輸出固定尺寸的特征圖，其基本思想是對輸入的特征圖，通過不同尺寸的池化核，進行最大池化處理。在YOLOv4 模型結構中，SPP 結構位于CSPDarknet53 的最后1 個特征層的輸出后，先對CSPDarknet53 最后1 個特征層進行3 次卷積和激活函數(shù)的處理，之后利用4 個不同尺寸的池化核對其輸出進行最大池化處理，即13×13、9×9、5×5和1×14 種尺寸，在池化過程中對不同尺寸池化核要處理的特征圖分別加入poolsize/ 2 的填充，其中poolsize表示池化核的尺寸，以將不同尺寸池化核處理后的結果拼接在一起。

采用最大池化下采樣方法進行池化處理，可以更多地保留目標的紋理特征信息。而在本試驗數(shù)據(jù)集中，梨果實目標與葉片背景的顏色與形狀較相似，采用最大池化方法會丟失目標信息，造成漏檢和誤檢，因此，在SPP 結構的基礎上，采用平均池化的方法替換原有的最大池化，以提高目標檢測的精確率和召回率。

2.3.2 改進部分卷積模塊 本研究采用深度可分離卷 積［19］(Depthwise Separable Convolution) 結 構 替換了SPP 模塊之前與之后的卷積、PANet 中的部分卷積以及輸出部分的卷積。深度可分離卷積由2 個部分組成，即逐通道卷積與逐點卷積。對于輸入的1 個特征圖，首先進行逐通道卷積，其主要思想為對特征圖的每個通道分別進行1 次單通道卷積，即通道和卷積核一一對應，對于輸入通道數(shù)為n的特征圖，通過逐通道卷積后將產生的輸出也為n通道。之后對產生的n通道的輸出進行卷積核為1×1×n的卷積操作，若逐點卷積的卷積核為m，則會產生通道數(shù)為m的輸出特征圖。采用深度可分離卷積可以在保證與常規(guī)卷積輸出維度相同的前提下［20］，大幅減少參數(shù)量。

改進的YOLOv4 網(wǎng)絡結構如圖3 所示，其中dw_Conv 為使用深度可分離卷積塊改進的卷積模塊；AvgPooling 為平均池化層，k表示池化核尺寸。

圖3 改進的YOLOv4 網(wǎng)絡結構Fig.3 Network structure of improved YOLOv4

2.4 使用K-means++算法生成先驗框

先驗框是在圖像上預設好的框，用來對圖像上的目標更好地進行預測。為了平衡模型的準確度和復雜度，YOLOv4 中采用9 組先驗框，本研究采用K-means++聚類算法對數(shù)據(jù)集中人工標注的梨果實邊界框的寬與高進行聚類［21］以得到9 組不同尺寸的先驗框，聚類結果分布如圖4 所示，其中橫縱坐標分別為標簽的寬與高，每一類的聚類中心的坐標即為先驗框的尺寸。

圖4 標簽尺寸聚類分布圖Fig.4 Scattergram for clustering of label size

3 實驗及結果分析

3.1 數(shù)據(jù)集的劃分

本研究從1 600 幅原圖及數(shù)據(jù)增強后的圖像中，隨機挑選1 280 幅 (80%)圖像作為訓練集和驗證集，剩余的20%的圖像作為測試集；在訓練集和驗證集中，選擇其中的90%作為訓練集，剩余的10%作為驗證集。訓練驗證集和測試集劃分完成后，將訓練驗證集中圖像的裁剪后的子圖像進行模型的訓練，測試集圖像裁剪后的子圖像用于模型的測試。

對訓練驗證集中的1 280 幅圖像進行裁剪，共產生38 400 幅圖像。由于在裁剪時未進行人工干預，故裁剪所產生的子圖像中存在大量未包含梨果實目標的圖像，這些不包含目標的圖像在訓練過程中會加重正負樣本分布不均勻的問題，故在訓練過程中隨機去除了部分不含目標的子圖像，最后參與訓練的訓練驗證集子圖像共25 000 幅。而對于測試集中不包含目標的子圖像則進行了保留，參與模型最終的檢驗，測試集圖像共9 600 幅。

3.2 模型訓練

本研究的網(wǎng)絡模型采用YOLOv4 推薦輸入尺寸608×608 像素作為輸入圖像的尺寸，采用遷移學習的方法，引入主干特征提取網(wǎng)絡的預訓練權重。模型共訓練150 代，對前50 代凍結主干特征網(wǎng)絡的權重，對之后的100 代使用全部的權重進行訓練。在主干特征提取網(wǎng)絡中，采用Mosaic 數(shù)據(jù)增強算法，并采用余弦退火衰減法修改學習率。對于輸入的梨樹圖像的子圖像，首先經過CSPDarknet53 網(wǎng)絡進行特征提取，保存該網(wǎng)絡最后3 層網(wǎng)絡結構的輸出分別為out1、out2 及out3。對于最后1 層網(wǎng)絡結構的輸出out3，進行卷積與深度可分離卷積的操作，之后作為改進SPP 模塊的輸入進行不同尺寸的平均池化，并將池化結果拼接后再進行卷積與深度可分離卷積操作，得到輸出out3_s，之后將out1、out2 及out3_s作為PANet 的輸入，對經過PANet 的特征提取后得到的3 個加強特征圖傳入YOLO Head 進行最終的預測。

3.3 模型訓練過程

在模型訓練過程中，模型訓練的迭代次數(shù)與損失率的曲線如圖5 所示，其中Train Loss 表示訓練集損失率隨迭代次數(shù)增加的變化，Val Loss 表示驗證集損失率隨迭代次數(shù)增加的變化。

圖5 改進YOLOv4 網(wǎng)絡模型的Loss 曲線圖Fig.5 Loss curve of improved YOLOv4 network model

從圖5 的訓練過程中迭代次數(shù)和損失率的關系曲線圖中可以看出，在前50 代的訓練集損失率與驗證集損失率均波動較大，原因在于這部分的訓練過程中凍結了主干特征提取網(wǎng)絡的權重；在第50 到53 代之間時，訓練集損失率與驗證集損失率下降幅度較大，原因在于從第51 代開始，使用全部權重進行訓練；在第110 代后，驗證集損失率趨于穩(wěn)定，模型收斂。

3.4 模型效果驗證

使用訓練完成的最優(yōu)模型對9 600 幅未參與訓練的梨樹圖像子圖像進行檢測，平均每秒可以對20幅圖像進行檢測。通過對比測試集真實標簽及標簽數(shù)量與模型檢測出來的結果進行驗證和分析，以得到模型的評價指標。

對于模型效果的驗證通常采用的評價指標為精確率(Precision)、召回率(Recall)、F1分數(shù)以及mAP。對于任意模型，在檢測圖像時有4 種不同的情況：把正樣本正確預測(True Positive, TP)、把負樣本正確預測(True Negative, TN)、把負樣本錯誤預測(False Positive, FP)以及把正樣本錯誤預測(False Negative, FN)，則精確率、召回率、F1分數(shù)的計算公式如公式(1)到公式(3)所示。

本試驗分別采用YOLOv3 模型［22］、YOLOv4模型以及YOLOv4Lite-MobileNet v3 模型［23］對相同數(shù)據(jù)集進行了實驗，本試驗模型與上述模型的實驗結果如表1 所示。

表1 不同網(wǎng)絡模型的實驗對比Table 1 Comparison of different network models

由表1 可以看出，采用YOLOv4 神經網(wǎng)絡模型進行識別比采用YOLOv3、YOLOv4Lite-MobileNet V3 等模型的精確率更高，達到了93%以上，mAP高于90%，但存在召回率較低的問題，而本試驗所改進后的YOLOv4 模型，在保證精確率高于93%的前提下，將召回率提高到了85%以上，mAP值也比原模型更高，檢測效果比原模型更好。

在模型空間占用方面，YOLOv4Lite-MobileNet V3 模型所占空間最少，但精確率、召回率、mAP等較低；本試驗所改進后的YOLOv4 模型所占空間為136 MB，比YOLOv3、YOLOv4 模型的所占空間更少，且檢測效果更好。改進前后的YOLOv4 網(wǎng)絡模型的檢測效果如圖6 所示。

圖6 改進前后的模型檢測效果對比圖Fig.6 Comparison of the detection effect of the model before and after improvement

由圖6 可以看出，使用平均池化法代替SPP 模塊中的最大池化所訓練出的模型對梨果實的識別效果較好，主要表現(xiàn)為通過采用改進后的SPP 模塊，對自然環(huán)境下梨樹圖像中的果實檢測更全面，部分通過原YOLOv4 網(wǎng)絡模型未檢測出的果實主要存在陰影、遮擋或占圖中面積相對較小等問題，而采用改進后的YOLOv4 網(wǎng)絡模型可以更準確地對這些較難識別的果實正確地檢測。

4 結論

本研究針對自然環(huán)境下梨樹果實的識別場景存在果實與背景顏色相近，果實體積較小、遮擋嚴重等問題，提出了1 種基于改進YOLOv4 神經網(wǎng)絡模型的近色背景梨果實識別的方法，通過對YOLOv4中的SPP 模塊進行改動，將其中最大池化法改為平均池化法；將YOLOv4 模型結構中的部分卷積替換為深度可分離卷積，其精確率達到93.24%，召回率達到85.56%，F(xiàn)1得分為0.89，mAP為90.18%，模型所占空間減少44%，能夠對自然環(huán)境下梨樹圖像中的果實進行準確地識別，可為實現(xiàn)梨果實自動采摘、梨園產量測量提供新的方法，可為產量預估提供數(shù)據(jù)基礎，可為實現(xiàn)智慧果園提供新思路。