龍潔花 郭文忠 林森 文朝武 張宇 趙春江

摘要：針對目前設施農(nóng)業(yè)數(shù)字化栽培調控技術中對作物的生育期實時檢測與分類問題，提出一種改進YO? LOv4的溫室環(huán)境下草莓生育期識別方法。該方法將注意力機制引入到YOLOv4主干網(wǎng)絡的跨階段局部殘差模塊（Cross Stage Partial Residual ，CSPRes）中，融合草莓不同生長時期的目標特征信息，同時降低復雜背景的干擾，提高模型檢測精度的同時保證實時檢測效率。以云南地區(qū)的智能設施草莓為試驗對象，結果表明，本研究提出的YOLOv4-CBAM （YOLOv4-Convolutional Block Attention Module）模型對開花期、果實膨大期、綠果期和成熟期草莓的檢測平均精度（Average Precision ，AP）分別為92.38%、82.45%、68.01%和 92.31%，平均精度均值（Mean Average Precision ，mAP）為83.79%，平均交并比（Mean Inetersection over Union ，mIoU）為77.88%，檢測單張圖像時間為26.13 ms。YOLOv4-CBAM 模型檢測草莓生育期的mAP相比 YOLOv4、YOLOv4-SE 、YOLOv4-SC 模型分別提高8.7%、4.82%和 1.63%。該方法可對草莓各生育期目標進行精準識別和分類，并為設施草莓栽培的信息化、規(guī)?；{控提供有效的理論依據(jù)。

關鍵詞：目標檢測;草莓;生育期識別; YOLOv4;殘差模塊;注意力機制;損失函數(shù)

中圖分類號： S126文獻標志碼： A文章編號：202109-SA006

引用格式：龍潔花， 郭文忠， 林森， 文朝武， 張宇， 趙春江. 改進YOLOv4的溫室環(huán)境下草莓生育期識別方法[J].智慧農(nóng)業(yè)（中英文）， 2021， 3（4）：99-110.?????????????????????????????????????????????? ????????????????????????????????????LONG Jiehua， GUO Wenzhong， LIN Sen， WEN Chaowu， ZHANG Yu， ZHAO Chunjiang. Strawberry growth period recognition method under greenhouse environment based on improved YOLOv4[J]. Smart Agriculture， 2021， 3（4）：99-110.（in Chinese with English abstract）

1? 引言

中國是世界上草莓生產(chǎn)和消費的第一大國，草莓生產(chǎn)是促進中國農(nóng)民增收致富的重要經(jīng)濟作物[1]。草莓生育期可以作為灌溉、施肥、環(huán)境控制等智能管理的決策依據(jù)[2]。目前，草莓生育期的識別主要依靠人工觀測，工作效率低，無法滿足實時、快速的監(jiān)測需求。近年，深度學習在作物特征識別方面開始應用，由于溫室環(huán)境復雜，草莓各個生長時期之間存在密集分布、葉片遮擋、果實重疊等因素，給草莓生育期識別帶來了困難。因此，研究一種溫室環(huán)境下草莓生育期識別方法對提高水肥一體化、溫室環(huán)控系統(tǒng)、機器人等智能裝備作業(yè)精度具有重要意義。

近年來，隨著深度學習技術在場景識別、物體分類等方面的研究越來越成熟[3]，其對果蔬的識別也逐漸成為國內外研究的熱點[4，5]。深度學習中目標檢測模型主要分為兩類。一類是以 R- CNN （Region-Convolutional? Neural? Network）、 Faster R-CNN 和Mask R-CNN 為代表的基于候選區(qū)域的兩階段目標檢測方法，該類方法首先產(chǎn)生目標的候選區(qū)域，然后利用卷積網(wǎng)絡提取區(qū)域特征，對候選區(qū)域中的目標進行分類和回歸，識別精度高但速度較慢，難以滿足實時檢測要求[6]。 Lin和Chen[7]提出了一種基于區(qū)域的目標檢測方法Faster R-CNN對室外草莓花朵進行檢測，檢測精度為86.1%，但檢測時間達0.118 s 。Yu 等[8]提出一種改進的Mask R-CNN對成熟和未成熟草莓進行分割，平均檢測精度為95.78%，但檢測速度僅為8 f/s ?？梢娀趦呻A段目標檢測方法檢測速度有待進一步提高。另一類是以 SSD （Single Shot MultiBox Detector）、YOLO （You Only? Look Once）系列為代表的基于無侯選區(qū)域的單階段目標檢測方法，可直接通過網(wǎng)絡產(chǎn)生目標類別和邊界框而無需選擇候選區(qū)域，此類方法檢測速度快且識別準確率較高，可滿足實時檢測要求[9]。劉小剛等[10]提出一種改進的YOLOv3算法對復雜環(huán)境下成熟和未成熟草莓靜態(tài)圖像和動態(tài)視頻進行識別，對成熟和未成熟草莓的識別準確率分別為97.14%和 96.51%，且每張圖片平均檢測時間為35.99 ms。趙春江等[11]提出一種級聯(lián)卷積神經(jīng)網(wǎng)絡對溫室環(huán)境下番茄不同花期進行檢測，該方法首先采用特征金字塔網(wǎng)絡（Fea????? ture Pyramid Network ，F(xiàn)PN）分割出番茄花束區(qū)域，隨后將分割后的花束傳入YOLOv3網(wǎng)絡提取番茄不同花期的小目標特征，以實現(xiàn)花期識別，檢測時間為12.54 ms。劉天真等[12]提出一種融入 SE （Squeeze-and-Excitation）注意力機制（Attention Mechanism）的 YOLOv3網(wǎng)絡對復雜環(huán)境下冬棗果實進行識別，通過在YOLOv3主干網(wǎng)絡的最后兩個殘差塊后嵌入 SE 模塊，增強特征表達能力，試驗表明融入 SE 的YOLOv3模型平均檢測精度為82.01%，檢測耗時0.0723 s ?？梢娀趩坞A段目標檢測的YOLO算法在復雜環(huán)境下具有較好的識別性能和實時性。

目前研究大多只對作物成熟度或者花朵進行識別，對作物的花期和果實生長期同時識別的研究較少。本研究以不同時期的草莓圖像為研究對象，提出一種改進YOLOv4的溫室環(huán)境下草莓生育期識別方法，將注意力機制引入YOLOv4主干網(wǎng)絡的跨階段局部殘差模塊中，增加識別草莓不同生長時期目標的特征，同時降低背景信息的干擾，以提高溫室環(huán)境下草莓生育期檢測精度，為草莓智能化生產(chǎn)管控等提供決策依據(jù)。

2? 材料與方法

2.1 樣本采集及預處理

2.1.1?? 樣本采集

草莓數(shù)據(jù)采集于云南省昆明市富民縣種植基地，品種為章姬，采用手機螢石云軟件手動遠程采集草莓圖片，鏡頭分辨率為1920×1080 px，如圖1 所示。樣本在2020年 8月 13日到2020年11月13日期間采集，歷經(jīng)3個月，分別在每天的早上、中午、下午采集一次樣本數(shù)據(jù)，每次采集2張圖片，分別采集不同生長階段、不同遮擋程度的草莓樣本圖片，經(jīng)篩選后共300張。為考慮模型訓練圖片大小對計算機的性能要求，將圖片大小統(tǒng)一壓縮為960×540 px，提高網(wǎng)絡處理效率和小目標檢測的實時性[13]。根據(jù)圖片采集情況將草莓樣本分為4個時期：開花期、果實膨大期、綠果期和成熟期，如圖2所示。其中開花期84張，果實膨大期58張，綠果期33張，成熟期87張，包含多種時期的圖片38張。

2.1.2? 樣本增強

為提高網(wǎng)絡模型泛化能力和魯棒性，采用數(shù)據(jù)增強方法增加草莓生育期樣本數(shù)量[14]，防止網(wǎng)絡因訓練樣本不足導致過擬合。采用左右翻轉、調整圖像的亮度、對比度，以及增加噪聲等方法對草莓生育期樣本圖片進行數(shù)據(jù)增強，每張圖片增強5次，增強后的草莓樣本圖片集為1500張，并按照12：2：1的比例將數(shù)據(jù)集劃分為訓練集（1200張）、測試集（200張）和驗證集（100張）。采用LabelImg標注工具對每個樣本進行人工標注，生成一個目標對象二維像素坐標信息的 XML文件。

2.2 草莓生育期識別模型構建

2.2.1?? 注意力機制

近年來，注意力機制在圖像處理、語音識別和情感分析等領域具有廣泛應用[15]，注意力機制通過對神經(jīng)網(wǎng)絡傳播過程中的特征通道加以不同的權重，使得網(wǎng)絡更加重視權重較大的通道以進行參數(shù)更新[16]，其核心思想在于讓神經(jīng)網(wǎng)絡能夠忽略無關特征信息而關注重要信息，從而減少任務復雜度，提高檢測效率。圖像領域的注意力一般集中于提取特征的通道域和實現(xiàn)像素之間的空間域，注意力圖與通道維度和空間維度中的特征圖相乘提取更加細化的信息特征。

SE （Squeeze-and-Excitation）[17]是一種從通道維度提取特征的卷積神經(jīng)網(wǎng)絡注意力機制，采用特征重標定策略，讓網(wǎng)絡通過學習的方式自動獲取每個特征通道的重要信息[18]，主要包括壓縮和激發(fā)兩個過程，網(wǎng)絡結構如圖3 （a）所示。壓縮階段通過全局平均池化將空間大小為 H× W×C 的特征圖壓縮成1×1×C 的一維特征向量，隨后傳入激發(fā)階段。激發(fā)階段主要由2個全連接層（Fully Connected ，F(xiàn)C）組成，第1個全連接層有 C/r 個神經(jīng)元，輸入為1×1×C ，輸出為1×1×C/r ，其中r為降維縮放參數(shù)，用于壓縮全連接層參數(shù);第 2個全連接層有 C個神經(jīng)元，輸入為1×1×C/r ，輸出為1×1×C ，相比直接使用1個全連接層可更好地擬合通道間復雜的非線性關系，減少模型復雜度。經(jīng) Sigmoid激活函數(shù)得到大小為1×1×C的一維向量，最后經(jīng)特征重標定步驟，將激發(fā)階段輸出的一維向量與原輸入特征圖 S按通道權重相乘得到大小為H×W×C的輸出特征圖 S'。

CBAM （ Convolutional Block Attention Mod‐ule）[19]是一種從通道和空間兩個維度提取特征的卷積神經(jīng)網(wǎng)絡注意力機制，網(wǎng)絡結構如圖3 （b）所示，包含 CAM （Channel AttentionModule）通道注意力機制和 SAM （Spartial At‐tention Module）空間注意力機制。CAM相比 SE多了一個并行的最大池化層，首先通過執(zhí)行平均池化和最大池化將空間大小為H×W×C 的特征圖壓縮為1×1×C的一維向量，得到當前特征圖的全局壓縮特征量。池化后的一維向量傳入多層感知器區(qū)域（Muti-Layer? Perception ， MLP）， MLP 主要由2個全連接層構成，第1個全連接層將通道維數(shù)從 C維降至 C/r 維，第2個全連接層將通道數(shù)從 C/r維增加至 C 維。經(jīng)全連接層后的特征按元素相加，再進行 Sigmoid運算生成大小為 1×1×C 的一維向量 Mc 。Mc 與輸入大小為 H×W×C的特征圖F按元素相乘得到大小為H× W×C 的特征圖 F'作為 SAM 模塊的輸入。SAM 輸入特征圖F'先分別在通道維度上進行最大池化和平均池化操作得到2 個大小為 H×W×1的特征圖，將這2 個特征圖按通道維度拼接成 H×W×2的特征圖，再采用卷積核大小為3×3的卷積層對拼接后的特征圖降維至H×W×1的特征圖，通過 Sigmoid激活函數(shù)得到大小為H×W×1的空間注意力特征圖，最后將其與SAM 模塊的輸入特征圖 F'按元素相乘得到大小為 H×W×C的輸出特征圖F"。

2.2.2? 改進的YOLOv4網(wǎng)絡結構

YOLOv4[20]在 YOLOv3[21]基礎上采用了近些年神經(jīng)網(wǎng)絡領域中優(yōu)秀的算法模型和訓練技巧[22]，不僅提高了物體檢測精度和速度，且對于遮擋的物體檢測性能相比YOLOv3更加優(yōu)越，能滿足實時性檢測。由于草莓各個生育期為小目標，且所處為非結構化環(huán)境，花朵、果實之間存在密集分布、遮擋等因素，網(wǎng)絡在前向傳播過程中隨著網(wǎng)絡層數(shù)的加深，受遮擋和葉子背景干擾的小目標特征表示愈發(fā)減弱，導致這些目標的細節(jié)特征在整個深層網(wǎng)絡傳播過程中消失[23]，造成漏檢測或誤檢測，因此加強小目標特征學習和降低背景干擾極為重要。針對此問題，本研究將注意力機制融入到YOLOv4特征提取網(wǎng)絡中的跨階段局部殘差模塊（Cross Stage Partial Residual，CSPRes）[24]結構中，通過增加待識別目標區(qū)域的特征權值以降低背景信息對識別任務的干擾[25]，從而提高檢測精度。改進的YOLOv4網(wǎng)絡結構如圖4所示，主要由融入注意力機制的特征提取網(wǎng)絡、特征融合模塊，以及YOLOv3 head這3部分組成。

融入注意力機制的特征提取網(wǎng)絡主要由CBM、CSP1-SE/CBAM、CSP2-SE/CBAM、CSP8-SE/CBAM 、 CSP8-SE/CBAM 、 CSP4-SE/CBAM組成。CBM 主要由卷積（Conv）、批量歸一化（Batch Normalization ，BN）和 Mish 激活函數(shù)構成，主要用于對特征圖進行降維。CSPX（CrossStage Partial X）主要由CBM 卷積操作和X個殘差模塊（ResUnit）[26]級聯(lián)構成，卷積操作對特征進行降維，殘差模塊在淺層網(wǎng)絡和深層網(wǎng)絡間以跳躍連接的方式將輸入直接與輸出相加，用于解決深度神經(jīng)網(wǎng)絡中的梯度爆炸問題。CSPX-SE/CBAM 表示分別將 SE 通道注意力機制、CBAM 空間注意力機制融入到CSPRes結構中用于加強草莓生育期目標特征學習。特征融合模塊主要由空間金字塔池化（Spatial Pyramid Pool‐ing，SPP）[27]和路徑聚合網(wǎng)絡（Path AggregationNetwork，PANet）[28]組成。SPP使用不同尺度的最大池化核對特征圖像進行池化操作，用于增加主干網(wǎng)絡提取特征的接收范圍;PANet將不同檢測層參數(shù)特征進行聚合，進一步提高特征表達能力。輸入圖像的大小首先經(jīng)網(wǎng)絡調整為416×? 416 px，通過融入注意力機制的特征提取網(wǎng)絡和特征融合模塊得到大小為52×52 px、26×26 px、13×13 px的目標特征圖，YOLOv3 head 對這3 種不同尺度大小的特征圖進行分類和回歸預測，輸出類別和邊界框位置。

2.2.3? 融入注意力機制的特征提取網(wǎng)絡

由于注意力機制模塊可以插入到網(wǎng)絡任意位

置，考慮到不更改 CSPDarknet53的網(wǎng)絡結構而加載預訓練權重，本研究分別將 SE 通道注意力機制、CBAM 空間注意力機制嵌/插入到主干網(wǎng)絡 CSPDarknet53的CSPRes結構的第一層卷積前和最后一層卷積后，不會改變網(wǎng)絡結構。融入SE? 的主干網(wǎng)絡將其稱為CSP-SE（Cross Stage Partial- Squeeze and Excitation），融入CBAM的主干網(wǎng)絡將其稱為CSP-CBAM （Cross Stage Partial-Convolutional Block Attention Module），網(wǎng)絡結構分別如圖 5（a）和 5（b）所示。圖5 中 CSPX-SE、 CSPX-CBAM 中的X都表示跨階段局部殘差模塊個數(shù)，分別為1 、2、8、8和4。同時融合注意力機制的主干網(wǎng)絡的降維縮放參數(shù) r參照SENet網(wǎng)絡，設置 r =16對全連接層參數(shù)進行壓縮，用于平衡速度和檢測性能。

如圖 5所示，CSP-SE 網(wǎng)絡結構由 CBM、 CSP1-SE 、CSP2-SE 、2個 CSP8-SE 和 CSP4-SE? 組成，CSP-CBAM 網(wǎng)絡結構由 CBM 、 CSP1-CBAM 、 CSP2-CBAM 、2 個 CSP8-CBAM 和 CSP4-CBAM 組成。CSPX-SE 和 CSPX-CBAM 結構分別將 SE和CBAM注意力機制插入到CSPRes的第一層卷積前和最后一層卷積后，網(wǎng)絡在訓練過程中對經(jīng)過使用注意力機制的通道維度和空間維度加以更高的特征權重，使得網(wǎng)絡更加重視權值較大的特征以進行學習，忽視無關特征信息，以提取更多目標特征傳遞給后續(xù)特征融合模塊。

2.2.4? 草莓生育期檢測模型架構

本研究將融入注意力機制的特征提取網(wǎng)絡作為改進YOLOv4的主干網(wǎng)絡，對草莓各個生育期進行識別，草莓生育期檢測模型架構如圖6所示。主要分為2 部分：第一部分為數(shù)據(jù)預處理，第二部分為草莓生育期檢測網(wǎng)絡。數(shù)據(jù)預處理在數(shù)據(jù)采集基礎上采用數(shù)據(jù)增強方法對樣本進行擴增，用于提高模型泛化能力。草莓生育期檢測網(wǎng)絡主要由融入注意力機制的特征提取網(wǎng)絡和特征融合模塊組成。融入注意力機制的特征提取網(wǎng)絡在訓練時通過學習忽略無關目標特征的信息而關注重點信息，提取不同時期更準確的草莓特征傳入特征融合網(wǎng)絡中，特征融合模塊對不同尺度的特征進行聚合，得到預測框和草莓類別，分別為開花期、果實膨脹期、綠果期和成熟期。網(wǎng)絡在訓練過程中學習各個階段草莓的最重要特征并進行區(qū)分，同時根據(jù)邊界框、類別和置信度損失函數(shù)不斷地調整模型參數(shù)使網(wǎng)絡最終達到收斂狀態(tài)，得到更加準確的類別預測和邊界框位置，實現(xiàn)草莓各個生育期的精準檢測。

2.2.5? 損失函數(shù)

YOLO損失包含類別損失、邊界框位置損失和置信度損失。類別損失和置信度損失都采用二元交叉熵損失函數(shù)，而目標檢測中的一項重要任務就是確定目標邊界框位置。改進的YOLOv4網(wǎng)絡采用CIoU Loss （Complete IoU Loss）計算邊界框位置損失，同時考慮到了邊界框重合度、中心距離和寬高比的信息，進一步提高模型精度。CIoU Loss計算如公式（1）所示。

LCIoU? =1 - IoU +?????????? +αν???????? （1）

其中，IoU為預測框與目標框的交并比; b 為先驗框的中心點;bgt為目標框的中心點;ρ 為兩個中心點的歐式距離; c為先驗框和目標框之間的最小矩形的對角線距離;α 為權衡參數(shù); v 為長寬比一致性衡量參數(shù)。α和 v 計算方法如公式（2）和公式（3）所示。

其中，w為預測框的寬; h為預測框的高。

3? 試驗與結果分析

3.1 試驗環(huán)境及參數(shù)設置

草莓檢測網(wǎng)絡均在Pytorch深度學習框架中訓練。硬件環(huán)境為 Intel? CoreTM i7-9800X CPU@3.8 GHz×16中央處理器，16 GB 運行內存，12 GB 的 GeForce GTX 1080ti 顯卡。軟件環(huán)境為Ubuntu16.04系統(tǒng)，網(wǎng)絡在 Anaconda3虛擬環(huán)境下運行，配置安裝 python3.7、 Cuda10.0 和Cudnn7.4。圖片輸入大小為416×416 px。訓練采用凍結訓練策略。首先凍結主干網(wǎng)絡參數(shù)訓練1000步，學習率設置為0.01，隨后解凍網(wǎng)絡訓練2000步，學習率設置為0.001，總迭代步數(shù)為3000，采用凍結訓練可以加快網(wǎng)絡訓練速度，也可防止訓練初期權重被破壞。IoU閾值設置為0.5。

3.2 試驗評價指標

本研究采用準確率（Precision ，P）、召回率（Recall ， R）、平均精度（Average? Precision， AP）、平均精度均值（Mean Average Precision，mAP）、平均交并比（Mean? Intersection? over? Union ，mIoU）作為網(wǎng)絡性能的主要評價指標。其中mAP是衡量多類別目標檢測模型性能的重要指標，交并比是預測框與真實框的重合程度，用來表示目標定位精度。各評價指標計算如公式（4）～公式（7）所示：

P =???????????????????????????????????????? （4）

R =????;???????????????????????????????????? （5）

AP =∫ P （R）dR（6）

mAP = n? AP??????????????????????????? （7）

其中，TP表示模型預測為正的正樣本個數(shù)，個; FP 表示模型預測為正的負樣本個數(shù)，個; FN表示模型預測為負的正樣本個數(shù)，個; TN表示模型預測為負的負樣本個數(shù)，個; AP 為準確率在召回率上的積分，只計算單一類別精度值;mAP為每一個類別AP 的平均值，其中i為類別編號，n為類別個數(shù)，個。本研究中草莓生育期類別分別為開花期、果實膨大期、綠果期和成熟期，故n=4。

使用模型增量參數(shù)和平均檢測時間作為檢測速度的評估指標。

3.3 草莓生育期檢測性能結果分析

為有效對比 YOLOv4網(wǎng)絡中融入 SE 和CBAM注意力機制的性能，將 SAM與 SE注意力機制級聯(lián)組合成先SAM空間后 SE通道的混合注意力機制，稱其為 SC （Spatial and Channel）注意力機制模塊。同時將 SC 注意力機制融入到YOLOv4主干網(wǎng)絡的跨階段局部殘差模塊的第一層卷積前和最后一層卷積后，融入 SC 的主干網(wǎng)絡稱其為 CSP-SC （Cross Stage Partial-Spatial andChannel）。分別將 CSP-SE 、CSP-CBAM 、CSP-SC 作為改進 YOLOv4的主干網(wǎng)絡，記為 YO‐LOv4-SE 、 YOLOv4-CBAM 、 YOLOv4-SC 。為驗證融入注意力機制的改進YOLOv4模型在溫室環(huán)境下檢測草莓生育期的性能，與YOLOv4網(wǎng)絡在測試集上對草莓開花期、果實膨大期、綠熟期和成熟期這4個生長時期檢測的性能進行對比分析，結果如表1所示。

由表1可知，YOLOv4-CBAM對不同生長時期草莓檢測的mAP和mIoU相比YOLOv4分別提高 8.7%和5.53%，平均檢測時間相比YOLOv4增加 1.13 ms;YOLOv4-SC對不同生長時期草莓檢測的mAP和mIoU相比 YOLOv4分別提高7.07%和2.8%，平均檢測相比 YOLOv4增加0.87 ms;YOLOv4-SE 對不同生長時期草莓檢測的mAP和mIoU相比YOLOv4分別提高3.88%和2.07%，平均檢測時間相比 YOLOv4增加0.45 ms?？芍赮OLOv4主干網(wǎng)絡中加入注意力機制雖然增加了模型參數(shù)數(shù)量，但模型檢測時間只是略有增加，而YOLOv4-CBAM 、YOLOv4-SC和YOLOv4-SE 檢測性能相比 YOLOv4卻有顯著提升。其次， YOLOv4-CBAM 的mAP和mIoU相比 YOLOv4- SE模型分別提高4.82%和3.46%，平均檢測時間相比YOLOv4-SE增加0.68 ms，是因為CBAM在網(wǎng)絡結構上比 SE 多了一個空間注意力模塊，是從通道和空間兩個維度提取草莓各個生長時期的特征，使得YOLOv4-CBAM 模型相比 YOLOv4- SE更加關注于識別物體，從而提高了檢測精度和定位精度。YOLOv4-CBAM的mAP和mIoU相比YOLOv4-SC模型分別提高1.63%和2.73%，平均檢測時間相比YOLOv4-SC增加0.26 ms，是因為 SC 模塊中的 SE 結構相比 CBAM 中的 CAM 結構少了一個并行的最大池化層，采用并行的最大池化和平均池化組合相比，使用一個平均池化丟失的特征信息更少，得到的目標特征更豐富，定位準確度更高。綜合權衡檢測精度和網(wǎng)絡運行時間，YOLOv4-CBAM 模型檢測不同生長時期草莓更具魯棒性，滿足實時性檢測要求。

3.4 草莓生育期識別效果對比分析

本研究分別采用 YOLOv4-CBAM 、 YOLOv4-SE 、YOLOv4-SC 和 YOLOv4基于草莓圖片（隨機選取樣例1 和樣例2）對草莓生育期行預測，結果如圖7所示。從圖7 中可以看到，融入注意力機制的改進YOLOv4模型對復雜環(huán)境下不同時期的草莓均具有很好的識別效果，且能準確定位不同時期的草莓目標。

為有效對比不同模型的識別效果，對草莓各個時期進行計數(shù)，并統(tǒng)計其置信度大小，結果如表2所示，包括不同模型識別樣例1 和樣例2 中不同生長時期草莓的置信度和個數(shù)結果。

從表2 （108頁）可知，YOLOv4-CBAM 對開花期、果實膨大期、綠果期和成熟期草莓識別的置信度均高于其他模型，表明 YOLOv4- CBAM 預測目標正確概率更大。樣例1 中 YOLOv4-CBAM 、YOLOv4-SC 和 YOLOv4-SE 識別開花期和果實膨大期數(shù)量明顯多于YOLOv4，說明增加注意力機制能增加小目標特征提取的能力。樣例2中YOLOv4識別綠果期時存在誤識別現(xiàn)象，將果實膨大期和成熟期誤識別為綠果期，綠果期和果實膨大期之間特征較為相似，被葉子遮擋的成熟期特征不明顯，導致YOLOv4出現(xiàn)誤識別為綠果期現(xiàn)象，且YOLOv4識別果實膨大期數(shù)量少于YOLOv4-SE 、YOLOv4-SC和YOLOv4-CBAM模型，是因為果實膨大期顏色特征與葉子背景特征相似，導致YOLOv4識別果實膨大期特征時易受葉子背景干擾，而加入注意力機制可以降低背景信息和其他特征信息的干擾。YOLOv4-SE 、YOLOv4-SC和YOLOv4-CBAM模型均無誤識別現(xiàn)象，但 YOLOv4-CBAM 模型相比 YO‐LOv4-SE 和 YOLOv4-SC 模型識別不同生長時期草莓的置信度更高，且 YOLOv4-CBAM 識別果實膨大期和成熟期個數(shù)高于 YOLOv4-SE ，說明YOLOv4-CBAM 模型能提取更加全面豐富的特征，更加關注于識別目標，從而提高檢測準確率。

4? 結論

本研究提出了一種融合注意力機制的改進YOLOv4模型對不同生育期的草莓進行識別，將注意力機制融入到 YOLOv4主干網(wǎng)絡的CSPRes的第一層卷積前和最后一層卷積后，網(wǎng)絡通過注意力機制對重要的目標特征加以更高的特征權重，以融合草莓不同生育期的特征信息同時降低復雜背景信息的干擾，提高檢測精度。

（1）在草莓生育期測試集上試驗結果表明，提出的 YOLOv4-CBAM 模型對草莓開花期、果實膨大期、綠果期和成熟期的檢測平均精度分別為92.38%、82.45%、68.01%和 92.31%，平均精度均值為83.79%，平均交并比為77.88%，平均檢測時間為26.13 ms。與其他融入注意力機制的模型相比，YOLOv4-CBAM 模型綜合權衡了檢測精度與網(wǎng)絡運行速度，且定位精度最高，可滿足實時檢測草莓生育期狀態(tài)需求。

（2）融入注意力機制的改進YOLOv4模型對不同生育期草莓的檢測精度、平均交并比均高于 YOLOv4模型，可知融入注意力機制有助于網(wǎng)絡學習更加重要的目標特征，忽略無關特征，從而降低背景信息干擾。YOLOv4-CBAM 模型的平均檢測時間相比 YOLOv4、YOLOv4-SE 和 YOLOv4-SC模型略有增加，但對實時性檢測影響不大。針對此問題，下一步研究可構建更加輕量級的 CBAM 模型嵌入到 YOLOv4網(wǎng)絡中，有效提高模型運行速度的同時提高檢測精度。

參考文獻：

[1]張更， 顏志明， 王全智， 等. 我國設施草莓無土栽培技術的研究進展與發(fā)展建議[J].江蘇農(nóng)業(yè)科學， 2019， 47（18）：58-61.

ZHANG G， YAN Z， WANG Q， et al. Research prog‐ress? and? development? suggestions? of soilless? culturetechniques of China's facility strawberry[J]. Jiangsu Ag‐ricultural Sciences， 2019， 47（18）：58-61.

[2]林森， 郭文忠， 鄭建鋒， 等. 基于知識圖譜和機器視覺的智慧草莓生產(chǎn)托管服務系統(tǒng)實踐[J].農(nóng)業(yè)工程技術， 2021， 41（4）：17-20.

LIN? S，? GUO W， ZHENG? J，? et? al. Practice? of smartstrawberry production hosting service system based onknowledge? graph? and machine vision[J]. AgriculturalEngineering Technology， 2021， 41（4）：17-20.

[3]徐建鵬， 王杰， 徐祥， 等. 基于RAdam卷積神經(jīng)網(wǎng)絡的水稻生育期圖像識別[J].農(nóng)業(yè)工程學報， 2021， 37（8）：143-150.

XU J， WANG J， XU X， et al. Image recognition for dif‐ferent? developmental? stages? of rice by? RAdam? deepconvolutional neural networks[J]. Transactions? of theCSAE， 2021， 37（8）：143-150.

[4] CHEN W， LU S， LIU B， et al. Detecting citrus in or‐chard? environment? by? using? improved? YOLOv4[J]. Scientific Programming， 2020（1）：1-13.

[5] PéREZ-BORRERO???? I，??? MARíN-SANTOS???? D，GEGúNDE-ARIAS? M? E，? et? al. A fast? and? accurate deep learning method for strawberry instance segmentation[J]. Computers? and? Electronics? in? Agriculture， 2020， 178（6）：105736-105748.

[6]劉芳， 劉玉坤， 林森， 等. 基于改進型YOLO的復雜環(huán)境下番茄果實快速識別方法[J].農(nóng)業(yè)機械學報 ， 2020， 51（6）：229-237.

LIU F， LIU Y， LIN S， et al. Fast recognition method for tomatoes? under? complex? environments based? on? improved YOLO[J]. Transactions of the CSAM， 2020， 51（6）：229-237.

[7] LIN P，? CHEN Y. Detection? of strawberry? flowers? inoutdoor field by deep neural network[C]//2018 IEEE 3rd? International? Conference? on? Image，? Vision? and Computing （ICIVC）. Piscataway，? New? York，? USA：IEEE 2018：482-486.

[8] YU Y， ZHANG K， YANG L， et al. Fruit detection forstrawberry harvesting robot in non-structural environment based on Mask-RCNN[J]. Computers and Electronics in Agriculture， 2019（163）：104846-104855.

[9]李志軍， 楊圣慧， 史德帥， 等. 基于輕量化改進 YO‐LOv5的蘋果樹產(chǎn)量測定方法[J].智慧農(nóng)業(yè)， 2021， 3（2）：100-114.

LI Z， YANG S， SHI D， et al. Yield estimation method of apple tree based on improved lightweight YOLOv5[J]. Smart Agriculture， 2021， 3（2）：100-114.

[10] 劉小剛， 范誠， 李加念， 等. 基于卷積神經(jīng)網(wǎng)絡的草莓識別方法[J].農(nóng)業(yè)機械學報， 2020， 51（2）：237-244.???? LIU X， FANG C， LI J， et al. Identification method of strawberry based on convolutional neural network[J]. Transactions of the CSAM， 2020， 51（2）：237-244.

[11] 趙春江， 文朝武， 林森， 等. 基于級聯(lián)卷積神經(jīng)網(wǎng)絡的番茄花期識別檢測方法[J].農(nóng)業(yè)工程學報， 2020， 36（24）：143-152.

ZHAO C， WEN C， LIN S， et al. Tomato florescence recognition ?and? detection method based? on? cascaded neural network[J]. Transactions of the CSAE， 2020， 36（24）：143-152.

[12] 劉天真， 滕桂法， 苑迎春， 等. 基于改進YOLOv3的自然場景下冬棗果實識別方法[J].農(nóng)業(yè)機械學報 ， 2021， 52（5）：17-25.

LIU T， TENG G， YUAN Y， et al. Winter jujube fruit recognition method based on improved YOLOv3 under natural scene[J]. Transactions of the CSAM， 2021， 52（5）：17-25.

[13] 劉立波， 程曉龍， 賴軍臣. 基于改進全卷積網(wǎng)絡的棉田冠層圖像分割方法[J].農(nóng)業(yè)工程學報， 2018， 34（12）：193-201.

LIU L， CHENG X， LAI J， et al. Segmentation methodfor cotton canopy image based on improved fully con‐volutional? network? model[J].? Transactions? of? theCSAE， 2018， 34（12）：193-201.

[14] 朱逢樂， 鄭增威. 基于圖像和卷積神經(jīng)網(wǎng)絡的蝴蝶蘭種苗生長勢評估[J].農(nóng)業(yè)工程學報 ， 2020， 36（9）：185-194.

ZHU F， ZHENG Z. Image-based assessment of growthvigor for Phalaenopsis aphrodite seedlings using con‐volutional? neural? network[J].? Transactions? of? theCSAE， 2020， 36（9）：185-194.

[15] CHAUDHARI S， MITHAL V， POLATKAN G， et al.An attentive survey of attention models[J/OL]. arXiv：1904.02874v3[cs.Lg].2021.

[16] 徐誠極， 王曉峰， 楊亞東. Attention-YOLO：引入注意力機制的 YOLO檢測算法[J].計算機工程與應用，2019， 55（6）：13-23.

XU C， WANG X， YANG Y. Attention-YOLO： YOLOdetection? algorithm? that? introduces? attention? mecha‐nism[J].? Computer? Engineering? and? Applications，2019， 55（6）：13-23.

[17] HU J， SHEN L， SUN G， et al. Squeeze-and-excitationnetworks[C]// The? IEEE? conference? on? computer vi‐sion? and pattern? recognition. Piscataway， New York，USA： IEEE， 2018：2011-2023.

[18] 汶茂寧. 基于輪廓波CNN 和選擇性注意機制的高分辨 SAR 目標檢測和分類[D].西安：西安電子科技大學， 2018.

WEN M. Target detection and classification for high-resolution? SAR image based on contourlet CNN andselective attention mechanism[D]. Xi'an： Xidian Uni‐versity， 2018.

[19] WOO S， PARK J， LEE J-Y， et al. CBAM： Convolution‐al block attention module[C]// The European Confer‐ence? on? Computer? Vision（ECCV）. Berlin，? German：Springer， 2018：3-19.

[20] BOCHKOVSKIY A， WANG C， LIAO H M. YOLOv4：Optimal speed and accuracy of object detection[J/OL].arXiv：2004.10934[cs.CV].2020.

[21] REDMON J， FARHAD A. YOLOv3： An incrementalimprovement[J/OL]. arXiv：1804.02767[cs.CV].2018.

[22] 蔣镕圻， 彭月平， 謝文宣， 等. 嵌入scSE模塊的改進YOLOv4小目標檢測算法[J].圖學學報， 2021， 42（4）：546-555.

JIANG R， PENG Y， XIE W， et al. Improved YOLOv4small target detection algorithm with embedded scSEmodule[J]. Journal of Graphics， 2021， 42（4）：546-555.

[23] 李文濤， 張巖， 莫錦秋， 等. 基于改進YOLOv3-tiny的田間行人與農(nóng)機障礙物檢測[J].農(nóng)業(yè)機械學報 ，2020， 51（S1）：8-15， 40.

LI W， ZHANG Y， MO J， et al. Detection of pedestrian and? agricultural vehicles? in? field based? on? improved YOLOv3 tiny[J]. Transactions of the CSAM， 2020， 51（S1）：8-15， 40.

[24] WANG C， LIAO H M， WU Y， et al. CSPNet： A newbackbone? that? can? enhance? learning? capability? of CNN[C]// 2020 IEEE/CVF? Conference? on? Computer Vision? and? Pattern? Recognition? Workshops. Piscataway， New York， USA： IEEE， 2020：1571-1580.

[25] 溫長吉， 婁月， 張笑然， 等. 基于改進稠密膠囊網(wǎng)絡模型的植物識別方法[J].農(nóng)業(yè)工程學報， 2020， 36（8）：143-155.

WEN C， LOU Y， ZHANG X， et al. Plant recognition method based on an improved dense CapsNet[J]. Trans‐actions of the CSAE， 2020， 36（8）：143-155.

[26] HE K， ZHANG X， REN S， et al. Deep residual Learn‐ing? for image recognition[C]// The IEEE? Conferenceon Computer Vision and Pattern Recognition. Piscat‐away， New York， USA： IEEE， 2016：770-778.

[27] HE K， ZHANG X， REN S， et al. Spatial pyramid pool‐ing in deep convolutional networks for visual recogni‐tion[J]. IEEE Transactions on Pattern Analysis and Ma‐chine Intelligence， 2014， 37（9）：1904-1916.

[28] LIU S， QI L， QIN H， et al. Path aggregation networkfor instance? segmentation[C]//2018 IEEE/CVF? Con‐zerence on Computer Vision and Pattern Recognition（CVPR）. Piscataway，? New? York，? USA： IEEE， 2018：8759-8768.

Strawberry Growth Period Recognition Method Under? Greenhouse Environment Based on Improved YOLOv4

LONG Jiehua1，2， GUO Wenzhong1， LIN Sen1*， WEN Chaowu1， ZHANG Yu1， ZHAO Chunjiang1

（1. Beijing Academy of Agriculture and Forestry Sciences Intelligent Equipment Technology Research Center， Beijing 100097， China;2. College of Information Science， Shanghai Ocean University， Shanghai 201306， China）

Abstract： Aiming at the real-time detection and classification of the growth period of crops in the current digital cultivation and regulation technology of facility agriculture， an improved YOLOv4 method for identifying the growth period of strawberries in a greenhouse environment was proposed. The attention mechanism into the Cross Stage Partial Residual （CSPRes） module of the YOLOv4 backbone network was introduced， and the target feature information of different growth periods of strawberries while reducing the interference of complex backgrounds was integrated， the detection accuracy while ensured real-time detection efficiency was improved. Took the smart facility strawberry in Yunnan province as the test object， the results showed that the detection accuracy （AP） of the YOLOv4-CBAM model during flowering， fruit expansion， green and mature period were 92.38%， 82.45%， 68.01% and 92.31%， respectively， the mean average precision （mAP） was 83.78%， the mean inetersection over union （mIoU） was 77.88%， and the detection time for a single image was 26.13 ms. Compared with the YOLOv4-SC model， mAP and mIoU were increased by 1.62% and 2.73%， respectively. Compared with the YOLOv4-SE model， mAP and mIOU increased by 4.81% and 3.46%， respectively. Compared with the YOLOv4 model， mAP and mIOU increased by 8.69% and 5.53%， respectively. As the attention mechanism was added to the improved YOLOv4 model， the amount of parameters increased， but the detection time of improved YOLOv4 models only slightly increased. At the same time， the number of fruit expansion period recognized by YOLOv4 was less than that of YOLOv4-CBAM， YOLOv4-SC and YOLOv4-SE， because the color characteristics of fruit expansion period were similar to those of leaf background， which made YOLOv4 recognition susceptible to leaf background interference， and added attention mechanism could reduce background information interference. YOLOv4-CBAM had higher confidence and number of identifications in identifying strawberry growth stages than YOLOv4-SC， YOLOv4-SE and YOLOv4 models， indicated that YOLOv4-CBAM model can extract more comprehensive and rich features and focus more on identifying targets， thereby improved detection accuracy. YOLOv4-CBAM model can meet the demand for real-time detection of strawberry growth period status.