摘要： 為實現(xiàn)冬棗園機械化自動化采摘以及冬棗樹精準化管理，針對自然場景下冬棗果實的快速、準確分類識別問題，提出一種基于YOLO v4模型改進的冬棗果實分類識別模型CC-YOLO v4。利用改進的CSP跨階段部分連接結構和多尺度特征融合的CBAM卷積注意力模塊，減小網(wǎng)絡規(guī)模的同時增強特征提取能力，改善果實分類識別的誤檢和遮擋目標的漏檢情況；采用Softmax交叉熵損失函數(shù)代替Sigmoid二元交叉熵損失函數(shù)作為分類損失函數(shù)，引入EIoU損失函數(shù)代替CIoU損失函數(shù)作為邊界框回歸損失，進一步改善果實分類識別的誤檢并提升預測框精度。試驗結果表明，CC-YOLO v4模型對3類冬棗果實的查準率P均值為81.86%，平均檢測精度均值mAP為82.46%，IoU均值為81.35%，模型參數(shù)量和大小分別為26.9 M和108 MB，檢測速度可達28.8 F/s。與其他模型相比，本模型具有更好的分類識別能力、識別速度和較小的模型復雜度。在不同果實數(shù)量情況下進一步試驗，本研究方法具有良好的精度和魯棒性，對解決自然場景下冬棗果實的精準分類識別問題具有重要參考價值。

關鍵詞： 冬棗；果實識別；YOLO v4；損失函數(shù)；自然場景

中圖分類號：TP391.41 "文獻標志碼：A

文章編號：1002-1302（2024）01-0163-09

冬棗在我國栽植面積廣泛，主要栽植區(qū)在河北、山東、陜西等地，優(yōu)質的冬棗果實深受消費者喜愛，為當?shù)貛磔^高的經濟收益［1-2］。冬棗果實的口感和品質與成熟度密切相關，成熟度通過果皮的顏色來分類，其中1/3紅期至半紅期的果實綜合品質最優(yōu)，外觀、口感、糖度和營養(yǎng)物質含量俱佳，可以確定為最佳采摘期［3］。目前冬棗采收仍以人工方式為主，挑選最佳采摘期的冬棗果實進行采收，人工成本高、采摘效率低。因此研究一種能夠在果園自然場景下針對不同成熟度冬棗果實的分類識別方法，對實現(xiàn)冬棗果實機械化分級采摘具有重要的現(xiàn)實意義。

冬棗果實分類識別屬于果實識別問題，國內外學者基于傳統(tǒng)機器學習的方法在果實識別方面提出了諸多解決方案。Wang等提出了基于R（red）G（green）B（blue）顏色空間的色差融合的圖像分割方法，實現(xiàn)了靈武長棗的成熟度識別，分割后靈武長棗成熟度水平識別的正確率在90%以上［4］。畢松等采用多重分割法提出了柑橘視覺識別模型，模型平均準確率為86.6%［5］。劉燕德等利用篩選出的成熟度評價指標和光譜指數(shù)建立了多元線性回歸（multiple linear regression，MLR）評價模型評價蜜橘成熟度，達到精準分類的結果［6］。趙娟等基于光譜數(shù)據(jù)建立了光譜分類模型來判別蘋果采摘成熟度，其中基于成熟度評價指數(shù)（simplified internal quality index，SIQI）和支持向量回歸算法（support vector regression，SVR）構建的分類模型判別準確率最優(yōu)，預測集準確率達85.71%［7］。以上研究成果均未提及識別速度和效率問題，部分成果采用光譜檢測，不僅在采摘裝置上難以部署實施，也易受自然環(huán)境中的光線影響而造成較大誤差，魯棒性差?？梢娀趥鹘y(tǒng)機器學習按成熟情況進行分類果實識別的方法存在諸多問題，難以滿足實際情況需要。

近年來，深度學習方法在農業(yè)果實識別領域應用越來越廣泛，取得了諸多研究成果。有關冬棗果實識別問題的研究主要有Lu等采用YOLO v3和手工特征相結合的算法設計了冬棗分級機器人，按果實表面變紅比例劃分為適宜長期儲存、短期儲存和銷售3類，實現(xiàn)了采收冬棗的分級識別，但該方法采摘后的果實是在實驗室環(huán)境下開展研究，并未對自然場景下的冬棗果實進行識別試驗［8］。王鐵偉等通過數(shù)據(jù)擴增并采用Faster R CNN對自然環(huán)境下樣本數(shù)量不足和類別不平衡的全青和片紅2種成熟度的冬棗進行了識別，與YOLO v3對比驗證了模型的泛化效果，但果實分類不能滿足冬棗實際采摘需求［9］。劉天真等將激勵注意力（squeeze and excitation uttention，SE）通道注意力模塊嵌入YOLO v3模型對自然場景下的冬棗進行了檢測識別，在不同密集程度、光照和成熟期條件下識別效果得到了提升，但未對冬棗果實進行分類識別［10］。以上關于冬棗果實的識別研究，均難以滿足自然場景下冬棗果實分類識別的需求。

其他種類果實的識別問題相關研究也不在少數(shù)，其中，趙輝等通過修改主干網(wǎng)絡改進YOLO v3網(wǎng)絡，并采用焦點損失函數(shù)（focal loss）和完整交并比損失（complete intersection over union loss，CIoU Loss ）的聯(lián)合損失函數(shù)提高模型識別精度，實現(xiàn)了果園場景下成熟和未熟蘋果的識別［11］。趙德安等基于YOLO v3搭建出一個13層的主干網(wǎng)絡，使用2種不同尺度的錨點框，實現(xiàn)了復雜環(huán)境下成熟、未熟和套袋3類蘋果的檢測識別，獲得了較高的準確率和交并比（intersection over union，IoU）均值［12］。Cao等基于YOLO v4模型通過減小網(wǎng)絡寬度、減少主干網(wǎng)絡層數(shù)、簡化頸部網(wǎng)絡的同時引入卷積塊注意力模塊（convolution block attention module，CBAM），構建了輕量化的YOLO v4- LightC-CBAM模型用于采摘場景下芒果果實的快速、精確識別［13］。王立舒等基于YOLO v4-Tiny網(wǎng)絡改進，采用CSP Darknet53-Tiny網(wǎng)絡模型作為主干網(wǎng)絡，將CBAM模塊加入YOLO v4-Tiny網(wǎng)絡結構的FPN中，提升了自然環(huán)境下成熟、半熟、未熟3類藍莓果實的識別［14］。黃彤鑌等提出一種基于YOLO v5改進模型的柑橘識別方法，在模型中引入CBAM注意力機制模塊，并采用α-IoU損失函數(shù)代替廣義交并比（generalized intersection over union，GIoU）損失函數(shù)作為邊界框回歸損失函數(shù)，不僅提升了平均精度，還縮減了模型大小、縮短了檢測時間［15］。Sun等應用類別平衡損失對GoogLeNet進行改進，解決了完好、 腐爛和銹斑3類數(shù)量不平衡的玉露香梨分類識別精度不高的問題［16］。張志遠等基于YOLO v5模型對Backbone 網(wǎng)絡進行改動后添加Transformer注意力模塊，在Neck網(wǎng)絡中將PAFPN結構變?yōu)殡p向加權融合的BiFPN結構，在Head中增加淺層下采樣模塊，構建了針對小目標櫻桃的檢測模型，部署到安卓平臺，實現(xiàn)了大田環(huán)境下櫻桃果實檢測效果的顯著提高［17］。

以上針對果實識別問題的研究采用改進網(wǎng)絡模型、引入注意力機制、修改損失函數(shù)等方法，均獲得了較好的識別效率和效果。為解決自然場景下冬棗果實分類識別存在的檢測速度較慢、檢測效果不佳等問題，本研究基于YOLO v4模型利用跨階段部分連接CSP（cross stage partial connections）結構、融合多尺度特征的CBAM卷積注意力模塊和損失函數(shù)對模型結構進行改進，提出一種CC-YOLO v4模型的冬棗果實分類識別方法，并結合損失函數(shù)的改進進一步提升識別效果，為快速精確地分類識別冬棗果實提供思路。

1 材料與方法

1.1 圖像采集與數(shù)據(jù)集制作

本研究圖像采集地點為河北省滄州市滄縣紅棗樹教育基地（116.71°E，38.37°N）和南顧屯村冬棗園（116.99°E，38.26°N），采集日期在2019年8月底至10月初，冬棗果實處于不同生長階段，采集圖像所用設備為佳能數(shù)碼相機、智能手機，采集圖像時保證光線充足，以便于觀察冬棗成熟度情況，考慮到采摘范圍有限，與采摘目標保持較近距離。

選取1 000張冬棗圖片作為本研究試驗所用數(shù)據(jù)集，使用圖片標注工具Lableimg對冬棗目標進行分類標注。根據(jù)棗專家的建議并參考相關研究［4］，本研究確定將面向采摘的冬棗按3個成熟度水平分類識別，Stage1是等待進入最佳采摘期的階段，包括綠熟、白熟和點紅（表面為少量散點狀變紅）的果實，Stage2是進入最佳采摘期的階段，包括表面連續(xù)變紅且變紅比例＜50%，Stage3是已過最佳采摘期，需要馬上采摘的階段，包括表面連續(xù)變紅且變紅比例明顯在50%以上至全紅的果實，本研究以下內容將劃分的這3個成熟度水平分別用S1、S2、S3表示?？紤]到圖片中同時存在遠近景情況，標注時對圖片中便于采摘的全裸露或遮擋少于30%且處于采摘范圍內的果實進行標注，舍棄因距離較遠、體積較小而不適宜采摘的果實。標注時盡可能使標注框精確地框定果實目標，得到xml標注文件。

將標注后的冬棗圖片數(shù)據(jù)集以8 ∶ 1 ∶ 1的比例隨機劃分為訓練集、驗證集、測試集，數(shù)據(jù)集詳細情況如表1所示。統(tǒng)計各部分數(shù)據(jù)集冬棗果實個數(shù)，分別為4 105、498、476個，其中S1、S2、S3階段的果實分別為2 584、1 697、798個。

1.2 改進模型的設計

YOLO v4模型由Backbone、Neck和Head 3部分組成，Backbone網(wǎng)絡主要由5個CSP結構的殘差模塊和1個CBM模塊構成［18］。

CSP模塊來自于CSP Net，其基本思想是將特征圖分割成2個部分，每部分以不同方式學習特征，最后再將其拼接［19］。這樣不僅避免了梯度特征的復用問題，也減少了計算量，增強了模型的學習能力。5個CSP模塊包含的t殘差塊數(shù)量不同，分別為1、2、8、8、4，大大增加了模型層數(shù)，特征提取能力較強。但神經網(wǎng)絡的層數(shù)越深，也往往容易陷入局部最優(yōu)而無法獲得最優(yōu)解，而且網(wǎng)絡層數(shù)達到一定值時繼續(xù)增加層數(shù)并不一定能持續(xù)提高網(wǎng)絡的識別能力和精度［13］。同時考慮到計算能力的限制，減少網(wǎng)絡層數(shù)，構建輕量化神經網(wǎng)絡往往也能達到識別精度的要求［12-15］。

模型在CBL模塊后采用4個CSP模塊搭建Backbone部分，CSP模塊的殘差塊數(shù)為1，在Concat拼接后添加1個批歸一化層和LeakyReLU激活層，能夠加速網(wǎng)絡收斂，同時將其應用到Neck網(wǎng)絡中，分別替換Head層前面的CBL模塊，在Neck網(wǎng)絡中進一步加強特征提取能力。

本研究通過引入注意力機制來加強有效特征的提取、優(yōu)化網(wǎng)絡識別性能。CBAM 注意力模塊由通道注意力模塊（channel attention module，CAM）和空間注意力模塊（spatial attention module，SAM）組成，能夠在不顯著提高計算量和參數(shù)量的情況下有效提升特征提取能力［20］。

本研究借鑒多尺度特征融合方法對其進行改進，一方面通過在空間上和通道上的特征權值與原特征進行加權計算，另一方面僅將通道注意力模塊提取后與原特征進行加權計算，最后將未經過注意力機制的原特征直接與前2個加權特征進行特征融合，既不增加特征維度，減小了計算量，又增強了特征語義信息，提高了特征提取能力。

經改進后的識別模型結構稱為CC-YOLO v4模型，模型結構如圖1所示。

1.3 損失函數(shù)的改進

采摘時果實定位的準確性決定了采摘的成功率，這就要求識別模型不僅對果實分類識別的準確率要高，而且對識別果實的寬高尺寸及定位精準度需要更高。為了提高模型分類識別準確率和識別的預測框大小及定位的精準度，需要對損失函數(shù)進一步改進。

YOLO v4的損失函數(shù)由目標置信度損失、邊框定位損失和分類損失3個部分組成，其中目標置信度損失和分類損失采用二元交叉熵損失函數(shù)，目標定位損失采用CIoU損失函數(shù)。

目標定位損失函數(shù)CIoU考慮真實框和預測框的重疊面積、兩框中心點距離和長寬比3個要素進行定位回歸，如式（1）所示。

L ""CIoU=1-IoU+ ρ2（a，bgt） c2 +αυ； "（1）

式中： α= υ （1-IoU）+υ ；

υ= 4 π2 "arctan wgt hgt -arctan w h "2。

式中：IoU為預測框與真實框的交集與并集的比值；bgt和b分別代表真實框和預測框的中心點； ρ代表2個中心點的歐氏距離；c代表預測框和真實框最小外接矩形的對角線長度；wgt、hgt分別代表真實框的寬和高；w、h代表預測框的寬和高； υ用來度量真實框和預測框長寬比的相似性；α表示權重函數(shù)。

針對冬棗果實形狀為近圓形的情況，冬棗果實長寬比近似為1，υ為0，導致αυ懲罰項無效，預測框擬合真實框精度降低的問題。由此引入EIoU損失函數(shù)來代替CIoU損失函數(shù)，如式（2）所示。

L ""EIoU= L ""IoU+ L ""dis+ L ""asp=1-IoU+ ρ2（b，bgt） c2 + ρ2（w，wgt） c2 w + ρ2（h，hgt） c2 h 。 （2）

式中：c w、c h分別表示預測框和真實框的最小外接矩形的寬度和高度。

EIoU將CIoU的長寬比懲罰改為對真實框和預測框的長與寬的差作為懲罰［21］，可以解決冬棗形狀長寬相似時懲罰項退化的問題，從而提高預測框精度。

分類損失函數(shù)sigmoid二元交叉熵損失函數(shù)如式（3）所示，既考慮了正樣本損失又考慮了負樣本損失，這樣當正負樣本數(shù)量不平衡時，尤其是正樣本數(shù)量少而負樣本數(shù)量多時，會造成模型更關注于負樣本損失而忽略正樣本損失，不利于樣本分類精度提高。

從表1中不同類別的果實數(shù)量來看，由于冬棗成熟期不集中等因素，3類冬棗果實數(shù)量明顯出現(xiàn)了不平衡現(xiàn)象，使分類任務中不同類別的樣本數(shù)量存在一定程度的不平衡，sigmoid二元交叉熵損失函數(shù)在網(wǎng)絡學習過程中會更多關注樣本數(shù)量較多的樣本的特征，從而忽略各類樣本之間的差異，因此它更適用于數(shù)量較平衡的二分類任務，而針對本研究三分類的數(shù)量不平衡問題并不完全適用。

L ""BCE=-［ylny "^ +（1-y）ln（1-y "^ ）］； "（3）

L ""CE=-ylny "^ 。 "（4）

Softmax 交叉熵損失函數(shù)只關注正樣本損失而忽略了負樣本損失，如公式（4）所示，能夠直接提升正樣本的分類精度，彌補類別數(shù)量不平衡帶來的問題，從而緩解果實多類別間的互斥及數(shù)量不平衡的識別分類問題，使分類精度更高。因此本研究將分類損失由sigmoid二元交叉熵損失函數(shù)改為Softmax交叉熵損失函數(shù)，來進一步提高果實的分類精度。

1.4 模型參數(shù)量和大小對比

對模型網(wǎng)絡參數(shù)量和模型大小的比較如表2所示。本研究CC-YOLO v4的參數(shù)量只有26.9 M，比YOLO v4模型的參數(shù)量少34.5 M，比YOLO v3模型的參數(shù)量少31.8 M；模型占內存大小為108 MB， 分別只有YOLO v3和YOLO v4模型體積的45.96%和44.26%， 說明本研究的CC-YOLO v4網(wǎng)絡規(guī)模更小，訓練和測試的時間將被縮短，模型效率將有所提升。

2 試驗過程

2.1 運行環(huán)境

本試驗于2023年1月在河北農業(yè)大學信息科學與技術學院實驗室深度學習服務器上運行，CPU型號Inter Core i5-10400F，GPU型號NVIDIA GeForce RTX 2080 SUPER，運行內存為16 GB，操作系統(tǒng)為Windows 10，深度學習框架為TensorFlow 2.3.0， 使用Python 3.7編程語言。在此試驗環(huán)境下， 進行深度學習模型的搭建和試驗，能夠滿足試驗要求。

2.2 模型訓練

模型訓練時，輸入尺寸設定為416×416像素，采用寬高等比例自適應圖片縮放，將填充的黑色區(qū)域分散到短邊的兩邊，訓練采用SGD優(yōu)化，批處理集大?。╞atch size）為8，訓練集為800張圖片，則每個Epoch訓練100個迭代次數(shù)。訓練時采用先凍結主干網(wǎng)絡進行50個Epoch預訓練，初始學習率設為0.001，decay_rate衰減系數(shù)設為0.94，然后解除凍結后整個模型進行訓練，初始學習率設為0.000 1，為防止過擬合通過設置10個Epoch沒有產生損失值下降即結束訓練。

2.3 評估指標選取

面向采摘的果實識別更注重預測目標的準確性和預測框的精度，因此本研究選取查準率（precision，P）、平均檢測精度均值（mean average precision，mAP）以及IoU作為模型主要的評估指標。P為預測樣本中預測框是真實框的占比，用于衡量模型預測的準確度。mAP為所有類別預測的平均精度的均值，用于衡量模型預測所有類別的精度。IoU為預測框和真實框的重合率，IoU均值用于衡量模型預測框的精度。

面向采摘的果實識別對于預測框精度的要求較高，因此本研究在模型檢測時提高IoU閾值至75%，進行模型精度的對比試驗。各指標計算如式（5）至式（7）所示。

P= TP TP+FP ； "（5）

mAP= 1 C ∑ c k=1 AP k； "（6）

IoU= area（B p∩B gt） area（B p∪B gt） 。 "（7）

式中：TP為真正例數(shù)量，即檢測正確的果實數(shù)量；FP為假正例數(shù)量，即檢測錯誤的果實數(shù)量，與TP二者之和為預測的果實總數(shù)量；C為類別數(shù)量；AP k為第k類平均精度AP值；B p、B gt分別代表預測框和真實框。

2.4 模型檢測速度

模型檢測速度根據(jù)從圖片輸入網(wǎng)絡至檢測結果輸出的時間來計算。本研究將YOLO v3、YOLO v4 和CC-YOLO v4模型對同一組測試集和同一組相同分辨率的1 024×1 024像素圖片的檢測識別速度分別進行對比，檢測速度的單位為FPS（frame per second），即每秒檢測圖片的數(shù)量，結果如表3所示。

由于測試集的100張圖片尺寸不一致，且多為高分辨率圖片，其中最小尺寸圖片為800×600像素，最大尺寸為3 120×2 496像素，用各模型分別對測試集進行批量檢測識別， 本研究模型的檢測速度為20.6 F/s，而YOLO v4模型檢測速度為14.3 F/s，YOLO v3模型為15.7 F/s，比YOLO v4快6.3 F/s，比YOLO v3快4.9 F/s（表3）。

將相同尺寸的較高分辨率圖片作為輸入進行批量檢測，本研究模型檢測速度可達28.8 F/s， 比YOLO v3和YOLO v4檢測速度分別快7.6、9.3 F/s， 檢測速度優(yōu)勢明顯，能夠在較高分辨率下達到實時性要求。

3 結果與分析

3.1 模型總體識別效果

3.1.1 損失值提升效果 采用劃分好的相同訓練集、驗證集分別在YOLO v3、YOLO v4和本研究模型上進行訓練，對比損失值變化曲線（圖2）。

由圖2可以看出，本研究模型在8 000次迭代前損失值下降迅速，之后下降緩慢，17 700次迭代穩(wěn)定在極值1.29，而YOLO v3模型在迭代19 600次、YOLO v4模型在迭代19 000次分別達最低值3.11、2.92，本研究模型比YOLO v3和YOLO v4迭代次數(shù)更少，而損失極值比YOLO v3、YOLO v4分別低1.82和1.63。由于模型在Backbone引入CBAM 注意力，在Neck網(wǎng)絡中加入了CSP模塊，使模型提高了特征提取效率，訓練時收斂速度更快，損失值更小。

3.1.2 檢測精度提升效果 本研究模型在測試集上針對不同分類的果實進行檢測，得到的查準率（P）和平均檢測精度（AP）等指標對比如表4和表5所示，表中P 1、P 2、P 3和AP 1、AP 2、AP 3分別代表S 1、S 2、S 3 3個類別果實檢測的查準率和平均檢測精度，最后一列分別為3類冬棗果實樣本識別的P和AP的標準差。

從表4中數(shù)據(jù)來看，CC-YOLO v4不同類別的果實查準率P 1、P 2、P 3均在80%以上，P均值達81.34%，比YOLO v3、YOLO v4模型提升了5.13、4.82百分點，其中P 2值提升最多，比YOLO v3提升了6.34，比YOLO v4提升了5.52百分點。模型能夠檢測并準確分辨出冬棗果實的成熟度。

在改進損失函數(shù)后，YOLO v4模型不同類別的果實查準率P 1、P 2、P 3分別比原來提升了0.20～0.92百分點，同樣地，CC-YOLO v4模型比原來提升了0.34～0.81百分點，說明模型使用改進損失函數(shù)進行檢測有利于提升識別精度。

對表格橫向數(shù)據(jù)進行比較，在3類果實數(shù)據(jù)不平衡情況下，YOLO v3和YOLO v4模型對3類果實的P值差異較明顯，標準差分別為0.73%、0.63%，說明模型對不同類果實的特征提取能力存在較大差異。而改進損失函數(shù)后，YOLO v4的P值縮小了類別間識別精度的差異，標準差降為0.44%，CC-YOLO v4 模型的P值也從損失函數(shù)改進前的0.95%降為0.81%，縮小了類別間的識別精度差異，說明模型使用改進的損失函數(shù)進行檢測有助于提升較難分類冬棗果實的識別，從而減小類間數(shù)據(jù)不平衡帶來的果實分類識別精度的差異，使分類識別精度更高。

從表5數(shù)據(jù)可見，CC-YOLO v4模型對3個不同成熟度類別的果實平均檢測精度AP 1、AP 2、AP 3比YOLO v3、YOLO v4模型分別有3.38～5.25百分點和3.19～4.38百分點的提升， 其中AP 2提升最多，比YOLO v3提升了5.25百分點，比YOLO v4 "提升了4.38百分點，平均檢測精度均值mAP從YOLO v3 的77.81%和YOLO v4的78.29%提升到82.01%，分別提升了4.20百分點和3.72百分點。

在引入改進的損失函數(shù)后，YOLO v4模型在不同類別的果實平均檢測精度AP 1、AP 2、AP 3也分別比原模型有0.14～1.29百分點的提升，平均檢測精度均值mAP提升了0.74百分點。改進的損失函數(shù)應用于CC-YOLO v4模型后也比原模型提升了0.23～0.79百分點，平均檢測精度均值mAP提升了0.45百分點。說明改進的損失函數(shù)對不同類別的果實檢測精度有輔助提高作用。

對表格橫向數(shù)據(jù)進行對比，在3類果實數(shù)據(jù)不平衡情況下，YOLO v3、YOLO v4和本研究模型對3類果實的平均檢測精度AP差異明顯，其標準差分別為1.02%、1.05%和1.29%。在采用改進的損失函數(shù)后，YOLO v4的AP差異減小，標準差降為0.58%，本研究模型的AP差異也有所減小，標準差降為1.04%。說明模型采用改進的損失函數(shù)進行檢測縮小了數(shù)據(jù)不平衡帶來的類別間檢測精度差異，使分類檢測的精度更高。

以上分析綜合說明，經改進模型在不同類別的果實識別精度比YOLO v3和YOLO v4模型有明顯提高，同時減小了不同類別間檢測精度的差異性，緩解了由于樣本數(shù)據(jù)不平衡帶來的類別檢測效果差異問題。本研究的改進模型對不同成熟度類別的冬棗果實識別更精準。

選取測試集的3張圖片Pic1、Pic2、Pic3來進行檢測效果對比，如圖3所示。圖中紅、綠、藍框分別表示模型對S1、S2、S3各類別冬棗果實的預測框，用黃框表示假負FN，即應檢出而未檢出（漏檢）的果實目標，洋紅色框表示假正例FP，即誤檢的果實目標。

從圖3的檢測效果對比來看，本研究模型在3張圖片上對較完整、遮擋較小的冬棗果實的檢測準確性更好，而YOLO v3和YOLO v4在Pic1同一位置出現(xiàn)了1處誤檢，YOLO v3在Pic2上出現(xiàn)了1處漏檢，YOLO v4在Pic2出現(xiàn)了1處誤檢和1處漏檢，2個模型在Pic3上分別出現(xiàn)了2處和1處漏檢，可能原因是由于枝葉和果實重疊產生的小部分遮擋，使模型對少量變紅果實的分類出現(xiàn)錯誤，甚至出現(xiàn)漏檢情況。綜上所述，YOLO v3、YOLO v4模型的漏檢、誤檢情況較多，而本研究模型較好地避免了這些情況，檢測結果更好。

3.1.3 IoU提升效果

通過分別計算3個模型在相同測試集上所有預測框與真實框的IoU的均值，得到模型預測框的精度對比，結果如表6所示。

由于模型檢測時設置的IoU閾值為75%，從表6數(shù)值對比來看，YOLO v3、YOLO v4和本研究改進模型的IoU均值均在較高水平，但本研究模型的IoU均值更高，達80.71%，比YOLO v3、YOLO v4分別高0.93百分點和0.55百分點，其中3個類別的IoU值分別提升了0.53～1.17百分點和0.32～0.69百分點 。結果表明本研究模型檢測的預測框定位和尺寸的預測更準確。

在引入改進的損失函數(shù)后，YOLO v4模型在不同類別的果實交并比IoU上分別比原模型有0.48～ 1.32百分點的提升，IoU均值提升了0.77百分點。改進的損失函數(shù)應用于CC-YOLO v4模型后的IoU也比原模型提升了0.49～0.91百分點，均值提升了0.64百分點。說明改進的損失函數(shù)對預測框的定位更準確、精度更高，從而使模型預測的結果更精確，能夠提高采摘目標定位的準確性。

3.2 不同果實數(shù)量情況下的識別效果

由于冬棗果實生長數(shù)量分布不均，為檢驗模型在不同果實數(shù)量情況下的識別效果，分別選取拍攝效果清晰、背景干擾較少的稀疏、密集2種不同數(shù)量的冬棗果實圖片各20張組成測試集， 進行檢測試驗，得到評估指標如表7所示，檢測效果如圖4所示。

從表7中的評估指標對比來看，本研究模型在2種不同果實數(shù)量情況下的查準率P均值、平均檢測精度均值mAP明顯高于YOLO v3和YOLO v4模型，其中S2最佳采摘期階段的平均檢測精度AP 2提升明顯，比YOLO v3分別提升了5.63百分點和5.58百分點，比YOLO v4分別提升了2.94百分點和3.24百分點。從預測框精度來比較，本研究模型在2種果實數(shù)量的測試集上計算得到的IoU均值分別為84.25%和80.47%，比YOLO v3分別高4.03、 2.60百分點，比YOLO v4分別高3.91、2.05百分點。

""在引入改進的損失函數(shù)后，YOLO v4模型和本研究模型的檢測效果均有提升，其中應用改進損失函數(shù)的CC-YOLO v4模型檢測稀疏和密集果實圖片的P均值比改進損失函數(shù)前分別提升了1.04百分點和0.92百分點，平均檢測精度均值mAP分別提升了0.89%、0.93%，IoU均值分別提升了1.08、1.58百分點。YOLO v4模型在改進損失函數(shù)后的檢測效果也有小幅提升，說明通過改進損失函數(shù)能夠對模型預測框的定位更加準確、分類精度更高，從而提高采摘目標定位的準確性。

通過表格橫向數(shù)據(jù)比較，YOLO v3對稀疏和密集情況的3類果實檢測精度的標準差分別為2.09和2.71，YOLO v4對稀疏和密集的3類果實檢測精度的標準差分別為1.15和1.06，果實檢測精度有較明顯差異。而采用改進模型和損失函數(shù)后，2種不同果實數(shù)量情況下的3類果實檢測精度提升的同時差異明顯縮小，其中稀疏和密集情況的果實識別精度的標準差分別為0.17和0.87，標準差的值最低。說明本研究改進模型降低了由于數(shù)據(jù)不平衡引起的分類精度差異明顯的問題，驗證了本模型在不同果實數(shù)量情況下的有效性。

從圖4中2種不同果實數(shù)量情況下的檢測效果比較來看，稀疏果實情況下YOLO v3和YOLO v4模型將S1類別的果實誤檢為S2最佳采摘期的果實類別，這可能是由于圖中該果實由于日曬原因微微泛紅，而并非為代表成熟期的深紅色。在密集果實情況的圖片中，YOLO v3、YOLO v4模型在相同位置出現(xiàn)了1處類別誤檢， 可能是受光線和陰影影響且枝葉微有遮擋而影響冬棗果實紅斑的識別， 造成將S2最佳采摘期的果實類別誤檢為S1類別，此外YOLO v4 模型還將由于果實重疊造成大部分遮擋的果實誤檢出來。而本研究模型較好地避免了以上情況，可見本研究模型對不同數(shù)量情況下的果實成熟度分類的識別精度較高，在較完整、易采摘的果實識別更精準。因此本研究提出的算法具有較強的魯棒性，符合自然場景下的識別需求。

4 結論

本研究基于YOLO v4模型改進了檢測方法，用于自然場景下冬棗果實的分類識別，試驗表明此方法識別精度更高、速度更快，查準率P均值為81.86%， 平均檢測精度均值mAP達82.46%，批量檢測速度與YOLO v3和YOLO v4模型相比有明顯提升。

（1）針對自然場景下不同成熟度冬棗果實識別問題，利用改進的CSP跨階段部分連接結構和多尺度特征融合的CBAM卷積注意力模塊，大大縮減了模型參數(shù)和體積，提高了果實分類識別的精度。與YOLO v3、YOLO v4模型相比，模型總體參數(shù)量明顯減少，模型的參數(shù)量只有26.9 M，模型大小為 108 MB。批量檢測時針對較高分辨率尺寸的圖片可達28.8 FPS，能夠達到冬棗自動化采摘的識別實時性要求。

（2）首先針對模型改進的訓練和識別試驗，在置信度閾值0.5、IoU閾值75%條件下，本研究模型對3類果實的P均值為81.34%，mAP為82.01%，預測框IoU均值為80.71%，比YOLO v3、YOLO v4均有明顯提升。說明改進模型對3類冬棗果實的檢測更精確，能夠達到冬棗自動化采摘的識別準確性要求。

（3）其次針對分類和預測框的精度進一步提升，將YOLO v4的分類損失函數(shù)sigmoid二元交叉熵損失函數(shù)替換為Softmax交叉熵損失函數(shù)，用于提升不同類別的冬棗果實數(shù)量不平衡導致的分類精度不佳問題，在邊框定位損失計算引入EIoU損失函數(shù)代替CIoU損失函數(shù)，用于提高預測框長寬尺寸的精度。試驗結果表明，此方法對3類冬棗果實的查準率P均值達81.86%，平均檢測精度均值mAP達82.46%，IoU均值達81.35%，P均值提升了0.52百分點，mAP均值提升了0.45百分點，IoU均值提升了0.64百分點，說明損失函數(shù)的改進方法能夠對模型預測框的定位和尺寸以及分類精度有提升作用。

（4）通過分別選取稀疏和密集的冬棗果實測試集的進一步試驗，本研究模型的果實識別查準率P的均值分別比YOLO v3高5.40、5.15百分點，比YOLO v4模型高4.77、4.53百分點，mAP值比YOLO v3、YOLO v4模型分別高4.82、4.78百分點和2.50、3.92百分點。從預測框精度來看，本研究檢測方法的預測框IoU均值比YOLO v3高5.11百分點和4.18百分點，比YOLO v4高4.99百分點和3.63百分點，其中密集果實情況下的IoU均值提升明顯，說明本模型在不同果實數(shù)量情況下的識別具有魯棒性，進一步驗證了模型的有效性。

（5）在實際應用中還應考慮光線對識別效果的影響，因此需要進一步在實際光線環(huán)境的不同天氣情況下進行試驗，在保證實時性的情況下進一步提高模型分類識別精度。

參考文獻：

［1］ 馬立然. 河北省棗產業(yè)發(fā)展對策研究［D］. 保定：河北農業(yè)大學，2012：1.

［2］段景長. 河北省滄州市特色農業(yè)災害風險保障體系研究：以冬棗為例［D］. 昆明：云南財經大學，2016：14-17.

［3］李明玥，石國朝，朱家瑞，等. 冬棗果實品質綜合評價［J］. 經濟林研究，2021，39（4）：256-263.

［4］Wang Y T，Kan J M，Li W B，et al. Image segmentation and maturity recognition algorithm based on color features of Lingwu long jujube［J］. Advance Journal of Food Science and Technology，2013，5（12）：1625-1631.

［5］畢 松，高 峰，陳俊文，等. 基于深度卷積神經網(wǎng)絡的柑橘目標識別方法［J］. 農業(yè)機械學報，2019，50（5）：181-186.

［6］劉燕德，葉靈玉，孫旭東，等. 基于光譜指數(shù)的蜜橘成熟度評價模型研究［J］. 中國光學，2018，11（1）：83-91.

［7］趙 娟，全朋坤，馬敏娟，等. 富士蘋果采收成熟度光譜無損預測模型對比分析［J］. 農業(yè)機械學報，2018，49（12）：347-354.

［8］Lu Z H，Zhao M F，Luo J，et al. Design of a winter-jujube grading robot based on machine vision［J］. Computers and Electronics in Agriculture，2021，186：106170.

［9］王鐵偉，趙 瑤，孫宇馨，等. 基于數(shù)據(jù)平衡深度學習的不同成熟度冬棗識別［J］. 農業(yè)機械學報，2020，51（增刊1）：457-463，492.

［10］ 劉天真，滕桂法，苑迎春，等. 基于改進YOLO v3的自然場景下冬棗果實識別方法［J］. 農業(yè)機械學報，2021，52（5）：17-25.

［11］ 趙 輝，喬艷軍，王紅君，等. 基于改進YOLO v3的果園復雜環(huán)境下蘋果果實識別［J］. 農業(yè)工程學報，2021，37（16）：127-135.

［12］趙德安，吳任迪，劉曉洋，等. 基于YOLO深度卷積神經網(wǎng)絡的復雜背景下機器人采摘蘋果定位［J］. 農業(yè)工程學報，2019，35（3）：164-173.

［13］ Cao Z P，Yuan R B.Real-time detection of mango based on improved YOLO v4［J］. Electronics，2022，11（23）：3853.

［14］王立舒，秦銘霞，雷潔雅，等. 基于改進YOLO v4-Tiny的藍莓成熟度識別方法［J］. 農業(yè)工程學報，2021，37（18）：170-178.

［15］黃彤鑌，黃河清，李 震，等. 基于YOLO v5改進模型的柑橘果實識別方法［J］. 華中農業(yè)大學學報，2022，41（4）：170-177.

［16］Sun H X，Zhang S J，Ren R，et al. Surface defect detection of “yuluxiang” pear using convolutional neural network with class-balance loss［J］. Agronomy，2022，12（9）：2076.

［17］ 張志遠，羅銘毅，郭樹欣，等. 基于改進YOLO v5的自然環(huán)境下櫻桃果實識別方法［J］. 農業(yè)機械學報， 2022，53（增刊1）：232-240.

［18］Bochkovskiy A，Wang C Y，Liao H Y M. YOLO v4：optimal speed and accuracy of object detection［J］. arXiv Preprint arXiv，2004：10934.

［19］Wang C Y，Mark Liao H Y，Wu Y H，et al. CSPNet：a new backbone that can enhance learning capability of CNN［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. IEEE，2020：1571-1580.

［20］Woo S，Park J，Lee J Y，et al. CBAM：convolutional block attention module［C］//European Conference on Computer Vision.Cham：Springer，2018：3-19.

［21］Zhang Y F，Ren W Q，Zhang Z，et al. Focal and efficient IOU loss for accurate bounding box regression［J］. Neurocomputing，2022，506：146-157.

收 稿日期：2023-06-25

基金項目：國家自然科學基金（編號：62102130）；河北省自然科學基金（編號：F2020204003）；保定市科技計劃（編號：2211ZG010）。

作者簡介：劉天真（1975—），女，河北保定人，博士研究生，副教授，主要從事智能信息處理、圖像處理技術方面的研究。E-mail：liutz75@163.com。

通信作者：苑迎春，博士，教授，博士生導師，主要從事大數(shù)據(jù)技術、智能信息處理方面的研究。E-mail：nd_hd_yyc@163.com。