收稿日期：2024-04-15

基金項目：云南省科技廳重大科技專項（202302AE0900200105）；云南省科技廳科技計劃農業(yè)聯(lián)合專項（202301BD070001-105）

作者簡介：趙玉清（1975-），男，白族，云南大理人，碩士，教授，主要研究方向為智能農業(yè)機械裝備。（E-mail）331863839@qq.com

通訊作者：張 悅，（E-mail）zyue1234@163.com

摘要： 水果采摘機器人作業(yè)是提高水果采摘效率，解決勞動力短缺的重要途經。準確高效的柑橘果實采摘機器人已成為農業(yè)機器人研究的熱點之一。目標識別是柑橘果實采摘機器人精準高效完成采摘作業(yè)的首要任務與關鍵技術。本文綜述了近年來應用于柑橘果實采摘機器人中的傳統(tǒng)目標識別算法、機器學習算法和深度學習算法，闡述了不同目標識別算法的特征及應用情況，最后指出當前柑橘果實目標識別算法存在的問題，并對柑橘果實目標識別算法發(fā)展趨勢進行展望。

關鍵詞： 柑橘；采摘機器人；目標識別；研究進展

中圖分類號： TP391.41 文獻標識碼： A 文章編號： 1000-4440（2024）08-1552-09

Research progress on target recognition algorithms for citrus fruit picking robots

ZHAO Yuqing1，2，3， JIA Aoying1，3， WANG Baijuan4， DENG Hangyu1，3， XIANG Kaiming1，3， ZHANG Yue3，5

（1.Faculty of Mechanical and Electrical Engineering， Yunnan Agricultural University， Kunming 650201， China;2.Faculty of Transportation Engineering， Kunming University of Science and Technology， Kunming 650093， China;3.The Key Laboratory for Crop Production and Smart Agriculture of Yunnan Province， Kunming 650201， China;4.College of Tea Science， Yunnan Agricultural University， Kunming 650201， China;5.College of Big Data， Yunnan Agricultural University， Kunming 650201， China）

Abstract： Fruit picking robot operation is an important way to improve fruit picking efficiency and solve labor shortage. Accurate and efficient citrus fruit picking robot has become one of the hotspots in agricultural robot research. Target recognition is the primary task and key technology for citrus fruit picking robots to complete picking operations accurately and efficiently. The traditional target recognition algorithms， machine learning algorithms and deep learning algorithms applied to citrus fruit picking robots in recent years were reviewed in this paper， and the characteristics and applications of different target recognition algorithms were discussed. Finally， the problems existing in the current citrus fruit target recognition algorithms were pointed out， and the future development trend of citrus fruit target recognition algorithms was prospected.

Key words： citrus;picking robot;target recognition;research progress

隨著國民經濟水平的提升和居民生活質量的提高，人們對水果的需求量和消費量在日益增加[1]。柑橘是全球最重要的經濟農作物之一，是世界第一大類水果。自2012年起，中國柑橘的種植面積和產量均位居世界第一，2022年，中國柑橘果實總產量高達6.0×107 t[2]，約為全球總產量的25%。采摘是柑橘生產過程中復雜程度最高、勞動力需求最大的一個環(huán)節(jié)。傳統(tǒng)的柑橘果實采收基本依賴人工作業(yè)，采摘效率低下，同時隨著中國人口老齡化，勞動力短缺，導致人工采摘柑橘果實的生產成本增加和果農收入減少[3]。為降低采摘成本，提高果農收入，促進中國柑橘產業(yè)更快更好發(fā)展，研制柑橘果實采摘機器人是當前智慧種植的一個重要方向。

柑橘果實自動采摘作業(yè)主要包括果實感知識別、精確定位和機械臂采摘3個部分。柑橘果實采摘機器人首先利用果實識別系統(tǒng)從復雜的果園環(huán)境中感知和識別可采摘的柑橘果實，其次通過定位技術確定柑橘果實的位置坐標，最后根據果實的坐標，機械臂按規(guī)定的路徑運動到相應位置，通過末端執(zhí)行器完成采摘作業(yè)。其中，柑橘果實的識別是實現(xiàn)自動采摘的首要任務，也是機器人完成精準采摘的關鍵技術之一，對智慧種植有重要的意義[4]。柑橘果實目標識別技術是采用視覺圖像采集、圖像分割與目標識別等技術，從采集的圖像數(shù)據中識別出可采摘的柑橘目標，并進行相關信息的分析和處理[5]。目前柑橘果實目標識別方法主要有傳統(tǒng)目標識別方法、機器學習方法和基于卷積神經網絡（CNN）的深度學習方法等3種[6]。

1 傳統(tǒng)目標識別算法

傳統(tǒng)目標識別算法是基于顏色、幾何形狀、紋理等特征對圖像進行分割及識別目標的檢測和分類[7]?；陬伾卣鞯母涕俟麑嵶R別方法主要是通過選取合適的顏色模型，利用柑橘果實與背景的顏色差異進行區(qū)分；基于紋理特征的柑橘識別方法主要是通過柑橘果實與背景的細微紋理、形狀及色彩差異進行區(qū)分[8]。Kurtulmus等[9]采用顏色和Gabor紋理特征對未成熟柑橘果實進行識別，測試集柑橘果實成功識別率為75.3%，模型對枝葉遮擋的柑橘果實識別精度較低。Lu等[10]利用數(shù)碼相機獲取不同天氣（晴天和陰天）和不同遮擋條件下樹冠內的柑橘果實圖像，采用融合色差信息和歸一化RGB模型的圖像分割方法，通過檢測色差圖的邊緣以及這些邊緣的拐角點，構建輪廓片段集合，根據輪廓片段的長度、彎曲度和凹凸性選擇有效子集，并對有效輪廓片段組合分析和橢圓擬合，以恢復被遮擋的柑橘果實輪廓，該方法可有效恢復被遮擋柑橘果實圖像，相對誤差為5.27%，但邊緣特征處理方法較為復雜。鄒繼欣等[11]提出了基于DSP（數(shù)字信號處理技術）的柑橘果實自動識別系統(tǒng)，該系統(tǒng)通過提取顏色空間中紅色色差分量，使用DSP對柑橘視頻數(shù)據進行圖像分割、柑橘特征提取，成功識別出柑橘果實，該系統(tǒng)識別自然光環(huán)境下單個柑橘果實的時間小于40 ms且準確率達96.26%，但光照不足時識別誤差較大。鄒偉[12]利用工業(yè)相機獲取柑橘果實圖像，采用HSV顏色模型檢測柑橘成熟度，準確率達到90%以上。

上述研究中當柑橘果實所在背景簡單時，基于顏色、形狀和紋理特征的柑橘果實識別均取得了較高的精度，然而，在實際的果園環(huán)境中，常出現(xiàn)果實成簇重疊、枝條枝葉遮擋、光照變化等現(xiàn)象，在這些情況下，上述目標識別方法的準確率明顯下降。

2 基于機器學習的目標識別算法

機器學習是一種利用信息（數(shù)據）或經驗優(yōu)化計算機算法的研究方法[13]，是人工智能的核心技術和實現(xiàn)手段。機器學習算法可分為監(jiān)督學習、半監(jiān)督學習與無監(jiān)督學習3大類。監(jiān)督學習是利用一組已知類別的樣本調整分類器的參數(shù)，實現(xiàn)目標識別與分類[6]。方東玉[14]利用HSV顏色模型中S分量進行圖像灰度處理，采用Canny邊緣檢測算法提取柑橘果實的周長、面積與圓形度等信息作為特征參數(shù)輸入到支持向量機（SVM）分類器中進行訓練，驗證集柑橘果實等級分類檢測準確率達95%以上。李華[15]利用主成分分析（PCA）算法對柑橘果實顏色、形狀和紋理等31個特征進行降維，比較KNN（K-近鄰）、SVM、MLP（多層感知機）和Adaboost（Adaptive Boosting）4種機器學習模型的分類效果，發(fā)現(xiàn)SVM的分類精度較好，準確率達到93.43%。Lin等[16]利用深度濾波器和密度聚類方法將濾波后的圖像中相鄰點聚成簇，再基于貝葉斯分類器的圖像分割方法去除復雜的果園背景，構建了一個基于顏色、梯度和幾何特征的支持向量機分類器，用于果園環(huán)境中柑橘果實的檢測，識別精確度為98.28%。申飄[17]為檢測柑橘果皮表面是否存在缺陷，構建了基于改進天鷹算法的支持向量機（IAO-SVM）分類模型，并與基于天鷹算法的支持向量機模型 （AO-SVM）、基于粒子群算法的支持向量機模型 （PSO-SVM）、誤差逆向傳播的神經網絡模型 （BP）和SVM等機器學習模型相比較，發(fā)現(xiàn)IAO-SVM模型效果最好，分類準確率達95.83%。Cai等[18]在相同的光照條件下采集柑橘圖像，利用變分模型去除柑橘圖像的噪聲，基于植物細胞群算法（PCSA）優(yōu)化2D-Otsu閾值分割算法，并利用混沌灰狼算法（CGWO）優(yōu)化DT-SVM模型，進而實現(xiàn)柑橘果皮表面的缺陷識別，總體識別準確率達96.71%。Behera等[19]將殘差網絡ResNet101的特征提取與SVM的分類相結合，對12個柑橘品種進行分類，識別準確率高達99.81%。半監(jiān)督學習是利用有限的已知樣本類別數(shù)據和大量的未知樣本類別數(shù)據用于網絡訓練，常用于標記樣本數(shù)量較少的情況[20]。為解決柑橘果實套袋后形狀發(fā)生變化導致的檢測困難問題，呂佳等[21]采集了不同光照（順光、逆光、側光）和不同遮擋程度下的套袋柑橘果實圖像，提出一種基于教師學生模型的SPM-YOLO V5算法，結果發(fā)現(xiàn)，在無標記樣本1 500張和有標記樣本500張時檢測效果最佳，識別精確度達到85%，嚴重遮擋時總體識別精確度達到82.6%。Roy等[22]采集了不同光照（順光、逆光）和不同成熟度（紅色、綠色）下的蘋果果實圖像，利用半監(jiān)督聚類算法進行任意形狀的蘋果樹簇中的蘋果數(shù)量估算，該方法對蘋果的計數(shù)準確率為89%～98%。Ciarfuglia等[23]將弱邊界框標簽訓練分割算法和三維運動結構算法相組合，形成一個完整的半監(jiān)督方法用于識別不同光照（晴天、陰天）時的葡萄串，該方法的平均精度均值（mAP0.5）達到77.23%。無監(jiān)督學習無需人工標注，主要通過聚類算法實現(xiàn)目標的檢測，其在小規(guī)模數(shù)據集上展現(xiàn)強大的優(yōu)勢[24]。姜欣悅[25]利用工業(yè)相機獲取柑橘成熟期不同天氣條件下（晴天和陰天）正午和黃昏的柑橘圖像，采用K-Means聚類算法分割圖像，利用基于梯度的Hough變換對單株柑橘果實進行計數(shù)，柑橘果實平均識別率為92.7%。Sun等[26]改進K-Means聚類算法，利用夜間采集的果園圖像，采用SVM模型識別果皮存在缺陷的柑橘果實，結果發(fā)現(xiàn)柑橘果實缺陷檢測準確率為96.32%，精確率為95.24%，召回率為87.91%。

以上研究中采用SVM、深度濾波器、基于貝葉斯分類器等算法實現(xiàn)了柑橘果實目標的自動檢測及表面缺陷識別，識別準確率和效率較傳統(tǒng)目標識別算法有所提升，然而這些研究都是針對特定的數(shù)據集而展開，識別方法在不同場景下的通用性還有待提高，且其面對復雜的柑橘果園場景時識別能力不足。

3 基于深度學習目標識別算法

深度學習算法是一種新興的、現(xiàn)代的圖像處理和數(shù)據分析技術，具有廣闊的應用前景?；谏疃葘W習的目標檢測模型是端到端的檢測模型，可將目標的特征提取、特征選擇和特征分類融合在同一模型中[27]。深度學習模型在目標識別方面具有獨特優(yōu)勢[28]?；谏疃葘W習的目標識別算法可分為兩種：兩階段檢測與單階段檢測。

3.1 兩階段檢測

兩階段檢測是將目標定位與目標分類分開，先利用區(qū)域建議網絡（RPN）生成候選區(qū)域，再對這些區(qū)域進行分類和定位，又稱為基于候選區(qū)域的檢測[29]。常見的兩階段目標檢測模型有R-CNN[30]、Fast R-CNN[31]、Faster R-CNN、Mask R-CNN、Cascade R-CNN[32]。其中，F(xiàn)aster R-CNN為R-CNN系列的最新優(yōu)化模型，同時也是公認的第一個真正實現(xiàn)端到端的深度學習檢測算法[33]。任會等[34]利用獲取的果園影像，比較了傳統(tǒng)目標檢測方法與Faster R-CNN方法對柑橘果實的識別效果，發(fā)現(xiàn)無遮擋的情況下，傳統(tǒng)目標檢測方法比深度學習方法更具優(yōu)勢，而在存在遮擋、果實重疊時，深度學習方法具有更好的識別效果。Yang等[35]利用雙目相機采集了不同時間（早、中、晚）和不同光照條件（前照燈、背光燈、側光燈）下的柑橘果園圖像，基于Mask R-CNN和分支段合并算法，開發(fā)了可同時檢測柑橘果實和分支的集成系統(tǒng)。在Mask R-CNN識別出的分塊掩膜區(qū)域的基礎上，計算掩膜區(qū)的最小外接矩形，得到更精確的邊界框，利用分支段合并算法重建分支和主干。該系統(tǒng)對柑橘果實的平均識別精度為88.15%。黃磊磊等[36]在Mask R-CNN中引入神經網絡模塊（Pointrend）以解決在不同光照（正光、背光）條件下柑橘果實受到遮擋與重疊時的輪廓分割問題，采用該方法對柑橘果實識別的平均精確度達93.66%，分割精確度達96.30%。Behera等[37]基于手機獲取自然環(huán)境下的柑橘圖像，利用平均交并比函數(shù)（MIoU）來代替?zhèn)鹘y(tǒng)的交并比（IoU）函數(shù)改進Faster R-CNN模型并進行柑橘果實識別，改進后的模型對柑橘果實的識別精度達97.94%。Lu等[38]利用數(shù)碼相機采集自然環(huán)境中柑橘果園影像，采用深淺層特征融合的方法增加Mask R-CNN主干網絡在每個階段提取的特征信息量，并引入組合連接塊以減少通道數(shù)對Mask R-CNN進行改進，改進后的Mask R-CNN模型對綠色柑橘的平均識別精度達95.36%，比原模型提高1.42%。Min等[39]通過對CNN不同層次注意力的考察，將不同層次注意力特征進行整合形成一個綜合注意力，建立了一個多尺度注意力網絡（MSANet）用于水果果實的識別。孫國奇[40]利用深度相機（Azure Kinect DK）和數(shù)碼相機獲取不同天氣條件（晴天和陰天）、不同時間（上午和下午）柑橘果園圖像，采用加權雙向特征金字塔網絡（BiFPN）及MobileNet V3特征提取網絡對Mask R-CNN模型進行優(yōu)化，改進后的Mask R-CNN模型對柑橘果實的平均識別精度為87.99%，相較原算法提高2.38%。賈艷平等[41]利用數(shù)碼相機采集自然環(huán)境中不同的水果圖像，在Faster R-CNN框架中添加一個似然函數(shù)和一個正則化函數(shù)以保證每個卷積層的大小與核參數(shù)在合理范圍內，進而開展不同水果的識別，該算法對19種水果的整體識別準確率達到99.69%，其中對橙果實識別率為77.30%。

上述研究大多針對采集圖像的屬性，通過對R-CNN模型的部分改進以提升目標識別的準確率。雖然這些研究取得了一定的效果，但大多數(shù)是對算法的局部調整，并沒有形成一個通用的普適的改進算法。

3.2 單階段檢測

單階段檢測則是省略生成候選區(qū)域的步驟，直接在特征圖上生成目標的類概率和位置坐標，再進行分類回歸。單階段檢測過程相對于兩階段檢測過程更加簡單。常見的單階段目標檢測模型有YOLO、SSD[42]、MobileNet[43]、ShuffleNet[44]、Swin-Transformer[45]。其中，YOLO系列模型應用最為廣泛。為實現(xiàn)柑橘果實產量的早期預測，宋中山等[46]利用手機在自然環(huán)境中采集不同天氣狀況（晴天、陰天）下的綠色柑橘圖像，采用密集連接的卷積網絡（DenseNet）替換YOLO V3模型中特征提取網絡Darknet53后的3個下采樣層，建立改進的D-YOLO V3算法，其對綠色柑橘果實的識別精確率達83.01%，平均單張圖像識別時間為0.28 s。陳文康等[47]在YOLO V4的每個不同尺度特征的輸出層前增加調整層，修改回歸框損失函數(shù)，并對網絡中不重要的通道和網絡層進行剪枝，建立改進的YOLO V4模型，并將其與YOLO V4、MLKP（Multi-scale Location-aware Kernel Representation）和Cascade R-CNN 3種目標檢測算法用于生長期（青果期）和成熟期柑橘果實的識別，研究發(fā)現(xiàn)改進后的YOLO V4模型在識別生長期（青果期）柑橘果實時準確率分別比YOLO V4、MLKP和Cascade R-CNN模型提高3個百分點、7個百分點和4個百分點，在識別成熟期柑橘果實時準確率分別提高4個百分點、7個百分點和4個百分點，改進后的YOLO V4算法識別平均準確率達96.04%，且平均單張圖像的檢測時間為0.06 s。劉芳[48]采用LEIoU函數(shù)作為回歸框損失函數(shù)并優(yōu)化相關參數(shù)對YOLO V5模型進行改進，并用于柑橘果園圖像的識別，發(fā)現(xiàn)改進后的算法對柑橘果實的平均識別精度高達98.9%，相較于原算法提高了2.7個百分點。Chen等[49]通過在YOLO V4網絡不同尺度特征的輸出層前加入SimAM（A simple，parameter-free attention module for convolutional neural networks）注意力模塊，在網絡頸部上采樣前加入深度可分離卷積模塊，采用基于科學控制的神經網絡剪枝（SCOP）算法對網絡進行剪枝，將其用于不同果實生長階段柑橘果園圖像的識別，發(fā)現(xiàn)改進后的算法對果實生長期和成熟期輕微遮擋的柑橘果實識別準確率分別為94.15%和95.32%，嚴重遮擋的柑橘果實識別準確率分別為90.19%和91.02%。莊昊龍等[50]在YOLO V5的主干部分中引入SE注意力機制，采用DeepSort（Deep learning based SORT）算法為每個柑橘果實分配獨立的身份編號（ID），實現(xiàn)柑橘果實的精確計數(shù)，改進后的算法對不同光照和不同遮擋情況下的柑橘果實平均識別準確率達93.712%，比CenterNet、EfficientDet、SSD、YOLO V4、YOLOX等模型分別提高5.753個百分點、9.404個百分點、14.525個百分點、8.992個百分點、2.555個百分點。Jing等[51]在YOLO V7-tiny網絡基礎上引入BiFormer雙層路由注意力機制，并使用輕量化卷積GSConv代替常規(guī)卷積，在頸部網絡中加入VoVGSCSP模塊，并在主干網絡中采用部分卷積（PConv）代替簡化的高效層聚合網絡（ELAN），建立了YOLO V7-tiny-BVP目標識別網絡，并利用其對手機采集的不同光照、不同角度和不同遮擋條件下的柑橘圖像中的果實進行識別，發(fā)現(xiàn)YOLO V7-tiny-BVP網絡對柑橘果實識別準確率達97.9%，且其網絡參數(shù)量和占用空間比YOLO V7-tiny分別減少38.47%和4.6 MB。

自然環(huán)境下，柑橘園通常是遠距離大視場，對該類場景識別時會存在柑橘果實被樹葉嚴重遮擋與小而密集柑橘果實漏檢的情況。為改善這些問題，易詩等[52]利用感受野更小的CSPResNest50（Cross Stage Partial Network）網絡作為YOLO V4骨干網絡進行主干特征提取，以提高小目標的識別能力，并采用遞歸特征金字塔網絡進行特征遞歸融合以提高被遮擋和密集分布的柑橘果實檢測精度，建立了基于特征遞歸融合YOLO V4網絡模型（FR-YOLO V4），并利用其對不同天氣條件和遮擋條件下采集柑橘果園圖像進行果實識別，發(fā)現(xiàn)FR-YOLO V4算法對柑橘果實識別準確率達94.6%，比原算法提高8.9個百分點。黃彤鑌等[53]為改善小柑橘果實漏檢問題，在YOLO V5中引入注意力機制模塊（CBAM）并采用α-IoU函數(shù)作為邊界框回歸損失函數(shù)，建立了改進的YOLO V5識別模型。并利用其對數(shù)碼相機采集的不同天氣和光照條件、不同焦距的柑橘果園圖像中的果實進行識別，發(fā)現(xiàn)改進后的算法對柑橘果實識別的平均精度為91.3%，比原算法提高1.6個百分點。Liu等[54]在YOLO V5主干網絡中引入協(xié)同注意力模塊（CA），利用BiFPN模塊代替原來的PANet模塊，并利用變分損失函數(shù)來計算模型損失，對YOLO V5模型進行優(yōu)化并用于果園環(huán)境下的柑橘果實識別和計數(shù)，結果發(fā)現(xiàn)改進后的模型對成熟期柑橘果實計數(shù)準確率達96.08%，且平均每張圖像的識別時間僅為0.019 s。李子茂等[55]將可形變卷積網絡（Deformable convolution）引入YOLO V4模型，并在特征融合模塊增加新的檢測尺度并融合SimAM注意力機制，建立了DS-YOLO優(yōu)化算法以提高模型對小而密集柑橘果實的識別能力，不同天氣（晴天、陰天）條件下采集的柑橘圖像識別結果顯示DS-YOLO算法對綠色柑橘果實的識別精確率比YOLO V4算法提高8.75個百分點。周劍等[56]在YOLO V3的基礎上加入空間金字塔池化（SPP）模塊，使網絡能夠接受不同尺度的輸入特征，并對不同尺度的特征進行提取，優(yōu)化后的YOLO V3-SPP算法對自然光照條件下的柑橘果實分級檢測精確率達95.08%。Li等[57]在YOLO V5中嵌入卷積塊注意力機制（CBAM），并對目標邊界框損失函數(shù)進行優(yōu)化，以提高網絡的特征提取能力和目標框的定位精度，實現(xiàn)密植環(huán)境下柑橘果實的準確識別，利用Apple2orange數(shù)據集對模型的優(yōu)化效果進行驗證，結果發(fā)現(xiàn)優(yōu)化后的模型對自然密植環(huán)境下的柑橘果實識別F1值為92.41%，相較于原算法提高2.81%。蹇川等[58]在YOLO V5s網絡中引入1個由3層上下文集成塊（Context Aggregation Block）組成的金字塔結構特征提取層，實現(xiàn)模型的優(yōu)化，并利用其對不同天氣、不同時間和不同光照條件下采集的單株整樹、局部冠層圖像中的柑橘果實進行識別，結果發(fā)現(xiàn)改進后的YOLO V5s對柑橘果實識別的檢測準確率與平均精度分別為98.21%與98.07%，對遮擋、重疊與小目標柑橘果實的平均識別精度分別為99.4%、97.2%與98.0%。

自然環(huán)境下生長的柑橘果實會受到枝條枝葉遮擋、光照度變化、果實重疊、未成熟綠色柑橘果實與枝葉背景顏色相似導致識別不清等問題，湯旸等[59]在YOLO V3-tiny模型的基礎上，利用距離交并比函數(shù)（DIOU）替代原有的損失函數(shù)，采用MobileNetv3-Small作為主干特征提取網絡，引入簡化的空間金字塔池化（SPP）和深度可分離卷積層，添加1個下采樣層將不同尺度間的特征信息充分融合，并引入Hard Swish激活函數(shù)，實現(xiàn)模型的優(yōu)化，優(yōu)化后的模型對柑橘果實的平均識別精度為96.52%，在光照充足且未遮擋、光照充足且遮擋、光照不足且未遮擋、光照不足且遮擋時的柑橘果實正確識別率分別比原模型提高0.7個百分點、6.5個百分點、3.2個百分點、7.7個百分點。楊國等[60]比較了基于VGG16的Faster R-CNN、基于Resnet的Faster R-CNN以及YOLO V5s對自然環(huán)境中得到的黃色和綠色柑橘圖像中的果實識別效果，發(fā)現(xiàn)YOLO V5s模型的識別性能最好，其對黃色柑橘果實和綠色柑橘果實的平均識別精度分別達97.40%和97.20%，平均檢測速度分別為每秒27幀和32幀。Yang等[61]在YOLO V5s主干網絡和頸部網絡之間加入雙向交叉注意力機制（BCAM），構建BCo-YOLO V5網絡模型，并用其對COCO數(shù)據集和果園采集的柑橘圖像中的果實進行識別，發(fā)現(xiàn)BCo-YOLO V5算法對柑橘果實的平均識別精度達97.70%，比原算法提高7.39個百分點。殷獻博等[62]根據不同卷積層提取特征的特點與不同注意力機制的作用，在YOLOX-Nano網絡引入多個注意力機制，進行模型改進，并對手機采集的不同天氣（晴天、陰天、小雨）和不同生長階段的柑橘圖像中的柑橘新梢進行識別，發(fā)現(xiàn)各改進模型平均精度均值達87.14%。黃輝等[63]在YOLO V5的主干網絡中引入輕量化XZZMB+0m+eM3tObkoGL1ig==網絡Mobilenetv3、ShufflenetV2、Ghost等，在頸部（Neck）網絡中的C3部分融入注意力機制，并采用Ghost Conv模塊代替Conv模塊，進行YOLO V5模型的優(yōu)化并用于柑橘果實識別，優(yōu)化后的模型對柑橘果實的平均識別精度（mAP0.5）達0.957。帖軍等[64]在YOLO V5主干網絡中添加混合注意力機制，改進網絡模型特征融合結構和分類損失函數(shù)，提出優(yōu)化的YOLO V5-SC模型。該模型能加強綠色柑橘果實特征信息的提取，提高綠色柑橘果實檢測精度。改進后的YOLO V5-SC模型準確率為91.74%，平均精度為95.09%，在自然環(huán)境下對綠色柑橘果實的識別具有更高的準確率和更好的魯棒性。

針對自然環(huán)境中YOLO V4對柑橘果實識別時精度低、速度慢等問題，劉潔等[65]利用MobileNet V2網絡替換的主干網絡CSPDarkNet、采用深度可分離卷積替代YOLO V4頸部結構中的傳統(tǒng)卷積，對YOLO V4模型進行改進，改進后的模型對不同天氣（晴天、陰天）、不同光照（順光、逆光）、不同角度（仰視、俯視、正面、側面）和不同遮擋程度下采集的柑橘果園圖像中果實平均識別精度達到97.24%，模型的平均檢測時間更短，模型更加輕量化。姜錕[66]在YOLO V4模型中引入SENet注意力模塊、設計CSPConv改進頸部網絡結構、重構置信度損失函數(shù)、利用BN層的γ系數(shù)作為通道稀疏因子，構建了YOLO V4-L識別模型，并用其對深度相機采集的果園中不同光照（正光、背光）、不同天氣（晴天、多云）和不同遮擋程度下的果園影像中的柑橘果實進行識別，平均精度為95.78%，識別速度為每秒53.8幀。王乙涵[67]提出的LT-YOLO V7模型對YOLO V7進行了4個方面的改進，即使用輕量級特征提取網絡RepVGG作為主干網絡以加強復雜背景下柑橘果實特征提取能力，引入深度可分離卷積至頸部網絡以降低網絡參數(shù)量，采用通道注意力機制（ECA）提高檢測性能，使用soft DIoU_NMS（soft DIoU Non-Maximum Suppression）算法對預測框進行優(yōu)化。優(yōu)化后的LT-YOLO V7模型對重度遮擋的柑橘果實平均識別精度為96.98%。Kong等[68]將動態(tài)感知稀疏性的注意力機制BiFormer模塊引入YOLO V8s的骨干網絡，并在其Neck中增加1個小目標檢測層，同時使用EIoU損失函數(shù)替代原來的損失函數(shù)，對YOLO V8s模型進行改進并用于數(shù)碼相機采集的不同光照（強光、背光）和不同遮擋情況下的柑橘果園圖像中的果實進行識別，改進后的YOLO V8s對柑橘果實的識別平均準確率為94.7%。

為解決夜間環(huán)境下被遮擋的柑橘果實能夠被準確識別的問題，熊俊濤等[69]采用BiFPN模塊實現(xiàn)多尺度特征的交叉連接和融合，融入帶有Transformer結構的C3TR模塊，引入CA模塊對YOLO V5s模型進行優(yōu)化，提出BI-YOLO V5s算法。該算法對夜間采集的柑橘果園圖像中果實的識別平均準確率為97.1%，檢測速度為每秒40幀。

柑橘果實表面缺陷不僅影響外觀與質量，還會降低市場價值，因此，有效識別柑橘果實表面缺陷對保證柑橘果實質量與市場競爭力非常重要。孫寶霞等[70]利用YOLO V4深度學習模型，進行夜間樹上柑橘果實表征的視覺檢測。模型對測試集的識別精確率為95.32%，比Faster R-CNN模型提高5.14個百分點。Feng等[71]在YOLOX中引入基于殘差和級聯(lián)的金字塔自底向上特征網絡（PAFPN）、后驗注意力模塊（SE）以及Focal loss和CIoU損失函數(shù)，提出的MSDD-YOLOX算法對自然環(huán)境中柑橘果皮表面疤痕的識別準確率為80.4%。賈雪瑩等[72]在YOLO V7的主干網絡中引入CA機制以增強對缺陷部分的識別能力，同時在網絡頭部中引入CT模塊，融合靜態(tài)和動態(tài)上下文表征特征，以提升缺陷部分特征的表達能力，構建的YOLO V7-CACT模型對果皮有缺陷的柑橘果實總體識別精度達94.4%，單幅柑橘圖像檢測時間為2.15 ms。

上述研究探討了YOLO算法對不同光照條件、不同果實遮擋程度柑橘果園圖像的識別效果及有缺陷柑橘果實的分級，總體均取得了較高的識別準確率，但在柑橘果實面臨重度遮擋時的識別準確性仍較低。

4 不同目標識別算法的對比

傳統(tǒng)目標識別算法計算簡單，僅需要較少的標記數(shù)據即可實現(xiàn)模型的調試和優(yōu)化，在小樣本單一場景下表現(xiàn)較穩(wěn)定。自然環(huán)境中生長的柑橘果實未成熟時顏色呈綠色，與枝葉顏色相似，相比于顏色特征，利用紋理或形狀特征能更好地區(qū)分柑橘果實與背景。柑橘果實成熟時呈現(xiàn)鮮艷的橙色，與枝葉之間存在明顯的顏色差異，利用這種顯著的顏色差異可實現(xiàn)圖像的有效分割及目標和背景的區(qū)分。當柑橘果實受到光照變化產生陰影或柑橘果實成簇重疊時，利用紋理特征能較好地區(qū)分柑橘果實與背景，原因在于紋理特征是柑橘的質地和紋路特征，在光照不均勻或果實重疊時，柑橘紋理特征變化較小。在果園復雜的背景條件下，傳統(tǒng)目標識別算法在處理柑橘果實重疊、枝條遮擋與光照變化等復雜場景時，往往難以準確地提取出有效信息。同時，傳統(tǒng)目標識別算法依賴于主觀判斷，在更換識別目標時需人工更改算法設置，缺乏泛化性。

機器學習算法是從數(shù)據中學習特征和模式，不需要人工干預和手動調整參數(shù)，根據數(shù)據自動調整模型參數(shù)從而實現(xiàn)對圖像的目標識別與分類。相較于傳統(tǒng)目標識別算法，機器學習算法有以下優(yōu)點：1）自適應性較強，在面對不同遮擋程度的環(huán)境條件下，能夠更準確地提取出有效的信息，提高識別準確率；2）特征學習能力較強，具有學習數(shù)據中復雜特征與模式的能力，無需手動提取特征，能夠更好地識別目標的形狀、顏色等特征，提高識別準確性；3）經過訓練的機器學習模型具有較強的泛化能力，能適用于不同品種與生長狀態(tài)的柑橘果實識別。機器學習算法在小規(guī)模數(shù)據集上可以取得較好的識別效果，但在處理大規(guī)模數(shù)據集與復雜任務時，檢測速度與精度較差，難以滿足實時性要求。

深度學習算法具有多層次的神經網絡結構，可以更好地處理一些復雜情況，提高目標識別的準確性和魯棒性。采用兩階段與單階段目標檢測算法，在柑橘果實目標識別上都取得了顯著的成就。不同生長階段的柑橘果實會呈現(xiàn)不同的外觀和形狀特征，面對這種復雜環(huán)境，兩階段目標檢測方法可以更準確地識別和定位各類柑橘果實，提供更細致的目標檢測和定位信息。單階段目標檢測由于實時性較高，檢測速度較快，故適用于柑橘果實形狀規(guī)則、背景清晰的場景，由于單階段目標檢測通常具有簡單的模型結構和較高的計算效率，所以適用于在嵌入式設備上的應用。相較于傳統(tǒng)目標識別算法與機器學習算法，深度學習算法在圖像分類、目標檢測與位置識別等方面表現(xiàn)出明顯優(yōu)勢，尤其是在處理具有隨機分布、重疊遮擋與多樣形狀等非結構化特征的自然環(huán)境中具有更高的準確率，但深度學習算法需要大規(guī)模的標記數(shù)據來訓練模型，訓練時間較長，計算資源消耗高，會增加計算成本。

5 發(fā)展趨勢

雖然傳統(tǒng)目標識別算法、機器學習算法與深度學習算法在柑橘果實目標識別方面均有廣泛的應用，但近年來，深度學習算法在柑橘果實產量預測、遮擋重疊果實識別及表面缺陷果實檢測等方面的應用不斷增加。然而，由于果園環(huán)境條件的復雜多變，目前的柑橘果實目標識別模型的識別能力普適性不強。因此，結合多源數(shù)據，進一步優(yōu)化和改進現(xiàn)有算法和模型，仍是未來研究的重點。從目前柑橘果實目標識別算法的發(fā)展趨勢看，以下2個方向需要重點關注：

（1）模型算法。一方面，隨著深度學習模型的不斷發(fā)展，以YOLO為代表的深度學習算法需要不斷改進以適應不斷變化的柑橘果實識別需求，可以通過在模型中引入注意力機制、改變特征金字塔網絡結構、優(yōu)化損失函數(shù)以及調整網絡深度和寬度等方法提高柑橘果實目標識別的準確率、加快識別速度，并降低漏檢率和誤檢率。另一方面，如何借鑒其他領域中表現(xiàn)卓越的大模型，如Transformer等，用于柑橘果實目標識別，進一步提升柑橘果實目標識別的準確率和效率。

（2）通用數(shù)據集。目前研究使用的數(shù)據集通常是根據特定研究目的所構建。未來研究中可以構建1個包含不同天氣條件（晴天、陰天）、不同光照條件（順光、逆光）、不同遮擋程度和果實重疊情況，并覆蓋多個生長階段的多品種柑橘影像數(shù)據集。通過構建這樣一個全面且多樣化的統(tǒng)一數(shù)據集，可以提高模型的泛化能力和魯棒性，使得訓練出來的模型能夠更好地適應實際的果園環(huán)境。此外，構建數(shù)據集時還應考慮數(shù)據的標注質量和標準化，確保數(shù)據集的質量和可靠性。

參考文獻：

[1] 鄭 涵，羅 強，張益維，等. 柑橘采摘機器人目標檢測算法研究進展[J]. 南方農業(yè)，2022，16（21）：119-122.

[2] 國家統(tǒng)計局. 2023中國統(tǒng)計年鑒[M]. 北京：中國統(tǒng)計出版社，2023.

[3] 李會賓，史 云. 果園采摘機器人研究綜述[J]. 中國農業(yè)信息，2019，31（6）：1-9.

[4] 毛嘉威. 柑橘采摘機械臂及其控制系統(tǒng)設計[D]. 成都：四川農業(yè)大學，2021.

[5] XIAO Y， TIAN Z， YU J， et al. A review of object detection based on deep learning[J]. Multimedia Tools and Applications，2020，79（33/34）：23729-23791.

[6] 孔翰博，王克強，蔡 肯，等. 基于機器視覺的采摘機器人目標識別定位研究應用進展[J]. 電子技術與軟件工程，2022（10）：160-165.

[7] TIAN Y， YANG G， WANG Z， et al. Instance segmentation of apple flowers using the improved Mask R-CNN model[J]. Biosystems Engineering，2020，193：264-278.

[8] 宋懷波，尚鈺瑩，何東健. 果實目標深度學習識別技術研究進展[J]. 農業(yè)機械學報，2023，54（1）：1-19.

[9] KURTULMUS F， LEE W S， VARDAR. A green citrus detection using ‘eigenfruit’， color and circular Gabor texture features under natural outdoor conditions[J]. Computers and Electronics in Agriculture，2011，78（2）：140-149.

[10]LU J， SANG N. Detecting citrus fruits and occlusion recovery under natural illumination conditions[J]. Computers and Electronics in Agriculture，2015，110：121-130.

[11]鄒繼欣，崔天時，邢 偉. 基于DSP的柑橘果實自動識別系統(tǒng)[J]. 農機化研究，2015，37（2）：166-170.

[12]鄒 偉. 基于機器視覺技術的柑橘果實成熟度分選研究[J]. 農業(yè)與技術，2023，43（17）：41-44.

[13]張 珺. 基于機器學習的智能農機采摘控制實驗與仿真[J]. 集成電路應用，2023，40（6）：70-72.

[14]方東玉. 基于SVM的柑橘品質檢測技術[D]. 長沙：中南林業(yè)科技大學，2016.

[15]李 華. 基于機器視覺的柑橘外觀品質鑒定技術研究[D]. 鄭州：河南農業(yè)大學，2024.

[16]LIN G， TANG Y， ZOU X， et al. In-field citrus detection and localisation based on RGB-D image analysis[J]. Biosystems Engineering，2019，186：34-44.

[17]申 飄. 基于圖像處理與機器學習的柑橘表面缺陷檢測研究[D]. 長沙：中南林業(yè)科技大學，2023.

[18]CAI C， ZHOU G， LU C. Citrus surface defect identification based on PCS-2D-Otsu and CGWO-DT-SVM[J]. Multimedia Tools and Applications，2023，83（15）：43649-43672.

[19]BEHERA S K， ANITHA K， AMAT R， et al. ResNet101-SVM：hybrid convolutional neural network for citrus fruits classification[J]. Journal of Intelligent & Fuzzy Systems，2024，46（3）：7035-7045.

[20]BERTHELOT D， CARLINI N， GOODFELLOW I， et al. Mixmatch：a holistic approach to semi-supervised learning[C/OL]//WALLACH H， LAROCHELLE H， BAYGELZIMER A， et al. Advances in neural information processing systems32（NeurIPS 2019）. San Diego，USA：NeurIPS Foundation，2019. https：//arxiv.org/pdf/1905.02249v2.

[21]呂 佳，李帥軍，曾夢瑤，等. 基于半監(jiān)督SPM-YOLO V5的套袋柑橘檢測算法[J]. 農業(yè)工程學報，2022，38（18）：204-211.

[22]ROY P， KISLAY A， PLONSKI P A， et al. Vision-based preharvest yield mapping for apple orchards[J]. Computers and Electronics in Agriculture，2019，164：104897.

[23]CIARFUGLIA T A， MOTOI I M， SARACENI L， et al. Weakly and semi-supervised detection， segmentation and tracking of table grapes with limited and noisy data[J]. Computers and Electronics in Agriculture，2023，205：107624.

[24]ALBELWI S. Survey on self-supervised learning：auxiliary pretext tasks and contrastive learning methods in imaging[J]. Entropy，2022，24（4）：551.

[25]姜欣悅. 基于圖像識別的單株成熟柑橘樹產量預估研究[J]. 南方農機，2022，53（23）：66-68.

[26]SUN B， LIU K， FENG L， et al. The surface defects detection of citrus on trees based on a support vector machine[J]. Agronomy，2022，13（1）：43.

[27]趙永強，饒 元，董世鵬，等. 深度學習目標檢測方法綜述[J]. 中國圖像圖形學報，2020，25（4）：629-654.

[28]董 戈. 基于深度學習和圖像處理的水果收獲機器人抓取系統(tǒng)[J]. 農機化研究，2021，43（3）：260-264.

[29]WANG Z， UNDERWOOD J， WALSH K B. Machine vision assessment of mango orchard flowering[J]. Computers and Electronics in Agriculture，2018，151：501-511.

[30]GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//IEEE. Proceedings of the IEEE conference on computer vision and pattern recognition. New Jersey：IEEE Computer Society，2014：580-587.

[31]GIRSHICK R. Fast R-cnn[C]// IEEE. Proceedings of the IEEE international conference on computer vision. New Jersey：IEEE Computer Society，2015：1440-1448.

[32]CAI Z， VASCONCELOS N. Cascade R-cnn：delving into high quality object detection[C]//IEEE. Proceedings of the IEEE conference on computer vision and pattern recognition. New Jersey：IEEE Computer Society，2018：6154-6162.

[33]楊 國. 基于深度學習的自然環(huán)境下柑橘檢測研究[D]. 長沙：中南林業(yè)科技大學，2023.

[34]任 會，朱洪前. 基于深度學習的目標橘子識別方法研究[J]. 計算機時代，2021（1）：57-60，64.

[35]YANG C H， XIONG L Y， WANG Z， et al. Integrated detection of citrus fruits and branches using a convolutional neural network[J]. Computers and Electronics in Agriculture，2020，174：105469.

[36]黃磊磊，苗玉彬. 基于深度學習的重疊柑橘分割與形態(tài)復原[J]. 農機化研究，2023，45（10）：70-75.

[37]BEHERA S K， RATH A K， SETHY P K. Fruits yield estimation using Faster R-CNN with MIoU[J]. Multimedia Tools and Applications，2021，80（12）：19043-19056.

[38]LU J， YANG R， YU C， et al. Citrus green fruit detection via improved feature network extraction[J]. Frontiers in Plant Science，2022，13：946154.

[39]MIN W， WANG Z， YANG J， et al. Vision-based fruit recognition via multi-scale attention CNN[J]. Computers and Electronics in Agriculture，2023，210：107911.

[40]孫國奇. 基于深度學習的果園環(huán)境下柑橘果實與枝干分割定位方法研究[D]. 桂林：廣西師范大學，2023.

[41]賈艷平，桑妍麗，李月茹. 基于改進Faster R-CNN模型的水果分類識別[J]. 食品與機械，2023，39（8）：129-135.

[42]LIU W， ANGUELOV D， ERHAN D， et al. SSD：single shot multibox detector[C]//ECCV. European conference on computer vision 2016（Part I）. Amsterdam：Springer International Publishing，2016：21-37.

[43]HOWARD A G， ZHU M， CHEN B， et al. Mobilenets：efficient convolutional neural networks for mobile vision applications[Z/OL]. （2017-04-17）. http：//arxiv.org/abs/1704.04861.

[44]ZHANG X， ZHOU X， LIN M， et al. Shufflenet：an extremely efficient convolutional neural network for mobile devices[C]//IEEE：Proceedings of the IEEE conference on computer vision and pattern recognition. New Jersey：IEEE Computer Society，2018：6848-6856.

[45]LIU Z， LIN Y， CAO Y， et al. Swin transformer：hierarchical vision transformer using shifted windows[C]//IEEE. Proceedings of the IEEE/CVF international conference on computer vision. New Jersey：IEEE Computer Society，2021：10012-10022.

[46]宋中山，劉 越，鄭 祿，等. 基于改進YOLO V3的自然環(huán)境下綠色柑橘的識別算法[J]. 中國農機化學報，2021，42（11）：159-165.

[47]陳文康，陸聲鏈，劉冰浩，等. 基于改進YOLO V4的果園柑橘檢測方法研究[J]. 廣西師范大學學報（自然科學版），2021，39（5）：134-146.

[48]劉 芳. 基于YOLO V5的柑橘果實目標檢測研究[J]. 信息與電腦（理論版），2022，34（2）：152-154.

[49]CHEN W， LU S， LIU B， et al. Citrus YOLO：a algorithm for citrus detection under orchard environment based on YOLO V4[J]. Multimedia Tools and Applications，2022，81（22）：31363-31389.

[50]莊昊龍，周嘉灝，林毓翰，等. 基于改進YOLO V5+DeepSort的柑橘果實識別與計數(shù)研究[J]. 南方農機，2023，54（15）：9-13.

[51]JING J， ZHAI M， DOU S， et al. Optimizing the YOLO V7-Tiny model with multiple strategies for citrus fruit yield estimation in complex scenarios[J]. Agriculture，2024，14（2）：303.

[52]易 詩，李俊杰，張 鵬，等. 基于特征遞歸融合YOLO V4網絡模型的春見柑橘檢測與計數(shù)[J]. 農業(yè)工程學報，2021，37（18）：161-169.

[53]黃彤鑌，黃河清，李 震，等. 基于YOLO V5改進模型的柑橘果實識別方法[J]. 華中農業(yè)大學學報，2022，41（4）：170-177.

[54]LIU X， LI G， CHEN W， et al. Detection of dense citrus fruits by combining coordinated attention and cross-scale connection with weighted feature fusion[J]. Applied Sciences，2022，12（13）：6600.

[55]李子茂，李嘉暉，尹 帆，等. 基于可形變卷積與SimAM注意力的密集柑橘檢測算法[J]. 中國農機化學報，2023，44（2）：156-162.

[56]周 劍，徐中貴，謝知音. 基于空間金字塔池化的YOLOv3的柑橘多分級研究[J]. 現(xiàn)代農業(yè)裝備，2023，44（2）：35-43，97.

[57]LI C， MA W， LIU F， et al. Recognition of citrus fruit and planning the robotic picking sequence in orchards[J]. Signal， Image and Video Processing，2023，17（8）：4425-4434.

[58]蹇 川，鄭永強，劉艷梅，等. 目標檢測算法YOLO V5s用于柑桔成熟果實檢測的改進[J]. 中國南方果樹，2024，53（1）：224-231.

[59]湯 旸，楊光友，王焱清. 面向采摘機器人的改進YOLO V3-tiny輕量化柑橘識別方法[J]. 科學技術與工程，2022，22（31）：13824-13832.

[60]楊 國，黃文靜，朱洪前，等. 自然環(huán)境下黃綠柑橘檢測通用模型的構建[J]. 林業(yè)工程學報，2022，7（5）：134-141.

[61]YANG R， HU Y， YAO Y， et al. Fruit target detection based on BCo-YOLO V5 model[J]. Mobile Information Systems，2022，2022：8457173.

[62]殷獻博，鄧小玲，蘭玉彬，等. 基于改進YOLO X-Nano算法的柑橘梢期長勢智能識別[J]. 華南農業(yè)大學學報，2023，44（1）：142-150.

[63]黃 輝，蘇成悅，王銀海. 基于改進YOLO V5的柑橘目標識別研究[J]. 電腦與信息技術，2024，32（2）：27-29.

[64]帖 軍，趙 捷，鄭 祿，等. 改進YOLO V5模型在自然環(huán)境下柑橘識別的應用[J]. 中國農業(yè)科技導報，2024，26（7）：1-10.

[65]劉 潔，李 燕，肖黎明，等. 基于改進YOLO V4模型的橙果識別與定位方法[J]. 農業(yè)工程學報，2022，38（12）：173-182.

[66]姜 錕. 柑橘采摘機器人目標識別、定位與采摘研究[D]. 鎮(zhèn)江：江蘇大學，2023.

[67]王乙涵. 基于改進YOLO V7的自然環(huán)境下柑橘果實識別與定位方法研究[D]. 成都：四川農業(yè)大學，2023

[68]KONG D， WANG J， ZHANG Q， et al. Research on fruit spatial coordinate positioning by combining improved yolov8s and adaptive multi-resolution model[J]. Agronomy，2023，13（8）：2122.

[69]熊俊濤，霍釗威，黃啟寅，等. 結合主動光源和改進YOLO V5s模型的夜間柑橘檢測方法[J]. 華南農業(yè)大學學報，2024，45（1）：97-107.

[70]孫寶霞，梁翠曉，劉 凱，等. 夜間環(huán)境下樹上柑橘表征缺陷深度學習檢測方法[J]. 林業(yè)工程學報，2021，6（6）：148-155.

[71]FENG J， WANG Z， WANG S， et al. MSDD-YOLOX：An enhanced YOLO X for real-time surface defect detection of oranges by type[J]. European Journal of Agronomy，2023，149：126918.

[72]賈雪瑩，趙春江，周 娟，等. 基于改進YOLO V7模型的柑橘表面缺陷在線檢測[J]. 農業(yè)工程學報，2023，39（23）：142-151.

（責任編輯：石春林）