姜國權 楊正元 霍占強 羅軍偉 趙翠君
摘要:為了實現(xiàn)自然環(huán)境下疏果前蘋果的快速識別和精確定位,滿足果園智能化種植需求,提出了一種基于改進的YOLOv5深度學習的檢測模型。首先,為了解決蘋果的尺度大小不一帶來的問題,改進目標檢測層,在YOLOv5的第17層之后對特征圖進行上采樣,在第20層將網絡提取到的特征圖與Backbone網絡中的第2層特征圖進行融合操作,以生成不同尺寸的檢測層。其次,為了克服復雜環(huán)境的影響,改進特征融合網絡,使用BiFPN(Bidirectional Feature Pyramid Network))進行特征融合,來更有效地提取目標信息。最后,將采集到的蘋果圖像進行不同網絡模型檢測效果對比試驗。試驗表明,改進的模型經過8 274幅圖像訓練,在2 759幅測試集上的檢測準確率為94.2%,召回率為95.2%,F(xiàn)1值為94.7%;相比YOLOv3、YOLOv4、原YOLOv5網絡,準確率分別提高了4.4%、7.0%、2.3%,F(xiàn)1值分別提高6.1%、6.5%、2.6%;相比YOLOv3、YOLOv4網絡,圖像的檢測速度分別提高了13.5、21.4 ms/幅。結果表明,在保證檢測實時性的情況下,該方法可以有效識別復雜環(huán)境下的蘋果。
關鍵詞:改進YOLOv5;疏果前;目標檢測;蘋果檢測;特征融合
中圖分類號:TP391.41文獻標志碼:A
文章編號:1002-1302(2023)14-0205-10
蘋果是世界四大水果之一,中國是世界上最大的蘋果生產國和消費國。我國的蘋果樹種植主要集中在北方,蘋果主要產區(qū)分布在甘肅、陜西、河南、山東等地,其中甘肅省天水市的花牛蘋果肉質細且松脆,得到了中外專家和營銷商的認可[1]。隨著科技的發(fā)展,蘋果種植也朝著規(guī)?;?、機械化、精準化的方向發(fā)展[2-4]。蘋果的檢測問題在國內外已有較多的研究,但研究對象大都是成熟期的蘋果,對于疏果前蘋果的識別研究尚不多見。實現(xiàn)疏果前蘋果檢測,對自動化疏果、噴灑農藥、施肥以及果實生長情況的監(jiān)測等智能化管理具有重要意義。
目前,國內外對水果檢測進行了廣泛研究,所使用的傳統(tǒng)方法主要有色差法[5-6]、模糊C均值方法[7]、K最近鄰(K-Nearest Neighbor,KNN)方法[8]、支持向量機(Support Vector Machine,SVM)[9-10]、K-means聚類方法[11]等。以上方法雖然可以將圖像中的果實識別出來,但是受外部環(huán)境條件影響較大,例如當光照條件不同、有物體遮擋或者水果重疊的情況發(fā)生的時候,果實的檢測效果會受到影響。
目前深度學習技術在水果檢測中得到了廣泛應用,國內外學者對此進行了大量研究[12-15]。與傳統(tǒng)方法相比,基于深度學習的方法可以自動提取圖像的特征,利用提取到的特征來獲得檢測目標的類別和位置信息,具有檢測速度更快、精度更高、魯棒性更強的特點。深度學習目標檢測算法主要分為雙階段和單階段2種類型。雙階段算法的核心思想是,首先在圖像中產生候選區(qū)域,然后對候選區(qū)域進行檢測,回歸確定出目標的類別和位置信息,以RCNN[16]、Mask-RCNN[17]、Fast-RCNN[18]、Faster-RCNN[19]等為代表。王輝等提出一種基于Mask-RCNN的單株柑橘樹冠識別與分割的方法,在復雜的果園圖像中具有良好的識別與分割效果[20]。寧政通等提出一種基于Mask-RCNN的葡萄果梗識別與最優(yōu)采摘定位的方法,提高了葡萄采摘機器人的采摘效率[21]。Yu等提出一種基于Mask-RCNN的草莓采摘機器人,與傳統(tǒng)方法相比,該方法具有更好的普遍性和魯棒性[22]。閆建偉等提出了一種基于改進Faster-RCNN刺梨果實識別方法,試驗表明VGG16網絡模型對自然條件下刺梨果實的識別具有較高的準確率和實時性[23]。Gao等提出一種基于Faster-RCNN的多分類蘋果目標檢測方法,可以有效檢測出所有不同種類的果實目標[24]。單階段算法不需要進行中間層的候選區(qū)域提取,而是直接把特征提取、目標分類、位置信息回歸放在一個流程,相較于雙階段算法,單階段算法在保證檢測準確率的情況下,檢測速度也有了一定的提升。較為經典的單階段目標檢測算法主要有(Single Shot MultiBox Detector,SSD)和(You Only Look Once,YOLO)系列等。彭紅星等提出一種通用改進 SSD 模型用于實現(xiàn)多種類水果的精準檢測,為農業(yè)自動化采摘提供了新的方案[25]。張恩宇等提出一種基于SSD算法的青蘋果識別方法,該方法將SSD深度學習算法和圖像處理算法相結合[26]。王昱潭等提出一種基于改進SSD的靈武長棗目標檢測方法,可以很好地完成靈武長棗的目標檢測任務[27]。薛月菊等提出一種未成熟芒果的YOLOv2識別方法,設計了一個基于密集連接的Tiny-yolo模型,該網絡結構能夠實現(xiàn)多層特征的復用和融合,利用樣本的前景區(qū)域來訓練YOLOv2結構,以此來減小外界環(huán)境對檢測效果的干擾[28]。唐熔釵等提出一種基于改進YOLOv3網絡的百香果實時檢測方法,具有良好的檢測效果,為百香果實時檢測提供了有效方法[29]。張兆國等提出一種基于改進YOLOv4模型的馬鈴薯檢測方法,該模型具有很強的魯棒性,可以在各種復雜環(huán)境下完成對馬鈴薯的檢測[30]。Fan等提出一種基于YOLOv4深度學習算法的實時蘋果缺陷檢測方法,該方法和初始的YOLOv4模型相比,具有更好的時效性和更高的準確率[31]。王卓等提出一種改進YOLOv4的輕量級蘋果實時檢測方法,該方法簡化了網絡的復雜程度,提高了模型的響應速度[32]。高芳芳等設計了一種基于輕量級目標檢測網絡YOLOv4-tiny和卡爾曼濾波跟蹤算法的蘋果檢測與視頻計數(shù)模型,該模型可以幫助果農掌握蘋果的數(shù)量,有助于科學化種植[33]。
相較于成熟期的蘋果,疏果前的蘋果檢測存在目標較小、顏色與背景相似的挑戰(zhàn)。本研究以果園中自然環(huán)境的蘋果為研究對象,構建一個疏果前蘋果數(shù)據(jù)集,提出一種基于改進YOLOv5網絡的果實檢測方法。首先,為了解決目標尺寸大小不一的問題,改進目標檢測層,將尺度不同的特征圖輸入不同的檢測層進行多尺度檢測,進而提高目標的檢測效果;其次,為了解決復雜背景的影響,采用EfficientDet中提出的BiFPN特征融合網絡替換原網絡中的PANet特征融合網絡,顯著提高了目標特征信息的提取效果[34]。
1 試驗數(shù)據(jù)
1.1 圖像采集
本研究中的圖像采集于甘肅省天水市甘谷縣大石鎮(zhèn)花牛果園,采集時間是2021年5月12日(晴)、5月13日(晴)、5月16日(陰)的08:30—12:00及14:00—18:00。此時蘋果的橫徑在30 mm以下,使用iphone X手機多角度近距離(2 m以內)進行拍攝,共采集花牛蘋果原圖像1 668幅,樣本如圖1所示。
1.2 數(shù)據(jù)增強處理
少量的訓練圖像可能會導致深度學習算法的過度擬合或者不收斂,而使用數(shù)據(jù)增強來增加訓練圖像的數(shù)量可以用來克服這一缺陷。因此,從拍攝的1 668幅蘋果圖像中篩選出862幅,使用MATLAB軟件、Photoshop圖像處理工具實現(xiàn)數(shù)據(jù)集增強,增強方法有多角度旋轉、水平鏡像、垂直鏡像、亮度變化、模糊處理,數(shù)據(jù)增強效果如圖2所示。
通過上述方法增強以后,訓練數(shù)據(jù)集增加了15倍,從862幅圖像變?yōu)榱?3 792幅圖像。然后,借助LabelImg軟件對圖像進行標簽制作,使用POSCAL VOC2007數(shù)據(jù)集格式制作,生成“xml”文件。最終,數(shù)據(jù)被分為訓練集(60%)、驗證集(20%)、測試集(20%),如表1所示。
2 改進YOLOv5網絡模型
2.1 YOLOv5網絡模型
YOLOv5有4種不同的網絡結構:YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x,它們的不同之處在于網絡的深度和寬度不同。為了保證網絡輕量化,本研究選用YOLOv5s結構,該網絡結構主要由4個部分組成:Input端、Backbone端、Neck端、Head端,網絡結構如圖3所示。首先,該網絡的輸入圖像大小為640×640,該階段通常包含1個圖像預處理階段。其次,對圖像進行特征提取。然后,對提取到的特征進行融合,經過在Neck端的進一步特征提取,可以得到3種不同尺度的特征圖,進一步提升特征的多樣性和魯棒性。最后,將生成的特征圖送入不同的檢測層,對目標圖像生成相應的預測框并對其進行非極大值抑制(Non-Maximum Suppression,NMS)處理,抑制掉得分低的預測框,檢測出目標。
YOLOv5的損失函數(shù),由分類損失(Classification Loss)、置信度損失(Confidence Loss)、定位損失(Localization Loss)3個部分組成。其中采用二元交叉熵損失函數(shù)(BCE Loss)來計算檢測物體的置信度損失和分類損失,定位損失函數(shù)采用完全交并比損失函數(shù)(Complete Intersection over Union Loss,CIOU Loss),如公式(1)所示。
其中“CIOU”表示網絡中預測框和真實框之間的交并比,ρ表示真實框和預測框2個框中心點之間的歐氏距離,b、bgt表示預測框、真實框的中心點,h、w分別表示預測框的高度、寬度,ht、wt分別表示真實框的高度、寬度。公式“IOU”計算如公式(2)所示。公式(1)中的v如公式(3)計算,用來表示預測框和真實框之間的高寬比差異,如果高寬比一致,v=0;v越大,差距越大。公式(1)中的系數(shù)α表示權重,系數(shù)α的計算如公式(4)所示。
2.2 改進YOLOv5網絡模型
2.2.1 改進目標檢測層 原始的YOLOv5網絡中,head端有3個檢測層,對應3組初始化的anchor值,輸入分辨率為640×640像素的圖像,經過特征提取最終提取到尺度分別為80×80、40×40、20×20的特征圖,可以用來檢測尺寸為8×8、16×16、32×32以上的目標。3個檢測層的模型對于較大的目標檢測效果較好,但對于較小尺寸的蘋果目標,檢測率有所降低。因此,本研究對原來檢測層做如下改進:(1)在YOLOv5的第17層之后,繼續(xù)對特征圖進行上采樣,這樣可以使得特征圖擴大,有助于提取不同尺度果實的特征信息;(2)在第20層,將網絡提取到的大小為160×160的特征圖與Backbone網絡中的第2層特征圖進行Concat融合操作,獲得尺寸為64×64的特征圖。這樣,模型最終會生成4個不同尺度的特征圖,送入不同檢測層能夠進行多尺度檢測,提高了檢測效果。
2.2.2 改進特征融合網絡 FPN(Feature Pyramid Networks)主要分為以SSD為代表使用的無融合網絡(圖4-a);以Faster RCNN、Mask RCNN、YOLOv3為代表使用的自上而下的單向融合網絡(圖4-b);以YOLOv5為代表使用的簡單雙向融合網絡(圖 4-c)。PANet的提出證明了雙向融合的有效性,但PANet的雙向融合將其他層的信息直接進行融合,會融入一些非目標的特征信息,因此出現(xiàn)了更復雜的雙向融合網絡。各種融合網絡結構如圖4所示。
本研究使用的BiFPN特征融合網絡屬于復雜雙向融合網絡(圖4-d),用它來代替YOLOv5中的PANet特征融合網絡。特征融合網絡用來聚合不同分辨率的特征,PANet網絡在特征融合階段時所有輸入節(jié)點的權重都是均等的,在進行融合時只是簡單的相加。實際情況是特征的分辨率不同,對融合后的輸出特征貢獻值是不一樣的,這就需要對不同特征節(jié)點的輸入賦予不同的權重。BiFPN一方面使用快速歸一化融合,針對融合的各個尺度特征增加一個權重,調節(jié)每個尺度的貢獻度;另一方面,由于單邊輸入的結點沒有進行特征融合,對于最后的融合貢獻少,因此,移除了單邊輸入的結點。BiFPN結構如5所示。
BiFPN特征融合網絡集成了雙向跨尺度連接和快速歸一化融合,以BiFPN的第6層的特征融合為例,其中公式(5)中的Ptd6是自頂向下路徑上第6級的中間特征;w1、w2是得到的權重參數(shù);Resize操作是下采樣操作;是一個小值,以避免數(shù)值不穩(wěn)定;
Pin7是自頂向下路徑上第7級的輸入特征。公式(6)中Pout6是自底向上路徑上第6級的輸出特征;w1′、w2′、w3′是對權重值w1、w2、w3求導;Ptd6是自頂向下路徑上第6級的中間特征;Resize操作是下采樣操作。所有其他特征都以類似的方式構建。使用BiFPN特征融合網絡可以有效抑制與疏果前綠色蘋果顏色相近的背景信息,可以提取更多有用信息進行融合,從而提高檢測效果。
改進目標檢測層的基礎上,用BiFPN特征融合網絡代替YOLOv5中的原始PANet特征融合網絡,改進后的YOLOv5結構如圖6所示。
3 模型訓練
3.1 試驗時間和地點
試驗于2021年9月至2022年7月在河南理工大學軟件學院圖像視覺研究所完成。
3.2 試驗平臺
本試驗條件為:Ubuntu18.04、64位操作系統(tǒng),采用Pytorch框架。計算機配置:臺式計算機,GeForce GTX 2080ti顯卡,12 G顯存;IntelCoreTMi9-9900K處理器,主頻3.60 GHz,內存64 GB,編程語言是Python語言。
3.3 試驗設計
試驗中,造成蘋果檢測結果比預期低的原因主要是檢測距離變化導致目標尺度大小不一樣;目標顏色與背景顏色相近,容易造成誤檢或漏檢。針對上述問題,本研究通過以下幾組試驗來提升模型的檢測效果:(1)將YOLOv5模型從3個檢測層變?yōu)?個,多尺度檢測不同尺度的蘋果;(2)將YOLOv5中的PANet特征網絡替換為BiFPN特征網絡分別進行識別對比。
3.4 試驗參數(shù)設置
在試驗中,特征提取網絡初始權重使用預訓練好的yolo5s.pt,可以減少模型訓練的計算成本和時間。試驗按照表2所示初始化模型訓練參數(shù),模型的訓練次數(shù)Epochs設為300;訓練批次大小設為8;輸入圖片的大小按照初時的640×640;學習率為0.01;置信度閾值Conf_thres設為0.25,IOU閾值設為0.45。
3.5 試驗指標
本研究使用精度(precision,P)、召回率(recall,R)、平均精度(average precision,AP)及每幅圖像的檢測時間等評價指標。
式中:P表示準確率;R表示召回率;TP表示識別到的蘋果的個數(shù);FP表示誤將背景識別為目標果實的個數(shù);FN表示未識別到的目標個數(shù)。
模型的訓練損失值與迭代次數(shù)曲線如圖7所示,當訓練到達300個epoch時Loss值趨于平緩。訓練的PR曲線如圖8所示,其中橫坐標是召回率(recall,R),縱坐標是精度(precision,P),曲線越靠近坐標(1,1)代表該模型的性能越好。
4 結果與分析
4.1 不同模型訓練結果分析
為了分析改進后模型與不同檢測模型的檢測性能,驗證改進后YOLOv5網絡模型的優(yōu)越性,采用相同的數(shù)據(jù)集和配置對改進前后的YOLOv5算法和主流的一階段目標檢測算法YOLOv3、YOLOv4進行對比試驗,各模型檢測效果如圖9所示,試驗結果對比如表3所示。可以看出,本研究方法在自制數(shù)據(jù)集上的檢測精度(precision,P)為94.2%,相比 YOLOv3、YOLOv4、原YOLOv5算法,精確度分別提高了4.4%、7.0%、2.3%。從檢測精度來看,該方法的精度均優(yōu)于其他方法。同時,從檢測速度上來看,本研究算法比YOLOv3、YOLOv4算法分別快了13.5、21.4 ms/幅;與原YOLOv5算法相比,雖然檢測速率慢了5.7 ms/幅,檢測精度卻提升了2.3百分點。這表明,本研究提出的方法在檢測速率未有很大降低時,精確度有一定的提升。綜合考慮,改進后的方法在速度和精度上可以達到很好的平衡。
4.2 不同距離下檢測結果與分析
實際檢測過程中,采集距離的不同會造成待檢測目標比例大小不一樣。為了分析目標比例大小不一對識別檢測精度的影響,選取部分數(shù)據(jù)進行測試。果園中的果實按照果樹與拍攝相機的距離可分為近距離、中距離、遠距離目標。其中近距離目標以0.2 m距離拍攝,中距離目標以0.5~0.8 m距離拍攝,遠距離目標以1.0~1.2 m距離拍攝。
為了更詳細地對比不同拍攝距離下改進后的YOLOv5模型與其他模型的檢測效果,準備近距離、中距離、遠距離目標各20幅非訓練集的圖片,60幅圖片的待測目標數(shù)量如表4所示,使用YOLOv3、YOLOv4、原YOLOv5、YOLOv5_4Anchors_BiFPN這4種模型對不同光照條件下的目標進行檢測,檢測效果如圖10所示(注:黃色框代表未檢測到的目標)。各模型的P、R、F1指標如表5所示。
試驗數(shù)據(jù)顯示,距離的不同會對果實識別產生影響,近距離情況下采集圖像目標的識別準確率為98.5%,而遠距離情況下采集圖像目標的識別準確率為90.3%。分析原因可能是拍攝距離、角度等因素造成待檢測目標比例變小,而模型在進行特征提取后生成的特征圖尺寸較小,影響目標檢測效果。
由于改進了目標檢測層,對原模型17層之后的特征圖進行上采樣,同時在第20層時,將網絡提取到的特征圖與Backbone網絡中的第2層特征圖進入BiFPN融合網絡,獲得更大的特征圖,這樣就可以改善尺度大小不一造成識別精度降低的問題。改進后的模型在中、近距離對于目標的檢測效果均比原模型和其他模型要好。在遠距離目標檢測上,改進后的YOLOv5的檢測效果相較于原YOLOv5也有改善,但是檢測速度有所下降,這是由于改進目標檢測層以后,多生成1個特征圖,特征提取耗費更多時間。在實際應用中,農業(yè)機器人的移動速度一般較慢,所以檢測速度的少許下降對于目標檢測幾乎沒有影響。
4.3 不同光照條件檢測結果與分析
實際應用場景中會遇到不同的光照環(huán)境,為了分析不同光照條件對目標識別的影響,以3種不同光照情況下采集的數(shù)據(jù)為研究對象進行分析。選取的圖像分為正常光、過曝光、逆光3種情況。
為了更具體地對比不同光照條件下改進后的YOLOv5模型與其他模型的檢測效果,準備正常光、過曝光、逆光圖片各20幅,這60幅圖片的待測目標數(shù)量如表6所示。為直觀展示不同光照條件下的識別效果,使用YOLOv3、YOLOv4、原YOLOv5、YOLOv5_4Anchors_BiFPN這4種模型對不光照條件下的目標進行檢測,檢測效果如圖11所示,各模型的P、R、F1指標如表7所示。
試驗結果顯示,光照不均勻的情況下要比正常光照下的識別效果差一些,分析原因可能是在光照不均圖像中,由于目標區(qū)域的過曝或曝光不足,目標與背景界限不明顯或出現(xiàn)黑色區(qū)域,會造成部分特征信息丟失,提取果實邊緣特征信息的難度增加,影響該區(qū)域部分果實的識別效果。
為了改善復雜環(huán)境對檢測結果的影響,本研究提出的模型在改進目標檢測層以后,將原始的PANet特征網絡改為BiFPN特征網絡。BiFPN網絡在進行特征融合對特征節(jié)點的輸入賦予不同的權重,針對融合的各個尺度特征增加1個權重,更有效地提取目標的特征信息。從圖11可以看出,改進后的網絡模型在正常光照和過曝光條件下的檢測效果是優(yōu)于原YOLOv5與其他模型的。在逆光條件下,改進后的網絡模型檢測效果強于原YOLOv5模型,但偶爾也會出現(xiàn)漏檢的情況。因此從試驗數(shù)據(jù)分析可知,改進后的YOLOv5模型更適合疏果前的蘋果檢測任務。
5 結論
為了解決疏果前蘋果的目標尺度不一和復雜檢測環(huán)境導致的果實檢測效果不好的問題,本研究自制數(shù)據(jù)集,在YOLOv5網絡的基礎上改進目標檢測層,使用BiFPN特征網絡替換PANet特征網絡,生成多個特征圖,利用多尺度檢測進行大量試驗。結果表明,改進后的YOLOv5算法比原來的YOLOv5在準確度、召回率、平均精度上分別提升了2.3、2.9、2.3百分點,與現(xiàn)有一階段檢測網絡相比,該方法可以更有效地檢測自然場景下的蘋果。
但是該方法依然存在一定的局限性,目前只是針對花牛蘋果數(shù)據(jù)進行了試驗,品種單一,缺乏普遍性。在未來的工作當中,將采集更多品種、更多高分辨率的蘋果數(shù)據(jù)進行訓練,進一步優(yōu)化網絡模型,提高蘋果目標的檢測效率與速度,同時進一步解決樹枝、樹葉遮擋等復雜環(huán)境下的果實檢測問題。
參考文獻:
[1]常 倩,李 瑾. 2000年以來中國蘋果產業(yè)發(fā)展趨勢分析[J]. 北方園藝,2021(3):155-160.
[2]任碧峰. 中國蘋果產業(yè)發(fā)展趨勢分析與建議[J]. 農村經濟與科技,2019,30(19):8-9,15.
[3]霍學喜,劉天軍,劉軍弟,等. 2020年度中國蘋果產業(yè)發(fā)展報告(精簡版)[J]. 中國果菜,2022,42(2):1-6.
[4]慕海濤. 中國蘋果產業(yè)發(fā)展現(xiàn)狀及趨勢探究[J]. 農村科學試驗,2019(9):75-77.
[5]Arefi A,Motlagh A M,Mollazade K,et al. Recognition and localization of ripen tomato based on machine vision[J]. Australian Journal of Crop Science,2011,5(10):1144-1149.
[6]Zhou R,Damerow L,Sun Y,et al. Using colour features of cv.‘Galaapple fruits in an orchard in image processing to predict yield[J]. Precision Agriculture,2012,13(5):568-580.
[7]Zhu A,Yang L. An improved FCM algorithm for ripe fruit image segmentation[C]//2013 IEEE International Conference on Information and Automation. 2013:436-441.
[8]Linker R,Cohen O,Naor A. Determination of the number of green apples in RGB images recorded in orchards[J]. Computers and Electronics in Agriculture,2012,81:45-57.
[9]Lü Q,Cai J R,Liu B,et al. Identification of fruit and branch in natural scenes for citrus harvesting robot using machine vision and support vector machine[J]. International Journal of Agricultural and Biological Engineering,2014,7(2):115-121.
[10]Zhao C Y,Lee W S,He D J.Immature green citrus detection based on colour feature and sum of absolute transformed difference (SATD) using colour images in the citrus grove[J]. Computers and Electronics in Agriculture,2016,124:243-253.
[11]Wachs J P,Stern H I,Burks T,et al. Low and high-level visual feature-based apple detection from multi-modal images[J]. Precision Agriculture,2010,11(6):717-735.
[12]彭紅星,李 荊,徐慧明,等. 基于多重特征增強與特征融合SSD的荔枝檢測[J]. 農業(yè)工程學報,2022,38(4):169-177.
[13]李國進,黃曉潔,李修華. 基于改進YOLOv3的樹上成熟芒果檢測方法[J]. 沈陽農業(yè)大學學報,2021,52(1):70-78.
[14]熊俊濤,鄭鎮(zhèn)輝,梁嘉恩,等. 基于改進YOLO v3網絡的夜間環(huán)境柑橘識別方法[J]. 農業(yè)機械學報,2020,51(4):199-206.
[15]Fu L S,Majeed Y,Zhang X,et al. Faster R-CNN-based apple detection in dense-foliage fruiting-wall trees using RGB and depth features for robotic harvesting[J]. Biosystems Engineering,2020,197:245-256.
[16]Girshick R,Donahue J,Darrell T,et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2014:580-587.
[17]He K M,Gkioxari G,Dollár P,et al. Mask R-CNN[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017:2980-2988.
[18]Girshick R. Fast R-CNN[C]//2015 IEEE International Conference on Computer Vision. 2016:1440-1448. [HJ2mm]
[19]Ren S Q,He K M,Girshick R,et al. Faster R-CNN:towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(6):1137-1149.
[20]王 輝,韓娜娜,呂程序,等. 基于Mask R-CNN的單株柑橘樹冠識別與分割[J]. 農業(yè)機械學報,2021,52(5):169-174.
[21]寧政通,羅陸鋒,廖嘉欣,等. 基于深度學習的葡萄果梗識別與最優(yōu)采摘定位[J]. 農業(yè)工程學報,2021,37(9):222-229.
[22]Yu Y,Zhang K L,Yang L,et al. Fruit detection for strawberry harvesting robot in non-structural environment based on Mask-RCNN[J]. Computers and Electronics in Agriculture,2019,163:104846.
[23]閆建偉,趙 源,張樂偉,等. 改進Faster-RCNN自然環(huán)境下識別刺梨果實[J]. 農業(yè)工程學報,2019,35(18):143-150.
[24]Gao F F,F(xiàn)u L S,Zhang X,et al. Multi-class fruit-on-plant detection for apple in SNAP system using Faster R-CNN[J]. Computers and Electronics in Agriculture,2020,176:105634.
[25]彭紅星,黃 博,邵園園,等. 自然環(huán)境下多類水果采摘目標識別的通用改進SSD模型[J]. 農業(yè)工程學報,2018,34(16):155-162.
[26]張恩宇,成云玲,胡廣銳,等. 基于SSD算法的自然條件下青蘋果識別[J]. 中國科技論文,2020,15(3):274-281.
[27]王昱潭,薛君蕊. 改進SSD的靈武長棗圖像輕量化目標檢測方法[J]. 農業(yè)工程學報,2021,37(19):173-182.
[28]薛月菊,黃 寧,涂淑琴,等. 未成熟芒果的改進YOLOv2識別方法[J]. 農業(yè)工程學報,2018,34(7):173-179.
[29]唐熔釵,伍錫如. 基于改進YOLO-V3網絡的百香果實時檢測[J]. 廣西師范大學學報(自然科學版),2020,38(6):32-39.
[30]張兆國,張振東,李加念,等. 采用改進YoloV4模型檢測復雜環(huán)境下馬鈴薯[J]. 農業(yè)工程學報,2021,37(22):170-178.
[31]Fan S X,Liang X T,Huang W Q,et al. Real-time defects detection for apple sorting using NIR cameras with pruning-based YOLOV4 network[J]. Computers and Electronics in Agriculture,2022,193:106715.
[32]王 卓,王 健,王梟雄,等. 基于改進YOLOv4的輕量級蘋果實時檢測方法[J/OL]. 農業(yè)機械學報.[2022-10-01]. https://kns.cnki.net/kcms/detail/11.1964.S.20220520.1636.008.html.
[33]高芳芳,武振超,索 睿,等. 基于深度學習與目標跟蹤的蘋果檢測與視頻計數(shù)方法[J]. 農業(yè)工程學報,2021,37(21):217-224.
[34]Tan M X,Pang R M,Le Q V.EfficientDet:scalable and efficient object detection[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020:10778-10787.
收稿日期:2022-10-12
基金項目:國家自然科學基金(編號:61972134);河南省計算機視覺與圖像處理創(chuàng)新團隊項目(編號:T2014-3)。
作者簡介:姜國權(1969—),男,河北唐山人,博士,副教授,碩士生導師,主要從事圖像處理及模式識別研究。E-mail:jguoquan@163.com。
通信作者:霍占強,博士,教授,碩士生導師,主要從事機器視覺及模式識別研究。E-mail:hzq@hpu.edu.cn。