楊國，黃文靜，朱洪前*，丁鍵，任會，李丹，肖恒玉，胡濤

(1. 中南林業(yè)科技大學，長沙 410004； 2. 江蘇護理職業(yè)學院，淮安 223002)

自然環(huán)境下柑橘檢測和產(chǎn)量預估受到不同光照、復雜的冠層結構、生長過程中的顏色變化、遮擋或者重果以及小尺寸的影響[1]。對于冠層結構，韓蕊等[2]利用無人機遙感、多光譜圖像提取柑橘樹冠信息，進行樹冠分割與株數(shù)統(tǒng)計。

近年來，隨著深度學習技術的快速發(fā)展，國內(nèi)外專家學者們在水果檢測方面取得了一系列的研究成果。Aleixos等[3]應用貝葉斯決策理論實時對柑橘類水果表面進行多光譜檢測。López-García等[4]采用多變量圖像分析法和主成分分析法實現(xiàn)柑橘類水果表面的缺陷檢測。Lu等[5]通過融合色差圖、歸一化RGB模型和光照圖的分割結果，研究了可變光照和不同程度遮擋樹冠下柑橘類水果的檢測，所采用的融合方法可以檢測目標水果的高光、陰影和漫射區(qū)域。Sengupta等[6]開發(fā)了霍夫圓檢測等算法，基于SVM的紋理分類和其他假陽性去除技術來檢測自然條件下綠色冠層中的未成熟柑橘。熊俊濤等[7]利用Faster R-CNN目標檢測算法對樹上的綠色柑橘進行檢測研究，建立了自然環(huán)境下不同光照、不同尺寸柑橘和不同數(shù)量柑橘的圖像樣本集，最終在測試集上的平均精度為85.49%。王丹丹等[8]提出一種利用RseNet-44對R-FCN網(wǎng)絡進行改進的蘋果目標識別算法，采用RseNet-44全卷積網(wǎng)絡，最終在測試數(shù)據(jù)集上得到的召回率為85.7%，準確率為95.1%，識別速度為0.187 s/幅。李善軍等[9]提出了一種基于改進SSD深度學習模型的柑橘實時分類檢測方法，最終該模型的mAP(mean average precision)達到87.89%，平均檢測時間為20.27 ms。韓文等[10]提出基于Tiny-YOLOv3網(wǎng)絡的目標檢測方法，在2個數(shù)據(jù)集上試驗以驗證改進模型的有效性，在果園柑橘數(shù)據(jù)集中，準確率、召回率以及F1分別為88.98%，95.29%和92.03%。呂石磊等[11]提出一種基于改進YOLOv3-LITE輕量級神經(jīng)網(wǎng)絡的柑橘識別方法，在全部測試集上，F(xiàn)1和AP分別為0.936 9和91.13%。孫寶霞等[12]對夜間自然環(huán)境下成熟的柑橘進行識別與表征缺陷檢測，所采用的YOLOv4模型檢測方法在柑橘測試集上的精確率、召回率、F1以及mAP分別為95.32%，94.59%，0.95和90.52%。

綜上所述，國內(nèi)外對于水果檢測特別是柑橘的檢測都取得了很多成果，但是大都只是對于一種顏色特征或者對于某一特定類型的柑橘進行檢測，得到的模型通用性和魯棒性不佳，而柑橘作為極為常見的水果，未成熟時為綠色，成熟之后更是存在黃色和綠色兩種顏色特征，加之其生長環(huán)境極為復雜，進一步增加了自然環(huán)境下的柑橘檢測難度。深度學習的方法通過層層網(wǎng)絡結構，對圖像的淺層到高層特征進行提取歸類，達到準確識別類別的目的[13]。筆者基于深度學習方法的識別模型選取了基于VGG16的 Faster R-CNN、基于Resnet的 Faster R-CNN以及YOLOv5s，以自然環(huán)境下成熟柑橘的兩種顏色形態(tài)建立數(shù)據(jù)集進行柑橘檢測，通過試驗對比及模型訓練，將基于深度學習的算法模型用于自然環(huán)境下的柑橘檢測，以期為經(jīng)濟林下農(nóng)業(yè)生產(chǎn)中自然成熟狀態(tài)下果實為綠色和黃色的水果以及類圓水果的視覺檢測研究提供技術支持。

1 材料與方法

1.1 圖像獲取

本研究以多個品種的柑橘作為研究對象，采集地點為長沙市百果園及長沙市橘子洲頭，采集圖像包含黃色和綠色柑橘。圖像采集在一天中的不同時段進行，涵蓋晴天、陰天和雨后。所有圖像均使用智能手機攝像頭和工業(yè)相機采集，所有試驗數(shù)據(jù)集均為自然狀態(tài)下未經(jīng)處理的自然圖像。數(shù)據(jù)集中共有13 091 個柑橘圖像，其中黃色柑橘圖像為8 877 個，綠色柑橘圖像為4 214個。自然環(huán)境下的柑橘具體數(shù)量分布情況見表1。

表1 自然條件下的柑橘數(shù)量Table 1 Number of citrus under natural conditions

1.2 數(shù)據(jù)集制作

圖像數(shù)據(jù)集分為訓練數(shù)據(jù)集、驗證數(shù)據(jù)集和測試數(shù)據(jù)集，最終采集了1 682張綠色柑橘圖像以及1 830張黃色柑橘圖像。對于黃色柑橘圖像，訓練集圖像為1 498張，驗證集圖像為167張，測試集圖像為165張；對于綠色柑橘圖像，訓練集圖像為1 361張，驗證集圖像為152張，測試集圖像為169張。

1.3 監(jiān)督學習的人工標注

研究采取監(jiān)督學習的人工標注，數(shù)據(jù)集標注(圖1)過程中樣品位置按照邊界原則，將樣品盡可能標記在最小切線矩形內(nèi)。圖1顯示了一個圖像注釋示例，包括一些部分被樹葉、枝干遮擋以及重疊造成的不完全標注圖像。標注使用的軟件是LabelImg，標簽格式為“xml”。

圖1 數(shù)據(jù)集標注Fig. 1 Data set annotation

1.4 柑橘檢測的深度學習算法

深度學習算法在圖像、語音、文本等方面的運用越來越廣泛。鑒于傳統(tǒng)的檢測方法已經(jīng)不能滿足信息化、自動化以及智能化需求，而深度學習的優(yōu)勢在于深度卷積神經(jīng)網(wǎng)絡具有學習功能，可以通過端到端直接回歸訓練，同時還有高精度和實時性等優(yōu)點，并且有利于發(fā)現(xiàn)高維的復雜結構數(shù)據(jù)。此外，將更多的數(shù)據(jù)用于訓練深度學習模型，將增加模型的魯棒性和泛化性。對比前人所采取的研究模型，本研究選用基于VGG16的Faster R-CNN、基于Resnet的Faster R-CNN以及YOLOv5s這3種算法模型進行柑橘檢測研究。

1.4.1 Faster R-CNN柑橘檢測算法

Faster R-CNN[14]是繼RCNN[15]和Fast-RCNN[16]后提出的目標檢測方法，該算法可直接使用RPN生成檢測框?；贔aster R-CNN的用于柑橘檢測的圖像處理過程如圖2所示。

圖2 柑橘的Faster R-CNN圖像處理過程Fig. 2 The Faster R-CNN image processing process of orange

在目標檢測中，F(xiàn)aster R-CNN的巨大優(yōu)勢是直接使用RPN生成檢測框，能極大提升檢測框的生成速度。Faster R-CNN損失函數(shù)通常可以選擇絕對值損失函數(shù)L1和平方損失函數(shù)L2，對于絕對值損失函數(shù)L1，容易導致訓練不穩(wěn)定，而且這個函數(shù)在0點處導數(shù)不存在，因此可能會影響模型收斂。L2損失函數(shù)對離群點和異常值較為敏感，訓練時容易發(fā)散；而在模型訓練過程中，選擇分段函數(shù)作為損失函數(shù)很好地解決了上述問題。SmoothL1同時避開了L1和L2損失的缺陷，不會因預測值的梯度過大導致訓練不穩(wěn)定。由于本研究的數(shù)據(jù)集比較復雜，所以選用SmoothL1作為損失函數(shù)，其RPN的損耗函數(shù)定義如下：

(1)

(2)

(3)

1.4.2 YOLOv5s柑橘檢測算法

YOLO將物體的定位和分類一起完成，輸入一副原始圖像，由單一網(wǎng)絡可直接推理出目標位置，更能滿足工業(yè)上的實時性要求，效果魯棒；從自然圖像遷移到藝術等其他領域的圖像時，效果也很好?？紤]到模型的輕量化要求，本研究采用的是YOLOv5系列中網(wǎng)絡結構最輕、深度最小以及特征圖寬度最小的YOLOv5s網(wǎng)絡。網(wǎng)絡主要分為輸入端、基準網(wǎng)絡、Neck網(wǎng)絡、預測框4個部分，其網(wǎng)絡結構如圖3所示。

圖3 YOLOv5s網(wǎng)絡結構Fig. 3 YOLOv5s network structure

YOLOv5采用了BECLogits損失函數(shù)計算objectness score的損失[17]，class probability score采用了交叉熵損失函數(shù)(BCEclsloss)，bounding box采用了GIOU Loss。

(4)

(5)

式中：IoU為交并比；A和B為兩個任意框面積；C為A、B兩個框面積的最小閉包區(qū)域面積；A∩B表示兩個任意框面積的交集；A∪B表示兩個任意框面積的并集。式(5)表示用IoU減去閉包區(qū)域中不屬于兩個框的區(qū)域占閉包區(qū)域的比重。

2 試驗過程與結果分析

2.1 試驗環(huán)境

3種檢測模型為基于VGG16的Faster R-CNN、基于Resnet的Faster R-CNN以及YOLOv5s，所采用的gpu為GTX2060，訓練所采用的模型框架為Anaconda+PyCharm+Pytorch+Python3.8。

2.2 試驗參數(shù)設置

完成數(shù)據(jù)集準備、試驗環(huán)境配置以及算法模型搭建后，經(jīng)過多次調參，最終確定了各個模型的參數(shù)，如表2所示。此外，為了節(jié)約內(nèi)存，迭代次數(shù)每訓練50次保存1次模型。

表2 模型的參數(shù)設置Table 2 Parameter settings of the model

2.3 模型訓練

試驗過程中，根據(jù)驗證集的損失值對模型性能進行分析，損失值的大小用于判斷模型是否收斂。比較重要的是損失值有收斂的趨勢，即驗證集損失值不斷下降，損失值并不是接近于0才好，如果驗證集損失基本上不改變，則模型基本上就收斂了。

3個模型在兩種數(shù)據(jù)集下的訓練損失loss值變化曲線見圖4～6。從圖4中可以看出，基于Resnet的Faster R-CNN在進行綠色柑橘試驗時，當經(jīng)過30次迭代時，驗證集損失值開始趨于穩(wěn)定，之后繼續(xù)訓練網(wǎng)絡，直到50次時停止訓練；基于Resnet的Faster R-CNN在進行黃色柑橘試驗時，模型擬合較慢，直到50次迭代時才開始收斂，訓練出來的模型效果也很差，遠遠低于同一模型下的綠色柑橘模型訓練結果。說明該模型用于兩種特征的柑橘檢測時，通用性不強。由圖5可知，基于VGG16的Faster R-CNN在進行綠色柑橘試驗時，當經(jīng)過40次迭代時，驗證集損失值開始趨于穩(wěn)定，模型收斂速度快，設置迭代80次后停止訓練，模型的AP是92.82%；基于VGG16的Faster R-CNN在進行黃色柑橘試驗時，模型擬合較慢，直到50次迭代時才開始收斂，訓練出來的模型效果也很差，設置迭代80次，模型的AP僅為51.77%，此模型針對黃、綠兩種柑橘，訓練結果差別相對較大，而且對于黃色柑橘檢測效果差，說明此模型通用性也不強。由圖6可知，采用YOLOv5進行網(wǎng)絡訓練時，數(shù)據(jù)收斂較快，在進行綠色柑橘試驗時AP是97.2%，在進行黃色柑橘試驗時AP是97.4%。

圖4 Faster R-CNN Resnet50模型訓練損失曲線Fig. 4 Faster R-CNN Resnet50 model training loss curves

圖5 Faster R-CNN VGG16模型訓練損失曲線Fig. 5 Faster R-CNN VGG16 model training loss curves

圖6 YOLOv5s模型訓練驗證損失曲線Fig. 6 YOLOv5s model training verification loss curves

2.4 評價指標

本試驗采用4個指標進行評估，分別是精確率(precision，公式中記為P)、召回率(recall rate，公式中記為R)、平均精度(average precision，公式中記為AP)以及F1(balanced F score，公式中記為F1)，以置信度高于0.5的目標數(shù)量作為試驗網(wǎng)絡所檢測到的柑橘數(shù)目。P、R、AP和F1的相關計算公式分別如式(6)～(9)所示：

P=tp/(tp+fp)

(6)

R=tp/(tp+fn)

(7)

(8)

F1=2×P×R/(P+R)

(9)

式中：tp是實際為正樣本被預測為正樣本；fp是實際為負樣本被預測為正樣本；fn是實際為正樣本被預測為負樣本。

2.5 結果與分析

2.5.1 黃色柑橘試驗結果分析

黃色柑橘具有與自然環(huán)境下柑橘生長環(huán)境完全不同的顏色特征。由柑橘在不同模型下的檢測指標(表3)可知，對于所有黃色柑橘數(shù)據(jù)集，與YOLOv5s相比，基于Faster R-CNN的兩種檢測模型的試驗結果都相對較差。針對數(shù)據(jù)集的情況以及試驗結果分析如下：

1)模型自身的缺陷，對于Faster R-CNN，不論是使用VGGnet還是Resnet，其提取到的特征圖都是單層的，分辨率也比較??；

2)數(shù)據(jù)集中遮擋或者重果的圖像較多，在試驗過程中，有時會出現(xiàn)錯檢或者漏檢，說明Faster R-CNN對遮擋的目標檢測較困難；

3)數(shù)據(jù)集樣本中有太多自然環(huán)境因素的干擾，模型訓練結束，將一些比較復雜和小尺寸柑橘圖像傳入模型后，檢測效果差，說明Faster R-CNN的兩種檢測模型對于復雜程度過高以及密集小尺寸柑橘的檢測是存在困難的；

4)將小尺寸柑橘圖像以及遮擋或者重果圖像傳入訓練好的YOLOv5s模型后，發(fā)現(xiàn)檢測效果更好，準確性高而且速度更快，說明與Faster R-CNN相比，YOLOv5s對于小尺寸柑橘以及遮擋重疊的柑橘檢測效果更好。

表3 柑橘在不同模型下的檢測結果Table 3 Detection results of orange using different models

綜上所述，對于黃色柑橘，YOLOv5s與基于VGG16的Faster R-CNN模型以及基于Resnet的Faster R-CNN模型相比，基于YOLOv5s的模型對于自然環(huán)境下黃色柑橘的檢測效果最優(yōu)，速度更快，其精確率為91.90%、召回率為99.00%、F1為 0.94、AP為97.40%。

2.5.2 綠色柑橘試驗結果分析

對于綠色柑橘數(shù)據(jù)集，自然環(huán)境下綠色柑橘的表皮顏色特征與柑橘樹顏色特征基本一致。根據(jù)柑橘在不同模型下的檢測指標可知，對于所有綠色柑橘，與YOLOv5s相比，基于Faster R-CNN兩個模型的精確率和F1相對較低，對Faster R-CNN柑橘檢測模型分析如下：

1)綠色柑橘數(shù)據(jù)集偏小，數(shù)據(jù)集過于復雜，導致模型沒有學習到更深層次的特征，精確率偏低；

2)Faster R-CNN模型的參數(shù)量過多，卷積層數(shù)過深，對于具有相似特征的目標特征提取困難；

3)與黃色柑橘相比，綠色柑橘各項指標更高，說明所提取的目標與背景具有相似顏色特征的情況下，F(xiàn)aster R-CNN模型仍然可以完成特征提取。

綜上所述，YOLOv5s模型用于自然環(huán)境下黃、綠兩種顏色特征的柑橘檢測，其各項指標以及檢測效果均有了更大的提升，而且對于兩種顏色特征的柑橘都具有很好的檢測表現(xiàn)。與VGG16的Faster R-CNN模型以及Resnet的Faster R-CNN相比，YOLOv5s模型通用性更強，未來對于柑橘檢測的研究有更好的參考價值。

2.6 不同模型的測試效果

2.6.1 不同光照條件下的柑橘檢測試驗

利用計算機視覺進行目標檢測時，一般要求工作環(huán)境具備良好的光照條件，但是自然環(huán)境下的場景較為復雜，可能包含一天中的不同時段，所以要求模型有更好的魯棒性，能適應不同光照強度，在光照強度發(fā)生變化時，仍然能夠達到檢測要求。筆者收集了一部分不同光照強度的圖像(圖7)，將其傳入訓練好的柑橘檢測模型中，給出了一些測試圖像在不同模型以及不同光照條件下的柑橘檢測效果。從檢測結果可以看出：對于黃色柑橘，Resnet50的檢測效果相對較差，甚至出現(xiàn)了漏檢，而Faster R-CNN+VGG16與YOLOv5s都能準確無誤地將目標檢測出來；對于綠色柑橘，所有模型均能達到很好的預測效果。

a)Faster R-CNN+Resnet50；b)Faster R-CNN+VGG16；c)YOLOv5s。圖7 不同模型不同光照環(huán)境下的柑橘檢測效果Fig. 7 Orange detection effect using different models and different lighting environments

2.6.2 遮擋與重果情況下的柑橘檢測試驗

在自然環(huán)境下生長的柑橘，往往會出現(xiàn)果實被枝葉包裹、遮擋以及果實密集等情況，這對于采摘機器人的視覺系統(tǒng)設計來說是一個必須解決的關鍵問題。在完成了柑橘檢測試驗之后，收集了一部分重果和被枝葉遮擋的自然環(huán)境下的柑橘圖像，將未經(jīng)任何處理的柑橘圖像傳入訓練好的柑橘檢測模型，3種檢測模型的效果如圖8所示。對于簡單的重果和遮擋場景，3種模型都能完成預測；而對于重疊程度高以及枝葉遮擋較為嚴重的狀況，相比較而言，Resnet50就會出現(xiàn)偏差，甚至出現(xiàn)漏檢現(xiàn)象，而VGG16與YOLOv5s都能完成目標檢測。

在圖像測試過程中，F(xiàn)aster R-CNN+VGG16與Faster R-CNN+Resnet在檢測時雖然能達到一定程度的檢測要求，但是訓練模型用時長，占用內(nèi)存多，而且檢測速度相對較慢，而YOLOv5s使得模型更加輕量化，檢測速度更快。本研究基于YOLOv5s訓練自然環(huán)境下的柑橘檢測專用模型，平均檢測速度分別達到27和32幀/s，完全滿足檢測的實時性要求。

a)Faster R-CNN+Resnet50；b)Faster R-CNN+VGG16；c)YOLOv5s。圖8 不同模型不同遮擋或者重果環(huán)境下的柑橘檢測效果Fig. 8 Orange detection effect using different occlusions or heavy fruit environments of different models

自然環(huán)境下除了考慮上述因素，還會出現(xiàn)一些小尺寸柑橘，將相關圖像進行采集測試，可得到YOLOv5s試驗的檢測結果，如圖9所示。

圖9 小尺寸柑橘檢測情況Fig. 9 Small size citrus detection situation

3 結 論

1)提出了一種基于YOLOv5s的自然環(huán)境下柑橘檢測方法，基于YOLOv5s深度學習框架，結合自然環(huán)境下柑橘的兩種顏色特征，分別進行多次試驗，最終訓練得到的模型在黃、綠兩種柑橘驗證集上的平均精度分別達到了97.40%與97.20%，平均檢測速度達到27和32幀/s，可滿足實時性要求。

2)對比其他算法的通用性，對于黃色柑橘，YOLOv5s模型與基于VGG16的Faster R-CNN模型以及基于Resnet的Faster R-CNN模型相比：精確率分別提高了51.54%和40.84%；召回率分別提高了41.08%和37.83%；F1分別提高了0.46和0.38；平均精度分別提高了45.51%和41.18%；平均檢測速度分別提高了22和23幀/s。

3)對比其他算法的通用性，對于綠色柑橘，YOLOv5s模型與基于VGG16的Faster R-CNN模型以及基于Resnet的Faster R-CNN模型相比：精確率分別提高了21.38%和17.88%；召回率分別提高了3.65%和3.36%；F1分別提高了0.12和0.10。平均精度分別提高了4.38%和4.13%；平均檢測速度分別提高了25和26幀/s。

4)YOLOv5s模型對于光照、重果、遮擋以及小尺寸柑橘的檢測都有很好的表現(xiàn)。

綜上所述，本研究針對柑橘成熟之后存在黃色和綠色兩種顏色特征，提出了針對兩種特征的通用檢測方案，試驗結果有利于后續(xù)開展機器采摘和柑橘估產(chǎn)研究工作。