唐熔釵，伍錫如*

(1. 桂林電子科技大學 電子工程與自動化學院，廣西 桂林 541004；2. 廣西高校非線性電路與光通信重點實驗室(廣西師范大學)，廣西 桂林 541004)

隨著智慧農業(yè)[1]的發(fā)展，利用計算機視覺技術對農作物實時檢測成為了更好培養(yǎng)和管理農作物的重要手段。近幾年，目標檢測方法[2-5]在農業(yè)水果采摘和分類領域中被廣泛應用。百香果在我國熱帶和亞熱帶地區(qū)廣泛種植，具有很高的市場經(jīng)濟效益。在百香果種植過程中，要想實現(xiàn)果實生長信息監(jiān)測、產(chǎn)量預估以及機器人自動采摘果實，首先需要對百香果進行準確的識別和定位。然而，果實重疊、枝葉遮擋、光照變化等各種干擾是現(xiàn)實果園中無法避免的因素。因此，在復雜環(huán)境中精準檢測百香果果實仍是一個需要解決的難題。

傳統(tǒng)的水果檢測方法多基于圖片的顏色和紋理來對目標進行分類檢測。陳雪鑫等[6]通過多顏色特征和紋理特征進行融合方法對多種水果進行分類和識別，雖然在精度上有所提高，但是在復雜背景下對水果分類和識別不理想。深度學習[7]作為機器學習的一個分支，近幾年在目標檢測、目標分割、目標分類和目標識別研究上起著重大的作用[8-11]。在非自然場景下水果識別領域中，朱玲[12]通過K-means方法對水果不同等級進行識別。此外，在非自然場景下水果分類領域，Zhang等[13]使用13層CNN對水果進行分類，該方法的分類精度達到94.94%，是目前水果分類研究中最先進的分類網(wǎng)絡之一。以上在非自然場景下對水果的識別和分類研究中，盡管在識別和分類精度上取得了不錯的效果，但是對復雜背景的抗干擾能力卻不理想?；贛ask-RCNN網(wǎng)絡對真實場景下的草莓檢測，Yu等[14]以Resnet-50作為骨干網(wǎng)絡并和特征金字塔相結合進行草莓的特征提取，在識別精度上取得不錯效果，但實時檢測性能還需進一步提高。兩級目標檢測網(wǎng)絡Faster-RCNN[15]是目前流行的檢測網(wǎng)絡之一。水果檢測系統(tǒng)[16]使用Faster-RCNN網(wǎng)絡能精準識別不同水果類型和準確定位水果位置，但同樣缺乏實時性檢測。隨著對神經(jīng)網(wǎng)絡檢測實時性能的要求，研究人員提出了YOLO[17]、YOLO9000[18]、YOLO-V3[19]等實時目標檢測網(wǎng)絡。YOLO系列網(wǎng)絡是單級目標檢測網(wǎng)絡，直接通過網(wǎng)絡以端對端的方式預測目標的位置和類別。針對自然環(huán)境下水果的檢測，研究者們利用YOLO系列網(wǎng)絡來對目標進行快速檢測。如：薛月菊等[20]提出在YOLO-V2網(wǎng)絡中添加密集連接網(wǎng)絡對真實果園中未成熟的芒果進行檢測；Tian等[21]對YOLO-V3網(wǎng)絡進行改進，在真實果園中分級檢測蘋果。

當前，在背景復雜、果實重疊、枝葉遮蔽等真實環(huán)境下對果實精準檢測仍是一個亟需解決的難點。為此，本文將以YOLO-V3為基礎網(wǎng)絡，在特征傳播層添加DenseNet網(wǎng)絡來增強特征傳播，針對百香果為小型目標的特點，減少多尺度特征融合，從而加快網(wǎng)絡的檢測速度。

1 改進的YOLO-V3網(wǎng)絡

1.1 YOLO-V3網(wǎng)絡

YOLO-V3網(wǎng)絡將目標檢測任務轉化為回歸問題處理，有利于提高物體的檢測速度。YOLO-V3網(wǎng)絡結構如圖1所示。特征提取模塊由Darknet-53網(wǎng)絡和多尺度融合2部分構成，不同大小的卷積層構成Darknet-53網(wǎng)絡。輸入圖片通過卷積層得到13×13、26×26、52×52等 3個不同大小的尺度特征圖。為了更好地學習圖片中的特征，52×52的特征圖通過上采樣與26×26的特征圖進行融合。同理26×26的特征圖通過上采樣與尺度13×13的特征圖進行融合。通過多尺度融合將深層特征和淺層特征連接進行特征的提取有利于提高網(wǎng)絡的檢測精度。3種不同尺度的預測同時構成YOLO-V3網(wǎng)絡的輸出結果檢測，其中尺度1、2、3分別負責小、中、大物體的預測。

圖1 YOLO-V3網(wǎng)絡結構Fig. 1 Network structure of YOLO-V3

1.2 DenseNet網(wǎng)絡

在卷積網(wǎng)絡中，隨著網(wǎng)絡層次的加深，圖像特征的傳遞會逐漸削弱。針對在模型訓練過程網(wǎng)絡層數(shù)不斷增加出現(xiàn)的特征提取和特征傳遞削弱問題，引入DenseNet網(wǎng)絡將特征進行重用，防止出現(xiàn)特征消失，從而提高網(wǎng)絡的性能。圖2為DenseNet網(wǎng)絡的基本結構，可知：H1的輸入是X0，H2的輸入是X0、X1，以此類推，Ht的輸入是X0,X1,…,Xt-1，即在該網(wǎng)絡中，每一層的輸入都來自前面所有層的輸出。

Xt=Ht([X0,X1,…,Xt-1])，

(1)

式中：[X0,X1,…,Xt-1]表示X0,X1,…,Xt-1層的特征映射拼接；Ht是用于特征拼接的函數(shù)?；贒enseNet網(wǎng)絡特有的密集網(wǎng)絡結構，本文使用DenseNet網(wǎng)絡強化淺層卷積層的特征傳播。

X0是輸入的圖片特征；X1、X2、X3、X4是密集塊；H1、H2、H3、H4是DenseNet網(wǎng)絡特有的函數(shù)塊。圖2 DenseNet網(wǎng)絡結構Fig. 2 Network structure of DenseNet

1.3 改進的YOLO-V3網(wǎng)絡

真實果園中的百香果背景環(huán)境十分復雜，自然光線角度改變、天氣變化、果實重疊和枝葉遮蔽等都是影響百香果檢測的干擾因素。為了更好地降低背景干擾，本文利用改進的YOLO-V3網(wǎng)絡在特征提取和尺度融合部分進行相應的優(yōu)化來對百香果目標進行檢測。改進的YOLO-V3網(wǎng)絡結構如圖3所示，其以YOLO-V3網(wǎng)絡為基礎，選用Darknet-53為骨干網(wǎng)絡，結合DenseNet網(wǎng)絡來加強特征的傳播以及特征的重用。針對果園中百香果這種小物體的檢測，本文對YOLO-V3多尺度融合做了修改，將3尺度檢測網(wǎng)絡減少為2尺度檢測網(wǎng)絡。在模型訓練期間，隨著網(wǎng)絡層數(shù)的加深，圖片的特征傳播損失嚴重，在13×13的尺度1預測前加入DenseNet網(wǎng)絡結構，使后一特征層能接受前面所有特征層的特征進而使得低分辨率的特征和高分辨的特征進行融合。這樣不僅可以減少特征傳播的損失，而且還能加強特征的傳播。為保證更好的檢測效果，將原始高分辨率的照片統(tǒng)一轉換成分辨率為416×416的圖片。最后，改進的YOLO-V3網(wǎng)絡結構在13×13和26×26尺度的邊界框上進行目標預測。

圖3 改進的YOLO-V3網(wǎng)絡結構Fig. 3 Network structure of improved YOLO-V3

改進的YOLO-V3的損失函數(shù)由坐標預測誤差、置信度預測誤差以及分類預測誤差3部分構成，

fLoss=E1+E2+E3，

(2)

式中：E1是坐標預測誤差；E2是置信度預測誤差；E3是分類預測誤差。

坐標預測誤差公式為

(3)

置信度預測誤差公式為

(4)

分類預測誤差公式為

(5)

2 實驗和結果分析

2.1 配置

本次實驗在Intel Core i7 6700 處理器，主頻4 GHz，內存32 GiB，顯卡為GeForce RTX 2080 Ti的PC機上進行，利用Windows 10系統(tǒng)下的Pytorch框架對算法進行加速訓練。

訓練模型的超參數(shù)設置如表1所示。表1中：Epoch是所選模型的訓練次數(shù)；Batch size是訓練時一次性輸入網(wǎng)絡的圖片數(shù)，本文根據(jù)電腦顯卡的顯存大小將Batch size設置為16；Lr_step是學習率每次衰減步數(shù)，如Lr_step為40，表示學習率每隔40次訓練周期就自動減少；Momentum是動量因子；Lr_factor是學習因子；NMS是非極大值抑制，用來篩選候選框。

表1 改進YOLO-V3的網(wǎng)絡參數(shù)

2.2 數(shù)據(jù)采集及數(shù)據(jù)集制作

本次實驗總共實地采集到2 000張百香果照片，全部在桂林市龍爪村某農戶的種植基地完成。采集圖像數(shù)據(jù)的時間為2019年6月15日早上、中午、傍晚3個時間段；采集圖像數(shù)據(jù)的天氣包括天晴、小雨、多云；拍照光線方向涵蓋順著太陽光拍攝、逆著太陽光拍攝以及旋轉一定角度順著太陽光拍攝。2 000張拍攝的照片使用數(shù)據(jù)增強方法擴增到4 000張，作為本文實驗的數(shù)據(jù)集。

百香果數(shù)據(jù)集通過VOC2007制作。VOC2007包含很多數(shù)據(jù)格式文件，選取Annotations存放數(shù)據(jù)標簽文件，JPEGImages存放圖片文件，ImageSets中Main存放文件名列表文件。4 000張百香果圖片統(tǒng)一調整圖片格式為jpg格式，3 500張圖片歸為訓練集，500張圖片歸為測試集。通過labelImg-master對百香果數(shù)據(jù)集進行手工邊界框標注，用于訓練的3 500張百香果圖片共標注百香果26 588個，用于測試的500張百香果圖片共標注百香果3 895個。4 000張圖片共計標注30 483個百香果，滿足實驗數(shù)據(jù)要求。

2.3 數(shù)據(jù)擴增對檢測效果的影響

數(shù)據(jù)集的豐富性直接影響檢測結果。針對數(shù)據(jù)集不充分的情況，需要對采集的實驗數(shù)據(jù)集進行人工擴充。本文采用對比度、虛化、平移等數(shù)據(jù)增強方法來使原有數(shù)據(jù)集擴增至4 000張。為檢驗數(shù)據(jù)擴充對實驗檢測效果的影響，隨機選取測試集中的20張圖片來進行對比實驗，部分檢測結果如圖4所示。圖4(a)是沒有進行數(shù)據(jù)擴充的檢測結果，圖4(b)是通過對原有數(shù)據(jù)進行數(shù)據(jù)擴充的檢測結果。對比可知，圖4(a)中存在多處百香果漏檢情況，圖4(b)中百香果的檢測精度明顯高于圖4(a)且降低了漏檢率。因此，通過數(shù)據(jù)增強來擴充數(shù)據(jù)能夠減少漏檢率并且提高檢測精度。

圖4 原始數(shù)據(jù)和數(shù)據(jù)擴充檢測結果Fig. 4 Test results of original data and data processing

2.4 實驗結果與性能對比

精度和訓練損失是深度學習中評價網(wǎng)絡性能好壞的2個重要指標，精度高、損失小確保網(wǎng)絡模型性能優(yōu)良。圖5描繪了改進的YOLO-V3網(wǎng)絡的訓練精度和訓練損失2個指標隨迭代次數(shù)的變化值。當訓練次數(shù)Epoch的值較小時，精度值從0開始快速上升，訓練損失值由1.3快速下降，標志著網(wǎng)絡模型開始對圖片特征進行學習。隨著Epoch的值增大，精度曲線上升的速度逐漸變緩，訓練損失曲線下降的速度也逐漸穩(wěn)定。當訓練次數(shù)Epoch在50附近時，精度曲線開始出現(xiàn)緩慢上升趨勢，訓練損失曲線保持快速下降的趨勢并且有一些小的波動；當訓練次數(shù)Epoch為150附近時，訓練損失曲線開始趨向一個穩(wěn)定值；當訓練次數(shù)Epoch為250時，精度曲線趨向為0.986的穩(wěn)定值，訓練損失曲線趨向為0.08的穩(wěn)定值。由此可知改進的YOLO-V3網(wǎng)絡檢測性能優(yōu)良。

圖5 實驗損失和精度值Fig. 5 Loss and accuracy of experiment

Faster-RCNN是當下流行的快速目標檢測網(wǎng)絡。本文使用改進的YOLO-V3網(wǎng)絡與YOLO-V3、Faster-RCNN網(wǎng)絡對隨機選取的500張圖片進行對比實驗，以此來驗證改進的YOLO-V3網(wǎng)絡的檢測性能。Faster-RCNN和改進的YOLO-V3的部分檢測效果如圖6所示。比較圖6(a)和圖6(b)可知，圖6(b)中存在漏檢，對背景的抗干擾不強。針對同一批數(shù)據(jù)使用不同網(wǎng)絡的測試結果如表2所示。由表2可知改進的YOLO-V3網(wǎng)絡的檢測精度、F1分數(shù)以及召回率最優(yōu)且檢測速度顯著優(yōu)于Faster-RCNN網(wǎng)絡。由于本文的改進方法增加了特征提取網(wǎng)絡，所以檢測速度低于YOLO-V3網(wǎng)絡，但其平均檢測速度亦達到38幅/s，符合實時性檢測需求。為了進一步測試改進的YOLO-V3網(wǎng)絡的性能，分別對同一批圖片、不同分辨率大小的測試集進行檢測。由表2可以看出，改進的YOLO-V3網(wǎng)絡在高清、清晰圖片兩者間的檢測精度、F1分數(shù)以及召回率大小波動值較小，但在模糊圖片上的檢測精度、F1分數(shù)以及召回率大小波動值相對較大。總體上檢測圖片的分辨率越大，網(wǎng)絡的檢測效果越好；檢測圖片的分辨率越小，網(wǎng)絡的檢測效果越差。

圖6 改進的YOLO-V3與Faster-RCNN檢測結果對比Fig. 6 Comparison of detection results between the improved YOLO-V3 and Faster-RCNN

表2 不同算法測試結果

2.5 復雜背景下的百香果檢測

在真實果園中，自然環(huán)境十分復雜。枝葉遮蔽、果實重疊是普遍存在的干擾，也是最難解決的檢測難題。針對枝葉遮蔽、果實重疊等背景干擾，使用改進的YOLO-V3網(wǎng)絡對測試集中隨機選取的50張百香果圖片進行檢測，部分檢測結果如圖7所示。圖7(a)和圖7(b)是在光線較暗、果實表層有光影以及果園其他雜物干擾情況下對重疊的百香果進行目標檢測，由檢測結果可知，針對果實重疊和光線暗等干擾問題，改進的YOLO-V3網(wǎng)絡能夠精準檢測到百香果目標。圖7(c)是在枝葉遮蔽和果園其他雜物干擾情況下對重疊的百香果進行目標檢測，由檢測結果可知，針對枝葉遮蔽干擾問題，改進的YOLO-V3網(wǎng)絡對目標的檢測結果優(yōu)良。綜上所述，在枝葉遮蔽、果實重疊、自然環(huán)境變化和果園其他雜物等干擾情況下，改進的YOLO-V3網(wǎng)絡滿足真實果園中百香果目標檢測。

圖7 使用改進的YOLO-V3在復雜環(huán)境下的檢測結果Fig. 7 Detection results of using improved YOLO-V3 in complex environment

3 結語

本文以YOLO-V3網(wǎng)絡為基礎，改變多尺度預測和增加特征提取網(wǎng)絡，以此提出基于改進YOLO-V3網(wǎng)絡的百香果實時檢測方法。首先對采集的數(shù)據(jù)集進行預處理，得到優(yōu)質的百香果數(shù)據(jù)集；然后對改進的YOLO-V3網(wǎng)絡進行訓練得到百香果檢測模型。實驗結果表明，改進的YOLO-V3網(wǎng)絡在復雜環(huán)境下對百香果檢測速度快、精度高。本文提出的網(wǎng)絡模型對果實重疊和枝葉遮蔽的干擾具有更強的抑制性，優(yōu)于Faster-RCNN的檢測速度。未來工作將擴增不同成熟度的百香果數(shù)據(jù)集，對百香果的成熟度進行實時檢測。