王宇歌，張涌，黃林雄，趙奉奎

摘? 要：麥穗數(shù)量檢測對于作物表型參數(shù)計算、產(chǎn)量預(yù)測和大田管理都具有重要的意義。為了解決人工計數(shù)工作量大且容易出錯的問題，提出了一種基于You Only Look Once （YOLO）的麥穗目標(biāo)檢測與計數(shù)方法。首先利用大量小麥圖像對深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，然后利用神經(jīng)網(wǎng)絡(luò)對小麥圖像進(jìn)行麥穗目標(biāo)檢測與計數(shù)，最后對神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測的準(zhǔn)確率和召回率進(jìn)行計算評估，并通過分析檢測結(jié)果驗證其魯棒性。分析結(jié)果顯示，所訓(xùn)練網(wǎng)絡(luò)對麥穗檢測的精確率為76.96%，召回率為93.16%，均值平均精度mean Average Precision （mAP）為89.52%。此外，該模型可以檢測不同生長時期的麥穗，具有較高的魯棒性。研究表明，該方法對比其他麥穗計數(shù)方法準(zhǔn)確高效，可以實際應(yīng)用到小麥的產(chǎn)量估算上。

關(guān)鍵詞：目標(biāo)檢測;產(chǎn)量預(yù)測;YOLO;深度學(xué)習(xí)

中圖分類號：TP391.4? ? ?文獻(xiàn)標(biāo)識碼：A

Research of Wheat Ear Target Detection based on Convolutional Neural Network

WANG Yuge， ZHANG Yong， HUANG Linxiong， ZHAO Fengkui

（College of Automobile and Traffic Engineering， Nanjing Forestry University， Nanjing 210037， China）

515400100@qq.com; zyjs111@126.com; 1773361196@qq.com; zfk@njfu.edu.cn

Abstract： Detecting the number of wheat ears is of great significance to the calculation of crop phenotypic parameters， yield prediction and field management. In order to solve the problem of heavy workload and error-prone manual counting， this paper proposes a wheat ear target detection and counting method based on You Only Look Once （YOLO）. First， a large number of wheat images are used to train the deep neural network. Then， the neural network is used to detect and count wheat ears in the wheat images. Finally， the accuracy and recall rate of the neural network target detection are calculated and evaluated， and the robustness is verified by analyzing the detection results. The analysis results show that the trained network has an accuracy rate of 76.96% for wheat ear detection， a recall rate of 93.16%， and a mean Average Precision （mAP） of 89.52%. In addition， the model can detect wheat ears in different growth periods， and has high robustness. Studies have shown that this method is more accurate and efficient than other wheat ear counting methods， and can be applied to wheat yield estimation.

Keywords： target detection; output prediction; YOLO; deep learning

1? ?引言（Introduction）

小麥種植密度估算是小麥產(chǎn)量預(yù)測的重要手段，也是小麥大田管理的重要依據(jù)。目前，小麥產(chǎn)量預(yù)測方法有人工預(yù)測、年景預(yù)測[1]、基于遙感圖像預(yù)測[2]和基于多元線性回歸預(yù)測[3]等。人工預(yù)測費(fèi)時費(fèi)力，容易出錯;年景預(yù)測只適合地區(qū)大范圍產(chǎn)量預(yù)測;基于遙感圖像預(yù)測準(zhǔn)確率低;基于多元線性回歸預(yù)測受降水等變量影響較大，準(zhǔn)確率難以保證。相比之下，視覺傳感器可以獲取豐富的紋理和顏色信息，且成本較低。近年來，機(jī)器視覺在麥穗檢測研究中發(fā)揮著越來越大的作用。傳統(tǒng)圖像處理技術(shù)常使用移動窗法[4]或超像素分割法[5]采樣子圖像，從子圖像中提取顏色或紋理特征，然后訓(xùn)練分類器，利用分類器識別麥穗，完成計數(shù);或者通過圖像處理方法突出麥穗，如將圖像進(jìn)行二值化處理，在去除粘連后識別麥穗[6]。

近年來，基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）的機(jī)器學(xué)習(xí)方法在圖像處理領(lǐng)域取得了突破性進(jìn)展。在物體識別、目標(biāo)檢測與目標(biāo)分割等應(yīng)用上，基于CNN的圖像處理在技術(shù)表現(xiàn)上遠(yuǎn)好于傳統(tǒng)方法[7]。因此，越來越多的研究采用目標(biāo)檢測算法進(jìn)行作物穗檢測。目標(biāo)檢測方法可分為Two-stage和One-stage兩類。Two-stage方法先采用一定的算法生成候選框，然后通過卷積神經(jīng)網(wǎng)絡(luò)對樣本進(jìn)行分類，典型方法包括R-CNN[8]及Fast R-CNN[9]目標(biāo)檢測模型，例如HE等[10]提出的SPP-net、REN等[11]提出的Faster R-CNN等。Two-stage目標(biāo)檢測方法準(zhǔn)確率高，但是速度相對較慢。One-stage方法直接回歸目標(biāo)的類別概率和邊界框，運(yùn)算速度相比于Two-stage方法有較大提高，常用方法包括Single Shot MultiBox Detector[12]等。YOLO系列目標(biāo)檢測框架是一種非常典型的One-stage方法，包括王宇寧等改進(jìn)的YOLO[13]，李鵬飛等改進(jìn)的YOLOv2[14]，REDMON等提出的YOLOv3[15]，以及BOCHKOVSKIY等[16]提出的YOLOv4。One-stage和Two-stage方法均已應(yīng)用在作物穗的檢測上，如HASAN等[17]利用R-CNN進(jìn)行麥穗檢測，MADEC等[18]利用Faster R-CNN進(jìn)行麥穗檢測。還有研究開始使用One-stage目標(biāo)檢測算法，如利用YOLO等對作物穗進(jìn)行目標(biāo)檢測[19]，從而進(jìn)行作物穗計數(shù)。由于麥穗目標(biāo)尺寸小，相互遮擋嚴(yán)重，而且還有葉片的遮擋，目標(biāo)識別困難，因此，仍然有必要對麥穗目標(biāo)檢測開展進(jìn)一步的研究。

本文研究基于YOLOv3的麥穗目標(biāo)檢測算法，對目標(biāo)檢測效果進(jìn)行評價，并對比基于深度學(xué)習(xí)的麥穗計數(shù)與人工麥穗計數(shù)兩種方式，驗證該方法的可行性。

2? 麥穗小目標(biāo)檢測機(jī)制（Detection mechanism of small wheat ear target）

2.1? ?YOLOv3目標(biāo)檢測原理

YOLO系列目標(biāo)檢測算法是一種典型的One-stage目標(biāo)檢測算法。該系列算法可以直接回歸得出目標(biāo)可能所處的位置，顯著提高了目標(biāo)檢測的速度，并在實現(xiàn)實時性的同時確保檢測精度。YOLO系列算法在實踐中被廣泛使用。YOLOv3是YOLO系列目標(biāo)檢測算法的典型代表，是目前實際工程應(yīng)用領(lǐng)域最優(yōu)秀的目標(biāo)檢測算法之一。

YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。由于ResNet[10]可以有效加深網(wǎng)絡(luò)深度并提高預(yù)測精度，YOLOv3使用了殘差網(wǎng)絡(luò)Residual，引入了多個ResNet模塊，并大量使用了殘差的跳層連接，減輕了深度神經(jīng)網(wǎng)絡(luò)在加深深度時梯度消失的問題。YOLOv3最終設(shè)計了一個具有53 個卷積層的神經(jīng)網(wǎng)絡(luò)，命名為Darknet-53，用以提取圖像特征。

YOLOv3生成3 個具有不同深度的特征圖，來預(yù)測不同尺度的目標(biāo)。3 個特征層的shape分別為（52，52，256）、（26，26，512）、（13，13，1024），劃分越精細(xì)的特征圖所能檢測的目標(biāo)就越精細(xì)，有效提高了小目標(biāo)的檢測效果。YOLOv3通過將上采樣后的特征圖與較前層的特征圖融合，例如將26×26的特征層上采樣后與52×52的特征層融合，從而得到上采樣層的語義信息和前層特征圖的細(xì)粒度信息，再進(jìn)行卷積運(yùn)算后對目標(biāo)進(jìn)行準(zhǔn)確預(yù)測。

特征層預(yù)測結(jié)果shape分別為（N，13，13，255）、（N，26，26，255）、（N，52，52，255），其中N為圖片數(shù)量。每個特征圖網(wǎng)格單元上生成3 個錨框，每個網(wǎng)格單元負(fù)責(zé)一個區(qū)域的檢測，因此YOLOv3的邊界框預(yù)測過程就是將特征圖每個網(wǎng)格點加上它對應(yīng)的坐標(biāo)偏移量，相加的結(jié)果即為預(yù)測框的中心，然后再利用先驗框和縮放尺度計算出預(yù)測框的長和寬，從而可以得到整個預(yù)測框的位置。

2.2? ?YOLOv3改進(jìn)

神經(jīng)網(wǎng)絡(luò)訓(xùn)練之前，對YOLOv3的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)。本文需要檢測麥穗和背景，因此，只有一個類別，則輸出特征層的最后一個維度為3×（5+1）=18，其中“3”表示每個網(wǎng)格生成3 個預(yù)測框;“5”則分別表示橫縱坐標(biāo)偏置、預(yù)測框長寬、置信度;“1”表示分類結(jié)果。因此，3 個特征層的輸出結(jié)果的尺寸改為（N，13，13，18）、（N，26，26，18）、（N，52，52，18），其中N為圖片數(shù)量。

2.3? ?評價函數(shù)

目標(biāo)檢測通常使用準(zhǔn)確率和召回率這兩個指標(biāo)來評估目標(biāo)檢測算法的性能。精確率（Precision）是指正確檢測為正類的目標(biāo)在所有判定為正類的目標(biāo)中所占的比例;召回率（Recall）是指被正確檢測為正類的目標(biāo)在所有正類目標(biāo)中所占的比例。精確率和召回率的計算公式分別如式（1）和式（2）所示。

（1）

（2）

式中，TP表示正確識別為正類的目標(biāo)個數(shù);FP表示錯誤識別為正類的目標(biāo)個數(shù);FN表示錯誤識別為負(fù)類的目標(biāo)個數(shù)。

在實際的應(yīng)用過程中，精確率和召回率兩個指標(biāo)無法同時滿足要求，因此使用AP值綜合考慮兩個指標(biāo)，從而衡量網(wǎng)絡(luò)的性能。AP計算公式如式（3）所示。

（3）

式中，N表示測試集中圖片的數(shù)量;Precision（k）表示第k 張圖片的Precision值;?Recall（k）表示從k-1 張圖片到k 張圖片Recall值的變化情況。針對具有C類目標(biāo)的具體任務(wù)時，一般采用平均AP值即mAP，來衡量網(wǎng)絡(luò)的性能，其計算如式（4）所示。

（4）

3? ?實驗分析（Analyses of experiment）

3.1? ?YOLOv3框架運(yùn)行平臺

麥穗目標(biāo)檢測程序運(yùn)行環(huán)境為Ubuntu 18.04，采用keras開源框架，后端引擎為Tensorflow張量操作框架;硬件平臺為Intel i9-9900K CPU，主頻3.60 GHz，32 GB內(nèi)存，顯卡為NVIDIA RTX 2080Ti。

3.2? ?數(shù)據(jù)集制作

神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)來源于文獻(xiàn)[18]。然而該文獻(xiàn)提供的數(shù)據(jù)中存在很多錯誤，標(biāo)簽位置與圖像中麥穗目標(biāo)不匹配，無法用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。因此，本文校正了文獻(xiàn)[18]提供的數(shù)據(jù)，查找標(biāo)定錯誤的圖像，并對圖像進(jìn)行翻轉(zhuǎn)和旋轉(zhuǎn)等操作，使標(biāo)簽與麥穗目標(biāo)匹配，最終獲得有效圖像222 張。將其中80%的數(shù)據(jù)用于網(wǎng)絡(luò)訓(xùn)練，其余20%的數(shù)據(jù)作為測試集用于測試網(wǎng)絡(luò)的性能。在訓(xùn)練過程中，將前文所述80%數(shù)據(jù)中90%的數(shù)據(jù)作為訓(xùn)練集用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)中的參數(shù)，其余10%的數(shù)據(jù)作為驗證集用于驗證模型性能的樣本集合。由于采用了YOLOv3的預(yù)訓(xùn)練權(quán)重，設(shè)置batch_size=4，經(jīng)過150 輪迭代后，損失函數(shù)趨于穩(wěn)定。

3.3? ?實驗結(jié)果分析

為了驗證YOLOv3在麥穗識別中的性能，基于上文所述的測試集，通過計算目標(biāo)檢測算法典型評價指標(biāo)來對YOLOv3算法進(jìn)行評價。三種評價指標(biāo)計算結(jié)果如表1所示。由于本文所識別的為單一目標(biāo)，因此，本文中mAP值即為麥穗這一類別的AP值。從表1中的數(shù)據(jù)可以得出，YOLOv3在麥穗檢測中表現(xiàn)出較優(yōu)的性能，其精確率為76.96%，召回率為93.16%。由于精確率和召回率取決于閾值設(shè)定，為了更準(zhǔn)確地評估模型目標(biāo)檢測性能，繪制精確率-召回率變化曲線如圖2所示，曲線包圍面積即mAP為89.52%。

為了驗證YOLOv3在麥穗識別中具有較高的魯棒性，本文選取了小麥在不同生長時期所拍攝的照片進(jìn)行測試分析。測試結(jié)果如圖3、圖4和圖5所示，測試圖片按生長周期進(jìn)行排序。各實例圖片檢測結(jié)果如表2所示，其中，檢測成功的目標(biāo)使用方框進(jìn)行標(biāo)注。在圖3中，成功檢測出138 個目標(biāo)，有8 個目標(biāo)未成功檢測，準(zhǔn)確率為94.52%;在圖4中，成功檢測出100 個目標(biāo)，有6 個目標(biāo)未成功檢測，準(zhǔn)確率為94.34%;在圖5中，成功檢測出129 個目標(biāo)，有1 個目標(biāo)檢測失敗，準(zhǔn)確率為99.23%。通過以上數(shù)據(jù)可知，該算法漏檢少量麥穗，主要原因是麥穗目標(biāo)比較小，麥穗與麥穗之間、葉片與麥穗之間相互遮擋。從上述圖片的總體檢測結(jié)果中可以看出，該算法在麥穗生長的各個時期均表現(xiàn)出較高的識別準(zhǔn)確率，并且預(yù)測框的大小與位置也與麥穗非常匹配，可以認(rèn)為該算法表現(xiàn)出較高的麥穗識別魯棒性。

4? ?結(jié)論（Conclusion）

本文基于YOLOv3目標(biāo)檢測算法，對麥穗進(jìn)行檢測和計數(shù)。首先對開源的小麥麥穗數(shù)據(jù)集進(jìn)行校正，并且適當(dāng)劃分訓(xùn)練集、驗證集和測試集;其次，本文根據(jù)單類目標(biāo)檢測需求對YOLOv3進(jìn)行改進(jìn)，基于劃分的數(shù)據(jù)集并結(jié)合YOLOv3的預(yù)訓(xùn)練權(quán)重對YOLOv3網(wǎng)絡(luò)進(jìn)行訓(xùn)練;最后，利用訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)對測試集數(shù)據(jù)進(jìn)行測試。最終的實驗結(jié)果證明，YOLOv3在麥穗檢測這一任務(wù)中具有較高的準(zhǔn)確率和mAP指標(biāo)，且表現(xiàn)出較高的魯棒性。同時也發(fā)現(xiàn)，由于麥穗目標(biāo)較小，加之相互遮擋嚴(yán)重，仍存在部分麥穗漏檢的情況，對麥穗的目標(biāo)檢測仍需要進(jìn)一步的研究來提高準(zhǔn)確率。

參考文獻(xiàn)（References）

[1] 侯英雨，王建林，毛留喜，等.美國玉米和小麥產(chǎn)量動態(tài)預(yù)測遙感模型[J].生態(tài)學(xué)雜志，2009，28（10）：2142-2146.

[2] 朱秀紅，李秀珍，姚文軍，等.基于SPSS的日照市小麥產(chǎn)量年景預(yù)測模型[J].中國農(nóng)學(xué)通報，2010，026（02）：295-297.

[3]周永生，肖玉歡，黃潤生.基于多元線性回歸的廣西糧食產(chǎn)量預(yù)測[J].南方農(nóng)業(yè)學(xué)報，2011，42（09）：1165-1167.

[4] 劉濤，孫成明，王力堅，等.基于圖像處理技術(shù)的大田麥穗計數(shù)[J].農(nóng)業(yè)機(jī)械學(xué)報，2014，45（2）：282-290.

[5] 杜穎，蔡義承，譚昌偉，等.基于超像素分割的田間小麥穗數(shù)統(tǒng)計方法[J].中國農(nóng)業(yè)科學(xué)，2019，52（01）：21-33.

[6] 李毅念，杜世偉，姚敏，等.基于小麥群體圖像的田間麥穗計數(shù)及產(chǎn)量預(yù)測方法[J].農(nóng)業(yè)工程學(xué)報，2018，34（21）：193-202.

[7] 翁楊，曾睿，吳陳銘，等.基于深度學(xué)習(xí)的農(nóng)業(yè)植物表型研究綜述[J].中國科學(xué)：生命科學(xué)，2019，49（06）：698-716.

[8] 董靜，耿達(dá)，郭迎港，等.室內(nèi)環(huán)境下基于R-CNN的光照自適應(yīng)物體檢測[J].計算機(jī)工程與應(yīng)用，2019，55（2）：168-173.

[9] 莫宏偉，汪海波.基于Faster R-CNN的人體行為檢測研究[J].智能系統(tǒng)學(xué)報，2018，13（6）：967-973.

[10] HE K， ZHANG X， REN S， et al. Spatial pyramid pooling in Deep Convolutional Networks for visual recognition[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2014， 37（9）：1904-1916.

[11] REN S， HE K， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2017， 39（6）：1137-1149.

[12] 陳冰曲，鄧濤.基于改進(jìn)型SSD算法的目標(biāo)車輛檢測研究[J].重慶理工大學(xué)學(xué)報（自然科學(xué)），2019，33（1）：58-63.

[13] 王宇寧，龐智恒，袁德明.基于YOLO算法的車輛實時檢測[J].武漢理工大學(xué)學(xué)報，2016，38（10）：41-46.

[14] 李鵬飛，劉瑤，李珣，等.YOLO9000模型的車輛多目標(biāo)視頻檢測系統(tǒng)研究[J].計算機(jī)測量與控制，2019，27（8）：21-24，29.

[15] REDMON J， FARHADI A. YOLOv3： An incremental improvement[Z/OL]. [2021-05-26]. https：//arxiv.org/abs/1804.02767.

[16] BOCHKOVSKIY A， WANG C Y， LIAO H. YOLOv4： Optimal speed and accuracy of object detection[Z/OL]. [2021-05-26]. https：//arxiv.org/abs/2004.10934.

[17] HASAN M M， CHOPIN J P， LAGA H， et al. Detection and analysis of wheat spikes using Convolutional Neural Networks[J]. Plant Methods， 2018， 14（1）：100-113.

[18] MADEC S， JIN X， LU H， et al. Ear density estimation from high resolution RGB imagery using deep learning technique[J]. Agricultural and Forest Meteorology， 2019（264）：225-234.

[19] 梁胤豪，陳全，董彩霞，等.基于深度學(xué)習(xí)和無人機(jī)遙感技術(shù)的玉米雄穗檢測研究[J].福建農(nóng)業(yè)學(xué)報，2020，35（4）：456-464.

作者簡介：

王宇歌（1999-），女，本科生.研究領(lǐng)域：汽車電子.

張? 涌（1971-），男，博士，教授.研究領(lǐng)域：智能車底盤線控.

黃林雄（1996-），男，碩士生.研究領(lǐng)域：汽車電子.

趙奉奎（1986-），男，博士，講師.研究領(lǐng)域：智能車環(huán)境感知技術(shù).本文通訊作者.