趙越，衛(wèi)勇，單慧勇，穆志民，張健欣，吳海云，趙輝*，胡建龍

（1.天津農(nóng)學(xué)院工程技術(shù)學(xué)院，天津 300384；2.天津農(nóng)學(xué)院基礎(chǔ)科學(xué)學(xué)院，天津 300384；3.科芯（天津）生態(tài)農(nóng)業(yè)科技有限公司，天津 300450）

小麥?zhǔn)侵匾募Z食作物，2020年全球小麥年產(chǎn)量約為7億t[1]。穗數(shù)是小麥產(chǎn)量的重要表征，快速檢測穗數(shù)是產(chǎn)量估計的重要手段[2]?，F(xiàn)代農(nóng)業(yè)生產(chǎn)中，大范圍、精確采集農(nóng)作物表型信息是培育良種和提升精準(zhǔn)管控的關(guān)鍵[3]。以深度學(xué)習(xí)為代表的人工智能方法在植物表型研究中取得了優(yōu)異的進展[4]。Wu等[5]利用遷移學(xué)習(xí)的方法對平面上的小麥粒進行檢測，準(zhǔn)確率達到91%；Ma等[6]通過數(shù)字圖像和深度學(xué)習(xí)，成功對冬小麥花穗進行了分割檢測。然而，實際農(nóng)田中的麥穗檢測是在復(fù)雜場景下對小且密集的目標(biāo)檢測，極具挑戰(zhàn)性。2018年，Hasan等[7]利用R-CNN對田間不同小區(qū)、不同間距的小麥進行了檢測，最高檢測精度達到了93.4%；2019年，Madec等[8]采用高分辨率RGB圖像檢測小麥麥穗，通過Faster R-CNN展示了檢測麥穗的潛力，在適當(dāng)?shù)姆直媛氏?，小麥檢測精度誤差維持在10%左右。

雖然檢測精度較高，但是速度仍難以勝任實時視頻檢測的需求。為此，Du等[9]采用單階段網(wǎng)絡(luò)，通過擴展感受野，在YOLOv2的基礎(chǔ)上利用多分支結(jié)構(gòu)和擴展接受域?qū)W(wǎng)絡(luò)進行優(yōu)化，對無人機拍攝的小目標(biāo)進行檢測，有效地提高了模型檢測的速度。Xiao等[10]通過疊加原始網(wǎng)絡(luò)下采樣特征圖的方式對YOLOv3進行改進，增強了淺層網(wǎng)絡(luò)的特征信息，提高了網(wǎng)絡(luò)的檢測精度，加快了小目標(biāo)檢測的速度。本文以高分辨率麥穗圖像為樣本，通過圖像分割、改進YOLOv4網(wǎng)絡(luò)，分析了不同分辨率對模型檢測性能的影響，并與不同網(wǎng)絡(luò)模型訓(xùn)練結(jié)果進行對比，驗證了改進后YOLOv4模型的優(yōu)越性。該方法實現(xiàn)了在復(fù)雜環(huán)境下對小密集麥穗的高精度實時檢測，為田間麥穗計數(shù)以及產(chǎn)量預(yù)測提供技術(shù)支持。

1 材料與方法

1.1 數(shù)據(jù)來源

數(shù)據(jù)來自全球小麥公共數(shù)據(jù)庫[8]，包含不同品種、不同時期收集的小麥高清RGB圖像。其中，小麥種植行間距為17.5 cm，播種密度為300株·m-2，包含2個時期，20種基因型。以離地面2.9 m作為固定距離對麥穗圖像進行采集，單張圖像分辨率為6 000×4 000像素?？偣膊杉←湀D像240張，包含30 729個麥穗，通過擴充獲得總計5 000張圖像用于訓(xùn)練。

1.1.1 圖像分割 由于圖像的分辨率過大，前景和背景的差異較小，麥穗密集且特征不明顯等因素會影響模型的訓(xùn)練結(jié)果。為了探究不同分辨率下小密集目標(biāo)模型訓(xùn)練的差異性，將原始圖像分割成不同尺寸的子圖像，其中最小的尺寸為500×500像素，以2、3、4、5、6倍數(shù)（#1~#6）的形式遞增來生成幾個訓(xùn)練集（表1），每個數(shù)據(jù)集包含3 000張不同分辨率的麥穗圖像（圖1）。

表1 不同分辨率下的模型Table 1 Model with different resolution

1.1.2 圖片標(biāo)注 由6名有經(jīng)驗的專家使用LABELIMG[11]對裁剪后的圖像進行標(biāo)注（圖2）。由于圖像經(jīng)過裁剪，邊緣區(qū)域的部分麥穗存在殘缺，麥穗特征缺失，以此作為訓(xùn)練數(shù)據(jù)會對模型產(chǎn)生噪聲。因此，對邊緣目標(biāo)區(qū)域小于20%的麥穗不進行標(biāo)注。將標(biāo)注好的麥穗圖像保存在XML文件中，bounding box被保存為4元組（xmin，ymin，xmax，ymax），其中，（xmin，ymin）表示bounding box的左上角坐標(biāo)，對應(yīng)的（xmax，ymax）表示bounding box的寬度和高度。

圖2 標(biāo)注的麥穗Fig.2 Annotated wheat ear

1.1.3 數(shù)據(jù)增強 為了增強訓(xùn)練模型的泛化能力，消除不同環(huán)境對檢測模型性能的影響，保證模型能充分學(xué)習(xí)到有效特征。采用數(shù)據(jù)增強的方式對數(shù)據(jù)集進行擴充，將標(biāo)注好的不同像素的圖像和XML文件同時進行增強，大大縮短了再次標(biāo)注的時間，節(jié)約了成本。本文采用6種隨機混合增強的方式，按照原圖1∶1的比例進行增強。對原始圖像進行25%的平移，旋轉(zhuǎn)90°、180°和270°，或者鏡像改變bounding box的位置信息，增強圖像的多樣性。選擇合適的圖像亮度變化（intensity control）范圍，即Imin=0.8、Imax=1.2，模擬不同光照強度下麥穗的生長情況。采用隨機擦除（cutout）圖片中的矩形區(qū)域，并填充隨機的或者互補的值為0，解決麥穗重疊遮擋的問題。最后，對平移、旋轉(zhuǎn)、鏡像、亮度變換、隨機擦除后的圖像加噪聲處理，用來模擬模糊圖像，提高模型的抗干擾能力。

圖1 不同分辨率下的小麥麥穗圖像Fig.1 Image of wheat ears under different resolutions

1.2 YOLOv4網(wǎng)絡(luò)

YOLOv4作為單階段目標(biāo)檢測網(wǎng)絡(luò)[12]，不論在檢測精度還是預(yù)測速度上都表現(xiàn)出了優(yōu)異的性能。本文將模型分成3個部分:主干、頸部和頭部，主干部分用于提取特征，頸部用于融合從主干提取的特征，頭部的作用是預(yù)測邊框和對象分類（圖3）。

圖3 YOLOv4的網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of YOLOv4

1.2.1 特征提取 對于卷積神經(jīng)網(wǎng)絡(luò)來說，網(wǎng)絡(luò)深度直接影響提取的特征。由于本文檢測對象小且密集，特征提取非常復(fù)雜，采用更深層次的主干網(wǎng)絡(luò)CSPDarknet53[13]進行特征提取。在增強網(wǎng)絡(luò)深度的同時，提高了麥穗特征提取能力，其整體結(jié)構(gòu)如圖4所示。對于激活函數(shù)，在模型的主干網(wǎng)絡(luò)中全都使用Mish激活函數(shù)，對圖像的分類精度更高。針對Dropblock正則化解決訓(xùn)練中出現(xiàn)的過擬合問題，對網(wǎng)絡(luò)正則化的過程進行全面的升級改進。

圖4 YOLOv4主干網(wǎng)絡(luò)Fig.4 Backbone network of YOLOv4

1.2.2 特征融合 為了更好地融合所提取的特征，通常會在主干網(wǎng)絡(luò)和輸出層中插入Neck層，相當(dāng)于檢測網(wǎng)絡(luò)的頸部。本模型的Neck插入主要采用SPP[14]、PANet[15]方式。SPP結(jié)構(gòu)加在CSPdarknet53[13]的最后1個特征層的卷積里，對CSPdarknet53[13]最后的特征層進行3次卷積后，分別利用4個不同尺度的最大池化進行處理，相當(dāng)于空間金字塔池化。它極大地增加了感受野，分離出最顯著的上下文特征，其中SPP的池化核大小其池化核大小分別為13×13、9×9、5×5、1×1（無處理）。SPP連接的PANet層將分離出的麥穗特征進行上采樣和下采樣完成特征融合。其具體結(jié)構(gòu)如圖5所示，從下到上進行麥穗特征提取后，還需要從上到下進行特征提取[16]，反復(fù)特征提取有效地提高了網(wǎng)絡(luò)精度。

圖5 PANet的網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Network structure of PANet

1.2.3 結(jié)果預(yù)測 網(wǎng)絡(luò)模型的head部分用于圖像結(jié)果的預(yù)測，網(wǎng)絡(luò)將訓(xùn)練集中的每幅圖像劃分為S×S的網(wǎng)格，每個網(wǎng)絡(luò)點負責(zé)檢測1個區(qū)域。如果目標(biāo)的中心落在網(wǎng)格中，每個網(wǎng)格預(yù)測B個矩形邊框（x,y,w,h）和它們的置信度以及分類結(jié)果。置信度（Confidence）[17]的定義如公式（1）所示，當(dāng)檢測目標(biāo)在網(wǎng)格內(nèi)，預(yù)測對象的結(jié)果為[0,1]，其中0表示檢測到目標(biāo)的最低置信度，1表示最高置信度。本研究選擇置信度為0.5，提供了2種情況之間令人滿意的權(quán)衡結(jié)果。

式中，Pr為矩形邊框包含目標(biāo)的概率，IoU為交并比（intersection over union），反映預(yù)測值和真實值的準(zhǔn)確程度。

1.3 Anchors優(yōu)化

不同的數(shù)據(jù)集、檢測對象和先驗框（anchors）大小都會對檢測器性能產(chǎn)生很大的影響。對于高分辨率下的小麥麥穗來說，麥穗形態(tài)小、相鄰緊湊、多有重疊現(xiàn)象。針對這一問題，采用K-Means++[18]算法對其進行優(yōu)化，將所有樣本分離成K個簇，以迭代求解的方式，使用距離（公式2）作為相似度指標(biāo)[19]，2個數(shù)據(jù)的中心距離越近越相似。其目的是使先驗框和相鄰的ground truth有較大的IoU值，本文對不同分辨率的圖像進行聚類，獲得3個不同尺度的先驗框，用以檢測大、中、小的目標(biāo)。將每個目標(biāo)的先驗框數(shù)量擴充為4個，總計12個框同時進行檢測，增加了小密集目標(biāo)的敏感度，解決了相鄰麥穗之間的重疊問題，更好地匹配復(fù)雜目標(biāo)。

式中，x為輸入的數(shù)據(jù)，c為隨機數(shù)據(jù)的初始聚類中心。

1.4 環(huán)境配置

采用Intel（R）Xeon（R）CPU E5-2650v4處理器、GeForce RTX 2080Ti GPU進行試驗。采用Python3.6作為編程語言，基于Tensorflow2.2.0-gpu修改并搭建了深度學(xué)習(xí)網(wǎng)絡(luò)框架。具體步驟為：首先，對高分辨率麥穗圖像進行分割，獲得多種不同分辨率的子圖；同時進行數(shù)據(jù)增強，保證不同分辨率下的模型有5 000張麥穗圖像作為數(shù)據(jù)集；按照7∶2∶1的比例分為訓(xùn)練集、驗證集和測試集；使用K-Means++算法對先驗框進行改進，更好地匹配小密集的麥穗；最后，將調(diào)整好的數(shù)據(jù)集送入神經(jīng)網(wǎng)絡(luò)中進行訓(xùn)練。在訓(xùn)練階段批量（batch size）大小設(shè)置為16，初始學(xué)習(xí)率為0.001，動量為0.9。經(jīng)過300個迭代（epoch），最終學(xué)習(xí)率降為0.000 1，所有模型均達到收斂（AP@0.5IoU）。

1.5 評價指標(biāo)

對于二元分類問題，根據(jù)學(xué)習(xí)的真正類別和預(yù)測類別的組合，樣本可以分為真正（ture positive，TP）、假正（false positive，F(xiàn)P）、真負（ture negative，TN）和假負（false negative，F(xiàn)N）4種類型，用來評價模型的性能[20]。精度（precision，P）檢測區(qū)域中真正樣本的數(shù)量，召回率（recall，R）檢測圖像中的目標(biāo)被檢測到的數(shù)量，準(zhǔn)確率（accuracy，A）和F1得分（F1score，F(xiàn)1）是評價模型性能的標(biāo)準(zhǔn)，定義如下。

AP（average precision，平均精度）衡量模型在每個類別上訓(xùn)練的效果，mAP（mean average precision，均類平均精度）是所有類別上AP的平均值，衡量訓(xùn)練出來的模型在所有類別上的效果[21]，定義如下。

式中，P（r）為召回測量的精度，N為目標(biāo)分類的數(shù)目。本文使用mAP@0.5表示置信度以0.5為標(biāo)準(zhǔn)的目標(biāo)檢測平均準(zhǔn)確率。

IoU[22]是計算類平均精度mAP的重要函數(shù)，為預(yù)測邊框和真實邊框交集和并集的比值。

式中，預(yù)測邊框和真實邊框相交的區(qū)域Soverlap，2個邊框并集的區(qū)域為Sunion。

2 結(jié)果與分析

2.1 模型準(zhǔn)確性

通過觀察模型在訓(xùn)練過程中的損失值和錯誤率來分析模型的精準(zhǔn)度。采用COCO數(shù)據(jù)集權(quán)重作為本文的初始權(quán)重[23]，經(jīng)過幾個時期后，錯誤率和訓(xùn)練損失值逐漸減少，并且接近最終值。從圖6可以看出，雖然最初損失值和錯誤率都很高，但在每個訓(xùn)練階段錯誤率的降低伴隨著模型檢測精度的提高。為了避免模型過擬合，將迭代次數(shù)固定在300。表3展示了6種不同分辨率下訓(xùn)練模型的最終性能，其中1 500×1 500分辨率的模型在測試集上表現(xiàn)效果最優(yōu)，均類平均精度可達93.7%。其根本原因在于麥穗在圖像中所占的像素比最優(yōu)，前景和背景差異更明顯，模型具有更強的特征學(xué)習(xí)能力。

表3 不同分辨率下模型表現(xiàn)Table 3 Model performance at different resolutions

圖6 訓(xùn)練中損失函數(shù)的變化Fig.6 Change of loss function in training

2.2 預(yù)測結(jié)果分析

利用改進后的模型（#3）對測試集麥穗圖像進行檢測，結(jié)果如圖7所示。該模型能正確檢測不同品種、同一品種不同生長時期（開花期和成熟期）的麥穗，具有很高的檢測精度和普適性。對于復(fù)雜環(huán)境下麥穗圖像，該模型仍有很高的識別率，具有很強的魯棒性。

改變分辨率進一步改變了圖像中麥穗尺寸的大小和數(shù)量的多少。1 000×1 000圖像分辨率較低，單個麥穗尺寸大、麥穗數(shù)量少、特征明顯，檢測精度高。2 000×2 000圖像分辨率較高，麥穗大小適中、數(shù)量較多、前景背景差異較大，均能正確檢測。6 000×4 000圖像分辨率很高，環(huán)境復(fù)雜，麥穗體積小、相鄰密集、多重疊現(xiàn)象，檢測十分困難。但改進后的模型極少出現(xiàn)漏檢錯檢情況，其置信度高，仍具有很高的檢測精度。

2.3 不同算法的比較

為了探究小密集目標(biāo)更優(yōu)的檢測方法，本文還訓(xùn)練了YOLOv3、YOLOv4-tiny、Faster R-CNN網(wǎng)絡(luò)并與該模型性能進行對比，每種模型都訓(xùn)練了300個以上的迭代，并且都達到了最大程度的收斂（AP@0.5IoU）。P-R（precision-recall）曲線[24]能夠反映模型的性能，由圖8可以看出，在同一精度下YOLOv4召回率要高于其他網(wǎng)絡(luò)模型。同樣，在同一召回率下，YOLOv4的精度要高于其他網(wǎng)絡(luò)模型。

圖8 檢測模型的P-R曲線Fig.8 P-R curves for the detection models

測試集4種不同網(wǎng)絡(luò)的檢測性能如表4所示，可以看出：在訓(xùn)練性能方面，YOLOv4比和YOLOv3、YOLOv4-tiny的損失值低，表明YOLOv4網(wǎng)絡(luò)模型的收斂效果更好，性能明顯提高。在檢測性能方面，不論是F1，還是IoU、mAP、YOLOv4的值都高于其他網(wǎng)絡(luò)模型，充分說明其召回率和精度、模型檢測包圍盒的準(zhǔn)確率以及模型的識別效果都更優(yōu)。然而，在檢測時間方面，YOLOv4-tiny的檢測時間最快，其次是YOLOv3，而YOLOv4略慢一些。這表明提高性能的同時，增大了網(wǎng)絡(luò)檢測的時間。相比Faster R-CNN，YOLOv4更能滿足麥穗實時檢測計數(shù)的需求。

表4 不同網(wǎng)絡(luò)下模型性能表現(xiàn)Table 4 Model performance of different network

2.4 模型性能分析

為了進一步驗證改進模型的實用性與局限性，對同張圖像在不同模型上分別進行了測試。檢測結(jié)果如圖9所示。很明顯看出，YOLOv3、YOLOv4-tiny漏檢情況較多，置信度得分較低。由于麥穗不完整，麥穗重疊，特征不明顯，導(dǎo)致模型檢測效果差。其根本原因在于網(wǎng)絡(luò)層次較淺，局部感受野較小，特征提取不充分。Faster R-CNN和YOLOv4極少出現(xiàn)漏檢情況，其置信度得分也很高。Faster R-CNN圖像的左上方出現(xiàn)了1次錯檢，網(wǎng)絡(luò)在進行邊界框回歸時，由于圖像背景和麥穗顏色特征相似，錯誤地生成了建議框。同時，YOLOv4的右下方出現(xiàn)了1次錯檢，網(wǎng)絡(luò)分類回歸時，先驗框匹配真實框的位置，由于圖像邊界部分的麥穗殘缺，錯誤地生成了預(yù)測框。

圖9 不同模型檢測結(jié)果Fig.9 Detection results of different models

結(jié)合不同分辨率下麥穗圖像的檢測結(jié)果，改進的模型展現(xiàn)了優(yōu)秀的性能。不論是圖像中麥穗尺寸的大小、數(shù)量的多少，該模型均能正確檢測。同樣，對于不同時期、不同環(huán)境、不同品種的麥穗，該模型仍具有很高的檢測精度。對于麥穗密集、相互重疊的問題，該模型預(yù)測框也能得到較高的置信度。該模型檢測精度高，具有很強的泛化能力。

3 討論

3.1 物體尺寸及圖像分辨率對模型性能的影響

物體尺寸及圖像分辨率影響模型的性能。對于小密集的數(shù)據(jù)集，圖像特征復(fù)雜，前景和背景差異性小。本文通過將麥穗圖像分割成不同分辨率的子圖進行檢測，利用K-Means++算法對數(shù)據(jù)集聚類，擬合先驗框的精度。模型對1 500×1 500分辨率下的麥穗目標(biāo)具有更強的學(xué)習(xí)能力，均類平均精度可達93.7%，表明改變分辨率可以提高圖像前景與背景的差異，匹配出目標(biāo)最優(yōu)的像素比。有利于網(wǎng)絡(luò)的特征提取，對小密集麥穗目標(biāo)有顯著的效果，有效提高了模型的精準(zhǔn)度。

3.2 數(shù)據(jù)增強對模型性能的影響

平移、旋轉(zhuǎn)、鏡像、遮擋、亮度變換、模糊處理常用于圖像數(shù)據(jù)增強。經(jīng)過驗證，位置變換能有效解決模型由于數(shù)據(jù)不足、不收斂的問題，增強模型特征學(xué)習(xí)能力。改變亮度可以模擬出不同光照環(huán)境下麥穗的生長情況，消除環(huán)境光對麥穗的影響，提高模型的檢測精度。隨機遮擋用來模擬麥穗間相互重疊的狀況，顯著改善麥穗目標(biāo)重疊，置信度低的問題。模糊處理有效解決了圖像分辨率低、不清晰的問題，進一步增強模型的抗干擾能力。通過數(shù)據(jù)增強處理，在新環(huán)境下測試，模型依舊能夠展現(xiàn)出優(yōu)秀的性能，證明了數(shù)據(jù)增強能有效提高模型的魯棒性。

3.3 感受野和網(wǎng)絡(luò)深度對模型性能的影響

YOLOv4在YOLOv3的基礎(chǔ)上增加了SPP和PANet結(jié)構(gòu)。加入的SPP網(wǎng)絡(luò)極大地增加了感受野，分離出最顯著的特征。采用的PANet實例分割算法，反復(fù)提取特征進行融合。通過2種模型精度召回率等性能的對比，證明了增大感受野有效地提高小密集麥穗的敏感度，使其在特征提取、特征提取融合過程中更完善，有效提高了模型的檢測精度。

YOLOv4-tiny是YOLOv4的簡化版。通過對比，YOLOv4訓(xùn)練參數(shù)有64 363 101個，YOLOv4-tiny只有5 918 006個，減少了近10倍。YOLOv4-tiny只選擇2層送入特征金字塔，很大程度上降低了網(wǎng)絡(luò)的深度，對于小物體、密集目標(biāo)、遮擋目標(biāo)，檢測效果并不好，但是對于單個獨立的物體檢測效果還是不錯的，證明了更深層次的網(wǎng)絡(luò)更有利于小密集麥穗的檢測。

本文驗證了深度學(xué)習(xí)在田間麥穗檢測計數(shù)中提供的可行性，滿足了麥穗檢測過程中多條件、多環(huán)境的應(yīng)用。改進后的模型實用性、魯棒性強，滿足田間麥穗檢測計數(shù)的高精度、實時性，并已達到實際應(yīng)用水平。針對麥穗重疊遮擋的問題，在未來的工作中，將對模型結(jié)構(gòu)進行修改，加入1個級聯(lián)網(wǎng)絡(luò)來做特征相關(guān)，并引入注意力機制進一步提高模型性能。