臧賀藏，趙晴，周萌，曹廷杰，張杰，李國強(qiáng)，鄭國清

(1. 河南省農(nóng)業(yè)科學(xué)院農(nóng)業(yè)經(jīng)濟(jì)與信息研究所/農(nóng)業(yè)農(nóng)村部黃淮海智慧農(nóng)業(yè)技術(shù)重點(diǎn)實(shí)驗(yàn)室，河南 鄭州 450002；2. 河南省農(nóng)業(yè)科學(xué)院小麥研究所，河南 鄭州 450002)

小麥?zhǔn)俏覈匾募Z食作物，全世界約35%～40%的人口以小麥為主食[1－3]。2021年，我國小麥種植面積2 291.1 萬公頃，產(chǎn)量1.34 億噸，是世界最大的小麥生產(chǎn)國[4]。小麥產(chǎn)量由單位面積穗數(shù)、每穗粒數(shù)和粒重構(gòu)成[5，6]，及時準(zhǔn)確獲取穗數(shù)可為小麥產(chǎn)量估測和品種評價提供科學(xué)依據(jù)。在實(shí)際生產(chǎn)中，小麥穗數(shù)的獲取主要以人工實(shí)地調(diào)查為主，即選取一定長度的小麥樣段，人工調(diào)查穗數(shù)，然后根據(jù)整片區(qū)域小麥的平均行距，推算單位面積小麥穗數(shù)。這種方法存在主觀性強(qiáng)、隨機(jī)性強(qiáng)、缺乏統(tǒng)一標(biāo)準(zhǔn)等弊端，費(fèi)時費(fèi)力、效率低，而且不能實(shí)時、快速地獲取統(tǒng)計結(jié)果。

隨著機(jī)器視覺技術(shù)的快速發(fā)展，圖像處理技術(shù)在病蟲害檢測[7－11]、表型參數(shù)監(jiān)測[12－14]以及產(chǎn)量預(yù)測[15－17]方面得到了廣泛應(yīng)用，目前在小麥穗數(shù)識別和數(shù)量檢測方面也有一些研究，如杜穎等[2]在無氮、低氮、正常氮和高氮4 個氮水平下，基于超像素分割和顏色特征，快速準(zhǔn)確地統(tǒng)計出大田小麥穗數(shù)；高姻燕等[18]基于YOLOv3 對無人機(jī)航拍得到的典型田間小麥穗數(shù)圖像進(jìn)行檢測，實(shí)現(xiàn)了小麥穗數(shù)及時高效地估測；劉哲等[19]提出一種基于改進(jìn)的Bayes 摳圖算法的麥穗小穗自動計數(shù)方法，可以實(shí)現(xiàn)小麥小穗數(shù)的高效、自動計數(shù)；鄧國強(qiáng)等[20]采用數(shù)碼相機(jī)獲取人工接種赤霉病菌的麥穗圖像，然后基于改進(jìn)的U－net 模型對標(biāo)記好的發(fā)病麥穗圖像進(jìn)行訓(xùn)練，可以很好地識別與監(jiān)測小麥赤霉病穗。但以往研究多集中于不同栽培管理措施下的小麥穗數(shù)識別，且應(yīng)用YOLOv5s 訓(xùn)練模型對小麥品種(系)穗數(shù)識別和統(tǒng)計的研究報道甚少。鑒于科研人員便于攜帶、易操作的需求，本研究利用智能手機(jī)進(jìn)行麥穗圖像采集，然后針對密度高、遮擋及交叉重疊嚴(yán)重導(dǎo)致的麥穗檢測錯誤和漏檢等問題，以2020—2021年度參加國家冬小麥黃淮南片水地組區(qū)域試驗(yàn)的82 個小麥品種(系)為材料，通過目標(biāo)檢測手段YOLOv5s 獲得訓(xùn)練模型，實(shí)現(xiàn)麥穗的自動識別和數(shù)量統(tǒng)計，以期為田間小麥品種(系)穗數(shù)統(tǒng)計和產(chǎn)量估測提供技術(shù)支撐。

1 材料與方法

1.1 試驗(yàn)地概況

供試材料為參加2020—2021年度國家冬小麥黃淮海南片水地組區(qū)域試驗(yàn)的82 個小麥品種(系)，種植于河南省農(nóng)業(yè)科學(xué)院河南現(xiàn)代農(nóng)業(yè)研究開發(fā)基地。該地位于北緯35°0′44″、東經(jīng)113°41′44 ″，屬暖溫帶大陸性季風(fēng)氣候，年平均氣溫為14.4℃，多年平均降雨量為549.9 mm，全年日照時數(shù)2 300～2 600 h，小麥—玉米輪作為該地區(qū)的主要種植模式。

試驗(yàn)共設(shè)有501 個小區(qū)，隨機(jī)區(qū)組排列，3 次重復(fù)；每個小區(qū)種植6 行小麥，小區(qū)面積12 m2。播種日期為2020年10月9 日，種植密度195 萬株/hm2。試驗(yàn)田管理措施高于普通大田。

1.2 數(shù)據(jù)采集與數(shù)據(jù)集構(gòu)建

1.2.1 公開數(shù)據(jù)集 由于人工標(biāo)記抽穗期圖像工作量較大，因此從Global Wheat Challenge 2021(https:/ /www.aicrowd.com/challenges/global-wheatchallenge-2021)提供的公開數(shù)據(jù)集中篩選出拍攝清晰無遮擋的2 583 幅圖像，圖像分辨率為1 024像素×1 024 像素，用作模型訓(xùn)練集和驗(yàn)證集的樣本圖像分別為2 325 幅和258 幅，部分圖像示例如圖1 所示。

圖1 全球小麥數(shù)據(jù)集中部分圖像示例

1.2.2 圖像數(shù)據(jù)采集 于2021年4月19 日上午10 時、天氣晴朗無云時，使用智能手機(jī)Honor 20 pro 拍攝正處于抽穗期的麥穗圖像。拍攝時將智能手機(jī)固定在手持拍攝桿上，于小麥冠層上方50 cm 處垂直拍攝。篩選出拍攝清晰無遮擋的360幅圖像作為測試集，圖像分辨率為960 像素×720像素。

1.2.3 數(shù)據(jù)集構(gòu)建和標(biāo)注 為了獲得更好的圖像檢測結(jié)果，利用標(biāo)注工具Labelimg 對麥穗圖像進(jìn)行紅色方框標(biāo)注，即在每個麥穗位置標(biāo)記一個紅色方框。標(biāo)注結(jié)果可以保存為YOLO 系列的.CSV文件，包括train/box＿loss、train/obj＿loss、train/cls＿loss、precision、recall、mAP＿0.5、mAP＿0.5:0.95、val/box＿loss、val/obj＿loss、val/cls＿loss、x/lr0、x/lr1、x/lr2。

1.3 模型構(gòu)建

1.3.1 YOLOv5s 訓(xùn)練模型網(wǎng)絡(luò)結(jié)構(gòu) YOLO 系列是單階段目標(biāo)檢測具有代表性的算法，其中YOLOv5 網(wǎng)絡(luò)模型在YOLOv4 基礎(chǔ)上進(jìn)行了改進(jìn)，主要包括YOLOv5s、YOLOv5m、YOLOv5l 和YOLOv5x 四個版本，而YOLOv5s 具有運(yùn)行速度快、靈活性高的特點(diǎn)，在模型快速部署上具有較強(qiáng)的優(yōu)勢，檢測速度在四個版本中最快[21]。與其他3 個版本比較，YOLOv5s 是YOLOv5 模型中體積最小的網(wǎng)絡(luò)模型，具有深度最淺和寬度最窄的優(yōu)勢，可以更好地滿足實(shí)時性需求，所需消耗的參數(shù)量和計算量最小。

本研究即采用YOLOv5s 進(jìn)行訓(xùn)練模型構(gòu)建，由輸入端(Input)、主干網(wǎng)絡(luò)(Backbone)、頸部(Neck)、頭部(Head)和輸出端(Output)五部分組成，網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。輸入端輸入的圖像尺寸為640×640×3，采用Mosaic 數(shù)據(jù)增強(qiáng)、Anchor自適應(yīng)錨框計算和圖像縮放等策略對圖像進(jìn)行預(yù)處理。在YOLOv5 中使用CSPDarknet53 作為模型的主干網(wǎng)絡(luò)，包括Focus 模塊、Conv 模塊、C3 模塊和SPP 模塊，其作用是從輸入圖像中提取豐富的語義特征；頸部采用FPN 和PAN 生成特征金字塔，用來增強(qiáng)對多尺度目標(biāo)的檢測；頭部是對從頸部傳遞來的特征進(jìn)行預(yù)測，并生成3 個不同尺度的特征圖。

圖2 YOLOv5s 算法網(wǎng)絡(luò)結(jié)構(gòu)

1.3.2 YOLOv5s 主干網(wǎng)絡(luò)模塊 YOLOv5s 主干網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖3 所示。

圖3 YOLOv5s 網(wǎng)絡(luò)中主干網(wǎng)絡(luò)模塊結(jié)構(gòu)示意圖

Conv 模塊的結(jié)構(gòu)為Conv2d＋BN＋SiLU，依次是卷積層、歸一化操作和激活函數(shù)。

Focus 模塊的目的是減少模型的計算量，加快網(wǎng)絡(luò)的訓(xùn)練速度。首先將輸入大小為3×640×640 的圖像切分成4 個切片，每個切片的大小為3×320×320。然后使用拼接操作將4 個切片通過通道維度拼接起來，得到的特征圖尺度為12×320×320。再經(jīng)過一次卷積操作，最終得到32×320×320 的特征圖。

C3 模塊由兩個分支組成，在第一條分支中輸入的特征圖要通過3 個連續(xù)的Conv 模塊和多個堆疊的Bottleneck 模塊；在第二條分支中，特征圖僅通過一個Conv 模塊，最終將兩個分支按通道拼接在一起。其中，Bottleneck 模塊可更好地提取目標(biāo)的高級特征，主要由兩個連續(xù)的卷積操作和一個殘差操作組成。

SPP 模塊是空間金字塔池化模塊，用來擴(kuò)大網(wǎng)絡(luò)的感受野。在YOLOv5s 中SPP 模塊的輸入特征圖大小為512×20×20，通過一個Conv 模塊后通道數(shù)減半；然后對特征圖使用卷積核分別為5×5、9×9、13×13 的最大池化操作，并將3 種特征圖與輸入特征圖按通道拼接后再通過一個Conv 模塊，最終輸出的特征圖大小為512×20×20。

1.4 模型訓(xùn)練

試驗(yàn)選用Intel(R) Core(TM) i7－10600 CPU ＠2.90GHz，GPU 選擇NVIDIA GeForce RTX3090，顯存24GB，使用PyTorch1.10 作為深度學(xué)習(xí)框架。

將訓(xùn)練集、驗(yàn)證集和測試集圖像的尺寸統(tǒng)一調(diào)整為640 像素×640 像素，并分為多個批次，遍歷所有批次后完成一次迭代。優(yōu)化器選擇SGD，設(shè)置初始學(xué)習(xí)率為0.01，隨著迭代次數(shù)增加降低學(xué)習(xí)率至0.001。

1.5 模型驗(yàn)證

為了驗(yàn)證模型檢測精度，隨機(jī)抽取10 幅圖像，基于統(tǒng)一的麥穗計數(shù)標(biāo)準(zhǔn)，挑選具有相關(guān)農(nóng)學(xué)背景的2 名人員分別對每幅圖像中的麥穗進(jìn)行計數(shù)，取平均值作為該圖像對應(yīng)的小麥穗數(shù)測量值。

1.6 評價指標(biāo)

為評估YOLOv5s 模型檢測效果，采用精準(zhǔn)率(precision，P)、召回率(recall，R)、平均精度均值mAP(mean average precision)和F1 值(F1－Score)作為評價小麥穗數(shù)檢測模型性能的指標(biāo)。計算公式如下:

式中TP 指正確檢測出的圖像中小麥麥穗數(shù)量；FP 指誤把圖像中背景識別為小麥麥穗的數(shù)量；FN 指未正確識別出的小麥麥穗數(shù)量；P(k)表示可以識別k 幅圖像的精度；dR(k)表示識別的圖像數(shù)量從k 改變時召回率的變化。

2 結(jié)果與分析

2.1 模型檢測效果

利用YOLOv5s 訓(xùn)練模型對不同小麥新品種(系)麥穗圖像進(jìn)行檢測，結(jié)果如圖4 所示，圖中紅色框標(biāo)注即為YOLOv5s 訓(xùn)練模型對麥穗識別的結(jié)果。通過與原始圖像對比發(fā)現(xiàn)，YOLOv5s 訓(xùn)練模型可以較好地檢測出紅色方框中特別小的麥穗，麥穗邊界框回歸也更精準(zhǔn)，有效提高了對小目標(biāo)的檢測精度，較好地解決了麥穗的遮擋和重疊問題，提高了麥穗計數(shù)的準(zhǔn)確率。

圖4 小麥穗部圖像檢測結(jié)果

2.2 模型訓(xùn)練結(jié)果

由圖5 可以看出，經(jīng)過60 次訓(xùn)練，最終模型的精準(zhǔn)率為96.47%，召回率為93.98%，mAP 為0.971，損失值降至0.03，說明該模型準(zhǔn)確率、召回率較高，損失值較低，達(dá)到了收斂。

圖5 訓(xùn)練結(jié)果

2.3 模型檢測結(jié)果驗(yàn)證

為驗(yàn)證YOLOv5s 模型在小麥品種(系)麥穗計數(shù)上的準(zhǔn)確率，隨機(jī)抽取10 幅圖像，人工統(tǒng)計麥穗數(shù)量，并將兩種方法的統(tǒng)計結(jié)果進(jìn)行對比分析，結(jié)果(表1)顯示，利用YOLOv5s 模型檢測的準(zhǔn)確率在94.39%～96.55%，平均95.60%，誤差為3.45～5.61，精度較高，且對每幅圖像的檢測平均耗時0.07s，檢測效率遠(yuǎn)高于人工統(tǒng)計。

表1 人工統(tǒng)計與YOLOv5 模型統(tǒng)計結(jié)果對比

3 討論與結(jié)論

穗數(shù)是決定小麥產(chǎn)量的重要表型性狀，根據(jù)影像資料進(jìn)行麥穗檢測是小麥表型研究的熱點(diǎn)[22]。基于無人機(jī)數(shù)碼圖像的小麥穗數(shù)監(jiān)測主要采用目標(biāo)檢測方法獲取小麥穗的數(shù)量和幾何圖形[23－25]。Fernandez-Gallego 等[26]采用深度學(xué)習(xí)算法基于小麥穗部熱圖進(jìn)行麥穗計數(shù)。鮑文霞等[27]基于數(shù)碼相機(jī)拍攝的田間小麥穗部圖像，采用遷移學(xué)習(xí)方法，構(gòu)建了麥穗計數(shù)函數(shù)模型，實(shí)現(xiàn)了田間麥穗的計數(shù)。范夢揚(yáng)等[28]利用部署于田

間的攝像頭采集小麥穗的低分辨率群體圖像，并采用支持向量機(jī)法獲取了圖像中的麥穗數(shù)量。陳佳瑋等[29]采用輕量級深度學(xué)習(xí)技術(shù)構(gòu)建了安卓手機(jī)智能化分析軟件，利用安卓智能手機(jī)俯拍小麥圖像，可離線識別圖像中的麥穗數(shù)量。

本研究基于YOLOv5s 訓(xùn)練模型，利用智能手機(jī)拍攝的圖像，完成了小麥新品種的麥穗數(shù)量檢測，模型檢測精準(zhǔn)率、召回率和平均精度均值分別為96.47%、93.98%和0.971，單幅圖像平均檢測時間為0.07 s，與人工基于圖像的統(tǒng)計結(jié)果相比，準(zhǔn)確率達(dá)到95.60%，取得了較好的檢測效果與泛化特性。表明YOLOv5s 訓(xùn)練模型在復(fù)雜田間環(huán)境中的適用性較高，能較好地解決小麥穗的遮擋和重疊問題，從而高效、準(zhǔn)確地檢測出小麥穗數(shù)，可為實(shí)際生產(chǎn)中小麥穗計數(shù)及產(chǎn)量估測提供技術(shù)參考。

隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，使用現(xiàn)有卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行小麥穗數(shù)檢測的精度已經(jīng)不能滿足科研人員的需求。在今后的研究方向中，本課題組將根據(jù)小麥穗數(shù)檢測任務(wù)的特征，進(jìn)一步優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，使用擬合度更高的數(shù)據(jù)集，以實(shí)現(xiàn)對小麥穗數(shù)更高精度的識別。