翔 云 陳其軍 宋栩杰 蔡 昌 卜遠鵬 劉 娜,*

(1 浙江工業(yè)大學信息工程學院，浙江 杭州 310000；2 浙江省農(nóng)業(yè)科學院蔬菜研究所，農(nóng)產(chǎn)品質(zhì)量安全危害因子與風險防控國家重點實驗室，浙江 杭州 310021)

菜用大豆，又稱鮮食大豆、毛豆，指在豆莢呈綠色、籽粒尚未達到完全成熟、生理上處于鼓粒盛期時采收用作蔬菜食用的大豆，是一種重要的傳統(tǒng)豆類蔬菜[1]。目前，我國菜用大豆年種植面積40萬hm2左右，總產(chǎn)量超過400萬t，年產(chǎn)值約100億元，是世界上最大的菜用大豆生產(chǎn)國和速凍加工出口國。在我國東南沿海各省，菜用大豆是農(nóng)業(yè)出口創(chuàng)匯的重要新興產(chǎn)業(yè)。浙江省由于獨特的氣候優(yōu)勢和區(qū)位優(yōu)勢，是生產(chǎn)優(yōu)質(zhì)菜用大豆的主要區(qū)域。與普通糧油大豆不同，在外觀品質(zhì)方面，菜用大豆要求豆莢更大，標準莢要求二粒以上。近年來，菜用大豆育種家通過基因標記，獲取遺傳和農(nóng)藝形狀的關系，使菜用大豆的育種水平得到了顯著提高[2]。隨著菜用大豆產(chǎn)業(yè)的不斷發(fā)展，需要培育更多優(yōu)質(zhì)、高產(chǎn)、多抗的菜用大豆新品種[3]。其中，對種質(zhì)資源表型進行精準化、智能化、高通量鑒定是遺傳育種工作順利開展的基礎，同時，對育種過程中大量群體材料進行表型鑒定是育種過程中最為重要的環(huán)節(jié)之一[4]。菜用大豆豆莢的籽粒數(shù)目和豆莢的長、寬等直接影響外觀商品性和產(chǎn)量[5]，因此，實現(xiàn)豆莢表型信息的高通量、智能化采集技術具有一定的應用價值[6]。

傳統(tǒng)的菜用大豆表型鑒定技術較為落后，性狀數(shù)據(jù)采集工作主要由人工完成，采集工作耗費大量時間和人力成本，且因受主觀因素影響，該方法測得結果的準確性不高[7]。隨著表型組學技術的不斷發(fā)展，種質(zhì)資源鑒定評價水平得到進一步提升，其中高通量測序和基因組學技術為基因發(fā)掘與應用帶來了革命性的突破，使農(nóng)作物育種全面進入分子育種新階段。然而，與飛速發(fā)展的基因組技術相比，作物表型高通量檢測技術和多重組學大數(shù)據(jù)整合分析技術的發(fā)展仍明顯滯后，這已成為現(xiàn)代育種技術跨越式發(fā)展的阻礙[8]。深度學習技術能夠利用標注好的數(shù)據(jù)集自動學習數(shù)據(jù)之間的內(nèi)在聯(lián)系和規(guī)律，一個訓練好的深度學習模型能夠提取圖片中的深層特征，并利用其特征對圖片進行分類或者對圖片中的目標進行識別，擁有較高的準確率和快速的識別能力[9]。受豆粒高度影響，菜用大豆豆粒連接處會產(chǎn)生一個凹槽和較暗的區(qū)域，在豆粒上產(chǎn)生一個較明亮的區(qū)域，這些特點正是神經(jīng)網(wǎng)絡區(qū)分不同豆粒的關鍵。

目標檢測是計算機視覺領域的基本任務之一，相關科研人員已對此進行了二十多年的研究[10]。近年隨著深度學習技術的快速發(fā)展，目標檢測算法從基于手工特征的傳統(tǒng)算法轉向了基于深度神經(jīng)網(wǎng)絡的檢測技術。從最初2013年提出的R-CNN[11]、OverFeat[12]，發(fā)展到后來的Fast/Faster R-CNN[13]、YOLO[14]系列。近十年時間，基于深度學習的目標檢測技術在網(wǎng)絡結構上，從兩階段模型到一階段模型，從單尺度網(wǎng)絡到特征金字塔網(wǎng)絡，舊算法不斷優(yōu)化迭代出更為先進的算法，這些算法在開放目標檢測數(shù)據(jù)集上均表現(xiàn)出了出色的性能，計算機人工智能技術也逐步被應用到表型鑒定等農(nóng)業(yè)研究領域。YOLO系列算法不需要進行感興趣區(qū)域的選擇，因此相較于RCNN系列的算法具有識別速度快，對設備性能要求低的優(yōu)勢。Lu等[15]利用Faster-RCNN，SSD和YOLOv3對豆莢進行檢測，分別獲得了86.2%、80.1%和87.4%的識別準確率。Yang等[16]利用mask-RCNN解決了不規(guī)則擺放豆莢的識別問題。

由于之前的研究多使用分類網(wǎng)絡來進行菜用大豆莢粒數(shù)的識別[17]，無法識別多粒莢同時出現(xiàn)在一張圖片上的情形，因此本研究基于最新的YOLOv5技術，訓練出一個可以對豆莢不同籽粒數(shù)目進行快速識別的模型，并在檢測階段使用機器視覺技術獲取豆莢長、寬數(shù)據(jù)，從而完成對菜用大豆豆莢的表型數(shù)據(jù)自動化精準采集。本研究將基于深度學習的智能數(shù)據(jù)采集技術應用在菜用大豆莢型表型識別中，建立菜用大豆莢型表型信息精準、高通量的智能采集技術，旨在減輕育種家在莢型表型獲取上的壓力，提高育種的精準度和工作效率。

1 材料與方法

1.1 試驗材料

選取浙江省農(nóng)業(yè)科學院蔬菜所育成的浙農(nóng)秋豐4號和新品系浙農(nóng)21-7的菜用大豆植株的豆莢，每個品種隨機選取20株植株，共計40株。所有材料于2021年8月種植于浙江省農(nóng)業(yè)科學院楊渡科研創(chuàng)新基地。

隨機選取成熟植株第4～第6節(jié)間的發(fā)育正常的豆莢進行拍照，獲取單張單莢圖片。由浙江省農(nóng)業(yè)科學院劉娜專家團隊對單莢圖片進行識別和分類，制作成數(shù)據(jù)集，用于分類網(wǎng)絡的識別。分類網(wǎng)絡的數(shù)據(jù)集構成為單粒莢圖片106張、雙粒莢圖片119張、三粒莢圖片108張，共計333張，經(jīng)旋轉和翻轉的數(shù)據(jù)增強后共計1 998張。此外，制作了一個單張圖片中包含多個單粒莢、雙粒莢和三粒莢的數(shù)據(jù)集，用于單圖多莢和莢長寬的識別，共計105張圖片。

1.2 試驗方法

使用精靈標注肋手2.0.4(杭州快憶科技有限公司)軟件將獲得的豆莢表型圖片進行標注，獲得YOLOv5網(wǎng)絡所需的xml標注文件，構建一個由標注文件和圖片組成的數(shù)據(jù)集。數(shù)據(jù)集中，訓練集和測試集的比例為8∶2。圖1-A為原始數(shù)據(jù)集圖片，圖1-B為標注后的圖片，其中每個框在標注后會在xml文件中產(chǎn)生一個位置信息和類別信息。

注：A：原始數(shù)據(jù)集；B：標注后的數(shù)據(jù)集。Note：A: Original dataset. B: Annotated dataset.圖1 數(shù)據(jù)集標注示意圖Fig.1 Schematic diagram of dataset annotation

將上述自建的豆莢數(shù)據(jù)集輸入到YOLOv5模型中進行訓練識別。同時遷移學習現(xiàn)階段在農(nóng)業(yè)領域使用較為廣泛的一些深度學習模型(AlexNet[18]、MoblieNet、VggNet[19]、ResNet和Inception-v3)進行識別精度的比較。對比模型的訓練驗證精度，選取性能較高的模型網(wǎng)絡用于豆莢表型性狀的識別。

1.3 遷移學習

基于監(jiān)督學習的深度學習模型通常需要大量的標注數(shù)據(jù)進行訓練以獲得出色的性能，然而對于新的機器學習應用場景，經(jīng)過驗證的大型公開數(shù)據(jù)集的出現(xiàn)具有一定的滯后性，而自行制作的數(shù)據(jù)集在規(guī)模、多樣性、復雜度上往往存在缺陷，因此，遷移學習逐漸成為一種普遍的解決方法。遷移學習是指將某個領域或任務上學習到的知識或模式應用到不同但相關的領域或問題中[20]。本研究利用遷移學習的思想，將2012年以來在ImageNet[21]大賽上取得比較優(yōu)秀成績的分類網(wǎng)絡模型(AlexNet、MobileNet-v1、vgg19、ResNet18、Inception-v3)進行遷移學習，獲得分類模型的預訓練模型，并將其運用到豆莢表型的分類上。

1.4 殘差神經(jīng)網(wǎng)絡(ResNet)

ResNet[22]由微軟研究院的何愷明、張祥雨、任少卿、孫劍等人提出，并在2015年的ILSVRC中取得了冠軍。ResNet的試驗證明深度學習模型隨著層數(shù)的不斷加深其精度提升存在上限，且超過該上限后模型精度隨著層數(shù)加深而下降，這種現(xiàn)象被He等[22]稱為“退化現(xiàn)象”。為此，ResNet中使用快捷連接的結構使得模型在反向傳播過程中學習的是其“殘差”分量，從而避免隨著模型的加深而出現(xiàn)的“退化現(xiàn)象”。圖2為18層ResNet的網(wǎng)絡結構，多個帶有快捷連接的殘差塊級聯(lián)形成其主干網(wǎng)絡，最后一層輸出層由4個神經(jīng)元構成，用于識別分類豆莢莢粒數(shù)。

圖2 ResNet18網(wǎng)絡結構圖Fig.2 ResNet18 network structure

1.5 目標檢測--YOLOv5

目標檢測與圖像分類最主要的不同在于目標檢測關注圖像的局部結構信息，而圖像分類關注圖像的全局表達[23]。目標檢測主要分為兩類：兩步走和一步走。兩步走分為以下兩個步驟，第一步先找出圖片中待檢測物體的錨矩形框(對背景、待檢測物體進行二分類)，第二步對錨框內(nèi)待檢測物體進行分類。這種方法的準確度更高，但相對費時。一步走則是直接對預測框進行回歸和分類預測。這種方法的識別速度會更快，本研究采取的方法是一步走中的經(jīng)典網(wǎng)絡YOLO。YOLO系列網(wǎng)絡從2015年提出YOLOv1到2020年最新的YOLOv5，其識別速度與最大平均精度都得到了大幅提升。因此選取最新的YOLOv5作為本研究的目標檢測網(wǎng)絡主體，對數(shù)據(jù)集和輸出層進行更改，用來識別豆莢的莢粒數(shù)和具體位置。YOLOv5的網(wǎng)絡結構如下圖3所示，圖片經(jīng)輸入后經(jīng)過backbone層、Neck層達到Prediction層。

圖3 YOLOv5簡易網(wǎng)絡結構圖Fig.3 YOLOv5 simple network structure

1.6 評價指標

(1)

(2)

(3)。

1.6.2 莢粒數(shù)識別 為評估所訓練的網(wǎng)絡的識別性能，本研究采用F1-score衡量模型的總體性能。正樣本：被模型正確識別的菜用大豆莢型；負樣本：被模型錯誤識別的菜用大豆莢型；真陽性(true positives，TP)：被分為正樣本，并且識別正確；真陰性(true negatives，TN)：被分為負樣本，而且識別正確；假陽性(false positives，F(xiàn)P)：被分為正樣本，但識別錯誤；假陰性(false negatives，F(xiàn)N)：被分為負樣本，但識別錯誤。A、B為兩個集合，K為類別數(shù)。驗證指標含有準確率(accuracy)、交并比、召回率(recall)、精確率(precision)、F1分數(shù)(F1-score)、平均精度(average precision，AP)、各類別平均精度(mean average precision，mAP)和mAP@0.5等。AP的計算方式為以Recall為橫軸，Precision為縱軸，繪制PR曲線，PR曲線下的面積定義為AP，mAP@0.5表示交并比(intersection over union, IoU)設為0.5時的mAP值。具體公式如下：

(4)

(5)

(6)

(7)。

1.7 試驗環(huán)境

所有編程環(huán)境均在Ubuntu 16.04.6和Windows 10中實現(xiàn)，使用Python作為編程語言，Pycharm作為編輯器，并使用2塊Tesla V100 32 G的顯卡訓練過程進行加速。

2 結果與分析

2.1 深度學習分類模型的算法結果

本研究遷移了5個被廣泛使用的深度學習分類網(wǎng)絡(AlexNet、MoblieNet-v1、Vgg19、ResNet18和Inception-v3)來進行莢粒數(shù)的識別。在分類網(wǎng)絡的優(yōu)化器選擇上，統(tǒng)一選取對分類效果提升最大的Adam優(yōu)化器[24]，并對學習率(learning rate，lr)和迭代次數(shù)進行優(yōu)化。從表1可以看出，在進行了30 000次迭代后，Inception-v3在驗證集上的召回率和F1分數(shù)在分類網(wǎng)絡中最高，分別達到了96.50%和95.95%，其次是ResNet18的96.13%和95.82%。此外，召回率和F1分數(shù)最低的是Vgg19的93.88%和93.23%。在精確率上ResNet18的95.51%為分類網(wǎng)絡的最高，Vgg19的92.58%為最低。

采用與分類網(wǎng)絡相同的單圖單莢數(shù)據(jù)集，對其進行標注，修改配置文件的網(wǎng)絡輸出層類別為onepod、twopod和threepod。使用YOLOv5進行訓練，并對訓練過程的參數(shù)變化進行記錄。從表1可以看出，YOLOv5的F1分數(shù)為97.56%，比分類網(wǎng)絡最高的Inception-v3高1.61個百分點，召回率比分類網(wǎng)絡最高的Inception-v3高3.50個百分點。

表1 不同深度學習分類模型的試驗結果Table 1 Experimental results of different deep learning classification models /%

2.2 基于YOLOv5模型的單圖多莢算法結果

采用額外標注完成的數(shù)據(jù)集，使用修改后的YOLOv5進行訓練。訓練完成后，輸入一張隨機擺放單粒莢、雙粒莢和三粒莢的圖片(圖4-A)，模型會保存一張相同的圖片(圖4-B)。在圖片左上角標注出單粒莢、雙粒莢和三粒莢的數(shù)量，并用方框框出每個豆莢的莢數(shù)。從表2可以看出，與表1單圖單莢的訓練效果相比，單圖多莢在各個參數(shù)上都有一定的下降，其中召回率下降最明顯，達到了1.57個百分點，但與深度學習分類網(wǎng)絡相比，單圖多莢的F1分數(shù)依然高于最高的Inception-v3。圖5為模型的訓練過程的評價指標變化曲線圖。隨著迭代次數(shù)的增加，精確率不斷提升，迭代次數(shù)到2 000次時精確率曲線趨于穩(wěn)定，同時mAP曲線也趨于穩(wěn)定，召回率曲線在迭代初期即達到穩(wěn)定；訓練集和驗證集的loss曲線變化保持一致，且驗證集loss始終高于訓練集。與其他的目標檢測網(wǎng)絡相比，YOLOv5在每項指標上都有一定的優(yōu)勢，如表2所示，F(xiàn)1-score比SSD和RCNN分別高2.53和3.97個百分點，可知YOLOv5相對于其他的目標檢測網(wǎng)絡在精度上有一定的優(yōu)勢。

注：A：原始圖像；B：識別后圖像。Note: A: Original image. B: Image after recognition.圖4 YOLOv5單圖多莢預測效果圖Fig.4 YOLOv5 single map multiple pod prediction effect chart

表2 YOLOv5單圖多莢的試驗結果Table 2 Experimental results of YOLOv5 single figure multiple pods /%

2.3 基于機器視覺的豆莢長寬數(shù)據(jù)智能采集

為了實現(xiàn)在一張圖片上進行批量的莢長寬檢測，本研究將機器視覺的方法添加到YOLO的識別環(huán)節(jié)，對YOLO識別出的矩形框內(nèi)的圖像進行莢長寬計算，圖6-B為雙粒豆莢檢測原理示意圖。首先對矩形框內(nèi)的豆莢進行二值化處理，獲取豆莢的整體輪廓，再對豆莢像素值進行左右和上下的掃描，獲取左右邊界和上下邊界的坐標值，進行差值計算，最后根據(jù)像素與實物的比例，計算豆莢的長寬。由于本方法為在矩形框內(nèi)進行識別，因此掃描到的無用像素值較少，擁有較快的計算速度。

注：A：精確率和召回率曲線；B：訓練集和驗證集的loss曲線；C：模型的mAP曲線。Note: A: Precision and recall curves. B: Loss curves of the training and validation sets. C: mAP curves of the model.圖5 YOLO模型訓練評價指標變化曲線圖Fig.5 Plots of YOLO model training parameters

注：A：YOLO識別后圖像； B：雙粒莢長寬檢測原理。Note: A: Image after YOLO recognition. B: The principle of double pod length-width detection.圖6 莢長寬檢測示意圖Fig.6 Schematic diagram of pod length-width detection

將檢測得到的長寬數(shù)據(jù)與實際測量數(shù)據(jù)記錄并進行RMSPE、MAPE和R2的計算。通過表3可以看出，本方法的R2值在莢長寬預測上分別為 0.964 2 和 0.952 3， 擁有較高的精度，并且莢長的RMSPE和MAPE均低于0.03，莢寬的RMSPE和MAPE均低于0.04。

表3 菜用大豆豆莢圖像測量與實際測量結果比較Table 3 Comparison between image recognition and calipers measuring of pods

圖7 豆莢長、寬預測結果圖Fig.7 Pod length and width prediction results

3 討論

菜用大豆莢型是品種選育中關注的最為重要的性狀之一，豆莢的長、寬、籽粒個數(shù)等性狀直接影響外觀品質(zhì)[25]。對菜用大豆種質(zhì)資源和育種中間材料的表型性狀鑒定需要耗費大量的人力，因此有必要研究表型性狀的精準、智能、高通量采集技術，從而減輕育種人員的工作壓力，提高育種的工作效率和鑒定的精準性。本研究將最新的目標檢測算法和傳統(tǒng)的圖像處理方法相結合，并將基于YOLOv5和機器視覺的智能數(shù)據(jù)采集技術應用于菜用大豆莢型表型的識別，實現(xiàn)了育種過程的數(shù)字化和智能化升級。

菜用大豆豆莢的長度和寬度一直依賴人工測量獲取。由于豆莢形狀不規(guī)則，會導致人工測量時產(chǎn)生一定的誤差，而基于機器視覺的方法在同一平面上進行識別計算，能夠獲得較為精確且可重復的數(shù)據(jù)。本研究利用圖像處理技術對YOLO檢測得到的圖像進行掃描，獲取到長寬數(shù)據(jù)后自動記錄到日志文件中，供育種人員隨時查詢。與張小斌等[26]的研究相比，本研究的方法在YOLO識別后會產(chǎn)生1個豆莢的最小外接矩形識別框，因此具有較快的識別速度。由于長寬誤差主要受到擺放位置的影響，因此下一步需要對長寬算法進行改進，減少擺放位置對豆莢長寬精度的影響。

深度學習分類網(wǎng)絡單圖單標簽的訓練方式?jīng)Q定了其只能分類單圖單莢的圖片[17,27-28]。因此圖像分類更適用于圖像中待分類的物體是單一的，而現(xiàn)實環(huán)境中一張圖片包含多個對象，分類網(wǎng)絡無法滿足該場景下的應用需求。比如閆壯壯等[17]和閆學慧等[27]提出的大豆豆莢識別方法在制作數(shù)據(jù)集時需要先分割成單圖單莢的圖片進行識別。Azadbakht等[29]則提出了四種機器學習(ML)方法，包括支持向量回歸(ν-SVR)、增強回歸樹(BRT)、隨機森林回歸(RFR)和高斯過程回歸(GPR)用來識別小麥葉銹病，這四種方法對圖片的要求也是一張圖片只能包含一個類別。傳統(tǒng)的機器學習和分類網(wǎng)絡的識別效果在實際的應用背景下收效甚微。

近幾年越來越多的學者使用目標檢測網(wǎng)絡來解決大豆莢型智能采集的技術問題。目標檢測網(wǎng)絡能夠在多目標的干擾下準確識別所需要的物體，更符合實際的應用背景。Li等[30]利用mask-RCNN網(wǎng)絡解決了大豆在不規(guī)則擺放條件下多粒莢的計數(shù)，大大減少了育種專家的工作量。但是mask-RCNN對硬件性能要求比較高，數(shù)據(jù)集制作繁瑣，且移植到便攜式設備上成本較高，不方便科研人員在田間實時統(tǒng)計大豆的表型數(shù)據(jù)。與之不同的是，YOLO網(wǎng)絡數(shù)據(jù)集制作簡單，只需對其外接矩形框進行標注，且其tiny版本可以移植到較為便宜的k210便攜式主板上，方便科研人員更實時地進行田間表型數(shù)據(jù)智能化采集。由于YOLO網(wǎng)絡的標注方式為矩形標注，因此為了數(shù)據(jù)集制作與識別需要擺放大豆的位置，每張大豆圖片數(shù)據(jù)集僅需要花費科研人員7秒的時間進行擺拍，擺正的大豆為之后的莢長寬識別也提供了幫助。在本研究中，該方法經(jīng)過訓練可以在一張圖片識別多種莢型，并同時顯示單粒莢、雙粒莢和三粒莢的數(shù)量和每粒莢的長寬。本方法可以有效幫助育種人員統(tǒng)計菜用大豆單株上含有不同籽粒的豆莢數(shù)目和標準莢(二粒莢以上豆莢)所占比例。

4 結論

本研究利用深度學習目標檢測網(wǎng)絡和機器視覺提出了一種菜用大豆莢型表型自動采集系統(tǒng)，實現(xiàn)了對菜用大豆豆莢籽粒個數(shù)和豆莢長寬的快速獲取。利用YOLOv5解決了對一張圖片不同籽粒個數(shù)豆莢進行統(tǒng)計的現(xiàn)實應用問題。通過試驗對比，發(fā)現(xiàn)YOLOv5在單圖單莢和單圖多莢的分類效果均優(yōu)于傳統(tǒng)的分類網(wǎng)絡(AlexNet、MoblieNet-v1、vgg19、ResNet18和Inception-v3)。本研究提出的方法有利于簡化菜用大豆表型鑒定的過程，為育種人員提供高通量的豆莢表型數(shù)據(jù)，從而提高表型鑒定的精準度和品種選育效率。