閆壯壯 閆學(xué)慧 石 嘉 孫 凱 虞江林 張戰(zhàn)國 胡振邦 蔣鴻蔚 辛大偉 李 楊 齊照明 劉春燕 武小霞 陳慶山 朱榮勝,*

基于深度學(xué)習(xí)的大豆豆莢類別識別研究

閆壯壯2閆學(xué)慧2石 嘉2孫 凱2虞江林2張戰(zhàn)國1胡振邦3蔣鴻蔚3辛大偉3李 楊1齊照明3劉春燕3武小霞3陳慶山3朱榮勝1,*

1東北農(nóng)業(yè)大學(xué)文理學(xué)院, 黑龍江哈爾濱 150030;2東北農(nóng)業(yè)大學(xué)工程學(xué)院, 黑龍江哈爾濱 150030;3東北農(nóng)業(yè)大學(xué)大豆研究所, 黑龍江哈爾濱 150030

作物表型調(diào)查是作物品種選育過程中的一項關(guān)鍵工作。傳統(tǒng)表型調(diào)查主要依靠人力, 使得表型調(diào)查的結(jié)果難以達(dá)到自動化、高精度、高可靠性的要求。在大豆的表型調(diào)查中, 對豆莢類別的正確識別是豆莢個數(shù)、長度和寬度等表型準(zhǔn)確提取的關(guān)鍵和前提。本文針對成熟期大豆豆莢的圖片, 通過利用深度學(xué)習(xí)遷移5種不同的網(wǎng)絡(luò)模型[AlexNet、VggNet (Vgg16, Vgg19)、GoogleNet、ResNet-50], 對一粒莢、二粒莢、三粒莢、四粒莢進(jìn)行識別。為提高訓(xùn)練速度和準(zhǔn)確率, 本試驗微調(diào)模型, 選擇不同的優(yōu)化器(SGD、Adam)對網(wǎng)絡(luò)模型進(jìn)行優(yōu)化。結(jié)果表明, 在針對豆莢辨識問題中, Adam的性能優(yōu)于SGD, 而Vgg16網(wǎng)絡(luò)模型搭配Adam優(yōu)化器, 豆莢類別的測試準(zhǔn)確率達(dá)到了98.41%, 在所選的網(wǎng)絡(luò)模型中體現(xiàn)了最佳的性能。在十折交叉驗證試驗中也體現(xiàn)了Vgg16網(wǎng)絡(luò)模型具有良好的穩(wěn)定性。因此本研究認(rèn)為Vgg16網(wǎng)絡(luò)模型可以應(yīng)用到實際的豆莢識別中, 為進(jìn)一步實現(xiàn)豆莢表型自動提取提供一條重要的解決途徑。

大豆育種; 豆莢辨別; 深度學(xué)習(xí); 遷移學(xué)習(xí)

作物表型組學(xué)的研究目的是獲取高質(zhì)量、高精度和可重復(fù)的植物表型數(shù)據(jù), 而高通量、高準(zhǔn)確性成為其特點[1-2]?；诟呔珳?zhǔn)、高通量的表型數(shù)據(jù)與基因型結(jié)合分析能夠得出比傳統(tǒng)方法(人工表型調(diào)查)更準(zhǔn)確、更普遍的生物學(xué)規(guī)律。隨著人口數(shù)量增加和氣候的異常變化, 快速培育出產(chǎn)量更高、適應(yīng)性更強(qiáng)的作物新品種成為了育種家們面臨的最大挑戰(zhàn)。此外, 隨著人類基因組計劃的實施、展開和延續(xù), 大量生物物種基因被獲得, 其中包括大量的作物物種, 如水稻、大豆、玉米等, 相較于基因組學(xué)的蓬勃發(fā)展, 作物表型組學(xué)的研究才剛剛開始[3-4]。與基因工程相比, 表型的研究處于滯后局面, 傳統(tǒng)表型測量依靠人工測量和統(tǒng)計, 不僅成本很高, 而且會對植物造成破壞并產(chǎn)生主觀性誤差。結(jié)合現(xiàn)有的遺傳信息, 這些落后的表型分析程序和處理植物表型的技術(shù), 既不能對表型進(jìn)行徹底地功能分析, 也不能繪制出基因型到表型之間的功能圖譜[5], Shakoor等[6]的試驗也表明, 高通量、高精度的表型獲取技術(shù)能加快作物改良和新品種的育成, 對產(chǎn)量提高和抗病性研究至關(guān)重要。

成熟期大豆豆莢種類的識別是豆莢長度、寬度和所含籽粒個數(shù)等表型性狀獲取的前提[7], 豆莢數(shù)量、類別、籽粒數(shù)直接影響大豆的產(chǎn)量。目前對于豆莢種類的考察主要依靠專業(yè)的人員, 工作量反復(fù)單一, 消耗大量的人力物力, 且難以實現(xiàn)高通量。根據(jù)這一問題, 本文以機(jī)器學(xué)習(xí)中的深度學(xué)習(xí)[8]來對大豆豆莢進(jìn)行辨識, 實現(xiàn)豆莢表型性狀的高通量獲取。深度學(xué)習(xí)對作物表型特征進(jìn)行提取, 從海量的原始復(fù)雜表型中自動學(xué)習(xí)高層次特征, 既不需要進(jìn)行大量的病灶分割, 也不需要人工特征提取。Mohanty等[9]訓(xùn)練了一個用于識別14種植物和26種植物疾病的深度學(xué)習(xí)模型, 在植物種類和植物疾病診斷中達(dá)到了99.35%。Cheng等[10]利用深度學(xué)習(xí)對玉米復(fù)雜背景下蟲害的識別, 能夠幫助農(nóng)業(yè)工作者進(jìn)行病蟲害的檢測和分類。Amara等[11]運用深度學(xué)習(xí)對香蕉葉片疾病進(jìn)行分類。Dyrmann等[12]使用卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)了對植物種類的識別。Ubbens[13]使用深度學(xué)習(xí)對蓮座科植物葉片進(jìn)行計數(shù)。Uzal等[14]構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型對豆莢的癟實度進(jìn)行識別。深度學(xué)習(xí)對復(fù)雜作物表型具有很強(qiáng)的分析和處理能力, 可以幫助育種家理解基因到表型的轉(zhuǎn)化關(guān)系。

本文基于SGD和Adam兩種優(yōu)化算法, 遷移學(xué)習(xí)了5種深度網(wǎng)絡(luò)模型, 嘗試找到一種更穩(wěn)定更準(zhǔn)確的豆莢類別識別網(wǎng)絡(luò)模型。該網(wǎng)絡(luò)模型將應(yīng)用在大豆表型過程中, 解決豆莢識別問題, 加快豆莢表型數(shù)據(jù)提取, 為育種選種提供表型數(shù)據(jù)支撐。

1 材料與方法

1.1 試驗材料

分別選取5個品種東農(nóng)251、東農(nóng)252、東農(nóng)253、黑農(nóng)48、黑農(nóng)51的大豆豆莢作為試驗材料。每個品種選取8株, 共計40株。所有試驗材料均于2018年5月種植于東北農(nóng)業(yè)大學(xué)大豆試驗基地。

首先對40株大豆的豆莢進(jìn)行拆分拍攝, 經(jīng)圖像分割得到單張單莢圖片。由大豆專家對分割的豆莢圖片進(jìn)行識別和分類, 制作成數(shù)據(jù)集, 用于訓(xùn)練網(wǎng)絡(luò)模型和測試網(wǎng)絡(luò)。其中原始數(shù)據(jù)中一粒莢158張、二粒莢489張、三粒莢1008張、四粒莢340張, 共計1995張, 經(jīng)數(shù)據(jù)增強(qiáng)后共計8484張。再拆分為2部分, 隨機(jī)選取80%作為訓(xùn)練集, 用于訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型(AlexNet、VggNet、GoogleNet、ResNet-50)[15-18], 其余20%作為驗證集, 用于測試網(wǎng)絡(luò)識別準(zhǔn)確率。

1.2 試驗方法

基于遷移學(xué)習(xí)的方法, 遷移5種不同的深度學(xué)習(xí)模型, 微調(diào)網(wǎng)絡(luò)模型的全連接層和分類層用于豆莢識別。首先, 選擇Adam、SGD 2種不同訓(xùn)練算法, 優(yōu)化學(xué)習(xí)率、批量大小、L2等超參數(shù)進(jìn)行初步訓(xùn)練, 對比訓(xùn)練網(wǎng)絡(luò)模型的訓(xùn)練精度, 選出性能較高的訓(xùn)練算法。然后, 高性能的訓(xùn)練算法再與5種網(wǎng)絡(luò)模型(AlexNet、Vgg16、Vgg19、GoogleNet、ResNet-50)進(jìn)行組合試驗, 根據(jù)識別準(zhǔn)確率和損失值選擇出對豆莢識別最佳網(wǎng)絡(luò)模型, 用于豆莢種類的識別與分類。

1.3 圖像分割

拍攝拆分后的大豆豆莢, 利用Matlab軟件分割圖片[19-20]。首先, 將拍攝好的RGB圖像進(jìn)行灰度化處理, 再對灰度化圖像進(jìn)行二值處理, 由于在自然環(huán)境下拍攝照片存在著噪聲的影響, 還需對圖片進(jìn)行去噪處理, 再利用邊緣檢測算子對圖像中的豆莢進(jìn)行邊緣檢測, 最后經(jīng)過BoundingBox函數(shù)[21]對豆莢的位置進(jìn)行定位和分割, 得到單張單莢圖片。卷積神經(jīng)網(wǎng)絡(luò)的輸入圖片需要固定尺寸大小, AlexNet模型的輸入圖片大小為227′227, VggNet、GoogleNet、ResNet-50等網(wǎng)絡(luò)模型的輸入圖片大小為224′224, 因此還需要調(diào)整分割圖片的像素。

1.4 數(shù)據(jù)增強(qiáng)

卷積神經(jīng)網(wǎng)絡(luò)存在過擬合問題。過擬合使模型泛化能力變差, 不能很好運用在全新數(shù)據(jù)集的檢測, 本試驗采用數(shù)據(jù)增強(qiáng)來降低過擬合。數(shù)據(jù)增強(qiáng)就是通過對現(xiàn)有數(shù)據(jù)集進(jìn)行簡單的隨機(jī)變換(旋轉(zhuǎn)、平移、調(diào)色調(diào)、加噪聲、縮放等), 增加數(shù)據(jù)集, 從而讓模型學(xué)習(xí)更多的特征, 提高模型的泛化能力達(dá)到降低過擬合的效果。本文通過使用Python搭建TensorFlow深度學(xué)習(xí)框架[22]對圖片進(jìn)行順逆旋轉(zhuǎn)角度、以及調(diào)亮度、飽和度、對比度等, 從而達(dá)到數(shù)據(jù)增強(qiáng), 增強(qiáng)后一粒莢1836張、二粒莢1436張、三粒莢1589張、四粒莢3618張, 總計8484張。以二粒莢為例增強(qiáng)效果如圖1所示。

圖1 數(shù)據(jù)增強(qiáng)

a: 左右翻轉(zhuǎn)時針旋轉(zhuǎn)90度; b: 逆時針旋轉(zhuǎn)90度; c: 調(diào)亮度; d: 左右翻轉(zhuǎn); e: 上下翻轉(zhuǎn); f: 調(diào)整飽和度; g: 逆時針旋轉(zhuǎn)180度。

a: rotate 90 degrees left and right clockwise; b: rotate 90 degrees counterclockwise; c: adjust brightness; d: rotate left and right; e: rotate up and down; f: adjust saturation; g: rotate 180 degrees counterclockwise.

1.5 遷移學(xué)習(xí)

近幾年, 遷移學(xué)習(xí)[23-24]逐漸成為深度學(xué)習(xí)中一個熱門的領(lǐng)域。由于訓(xùn)練一個新的高性能的卷積神經(jīng)網(wǎng)絡(luò)主要包含網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計、超參數(shù)優(yōu)化、防止過擬合等過程, 同時還需要大量數(shù)據(jù)對網(wǎng)絡(luò)進(jìn)行訓(xùn)練, 這一過程往往十分漫長。而實際問題是我們擁有很小的數(shù)據(jù)集不足以訓(xùn)練一個全新的網(wǎng)絡(luò), 又想利用深度學(xué)習(xí)的高性能表型分析能力, 于是遷移學(xué)習(xí)應(yīng)運而生。遷移學(xué)習(xí)簡單來說就是利用模型已經(jīng)學(xué)習(xí)的知識來學(xué)習(xí)相關(guān)領(lǐng)域的新知識。本文利用遷移預(yù)訓(xùn)練網(wǎng)絡(luò)模型的方法進(jìn)行試驗[這些預(yù)訓(xùn)練模型已在大型數(shù)據(jù)集(ImageNet)大賽[25]上訓(xùn)練好, 具有很強(qiáng)的魯棒性和泛化能力], 通過凍結(jié)網(wǎng)絡(luò)權(quán)重、微調(diào)網(wǎng)絡(luò)分類層的方法, 解決豆莢識別問題。

1.6 深度學(xué)習(xí)模型

1.6.1 AlexNet網(wǎng)絡(luò)模型 AlexNet是由Hinton和他的學(xué)生Krizhevsky在2012年ILSVRC大賽上提出的深度卷積神經(jīng)網(wǎng)絡(luò)模型, 在圖像分類上top-5錯誤率為15.3%, 獲得該屆大賽的冠軍[15]。AlexNet網(wǎng)絡(luò)模型包含65,000個神經(jīng)元、5個卷積層、3個全連接層和1個softmax分類器。前7層都包含Relu激活函數(shù), 第1層、第2層、第5層運用最大池化保留最大特征值來降低圖片大小、減小參數(shù)。Dropout是降低過擬合很好的措施[26], 因此在前2個全連接層中也加入Dropout來降低過擬合的影響。AlexNet網(wǎng)絡(luò)模型最后全連接層被微調(diào)成個4神經(jīng)元, 代替原有的1000個神經(jīng)元。微調(diào)結(jié)構(gòu)如圖2所示, AlexNet網(wǎng)絡(luò)模型的輸入圖片是227′227像素的圖片。

圖2 AlexNet網(wǎng)絡(luò)結(jié)構(gòu)

1.6.2 VggNet網(wǎng)絡(luò)模型 VggNet網(wǎng)絡(luò)模型在2014的ILSVRC大賽上獲得定位項目的冠軍和圖像分類項目的亞軍, 在圖像分類上top-5錯誤率為7.5%[16], 相比于Alexnet有了很大程度上的提高。VggNet網(wǎng)絡(luò)模型就是在AlexNet的基礎(chǔ)上加深了網(wǎng)絡(luò)結(jié)構(gòu), 統(tǒng)一采用3′3的卷積核, 取代了原來的11′11和5′5的卷積核。隨著網(wǎng)絡(luò)的不斷加深, 參數(shù)也不斷的增加, 以Vgg16網(wǎng)絡(luò)模型為例, 卷積層參數(shù)約為14,714,688, 而在分類器上更是有200多萬個參數(shù)[16], 也增加了網(wǎng)絡(luò)模型訓(xùn)練難度。為了加速運算, VggNet網(wǎng)絡(luò)模型采用NVIDIA生產(chǎn)的GPU搭載CUDA和CUDNN進(jìn)行加速訓(xùn)練。本試驗通過凍結(jié)VggNet網(wǎng)絡(luò)模型的卷積層, 修改網(wǎng)絡(luò)的全連接層和分類層進(jìn)行豆莢辨識。

1.6.3 GoogleNet網(wǎng)絡(luò)模型 GoogleNet網(wǎng)絡(luò)模型獲得2014年ILSVRC大賽冠軍模型, 圖像分類的top-5錯誤率為 6.7%[17]。GoogleNet不僅僅將網(wǎng)絡(luò)的深度增加到22層, 同時也增加了網(wǎng)絡(luò)的寬度。雖然網(wǎng)絡(luò)加深、加寬, 參數(shù)卻是AlexNet網(wǎng)絡(luò)模型參數(shù)的一半, 原因是引入了Inception結(jié)構(gòu)[27]。Inception結(jié)構(gòu)由1′1、3′3、5′5的卷積核構(gòu)成, 通過多種卷積核提取圖像不同尺度的信息, 最后進(jìn)行融合, 可以更好地提取圖像特征。而引入了1′1的卷積核起到降低維度、減少參數(shù)的作用。網(wǎng)絡(luò)模型為了防止過擬合添加了Dropout結(jié)構(gòu), 原理是隨機(jī)選取部分神經(jīng)元參與訓(xùn)練, 使網(wǎng)絡(luò)模型輕量化來達(dá)到降低過擬合的效果。全連接層參數(shù)量過大, 也很容易過擬合并降低訓(xùn)練速度, 因此采用全局平均池化(AvgPooling)代替全連接層, Lin等[28]也提到全局平均池化是對整個網(wǎng)絡(luò)在結(jié)構(gòu)上進(jìn)行正則化, 從而達(dá)到降低過擬合的目的。而GoogleNet在后面又加入一個全連接層, 其主要目的是為了方便調(diào)節(jié)模型, 本文也是微調(diào)最后的全連接層與分類層進(jìn)行試驗。

1.6.4 ResNet網(wǎng)絡(luò)模型 Kaiming等[18]提出, ResNet (Residual Neural Network)也稱之為殘差網(wǎng)絡(luò), 并在ILSVRC2015大賽中取得冠軍, 圖像分類的top-5錯誤率僅有3.57%, 相比于其他網(wǎng)絡(luò)結(jié)構(gòu), 性能有很大程度上的提高。網(wǎng)絡(luò)中采用了獨具一格的殘差模塊作為ResNet的基本組成部分, 每個單元都可以用公式[18]表示;

1.7 訓(xùn)練算法

SGD[29]、Adam[30]優(yōu)化算法, 搭配AlexNet、Vgg16、GoogleNet、ResNet-50網(wǎng)絡(luò)模型試驗, 選取高性能優(yōu)化器。其中SGD算法的參數(shù)設(shè)置: 批量大小設(shè)置為64、初始學(xué)習(xí)率為0.0001、動量為0.9、迭代次數(shù)為2000次, 每50次迭代進(jìn)行驗證1次。Adam參數(shù)設(shè)置: 批量大小設(shè)置為64、初始學(xué)習(xí)率為0.0001、學(xué)習(xí)率衰減值為0.9, 迭代次數(shù)為2000次。

為了更好的擬合數(shù)據(jù)和訓(xùn)練網(wǎng)絡(luò), 本試驗在SGD、Adam中添加L2正則化[31-32]來防止網(wǎng)絡(luò)的過擬合, 提高模型的泛化能力。L2參數(shù)正則化又被稱作權(quán)重衰減, 如公式[32](2);

正則項使得權(quán)重衰減更加接近原點[31], 網(wǎng)絡(luò)模型變得更加簡單, 從而達(dá)到優(yōu)化參數(shù)的目的, 本試驗取L2=0.0001進(jìn)行試驗。

1.8 模型評價指標(biāo)

為評估網(wǎng)絡(luò)模型的穩(wěn)定性和分類性能, 本文采用十折交叉驗證(10-fold cross-validation)方法評估網(wǎng)絡(luò)模型穩(wěn)定性、混淆矩陣評價網(wǎng)絡(luò)分類性能、F1-score衡量模型總體性能。真陽性(true positive, TP): 模型正確預(yù)測真實莢類; 真陰性(true negative, TN): 模型預(yù)測其它莢類為非真實莢類; 假陽性(False Positive, FP): 模型不正確把其他莢類預(yù)測成真實莢類; 假陰性(False Negative, FN): 模型把真實莢類錯誤預(yù)測成其它莢類。驗證指標(biāo)基于準(zhǔn)確率(Accuracy)、召回率(Recall)、精確率(Precision)和F1分?jǐn)?shù)(F1-score)等, 具體公式如下:

1.9 試驗器材

所有試驗均在Windows 10中實現(xiàn), 使用Matlab2018a, 并搭載NVIDIA Titan Xp 12G的GPU顯卡對試驗進(jìn)行加速。

2 結(jié)果與分析

2.1 優(yōu)化算法結(jié)果

本文首先對訓(xùn)練算法進(jìn)行選擇, 搭配AlexNet、Vgg16、GoogleNet、ResNet-50四個網(wǎng)絡(luò)模型, 分別用SGD和Adam進(jìn)行訓(xùn)練, 對比2種算法的性能, 以豆莢的識別準(zhǔn)確率(Accuracy)為標(biāo)準(zhǔn)。從圖3可以看出, 針對豆莢識別, Adam的訓(xùn)練算法要優(yōu)于SGD算法。其中AlexNet網(wǎng)絡(luò)模型和GoogleNet網(wǎng)絡(luò)模型在搭配Adam算法時性能明顯優(yōu)于SGD。在Vgg16網(wǎng)絡(luò)模型和ResNet-50網(wǎng)絡(luò)模型的對比中, 試驗的準(zhǔn)確率也高于SGD算法。因此, 本試驗選取Adam做為優(yōu)化算法, 進(jìn)行網(wǎng)絡(luò)模型的訓(xùn)練。

2.2 模型選擇結(jié)果

選擇AlexNet、Vgg16、Vgg19、GoogleNet、ResNet-50五種不同的遷移模型, 搭配Adam進(jìn)行組合試驗, 經(jīng)過優(yōu)化參數(shù)后對豆莢進(jìn)行識別。對比不同模型試驗結(jié)果, 以驗證準(zhǔn)確率和訓(xùn)練時間為標(biāo)準(zhǔn), 選擇出最優(yōu)的模型。從圖4和表1可以看出, Vgg16網(wǎng)絡(luò)模型的驗證準(zhǔn)確率最高(98.41%), 其次是Vgg19驗證準(zhǔn)確率(98.35%), ResNet-50表現(xiàn)出最差的識別準(zhǔn)確率(87.15%)。網(wǎng)絡(luò)模型的訓(xùn)練需要花費大量時間, 模型訓(xùn)練時間最長的是Vgg19 (255.23 min), 時間最短是GoogleNet (18.13 min)。而GoogleNet與Vgg16相比, Vgg16訓(xùn)練時間更長, 但準(zhǔn)確率提高了2.58%, 表明Vgg16網(wǎng)絡(luò)模型是對一粒莢、二粒莢、三粒莢、四粒莢識別的最優(yōu)遷移模型。

圖3 深度網(wǎng)絡(luò)模型在不同算法下的表現(xiàn)

a: AlexNet模型在Adam算法和SGD算法下的驗證準(zhǔn)確率; b: Vgg16模型在Adam算法和SGD算法下的驗證準(zhǔn)確率; c: GoogleNet模型在Adam算法和SGD算法下的驗證精準(zhǔn)確率; d: ResNet-50模型在Adam算法和SGD算法下的驗證準(zhǔn)確率。橫軸為迭代次數(shù), 縱軸為驗證準(zhǔn)確率。

a: the verification accuracy of the AlexNet model under the Adam algorithm and SGD algorithm; b: the verification accuracy of the Vgg16 model under the Adam algorithm and SGD algorithm; c: the verification accuracy of the GoogleNet model under the Adam algorithm and SGD algorithm; d: ResNet-50 The verification accuracy of the model under Adam algorithm and SGD algorithm. The horizontal axis is the number of iterations, and the vertical axis is the verification accuracy.

圖4 模型準(zhǔn)確率和損失圖

a: 5種模型搭配Adam訓(xùn)練算法在相同數(shù)據(jù)集下的驗證準(zhǔn)確率; b: 5種模型搭配Adam訓(xùn)練算法在相同數(shù)據(jù)集下的驗證損失。

a: the verification accuracy of the five models with the Adam training algorithm under the same data set; b: the verification loss of the five models with the Adam training algorithm under the same data set.

表1 不同遷移模型搭配Adam的試驗結(jié)果

2.3 最優(yōu)網(wǎng)絡(luò)模型分析

為進(jìn)一步評估Vgg16網(wǎng)絡(luò)模型分類性能與穩(wěn)定性, 本試驗采用十折交叉驗證(10-fold cross-validation)方法評估網(wǎng)絡(luò)模型穩(wěn)定性和分類性能。在十折交叉驗證試驗中, 把原始的豆莢數(shù)據(jù)隨機(jī)分割為10個不重合的子數(shù)據(jù)集, 然后做10次Vgg16網(wǎng)絡(luò)模型的訓(xùn)練和驗證。每一次, 選取9份子數(shù)據(jù)集作為訓(xùn)練集, 1份子數(shù)據(jù)集作為驗證集。在10次的訓(xùn)練和驗證中, 每次用來驗證模型的子數(shù)據(jù)集都不同。最后, 根據(jù)這10次驗證集的驗證精度標(biāo)準(zhǔn)差和驗證誤差均值來評估模型的穩(wěn)定性, 結(jié)果如表2。

從表2可以看出, Vgg16網(wǎng)絡(luò)模型的平均驗證準(zhǔn)確率96.97%, 十折交叉驗證精度標(biāo)準(zhǔn)差為0.0085, 從驗證標(biāo)準(zhǔn)差和平均驗證損失結(jié)果來看, Vgg16網(wǎng)絡(luò)模型搭配Adam算法具有良好的魯棒性。

采用混淆矩陣分析精確率(Precision)、召回率(Recall)以及F1分?jǐn)?shù)評估Vgg16分類性能。精確度是測試結(jié)果中正確部分的百分比, 反映模型的準(zhǔn)確度。召回率是測試結(jié)果的正確部分與實際正確部分的百分比, 反映模型的靈敏度。F1分?jǐn)?shù)為精確率與召回率的調(diào)和平均值, 其取值范圍在0到1之間, 用于衡量模型總體性能。從圖5和表3可以看出, 網(wǎng)絡(luò)模型對各類豆莢識別精確率在95.6%以上, F1-score均值為97.2%模型總體性能良好。綜合十折交叉驗證和混淆矩陣分析, Vgg16網(wǎng)絡(luò)模型針對豆莢分類問題具有很好的穩(wěn)定性和良好的分類性能。表明Vgg16網(wǎng)絡(luò)模型是對一粒莢、二粒莢、三粒莢、四粒莢識別的最優(yōu)遷移模型。

表2 十折交叉驗證結(jié)果

圖5 模型混淆矩陣熱力圖

混淆矩陣中列為預(yù)測類別, 行為真實類別。圖最右邊的列為精確率, 底部的行為召回率。

The columns in the confusion matrix are predicted class, and the rows are true class. The rightmost column of the figure is the precision, and the bottom row is the recall.

表3 模型的分類性能

3 討論

成熟期大豆豆莢種類的識別是豆莢長度、寬度和所含籽粒個數(shù)等表型性狀獲取的前提。為完成對豆莢種類的自動識別, 本研究以各類豆莢的圖像為對象, 基于SGD和Adam兩種優(yōu)化算法, 遷移學(xué)習(xí)了5種深度網(wǎng)絡(luò)模型, 嘗試找到一種更穩(wěn)定更準(zhǔn)確地豆莢類別識別網(wǎng)絡(luò)模型。本研究表明, 結(jié)合了Adam的Vgg16網(wǎng)絡(luò)模型驗證準(zhǔn)確率達(dá)到了98.41%, 在所有測試網(wǎng)絡(luò)中表現(xiàn)最好, 十折交叉驗證也表明該模型具有良好的穩(wěn)定性。

本研究分別對2種優(yōu)化算法(SGD, Adam)和5個網(wǎng)絡(luò)模型(AlexNet、Vgg16、Vgg19、GoogleNet、ResNet-50)進(jìn)行選擇。針對優(yōu)化算法的選擇, Ruder[33]對比研究表明, 訓(xùn)練更深更復(fù)雜的神經(jīng)網(wǎng)絡(luò)和處理離散數(shù)據(jù)時, Adam等自適應(yīng)算法效果更好, 速度更快, 而SGD算法具有更好的收斂性, 但訓(xùn)練速度慢, 特別是在大型數(shù)據(jù)集。本研究在此基礎(chǔ)之上, 選擇SGD、Adam優(yōu)化算法對不同網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練發(fā)現(xiàn), Adam訓(xùn)練的模型識別準(zhǔn)確率更高, 更適合豆莢識別。在網(wǎng)絡(luò)模型選擇方面, 遷移5種預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練, 搭配Adam進(jìn)行實驗。我們發(fā)現(xiàn)針對同一數(shù)據(jù)集, 不同遷移模型識別效果不同, Arnal[34]和Kamilaris等[35]都認(rèn)為數(shù)據(jù)集大小和多樣性會對遷移學(xué)習(xí)有效性產(chǎn)生影響, 而Mehdipour等[36]則認(rèn)為, 學(xué)習(xí)率、批量大小等超參數(shù)也會對遷移模型產(chǎn)生影響。更豐富的訓(xùn)練樣本數(shù)據(jù)集和改進(jìn)優(yōu)化超參數(shù)能夠?qū)W(wǎng)絡(luò)進(jìn)行更進(jìn)一步的優(yōu)化。

高精度豆莢類別識別網(wǎng)絡(luò)模型的建立是進(jìn)一步獲取精準(zhǔn)表型的關(guān)鍵, 如高精度豆莢分類網(wǎng)絡(luò)模型結(jié)合目標(biāo)區(qū)域識別算法可以大大降低豆莢長和豆莢寬性狀獲取的錯誤率, 而豆莢類別的正確識別可以為籽粒個數(shù)和大小的估算提供重要支持, 進(jìn)而成為產(chǎn)量估算的基礎(chǔ)。另一方面, 通過遷移學(xué)習(xí)的方式是可以找到高分辨率的豆莢類別辨識工具的, 為研究者嘗試解決其他農(nóng)業(yè)研究中存在的識別和分類問題提供了一個重要的途徑。

4 結(jié)論

本文以大豆豆莢表型提取平臺為基礎(chǔ), 獲取豆莢原始的數(shù)據(jù), 以深度學(xué)習(xí)中的遷移學(xué)習(xí)為技術(shù)手段, 解決了大豆豆莢的識別問題。為了提高網(wǎng)絡(luò)模型的準(zhǔn)確率并減少訓(xùn)練時間, 本研究分別進(jìn)行了優(yōu)化算法的選擇和超參數(shù)優(yōu)化, 并選取合適的遷移模型。在試驗的過程中Vgg16網(wǎng)絡(luò)模型搭配Adam整體表現(xiàn)出更佳優(yōu)異的性能, 準(zhǔn)確率高達(dá)98.41%, 十折交叉驗證和混淆矩陣分析Vgg16網(wǎng)絡(luò)模型針對豆莢分類問題具有很好的穩(wěn)定性和良好的分類性能。實現(xiàn)了對豆莢的高通量精準(zhǔn)識別, 這一模型有利于簡化大豆考種過程, 同時為大豆育種工程提供大量的豆莢表型數(shù)據(jù), 加快選種和育種進(jìn)程, 也為深度學(xué)習(xí)運用到農(nóng)業(yè)的問題研究提供參考。

[1] Tester M, Langridge P. Breeding technologies to increase crop production in a changing world., 2010, 327: 818–822.

[2] Ribaut J M, Vicente M D, Delannay X. Molecular breeding in developing countries: challenges and perspectives., 2010, 13: 213–218.

[3] Furbank R T, Tester M. Phenomics-technologies to relieve the phenotyping bottleneck., 2011, 16: 635–644.

[4] Cannon S B, Jackson M S A. Three sequenced legume genomes and many crop species: rich opportunities for translational genomics., 2009, 151: 970–977.

[5] Rahaman M M, Chen D J, Gillani Z, Klukas C, Chen M. Advanced phenotyping and phenotype data analysis for the study of plant growth and development., 2015, 6: 619.

[6] Shakoor N, Lee S, Mockler T C. High throughput phenotyping to accelerate crop breeding and monitoring of diseases in the field., 2017, 38: 184–192.

[7] 邱麗娟. 大豆種質(zhì)資源描述規(guī)范和數(shù)據(jù)標(biāo)準(zhǔn). 北京: 中國農(nóng)業(yè)出版社, 2006. pp 64–74. Qiu L J. Specification and Data Standard of Soybean Germplasm Resources. Beijing: China Agriculture Press, 2006. pp 64–74 (in Chinese).

[8] Lecun Y, Bengio Y, Hinton G. Deep learning., 2015, 521: 436.

[9] Mohanty S P, Hughes D P, Salathé M. Using deep learning for image-based plant disease detection., 2016, 7: 1419.

[10] Cheng X, Zhang Y, Chen Y, Wu Y, Yue Y. Pest identification via deep residual learning in complex background., 2017, 141: 351–356.

[11] Amara J, Bouaziz B, Algergawy A. A deep-learning based approach for banana leaf diseases classification., 2017, 266: 79–88.

[12] Dyrmann M, Karstoft H, Midtiby H S. Plant species classification using deep convolutional neural network., 2016, 151: 72–80.

[13] Ubbens J, Cieslak M, Prusinkiewicz P, Stavness I. The use of plant models in deep learning: an application to leaf counting in rosette plants., 2018, 14: 6.

[14] Uzal L C, Grinblat G L, Namías R, Larese M G, Bianchi J S, Morandi E N, Granitto P M. Seed-per-pod estimation for plant breeding using deep learning., 2018, 150: 196–204.

[15] Krizhevsky A, Sutskever I, Hinton G. ImageNet classification with deep convolutional neural networks. In: Advances in Neural Information Processing Systems. New York: Curran Associates, 2012. pp 1097–1105.

[16] Karen S, Andrew Z. Very deep convolutional networks for large-scale image recognition. In: Bengio Y, Lecun Y, eds. 3rd International Conference on Learning Representations. San Diego: Conference Track Proceedings, 2015.https://arxiv.org/abs/1409. 1556.

[17] Christian S, Liu W, Jia Y Q, Pierre S, Scott R, Dragomir A, Dumitru E, Vincent V, Andrew R. Going deeper with convolutions. In: IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston: IEEE Computer Society, 2015. pp 1–9.

[18] He K M, Zhang X Y, Ren S Q, Sun J. Deep residual learning for image recognition. In: IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas: IEEE Computer Society, 2016. pp 770–778.

[19] 張德豐. MATLAB數(shù)字圖像處理. 北京: 機(jī)械工業(yè)出版社, 2012. pp 276–285. Zhang D F. MATLAB Digital Image Processing. Beijing: Mechanical Industry Press, 2012. pp 276–285 (in Chinese).

[20] 張錚, 倪紅霞, 苑春苗, 楊立紅. 精通MATLAB數(shù)字圖像處理與識別. 北京: 人民郵電出版社, 2017. pp 253–289.Zhang Z, Ni H X, Yuan C M, Yang L H. Proficient in MATLAB Digital Image Processing and Recognition. Beijing: People’s Posts and Telecommunications Press, 2017. pp 253–289 (in Chinese).

[21] Lempitsky V, Kohli P, Rother C, Sharp T. Image segmentation with a bounding box prior. In: IEEE 12th International Conference on Computer Vision. Kyoto: IEEE Computer Society, 2009. pp 277–284.

[22] Abadi M, Barham P, Chen J M, Chen Z F, Davis A, Dean J, Devin M, Ghemawat S, Irving G, Isard M, Kudlur M, Levenberg J, Monga R, Moore S, Murray D, Steiner B, Tucker P, Vasudevan V, Warden P, Zhang X Q. TensorFlow: a system for large-scale machine learning. In: 12th Symposium on Operating Systems Design and Implementation. Symposium: USENIX Association, 2016. pp 265–283.

[23] Weiss K, Khoshgoftaar T M, Wang D D. A survey of transfer learning., 2016, 3: 9.

[24] Pan S J, Qiang Y. A survey on transfer learning., 2010, 22: 1345–1359.

[25] Russakovsky O, Deng J, Su H, Krause J, Satheesh S, Ma S, Huang Z H, Karpathy A, Khosla A, Bernstein M, Berg A C, Li F F. ImageNet large scale visual recognition challenge., 2015, 115: 211–252.

[26] Srivastava N, Hinton G, Krizhevsky A, Sutskever I, Salakhutdinov R. Dropout: a simple way to prevent neural networks from overfitting., 2014, 15: 1929–1958.

[27] Christian S, Vincent V, Sergey I, Jonathon S, Zbigniew W. Rethinking the inception architecture for computer vision. In: IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas: IEEE Computer Society,2016. pp 2818–2826.

[28] Lin M, Chen Q, Yan S. Network in network. In: Bengio Y, LeCun Y, eds. International Conference on Learning Representations. Banff: Conference Track Proceedings, 2014. https://arxiv.org/abs/ 1312.4400.

[29] Duchi J, Hazan E, Singer Y. Adaptive subgradient methods for online learning and stochastic optimization., 2011, 12: 257–269.

[30] Kingma D, Ba J. Adam: a method for stochastic optimization. In:Bengio Y, LeCun Y, eds. 3rd International Conference on Learning Representations. San Diego: Conference Track Proceedings, 2015. https://arxiv.org/abs/1412.6980v8.

[31] Ng A Y. Feature selection, L1 vs. L2 regularization, and rotational invariance. In: Proceedings of the Twenty-first International Conference on Machine Learning. New York: Association for Computing Machinery, 2004. pp 78–86.

[32] Goodfellow I, Bengio Y, Courville Y. Deep Learning. Cambridge: MIT Press, 2016 [2019-11-26].http://www.deeplearningbook.org.

[33] Ruder S. An overview of gradient descent optimization algorithms., 2016, abs/1609.04747. https://arxiv.org/abs/1609. 04747.

[34] Arnal B J G. Impact of dataset size and variety on the effectiveness of deep learning and transfer learning for plant disease classification., 2018, 153: 46–53.

[35] Kamilaris A, Prenafeta-Boldú F X. Deep learning in agriculture: a survey., 2018, 147: 70–90.

[36] Mehdipour G M, Yanikoglu B, Aptoula E. Plant identification using deep neural networks via optimization of transfer learning parameters., 2017, 235: 228–235.

Classification of soybean pods using deep learning

YAN Zhuang-Zhuang2, YAN Xue-Hui2, SHI Jia2, SUN Kai2, YU Jiang-Lin2, ZHANG Zhan-Guo1, HU Zhen-Bang3, JIANG Hong-Wei3, XIN Da-Wei3, LI Yang1, QI Zhao-Ming3, LIU Chun-Yan3, WU Xiao-Xia3,CHEN Qing-Shan3, and ZHU Rong-Sheng1,*

1College of Arts and Sciences, Northeast Agricultural University, Harbin 150030, Heilongjiang, China;2Engineering College Northeast Agricultural University, Harbin 150030, Heilongjiang, China;3Soybean Research Institute, Northeast Agricultural University, Harbin 150030, Heilongjiang, China

Crop phenotype investigation is a key task in the selection and breeding of crop varieties. The traditional phenotypic survey mainly relies on human labors, which makes the results of the phenotypic survey difficult to meet the requirements of automation, high precision and high reliability. In the investigation of soybean phenotypes, the correct identification of pod types is the key and premise for the accurate extraction of phenotypes such as the number, length and width of pods. This study focused on the pictures of mature soybean pods by using deep learning to migrate five different network models [AlexNet, VggNet (Vgg16, Vgg19), GoogleNet, ResNet-50], to identify one-pod, two-pod, three-pod, and four-pod. In order to improve training speed and accuracy, this experiment fine-tuning the model and selected different optimizers (SGD, Adam) to optimize the network model. Adam’s performance was better than SGD in the problem of pod identification. With the Vgg16 network model and the Adam optimizer, the test accuracy of the pod category reached 98.41%, which reflected the best performance in the selected network model. In the 10-fold cross-validation test, the Vgg16 network model had good stability. Therefore, this study indicates that the Vgg16 network model can be applied to the actual identification of pods, and provide an important solution for further automatic extraction of pod phenotypes.

soybean breeding; pod identification; deep learning; transfer learning

10.3724/SP.J.1006.2020.94187

本研究由國家自然科學(xué)基金項目(31471516)和國家自然科學(xué)基金青年項目(31400074)資助。

This study was supported by the National Natural Science Foundation of China (31471516) and the National Natural Science Foundation of China Youth Project (31400074).

朱榮勝, E-mail: rshzhu@126.com, Tel:0451-55191945

E-mail: zhuangyanneau@163.com

2019-11-26;

2020-07-02;

2020-07-13.

URL: https://kns.cnki.net/kcms/detail/11.1809.S.20200713.1153.004.html