王 佳, 馬 睿, 趙 威, 郭宏杰, 馬德新

(青島農(nóng)業(yè)大學(xué),青島 266109)

我國是玉米生產(chǎn)大國,總產(chǎn)量居世界第二,玉米是畜牧養(yǎng)殖的重要飼料來源,也是各行各業(yè)的不可或缺的原料之一,假冒偽劣玉米種子會擾亂市場,造成產(chǎn)量損失與品質(zhì)下降,所以玉米種子的真?zhèn)舞b別在玉米生產(chǎn)、加工和銷售過程中起著至關(guān)重要的作用。傳統(tǒng)的種子鑒別方法主要有人工檢測法、化學(xué)鑒定法等,但是存在主觀性強、制備過程復(fù)雜、專業(yè)性強、不能在線實時檢測等問題,在生產(chǎn)生活中難以推廣[1-3]。因此設(shè)計一種客觀準確、省時省力、高效無損的玉米種子真?zhèn)舞b別方法是十分必要的。

深度學(xué)習(xí)方法是一種特征表示方法,它能將原數(shù)據(jù)通過簡單的多種非線性模型組合轉(zhuǎn)變?yōu)楦邔哟蔚某橄笮问?其核心是各層特征,通過通用的學(xué)習(xí)過程自主獲得[4-7]。深度學(xué)習(xí)最早由Hinton等[8]在2006年提出,解決了大規(guī)模多層神經(jīng)網(wǎng)絡(luò)在訓(xùn)練速度慢的難題,奠定了深度學(xué)習(xí)的基礎(chǔ);Krizhevsky等[9]提出的學(xué)習(xí)模型AlexNet成功奪冠,并將錯誤率降低到16%。2015年,Lecun等[10]明確了深度學(xué)習(xí)的定義,指出深度學(xué)習(xí)是一種復(fù)雜的特征表示學(xué)習(xí),具有多個級別的表示。

相對于傳統(tǒng)機器學(xué)習(xí),深度學(xué)習(xí)能更好地提取農(nóng)業(yè)領(lǐng)域所采集圖像和結(jié)構(gòu)化數(shù)據(jù)的各種特征,逐漸受到越來越多國內(nèi)外專家學(xué)者的青睞,相應(yīng)研究成果不斷涌現(xiàn),因此深度學(xué)習(xí)在農(nóng)業(yè)中被廣泛應(yīng)用,主要方向有果實識別、雜草識別等,是施肥控制、目標檢測、路線規(guī)劃、機械作業(yè)避障等農(nóng)業(yè)生產(chǎn)活動的基礎(chǔ)[11-14]。籽粒的品種識別是籽粒品質(zhì)自動化檢測中的一個重要方面,國外的學(xué)者們開展基于深度學(xué)習(xí)的玉米籽粒品種識別研究較早,Altunta[15]采用卷積神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)的方法識別單倍體和二倍體玉米種子,根據(jù)實驗結(jié)果,VGG-19明顯優(yōu)于其他方法;Tu等[16]利用VGG16網(wǎng)絡(luò)進行遷移學(xué)習(xí),然后對玉米品種“京科968”鑒定,結(jié)果表明,識別準確率高達98%;徐巖等[17]為了解決傳統(tǒng)算法中人工提取特征的缺陷,以 3個玉米品種為研究對象,使用Keras學(xué)習(xí)框架搭建網(wǎng)絡(luò)模型,包括1個輸入層、5個連續(xù)的卷積池化結(jié)構(gòu)、3個全連接層和1個輸出層,結(jié)果表明:平均識別率達到95.49%;汪勇[18]選取5個品種的玉米種子為研究對象,通過對玉米種子圖像的采集、灰度化、中值濾波、閾值分割和形態(tài)學(xué)處理,提取了玉米種子的輪廓點數(shù)、面積、周長、圓形度、長短軸、直徑、緊湊度和偏心率8個特征參數(shù),結(jié)果表明,5個品種玉米種子的識別正確率分別為92%、90%、92%、94%、94%,具有較高的識別正確率;馮曉等[19]基于MobileNetV2和遷移學(xué)習(xí)構(gòu)建玉米籽粒圖像品種識別模型,針對已有研究中多以玉米籽粒單面識別為主,分析對比玉米籽粒單、雙面特征建模及識別性能。結(jié)果表明,玉米籽粒雙面特征建模的雙面識別準確率達99.83%,優(yōu)于單面特征建模識別以及胚面和非胚面圖像分別建模后雙面識別;王佳等[20]選用不同產(chǎn)地登海605玉米種子440粒,其他品種480粒,采集玉米種子胚面和胚乳面制作數(shù)據(jù)集,通過圖像處理技術(shù)對圖像進行預(yù)處理,并按照7∶2∶1的比例將數(shù)據(jù)集分為訓(xùn)練集、驗證集和測試集,分別使用共5種網(wǎng)絡(luò)模型利用遷移學(xué)習(xí)對3類數(shù)據(jù)集進行分類測試,結(jié)果表明,5種網(wǎng)絡(luò)模型在雙面數(shù)據(jù)集的平均識別準確率最高,測試識別準確率為99.05%,ResNet網(wǎng)絡(luò)在3類數(shù)據(jù)集中的分類效果最佳,在雙面測試集上為99.91%。相關(guān)研究表明基于深度學(xué)習(xí)的種子真?zhèn)舞b別方法具有方便快捷、客觀無損、應(yīng)用范圍廣等優(yōu)點。

研究利用卷積神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)相結(jié)合的方法,建立胚面、胚乳、雙面混合3類數(shù)據(jù)集,構(gòu)建登海605玉米品種真?zhèn)舞b別模型,對遷移學(xué)習(xí)的VGG16模型進行微調(diào),從ImageNet獲得不同比例的權(quán)重范圍,選擇出準確率高且訓(xùn)練成本低的學(xué)習(xí)策略,節(jié)省網(wǎng)絡(luò)訓(xùn)練時間,提升網(wǎng)絡(luò)性能。

1 材料與方法

1.1 圖像采集及預(yù)處理

玉米種子樣本分為“登海605”和“非登海605”兩類,其中“登海605”種子440粒,“非登海605”種子6個品種共640粒,詳細品種名稱、數(shù)量及產(chǎn)地見表1。

表1 實驗材料

使用黑色植絨布為拍攝背景并隨機擺放玉米種子,在自然光照條件下采用佳能80D型數(shù)碼相機在室內(nèi)拍攝,拍攝距離固定,采集到的原始圖像如圖1所示。

圖1 原始采集圖像

為提高玉米種子識別的準確率,采用單粒鑒別對玉米種子圖像進行分類識別,使用數(shù)字圖像處理技術(shù),將單粒玉米種子分割出來。利用Python及Opencv對多目標圖像進行區(qū)域分割,分割方法為首先對彩色圖像閾值分割和二值化,利用圖像中要提取的目標區(qū)域與其背景在灰度特性上的差異,從數(shù)字圖像中提取出目標玉米種子;再采用雙邊濾波加填充進行保邊去噪,利用數(shù)學(xué)形態(tài)學(xué)處理方法及腐蝕膨脹對玉米圖像邊緣進行修正,通過輪廓檢測算法提取出每個玉米種子的外部形態(tài)輪廓;最后通過標志出的玉米種子輪廓,確定種子最小外接矩形,將單粒玉米種子從多粒玉米種子圖像中分割出來。圖像處理過程如圖2所示。

圖2 單粒玉米種子提取過程

1.2 建模數(shù)據(jù)集方案設(shè)計

建立胚面、胚乳及雙面混合3類數(shù)據(jù)集。隨機選取每類玉米種子圖像中的70%作為訓(xùn)練集、20%作為驗證集、10%作為測試集,詳細情況如表2所示。

表2 數(shù)據(jù)集建模方案

針對小樣本泛化能力不足的問題,在訓(xùn)練前增加圖像數(shù)量可以提高訓(xùn)練結(jié)果的準確率,所以對訓(xùn)練集圖像進行隨機旋轉(zhuǎn)、水平移動、垂直移動、錯切、放大、水平翻轉(zhuǎn)6種變換,提高模型的準確性和魯棒性,增加模型的可靠性。

1.3 模型網(wǎng)絡(luò)結(jié)構(gòu)

VGG16網(wǎng)絡(luò)模型由13個卷積層和3個全連接層組成共16層,與其他網(wǎng)絡(luò)結(jié)構(gòu)不同,VGG16網(wǎng)絡(luò)模型通過采用連續(xù)的3×3的卷積核代替較大的5×5,7×7,11×11的卷積核,2個 3×3 的卷積核疊加形成的感受野,效果與1個5×5的卷積核的感受野相同,利用3個疊加就等同于1個7×7的效果,在保持感受野相同的條件下,使用3個3×3的卷積就使用了3個非線性激活函數(shù),這可以增加非線性表達能力,從而提供更復(fù)雜的模式學(xué)習(xí)。同時3個3×3的卷積核堆疊參數(shù)量比1個7×7的卷積核參數(shù)鏈還要少,既增加了網(wǎng)絡(luò)層數(shù)又減少了參數(shù)量,這說明使用更小的卷積核,并增加網(wǎng)絡(luò)模型的深度,可增加模型的復(fù)雜度,獲得更多不同類型的特征,改善網(wǎng)絡(luò)模型的識別精確度

1.4 遷移學(xué)習(xí)方式

遷移學(xué)習(xí)是通過將一個訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)初始化另一個訓(xùn)練任務(wù)的方法,能夠降低直接對目標域從頭開始學(xué)習(xí)的高成本,從而提高模型的訓(xùn)練速度、節(jié)省硬件資源,解決數(shù)據(jù)集樣本過小等問題。遷移學(xué)習(xí)需要保持模型中卷積層的結(jié)構(gòu)不變,將訓(xùn)練好的權(quán)重載入卷積層;設(shè)計適合新任務(wù)的全連接層,用新任務(wù)的全連接層取代原來的全連接層,與卷積層構(gòu)成新任務(wù)的訓(xùn)練模型。利用遷移學(xué)習(xí)與微調(diào)(Fine-Tuning FT,見圖3)相結(jié)合的方法,從ImageNet獲得不同權(quán)重范圍、全程參與訓(xùn)練并調(diào)整參數(shù),實現(xiàn)更好的網(wǎng)絡(luò)性能。

圖3 微調(diào)遷移學(xué)習(xí)算法流程

1.5 實驗環(huán)境及模型參數(shù)配置

實驗基于TensorFlow平臺,采用Keras深度學(xué)習(xí)框架,使用Jupyter搭建模型,實驗超參數(shù)見表3。

表3 參數(shù)配置表

2 結(jié)果與分析

2.1 不同策略下VGG16模型的分類識別性能分析

為了分析不同學(xué)習(xí)策略下VGG16在登海605品種鑒別中的效果,采用微調(diào)定義了4種不同的訓(xùn)練策略并在不同數(shù)據(jù)集上進行訓(xùn)練,從ImageNet獲得的權(quán)重范圍,即不同學(xué)習(xí)策略需要微調(diào)的層所占百分比,分別為25%、50%、75%、100%。采用直接遷移學(xué)習(xí)(Transfer Learning,TL)訓(xùn)練整個網(wǎng)絡(luò)。

胚面、胚乳面、雙面混合數(shù)據(jù)集在不同訓(xùn)練策略下獲得的訓(xùn)練時間、測試集準確率、訓(xùn)練集平均準確率、驗證集平均準確率和模型量大小如表4所示。在胚面數(shù)據(jù)集和雙面混合數(shù)據(jù)集上,FT75%策略下的VGG16模型每輪平均訓(xùn)練時間最短,分別為20.01 s和41.91 s,在胚乳數(shù)據(jù)集上訓(xùn)練時間最短的為FT50%策略;FT75%策略在3類數(shù)據(jù)集上的測試結(jié)果均為100%,FT50%策略在胚面數(shù)據(jù)集和雙面混合數(shù)據(jù)的測試結(jié)果為100%,FT25%策略和TL只在胚面數(shù)據(jù)集上測試準確率達到100%,FT100%策略在3類數(shù)據(jù)集上的訓(xùn)練結(jié)果均低于其他FT策略。

表4 不同F(xiàn)T策略的VGG16分類性能

2.2 不同策略下VGG16模型的準確性分析

準確率箱線圖可以描述不同訓(xùn)練策略下數(shù)據(jù)中位數(shù)和數(shù)據(jù)的離散程度,如圖4所示,在胚面、胚乳面、雙面混合數(shù)據(jù)集的訓(xùn)練過程中,FT100%策略下中位數(shù)低于其他策略,數(shù)據(jù)的離散程度高于其他策略;TL策略下中位數(shù)和離散程度與FT75%策略下的VGG16模型接近。機器學(xué)習(xí)中,學(xué)習(xí)成本是影響作物品種鑒別的重要因素,相比較于其他學(xué)習(xí)策略,考慮到VGG16模型在FT75%策略下學(xué)習(xí)成本(訓(xùn)練時間)更低,且FT75%策略下分類結(jié)果的準確率較高,在對登海605玉米品種進行鑒別時優(yōu)選FT75%策略。

圖4 驗證集準確率箱線圖

2.3 全連接層神經(jīng)元連接個數(shù)對FT75%-VGG16模型的性能影響分析

全連接層在整個卷積神經(jīng)網(wǎng)絡(luò)中起到“分類器”的作用,起到將學(xué)到的“分布式特征表示”映射到樣本標記空間的作用[21]。在訓(xùn)練過程中,隨機減少一部分神經(jīng)元的訓(xùn)練,能夠使網(wǎng)絡(luò)整體參數(shù)量減少,從而節(jié)省計算量選定最優(yōu)FT75%學(xué)習(xí)策略下的VGG16模型作為基準模型,保持其他參數(shù)不變,選擇種不同神經(jīng)元數(shù)量,分別為4 096、2 048、1 024、512、256,在雙面混合數(shù)據(jù)集上進行訓(xùn)練測試,迭代次數(shù)為40,分析學(xué)習(xí)率對VGG16網(wǎng)絡(luò)的穩(wěn)定性和精確性的影響。

神經(jīng)元數(shù)量為4 096、2 048、1 024、512、256在驗證集上的平均準確率分別為97.57%、97.70%、97.59%、97.45%、97.70%,對比數(shù)據(jù)發(fā)現(xiàn),降低全連接層神經(jīng)元連接個對基準網(wǎng)絡(luò)準確率不會產(chǎn)生較大影響,但是減少神經(jīng)元連接個數(shù)能夠降低基準模型的參數(shù)量,降低模型的復(fù)雜度。同時發(fā)現(xiàn),當(dāng)神經(jīng)元連接數(shù)量為2 048時,基準網(wǎng)絡(luò)的準確率曲線和損失值曲線最為平滑,穩(wěn)定性最強,因此我們在對登海605玉米品種鑒別是可以選擇全連接層神經(jīng)元數(shù)量為2 048。

3 結(jié)論

采用機器學(xué)習(xí)與深度學(xué)習(xí)相結(jié)合的方法,建立了基于遷移學(xué)習(xí)的微調(diào)型VGG16登海605真?zhèn)舞b別模型,并用多個指標來評價模型的性能?；谶w移學(xué)習(xí)的VGG16模型在FT75%策略下取得了最優(yōu)效果,在3類數(shù)據(jù)集上的測試結(jié)果均為100%,同時發(fā)現(xiàn)全連接層神經(jīng)元數(shù)量為2 048時,網(wǎng)絡(luò)模型最為穩(wěn)定,若利用遷移學(xué)習(xí)對登海605玉米品種進行鑒別可優(yōu)選FT75%-2048策略。

利用深度學(xué)習(xí)與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法,可以對玉米種子進行無損、高效的鑒別,為構(gòu)建基于卷積神經(jīng)網(wǎng)絡(luò)的作物種子真?zhèn)舞b別模型提供參考,以期加速種質(zhì)資源保護、作物表型采集以及科學(xué)育種進程,促進農(nóng)業(yè)領(lǐng)域智能化發(fā)展。相比于傳統(tǒng)方法,這種方法可以后期可以對模型進行不斷優(yōu)化,形成能夠鑒別多種作物種子的在線識別系統(tǒng),對提高作物種業(yè)的質(zhì)量具有重要意義。