張領(lǐng)先,田 瀟,李云霞,陳運強,陳英義,馬浚誠
1. 中國農(nóng)業(yè)大學信息與電氣工程學院,北京 100083 2. 中國農(nóng)業(yè)科學院農(nóng)業(yè)環(huán)境與可持續(xù)發(fā)展研究所,北京 100081
溫室黃瓜在種植過程中由于各種原因?qū)е虏『Πl(fā)生,造成產(chǎn)量降低和品質(zhì)下降[1-2]。霜霉病是溫室黃瓜常見病害之一[3]。目前,隨著計算機視覺和機器學習技術(shù)在作物病害診斷領(lǐng)域的應用,對于黃瓜霜霉病的準確識別已經(jīng)取得了豐富的研究成果。彭占武[4]、馬浚誠[5]、Wei[6]、和Zhang[7]等分別利用模糊聚類、支持向量機、BP神經(jīng)網(wǎng)絡和卷積神經(jīng)網(wǎng)絡等機器學習方法對黃瓜霜霉病進行識別診斷,取得了良好的效果。但是,這些研究大部分是對溫室黃瓜霜霉病的定性識別。
病害程度的不同,其用藥劑量也不一樣。所以,準確掌握病害嚴重度,能夠指導農(nóng)民科學合理用藥,減少農(nóng)藥殘留,提高蔬菜品質(zhì)。葉海建等[8]構(gòu)建了基于Android的自然背景下黃瓜霜霉病定量診斷系統(tǒng),采用超G法和GrabCut進行背景減除,利用生成顯著圖的方法進行病害區(qū)域的識別,最后計算病害區(qū)域占整個葉片面積的百分比,得出相應的病害等級。在進行病害等級估算的過程中需要進行病斑的分割,由于受到圖像中背景和光照的影響,病斑分割的準確率難以得到保證。Wang等[9]采用5種不同的卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)對植物病害嚴重度進行估算,準確率能夠達到79.3%。除此之外,該研究利用遷移學習對已有網(wǎng)絡模型(包括VGG,inception-v3和ResNet50)進行微調(diào),進一步將準確率提升到90.4%。雖然取得了相對較高的準確率,但是該方法在對病害嚴重度進行估算時使用的是分類思想,將病害嚴重度劃分為4類標簽,并沒有對病害嚴重度有一個定量的診斷; 另外,病害嚴重度標簽是由人工評估決定的,具有一定的主觀性。
隨著機器學習的應用越來越廣泛,為病害嚴重度的定量估算提供了新的思路。擬采用卷積神經(jīng)網(wǎng)絡(convolutional neural network,CNN)、支持向量機回歸(support vector machine regression,SVR)和BP神經(jīng)網(wǎng)絡(BP neural network,BPNN)構(gòu)建估算模型,通過定量分析、對比不同模型的估算準確率,從而選擇準確率高、使用便捷的模型,實現(xiàn)溫室黃瓜霜霉病嚴重度的準確、定量估算,以期為溫室黃瓜霜霉病的診斷研究提供理論和技術(shù)上的支持。
試驗數(shù)據(jù)采集于天津市農(nóng)科院農(nóng)業(yè)創(chuàng)新基地日光溫室5號棚,共140幅圖像。圖像采集時天氣狀況晴朗,光照良好,采集時間為2016年4月20日8:00—17:00,采集設備為Nikon Coolpix S3100數(shù)碼相機,采用自動拍照模式,采集過程中不使用光學變焦,并保持閃光燈關(guān)閉。采集的原始圖像尺寸為2 592×1 944像素,為進一步提高運算速度,將圖片尺寸統(tǒng)一調(diào)整為800×600像素,同時為減少圖像背景對估算結(jié)果的影響,本文使用Photoshop統(tǒng)一將圖像背景人工剔除。
目前,溫室黃瓜霜霉病嚴重度分級并沒有統(tǒng)一的標準。通過文獻分析發(fā)現(xiàn),黃瓜霜霉病嚴重度分級的指標主要有3種[10-11]: 根據(jù)發(fā)病植株個數(shù)占總植株個數(shù)的百分比、單棵植株病葉數(shù)占全株葉片數(shù)的百分比和單片病葉病斑面積占葉片面積的百分比。本工作基于單片黃瓜葉片圖像進行黃瓜霜霉病嚴重度估算,故采用單片黃瓜葉片病斑面積占葉片面積的百分比作為分級依據(jù)。根據(jù)行業(yè)標準《NY/T 1857—2010 黃瓜主要病害抗病性鑒定技術(shù)規(guī)程》,進一步根據(jù)溫室黃瓜霜霉病病害嚴重度定量估算結(jié)果進行病害嚴重度分級,分級標準見表1。
表1 黃瓜霜霉病嚴重度分級
(1)基于CNN的估算模型
CNN是近年興起的一種深度學習方法,在植物病害識別領(lǐng)域應用廣泛[12-14]。卷積神經(jīng)網(wǎng)絡能夠通過大量訓練數(shù)據(jù)進行特征的自動提取,無需手動選取特征,已成為植物病害識別與診斷領(lǐng)域的研究熱點[15]。以溫室黃瓜霜霉病圖像作為輸入,構(gòu)建適用于病害嚴重度估算的卷積神經(jīng)網(wǎng)絡結(jié)構(gòu),以病斑占其葉片面積百分比為輸出,定量估算病害嚴重度,根據(jù)病害分級標準,計算得出溫室黃瓜霜霉病病害等級。卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)如圖1所示,輸入圖像為黃瓜霜霉病RGB圖像,尺寸為128×128×3(寬128像素、高128像素、3個顏色通道)。該網(wǎng)絡結(jié)構(gòu)共包含5個卷積層,每個卷積層中卷積核的個數(shù)分別為32,64,128,256和512,所有卷積層中均采用大小為5×5的卷積核。為保持卷積層的輸出數(shù)據(jù)和輸入數(shù)據(jù)在空間維度的不變,在第2個和第3個卷積層使用邊界填充。為提高模型訓練速率,在卷積層后設置了批標準化層。卷積神經(jīng)網(wǎng)絡中包含4個池化層,其中卷積核大小為2×2,步長為2,池化函數(shù)為平均池化。網(wǎng)絡包含2個全連接層,神經(jīng)元個數(shù)分別為1 000和1。為抑制過擬合現(xiàn)象,在全連接層之前,設置丟棄率為50%的dropout層。本網(wǎng)絡結(jié)構(gòu)中卷積層和全連接層全部采用線性校正單元(ReLU)激活函數(shù)。
圖1 卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)
采用隨機梯度下降法(stochastic gradient descent,SGD)進行CNN模型的訓練,Mini-batch大小設為64。學習率初始化為0.001,并且每20次訓練以0.1的下降因子下降,最大訓練次數(shù)設定為300。
在網(wǎng)絡訓練之前,將140張樣本圖像以8∶2的比例劃分為訓練集和測試集。為提升訓練效果,進一步擴充數(shù)據(jù)量,采用旋轉(zhuǎn)、翻轉(zhuǎn)等方式分別對訓練集和測試集進行擴充,擴充后的數(shù)據(jù)集共包含3 640張溫室黃瓜霜霉病圖像,其中訓練集2912張,測試集728張。
(2)基于淺層機器學習的估算模型
SVR[16]和BPNN[17]是目前應用廣泛的機器學習模型,采用SVR和BPNN這2種淺層機器學習模型構(gòu)建黃瓜霜霉病嚴重程度估算模型。在構(gòu)建模型之前,需要對黃瓜霜霉病病斑圖像進行分割并提取特征。病斑分割的準確率是影響病害嚴重度估算結(jié)果的重要因素。為確保估算模型的準確率,基于可見光光譜顏色特征(combination of three visible color features,CVCF)結(jié)合支持向量機實現(xiàn)初始病斑分割,并采用SURF(speeded up robust features)特征及形態(tài)學操作對分割結(jié)果進行優(yōu)化[3]。CVCF的檢測方法見式(1)。
CVCF=exp(-β|α(pb(r)*IExR)+
DoG(σa, σb)*IH+pb(r)*Ib*)
(1)
其中,α為ExR參數(shù),取值為0.1,此時CVCF受光照不均勻的影響最小。I為輸入圖像,IExR為ExR特征圖像,IH為H顏色分量圖像,Ib*為b*顏色分量,pb(r)為以r為半徑的圓形區(qū)域均值濾波器,r=3,β=3,σa=5,σb=4,*為二維離散卷積操作。
病斑圖像分割后進行病斑特征提取。由于霜霉病病斑與正常葉片在顏色上存在明顯差異,因此,以顏色特征作為區(qū)分病斑與葉片的分割特征。提取的特征包括病斑圖像RGB,HSV,L*a*b*,YCbCr和HSI共5個顏色空間15個顏色分量的平均值(average)和標準差(standard deviation)2個顏色特征,以及在此基礎(chǔ)上結(jié)合灰度共生矩陣提取各顏色分量的對比度(contrast)、相關(guān)性(correlation)、熵(energy)和平穩(wěn)度(homogeneity)4個紋理特征,共計90個特征。將提取的病斑圖像特征與溫室黃瓜霜霉病嚴重度的實際值進行相關(guān)性分析,結(jié)果如表2所示。從表中可以看出,共有18個特征與溫室黃瓜霜霉病病害嚴重度的實際值具有較高的相關(guān)性,因此,采用這18個特征構(gòu)建淺層學習模型,進行溫室黃瓜霜霉病嚴重度估算。進一步的,從選擇結(jié)果中可以看出,R_Average,G_Average,B_Average,a*_Average,Y_Average,I_Average共6個特征與溫室黃瓜霜霉病嚴重度的實際值為正相關(guān),其余12個特征為負相關(guān)。
表2 特征選擇結(jié)果
**: 相關(guān)性在0.01水平上是顯著的
**: Correlation is significant at the 0.01 level
構(gòu)建的原始數(shù)據(jù)集中共包含140個樣本,依據(jù)不同估算模型的要求進行相應的數(shù)據(jù)處理。將構(gòu)建的原始數(shù)據(jù)集分為訓練集、驗證集和測試集,其中訓練集包含84個樣本,驗證集包含28個樣本,測試集包含28個樣本。以溫室黃瓜霜霉病病斑圖像特征作為模型的輸入,以病害嚴重度作為模型輸出,構(gòu)建基于淺層機器學習的病害嚴重度估算模型,其中,基于SVR的估算模型采用高斯核函數(shù)作為支持向量機模型的核函數(shù),核大小設置為17?;贐PNN的估算模型采用Sigmoid函數(shù)作為傳遞函數(shù),隱含層神經(jīng)元個數(shù)為10。
(3)模型評估
采用決定系數(shù)(coefficient of determination,R2)和歸一化均方根誤差(normalized root-mean-squared error,NRMSE)定量分析嚴重度估算結(jié)果的準確率,進而對構(gòu)建的模型進行評估。決定系數(shù)是度量擬合優(yōu)度的統(tǒng)計量,取值范圍為(0,1),R2的值越接近1說明估算的病害嚴重度和實際值擬合程度越好,反之,擬合程度越差; 歸一化均方根誤差用來衡量估算的病害嚴重度與真實值之間的偏差,其取值越小,表明估算準確率越高[18]。
采用CVCF結(jié)合支持向量機進行病斑分割,部分病斑圖像分割結(jié)果如圖2所示。采用病斑分割錯分率對分割結(jié)果進行評估。由于在病害圖像預處理時將背景進行了剔除,因此病斑分割取得了較好的準確率,錯分率僅為9%,為下一步病害嚴重度定量估算奠定了良好的基礎(chǔ)。
不同模型的估算結(jié)果如圖3所示。從結(jié)果中可以看出,基于CNN的估算模型取得了最高的估算準確率,其R2為0.919 0,NRMSE為23.33%,其次是基于BPNN的估算模型,其R2為0.890 8,NRMSE為24.64%,基于SVR的估算模型的準確率最低,其R2為0.890 1,NRMSE為31.08%。
圖2 黃瓜霜霉病病斑分割結(jié)果
從估算結(jié)果中可以看出,3種估算模型均取得了較好的估算結(jié)果,R2均達到了0.89以上,表明利用機器學習能夠較好的實現(xiàn)黃瓜霜霉病嚴重度估算,其中基于CNN的估算模型取得了最高的估算準確率。SVR和BPNN的估算模型準確率較CNN的估算模型低的原因主要包含兩個方面: 第一方面,基于SVR和BPNN的估算模型在估算病害嚴重度前需要進行病斑圖像分割,因此,模型估算的結(jié)果會受到病斑分割準確率的影響。在溫室現(xiàn)場環(huán)境采集的黃瓜霜霉病圖像中,不可避免的會含有由光照條件不均勻和復雜背景環(huán)境產(chǎn)生的噪聲,對病斑圖像的準確分割造成了極大的挑戰(zhàn)。第二方面,基于SVR和BPNN的估算模型以病斑圖像的底層特征為輸入,由于模型輸入特征是人工設計的,其泛化能力較差,對病害嚴重度估算準確率也產(chǎn)生了一定的影響,而基于CNN的估算模型能夠從溫室黃瓜霜霉病訓練圖像中自動學習特征,并且選擇病斑的特征進行病害嚴重度估算,因此模型的泛化能力較好,同時不需要病斑分割,能夠取得較高的準確率。
根據(jù)黃瓜霜霉病嚴重度分級標準,將基于CNN的估算模型的728個測試樣本進行分級,分級結(jié)果如表3所示。采用準確率、敏感度和F1值[19]進行準確率評估。其中,準確率指某一病害等級中正確分類的樣本數(shù)占被分類為該病害等級的所有樣本的百分比; 敏感度指某一病害等級中正確分類的樣本數(shù)占該病害等級實際樣本數(shù)的比例; F1值是指準確率和敏感度的調(diào)和均值。從分級結(jié)果中可知,針對728個測試樣本,基于CNN的估算模型實現(xiàn)了670個樣本的正確分級,準確率為92%。從單一病害等級的分級結(jié)果來看,基于CNN的估算模型對于溫室黃瓜霜霉病嚴重度相對較低的情況,如1級和3級,能夠取得較高的準確率,其F1值分別為0.97和0.88,而對于溫室黃瓜霜霉病嚴重度相對較高的情況,如5級,其準確率出現(xiàn)了一定的下降,F(xiàn)1值為0.65。造成模型準確率下降的原因在于CNN模型訓練集中,溫室黃瓜霜霉病嚴重度相對較高的標簽數(shù)據(jù)量較低。因此,在下一步的研究中,擬擴充病害數(shù)據(jù)量,進一步提升模型的準確率。
圖3 溫室黃瓜霜霉病嚴重程度估算結(jié)果
表3 溫室黃瓜霜霉病嚴重度分級估算結(jié)果
基于可見光光譜圖像,開展了溫室黃瓜霜霉病嚴重度定量估算研究。利用溫室黃瓜可見光圖像數(shù)據(jù),對比了3種機器學習估算模型,其中,基于CNN的估算模型取得了最高的準確率,其估算結(jié)果的R2為0.919 0,NRMSE為23.33%。結(jié)果表明,基于可見光光譜圖像,利用卷積神經(jīng)網(wǎng)絡能夠?qū)S瓜霜霉病嚴重度進行準確的估算,能夠為黃瓜霜霉病的科學防治、合理施藥提供指導意見。