杜鵬飛　黃媛　高欣娜　武猛　杜亞茹　楊英茹

摘要：為滿足實(shí)際種植環(huán)境下對(duì)病害葉片精準(zhǔn)用藥的需求，以設(shè)施環(huán)境復(fù)雜背景圖像為研究對(duì)象，提出基于語義分割的復(fù)雜背景下黃瓜葉部病害分級(jí)方法。首先，使用Labelme標(biāo)注軟件對(duì)圖像葉片和病斑進(jìn)行標(biāo)注，并對(duì)部分病害葉片進(jìn)行圖像增強(qiáng)以豐富數(shù)據(jù)集；然后，改進(jìn)U-Net網(wǎng)絡(luò)結(jié)構(gòu)并構(gòu)建基于深度學(xué)習(xí)的復(fù)雜背景下黃瓜葉片病害分割兩階段架構(gòu)，對(duì)復(fù)雜背景下的黃瓜葉片、病斑進(jìn)行分割；最后，提出黃瓜霜霉病、炭疽病病害嚴(yán)重程度分級(jí)模型D-MUNet，對(duì)病害等級(jí)進(jìn)行劃分。改進(jìn)后的U-Net模型像素精度、平均交并比和Dice系數(shù)分別為90.48%、92.46%、0.645 7，較原始模型提升2.36%、2.34%和0.023 8。黃瓜霜霉病、炭疽病病害分級(jí)準(zhǔn)確率分別達(dá)到92.11%和89.17%。基于語義分割的復(fù)雜背景下黃瓜葉部病害嚴(yán)重程度分級(jí)方法，能夠?qū)S瓜病害實(shí)現(xiàn)有效地分割、分級(jí)，為病害的精準(zhǔn)防治提供技術(shù)支撐。

關(guān)鍵詞：黃瓜病害；復(fù)雜背景；語義分割；兩階段框架；病害嚴(yán)重程度分級(jí)

中圖分類號(hào)：TP391.4： S436.421文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：20955553 （2023） 11013810

Research on cucumber leaf disease severity classification in complex background

based on semantic segmentation

Du Pengfei Huang Yuan Gao Xinna Wu Meng Du Yaru Yang Yingru

（1. Shijiazhuang Academy of Agricultural and Forestry Sciences， Shijiazhuang， 050041， China；

2. Shijiazhuang Agricultural Informational Engineering Technology Innovation Center， Shijiazhuang， 050041， China；

3. Hebei Urban Agricultural Technology Innovation Center， Shijiazhuang， 050041， China）

Abstract：In order to meet the demand for precise medication of diseased leaves in the actual planting environment， a complex background image of facility environment was taken as the research object， and a classification method of cucumber leaf disease under complex background based on semantic segmentation was proposed. First， Labelme labeling software was used to label the image leaves and disease spots， and image enhancement was performed on some diseased leaves to enrich the dataset; then， the U-Net network structure was improved and a deep learning-based cucumber leaf disease segmentation under complex background was constructed. A two-stage architecture is used to segment cucumber leaves and disease spots under complex backgrounds. Finally， the disease severity classification model D-MUNet of cucumber downy mildew and anthracnose is proposed to classify the disease levels. The pixel accuracy， average intersection ratio and Dice coefficient of the improved U-Net model are 90.48%， 92.46%， and 0.645 7， respectively， which are 2.36%， 2.34%， and 0.023 8 higher than the original model. The classification accuracy of cucumber downy mildew and anthracnose reaches 92.11% and 89.17%， respectively. The classification method of cucumber leaf disease severity based on semantic segmentation can achieve effective segmentation and classification of cucumber disease， and provide technical support for accurate disease prevention and control.

Keywords：cucumber disease; complex background; semantic segmentation; two-stage framework; disease severity classification

0引言

黃瓜廣泛種植于全世界各地，并且種植面積和產(chǎn)量呈現(xiàn)穩(wěn)步增長態(tài)勢(shì)。但是病害始終是威脅黃瓜產(chǎn)量的重要因素之一，如不及時(shí)防治將會(huì)導(dǎo)致黃瓜大規(guī)模降質(zhì)減產(chǎn)，使種植者遭受重大損失?？焖?、準(zhǔn)確地對(duì)病害進(jìn)行分割并判斷病害嚴(yán)重程度對(duì)于病害的及時(shí)防治和指導(dǎo)用藥量至關(guān)重要［12］，對(duì)綠色農(nóng)業(yè)、精準(zhǔn)農(nóng)業(yè)的實(shí)現(xiàn)同樣具有重要意義。Sammany等［34］使用GA遺傳算法對(duì)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)進(jìn)行優(yōu)化處理，之后使用粗糙集屬性約簡對(duì)輸入特征向量進(jìn)行優(yōu)化，將冗余屬性剔除，提高分類的精度與速度。Sabrol等［5］對(duì)番茄5種病害的顏色、形狀和紋理特征進(jìn)行提取，并使用分類樹的方法對(duì)病害進(jìn)行分類，準(zhǔn)確率達(dá)到了97.3%。近些年來，計(jì)算機(jī)視覺和深度學(xué)習(xí)的發(fā)展促進(jìn)了病害自動(dòng)識(shí)別技術(shù)的實(shí)現(xiàn)，Mohanty等［6］使用AlexNet和GoogleNet對(duì)PlantVillage中14類植物的25種病害共54 306幅病害圖像進(jìn)行分類，最終取得了99.18%的準(zhǔn)確率。Zhang等［7］使用EfficientNet對(duì)復(fù)雜背景下的黃瓜霜霉病、白粉病以及健康葉片進(jìn)行分類，分類準(zhǔn)確率達(dá)到97%。Li等［8］針對(duì)番茄和茄子的4種病害，使用SE-Inception結(jié)構(gòu)和多尺度特征提取模塊對(duì)病害進(jìn)行分類，準(zhǔn)確率達(dá)到98.29%。Too等［9］使用DenseNet模型對(duì)PlantVillage中簡單背景下14類植物的38種不同類別病害進(jìn)行分類，取得了99.75%的準(zhǔn)確率。

隨著U-Net等語義分割網(wǎng)絡(luò)的出現(xiàn)，基于深度學(xué)習(xí)的圖像分割方法逐漸成為一個(gè)新的發(fā)展方向。U-Net作為較早的語義分割網(wǎng)絡(luò)，早在醫(yī)學(xué)領(lǐng)域應(yīng)用較為成熟。Zhang等［10］將U-Net網(wǎng)絡(luò)中的原始卷積替換為可變形卷積，并對(duì)不同大小的鐮狀細(xì)胞進(jìn)行分割，提升了網(wǎng)絡(luò)的魯棒性，取得了較好的分割效果。Yang等［11］提出一種基于深度學(xué)習(xí)的CT圖像分割算法，通過改進(jìn)U-Net模型并加入注意力機(jī)制提高了分割精度，Dice系數(shù)達(dá)到0.959 4。近些年，U-Net等語義分割網(wǎng)絡(luò)逐漸與農(nóng)業(yè)相結(jié)合。Ngugi等［12］通過對(duì)編碼器階段進(jìn)行改進(jìn)，提出基于多尺度特征提取的U-Net模型，對(duì)復(fù)雜背景下的番茄葉片取得了良好的分割效果。Lin等［13］在原始U-Net網(wǎng)絡(luò)的基礎(chǔ)上，在各卷積層后增加了批量歸一化層，對(duì)50張復(fù)雜背景下的小樣本黃瓜白粉病數(shù)據(jù)集取得了96.08%的平均像素分割準(zhǔn)確率，該方法有效地提升了網(wǎng)絡(luò)的泛化能力，防止了過擬合問題的發(fā)生。張善文等［14］提出一種基于多尺度融合卷積神經(jīng)網(wǎng)絡(luò)的黃瓜葉片病害分割方法，通過使用遷移學(xué)習(xí)方法加快訓(xùn)練速度，提高了模型的分割精度。任守綱等［15］等構(gòu)建了一種基于反卷積引導(dǎo)的DGVGGNet網(wǎng)絡(luò)，在對(duì)植物葉片病斑的分割問題上取得了較好的效果。圖像分割方法不僅可以做到對(duì)病害進(jìn)行高效、準(zhǔn)確的分割，還是病害嚴(yán)重程度分級(jí)的關(guān)鍵前提。在病害等級(jí)劃分方面，Liang等［16］提出改進(jìn)后的PD2SE-Net，并應(yīng)用于植物的物種識(shí)別、病害分類和病害嚴(yán)重程度的估計(jì)，用較低的計(jì)算成本獲得了較好的性能。鄭志雄等［17］提出一種基于高光譜成像技術(shù)的稻瘟病病害分級(jí)方法，使用原始圖像和掩模圖像對(duì)背景信息進(jìn)行去除，得到單葉片高光譜圖像再進(jìn)行進(jìn)一步分割。劉寶洋［18］以VGG-16網(wǎng)絡(luò)模型為基礎(chǔ)構(gòu)建一個(gè)改進(jìn)的深度卷積神經(jīng)網(wǎng)絡(luò)模型，通過使用遷移學(xué)習(xí)和帶有參數(shù)的ReLU激活函數(shù)構(gòu)造網(wǎng)絡(luò)結(jié)構(gòu)，分級(jí)準(zhǔn)確率達(dá)到了87.2%。Wspanialy等［19］使用PlantVillage中9種番茄病害的圖像，利用改進(jìn)的U-Net模型來估計(jì)疾病的嚴(yán)重程度，并取得了較好的效果。

由于圖像背景復(fù)雜、葉片之間存在遮擋等問題，導(dǎo)致對(duì)葉片及病斑分割效果較差。本文在前人的基礎(chǔ)上，以復(fù)雜背景彩色圖像為例，使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)葉片及病斑進(jìn)行特征提取，設(shè)計(jì)基于深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)的葉片、病斑分割以及黃瓜病害嚴(yán)重程度分級(jí)模型，針對(duì)實(shí)際種植環(huán)境中植株背景復(fù)雜難以分割以及精準(zhǔn)防治問題做進(jìn)一步研究。

1材料與方法

1.1數(shù)據(jù)采集和預(yù)處理

本文所用數(shù)據(jù)集均為復(fù)雜環(huán)境下的黃瓜圖像，圖像數(shù)據(jù)主要來源于石家莊市藁城區(qū)貫莊農(nóng)昌種植服務(wù)專業(yè)合作社的自采數(shù)據(jù)集，為了滿足真實(shí)應(yīng)用中不同光照對(duì)拍攝效果的影響，因此選擇不同的時(shí)間段進(jìn)行圖像采集，采集時(shí)間為2021年2月15—17日的上午（8：00—10：00）、中午（12：00—14：00）、下午（12：00—16：00）三個(gè)時(shí)間段。采集的圖像如圖1所示，數(shù)據(jù)類型包括黃瓜健康葉片、黃瓜炭疽病、黃瓜霜霉病，采集地點(diǎn)為設(shè)施溫室。為了使深度學(xué)習(xí)模型正常運(yùn)行，在盡量避免影響模型分割準(zhǔn)確率的前提下，將所采集的2054張圖像重新調(diào)整尺寸為512像素×512像素，并使用Labelme軟件進(jìn)行圖像標(biāo)注，生成對(duì)應(yīng)的Mask圖，將人工標(biāo)記的圖像作為衡量分割準(zhǔn)確率的標(biāo)準(zhǔn)，標(biāo)注圖像如圖2所示。第一階段將2054張圖像按照8∶2的比例劃分為訓(xùn)練集和測(cè)試集，其中訓(xùn)練集1643張，測(cè)試集411張。第二階段訓(xùn)練集共600張，其中包括300張?jiān)紙D像和300張數(shù)據(jù)增強(qiáng)后的圖像，測(cè)試集共150張圖像。

深度學(xué)習(xí)要求有足夠的數(shù)據(jù)集去完成訓(xùn)練，數(shù)據(jù)集過少往往會(huì)導(dǎo)致欠擬合現(xiàn)象的發(fā)生，最終導(dǎo)致模型訓(xùn)練和測(cè)試效果都很差。由于黃瓜病害數(shù)據(jù)集較少，因此為了提升模型的分割準(zhǔn)確率，本文在第二階段對(duì)原始300張黃瓜霜霉病、炭疽病數(shù)據(jù)集進(jìn)行了圖像增強(qiáng)，即隨機(jī)選擇0.5～1.5倍數(shù)的值對(duì)原始圖像進(jìn)行亮度增強(qiáng)，這樣做既可以滿足模型訓(xùn)練對(duì)數(shù)據(jù)集的要求，還可以模擬不同光照強(qiáng)度對(duì)訓(xùn)練產(chǎn)生的影響。通過圖像增強(qiáng)的方法，即增加了訓(xùn)練樣本的多樣性，又提高了模型的魯棒性及泛化能力。數(shù)據(jù)集圖像增強(qiáng)如圖3所示。

1.2試驗(yàn)方法及分割模型

本文通過對(duì)葉片面積和病斑面積分別計(jì)算以達(dá)到劃分病害等級(jí)的目的，但由于葉片生長于自然環(huán)境中，拍攝時(shí)背景較為復(fù)雜，直接對(duì)病斑進(jìn)行分割往往會(huì)將背景中的一些相似特征一同分割，對(duì)最終的病害等級(jí)劃分準(zhǔn)確率造成一定的影響，因此首先需要對(duì)復(fù)雜背景下的葉片進(jìn)行分割提取，獲得簡單背景下的葉片，再進(jìn)一步對(duì)目標(biāo)葉片的病斑區(qū)域進(jìn)行分割。本文從兩階段分割的角度上出發(fā)，第一階段為葉片分割，所對(duì)應(yīng)的分割目標(biāo)為葉片和復(fù)雜背景；第二階段為病斑分割，所對(duì)應(yīng)的分割目標(biāo)為病斑和葉片。通過試驗(yàn)驗(yàn)證發(fā)現(xiàn)，兩階段分割模型的分割精度較一階段模型更高。

1.2.1DeepLabV3+網(wǎng)絡(luò)

DeepLab系列是融合了深度卷積神經(jīng)網(wǎng)絡(luò)（DCNNs）和概率圖模型（DenseCRFs）的算法，研究人員反復(fù)試驗(yàn)發(fā)現(xiàn)：DCNNs在語義分割時(shí)精確度較低，原因在于高級(jí)特征具有平移不變性。針對(duì)下采樣或者池化后分辨率降低的現(xiàn)象，DeepLab采用了空洞卷積算法擴(kuò)張感受野，以獲取更多的語義信息。

DeepLabV3［20］首先使用FCN實(shí)現(xiàn)圖像分割，之后引入了幾個(gè)并行不同速率的空洞卷積［21］，從而獲取更多尺度的圖像特征信息，通過空洞空間金字塔池化（ASPP）［22］結(jié)構(gòu)挖掘獲取更多的語義特征信息以提高分割準(zhǔn)確率。而DeepLabV3+則在原有DeepLabV3的基礎(chǔ)之上使用解碼器模塊對(duì)待提取目標(biāo)邊界進(jìn)行恢復(fù)；其次通過改變空洞卷積的采樣率來改變輸出的特征圖分辨率，在不損失信息的情況下，加大感受野，并且在解碼器模塊中加入了深度可分離卷積［23］，使模型整體具有更高的效率以及更少的參數(shù)量。同時(shí)，為了消除模型對(duì)于細(xì)小特征的影響，例如葉片邊緣信息處理效果不佳，DeepLabV3+模型使用了ASPP模塊，該模塊在頂部特征映射圖中加入了不同采樣率的空洞卷積，既可以增大深度網(wǎng)絡(luò)中的感受野，又可以有效地降低模型的計(jì)算參數(shù)量，保證較高的分辨率，為一些較為細(xì)小點(diǎn)的特征提取提供了基礎(chǔ)。同時(shí)，DeepLabV3+在ASPP中添加了Batch Normalization層，用于加速網(wǎng)絡(luò)收斂、防止出現(xiàn)梯度爆炸或梯度消失以及過擬合現(xiàn)象的出現(xiàn)。

1.2.2U-Net網(wǎng)絡(luò)

U-Net［24］是基于FCN［25］的一種語義分割網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)與FCN網(wǎng)絡(luò)結(jié)構(gòu)相似。網(wǎng)絡(luò)的輸入為512×512的單通道或三通道圖像，網(wǎng)絡(luò)整體分為編碼—解碼架構(gòu)，也可分為收縮路徑和擴(kuò)展路徑。收縮路徑每一部分由兩個(gè)3×3的卷積組成，用來進(jìn)行特征提取，擴(kuò)展路徑中的每一步都包括特征圖的上采樣過程，與來自收縮路徑的特征圖相匹配融合，并且U-Net在解碼器階段的結(jié)構(gòu)能充分結(jié)合淺層較為簡單的特征，所以即使對(duì)于小樣本也不容易過擬合。U-Net網(wǎng)絡(luò)中較淺的高分辨率層用來解決像素定位的問題，較深的層用來解決像素分類的問題。雖然U-Net可以對(duì)像素進(jìn)行精確分割，但是對(duì)于每個(gè)以像素為中心的區(qū)域都需要進(jìn)行一次檢測(cè)，并且由于一些中心區(qū)域重疊，造成了冗余的操作，因此會(huì)導(dǎo)致運(yùn)行速度慢、效率低等問題。

1.2.3多尺度U-Net結(jié)構(gòu)

黃瓜霜霉病、炭疽病的病斑具有形狀不同、大小不同的特點(diǎn)，因此本文提出了多尺度U-Net模型，在原始U-Net模型下采樣階段中引入了多尺度卷積模塊，加強(qiáng)模型的非線性表達(dá)能力，通過使用不同大小的卷積核對(duì)特征圖進(jìn)行卷積操作，得到新的大小不同的特征圖，豐富了圖像特征，從全局的視角對(duì)圖像中感興趣的特征信息進(jìn)行編碼解碼，進(jìn)而提高圖像的分割性能。具體改進(jìn)方法如下，通過借鑒Inception結(jié)構(gòu)的特點(diǎn)，把特征圖輸入到不同大小的并行卷積核進(jìn)行卷積操作，并且在下采樣階段特征圖尺寸為128×128時(shí)將Inception結(jié)構(gòu)中的3×3、5×5、7×7卷積核分別改變?yōu)?×3和3×1，1×5和5×1以及1×7和7×1，以滿足不同形狀病斑的分割需求，同時(shí)增強(qiáng)網(wǎng)絡(luò)的非線性表達(dá)能力。多尺度模塊如圖4所示。

1.2.4DeepLabV3+與U-Net兩階段分割模型

由于網(wǎng)絡(luò)結(jié)構(gòu)存在差異，模型的特征提取能力會(huì)受到影響，不同語義分割網(wǎng)絡(luò)模型所適用的目標(biāo)也有所不同，分割準(zhǔn)確率也會(huì)有影響。因此本文根據(jù)兩階段所提取的目標(biāo)特征不同，首先對(duì)多種語義分割網(wǎng)絡(luò)進(jìn)行對(duì)比試驗(yàn)，選擇在各階段所適用的最好模型，結(jié)合實(shí)際環(huán)境中實(shí)時(shí)性的要求，通過調(diào)整模型網(wǎng)絡(luò)結(jié)構(gòu)以及更改特征提取網(wǎng)絡(luò)從而達(dá)到提升分割準(zhǔn)確率以及縮短分割時(shí)間的目的。

原始DeepLabV3模型以ResNet［26］為主要特征提取網(wǎng)絡(luò)，在最后一個(gè)ResNet模塊中使用了空洞卷積以及在特征學(xué)習(xí)階段增加了一個(gè)新的殘差模塊，該殘差塊的頂部使用了空洞空間金字塔，用來對(duì)任意尺度的區(qū)域進(jìn)行分類。DeepLabV3+以Xception［27］作為主要特征提取網(wǎng)絡(luò)，使用深度可分離卷積分別對(duì)每個(gè)通道的空間進(jìn)行單獨(dú)卷積，這樣的優(yōu)點(diǎn)是在保證性能不變的同時(shí)，大幅減少計(jì)算量，并且，通過在DCNN模塊中引出分支進(jìn)行解碼與上采樣操作。此種方法與其他語義分割網(wǎng)絡(luò)相比來說，對(duì)待分割目標(biāo)的邊緣信息分割效果更加準(zhǔn)確?？斩淳矸e的定義如式（1）所示。

在第一階段中，由于黃瓜圖像所包含的背景干擾信息較多，例如泥土和其他與待分割葉片顏色相近的其他葉片，所以僅僅依靠提取顏色特征很難達(dá)到預(yù)期的分割效果，但是利用DeepLabV3+能夠有效地挖掘不同復(fù)雜背景下的黃瓜葉片淺層和深層特征信息，在ASPP模塊中通過更改膨脹率來精確地控制輸出的特征分辨率，有效地提高了分割準(zhǔn)確率，網(wǎng)絡(luò)后層可以通過逐漸恢復(fù)空間信息捕捉到物體的邊緣，相比于其他的語義分割網(wǎng)絡(luò)，其對(duì)葉片邊緣的分割更加細(xì)膩。

在第二階段中，由于病斑形狀各異以及訓(xùn)練樣本數(shù)量較少的原因，因此選用U-Net作為該階段的模型，在U-Net中通過concatenate操作對(duì)不同尺寸的特征圖上下采樣對(duì)應(yīng)融合。網(wǎng)絡(luò)的高層由于輸入圖像尺寸較大，下采樣倍數(shù)小，特征圖具備更加細(xì)致的圖特征，底層下采樣倍數(shù)大，信息經(jīng)過大量濃縮，空間損失大，但有助于目標(biāo)區(qū)域判斷，因此會(huì)保留圖像中的細(xì)節(jié)信息，如病斑形狀、顏色等。

1.3模型評(píng)價(jià)指標(biāo)

1.3.1像素準(zhǔn)確率

像素準(zhǔn)確率是將模型分割得到的結(jié)果與人工標(biāo)記的標(biāo)準(zhǔn)分割葉片進(jìn)行逐像素對(duì)比，計(jì)算得到PA。

1.3.2平均像素精度

1.3.3Dice系數(shù)

1.3.4平均交并比

1.4黃瓜霜霉病、炭疽病嚴(yán)重程度分級(jí)

單葉片病害等級(jí)的劃分往往是通過對(duì)病斑區(qū)域占葉片面積的比例進(jìn)行劃分的，由于待分割葉片處于復(fù)雜的背景，背景中混有泥土、雜草等干擾因素存在，導(dǎo)致目標(biāo)葉片或病斑易與其他同類元素混淆，從而導(dǎo)致過分割或欠分割，一階段的網(wǎng)絡(luò)很難做到同時(shí)準(zhǔn)確的分割出葉片和病斑，因此首先需要獲取簡單背景下的葉片，才能夠保證病害分級(jí)的準(zhǔn)確率。

本文采用了兩階段分割網(wǎng)絡(luò)進(jìn)行黃瓜病害等級(jí)的劃分，具體步驟如下：第一階段以黃瓜的葉片和復(fù)雜背景為目標(biāo)，使用測(cè)試得到的Mask圖將葉片從復(fù)雜背景中提取出來，得到簡單背景下的葉片。第二階段以病斑和葉片為目標(biāo)，將測(cè)試得到的Mask圖對(duì)第一階段所提取的簡單背景下的葉片進(jìn)行提取，從而得到病斑區(qū)域。最后分別計(jì)算病斑區(qū)域和葉片區(qū)域的面積，以二者的比值作為劃分黃瓜病害等級(jí)的依據(jù)。計(jì)算公式如式（6）所示。

2試驗(yàn)結(jié)果分析

2.1分割效果及分析

本文所采用的訓(xùn)練及測(cè)試硬件設(shè)備配置如下：Intel（R） Core（TM） i7-10700K CPU@3.80 GHz 3.79 GHz，128 G內(nèi)存，顯卡為NVIDIA GeForce RTX 3080 10G顯存，操作系統(tǒng)為Windows 10專業(yè)版，CUDA版本11.1，Python版本為3.7，Pytorch版本為1.7.0。為避免超參數(shù)對(duì)試驗(yàn)結(jié)果產(chǎn)生影響，本文將各網(wǎng)絡(luò)模型超參數(shù)進(jìn)行統(tǒng)一設(shè)置，經(jīng)過多次試驗(yàn)，最終選定學(xué)習(xí)率為10-4、迭代次數(shù)為100、批處理大小為4、優(yōu)化器采用Adam。

為驗(yàn)證D-MUNet網(wǎng)絡(luò)模型對(duì)復(fù)雜背景下的黃瓜病害具有較好的分割和分級(jí)效果，此試驗(yàn)分別在第一、二階段使用DeepLabV3+（Xception）、DeepLabV3+（MobileNet）、U-Net、U-net（MobileNet）、SegNet［28］、SegNet（MobileNet）、SegNet（ResNet50）、PSPNet［29］（MobileNet）、PSPNet（ResNet50）進(jìn)行試驗(yàn)。模型默認(rèn)將訓(xùn)練效果最好的文件保存為最終的權(quán)重文件以用來進(jìn)行測(cè)試，最終得到測(cè)試集分割結(jié)果。最終通過對(duì)比PA、MPA、Dice系數(shù)、MIoU以及模型參數(shù)量幾個(gè)指標(biāo)來綜合評(píng)定模型。第一階段各分割模型對(duì)比結(jié)果如表1所示。

從圖8可以看出，在同一試驗(yàn)環(huán)境下相較于其他模型，DeepLabV3+（Xception）在復(fù)雜背景中能夠較為完整準(zhǔn)確地對(duì)葉片進(jìn)行分割，且分割輪廓較為清晰平滑，受環(huán)境干擾較小。而其他8種模型由于各自特征提取網(wǎng)絡(luò)結(jié)構(gòu)的不同，均會(huì)將圖像背景中的土壤或者除目標(biāo)葉片以外的葉片一同分割，不僅導(dǎo)致了葉片分割準(zhǔn)確率的降低，還會(huì)影響最終病害分級(jí)的準(zhǔn)確率，最終的分割效果均不理想。

在第二階段中，由于所采集黃瓜病害數(shù)據(jù)集數(shù)量較少，因此選用U-Net作為第二階段的分割網(wǎng)絡(luò)，原因是神經(jīng)網(wǎng)絡(luò)的每一層所提取的特征都相當(dāng)于對(duì)輸入數(shù)據(jù)的一個(gè)非線性變換，但隨著網(wǎng)絡(luò)深度的增加，非線性變換的復(fù)雜度也逐漸增加，與其他網(wǎng)絡(luò)相比，U-Net在編碼器和解碼器階段對(duì)各層不同尺寸的特征圖進(jìn)行融合，所以對(duì)于小樣本數(shù)據(jù)有著較好地分割效果。以DeepLabV3+（Xception）為第一階段分割模型，對(duì)復(fù)雜背景下的葉片進(jìn)行分割，得到簡單背景下的葉片，然后使用U-Net網(wǎng)絡(luò)對(duì)病斑進(jìn)行提取。針對(duì)黃瓜病斑具有大小不一的特點(diǎn)，提出多尺度U-Net模型（Multiscale-U-Net），以便獲得更好地分割效果。如表2所示，兩模型結(jié)果存在一定差異。本文所提出的Multiscale-U-Net模型在PA、MPA、Dice系數(shù)、MIoU四個(gè)評(píng)價(jià)指標(biāo)上都明顯高于原始U-Net模型，并分別提高了2.36%、3.46%、0.0238和2.34%，沒有因?yàn)楦倪M(jìn)結(jié)構(gòu)而造成模型參數(shù)量和分割時(shí)間大幅改變。

由圖9、圖10可知，兩模型的準(zhǔn)確率一直趨于上升水平，并且在訓(xùn)練的前10輪中上升幅度很大，最終準(zhǔn)確率均達(dá)到了99.5%以上。損失值同樣在前10個(gè)輪次中有著較大的下降幅度，之后逐漸趨于平穩(wěn)。對(duì)比兩個(gè)模型，本文所提出的Multiscale-U-Net較原始U-Net有更好的魯棒性和分割效果。

第二階段分割結(jié)果對(duì)比如圖11所示。

通過與人工標(biāo)注圖像對(duì)比，不論是原始的U-Net模型還是本文所提出的Multiscale-U-Net模型都可以將葉片上的絕大多數(shù)病斑進(jìn)行有效的分割。但是在一些較小的病斑或者顏色較深病斑的分割效果上，多尺度U-Net模型的分割精確度明顯高于原始U-Net模型。

綜上所述，通過對(duì)準(zhǔn)確率曲線、Loss曲線以及第一、二階段不同語義分割網(wǎng)絡(luò)或改進(jìn)后的模型分割效果圖分析可知DeepLabV3+（Xception）和Multiscale-U-Net有著較好的魯棒性且分割效果最為優(yōu)秀。

2.2不同階段模型分割效果對(duì)比

本文旨在對(duì)復(fù)雜背景下的黃瓜病害葉片進(jìn)行準(zhǔn)確分級(jí)，因此獲得簡單背景下完整葉片非常關(guān)鍵。為達(dá)到這一目的，提出了兩階段的病害分割模型。為驗(yàn)證該方法相較于直接從復(fù)雜背景下對(duì)病斑進(jìn)行提取的優(yōu)越性，采用Multiscale-U-Net分別對(duì)復(fù)雜背景下和簡單背景下的病斑分割，如圖12所示。

從圖12可以看出，使用一階段模型直接對(duì)復(fù)雜背景下的病斑進(jìn)行分割，分割結(jié)果往往不如兩階段模型效果好。歸結(jié)其原因，是由于復(fù)雜背景中含有與目標(biāo)葉片病斑顏色相近的同類元素存在，使用一階段分割無法將這些干擾因素去除，導(dǎo)致分割效果較差，因此本文采用兩階段模型進(jìn)行病害嚴(yán)重程度分級(jí)的研究。

2.3病害分級(jí)標(biāo)準(zhǔn)及結(jié)果

針對(duì)黃瓜霜霉病嚴(yán)重度分級(jí)還沒有統(tǒng)一的標(biāo)準(zhǔn)，查閱資料并結(jié)合植保專家的建議，將黃瓜霜霉病和炭疽病病害嚴(yán)重程度劃分為L0到L5，根據(jù)病害等級(jí)不同將葉片劃分為抗病葉片和感病葉片兩類，如表3所示。

當(dāng)P值為0時(shí)，病害等級(jí)為L0，則認(rèn)為黃瓜葉片為健康葉片，此時(shí)植株的抗病能力強(qiáng)；當(dāng)病害等級(jí)為L1時(shí)，植株輕微染病，但對(duì)植株自身的生長無較大影響，抗病能力較強(qiáng)；當(dāng)病害等級(jí)為L2時(shí)，植株染病面積增大，光合作用效果輕微下降，生成養(yǎng)分略微減少，此時(shí)植株抗病能力下降，表現(xiàn)性狀為感??；當(dāng)病害等級(jí)為L3、L4時(shí)，光合作用效果下降明顯，生成養(yǎng)分減少，表現(xiàn)性狀為感病；病害等級(jí)為L5時(shí)，葉片面積的一半以上被病斑占據(jù)，葉片基本無法進(jìn)行光合作用，且通過藥物治療無法治愈。

本文以黃瓜霜霉病、炭疽病圖像各75張作為測(cè)試數(shù)據(jù)集，將模型預(yù)測(cè)葉片的病害嚴(yán)重程度與人工標(biāo)注葉片的嚴(yán)重程度進(jìn)行比較，計(jì)算出模型對(duì)于病害等級(jí)

劃分的準(zhǔn)確率。試驗(yàn)結(jié)果如表4和表5所示。使用D-MUNet模型對(duì)黃瓜病害圖像進(jìn)行分割，經(jīng)過公式計(jì)算可得病害嚴(yán)重程度。其中霜霉病等級(jí)劃分準(zhǔn)確率分別是93.33%、92.31%、89.47%、93.75%和91.67%，平均準(zhǔn)確率為92.11%；炭疽病等級(jí)劃分準(zhǔn)確率分別是92.31%、88.24%、88.24%、93.75%和83.33%，平均準(zhǔn)確率為89.17%。

綜上所述，本文所提出的D-MUNet在對(duì)黃瓜病害的劃分上取得了較高的準(zhǔn)確率，可以為實(shí)際種植中黃瓜病害等級(jí)的劃分提供理論依據(jù)，對(duì)黃瓜病害的精準(zhǔn)防治以及實(shí)現(xiàn)綠色農(nóng)業(yè)具有重要意義。

從圖13中可以看出，圖像背景環(huán)境復(fù)雜度、光照強(qiáng)度的不同，會(huì)對(duì)模型的分割結(jié)果造成一定影響。

從圖13（a）、圖13（b）中可以看出，由于背景中存在與目標(biāo)葉片顏色相似且重疊的葉片，所以模型在第一階段的分割中，錯(cuò)誤地將背景葉片過分割，預(yù)測(cè)的葉片面積大于實(shí)際葉片面積，導(dǎo)致病斑面積與葉片面積之比小于真實(shí)值，造成病害等級(jí)預(yù)測(cè)錯(cuò)誤；對(duì)比圖13（d）、圖13（e）、圖13（f），可見圖像明暗程度也會(huì)對(duì)模型分割造成影響，當(dāng)過亮或過暗時(shí)，模型可能會(huì)將背景中與病斑特征相似的元素一同分割出來，導(dǎo)致病斑面積大于真實(shí)值，最終造成病害等級(jí)預(yù)測(cè)錯(cuò)誤。

此外，如圖14所示，由于植株自身健康程度、生長環(huán)境的不同，在成長過程中往往會(huì)伴有葉片穿孔、卷曲以及遮擋的情況發(fā)生，這也直接導(dǎo)致了模型無法完整地對(duì)葉片和病斑進(jìn)行分割，導(dǎo)致了分級(jí)準(zhǔn)確率的下降。

3結(jié)論

1） 本文提出了基于復(fù)雜背景下的黃瓜葉部病害兩階段分割方法。首先對(duì)復(fù)雜背景下的葉片進(jìn)行分割得到相對(duì)完整的葉片，其次在此基礎(chǔ)上對(duì)病斑進(jìn)行分割。相較于一階段模型直接對(duì)病斑進(jìn)行分割的效果，本文方法具有更高的準(zhǔn)確率。

2） 充分利用DeepLabV3+、U-Net模型各自的優(yōu)點(diǎn)，并將U-Net網(wǎng)絡(luò)與多尺度模塊相結(jié)合，提出Multiscale-U-Net模型，使得模型在面對(duì)較小目標(biāo)時(shí)仍具備較好的分割效果，對(duì)病斑的分割效果有明顯提升，像素準(zhǔn)確率、平均交并比和Dice系數(shù)分別為90.48%、92.46%和0.645 7，較原始模型分別提升了2.36%、2.34%和0.0238。

3） 針對(duì)單葉片病害嚴(yán)重程度分級(jí)問題，提出復(fù)雜背景下黃瓜葉片病害嚴(yán)重程度分級(jí)模型D-MUNet，經(jīng)試驗(yàn)驗(yàn)證，霜霉病平均分級(jí)準(zhǔn)確率為92.11%；炭疽病平均分級(jí)準(zhǔn)確率為89.17%。為實(shí)現(xiàn)黃瓜病害嚴(yán)重程度精準(zhǔn)分級(jí)和精準(zhǔn)施藥提供了技術(shù)支撐。

參考文獻(xiàn)

［1］Ampatzidis Y， Bellis L D， Luvisi A. iPathology： Robotic applications and management of plants and plant diseases ［J］. Sustainability， 2017， 9（6）： 1010-1023.

［2］Cruz A C， Luvisi A， Bellis L D， et al. X-FIDO： An effective application for detecting olive quick decline syndrome with deep learning and data fusion ［J］. Frontiers in Plant Science， 2017（8）.

［3］Sammany M， Zagloul K. Support vector machine versus an optimized neural networks fro diagnosing plant diseases ［C］. Proceeding of Second International Computer Engineering Conference， 2006： 26-28.

［4］Sammany M， Medhat T. Dimensionality reduction using rough set approach for two neural networks-based applications ［C］. International Conference on Rough Sets and Intelligent Systems Paradigms. Springer， Berlin， Heidelberg， 2007： 639-647.

［5］Sabrol H， Satish K. Tomato plant disease classification in digital images using classification tree ［C］. 2016 International Conference on Communication and Signal Processing （ICCSP）， IEEE， 2016.

［6］Mohanty S P， Hughes D P， Salathé M. Using deep learning for image-based plant disease detection ［J］. Frontiers in Plant Science， 2016（7）： 1-10.

［7］Zhang P， Yang L， Li D. EfficientNet-B4-Ranger： A novel method for greenhouse cucumber disease recognition under natural complex environment ［J］. Computers and Electronics in Agriculture， 2020， 176.

［8］Li Z， Yang Y， Li Y， et al. A solanaceae disease recognition model based on SE-Inception ［J］. Computers and Electronics in Agriculture， 2020， 178.

［9］Too E C， Yujian L， Njuki S， et al. A comparative study of fine-tuning deep learning models for plant disease identification ［J］. Computers and Electronics in Agriculture， 2019， 161.

［10］Zhang M， Li X， Xu M， et al. Image segmentation and classification for sickle cell disease using deformable U-Net ［J］. arXiv， 2017.

［11］Yang J， Qiu K. An improved segmentation algorithm of CT image based on U-Net network and attention mechanism ［J］. Multimedia Tools and Applications， 2021， 81（25）： 1-24.

［12］Ngugi L C， Abelwahab M， Abo-Zahhad M. Tomato leaf segmentation algorithms for mobile phone applications using deep learning ［J］. Computers and Electronics in Agriculture， 2020， 178： 105788.

［13］Lin K， Gong L， Huang Y， et al. Deep learning-based segmentation and quantification of cucumber powdery mildew using convolutional neural network ［J］. Frontiers in Plant Science， 2019（10）： 155.

［14］張善文， 王振， 王祖良. 多尺度融合卷積神經(jīng)網(wǎng)絡(luò)的黃瓜病害葉片圖像分割方法［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2020， 36（16）： 149-157.Zhang Shanwen， Wang Zhen， Wang Zuliang. Method for image segmentation of cucumber disease leaves based on multi-scale fusion convolutional neural networks ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2020， 36（16）： 149-157.

［15］任守綱， 賈馥瑋， 顧興健， 等. 反卷積引導(dǎo)的番茄葉部病害識(shí)別及病斑分割模型［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2020， 36（12）： 186-195.Ren Shougang， Jia Fuwei， Gu Xingjian， et al. Recognition and segmentation model of tomato leaf diseases based on deconvolution-guiding ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2020， 36（12）： 186-195.

［16］Liang Q， Xiang S， Hu Y， et al. PD2SE-Net： Computer-assisted plant disease diagnosis and severity estimation network ［J］. Computers and Electronics in Agriculture， 2019， 157： 518-529.

［17］鄭志雄， 齊龍， 馬旭， 等. 基于高光譜成像技術(shù)的水稻葉瘟病病害程度分級(jí)方法［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2013， 29（19）： 138-144.Zheng Zhixiong， Qi Long， Ma Xu， et al. Grading method of rice leaf blast using hyperspectral imaging technology ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2013， 29（19）： 138-144.

［18］劉寶洋. 基于機(jī)器視覺的黃瓜葉部病害程度檢測(cè)系統(tǒng)研究［D］. 西安： 西京學(xué)院， 2020.Liu Baoyang. Research on the detection system of cucumber leaf diseases based on machine vision ［J］. Xian： Xijing University， 2020.

［19］Wspanialy P， Moussa M. A detection and severity estimation system for generic diseases of tomato greenhouse plants ［J］. Computers and Electronics in Agriculture， 2020， 178.

［20］Chen L C， Zhu Y， Papandreou G， et al. Encoder-decoder with atrous separable convolution for semantic image segmentation ［J］. Proceedings of the European Conference on Computer Vision （ECCV）， 2018： 801-818.

［21］Yu F， Koltun V. Multi-Scalecontext aggregation by dilated convolutions ［C］. ICLR. 2016.

［22］Chen L C， Papandreou G， Kokkinos I， et al. Semantic image segmentation with deep convolutional nets and fully connected CRFs ［J］. Computer Science， 2014（4）： 357-361.

［23］Howard A G， Zhu M， Chen B， et al. MobileNets： Efficient convolutional neural networks for mobile vision applications ［J］. arXiv， 2017.

［24］Onneberger O， Fischer P， Brox T. U-Net： Convolutional networks for biomedical image segmentation ［J］. Springer International Publishing， 2015.

［25］Long J， Shelhamer E， Darrell T. Fully convolutional networks for semantic segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 39（4）： 640-651.

［26］He K， Zhang X， Ren S， et al. Deep residual learning for image recognition ［J］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016， 770-778.

［27］Chollet F. Xception： Deep learning with depthwise separable convolutions ［J］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017， 1251-1258.

［28］Badrinarayanan V， Kendall A， Cipolla R. Segnet： A deep convolutional encoder-decoder architecture for image segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（12）： 2481-2495.

［29］Zhao H， Shi J， Qi X， et al. Pyramid scene parsing network ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017： 2881-2890.