中圖分類號(hào):TP391.41;S661.1 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):2095-5553(2025)08-0075-08
Abstract:Taking appleleaf lesionsas the research object,a semantic segmentation method based onan improved DeepLabV3+model for apple leaf disease spots is proposed to solvetheproblems of low segmentation acuracy and large numberof model parameters.In this paper,MobileNetV2 isemployedas the backbone featureextraction network of DeepLabV 3+ to reduce the model's parameter size. An MP—DenseASPP module is introduced,which adds the dilated convolution layers on topof ASPP and incorporates dense connections,along with a mixed poling module to enlarge the model'sreceptive fieldandenhance itsrobustness.Amulti-scaleshalow feature layerisdesigned toimprove the segmentation capability for multi-scaletargets.Furthermore,an improved AFFmodule,named ECAFF,is proposed to merge features across diferent levelsof themulti-scaleshallow feature layer,thereby boosting inter-layer feature fusion. The results show that the mean Intersection over Union(mIoU),mean pixel accuracy and F1 score of the improved DeepLabV3+ model on the ATLDSD dataset reach 72.22% , 88.77% and 83.44% ,representing increases of 1.10% , 4.73% and 1.02% ,respectively,compared to the original model. The floating-point operations and parameter number of the improved model are approximately reduced by 58.5% and 77.1% ,respectively,the average frame rate is increased by 6.67f/s compared to the original model. The proposed method significantly reduces the model's parameter number whileensuring theaccuracyofleaf diseasespot detection,meting thereal-timerequirementsandlayingafoundation for online detection of leaf disease spots based on semantic segmentation.
Keywords: apple leaves; disease segmentation; atention mechanism; feature fusion; deep learning
0 引言
蘋(píng)果是我國(guó)產(chǎn)量最大的水果,而病害是影響蘋(píng)果產(chǎn)量的重要因素之一[1]。受到環(huán)境和病菌等因素的影響,蘋(píng)果病害的發(fā)生往往發(fā)生在根莖、果實(shí)以及葉部區(qū)域,其中葉部區(qū)域發(fā)生病害次數(shù)較多,會(huì)產(chǎn)生諸如銹病、花葉病、斑點(diǎn)落葉病、褐斑病和灰斑病等多種病害,嚴(yán)重阻礙蘋(píng)果正常生長(zhǎng),影響蘋(píng)果的產(chǎn)量和質(zhì)量[2。因此蘋(píng)果葉片病害的實(shí)時(shí)檢測(cè)對(duì)病害有效防治,提高蘋(píng)果品質(zhì),減少果農(nóng)經(jīng)濟(jì)損失,促進(jìn)農(nóng)村經(jīng)濟(jì)發(fā)展等方面具有十分重要的意義。目前,果樹(shù)葉片病斑識(shí)別大多依賴果農(nóng)自身的肉眼與長(zhǎng)期經(jīng)驗(yàn)知識(shí)進(jìn)行識(shí)別和判斷,難以即時(shí)推廣及適應(yīng)大面積種植。隨著計(jì)算機(jī)軟硬件技術(shù)的發(fā)展,機(jī)器視覺(jué)技術(shù)在農(nóng)作物病害檢測(cè)領(lǐng)域中也被廣泛運(yùn)用,相較于傳統(tǒng)人工識(shí)別,機(jī)器視覺(jué)可以更加高效、客觀地獲取葉面病害信息,是未來(lái)智能化農(nóng)業(yè)發(fā)展的必然趨勢(shì)[3]。
隨著深度學(xué)習(xí)的不斷發(fā)展,越來(lái)越多的學(xué)者融合機(jī)器視覺(jué)與深度學(xué)習(xí)并應(yīng)用于植物病害分割與診斷,其中使用語(yǔ)義分割網(wǎng)絡(luò)可以同時(shí)進(jìn)行病斑分割與識(shí)別,完成植物病害檢測(cè)工作。Qi等4使用PSPNet模型對(duì)荔枝主脈圖像進(jìn)行語(yǔ)義分割。劉永波等[5提出基于U—Net算法的玉米病斑嚴(yán)重程度分級(jí)方法,試驗(yàn)表明該模型可以實(shí)現(xiàn)對(duì)玉米常見(jiàn)葉部病害程度的準(zhǔn)確客觀分級(jí)。Chen等在U—Net網(wǎng)絡(luò)跳躍連接結(jié)構(gòu)上添加SE模塊,構(gòu)建BLSNet語(yǔ)義分割網(wǎng)絡(luò),實(shí)現(xiàn)對(duì)水稻細(xì)菌性條斑病的分割與病害程度診斷。晁曉菲提出了用于提取全局上下文特征信息的斜紋池化方法以及十字交叉池化方法,實(shí)現(xiàn)對(duì)蘋(píng)果葉部多個(gè)方向的特征信息融合,并為模型加入全局空間注意力,最后將其應(yīng)用到U—Net網(wǎng)絡(luò)構(gòu)建DCPU一Net語(yǔ)義分割網(wǎng)絡(luò),實(shí)現(xiàn)對(duì)葉片病斑的語(yǔ)義分割。Wang等研究基于深度融合的黃瓜葉部病害嚴(yán)重程度,利用DeepLabV3網(wǎng)絡(luò)從復(fù)雜背景分割出黃瓜葉片。熊俊濤等9使用ResNet—34為主干網(wǎng)絡(luò)的DeepLabV3模型對(duì)荔枝花、葉進(jìn)行分割。顧文娟等[°]提出一種以CA—GhostNet作為DeepLabV3十的主干特征提取網(wǎng)絡(luò)用于番茄的多類別分割。李鑫然[]使用密集連接ASPP模塊作為DeepLabV3十的特征提取網(wǎng)絡(luò)將蘋(píng)果葉片從復(fù)雜背景中進(jìn)行提取,再將提取出的蘋(píng)果葉片送入基于FasterR—CNN構(gòu)建的檢測(cè)模型進(jìn)行病斑定位。
由于葉片病斑存在尺度不一、形態(tài)各異等特征,提升模型對(duì)多尺度病斑的檢測(cè)能力至關(guān)重要。而上述方法忽視了模型的多尺度特征提取能力,且部分方法為提高模型性能,導(dǎo)致模型參數(shù)量成倍增加,降低模型分割速度。
針對(duì)上述問(wèn)題,本文提出一種基于改進(jìn)的DeepLabV3十的蘋(píng)果葉片病斑分割算法。在編碼器中,引人MobileNetV2[12]網(wǎng)絡(luò)以壓縮模型、提高檢測(cè)速度;在ASPP模塊中引人密集連接和混合池化模塊構(gòu)建具有雙重池化結(jié)構(gòu)的MP—DenseASPP,以獲得更大的感受野,加強(qiáng)對(duì)各種形狀的葉片缺陷的特征提取能力;同時(shí),對(duì)解碼器進(jìn)行改進(jìn),提出ECAFF模塊和多尺度淺層特征層,進(jìn)一步增強(qiáng)對(duì)多尺度病斑的檢測(cè)識(shí)別能力。
1 DeepLabV3+算法
DeepLabV3+[13是一種在分割精度和計(jì)算效率之間取得平衡的語(yǔ)義分割模型,在許多領(lǐng)域中得到了廣泛的應(yīng)用,其模型結(jié)構(gòu)如圖1所示。該算法通過(guò)引入一系列新的特征提取模塊和空洞卷積模塊,從而有效地提高模型的分割精度和計(jì)算效率。DeepLabV3十采用Xception[14]模型作為其主干網(wǎng)絡(luò),以增加模型的深度和感受野。同時(shí),為了減小分辨率下降對(duì)分割精度的影響,DeepLabV3+使用了一種“空洞空間金字塔池化\"(ASPP)的多尺度特征提取模塊。該模塊可以在不同尺度下提取特征,并通過(guò)空洞卷積將這些特征進(jìn)行融合,從而使模型能夠更好地理解不同尺寸和形狀的物體。除了ASPP模塊,DeepLabV3十還使用了一種編碼器一解碼器的結(jié)構(gòu),用于將低分辨率的特征圖上采樣到原始分辨率,并與高分辨率的特征圖進(jìn)行融合,從而提高分割精度。
圖1DeepLabV3+模型 Fig.1DeepLabV3+ model
2改進(jìn)DeepLabV3+語(yǔ)義分割算法
2.1 總體框架改進(jìn)設(shè)計(jì)
設(shè)計(jì)一種基于改進(jìn)DeepLabV3 + 的蘋(píng)果葉面病斑分割模型,圖2為改進(jìn)后的DeepLabV3+模型結(jié)構(gòu)。從4個(gè)方面進(jìn)行改進(jìn):(1)將傳統(tǒng)的Xception主干網(wǎng)絡(luò)用輕量級(jí)的MobileNetV2網(wǎng)絡(luò)替代,以減少模型的參數(shù)量,提高模型的計(jì)算速度。(2)密集連接空洞率為3、6、12、18、24的空洞卷積層,同時(shí)并聯(lián)混合池化模塊[15](MPM),構(gòu)成具有雙重池化結(jié)構(gòu)的MP—
DenseASPP模塊,可以增大模型感受野,并增強(qiáng)模型對(duì)不同形狀病斑的特征提取能力。(3)選取MobileNetV2處理過(guò)程中3個(gè)不同大小的特征圖,進(jìn)行不同倍數(shù)的雙線性插值上采樣,將通道數(shù)和特征圖尺寸調(diào)整至相同,接著按照原始特征圖大小依次融合,輸出最終融合特征圖,增強(qiáng)模型對(duì)多尺度病斑的分割能力。(4)提出ECAFF模塊,在AFF模塊中嵌入ECA注意力機(jī)制,避免原本AFF模塊先降維再升維導(dǎo)致通道信息缺失,進(jìn)一步增強(qiáng)該模塊的特征融合表現(xiàn)。
圖2改進(jìn)DeepLabV3+模型結(jié)構(gòu)Fig.2 Improved DeepLabV3+ model structure
2.2 MobileNetV2模塊
DeepLabV3+主干網(wǎng)絡(luò)Xception雖然有較為良好的檢測(cè)精度,但該網(wǎng)絡(luò)參數(shù)量、浮點(diǎn)計(jì)算量較大,需要更多的計(jì)算資源,不能實(shí)現(xiàn)葉片病斑的快速分割,因此,采用輕量化MobileNetV2模塊,在大幅度提高模型計(jì)算速度的同時(shí)與分割準(zhǔn)確率得到了較好的平衡。
MobileNetV2是一種專為嵌人式平臺(tái)設(shè)計(jì)的輕量級(jí)深度神經(jīng)網(wǎng)絡(luò)。其采用逆殘差結(jié)構(gòu)來(lái)取代傳統(tǒng)的非線性激活變換,從而構(gòu)建基于MobileNetV2的倒置殘差塊(InvertedResidualBlock),結(jié)構(gòu)如圖3所示。
上,為實(shí)現(xiàn)從低維空間到高維空間的映射并減少通道數(shù),引人擴(kuò)展層(Expansionlayer)和投影層(Projectionlayer)。在投影層中,選擇使用線性激活函數(shù)而非ReLU激活函數(shù),以避免后者可能引起的特征信息的丟失或破壞。
2.3 MP一DenseASPP網(wǎng)絡(luò)構(gòu)建
在DeepLabV3+模型中,ASPP在葉片病斑語(yǔ)義分割應(yīng)用過(guò)程中存在一定的局限性。自然場(chǎng)景中葉片的分割和葉片上尺寸較大的病斑分割通常需要較大的感受野。但是,由于空洞卷積的特性,在進(jìn)行卷積運(yùn)算時(shí),ASPP僅選取少量的像素點(diǎn)進(jìn)行運(yùn)算,導(dǎo)致大量信息丟失。同時(shí),傳統(tǒng)方形卷積核的感受域決定了ASPP對(duì)狹長(zhǎng)形缺陷的檢測(cè)效果變差,并且當(dāng)葉片病斑處于離散狀態(tài)時(shí),方形卷積核不可避免地會(huì)合并來(lái)自無(wú)關(guān)區(qū)域的污染信息。針對(duì)上述問(wèn)題,將混合池化模塊引入DenseASPP[16]中構(gòu)成MP—DenseASPP模塊。
圖3倒置殘差塊結(jié)構(gòu) Fig.3 Inverted residual block structure
倒置殘差塊的核心是利用深度可分離卷積進(jìn)行特征提取,通過(guò)大量的 1×1 卷積核對(duì)輸入的每個(gè)通道單獨(dú)進(jìn)行卷積處理,進(jìn)而整合各通道之間的信息。殘差分支直接將輸人與輸出連接起來(lái)。在網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)
MP一DenseASPP模塊通過(guò)將上層各個(gè)空洞卷積輸出的特征圖傳遞到下一層的空洞卷積,并與下一層的特征圖進(jìn)行拼接,從而構(gòu)建一個(gè)更為密集的特征金字塔,實(shí)現(xiàn)空洞卷積層感受野的逐層增加,有效規(guī)避了ASPP模塊中核退化的問(wèn)題。同時(shí),通過(guò)一系列拼接操作,使模塊最終輸出的特征圖不僅包含了廣泛的語(yǔ)義信息,而且以極其密集的方式覆蓋了這些信息范圍,從而提高了模型在處理復(fù)雜圖像時(shí)的性能和準(zhǔn)確度。此外,并聯(lián)MPM模塊組成雙重池化模塊,強(qiáng)化了模型對(duì)遠(yuǎn)程和近程的上下文信息的捕捉能力,加強(qiáng)了對(duì)狹長(zhǎng)形葉面缺陷的識(shí)別能力,使模型在特征提取階段能更好地識(shí)別和處理各種形狀的缺陷特征。MP—DenseASPP網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。
首先,將原始深層特征信息傳到輸出位置,再依次進(jìn)行空洞率rate為3、6、12、18、24的空洞卷積,每個(gè)空洞卷積層的輸人都是前面所有卷積層的輸出和初始輸人特征的連接。接著,對(duì)原始深層特征信息進(jìn)行全局平均池化和混合池化操作。最后,將所有輸出特征圖融合拼接,得到最終輸出特征圖。
混合池化模塊由兩個(gè)子模塊組成,分別是條帶池化模塊(SPM)和金字塔池化模塊(PPM)[17],如圖5所示。條帶池化和金字塔池化分別用于捕獲長(zhǎng)距離和短距離的依賴關(guān)系,從而更好地適應(yīng)于不同形狀的物體。
金字塔池化(PP)過(guò)程如圖5(a)所示,為了解決輸入特征圖大小不同的問(wèn)題,對(duì)每一張輸人特征圖采用不同尺寸的池化操作,得到尺度不同的低維輸出特征圖,通過(guò)雙線性插值上采樣和Concat操作,得到與原始輸入特征映射相同尺寸的特征圖并進(jìn)行拼接,從而得到最后的輸出特征圖。
條帶池化(SP)過(guò)程如圖5(b)所示,是一個(gè)沿著空間維度部署的長(zhǎng)條形狀的池化核,在條帶池化中,將當(dāng)前的特征圖按照一定的規(guī)則劃分為若干條帶狀區(qū)域,每個(gè)帶狀區(qū)域再執(zhí)行標(biāo)準(zhǔn)的池化操作,從而得到一組池化后的小特征圖。同時(shí),SP帶狀池化的設(shè)計(jì)是輕量級(jí)的。
假設(shè) x∈Rc×H×W 為輸人張量。若對(duì)其使用池化核為 1×W 的水平池化,則輸出的列向量為 c× H×1 ,如式(1)所示。
式中: c 一 特征圖的通道數(shù);
H,W —特征圖的寬和高;
i,j? ——特征圖中第 i 行和第 j 列的像素位置;
JH 一水平方向的條帶池化。
類似地,若對(duì)其使用池化核為 W×1 的垂直池化,則輸出的行向量為 C×1×H ,如式(2)所示。
式中: yv 垂直方向的條帶池化。
2.4多尺度淺層特征層設(shè)計(jì)
淺層特征層包含一些局部、細(xì)微的特征信息,能夠獲得像素級(jí)的定位精度[18],而深層特征是全局的特征,能夠獲得上下文信息和準(zhǔn)確的語(yǔ)義信息。像素分類依賴于高維和低維特征,因而淺層與深層特征的融合,可以獲得更加強(qiáng)大的特征表達(dá)。所以增強(qiáng)淺層特征層的特征表現(xiàn),提高特征圖融合性能對(duì)于提高圖像分割性能具有重要意義?;诖?,提出一種多尺度淺層特征層以提高網(wǎng)絡(luò)分割語(yǔ)義信息表征能力,其結(jié)構(gòu)如圖6所示。
首先,將MobileNetV2中大小為 128×128×24 64×64×32 和 32×32×64 的特征圖作為特征層的輸入。其次,對(duì)輸入特征圖進(jìn)行 1×1 卷積調(diào)整通道數(shù)為48,使3個(gè)輸入特征圖的通道數(shù)保持一致。然后,分別對(duì)尺寸為 64×64×48 和 32×32×48 的特征圖進(jìn)行2倍和4倍雙線性插值上采樣,調(diào)整尺寸與感受野為128×128×48 。最后,將特征圖按原始尺寸從大到小的順序依次合并,輸出尺寸為 128×128×144 的多尺度淺層融合特征圖。最后輸出的融合特征圖具有豐富的語(yǔ)義和空間信息,有助于提高葉面多尺度病斑分割精度。
2.5 ECAFF模塊設(shè)計(jì)
在2.4節(jié)提出的多尺度淺層特征層中只是將3個(gè)淺層特征層直接進(jìn)行拼接融合,存在融合后通道數(shù)過(guò)多和分割對(duì)象細(xì)節(jié)信息丟失的問(wèn)題。因此,針對(duì)上述不足,在AFF模塊19的基礎(chǔ)上進(jìn)行改進(jìn),提出ECAFF模塊以聚合特征圖的上下文信息,同時(shí)降低模型復(fù)雜程度,其結(jié)構(gòu)如圖7所示。
改進(jìn)ECAFF模塊的結(jié)構(gòu)如圖7(a)所示。由于MS一CAM模塊中的局部注意力和全局注意力會(huì)將輸入特征 X,Y 的通道數(shù)先減少為原來(lái)的 1/r ,最后再恢復(fù)為原始通道數(shù),這種對(duì)通道數(shù)的升降維操作會(huì)讓通道注意力捕獲所有通道之間依存關(guān)系的效率和準(zhǔn)確率降低。為了解決通道升降維帶來(lái)的副作用,使用ECA注意力機(jī)制,分別串聯(lián)于局部加權(quán)特征圖和全局加權(quán)特征圖后,對(duì)兩種特征圖分別進(jìn)行完整通道數(shù)的特征加權(quán),讓模塊更有效地捕獲跨通道的信息交互,增強(qiáng)融合后特征圖的特征表現(xiàn)。
在原始AFF模中,輸入特征 X 和 Y 經(jīng)過(guò)元素相加,輸出到多尺度通道注意力模塊(MS一CAM)中獲取通道方向的注意力權(quán)重,MS一CAM結(jié)構(gòu)如圖7(b)所示。MS一CAM左側(cè)分支提取全局通道注意力,與右側(cè)分支提取局部通道注意力結(jié)合后生成輸人特征的通道注意力權(quán)重,該權(quán)重分別與 X,Y 相乘后產(chǎn)生的特征圖的結(jié)果進(jìn)行相加,輸出得到最終的特征圖 Z O
ECA注意力機(jī)制結(jié)構(gòu)2如圖8所示,首先對(duì) c× H×W 的輸人特征圖進(jìn)行全局平均池化(GAP)得到1×1×C 的特征圖,接著由式(1確定 k 的大小,進(jìn)行卷積核大小為 k 的一維卷積,并經(jīng)過(guò)Sigmoid激活函數(shù)獲得 0~1 的歸一化權(quán)重值,并將其加權(quán)到每個(gè)通道的特征中,輸出具有通道注意力的特征圖。
超參數(shù), γ=2,b=1 。
3 試驗(yàn)結(jié)果及分析
3.1試驗(yàn)參數(shù)配置及試驗(yàn)數(shù)據(jù)集
試驗(yàn)運(yùn)行環(huán)境如表1所示,在模型訓(xùn)練中,試驗(yàn)采用批次迭代訓(xùn)練法,共迭代200次,前50次訓(xùn)練為凍結(jié)訓(xùn)練,后15O次為解凍訓(xùn)練,batchsize設(shè)置為16,學(xué)習(xí)率設(shè)置為0.007,使用隨機(jī)梯度下降法SGD優(yōu)化器更新權(quán)重參數(shù),動(dòng)量設(shè)置為0.9。此外,試驗(yàn)中利用遷移學(xué)習(xí)思想在訓(xùn)練前先載入主干網(wǎng)絡(luò)MobileNetV2的預(yù)訓(xùn)練模型權(quán)重,將預(yù)訓(xùn)練參數(shù)更新至改進(jìn)網(wǎng)絡(luò)中訓(xùn)練,使得模型能夠加速收斂。
表1試驗(yàn)環(huán)境配置Tab.1 Experimental environment configuration
為驗(yàn)證改進(jìn)模型的可行性和優(yōu)勢(shì)性,使用ATLDSD公開(kāi)數(shù)據(jù)集進(jìn)行訓(xùn)練和驗(yàn)證。ATLDSD數(shù)據(jù)集共包含4種病害和健康葉片圖像共1644幅作為供試數(shù)據(jù)集,其中斑點(diǎn)落葉病279幅、褐斑病216幅、灰斑病396幅、銹病344幅及健康葉片409幅。供試圖像中大田背景居多,僅有小部分樣本在實(shí)驗(yàn)室獲取。本文以9:1隨機(jī)劃分訓(xùn)練集和驗(yàn)證集,為客觀評(píng)價(jià)改進(jìn)模型在該數(shù)據(jù)集的表現(xiàn),不對(duì)數(shù)據(jù)集圖像進(jìn)行數(shù)據(jù)增強(qiáng)處理。
3.2 試驗(yàn)評(píng)價(jià)指標(biāo)
圖8ECA注意力機(jī)制Fig.8 ECA attention mechanism
選取平均交并比(mIoU)、平均像素精度 (mPA) )、F1 分?jǐn)?shù)、浮點(diǎn)計(jì)算量 (FLOPs) 參數(shù)量(Params)以及檢測(cè)速度 (FPS) 作為模型的評(píng)價(jià)指標(biāo),計(jì)算如式(4)~式(8)所示。平均交并比反映預(yù)測(cè)病斑與實(shí)際病斑的重合程度;平均像素精度反映病斑檢測(cè)的可靠程度; F1 分?jǐn)?shù)是通過(guò)綜合評(píng)價(jià)查全率(Recal)和查準(zhǔn)率(Precision)的評(píng)價(jià)指標(biāo),分?jǐn)?shù)越大表示分割效果越佳。參數(shù)量和浮點(diǎn)計(jì)算量為評(píng)價(jià)模型體積的重要指標(biāo),越低表示模型的輕量化程度越高。檢測(cè)速度為模型1s處理的圖像數(shù)量,指標(biāo)越高表示模型推理速度越快。
ECA注意力機(jī)制的計(jì)算如式(3)所示,其中, γ,b 為
式中: 真實(shí)類別為 a 被預(yù)測(cè)為 b 的樣本個(gè)數(shù);?aa 真實(shí)類別為 a 且被正確預(yù)測(cè)的樣本數(shù);?ba 真實(shí)類別為 b 被預(yù)測(cè)為 a 的樣本個(gè)數(shù);$\textcircled { \rho } _ { b b }$ 真實(shí)類別為 b 且被正確預(yù)測(cè)的樣本數(shù);K? 一 除背景類的其他類別總數(shù)。
3.3 損失函數(shù)
損失函數(shù)是評(píng)估深度學(xué)習(xí)模型的一種度量方式。Dice損失函數(shù)是一種語(yǔ)義分割任務(wù)常用的損失函數(shù),適用于訓(xùn)練類別不平衡的分割模型,在類別不平衡的情況下可以達(dá)到更好的效果。其表達(dá)式如式(9)所示。
式中: yi 一第 i 個(gè)像素點(diǎn)的標(biāo)簽值;?ρi 一第 i 個(gè)像素點(diǎn)的預(yù)測(cè)概率值;N? —像素點(diǎn)總數(shù);£ 平滑系數(shù)。
為加快收斂,減少過(guò)擬合,ε值設(shè)置為1。
圖9為改進(jìn)后的DeepLab ΔV3+ 模型和傳統(tǒng)DeepLabV3十模型在模型訓(xùn)練時(shí)的訓(xùn)練損失和驗(yàn)證損失。兩種模型的兩種損失值都隨網(wǎng)絡(luò)訓(xùn)練迭代次數(shù)增加而遞減,并且逐漸趨于平穩(wěn)、收斂。
其中,改進(jìn)模型的損失值曲線和準(zhǔn)確度曲線收斂速度比傳統(tǒng)DeepLab V3+ 算法快,且損失值更低,波動(dòng)小。
3.4消融實(shí)驗(yàn)
為驗(yàn)證不同改進(jìn)模塊對(duì)改進(jìn)模型的影響,設(shè)計(jì)與DeepLab .V3+ 原模型的對(duì)比消融實(shí)驗(yàn)來(lái)驗(yàn)證改進(jìn)的有效性,以方案A為基準(zhǔn)模型,設(shè)計(jì)對(duì)模型的不同處理方法如表2所示。
表2不同處理方法Tab.2Different processing methods
為驗(yàn)證改進(jìn)方案的檢測(cè)效果,在ATLDSD數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn),并進(jìn)行對(duì)比分析。為確保實(shí)驗(yàn)的嚴(yán)謹(jǐn)性,模型訓(xùn)練和測(cè)試均使用同一數(shù)據(jù)集和驗(yàn)證集,并且在實(shí)驗(yàn)過(guò)程中使用相同的參數(shù)配置,消融實(shí)驗(yàn)的結(jié)果如表3所示。
表3消融實(shí)驗(yàn)結(jié)果 Tab.3 Results of ablation experiment
由表3可知,改進(jìn)后的DeepLabV3十模型在性能方面有比較明顯的提升。具體地,相較于傳統(tǒng)的DeepLabV3十模型,方案B的參數(shù)量減少 186.52MB ,浮點(diǎn)計(jì)算量減少113.975G,其他指標(biāo)卻只有略微的降低,表明將傳統(tǒng)DeepLabV3+模型的Xception主干特征提取網(wǎng)絡(luò)改為更輕量級(jí)的MobileNetV2網(wǎng)絡(luò)可明顯減少模型參數(shù)量,顯著提高推理速度。改進(jìn)模型與方案D對(duì)比發(fā)現(xiàn),所有評(píng)價(jià)指標(biāo)均優(yōu)于方案D,浮點(diǎn)計(jì)算量和參數(shù)量也分別減少 7.15G,0.83MB ,檢測(cè)速度增加7.14幀/s,這說(shuō)明通過(guò)添加所提出的ECAFF特征融合模塊,可以在提升網(wǎng)絡(luò)性能的同時(shí)減少參數(shù)量。改進(jìn)模型相比于方案B、方案C、方案D,在平均交并比、平均像素精度和 F1 分?jǐn)?shù)均有不同程度的提升。改進(jìn)模型對(duì)比傳統(tǒng)的DeepLab V3+ 模型,浮點(diǎn)計(jì)算量減少97.658G,參數(shù)量減少 160.92MB ,檢測(cè)速度增加6.67幀/s,平均交并比、平均像素精度和 F1 分?jǐn)?shù)分別提升 1.10%.4.73%.1.02%
5種方案在驗(yàn)證集上的實(shí)際預(yù)測(cè)結(jié)果如圖10所示,其中,對(duì)于斑點(diǎn)落葉病,5種方案都能正確地識(shí)別出病斑區(qū)域,但是方案 A~ 方案D對(duì)于葉片邊緣的分割還不夠準(zhǔn)確,出現(xiàn)漏識(shí)和誤識(shí)的現(xiàn)象,而改進(jìn)模型則很好地分割出病斑區(qū)域和葉片邊緣。對(duì)于褐斑病,方案B表現(xiàn)最差,方案A、方案C、方案D和改進(jìn)模型都能識(shí)別出大部分病斑,但是都存在漏檢現(xiàn)象。對(duì)于灰斑病,方案A、方案C能正確分割出葉片但存在病斑漏檢的現(xiàn)象,方案B能檢測(cè)出全部病斑但是邊緣分割不準(zhǔn)確,方案D與改進(jìn)模型處理較好。對(duì)于銹病,方案 A~ 方案D準(zhǔn)確分割出葉片邊緣,但是出現(xiàn)誤檢現(xiàn)象,本文算法則能夠正確分割出邊緣和病斑。試驗(yàn)結(jié)果表明,所提出的基于改進(jìn)的DeepLab .V3+ 模型有效提高圖像語(yǔ)義分割性能,對(duì)比原始模型大量減少參數(shù)量,并在提升葉面病斑檢測(cè)精度的同時(shí)滿足實(shí)時(shí)性要求。
3.5 對(duì)比試驗(yàn)
為進(jìn)一步驗(yàn)證改進(jìn)DeepLabV3 + 模型的葉面病斑檢測(cè)性能,將改進(jìn)模型與U一Net和PSPNet進(jìn)行性能對(duì)比,結(jié)果如表4所示。改進(jìn)模型相較于U一Net和PSPNet模型,浮點(diǎn)計(jì)算量分別增加16.317G和63.186G,參數(shù)量分別增加 25.6MB?38.72MB ,檢測(cè)速度分別降低1.55幀/s、55.4幀/s,但是在平均交并比、平均像素精度和F1分?jǐn)?shù)上分別比U—Net提高2.71%.10.25%.3.6% ,比PSPNet分別提高 3.63% 、8.1%.4.12% 。U—Net和PSPNet模型雖檢測(cè)效率比改進(jìn)模型高,但是以犧牲精度為代價(jià),檢測(cè)效果不佳,不利于蘋(píng)果樹(shù)葉片病斑的準(zhǔn)確識(shí)別。
表4主流算法性能對(duì)比 Tab.4 Performance comparison of mainstream algorithms
不同模型在驗(yàn)證集上的實(shí)際預(yù)測(cè)結(jié)果如圖11所示。其中,PSPNet邊緣分割不準(zhǔn)確,細(xì)小特征提取能力差;U一Net對(duì)于邊緣分割比較準(zhǔn)確,對(duì)于細(xì)小特征的提取存在誤檢的現(xiàn)象。改進(jìn)后的模型在整體和局部的分割精度均優(yōu)于其他模型,誤識(shí)率低,邊緣分割光滑。
圖12不同模型分割結(jié)果
綜上,所提出的基于改進(jìn)的DeepLabV3 3+ 模型對(duì)比另外兩種主流算法在蘋(píng)果樹(shù)葉片病斑識(shí)別準(zhǔn)確性和實(shí)時(shí)性之間做到較好的平衡,在試驗(yàn)中檢測(cè)效果最好。
4結(jié)論
1)在編碼器中,將特征提取主干網(wǎng)絡(luò)的Xception模塊替換成輕量級(jí)的MobileNetV2模塊,使用
DenseASPP和混合池化模塊構(gòu)建MP—DenseASPP作為模型的池化模塊,提高模型的特征提取能力,并有效降低模型大小。在解碼器中,構(gòu)建ECAFF模塊和多尺度淺層特征層,加強(qiáng)模型對(duì)多尺度病斑的檢測(cè)識(shí)別能力。
2)改進(jìn)后模型的平均交并比、平均像素精度、F1 分?jǐn)?shù)和檢測(cè)速度相較于原模型分別提升 1.10% 、4.73%.1.02% 和6.67幀/s,浮點(diǎn)計(jì)算量和參數(shù)量對(duì)比原模型分別減少約 58.5%.77.1% ,在降低模型大小的同時(shí)提高模型分割精度。相較于其他常用的語(yǔ)義分割模型(PSPNet、U—Net),該模型在準(zhǔn)確率與模型復(fù)雜程度之間取得較好的平衡。
3)所提出的基于改進(jìn)DeepLabV3 + 的蘋(píng)果葉面病 斑語(yǔ)義分割方法實(shí)現(xiàn)對(duì)蘋(píng)果葉面病斑的識(shí)別與分割,為 蘋(píng)果樹(shù)葉片病害實(shí)時(shí)檢測(cè)和精準(zhǔn)分級(jí)提供技術(shù)支撐。
參考文獻(xiàn)
[1]王彩峰,史建民.山東省蘋(píng)果種植面積的時(shí)空演變特征分 析[J].中國(guó)農(nóng)業(yè)資源與區(qū)劃,2017,38(12):170—177.
[2]Khan AI,Quadri S MK,Banday S,et al.Deep diagnosis:A real-time apple leaf disease detection system based on deep learning [J]. Computers and Electronics in Agriculture,2022,198:107093.
[3]翟肇裕,曹益飛,徐煥良,等.農(nóng)作物病蟲(chóng)害識(shí)別關(guān)鍵技 術(shù)研究綜述[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2021,52(7):1-18. Zhai Zhaoyu,Cao Yifei,Xu Huanliang,et al. Review of key techniques for crop disease and pest detection [J]. Transactions of the Chinese Society for Agricultural Machinery,2021,52(7):1—18.
[4]QiX,Dong J,Lan Y,et al.Method for identifying litchi picking position based on YOLOv5 andPSPNet [J]. Remote Sensing,2022,14(9):2004.
[5]劉永波,胡亮,曹艷,等.基于U—Net的玉米葉部病斑 分割算法[J].中國(guó)農(nóng)學(xué)通報(bào),2021,37(5):88-95.
[6]Chen X,Lian Y,Jiao L,et al. Supervised edge attentionnetworkforaccurateimage instance segmentation[C]. Computer Vision-ECCV, 2020: 617—631.
[7]晁曉菲.基于深度學(xué)習(xí)的常見(jiàn)蘋(píng)果葉片病害識(shí)別與病斑 分割方法研究[D].楊凌:西北農(nóng)林科技大學(xué),2022.
[8]Wang C,Du P,Wu H,etal. A cucumber leaf disease severity classification method based on the fusion of DeepLabV3+andU—Net[J]. Computersand Electronics in Agriculture,2021,189:106373.
[9]熊俊濤,劉柏林,鐘灼,等.基于深度語(yǔ)義分割網(wǎng)絡(luò)的荔 枝花葉分割與識(shí)別[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2021,52(6): 252-258. Xiong Juntao,Liu Bolin, Zhong Zhuo,et al. Litchi flower semantic segmentation [J]. Transactions of the Chinese Societyfor AgriculturalMachinery,2O21,52(6): 252-258.
[10]顧文娟,魏金,陰艷超,等.基于改進(jìn)DeepLabV3十的番 茄圖像多類別分割方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2023, 54(12):261—271. Gu Wenjuan,Wei Jin,Yin Yanchao,et al. Mult-category segmentation method of tomato image based on improved DeepLabV3+ [J]. Transactions of the Chinese Society for Agricultural Machinery,2023,54(12):261—271.
[11]李鑫然.基于深度學(xué)習(xí)的蘋(píng)果葉片病害檢測(cè)方法研 究[D].楊凌:西北農(nóng)林科技大學(xué),2021.
[12]Sandler M,Howard A,Zhu M,et al. MobileNetV2: Inverted residuals and linear bottenecks [C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2018: 4510—4520.
[13] Chen L,Zhu Y,Papandreou G,et al.Encoder-decoder with atrous separable convolution for semantic image segmentation[C].ProceedingsoftheEuropean Conference on ComputerVision (ECCV), 2018: 801—818.
[14]Chollet F. Xception:Deep learning with depthwise separable convolutions [C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017:1251—1258.
[15]Hou Q,Zhang L,Cheng M,et al.Strip pooling: Rethinkingspatial pooling forsceneparsing[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2020: 4003—4012.
[16] Yang M,Yu K, Zhang C,et al. Denseaspp for semantic segmentation in street scenes [C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2018:3684—3692.
[17] Zhao H,Shi J,Qi X,et al.Pyramid scene parsing network [C]. Proceedings of the IEEE Conference on ComputerVision andPatternRecognition, 2017: 2881—2890.
[18]黃聰,楊珺,劉毅,等.基于改進(jìn)DeepLabV3十的遙感圖像 分割算法[J].電子測(cè)量技術(shù),2022,45(21):148-155.
[19]Dai Y,Gieseke F,Oehmcke S,et al. Attentional feature fusion[C]. Proceedings of theIEEE/CVF Winter Conference on Applications of Computer Vision,2021: 3560-3569.
[20] Wang Q,Wu B,Zhu P,et al. ECA—Net:Efficient channelattention fordeepconvolutionalneural networks[C]. Proceedings of the IEEE/CVF Conference onComputer Vision and Pattern Recognition,2020: 11534—11542.