李 昊,王 斌,2

1(南京財(cái)經(jīng)大學(xué) 信息工程學(xué)院,南京 210023)

2(智能機(jī)器人湖北省重點(diǎn)實(shí)驗(yàn)室(武漢工程大學(xué)),武漢 430205)

1 前言

農(nóng)作物在生長(zhǎng)過(guò)程中,容易遭受細(xì)菌、真菌、害蟲(chóng)等的侵害,感染各種疾病,從而極大的影響了農(nóng)作物的產(chǎn)量和品質(zhì). 比如深受人們喜愛(ài)的蘋(píng)果,?；嫉娜~片疾病有斑點(diǎn)落葉病、灰斑病和銹病等[1](如圖1 所示).如何有效的防控農(nóng)作物病蟲(chóng)害,是農(nóng)林業(yè)研究領(lǐng)域和業(yè)界的一個(gè)普遍關(guān)注的問(wèn)題.

圖1 遭受不同病害的葉片病斑圖像

防控農(nóng)作物病害首先要對(duì)病害類(lèi)型進(jìn)行準(zhǔn)確的識(shí)別,由于農(nóng)作物患病會(huì)在葉片部位留下明顯的病斑(如圖1 所示),葉片的病斑視覺(jué)表征常作為區(qū)分不同病害類(lèi)型的重要依據(jù).

通過(guò)觀察葉片的病斑來(lái)確定病害類(lèi)型,需要專(zhuān)業(yè)的知識(shí),但是我國(guó)植保專(zhuān)家數(shù)量有限,人工識(shí)別成本高昂,并不適合一般的農(nóng)民. 而且有些類(lèi)型病害的病斑比較相似,人眼很難區(qū)分,誤判率較高,所以迫切需要一種能夠自動(dòng)、快速、準(zhǔn)確識(shí)別葉片病害的方法. 近些年來(lái),研發(fā)基于計(jì)算機(jī)視覺(jué)和圖像處理技術(shù)的農(nóng)作物病害自動(dòng)識(shí)別系統(tǒng),成為了人工智能應(yīng)用研究的一個(gè)熱點(diǎn).

在傳統(tǒng)的病害圖像識(shí)別方法中,特征的提取主要依賴(lài)于手工設(shè)計(jì)的特征提取器,通過(guò)提取病害圖像的顏色、紋理、幾何形狀、空間關(guān)系等特征來(lái)進(jìn)行病害識(shí)別. 這種方法不需要強(qiáng)大的硬件設(shè)備支持,在小樣本數(shù)據(jù)集上可以取得不錯(cuò)的識(shí)別效果,但是大多都需要復(fù)雜的特征工程,因此費(fèi)時(shí)費(fèi)力,而且模型的魯棒性一般較差.

近年來(lái),由于大量數(shù)據(jù)的易于獲取和計(jì)算機(jī)硬件性能的提升,深度學(xué)習(xí)技術(shù)贏得了廣泛的關(guān)注和大量的應(yīng)用. 與傳統(tǒng)方法不同,深度學(xué)習(xí)方法可以自動(dòng)的提取特征,在大量數(shù)據(jù)的驅(qū)動(dòng)下,深層的網(wǎng)絡(luò)可以提取到病害圖像更深層的特征表示,模型的識(shí)別效果和泛化能力更好. 所以許多研究者聚焦于用深度學(xué)習(xí)技術(shù)解決葉片病害圖像識(shí)別問(wèn)題,取得了很好的識(shí)別效果. 尤其是深度卷積神經(jīng)網(wǎng)絡(luò)(如 LeNet-5[2]、AlexNet[3]、VGGNet[4]、GoogLeNet[5]、ResNet[6]、DenseNet[7]等)在病害圖像識(shí)別上效果上,相較于傳統(tǒng)的方法,取得了顯著的提升.

雖然也有許多深度學(xué)習(xí)方法應(yīng)用于農(nóng)作物葉片的病害識(shí)別,但現(xiàn)有的方法都是基于單一網(wǎng)絡(luò)的深度特征表示,而不同的深度網(wǎng)絡(luò)模型,對(duì)圖像的表征能力的互補(bǔ)性,這一有用的特性,沒(méi)有得到關(guān)注和研究. 為進(jìn)一步提升病害識(shí)別的準(zhǔn)確率,本文提出了一種用于融合不同種深度特征的網(wǎng)絡(luò)模型MDFF-Net. MDFFNet 將兩個(gè)預(yù)訓(xùn)練的深度網(wǎng)絡(luò)模型進(jìn)行并聯(lián),再為各個(gè)模型分別設(shè)置一個(gè)具有相同神經(jīng)元個(gè)數(shù)的全連接層,以將不同深度模型輸出的深度特征變換成相同維度的特征,實(shí)現(xiàn)它們的相加融合,再通過(guò)2 個(gè)全連接層的非線性變換,進(jìn)一步提升特征融合的效果. 雖然已有研究對(duì)不同網(wǎng)絡(luò)模型進(jìn)行融合的工作[8],但該類(lèi)融合僅限于用不同深度特征訓(xùn)練的分類(lèi)器的分類(lèi)結(jié)果的融合,并不產(chǎn)生融合的深度特征. 而本文首次提出將不同的深度網(wǎng)絡(luò)模型進(jìn)行連接,在模型訓(xùn)練中,對(duì)不同網(wǎng)絡(luò)產(chǎn)生的深度特征進(jìn)行融合,最后得到一個(gè)能夠提取融合的深度特征的網(wǎng)絡(luò)模型. 在我們的實(shí)驗(yàn)測(cè)試中,用該模型進(jìn)行蘋(píng)果病害識(shí)別,取得了比用單一的深度網(wǎng)絡(luò)模型更高的識(shí)別準(zhǔn)確率.

2 相關(guān)工作

基于計(jì)算機(jī)視覺(jué)的病害自動(dòng)識(shí)別的相關(guān)研究,在國(guó)內(nèi)外已有大量的報(bào)道. 現(xiàn)有的方法大體可以分為利用傳統(tǒng)方法手工提取特征和利用深度學(xué)習(xí)自動(dòng)提取特征兩類(lèi).

在傳統(tǒng)手工提取特征研究工作中,研究者通過(guò)設(shè)計(jì)特征提取器來(lái)提取病害葉片的一些形態(tài)學(xué)特征進(jìn)行識(shí)別. 張?jiān)讫埖热薣9]提出了一種基于顏色特征和差直方圖的蘋(píng)果病害識(shí)別方法,首先分割出病害圖像的病斑,然后通過(guò)計(jì)算病斑的顏色特征和差直方圖作為分類(lèi)特征,最后用SVM 進(jìn)行分類(lèi),識(shí)別率達(dá)到96%以上.針對(duì)復(fù)雜背景下的蘋(píng)果葉片分割問(wèn)題,張善文等人[10]提出了一種基于改進(jìn)的K-means 聚類(lèi)的蘋(píng)果葉片病斑分割算法. 通過(guò)使用快速全局K 中值聚類(lèi),解決了經(jīng)典K 均值聚類(lèi)算法的初始聚類(lèi)中心點(diǎn)隨機(jī)選擇而導(dǎo)致聚類(lèi)結(jié)果可能不正確、算法費(fèi)時(shí)等問(wèn)題,并消除了噪聲對(duì)聚類(lèi)結(jié)果的影響. 試驗(yàn)結(jié)果表明,本研究提出的方法提高了蘋(píng)果病害葉片圖像分割的準(zhǔn)確性,能夠有效、快速地發(fā)現(xiàn)并診斷蘋(píng)果病害. 李超等人[11]提出了一種基于特征融合與局部判別映射的病害識(shí)別方法.在該方法中,設(shè)計(jì)了一種ACS-LBP 病害葉片圖像分割和病斑圖像紋理特征提取方法,再融合了病斑圖像的形狀和顏色特征,再在LPP 和SLPP 算法的基礎(chǔ)上,提出了LDP 方法,由此對(duì)病斑圖像的分類(lèi)特征向量進(jìn)行維數(shù)約簡(jiǎn),最后利用SVM 進(jìn)行病害識(shí)別. 試驗(yàn)結(jié)果表明,本研究所提出方法有效. 師韻等人[12]提出了一種基于二維子空間學(xué)習(xí)維數(shù)約簡(jiǎn)(2DSLDR)的蘋(píng)果病害識(shí)別方法,首先將樣本圖像從高維空間映射到低維空間,使得同類(lèi)樣本特征距離更近,異類(lèi)樣本更加遠(yuǎn)離,從而得到最佳的分類(lèi)特征,此方法對(duì)3 種常見(jiàn)蘋(píng)果病害葉片識(shí)別,達(dá)到90%以上的識(shí)別率.

利用深度學(xué)習(xí)方法進(jìn)行病害識(shí)別可以自動(dòng)提取特征,不需要像傳統(tǒng)方法那樣設(shè)計(jì)復(fù)雜的特征提取器,研究者使用經(jīng)典的深度卷積神經(jīng)網(wǎng)絡(luò)或者改進(jìn)的網(wǎng)絡(luò)進(jìn)行病害識(shí)別取得了很好的效果. 宋晨勇等人[13]利用改進(jìn)的GoogLeNet 網(wǎng)絡(luò)模型對(duì)蘋(píng)果葉片病害進(jìn)行識(shí)別,在減少inception 模塊數(shù)量的基礎(chǔ)上,增加網(wǎng)絡(luò)前段卷積層和池化層的數(shù)量,使模型的識(shí)別精度提高2.1%,達(dá)到98.4%,但模型參數(shù)僅為原模型的17.5%. 陸仲達(dá)等人[14]針對(duì)復(fù)雜背景和病斑相似性的影響,提出了一種雙分支網(wǎng)絡(luò)(DBNet)用于蘋(píng)果葉片病害識(shí)別. 該方法將病害圖像的多尺度特征和多維注意力特征進(jìn)行融合,在蘋(píng)果病害圖像庫(kù)上的識(shí)別效果優(yōu)于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò). 為了解決葉片病害圖像中病斑較小而不易識(shí)別的問(wèn)題,鮑文霞等人[15]將選擇性核(SK)卷積模塊加入到VGG16 網(wǎng)絡(luò)模型中,使用全局平均池化代替全連接層,利用遷移學(xué)習(xí)進(jìn)行模型訓(xùn)練,實(shí)驗(yàn)結(jié)果表明該網(wǎng)絡(luò)有效提高了對(duì)微小病斑的識(shí)別能力,同時(shí)加快了網(wǎng)絡(luò)模型的收斂速度. 孫俊等人[16]針對(duì)卷積神經(jīng)網(wǎng)絡(luò)參數(shù)龐大,模型收斂速度慢的問(wèn)題,提出了一種將批歸一化和全局池化相結(jié)合的網(wǎng)絡(luò)模型,在包含多種植物和病害的公開(kāi)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),取得了較高的識(shí)別率且模型具有較強(qiáng)的魯棒性. Mohanty 等人[17]在含有14 種作物及26 種疾病共54 306 張圖片的Plant Village數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),利用深度卷積網(wǎng)絡(luò)模型和遷移學(xué)習(xí)策略進(jìn)行實(shí)驗(yàn),最終取得了99.35%的識(shí)別率. Ferentinos等人[18]利用一個(gè)含有87 848 張植物病害圖片的公開(kāi)數(shù)據(jù)集,其中包括25 種植物的58 個(gè)不同類(lèi)別,數(shù)據(jù)庫(kù)包括實(shí)驗(yàn)室和室外拍攝的病害圖片,利用深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn),其中VGG 網(wǎng)絡(luò)結(jié)構(gòu)達(dá)到了99.53%的識(shí)別率. Geetharamani 等人[19]構(gòu)造了一個(gè)9 層的卷積神經(jīng)網(wǎng)絡(luò),使用了6 種數(shù)據(jù)增強(qiáng)方法和遷移學(xué)習(xí)策略,對(duì)一個(gè)公開(kāi)的病害圖像庫(kù)進(jìn)行識(shí)別,達(dá)到了96.46%的識(shí)別率,而且證明了數(shù)據(jù)增強(qiáng)可以提高模型的性能.Karthik 等人[20]提出了兩種檢測(cè)番茄葉片病害的深層網(wǎng)絡(luò)結(jié)構(gòu). 一種是利用殘差網(wǎng)絡(luò)來(lái)學(xué)習(xí)特征進(jìn)行分類(lèi),另一種在殘差網(wǎng)絡(luò)的基礎(chǔ)上加上注意力機(jī)制. 實(shí)驗(yàn)表明,添加注意力機(jī)制的殘差網(wǎng)絡(luò)在包含3 種番茄疾病的數(shù)據(jù)集上進(jìn)行5 折交叉驗(yàn)證,最終達(dá)到了98%的準(zhǔn)確率.

3 兩種預(yù)訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)模型

3.1 VGG-16

VGG-16[4]的基本網(wǎng)絡(luò)模型如圖2 所示,VGG-16結(jié)構(gòu)比較簡(jiǎn)單,整個(gè)網(wǎng)絡(luò)都使用了相同大小的卷積核尺寸(3×3)和最大池化尺寸(2×2),通過(guò)反復(fù)堆疊3×3 的卷積核和2×2 的最大池化層構(gòu)成. VGG-16 擁有5 個(gè)卷積模塊,每個(gè)卷積模塊內(nèi)有2–3 個(gè)卷積層,在每一個(gè)卷積模塊的尾部連接一個(gè)最大池化層,用來(lái)縮小圖片. VGG-16 網(wǎng)絡(luò)的最后連接兩個(gè)神經(jīng)元數(shù)量為4 096 的全連接層和Softmax 分類(lèi)層.

圖2 用于蘋(píng)果葉片疾病分類(lèi)的VGG-16 網(wǎng)絡(luò)模型

相較于單獨(dú)使用一個(gè)較大的卷積核,VGG-16 選擇多個(gè)較小的卷積核串聯(lián),網(wǎng)絡(luò)會(huì)擁有更少的參數(shù)量,同時(shí)會(huì)比單獨(dú)一個(gè)卷積層擁有更多的非線性變換. 因?yàn)閂GG-16 網(wǎng)絡(luò)的優(yōu)勢(shì),許多網(wǎng)絡(luò)選擇VGG-16 來(lái)作為特征提取器.

3.2 ResNet

隨著網(wǎng)絡(luò)深度的增加,會(huì)出現(xiàn)一種退化現(xiàn)象,也就是當(dāng)網(wǎng)絡(luò)越來(lái)越深的時(shí)候,模型訓(xùn)練的準(zhǔn)確率趨于穩(wěn)定,但是訓(xùn)練誤差突然變大,這就是出現(xiàn)了梯度消失問(wèn)題,ResNet 就是為了解決這個(gè)問(wèn)題[6]. ResNet 不是通過(guò)疊加網(wǎng)絡(luò)層數(shù)來(lái)擬合期望的特征映射,而是通過(guò)引入殘差塊來(lái)擬合一個(gè)殘差映射,如圖3. 圖3(a)是ResNet-34網(wǎng)絡(luò)結(jié)構(gòu)里的殘差塊,圖3(b)是ResNet-50/101/152 網(wǎng)絡(luò)結(jié)構(gòu)里的殘差塊.

圖3 兩層及3 層的ResNet 殘差學(xué)習(xí)模塊

殘差網(wǎng)絡(luò)實(shí)際是由多個(gè)淺層網(wǎng)絡(luò)融合而成的,與普通網(wǎng)絡(luò)不同的地方就是引入了跳躍連接,也就是恒等映射(identity mapping),這樣在訓(xùn)練深層網(wǎng)絡(luò)的時(shí)候,避免了梯度消失的問(wèn)題,加速了網(wǎng)絡(luò)收斂.

4 本文提出的融合兩種深度特征的網(wǎng)絡(luò)模型MDFF-Net

不同的深度卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)原理有所不同,各個(gè)網(wǎng)絡(luò)在不同的病害識(shí)別任務(wù)上的優(yōu)勢(shì)也不一樣. 那么,將不同的網(wǎng)絡(luò)提取到的深度特征融合在一起是否能得到更好的葉片病害特征表達(dá)? 為探究此問(wèn)題,本文提出了MDFF-Net 網(wǎng)絡(luò),用于對(duì)不同類(lèi)型的深度特征進(jìn)行有效的融合,其網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示.

MDFF-Net 網(wǎng)絡(luò)由特征提取層、特征融合層、全連接層和分類(lèi)層構(gòu)成.

特征提取層由兩個(gè)不同的預(yù)訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)并聯(lián)而成,這些網(wǎng)絡(luò)都在ImageNet 圖像數(shù)據(jù)庫(kù)上進(jìn)行了預(yù)訓(xùn)練,作為特征提取器用來(lái)提取深度特征.MDFF-Net 網(wǎng)絡(luò)將預(yù)訓(xùn)練網(wǎng)絡(luò)的參數(shù)凍結(jié),并使用各自網(wǎng)絡(luò)的分類(lèi)層的前一層作為特征表示. 將圖像分別輸入預(yù)訓(xùn)練特征提取網(wǎng)絡(luò)模型,將分別得到對(duì)應(yīng)的特征向量.

特征融合層將提取到的兩個(gè)特征向量映射到相同的維度,然后對(duì)兩個(gè)同維的特征向量進(jìn)行Add 操作. 這里,我們?yōu)槊恳粋€(gè)模型附設(shè)了一個(gè)具有相同神經(jīng)元個(gè)數(shù)的全連接層(如圖4 中的兩個(gè)紅的實(shí)線框),采用ReLU 函數(shù)作為激活函數(shù),以實(shí)現(xiàn)將兩個(gè)不同長(zhǎng)度的特征向量變換成兩個(gè)相同長(zhǎng)度的特征向量,分別記為fa和fb,這里Add 操作定義為:

圖4 本文提出的用于融合兩個(gè)預(yù)訓(xùn)練模型深度特征的MDFF-Net 網(wǎng)絡(luò)結(jié)構(gòu)圖

其中,fab是融合后的特征向量,n代表融合后特征向量的維度.

然后將融合后的特征向量連接兩個(gè)全連接層,用來(lái)進(jìn)一步融合特征,為了避免過(guò)擬合,這兩個(gè)全連接層后均加上dropout 正則化策略,最后連接一個(gè)Softmax分類(lèi)層來(lái)進(jìn)行分類(lèi).

模型訓(xùn)練時(shí),每張圖片都是同時(shí)送入兩個(gè)特征提取層,特征提取層使用的是預(yù)訓(xùn)練網(wǎng)絡(luò)中的參數(shù),訓(xùn)練時(shí)固定不變,需要訓(xùn)練的參數(shù)是將不同網(wǎng)絡(luò)中提取到的特征映射到相同維數(shù)的層(即圖4 中的特征融合層)以及全連接層.

在蘋(píng)果葉片病害識(shí)別實(shí)驗(yàn)中,我們選取VGG-16和ResNet-50 分別作為預(yù)訓(xùn)練網(wǎng)絡(luò)Model A 和Model B 來(lái)提取特征. ResNet-50 網(wǎng)絡(luò)去掉最后的Softmax 分類(lèi)層,將前一層的輸出作為提取到的特征向量,維度為2 048. 將VGG-16 網(wǎng)絡(luò)分類(lèi)層的前一層作為特征向量,即fc7 層,其維度為4 096. 將這兩個(gè)特征向量分別映射到2 048 的維度,然后將兩個(gè)維度為2 048 的特征向量進(jìn)行Add 操作,融合成一個(gè)新的維度為2 048 的特征向量. 然后連接兩個(gè)神經(jīng)元個(gè)數(shù)為2 048 和512 的全連接層,最后使用Softmax 層對(duì)蘋(píng)果葉片病害種類(lèi)進(jìn)行預(yù)測(cè).

5 實(shí)驗(yàn)結(jié)果及分析

5.1 數(shù)據(jù)集

實(shí)驗(yàn)使用了公開(kāi)的蘋(píng)果葉片病害數(shù)據(jù)集來(lái)驗(yàn)證模型MDFF-Net 網(wǎng)絡(luò)的有效性,此數(shù)據(jù)集是由西北農(nóng)林科技大學(xué)創(chuàng)建,下載地址為: https://aistudio.baidu.com/aistudio/datasetdetail/11591. 該數(shù)據(jù)庫(kù)中的所有圖像都是使用BM-500GE 相機(jī)在實(shí)驗(yàn)室環(huán)境和室外環(huán)境拍攝的. 數(shù)據(jù)集包含5 種類(lèi)型蘋(píng)果疾病,其中斑點(diǎn)落葉病5 343 張,褐斑病5 655 張,灰斑病4 810 張,花葉病4 875張,銹病5 694 張,共26 377 張圖片. 圖5 給出了其中的部分樣本. 數(shù)據(jù)集中圖片的原始尺寸為512×512大小 ,在實(shí)驗(yàn)中等比縮放為224×224 大小輸入到網(wǎng)絡(luò)中. 在實(shí)驗(yàn)中按照6:2:2 的比例將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集,具體數(shù)據(jù)分布如表1 所示.

圖5 蘋(píng)果葉片病害圖像

表1 數(shù)據(jù)分布表

5.2 模型參數(shù)

實(shí)驗(yàn)參數(shù)設(shè)置如表2 所示. MDFF-Net 網(wǎng)絡(luò)和單一對(duì)比網(wǎng)絡(luò)VGG-16、ResNet-50 在表2 中的參數(shù)設(shè)置相同. 輸入圖片的尺寸大小為224×224,一次訓(xùn)練所選取的樣本數(shù),即批尺寸(batch size)設(shè)置為32,學(xué)習(xí)率(learning rate)為0.001,訓(xùn)練周期(epoch)為30,采用Adam (adaptive moment estimation,自適應(yīng)矩估計(jì))優(yōu)化器(optimizer)來(lái)計(jì)算每一個(gè)epoch 中損失函數(shù)的梯度,進(jìn)而更新參數(shù),dropout 丟棄率設(shè)置為0.5,損失函數(shù)統(tǒng)一使用交叉熵?fù)p失函數(shù)(cross entropy loss),網(wǎng)絡(luò)的權(quán)重初始化使用ImageNet 上預(yù)訓(xùn)練的參數(shù). 實(shí)驗(yàn)采用GPU 加速訓(xùn)練,使用PyTorch 深度學(xué)習(xí)框架.

表2 實(shí)驗(yàn)參數(shù)表

5.3 評(píng)估準(zhǔn)則

在網(wǎng)絡(luò)模型性能評(píng)估上,選擇準(zhǔn)確率(Accuracy)作為模型分類(lèi)性能的評(píng)估指標(biāo). 準(zhǔn)確率就是模型預(yù)測(cè)正確的樣本數(shù)量占總樣本數(shù)量的比例,計(jì)算準(zhǔn)確率的公式為:

其中,TP代表預(yù)測(cè)正確的正樣本,TN代表預(yù)測(cè)正確的負(fù)樣本,FP代表預(yù)測(cè)錯(cuò)誤的正樣本,FN代表預(yù)測(cè)錯(cuò)誤的負(fù)樣本.

5.4 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證將不同深度卷積神經(jīng)網(wǎng)絡(luò)提取的深度特征進(jìn)行融合的MDFF-Net 網(wǎng)絡(luò)性能,實(shí)驗(yàn)選取VGG-16和ResNet-50 兩個(gè)網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)將探究將這兩個(gè)網(wǎng)絡(luò)融合之后的MDFF-Net 網(wǎng)絡(luò)和單一網(wǎng)絡(luò)的性能進(jìn)行對(duì)比.

在模型訓(xùn)練時(shí),MDFF-Net 融合網(wǎng)絡(luò)是作為一個(gè)整體來(lái)進(jìn)行訓(xùn)練,實(shí)驗(yàn)中是利用整個(gè)數(shù)據(jù)集統(tǒng)一訓(xùn)練整個(gè)模型. 對(duì)比模型VGG-16 和ResNet-50 也均采用在ImageNet 圖像數(shù)據(jù)庫(kù)上的預(yù)訓(xùn)練網(wǎng)絡(luò),凍結(jié)網(wǎng)絡(luò)參數(shù),修改Softmax 分類(lèi)層的輸出為5,數(shù)據(jù)集訓(xùn)練方案與MDFF-Net 融合網(wǎng)絡(luò)保持一致.

實(shí)驗(yàn)結(jié)果如表3,本文所提出的MDFF-Net 網(wǎng)絡(luò)識(shí)別率為95.30%,單一網(wǎng)絡(luò)模型VGG-16 和ResNet-50的識(shí)別率分別為90.46%和93.61%,MDFF-Net 網(wǎng)絡(luò)比單一網(wǎng)絡(luò)VGG-16 和ResNet-50 的分別提高了4.84%和1.69%. 訓(xùn)練過(guò)程中,MDFF-Net 網(wǎng)絡(luò)的準(zhǔn)確率變化曲線和損失收斂曲線如圖6 所示,可以看出模型訓(xùn)練中損失函數(shù)趨于收斂. 實(shí)驗(yàn)結(jié)果表明,我們提出的深度特征融合網(wǎng)絡(luò)MDFF-Net 在蘋(píng)果葉片病害識(shí)別數(shù)據(jù)集上取得了比單一網(wǎng)絡(luò)VGG-16 和ResNet-50 更好的識(shí)別效果,證明將不同的預(yù)訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)所提取到的特征融合在一起會(huì)取得比單一網(wǎng)絡(luò)更優(yōu)的識(shí)別效果.

表3 模型對(duì)比實(shí)驗(yàn) (%)

圖6 MDFF-Net 網(wǎng)絡(luò)準(zhǔn)確率變化和損失收斂曲線

6 結(jié)論

本文提出一種用于融合不同深度特征的網(wǎng)絡(luò)模型MDFF-Net,該模型將兩個(gè)預(yù)訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行并聯(lián)作為特征提取器,然后用一個(gè)相同神經(jīng)元數(shù)量的全連接層將不同的網(wǎng)絡(luò)提取的特征映射到相同的維度進(jìn)行融合操作,再通過(guò)兩個(gè)全連接層進(jìn)一步提升融合效果,最后用Softmax 層進(jìn)行分類(lèi). 我們?cè)谝粋€(gè)蘋(píng)果葉片病害數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)來(lái)驗(yàn)證本融合模型的有效性,MDFF-Net 網(wǎng)絡(luò)模型將VGG-16 和ResNet-50 兩個(gè)預(yù)訓(xùn)練網(wǎng)絡(luò)所提取的深度特征進(jìn)行融合,在包含5 種蘋(píng)果葉片疾病的公開(kāi)數(shù)據(jù)集上取得了96.59% 的識(shí)別率. 結(jié)果證明,該模型可以有效利用不同預(yù)訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)提取的深度特征的互補(bǔ)性,在葉片病害識(shí)別上取得比單一網(wǎng)絡(luò)更好的識(shí)別效果. 在未來(lái)的工作中,我們將進(jìn)一步研究不同深度特征的互補(bǔ)性,發(fā)展新的深度特征融合網(wǎng)絡(luò)模型,并拓展其應(yīng)用領(lǐng)域.