DOI: 10.13718/j.cnki.xdzk.2024.06.017
曾姣艷,林思濤,謝亞君.基于改進型EfficientNet模型的木薯病害識別方法研究 [J].西南大學(xué)學(xué)報(自然科學(xué)版),2024,46(6): 197-208.
收稿日期:20231011
基金項目:
國家自然科學(xué)基金項目(12371378); 福建省自然科學(xué)基金項目(2022J01378).
作者簡介:
曾姣艷,碩士,副教授,主要從事數(shù)據(jù)挖掘和機器學(xué)習(xí)研究.
通信作者: 謝亞君,教授.
摘要:
為實現(xiàn)木薯病害圖像的快速、準(zhǔn)確識別,提出一種基于EfficientNet模型的木薯病害識別方法.首先針對輸入樣本的分布不平衡問題,通過Mixup、CutMix及GridMask這3種數(shù)據(jù)增強方法對數(shù)據(jù)進行增強,數(shù)據(jù)增強后由EfficientNet-B4模型提取特征,然后引入warmup結(jié)合余弦退火優(yōu)化學(xué)習(xí)率防止模型在初期發(fā)生過擬合及后期收斂速度慢的情況.實驗結(jié)果表明,所采用模型相較于近年來主流的VGG16及ResNet101模型不僅參數(shù)量遠(yuǎn)小于兩者,在木薯病害圖像分類上的表現(xiàn)也優(yōu)于兩者,且其計算量更少,模型精度更高,訓(xùn)練速度更快,符合實際應(yīng)用的要求.EfficientNet模型在木薯病害數(shù)據(jù)上的分類準(zhǔn)確率可達90%.
關(guān)" 鍵" 詞:
木薯病害圖像; 數(shù)據(jù)增強; EfficientNet模型; 余弦退火
中圖分類號:
TP391
文獻標(biāo)志碼:A
文章編號:16739868(2024)06019712
Research on Cassava Disease Recognition
Methods Based on Improved EfficientNet Model
ZENG Jiaoyan1,2, LIN Sitao1, XIE Yajun1,2, ZENG Meiyan3
1. Big Data Institute,F(xiàn)uzhou University of International Studies and Trade,F(xiàn)uzhou 350202,China;
2. Key Laboratory of Data Science and Intelligent Computing,F(xiàn)uzhou 350202,China;
3. School of Commerce amp; Tourism,Chenzhou Vocational Technical College,Chenzhou Hunan 423000,China
Abstract:
An EfficientNet model based cassava disease recognition method was proposed for fast and accurate recognition of cassava disease images.The method first addressed the imbalance in the distribution of the input samples,performed the data enhancement by three data enhancement methods of Mixup,CutMix and GridMask.The feature was extracted by EfficientNet-B4 model after data enhancement,then warmup combined with cosine annealing learning rate was introduced to prevent the model from overfitting at early stage and slow convergence speed at late stage.The experimental results show that compared with the mainstream VGG16 and ResNet101 models in recent years,the model used in this paper not only has a much smaller number of parameters than the two models,but also has a better performance on classification of cassava leaf disease image than that of two models.It is less computationally intensive,with higher model accuracy and faster training,which meets the requirements of practical applications.EfficientNet model can achieve 90% classification accuracy on cassava leaf disease data.
Key words:
cassava disease images; data enhancement; EfficientNet model; cosine annealing
木薯是熱帶地區(qū)的重要經(jīng)濟作物之一,由于其具有耐旱耐貧等特性,在世界范圍內(nèi)被廣泛種植.木薯是一種重要的糧食作物,尤其在一些發(fā)展中國家是主要的食物來源之一,但它易受各種病害的侵襲[1],其中細(xì)菌性枯萎?。–BB)、褐條病(CBSD)、花葉?。–MD)、綠螨?。–GM)等多種病害嚴(yán)重影響了木薯的質(zhì)量和產(chǎn)量.木薯葉是進行光合作用及蒸騰作用的主要場所,葉片面積是影響木薯生長的一個重要因素,它直接影響木薯的產(chǎn)量.葉片面積越大,光合作用效率越高,蒸騰作用也越強,從而促進植株生長發(fā)育,提高木薯產(chǎn)量.葉片面積還會影響木薯的耐旱性、耐寒性、抗病蟲害能力及抗高溫性能.因此,想要獲得更好的木薯產(chǎn)量,就必須保證植株葉片面積合理.然而,木薯生長期間面臨各種病害的威脅,其中最嚴(yán)重的病害之一就是花葉?。?],這種病害會導(dǎo)致木薯葉片產(chǎn)生凹陷、脫落,最終影響植株的生長和產(chǎn)量.木薯葉病害識別的意義不僅在于保障農(nóng)業(yè)產(chǎn)量、維護食品安全、降低經(jīng)濟損失、維護生態(tài)平衡,同時也為科學(xué)研究和技術(shù)創(chuàng)新提供了重要的基礎(chǔ).因此,研究木薯葉片病害的早期檢測和預(yù)防方法至關(guān)重要.
國內(nèi)外學(xué)者將深度學(xué)習(xí)技術(shù)引入農(nóng)作物病害識別已有較長時間.近年來,通過采用深度學(xué)習(xí)技術(shù)自動識別農(nóng)作物病害受到越來越多學(xué)者的關(guān)注.在國外,Picon等[3]利用移動設(shè)備獲取多種作物圖像數(shù)據(jù)集,提出3種不同的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)實現(xiàn)了多種農(nóng)作物病害識別.Xiao等[4]利用主成分分析和BP神經(jīng)網(wǎng)絡(luò)算法對稻瘟病進行識別,實驗數(shù)據(jù)表明提出的方法能夠快速準(zhǔn)確地識別稻瘟病株.Fuentes等[5]提出了一種基于深度學(xué)習(xí)的多種病蟲害檢測方法.在國內(nèi),顧博等[6]結(jié)合SLIC算法和GrabCut自動分割算法較好地分割出了玉米小斑病、大斑病和灰斑?。畯埳莆牡龋?]運用LeNet模型進行黃瓜病害識別,并對1 200幅黃瓜病害圖像進行預(yù)處理,調(diào)整RGB顏色通道,實驗結(jié)果表明其方法高于傳統(tǒng)方法,達到了較高精度.方晨晨等[8]提出一種基于深度ResNet網(wǎng)絡(luò)的方法對番茄病害圖像進行分類,該方法不僅減小了數(shù)據(jù)存儲容量,同時提高了算法精度.熊夢園等[9]提出一種ResNet50結(jié)合CBAM注意力機制模型的方法對玉米枯萎葉、銹病葉、灰斑病葉和健康葉進行精準(zhǔn)檢測,相比ResNet50模型準(zhǔn)確率提升了4.2個百分點.宋玲等[10]提出的CDD模型是一種基于改進YOLOX網(wǎng)絡(luò)的木薯葉病害檢測模型,對田間木薯葉病害具有更強的檢測能力,在不增加參數(shù)量的情況下提高了檢測分類的精確率.
上述方法在對病害圖像進行識別時往往通過改變網(wǎng)絡(luò)模型的深度、寬度和分辨率優(yōu)化性能,可能會造成模型過擬合,從而導(dǎo)致模型識別效率降低.為此,本文以木薯細(xì)菌性枯萎?。–BB)、褐條?。–BSD)、花葉?。–MD)、綠螨?。–GM)這4種常見病害及健康葉片為研究對象,提出一種基于EfficientNet模型的木薯病害識別方法,以期實現(xiàn)木薯病害的快速、準(zhǔn)確識別.
1" 材料和方法
1.1" 數(shù)據(jù)收集
本文數(shù)據(jù)來源于Kaggle官網(wǎng)的Cassava數(shù)據(jù)集,是非洲種植戶在田間使用不同分辨率及不同手機隨機拍攝獲取的,包含5類木薯葉片圖像,共計21 375張圖像,其中細(xì)菌性枯萎?。–BB)1 087張、褐條?。–BSD)2 187張、花葉?。–MD)13 158張、綠螨?。–GM)2 386張及健康葉片2 557張,其分布情況如圖1所示.
1.2" 數(shù)據(jù)增強
由圖1可知,樣本存在嚴(yán)重的不平衡,綠螨?。–MD)樣本占據(jù)大部分,因此需對其進行數(shù)據(jù)增強,使模型具有良好的有效性和泛化能力.
1.2.1" Mixup數(shù)據(jù)增強
Mixup是Zhang等[11]提出的一種對圖像樣本進行混淆的數(shù)據(jù)增強方法,其將輸入的圖像與隨機抽取的圖像進行融合,達到訓(xùn)練數(shù)據(jù)集的擴充.計算公式為:
x=λxi+(1-λ)xj(1)
y=λyi+(1-λ)yj(2)
式(1)和式(2)中,(xi,yi)和(xj,yj)是從同一個batch中隨機抽取的兩張圖像樣本及其對應(yīng)的標(biāo)簽,λ是從參數(shù)α,β的beta分布中隨機采樣的混合系數(shù),λ∈[0,1].本文使用Mixup技術(shù)將訓(xùn)練集中的兩個圖像樣本及其相對應(yīng)標(biāo)簽的線性插值作為擴充數(shù)據(jù),增強了圖像樣本之間的線性表達,使模型能更準(zhǔn)確地學(xué)習(xí)更多的信息,從而提升模型的泛化能力和魯棒性.Mixup數(shù)據(jù)增強樣本如圖2所示,其中mean表示圖像像素值的平均值、std表示圖像像素值的標(biāo)準(zhǔn)差、min表示圖像中的最小像素值、max表示圖像中的最大像素值.
1.2.2" CutMix數(shù)據(jù)增強
CutMix是Yun等[12]提出的一種數(shù)據(jù)增強方法,具體步驟是通過在訓(xùn)練數(shù)據(jù)中隨機裁剪,并將一部分圖像粘貼到另一圖像相同位置來生成新的訓(xùn)練樣本,這樣可以有效地提高其魯棒性和泛化能力.該方法可以有效地減輕由于樣本分布不均、噪聲等原因帶來的訓(xùn)練偏差問題.同時,由于利用了不同樣本之間的信息交叉,也可以提高模型的泛化能力.Mixup數(shù)據(jù)增強樣本如圖3所示.
1.2.3" Gridmask數(shù)據(jù)增強
Gridmask是Chen等[13]提出的一種性能優(yōu)越的數(shù)據(jù)增強方法,屬于Information Dropping方法,如何避免刪除過度或保持區(qū)域連續(xù)是關(guān)鍵問題.首先,過度刪除將導(dǎo)致完整目標(biāo)被刪除或者上下文信息丟失,使剩余區(qū)域無法有效地表達出目標(biāo)信息,因為這些區(qū)域會受到噪聲干擾,而這些噪聲會影響目標(biāo)的精確表達,也就無法體現(xiàn)出目標(biāo)的真實面貌.若保留過多的區(qū)域,則會導(dǎo)致目標(biāo)在這些區(qū)域內(nèi)不受影響,從而影響網(wǎng)絡(luò)的魯棒性.給定輸入樣本x,則Gridmask方法增強后的新樣本為:
x=x×M(3)
式(3)中,M為生成的二值掩膜.如圖4所示,采用(r,d,δx,δy)4個參數(shù)來確定一個唯一的M.每個掩膜都是由圖4所示的單元排列平鋪而成.r為每個單元短邊灰色區(qū)域的比例,d為一個單元的長度,δx和δy為第一個完整的單元與樣本邊界的距離.Gridmask數(shù)據(jù)增強樣本如圖5所示.
1.3" 病害識別模型
1.3.1" 卷積神經(jīng)網(wǎng)絡(luò)的復(fù)合縮放算法
由于計算機性能的不斷提升及對深度學(xué)習(xí)技術(shù)的深入研究,卷積神經(jīng)網(wǎng)絡(luò)及其擴展網(wǎng)絡(luò)得到了快速發(fā)展,它們在圖像識別、語音識別、自然語言處理等方面都有顯著的成效,其中深度、寬度和基數(shù)都是影響卷積神經(jīng)網(wǎng)絡(luò)性能的主要因素[14].過往的研究中有不少模型擴展的例子,例如ResNet[15]可以通過增加網(wǎng)絡(luò)層數(shù),從ResNet-18擴展到ResNet-200; WideResNet[16]和MobileNets[17]則可以對模型寬度進行調(diào)整.
近年來,學(xué)者們在研究中發(fā)現(xiàn)僅僅增加網(wǎng)絡(luò)深度和寬度并不能完全提升模型的性能,還需考慮其它因素,比如網(wǎng)絡(luò)結(jié)構(gòu)、參數(shù)調(diào)整、訓(xùn)練集大小等.因此,在應(yīng)用中需要綜合考慮各種因素,確保模型具有良好的性能.本文應(yīng)用的EfficientNets[18]模型,其原理是基于模型縮放概念,通過對模型深度、寬度和分辨率進行統(tǒng)一擴展,實現(xiàn)了高精度和高效性的平衡.該模型使用卷積神經(jīng)網(wǎng)絡(luò)中的普通卷積和深度可分離卷積,減少整個模型中的計算量和參數(shù)數(shù)量.為了進一步提高模型性能,該模型還使用了一種新穎的復(fù)合因子方法,通過精心挑選深度、寬度和分辨率縮放因子來擴展網(wǎng)絡(luò)中的所有層.這種方法通過將各個因素相互融合,為模型提供不斷增強的表示能力,并在減少計算量和參數(shù)數(shù)量的同時,達到超過其他卷積神經(jīng)網(wǎng)絡(luò)(CNN)模型的性能表現(xiàn).目前,EfficientNet模型已經(jīng)在許多圖像分類和目標(biāo)檢測任務(wù)中取得了很好的效果.
EfficientNets模型中使用復(fù)合系數(shù)φ,有原則地均勻縮放模型的分辨率、深度及寬度.故有:
d=αφw=βφr=γφ
s. t. α·β2·γ2≈2(4)
α≥1,β≥1,γ≥1
式(4)中,d表示深度,w表示寬度,r表示分辨率,α,β,γ分別為深度、寬度和分辨率的系數(shù).φ作為指定的系數(shù),起到控制可用資源數(shù)量并縮放模型的作用; α,β,γ則起著控制這些額外資源如何分配給模型深度、寬度和分辨率的作用.
1.3.2" EfficeientNets模型參數(shù)及結(jié)構(gòu)
由于網(wǎng)絡(luò)縮放不會影響CNN的卷積操作,因此選擇一個良好的基線模型也很重要.本文使用EfficientNets模型的基線模型通過多目標(biāo)神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索,該方法由MBconv和SENet兩部分構(gòu)成.MBconv通過對輸入層的逐點卷積運算,不斷學(xué)習(xí)不同的信道維數(shù),從而更好地預(yù)測出輸出端的信道特征.同時,為了進一步提高網(wǎng)絡(luò)性能,SENet注意機制模塊被加入到EfficientNet模型中,通過對輸入數(shù)據(jù)進行注意力機制計算,可以更好地獲取網(wǎng)絡(luò)訓(xùn)練過程中的關(guān)鍵信息,從而有效提升模型的性能.最后,利用卷積操作將信道數(shù)量還原到初始信道數(shù)量,完成該方法的完整流程.以EfficientNet-B0為例,其網(wǎng)絡(luò)結(jié)構(gòu)如表1所示,其中MBconv1和MBconv6分別表示擴展比例為1和6.
本文模型中采用交叉熵?fù)p失函數(shù),該函數(shù)是一種非參數(shù)化的損失函數(shù),可以有效地實現(xiàn)對木薯葉片病害分類結(jié)果中正確結(jié)果與分類結(jié)果之間誤差的預(yù)測.其數(shù)學(xué)表達式為:
H(p,q)=-∑ni=1p(x)Lnq(xi)(5)
式(5)中,p是正確的標(biāo)簽,在進行模型訓(xùn)練時如果輸入的樣本和相應(yīng)的標(biāo)記都被設(shè)定好了,則實際的概率分布p就被確定好了.q表示模型預(yù)測的標(biāo)簽概率分布,n表示類別的數(shù)目.當(dāng)模型預(yù)測的概率分布與真實標(biāo)簽一致時,交叉熵?fù)p失函數(shù)的值為0.否則,損失值會隨著預(yù)測誤差增大而增大.本文的目標(biāo)是通過訓(xùn)練使模型的預(yù)測盡可能接近正確的標(biāo)簽分布,從而達到最小化交叉熵?fù)p失函數(shù)的目的.這種方法被廣泛應(yīng)用于深度學(xué)習(xí)中,尤其是在圖像分類、自然語言處理和語音識別等任務(wù)中可以有效地減少訓(xùn)練數(shù)據(jù)集的數(shù)量,并且可以有效地減少計算量和訓(xùn)練時間.
1.3.3" 遷移學(xué)習(xí)
近年來,隨著機器學(xué)習(xí)技術(shù)的不斷更新,越來越多的相關(guān)算法被提出來,其中最典型的就是深度學(xué)習(xí)算法[19].深度學(xué)習(xí)是一種機器學(xué)習(xí)算法,它將一個復(fù)雜的問題分解為多個較簡單的子問題,然后在每個子問題中通過學(xué)習(xí)多個參數(shù)來實現(xiàn)解決復(fù)雜問題的能力.同時,它可以處理具有高維度、復(fù)雜結(jié)構(gòu)、多尺度和非線性等特點的數(shù)據(jù),并能夠有效地處理噪聲、模糊和不確定等復(fù)雜情況,從而實現(xiàn)更加準(zhǔn)確的預(yù)測.此外,深度學(xué)習(xí)算法還可以用于解決高維度、大規(guī)模的問題,并且具有較高的魯棒性,但其需要基于大規(guī)模的訓(xùn)練數(shù)據(jù).訓(xùn)練樣本數(shù)量級的大小與網(wǎng)絡(luò)規(guī)模呈線性關(guān)系,而算法需要基于大規(guī)模的數(shù)據(jù)集來理解樣本的潛在規(guī)律,且大規(guī)模數(shù)據(jù)集的樣本收集及標(biāo)注成本高昂,因此遷移學(xué)習(xí)已經(jīng)被廣泛地用于各領(lǐng)域,以解決機器學(xué)習(xí)中訓(xùn)練樣本匱乏的核心問題,其目的在于運用從一個任務(wù)或領(lǐng)域中學(xué)到的經(jīng)驗,幫助另一個任務(wù)或領(lǐng)域中的學(xué)習(xí).
遷移學(xué)習(xí)有以下兩種常見的形式:
1) 基于特征的遷移學(xué)習(xí): 將源任務(wù)中的特征應(yīng)用到目標(biāo)任務(wù)中,從而提取目標(biāo)任務(wù)的特征.
2) 基于模型的遷移學(xué)習(xí): 將源任務(wù)中的模型應(yīng)用到目標(biāo)任務(wù)中,讓目標(biāo)任務(wù)可以通過源任務(wù)得到的知識和經(jīng)驗進行更好的學(xué)習(xí).
在實踐中,遷移學(xué)習(xí)可以有多種應(yīng)用,如自然語言處理、計算機視覺、推薦系統(tǒng)等,其具有以下優(yōu)點:
1) 加速學(xué)習(xí)和提高準(zhǔn)確性: 通過將相關(guān)任務(wù)中學(xué)習(xí)到的知識應(yīng)用到新任務(wù)中,可以加速學(xué)習(xí)過程,同時提高新任務(wù)的準(zhǔn)確性.
2) 提高模型的魯棒性: 在遷移學(xué)習(xí)的過程中,源任務(wù)中已經(jīng)學(xué)習(xí)到的知識可以讓模型更好地抵御噪聲和變異,從而提高模型的魯棒性.
3) 減少對大量數(shù)據(jù)的需求: 在進行新任務(wù)訓(xùn)練時,可以利用舊模型已經(jīng)學(xué)到的知識來彌補數(shù)據(jù)不足的問題.
遷移學(xué)習(xí)可以幫助我們更好地利用已有的數(shù)據(jù)和已經(jīng)訓(xùn)練好的模型,提高機器學(xué)習(xí)算法的效率和準(zhǔn)確性,從而更好地解決實際問題.為了驗證EfficientNet模型對木薯病害識別的效果,本文采用基于模型的遷移學(xué)習(xí)策略,選擇特征提取EfficientNet-B4原始的預(yù)訓(xùn)練模型進行訓(xùn)練.遷移學(xué)習(xí)過程如圖6所示.
1.3.4" 余弦退火學(xué)習(xí)率
在網(wǎng)絡(luò)訓(xùn)練時,學(xué)習(xí)率會隨著訓(xùn)練產(chǎn)生變化.在模型訓(xùn)練后期,如果學(xué)習(xí)率過高會導(dǎo)致?lián)p失率振蕩,造成損失函數(shù)不穩(wěn)定,影響模型的收斂速度; 但如果學(xué)習(xí)率衰減過快,會造成模型無法很好地收斂,使模型變得復(fù)雜而難以訓(xùn)練.由于網(wǎng)絡(luò)在訓(xùn)練開始時,對于訓(xùn)練的圖像樣本是完全未知的,模型對樣本像素信息的理解分布均勻,因此預(yù)測模型訓(xùn)練初期很可能陷入過擬合狀態(tài).考慮到以上情形,本文運用學(xué)習(xí)率預(yù)熱(warmup)結(jié)合余弦退火算法對學(xué)習(xí)率的衰減進行調(diào)整.由于模型訓(xùn)練初始時參數(shù)不穩(wěn)定,且梯度較大,若此時初始學(xué)習(xí)率設(shè)置過大可能造成數(shù)值不穩(wěn)定.使用學(xué)習(xí)率預(yù)熱有利于緩解模型在訓(xùn)練初始階段對mini-batch的提早過擬合現(xiàn)象,保持穩(wěn)定分布,同時也有利于維持模型深層的穩(wěn)定性.運用余弦退火算法衰減學(xué)習(xí)率的方法整體參考余弦函數(shù)的變化特點,即余弦函數(shù)中隨著x的增加,余弦值的下降速度按照緩慢、快速、緩慢的方式進行變化.將這種下降模式與學(xué)習(xí)率衰減進行配合是一種十分有效的計算方式,可以讓模型輕松跳出局部最優(yōu)解.其定義如下:
ηt=ηimin+12(ηimax-ηimin)1+cosTcurTiπ(6)
式(6)中,i表示迭代的索引值,ηimin和ηimax分別表示學(xué)習(xí)率的最小值、最大值,這兩個變量控制了學(xué)習(xí)率的變化范圍,使學(xué)習(xí)率在指定范圍內(nèi)衰減.Tcur表示當(dāng)前迭代(epoch)的次數(shù),但Tcur會在每批次(batch)訓(xùn)練后更新,而當(dāng)前的迭代還未執(zhí)行結(jié)束,因此Tcur可為小數(shù).Ti表示第i次訓(xùn)練時總的迭代次數(shù).在本文中,模型學(xué)習(xí)率的最小值和最大值分別設(shè)為1×10-6和2×10-4,初始學(xué)習(xí)率為1×10-6,其變化如圖7所示,初始學(xué)習(xí)率經(jīng)過前5個迭代增加到最大值,然后按照余弦規(guī)律先緩慢下降,再加速下降,最后在第30個迭代降到1×10-6.
2" 模型訓(xùn)練
2.1" 實驗環(huán)境
實驗主要在Kaggle提供的張量處理單元(TPU)環(huán)境中進行,可以極大地提升模型訓(xùn)練速度,Python版本為3.7.9,采用Tensorflow 2.4.0深度學(xué)習(xí)框架.
EfficientNet-B4參數(shù)的選擇對于模型效率和準(zhǔn)確率具有重要影響,合理地選擇參數(shù)可使模型不會過分地占用和消耗資源,從而使模型效率和準(zhǔn)確率降低.本文采用的EfficientNet-B4運行參數(shù)配置如表2所示.模型迭代次數(shù)為30,批次大小為16,初始學(xué)習(xí)率為1×10-6,利用余弦退火衰減方法優(yōu)化學(xué)習(xí)率,選用Adam作為優(yōu)化器.
2.2" 評價指標(biāo)
2.2.1" 準(zhǔn)確率
在常用的模型評價指標(biāo)中,準(zhǔn)確率的采用最為廣泛.在機器學(xué)習(xí)中,其定義為預(yù)測準(zhǔn)確的樣本數(shù)占全部樣本的百分比.對于二分類模型,準(zhǔn)確率的數(shù)學(xué)定義為:
Accuracy=TP+TNTP+TN+FP+FN(7)
式(7)中,TP表示實際正樣本被預(yù)測為正樣本的數(shù)量,F(xiàn)P表示實際負(fù)樣本被預(yù)測為正樣本的數(shù)量; TN表示實際正樣本被預(yù)測為負(fù)樣本的數(shù)量,F(xiàn)N表示實際負(fù)樣本被預(yù)測為負(fù)樣本的數(shù)量.
在樣本種類數(shù)量分布均勻的數(shù)據(jù)集中,準(zhǔn)確率能對網(wǎng)絡(luò)的綜合性能做出評價.但是,實際數(shù)據(jù)集不同種類樣本數(shù)量經(jīng)常極不平衡,這在木薯病害圖像數(shù)據(jù)中體現(xiàn)得十分明顯.木薯不同病害的患病概率往往不同,造成采集到的圖像樣本數(shù)量差異較大.采用準(zhǔn)確率作為評價指標(biāo)或?qū)⑾♂屇P瓦\用于小樣本學(xué)習(xí)中與真實結(jié)果會發(fā)生較大的偏差,因此本文使用精確率及召回率作為評價網(wǎng)絡(luò)性能的指標(biāo).
2.2.2" 精確率和召回率
1) 以二分類模型為例,精確率定義為全部預(yù)測結(jié)果為正樣本的樣本里,預(yù)測正確所占的百分比,其數(shù)學(xué)定義為:
Precision=TPTP+FP(8)
式(8)可理解為針對被預(yù)測的某類樣本進行計算,得到該類別中出現(xiàn)預(yù)測錯誤的概率.
2) 以二分類模型為例,召回率定義為正樣本中預(yù)測結(jié)果為正樣本的占比,其數(shù)學(xué)定義為:
Recall=TPTP+TN(9)
式(9)可理解為某類別樣本被預(yù)測正確的比例,適用一個數(shù)據(jù)集中對小樣本的預(yù)測性能進行評價.
由精確率和召回率定義可知,在分類模型中兩者往往相互矛盾.當(dāng)召回率提高時,精確率往往會降低,反之亦然.為了能夠更好地綜合評價網(wǎng)絡(luò)性能,本文引入F1-Score評價指標(biāo),其數(shù)學(xué)定義為:
F1-Score=2×Precision×RecallPrecision+Recall(10)
F1-Score結(jié)合了精確率和召回率,可較好地反映網(wǎng)絡(luò)的預(yù)測性能.
3" 結(jié)果與分析
3.1" 識別效果分析
將經(jīng)過MixUp、CutMix和Gridmask增強的圖像輸入到EfficientNet-B4模型中,經(jīng)過30次迭代后的訓(xùn)練曲線如圖8所示.由圖8可知,模型迭代到13次時,準(zhǔn)確率和損失率同時趨于穩(wěn)定,模型達到最優(yōu).
由表3和圖9可知,模型對花葉病(CMD)的預(yù)測準(zhǔn)確率最高達到96%; 模型識別錯誤主要在細(xì)菌性枯萎?。–BB)上,該類別準(zhǔn)確率僅為69%,主要原因在于數(shù)據(jù)集中樣本在各類別分布不均衡,造成模型對花葉?。–MD)學(xué)習(xí)的權(quán)重較多,而對細(xì)菌性枯萎?。–BB)學(xué)習(xí)的權(quán)重較少.模型的平均F1-Score達到90%.
3.2" 不同模型訓(xùn)練結(jié)果分析
為了檢驗本文提出的模型對木薯病害分類的性能,選取VGG16、ResNet-101和EfficientNet-B4模型,調(diào)用原始預(yù)訓(xùn)練模型結(jié)合交叉熵?fù)p失函數(shù)進行訓(xùn)練,對比測試集和驗證集的識別結(jié)果.由表4可知,EfficientNet-B4模型不僅在測試集中表現(xiàn)最好,在驗證集上的準(zhǔn)確率也最高,其對噪聲適應(yīng)能力更強,泛化能力更優(yōu)越.對比3個模型的參數(shù)量可以發(fā)現(xiàn),EfficientNet-B4模型參數(shù)量相較于VGG16和ResNet101模型有更高的準(zhǔn)確率.
4" 結(jié)論
本文以木薯病害圖像數(shù)據(jù)集為研究對象,運用圖像處理與深度學(xué)習(xí)技術(shù)提出一種基于EfficientNet-B4的木薯病害識別模型.為減小數(shù)據(jù)集中樣本分布不均衡的影響,增強模型的泛化能力,本文選擇MixUp、CutMix和Gridmask這3種數(shù)據(jù)增強技術(shù),并引入WarmUp結(jié)合余弦退火方法優(yōu)化學(xué)習(xí)率,防止模型出現(xiàn)訓(xùn)練初期陷入過擬合以及訓(xùn)練后期收斂慢的情況.與近年來流行的深度學(xué)習(xí)模型相比,本文提出的模型具有參數(shù)量少、準(zhǔn)確率高等優(yōu)點.
參考文獻:lt;參考文獻起gt;
[1]
付海天,鄭華,文峰,等.中國木薯研究及產(chǎn)業(yè)發(fā)展趨勢 [J].農(nóng)業(yè)研究與應(yīng)用,2022,35(4): 9-22.
[2]" 劉琳玉,趙平娟,符艷等.木薯花葉病毒AC4蛋白與AtPARN互作研究 [J/OL].熱帶作物學(xué)報,2024,45(1): 197-204.
[3]" PICON A,SEITZ M,ALVAREZ-GILA A,et al.Crop Conditional Convolutional Neural Networks for Massive Multi-Crop Plant Disease Classification over Cell Phone Acquired Images Taken on Real Field Conditions [J].Computers and Electronics in Agriculture,2019,131(11): 356-366.
[4]" XIAO M H,MA Y,F(xiàn)ENG Z X,et al.Rice Blast Recognition Based on Principal Component Analysis and Neural Network [J].Computers and Electronics in Agriculture,2018,12(10): 482-490.
[5]" FUENTES A,YOON S,KIM S C,et al.A Robust Deep-Learning-Based Detector for Real-Time Tomato Plant Diseases and Pests Recognition [J].Sensors,2017,17(9): 87-108.
[6]" 顧博,鄧?yán)倮?,李巍,等.基于GrabCut算法的玉米病害圖像識別方法研究 [J].中國農(nóng)機化學(xué)報,2019,40(11): 143-149.
[7]" 張善文,謝澤奇,張晴晴.卷積神經(jīng)網(wǎng)絡(luò)在黃瓜葉部病害識別中的應(yīng)用 [J].江蘇農(nóng)業(yè)學(xué)報,2018,34(1): 56-61.
[8]" 方晨晨,石繁槐.基于改進深度殘差網(wǎng)絡(luò)的番茄病害圖像識別 [J].計算機應(yīng)用,2020,40(S1): 203-208.
[9]nbsp; 熊夢園,詹煒,桂連友,等.基于ResNet模型的玉米葉片病害檢測與識別 [J].江蘇農(nóng)業(yè)科學(xué),2023,51(8): 164-170.
[10]宋玲,曹勉,胡小春,等.基于YOLOX的復(fù)雜背景下木薯葉病害檢測方法 [J].農(nóng)業(yè)機械學(xué)報,2023,54(3): 301-307.
[11]ZHANG H Y,CISSE M,DAUPHIN Y N,et al.Mixup: Beyond Empirical Risk Minimization [EB/OL].(2018-04-27) [2023-04-01].https: //arxiv.org/pdf/1710.09412v2.
[12]YUN S,HAN D,CHUN S,et al.CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features [C] //2019 IEEE/CVF International Conference on Computer Vision (ICCV).Seoul: IEEE,2019.
[13]CHEN P G,LIU S,ZHAO H S,et al.GridMask Data Augmentation [EB/OL].(2020-01-14) [2023-04-01].https: //arxiv.org/pdf/2001.04086v2.
[14]XIE S N,GIRSHICK R,DOLLR P,et al.Aggregated Residual Transformations for Deep Neural Networks [C] //2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Honolulu: IEEE,2017.
[15]HE K M,ZHANG X Y,REN S Q,et al.Identity Mappings in Deep Residual Networks [M] //LEIBE B,MATAS J,SEBE N,et al.Computer Vision-ECCV 2016.Cham: Springer International Publishing,2016.
[16]ZAGOURUYKO S,KOMODAKIS N.Wide Residual Networks [EB/OL].(2017-06-14) [2023-04-01].https: //arxiv.org/pdf/1605.07146.
[17]HOWARD A G,ZHU M L,CHEN B,et al.MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications [EB/OL].(2017-04-17) [2023-04-01].https: //arxiv.org/pdf/1704.04861.
[18]Tan M,Le Q.Efficientnet: Rethinking Model Scaling for Convolutional Neural Networks [C].Sacramento: International Conference on Machine Learning,2019.
[19]SARKAR C,GUPTA D,GUPTA U,et al.Leaf Disease Detection Using Machine Learning and Deep Learning: Review and Challenges [J].Applied Soft Computing,2023,145: 110534.
責(zé)任編輯" 夏娟