姚建斌, 張英娜, 劉建華

(華北水利水電大學(xué) 信息工程學(xué)院, 河南 鄭州 450046)

病蟲(chóng)害是影響農(nóng)業(yè)生產(chǎn)的重要自然災(zāi)害,據(jù)統(tǒng)計(jì),中國(guó)每年因病蟲(chóng)害導(dǎo)致糧食損失1 400萬(wàn)t,影響著我國(guó)糧食的產(chǎn)量和質(zhì)量[1]。因此,減少糧食病蟲(chóng)害損失,對(duì)我國(guó)糧食止損具有重要意義。小麥?zhǔn)俏覈?guó)三大糧食作物之一,其播種面積和產(chǎn)量均位于我國(guó)糧食作物的前列。據(jù)國(guó)家統(tǒng)計(jì)局資料,2020年我國(guó)小麥播種面積和產(chǎn)量分別占全國(guó)農(nóng)作物種植總面積和農(nóng)作物總產(chǎn)量的19.4%和19.7%[2]。小麥病蟲(chóng)害具有種類多、易發(fā)、蔓延快的特點(diǎn),早期快速識(shí)別病蟲(chóng)害的種類和范圍,對(duì)精準(zhǔn)控制病蟲(chóng)害傳播、及時(shí)止損具有重要意義。針對(duì)小麥病蟲(chóng)害識(shí)別,傳統(tǒng)的方法是通過(guò)日常巡查和經(jīng)驗(yàn)來(lái)判斷病蟲(chóng)害發(fā)生與否以及病蟲(chóng)害的種類和程度,存在不能及時(shí)發(fā)現(xiàn)問(wèn)題延誤病蟲(chóng)害最佳防治時(shí)機(jī)、病蟲(chóng)害范圍識(shí)別不準(zhǔn)導(dǎo)致過(guò)度噴灑農(nóng)藥等問(wèn)題[3]。隨著現(xiàn)代農(nóng)業(yè)對(duì)生產(chǎn)技術(shù)需求的提高,傳統(tǒng)的方式已無(wú)法大規(guī)模且快速準(zhǔn)確地判斷病蟲(chóng)害的程度及范圍,新的智慧化病蟲(chóng)害識(shí)別技術(shù)應(yīng)運(yùn)而生。

近年來(lái),無(wú)人機(jī)航拍、圖像處理、模式識(shí)別技術(shù)日趨成熟,并不斷被應(yīng)用到農(nóng)作物病蟲(chóng)害防治領(lǐng)域,使得傳統(tǒng)機(jī)器視覺(jué)檢測(cè)技術(shù)在病蟲(chóng)害識(shí)別上取得了長(zhǎng)足的發(fā)展[4-10]。然而,傳統(tǒng)機(jī)器視覺(jué)檢測(cè)技術(shù)仍存在魯棒性和硬件消耗性大等缺點(diǎn),使得“噪聲”只能通過(guò)人為修正,運(yùn)算速度慢,從而導(dǎo)致識(shí)別準(zhǔn)確率和快速檢測(cè)兩個(gè)方面受到限制。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)是一種新的深度學(xué)習(xí)算法,一經(jīng)問(wèn)世,在圖像處理與信號(hào)識(shí)別領(lǐng)域發(fā)展迅速[11-19]。成熟的CNN技術(shù)為農(nóng)作物病蟲(chóng)害快速準(zhǔn)確識(shí)別提供了新的手段，但其采用的多為背景簡(jiǎn)單的實(shí)驗(yàn)室場(chǎng)景的樣本,在實(shí)際應(yīng)用中存在無(wú)法適應(yīng)大田復(fù)雜場(chǎng)景的情況。

本文分別以AlexNet,VGGNet16和Inception-V3網(wǎng)絡(luò)為基礎(chǔ),使用平均識(shí)別準(zhǔn)確率、處理速度兩個(gè)模型評(píng)價(jià)指標(biāo)進(jìn)行綜合評(píng)價(jià),選取最佳網(wǎng)絡(luò)模型;在數(shù)據(jù)擴(kuò)充集下,使用漸變學(xué)習(xí)率和訓(xùn)練所有層的遷移學(xué)習(xí)方法,構(gòu)建小麥病蟲(chóng)害精準(zhǔn)識(shí)別網(wǎng)絡(luò)模型,實(shí)現(xiàn)小麥病蟲(chóng)害的精準(zhǔn)識(shí)別。

1 研究方法

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)的本質(zhì)是一個(gè)多層感知機(jī),由輸入層、卷積層、池化層、全連接層、輸出層共5部分組成。隨著網(wǎng)絡(luò)的不斷優(yōu)化,加入激活函數(shù)層來(lái)加強(qiáng)非線性關(guān)系,加入Dropout層來(lái)提高模型的泛化能力。局部連接、參數(shù)共享是卷積神經(jīng)網(wǎng)絡(luò)的兩大特點(diǎn)。AlexNet、VGGNet16和Inception-V3是近幾年具有代表意義的3種卷積神經(jīng)網(wǎng)絡(luò)模型,其在圖像分類領(lǐng)域均有突出的表現(xiàn)。

1.1.1 AlexNet網(wǎng)絡(luò)模型

AlexNet網(wǎng)絡(luò)模型由Alex、Hinton在圖像識(shí)別大賽中提出。它是一個(gè)基于LeNet模型改造的且較LeNet模型更深更寬的升級(jí)版本，在2012年圖像識(shí)別大賽中表現(xiàn)優(yōu)異,獲得了冠軍,奠定了CNN在圖像分類算法中的核心地位[20]。

AlexNet網(wǎng)絡(luò)模型總共8層,包括5個(gè)卷積層和3個(gè)全連接層。該網(wǎng)絡(luò)模型創(chuàng)新性地采用Dropout算法,使一些神經(jīng)元在訓(xùn)練過(guò)程中隨機(jī)失效,有效防止了過(guò)擬合現(xiàn)象的發(fā)生,并在很大程度上提高了模型的泛化能力;在激活函數(shù)的選取上,采用ReLU激活函數(shù)替代了Sigmoid激活函數(shù),有效解決了梯度彌散問(wèn)題,取得了良好效果。

1.1.2 VGGNet16的網(wǎng)絡(luò)模型

VGGNet16的網(wǎng)絡(luò)模型是2014年圖像識(shí)別競(jìng)賽的第二名。該網(wǎng)絡(luò)模型共有19層,其中卷積層16層。VGGNet16的特點(diǎn)是全部應(yīng)用了較小的卷積核(3×3)和較小的池化核(2×2)。研究[21]表明,相對(duì)于單一大卷積核的卷積操作,較小的卷積核可以在很大程度上減少卷積操作產(chǎn)生的計(jì)算量,不僅如此,多個(gè)小卷積核的堆疊也提升了網(wǎng)絡(luò)模型精度,優(yōu)化了后續(xù)網(wǎng)絡(luò)模型的性能。

1.1.3 Inception-V3網(wǎng)絡(luò)模型

與之前的卷積神經(jīng)網(wǎng)絡(luò)通過(guò)堆疊卷積層來(lái)提高網(wǎng)絡(luò)性能相比,Google團(tuán)隊(duì)對(duì)網(wǎng)絡(luò)中的傳統(tǒng)卷積層進(jìn)行了修改,提出了Inception結(jié)構(gòu),用于增加網(wǎng)絡(luò)深度和寬度,提高深度神經(jīng)網(wǎng)絡(luò)性能。該團(tuán)隊(duì)在2014年提出了Inception-V1算法,對(duì)不同尺度的卷積核和池化層進(jìn)行了整合,將最終的結(jié)果拼接形成了Inception模塊,模塊利用1×1的卷積核進(jìn)行降維,降低了參數(shù)量[22]。Inception-V3在Inception-V1的基礎(chǔ)上,將原始的7×7的卷積核用一維的1×7和7×1的兩個(gè)卷積核進(jìn)行替換,這種對(duì)卷積核進(jìn)行的非對(duì)稱分解不僅減少了參數(shù)規(guī)模,并且由于1個(gè)卷積核拆分成2個(gè)卷積核,還進(jìn)一步解決了過(guò)深的網(wǎng)絡(luò)模型造成的過(guò)擬合以及計(jì)算量巨大問(wèn)題,提升了網(wǎng)絡(luò)性能。典型的Inception-V3網(wǎng)絡(luò)模型的Inception模塊結(jié)構(gòu)圖如圖1所示。

圖1 Inception-V3的Inception模塊結(jié)構(gòu)圖

1.2 數(shù)據(jù)擴(kuò)充與遷移學(xué)習(xí)

1.2.1 數(shù)據(jù)擴(kuò)充

本文中的小麥病蟲(chóng)害數(shù)據(jù)集均在試驗(yàn)田現(xiàn)場(chǎng)采集而來(lái),數(shù)據(jù)類型包含健康小麥、條銹病、葉銹病、白粉病和蚜蟲(chóng)共5種類型。整體的數(shù)據(jù)集分為測(cè)試集和訓(xùn)練集,部分?jǐn)?shù)據(jù)集見(jiàn)表1。

表1 小麥病蟲(chóng)害數(shù)據(jù)集

續(xù)表

針對(duì)實(shí)際應(yīng)用中數(shù)據(jù)集樣本類型少、數(shù)量分布不均等情況,對(duì)訓(xùn)練集進(jìn)行了隨機(jī)效果擴(kuò)充,擴(kuò)充方法主要有以下幾種:

1)添加隨機(jī)噪聲和隨機(jī)濾波。由于小麥數(shù)據(jù)集樣本圖片背景比較復(fù)雜,會(huì)受到很多噪聲和光波的干擾,為避免復(fù)雜背景對(duì)識(shí)別結(jié)果產(chǎn)生較大的干擾,采用添加隨機(jī)噪聲和添加隨機(jī)濾波的方法提高模型對(duì)復(fù)雜背景的泛化能力。其中,隨機(jī)濾波包括中值濾波、雙邊濾波、高斯模糊和均值濾波。

2)隨機(jī)旋轉(zhuǎn)和偏移。由于本文中的數(shù)據(jù)集均通過(guò)現(xiàn)場(chǎng)采樣獲取,在采樣過(guò)程中并非所有目標(biāo)均規(guī)規(guī)整整且在圖像的中間位置,因此對(duì)數(shù)據(jù)集進(jìn)行隨機(jī)旋轉(zhuǎn)和偏移,提高模型對(duì)目標(biāo)位置變化的泛化能力。

3)隨機(jī)色彩抖動(dòng)。由于樣本的采集未考慮時(shí)間和天氣因素,因此,在光照充足的中午和光照較弱的下午采集的樣本,在色彩方面會(huì)有較大的差異。為提高模型對(duì)光照因素的泛化能力,加入隨機(jī)色彩抖動(dòng)。

1.2.2 遷移學(xué)習(xí)

由于在利用數(shù)據(jù)集對(duì)上述3種網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的過(guò)程中,使用全新學(xué)習(xí)的方式出現(xiàn)了準(zhǔn)確率較低且震蕩無(wú)法收斂的情況。因此,基于ImageNet數(shù)據(jù)集對(duì)3種網(wǎng)絡(luò)模型進(jìn)行預(yù)訓(xùn)練,然后再將預(yù)訓(xùn)練好的模型遷移到本文數(shù)據(jù)集上,進(jìn)行進(jìn)一步的訓(xùn)練。Inception-V3網(wǎng)絡(luò)模型直接使用TensorFlow框架封裝好的ImageNet數(shù)據(jù)集上的遷移學(xué)習(xí)模型,而對(duì)于AlexNet和VGGNet16網(wǎng)絡(luò)模型則手動(dòng)構(gòu)建對(duì)應(yīng)的模型,再進(jìn)行參數(shù)加載。這種加載參數(shù)的遷移學(xué)習(xí)方式可以選擇性固定后幾層的參數(shù),而對(duì)于Inception-V3模型,因無(wú)法修改瓶頸層之前的參數(shù),因此只能調(diào)整最后一個(gè)全連接層的參數(shù)。本文中的基本遷移學(xué)習(xí)方式就是固定其他層參數(shù),僅修改最后全連接層的輸出個(gè)數(shù)。3種網(wǎng)絡(luò)模型遷移學(xué)習(xí)方式的具體學(xué)習(xí)流程如圖2所示。

圖2 3種網(wǎng)絡(luò)模型的訓(xùn)練流程

1.3 模型評(píng)價(jià)指標(biāo)

模型訓(xùn)練過(guò)程中,迭代次數(shù)和學(xué)習(xí)率等超參數(shù)是通過(guò)不斷的試驗(yàn)確定的。本文選取準(zhǔn)確率最高的一組超參數(shù)對(duì)應(yīng)的模型,作為該網(wǎng)絡(luò)模型的最終選擇模型,然后進(jìn)行比較。對(duì)于最高測(cè)試集平均識(shí)別準(zhǔn)確率不唯一的情況,本文選取迭代次數(shù)最小的模型為最終的網(wǎng)絡(luò)模型,并通過(guò)平均識(shí)別準(zhǔn)確率和運(yùn)行速度兩個(gè)指標(biāo)來(lái)對(duì)網(wǎng)絡(luò)模型進(jìn)行評(píng)價(jià)。

1)平均識(shí)別準(zhǔn)確率。其表示測(cè)試集中分類正確的樣本數(shù)與測(cè)試集總樣本數(shù)之比,計(jì)算公式為:

(1)

式中:Ns為數(shù)據(jù)集樣本的類別數(shù)量,文中Ns=5;Ni為第i類樣本的數(shù)量;Nii為預(yù)測(cè)正確的第i類樣本數(shù)量。

2)運(yùn)行速度。計(jì)算模型處理一個(gè)樣本的時(shí)間,作為網(wǎng)絡(luò)模型的一個(gè)指標(biāo)。

1.4 試驗(yàn)設(shè)計(jì)

1.4.1 試驗(yàn)環(huán)境

試驗(yàn)在Python3.7.9、TensorFlow-CPU軟件下完成,使用的機(jī)器為MacbookAir,處理器為Intel Core i5,主頻為1.6 GHz。

1.4.2 試驗(yàn)方案

試驗(yàn)分為兩個(gè)步驟。步驟一是基礎(chǔ)模型的選擇:使用未擴(kuò)充數(shù)據(jù)集和只訓(xùn)練最后一個(gè)全連接層的遷移方法,對(duì)3種卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,并通過(guò)對(duì)比模型的平均識(shí)別準(zhǔn)確率和運(yùn)行速度,選出最佳的基礎(chǔ)網(wǎng)絡(luò)模型,本步驟涉及3組對(duì)比試驗(yàn)。步驟二是數(shù)據(jù)擴(kuò)充及遷移學(xué)習(xí)訓(xùn)練:分別在未擴(kuò)充數(shù)據(jù)集和擴(kuò)充數(shù)據(jù)集上,使用不變學(xué)習(xí)率和漸變學(xué)習(xí)率,對(duì)模型分別進(jìn)行僅訓(xùn)練全連接層和訓(xùn)練所有層兩種遷移學(xué)習(xí)方式的訓(xùn)練,共進(jìn)行30個(gè)迭代。本環(huán)節(jié)涉及8組對(duì)比試驗(yàn),其中不變學(xué)習(xí)率為0.000 5,漸變學(xué)習(xí)率的初始值為0.001,在訓(xùn)練過(guò)程中,每5個(gè)迭代學(xué)習(xí)率減小為原來(lái)的一半,以5個(gè)迭代為一組，學(xué)習(xí)率分別為0.001、0.000 5、0.000 25等。

為更好地利用計(jì)算機(jī)資源,分批次利用訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集進(jìn)行模型訓(xùn)練。其中每個(gè)批次包含32個(gè)樣本。在測(cè)試集每個(gè)批次驗(yàn)證結(jié)束后,使用TensorBoard記錄本批次的平均識(shí)別準(zhǔn)確率,一個(gè)迭代中有206條測(cè)試數(shù)據(jù),共記錄206/32約6個(gè)批次的平均識(shí)別準(zhǔn)確率,30個(gè)迭代共記錄180個(gè)批次的平均識(shí)別準(zhǔn)確率。

2 結(jié)果分析

2.1 CNN網(wǎng)絡(luò)優(yōu)選結(jié)果

使用只訓(xùn)練最后的全連接層的遷移學(xué)習(xí)方法,對(duì)3種CNN網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,篩選出對(duì)本數(shù)據(jù)集泛化能力最強(qiáng)的模型,作為本文的基礎(chǔ)模型。3種網(wǎng)絡(luò)模型的基礎(chǔ)試驗(yàn)結(jié)果見(jiàn)表2。

表2 3種網(wǎng)絡(luò)模型的基礎(chǔ)試驗(yàn)結(jié)果

由表2可知:①相對(duì)于其他兩個(gè)網(wǎng)絡(luò)模型的遷移學(xué)習(xí)方式,Inception-V3網(wǎng)絡(luò)模型的具有局限性,除迭代次數(shù)外其他超參數(shù)無(wú)法修改,且出現(xiàn)了過(guò)擬合現(xiàn)象,訓(xùn)練集表現(xiàn)良好但測(cè)試集表現(xiàn)不佳,同時(shí)單張圖片的處理速度也慢于其他網(wǎng)絡(luò)模型的,說(shuō)明其不適合本文數(shù)據(jù)集。②VGGNet16網(wǎng)絡(luò)模型的運(yùn)行速度雖然遜于Alexnet的,但在準(zhǔn)確率上優(yōu)于Alexnet的,且經(jīng)過(guò)10個(gè)迭代即可達(dá)到較好的效果,相比于Alexnet的50個(gè)迭代,VGGNet16網(wǎng)絡(luò)模型的收斂速度更快。綜上,選擇VGGNet16網(wǎng)絡(luò)模型作為本文的基礎(chǔ)網(wǎng)絡(luò)模型進(jìn)行下一步的優(yōu)化。

2.2 深度學(xué)習(xí)試驗(yàn)結(jié)果

基于未擴(kuò)充數(shù)據(jù)集和擴(kuò)充后數(shù)據(jù)集兩種數(shù)據(jù)集、非訓(xùn)練所有層和訓(xùn)練所有層兩種遷移學(xué)習(xí)方式、不變學(xué)習(xí)率和漸變學(xué)習(xí)率兩種學(xué)習(xí)方法共進(jìn)行8種組合試驗(yàn),對(duì)不同組合試驗(yàn)的收斂迭代次數(shù)和識(shí)別準(zhǔn)確率進(jìn)行統(tǒng)計(jì),結(jié)果見(jiàn)表3。

表3 VGGNet16試驗(yàn)結(jié)果

2.2.1 數(shù)據(jù)擴(kuò)充對(duì)模型的影響

在相同學(xué)習(xí)率和遷移學(xué)習(xí)方式下,試驗(yàn)1、2、5、6分別與試驗(yàn)3、4、7、8互為對(duì)比試驗(yàn),限于篇幅,僅列出試驗(yàn)5、7與試驗(yàn)6、8的對(duì)比結(jié)果,如圖3所示。

由圖3可知:在漸變學(xué)習(xí)率下,使用擴(kuò)充數(shù)據(jù)集訓(xùn)練的模型的平均識(shí)別準(zhǔn)確率均高于未擴(kuò)充數(shù)據(jù)集的。結(jié)合表3分析可知,試驗(yàn)1、2、5、6的訓(xùn)練集平均識(shí)別準(zhǔn)確率均遠(yuǎn)大于測(cè)試集的平均識(shí)別準(zhǔn)確率,出現(xiàn)了過(guò)擬合現(xiàn)象,而試驗(yàn)3、4、7、8的訓(xùn)練集與測(cè)試集平均識(shí)別準(zhǔn)確率相差不大,未出現(xiàn)過(guò)擬合現(xiàn)象。綜上可知,對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充不僅能有效提高模型的平均識(shí)別準(zhǔn)確率,還能很好地解決過(guò)擬合問(wèn)題。

2.2.2 遷移學(xué)習(xí)方法對(duì)模型的影響

在相同數(shù)據(jù)集和學(xué)習(xí)率的條件下,試驗(yàn)1、3、5、7分別與試驗(yàn)2、4、6、8互為對(duì)比試驗(yàn),限于篇幅,僅列出試驗(yàn)5、6和試驗(yàn)7、8的對(duì)比結(jié)果,如圖4所示。由圖4可知:對(duì)于訓(xùn)練集,訓(xùn)練所有層的遷移學(xué)習(xí)方法下的模型平均識(shí)別準(zhǔn)確率相較于非訓(xùn)練所有層方法的有明顯提高,說(shuō)明本文的樣本特征與ImageNet數(shù)據(jù)集的樣本特征差別較大;對(duì)于測(cè)試集,訓(xùn)練所有層的遷移學(xué)習(xí)方法下的模型平均識(shí)別準(zhǔn)確率相較于非訓(xùn)練所有層方法的也有明顯提高。說(shuō)明訓(xùn)練所有層的遷移學(xué)習(xí)方法能夠更好地捕捉樣本特征。

圖4 漸變學(xué)習(xí)率下兩種遷移學(xué)習(xí)結(jié)果

2.2.3 漸變學(xué)習(xí)率對(duì)模型的影響

在相同的數(shù)據(jù)集和遷移學(xué)習(xí)方式下,試驗(yàn)1、2、3、4分別與試驗(yàn)5、6、7、8互為對(duì)比試驗(yàn),限于篇幅,僅列出試驗(yàn)1、5和試驗(yàn)2、6的對(duì)比結(jié)果,如圖5所示。

圖5 非擴(kuò)充數(shù)據(jù)集下兩種學(xué)習(xí)率結(jié)果

由圖5可知:對(duì)于測(cè)試集,漸變學(xué)習(xí)率下的模型平均識(shí)別準(zhǔn)確率略高于不變學(xué)習(xí)率的,且平均識(shí)別準(zhǔn)確率的提高范圍為5%～7%;同時(shí),漸變學(xué)習(xí)率下的模型收斂速度相較于不變學(xué)習(xí)率的有顯著提高,而不變學(xué)習(xí)率條件下,訓(xùn)練30批次及以上才能收斂,漸變學(xué)習(xí)率條件下,10個(gè)批次即可收斂。說(shuō)明學(xué)習(xí)率初始值為0.001,在訓(xùn)練過(guò)程中逐漸減小的漸變學(xué)習(xí)率學(xué)習(xí)方法更適合本文。

綜上,對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充、使用漸變的學(xué)習(xí)率、基于訓(xùn)練所有層的遷移學(xué)習(xí)方式對(duì)模型進(jìn)行訓(xùn)練,能很好地解決模型的過(guò)擬合問(wèn)題、加快模型的收斂速度、提高模型的平均識(shí)別準(zhǔn)確率(試驗(yàn)8的測(cè)試集平均識(shí)別準(zhǔn)確率高達(dá)95%),在小麥病蟲(chóng)害精準(zhǔn)識(shí)別上具有良好的應(yīng)用前景。

本文基于4種小麥葉部病蟲(chóng)害以及健康小麥的單標(biāo)簽數(shù)據(jù)集，對(duì)構(gòu)建的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,獲得了較好的效果。然而,實(shí)際生產(chǎn)中的小麥病蟲(chóng)害遠(yuǎn)不止本文涉及的幾種,同時(shí)還存在多種病蟲(chóng)害并存的現(xiàn)象。受當(dāng)前數(shù)據(jù)集的限制,暫未統(tǒng)籌考慮這些情況,后期有待將多標(biāo)簽的樣本擴(kuò)充到數(shù)據(jù)集中,進(jìn)一步修改模型訓(xùn)練過(guò)程中的損失函數(shù),以及最后全連接層的激活函數(shù),調(diào)整模型的輸出為樣本存在各種病蟲(chóng)害的概率,從而實(shí)現(xiàn)多標(biāo)簽的病蟲(chóng)害樣本分類識(shí)別,進(jìn)一步提高模型的實(shí)用價(jià)值。

3 結(jié)語(yǔ)

本文基于試驗(yàn)田現(xiàn)場(chǎng)采集的樣本,通過(guò)對(duì)比Alexnet、VGGNet16和Inception-V3網(wǎng)絡(luò)模型的測(cè)試集平均準(zhǔn)確率和運(yùn)行速度,選擇VGGNet16網(wǎng)絡(luò)模型作為本文的基礎(chǔ)網(wǎng)絡(luò)。然后,根據(jù)不同的數(shù)據(jù)集、遷移學(xué)習(xí)方式和學(xué)習(xí)率設(shè)計(jì)了8組對(duì)比試驗(yàn),得出如下結(jié)論:

1)在小規(guī)模數(shù)據(jù)集條件下,使用數(shù)據(jù)擴(kuò)充技術(shù)對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充,能夠有效提高模型的平均識(shí)別準(zhǔn)確率,解決了小規(guī)模數(shù)據(jù)集容易出現(xiàn)的過(guò)擬合問(wèn)題。

2)使用遷移學(xué)習(xí)方法，能夠解決直接訓(xùn)練時(shí)對(duì)機(jī)器硬件要求過(guò)高,且難以收斂的問(wèn)題;同時(shí),使用訓(xùn)練所有層的遷移學(xué)習(xí)方法的模型平均識(shí)別準(zhǔn)確率較只訓(xùn)練最后全連接層的遷移學(xué)習(xí)方法的高。

3)使用漸變學(xué)習(xí)率先以較大的學(xué)習(xí)率學(xué)習(xí)樣本的基本特征,然后再使用較小的學(xué)習(xí)率進(jìn)一步學(xué)習(xí)樣本更高級(jí)的特征,相較于使用不變學(xué)習(xí)率,模型的收斂速度更快,并且能取得更好的識(shí)別效果。