李祥宇 任艷娜 馬新明 席磊

摘要：目前，利用機器視覺進(jìn)行小麥生育進(jìn)程監(jiān)測主要是通過人工來進(jìn)行特征提取，存在客觀性差、效率低等問題，為了解決該問題，把深度學(xué)習(xí)引入到小麥生育進(jìn)程監(jiān)測研究中。卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)中常用的算法被廣泛應(yīng)用于圖像分類任務(wù)中，使用深層的特征提取網(wǎng)絡(luò)能夠自動識別和提取圖像特征，但常規(guī)深度卷積網(wǎng)絡(luò)帶來的大量參數(shù)和計算開銷使這些算法難以應(yīng)用到對存儲空間和參數(shù)量有一定限制的嵌入式設(shè)備中。為此提出將知識蒸餾方法用于目標(biāo)檢測網(wǎng)絡(luò)的特征提取網(wǎng)絡(luò)，以提升淺層特征提取網(wǎng)絡(luò)的性能，在降低模型的計算量和模型大小的同時盡可能地保證識別結(jié)果的準(zhǔn)確性。通過使用ResNet50、VGG-16這2個不同教師網(wǎng)絡(luò)分別指導(dǎo)學(xué)生模型MobileNet進(jìn)行訓(xùn)練，試驗結(jié)果表明，當(dāng)ResNet50作為教師模型、MobileNet作為學(xué)生模型時識別效果最好，學(xué)生模型MobileNet的平均識別準(zhǔn)確率達(dá)到了97.3%，模型大小壓縮為僅19.7 MB，相比于ResNet50縮小了88.9%，通過知識蒸餾的方法，使得到的模型能夠在提高準(zhǔn)確率的情況下還能減少網(wǎng)絡(luò)模型的參數(shù)量和模型運行時間的消耗，大幅降低部署模型的成本，可以為田間小麥智慧化生產(chǎn)提供技術(shù)支撐。

關(guān)鍵詞：小麥生育期;深度學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò);模型壓縮;知識蒸餾

中圖分類號：S126 ??文獻(xiàn)標(biāo)志碼： A

文章編號：1002-1302（2022）08-0199-08

小麥?zhǔn)鞘澜绲诙蠹Z食作物，全世界約35%～40%的人口以小麥為其主要糧食[1]。中國小麥種植面積占耕地面積的70%以上，河南省冬小麥產(chǎn)量占全國小麥總產(chǎn)量的25%以上，河南省冬小麥的穩(wěn)產(chǎn)和高產(chǎn)對保障國家糧食安全至關(guān)重要，作為作物生長信息的主要基礎(chǔ)之一，生育期信息一直以來都在為作物自動化監(jiān)測服務(wù)，例如在特定發(fā)育期階段進(jìn)行相應(yīng)的監(jiān)測或農(nóng)事活動等;因此，作物生育期進(jìn)程監(jiān)測是必不可少的。目前，作物的生育期信息的獲取主要是通過人工觀測來實現(xiàn)的，然而，人為觀測費時費力、有誤差，還會對作物造成破壞。使用智能化的方法對小麥生育期進(jìn)行監(jiān)測可以大大提高小麥高觀測結(jié)果的準(zhǔn)確性和實時性，同時降低投入的成本。因此，迫切需要一種智能化的技術(shù)來解決小麥生育進(jìn)程監(jiān)測問題。

近年來，機器學(xué)習(xí)方法在處理分類、回歸等問題中得到廣泛應(yīng)用，也逐漸被應(yīng)用于作物的生育期提取研究。但是這些研究主要集中于玉米[2-3]、水稻[4]、棉花[5]等相對容易采集處理的作物上，對小麥生育期的研究還處于不成熟階段。張明偉等基于中分辨率成像光譜儀-增強型植被指數(shù)（MODIS-EVI）時間序列數(shù)據(jù)對冬小麥返青期與抽穗期長勢進(jìn)行判斷[6]，黃青等利用冬小麥中分辨率成像光譜儀-歸一化植被指數(shù)（MODIS-NDVI）差值模型對冬小麥長勢進(jìn)行監(jiān)測[7]。以上方法須要對每一類作物構(gòu)建大量特征標(biāo)準(zhǔn)，工作量大且泛化能力不足。

深度學(xué)習(xí)是近年來一種熱門的模式分析方法，廣泛應(yīng)用于語音識別[8]、人臉識別[9]、圖像分類[10]、行為分析[11-12]等工業(yè)領(lǐng)域中，近年來也逐步應(yīng)用在農(nóng)業(yè)領(lǐng)域[13-14]。有研究學(xué)者將深度學(xué)習(xí)應(yīng)用在花生[15]、水果[16-18]、蔬菜[19-20]等作物的目標(biāo)檢測。吳茜利用圖像處理技術(shù)實現(xiàn)棉花生育期3個時期的自動觀測，但是此方法只是針對固定的棉花種植區(qū)域和固定的棉花品種，如果對其他的棉花種植地區(qū)和不同品種情況下會出現(xiàn)誤差[21];余正泓將計算機視覺技術(shù)用于玉米發(fā)育期的自動檢測中，利用空間均勻度檢測出苗期，建立連通域株數(shù)、端點數(shù)與到達(dá)3葉期概率的概率模型檢測是否到達(dá)3葉期，基于覆蓋度和冠層高度判定是否到達(dá)拔節(jié)期，最后利用時空顯著性檢測玉米雄穗進(jìn)而判斷玉米抽雄期[22]。吳蘭蘭基于圖像處理方法，結(jié)合支持向量機和 BP 神經(jīng)網(wǎng)絡(luò)研究了復(fù)雜背景的田間苗期玉米和雜草的分類，為田間雜草實時識別系統(tǒng)提供技術(shù)支持[23]。盡管現(xiàn)代深度神經(jīng)網(wǎng)絡(luò)的性能有了顯著的提高，但是在模型訓(xùn)練時，仍然需要從巨大且冗余的數(shù)據(jù)中提取特征結(jié)構(gòu)。通常情況下不考慮實時性要求，最后訓(xùn)練得到的模型參數(shù)量較多。由于計算資源和延遲的限制，深度神經(jīng)網(wǎng)絡(luò)較難在實際中得到應(yīng)用。

近年來有學(xué)者提出了不同的模型精簡方法。Hinton 等最早提出知識蒸餾方法，其核心方法就是利用常規(guī)的深度卷積網(wǎng)絡(luò)教師模型來指導(dǎo)一個精簡網(wǎng)絡(luò)的學(xué)生模型[24]。本研究基于這一方法，嘗試使用常規(guī)的網(wǎng)絡(luò) ResNet50[25]和VGG16模型作為教師模型來指導(dǎo)精簡網(wǎng)絡(luò)MobileNet模型的訓(xùn)練，并將其首次應(yīng)用于小麥生育期進(jìn)程監(jiān)測。通過知識蒸餾的方法，使MobileNet經(jīng)過蒸餾學(xué)習(xí)后模型能夠在提升準(zhǔn)確率的情況下還能減少網(wǎng)絡(luò)模型的參數(shù)量和大大縮短模型的運行時間，能夠大幅降低部署模型的成本。

1 數(shù)據(jù)與方法

1.1 數(shù)據(jù)材料

本研究試驗選擇在河南省長葛市河南農(nóng)業(yè)大學(xué)許昌校區(qū)試驗區(qū)（地理位置34°12′06″N， 113°58′26″E）進(jìn)行。試驗區(qū)屬北溫帶大陸性季風(fēng)氣候區(qū)，年均氣溫為14.3 ℃，年均降水量為 711.1 mm，無霜期為217 d。

由于田間環(huán)境復(fù)雜，通常要在田間固定攝像設(shè)備并在相同距離下進(jìn)行拍攝。采集時間為2019年10月至2020年6月，選擇豫麥49、周麥27、西農(nóng)509為試驗對象，在河南省小麥生產(chǎn)中，這3個品種在豫東、豫中地區(qū)都保持一定的種植面積，都屬半冬性小麥，且具有一定的普適性。

每次采集選擇密度300株/m2為1組數(shù)據(jù)，密度350株/m2為1組數(shù)據(jù)，氮含量15 kg/667 m2為1組數(shù)據(jù)，氮含量0 kg/667 m2為1組數(shù)據(jù)。每隔 2 d 在08：00—15：00 這段時間內(nèi)進(jìn)行拍攝，使用尼康D3100相機，采用三腳架進(jìn)行固定高度拍攝，所有圖像都是在自然光照條件下采集。采用許昌站點冬小麥生育期所需的有效積溫，記錄數(shù)據(jù)作為樣本標(biāo)記，從獲取的圖片數(shù)據(jù)中分別篩選出小麥的出苗—分蘗期（出苗的第1天到分蘗的前1 d），分蘗—越冬期（分蘗的第1天到越冬的前1 d），越冬—返青期（越冬的第1天到返青的前1 d），返青—拔節(jié)期（返青的第1天到拔節(jié)的前1 d），拔節(jié)—抽穗期（拔節(jié)的第1天到抽穗的前1 d），5個階段共12 750 張圖片數(shù)據(jù)，采集到的部分圖像見圖1。

對采集到的5個小麥生育時期圖像進(jìn)行預(yù)處理操作。通過相機采集的小麥生育時期的圖像像素為4 600×3 070，一張圖像的大小都已經(jīng)達(dá)到了 16 MB，這樣的圖像如果直接放入模型進(jìn)行學(xué)習(xí)，必然會對模型的訓(xùn)練計算帶來巨大的負(fù)擔(dān)，所以首先通過調(diào)整圖像規(guī)格的方法對小麥5個生育時期的圖像進(jìn)行圖像的歸一化操作。小麥生育期圖像都是在復(fù)雜背景下進(jìn)行采集的，圖像的四周會有與小麥圖像無關(guān)信息的田間背景，因此把含有無關(guān)信息的小麥圖像利用中心裁剪的方法裁剪掉，然后將所有

的圖像統(tǒng)一縮放為224×224的圖像，最終實現(xiàn)了所有圖像的尺寸歸一化處理。

隨著模型計算深度的加深，隨之而來的是參數(shù)量逐漸變多，如果數(shù)據(jù)集達(dá)不到一定的數(shù)量，此時模型就會發(fā)生過擬合的現(xiàn)象，模型在對訓(xùn)練集識別的準(zhǔn)確率很高，但是放到測試集就不能準(zhǔn)確地識別，整個模型的泛化能力就非常弱。所以為了防止過擬合現(xiàn)象發(fā)生，采用增加圖像數(shù)據(jù)量的方法，一般可以利用圖像的平移、圖像的縮放、圖像的切割等方法來進(jìn)行數(shù)據(jù)集的擴(kuò)增。本研究選擇了對小麥5個生育時期圖像旋轉(zhuǎn)的方法來進(jìn)行數(shù)據(jù)集的擴(kuò)增，具體方法是使圖像按照不同角度進(jìn)行旋轉(zhuǎn)，增加不同角度的小麥圖像數(shù)據(jù)，將圖像分別順時針旋轉(zhuǎn)90°、180°、270°。

5個小麥生育期圖像的數(shù)據(jù)集擴(kuò)增了3倍。最終將5種小麥冠層圖像數(shù)據(jù)擴(kuò)充為均衡樣本共 38 250 張（16 050張豫麥49，15 450張周麥27，6 750 張西農(nóng)509）在每個小麥生育期中隨機抽取共1 350張構(gòu)成測試集，本研究進(jìn)行對比試驗等都是在這個數(shù)據(jù)集上完成的。數(shù)據(jù)樣本分布見表1。

1.2 研究方法

1.2.1 知識蒸餾 知識蒸餾方法最早是被應(yīng)用到圖像識別分類任務(wù)中的，其核心思想是找到一種方法，把多個模型的知識和性能提煉給單個模型。一般認(rèn)為模型的參數(shù)保留了模型訓(xùn)練過程所學(xué)到的知識，最常見的遷移學(xué)習(xí)方式就是在1個大型數(shù)據(jù)集上做預(yù)訓(xùn)練，然后利用預(yù)訓(xùn)練得到的參數(shù)根據(jù)任務(wù)要求做微調(diào)后應(yīng)用于目標(biāo)數(shù)據(jù)。知識可以看做是輸入到輸出的映射關(guān)系，因此先訓(xùn)練好1個教師網(wǎng)絡(luò)，然后將該網(wǎng)絡(luò)的輸出結(jié)果q作為學(xué)生網(wǎng)絡(luò)的目標(biāo)，以此來訓(xùn)練學(xué)生網(wǎng)絡(luò)，盡量使得學(xué)生網(wǎng)絡(luò)的輸出結(jié)果p接近q，損失函數(shù)L=CE（y，p）+aCE（q，p），其中CE代表交叉熵;y是真實標(biāo)簽的onehot編碼;q是教師網(wǎng)絡(luò)的輸出結(jié)果;a是系數(shù);p是學(xué)生網(wǎng)絡(luò)的輸出結(jié)果。

VGG16和ResNet50模型作為常規(guī)的大型卷積神經(jīng)網(wǎng)絡(luò)在眾多分類試驗中都能夠取得良好的分類結(jié)果，標(biāo)準(zhǔn)模型由于本身占用了過多的參數(shù)量，從而模型運行過程中消耗了巨大的資源，會給運行設(shè)備帶來過多負(fù)擔(dān)。為了解決模型本身參數(shù)量過多無法在算力不高的設(shè)備上運行的問題，MobileNet運用深度可分離卷積技術(shù)極大地降低了模型大小[26]。本研究把標(biāo)準(zhǔn)模型VGG16和標(biāo)準(zhǔn)模型Resnet50來作為教師網(wǎng)絡(luò)，通過讓學(xué)生模型MobileNet學(xué)習(xí)教師網(wǎng)絡(luò)的知識，從而提升MobileNet模型在小麥各生育期識別精度。

Hinton在知識蒸餾方法中首次提出用生成的軟標(biāo)簽來輔佐正常標(biāo)簽進(jìn)行訓(xùn)練。軟標(biāo)簽是經(jīng)過軟化的教師網(wǎng)絡(luò)的輸出結(jié)果，軟化具體方法是在教師網(wǎng)絡(luò)的輸出函數(shù)Softmax里加入?yún)?shù)T來放大軟標(biāo)簽其他分類的概率值，使得學(xué)生網(wǎng)絡(luò)能夠更全面地學(xué)習(xí)到更多的信息。式（1）是軟化的輸出函數(shù)qi。

qi=exp（zi/T）∑jexp（zj/T）。（1）

其中：zi表示第i個類別的輸出值。之所以加入?yún)?shù)T的原因是Softmax輸出函數(shù)是一條陡峭的曲線，錯誤分類的概率值經(jīng)過Softmax函數(shù)輸出后會變得極其低，這會造成學(xué)生網(wǎng)絡(luò)在知識傳輸時能夠通過教師網(wǎng)絡(luò)學(xué)習(xí)的信息很少。一個復(fù)雜網(wǎng)絡(luò)能夠得到較好的分類效果，對于1張目標(biāo)圖像輸出正確的概率比錯誤的概率大很多，但對于一個較小網(wǎng)絡(luò)無法實現(xiàn)，因此在小網(wǎng)絡(luò)Softmax處加1個T參數(shù)。加上這個參數(shù)并設(shè)置較大的值時，錯誤分類再次經(jīng)過Softmax時輸出值變大，則輸出結(jié)果的概率分布越近似，相當(dāng)于一個平滑的作用，起到保留相似信息的作用。用相同T值對小網(wǎng)絡(luò)進(jìn)行訓(xùn)練，目標(biāo)輸出就是一個均勻分布。這時如果將T重新取1，小網(wǎng)絡(luò)的分類概率就更加接近大網(wǎng)絡(luò)的較高識別準(zhǔn)確率。

知識蒸餾，可以將1個網(wǎng)絡(luò)的知識轉(zhuǎn)移到另1個網(wǎng)絡(luò)，2個網(wǎng)絡(luò)可以是同構(gòu)或者異構(gòu)。知識蒸餾，可以用來將網(wǎng)絡(luò)從大網(wǎng)絡(luò)轉(zhuǎn)化成1個小網(wǎng)絡(luò)，并保留接近于大網(wǎng)絡(luò)的性能;也可以將多個網(wǎng)絡(luò)學(xué)到的知識轉(zhuǎn)移到1個網(wǎng)絡(luò)中，使得單個網(wǎng)絡(luò)的性能接近大網(wǎng)絡(luò)的結(jié)果，過程見圖2。

蒸餾的基本步驟如下：

（1）用大量數(shù)據(jù)訓(xùn)練1個較大且性能較好的模型做教師網(wǎng)絡(luò)。

（2）設(shè)置超參數(shù)T，使用預(yù)訓(xùn)練的教師網(wǎng)絡(luò)對學(xué)

生網(wǎng)絡(luò)進(jìn)行蒸餾，首先是將計算出軟化后的學(xué)生網(wǎng)絡(luò)的預(yù)測和軟化后的教師網(wǎng)絡(luò)的預(yù)測進(jìn)行交叉熵計算得到L（soft），將不經(jīng)過軟化的學(xué)生網(wǎng)絡(luò)的預(yù)測和正常標(biāo)簽進(jìn)行交叉熵計算得到L（hard），最后將2個交叉熵按比例α組成最終的損失函數(shù)進(jìn)行訓(xùn)練，通過這種方式使得教師網(wǎng)絡(luò)能夠聯(lián)合學(xué)生網(wǎng)絡(luò)一起訓(xùn)練。公式（2）是最終的損失函數(shù)

L=αL（soft）+（1-α）Lhard。（2）

（3）訓(xùn)練得到的學(xué)生網(wǎng)絡(luò)在單獨預(yù)測階段，使用正常的Softmax函數(shù)進(jìn)行分類。

2 試驗結(jié)果與分析

進(jìn)行試驗的計算機配置是內(nèi)存16 GB，CPU型號為Intel i7-8750H，顯卡型號NVIDIA GTX 1060TI，運行 Windows10系統(tǒng)。利用Python語言中Keras包進(jìn)行代碼的編寫。

2.1 蒸餾模型訓(xùn)練結(jié)果

為了保證整個試驗過程及結(jié)果具有科學(xué)性和有效性，試驗的過程所有的超參數(shù)都進(jìn)行了統(tǒng)一化處理，對一次訓(xùn)練所選取的樣本數(shù)定義為 64，L2正則化定義為 0.000 5，為了不讓模型發(fā)生過擬合的問題，把模型的學(xué)習(xí)進(jìn)度都控制在0.001。

為了保證教師模型與學(xué)生模型為最佳模型，試驗在224×224大小的3通道RGB 圖像下，從生育時期識別的準(zhǔn)確率、模型運行時間以及模型參數(shù)量，對比VGG16、 MobileNet、ResNet50這3個網(wǎng)絡(luò)模型，對比了這3種比較主流的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對。3種模型在迭代過程中小麥5個生育時期驗證集準(zhǔn)確率變化情況見圖3。

由圖3可以看出，這3種模型在迭代的過程中小麥生育時期驗證集的準(zhǔn)確率變化總體呈現(xiàn)出了不同的特點。具體來說，這3種模型在迭代的過程中，準(zhǔn)確率都出現(xiàn)了明顯的抖動現(xiàn)象，對于輕量化模型 MobileNet 來說，雖然在剛開始迭代過程中小麥生育期驗證集的準(zhǔn)確率出現(xiàn)比較低的表現(xiàn)，但是隨著模型整體訓(xùn)練的逐步加深，準(zhǔn)確率整體呈現(xiàn)逐步上升趨勢。

由表2可知，模型對5 類小麥生育時期的識別準(zhǔn)確率都是很高的。尤其是對小麥出苗—分蘗期的分類，分類準(zhǔn)確率達(dá)到了96.8%，即使是返青—拔節(jié)期的分類準(zhǔn)確率也達(dá)到了89.9%，這說明模型是有效的。通過對誤判數(shù)據(jù)分析可以發(fā)現(xiàn)，誤判的發(fā)生主要是集中在各生育時期的后期以及下一個生育時期的前期，其主要原因是此時的物候特征不明顯。

為了驗證不同深度的網(wǎng)絡(luò)模型作為教師模型對學(xué)生模型準(zhǔn)確率的影響，試驗分別利用 VGG16、Resnet50作為教師模型來指導(dǎo)學(xué)生模型MobileNet的訓(xùn)練，3 種教師模型蒸餾前后識別結(jié)果見表3。

由表3可知，經(jīng)過對這VGG-16和ResNet50知識蒸餾后單個小麥生育時期的準(zhǔn)確率與小麥這5個時期的平均準(zhǔn)確率都有一定的提升，其中出苗期的準(zhǔn)確率最高，相比蒸餾前的準(zhǔn)確率提高了1.5百分點，5個生育時期ResNet50模型的平均準(zhǔn)確率最高，提高了1.2百分點。VGG16和ResNet50都在經(jīng)過蒸餾后對小麥生育時期識別的準(zhǔn)確度有了略微的提升，雖然提升效果不明顯，但這已經(jīng)是這2個模型在蒸餾前對小麥生育時期識別準(zhǔn)確率已經(jīng)很高的基礎(chǔ)上帶來的提升，通過試驗對比可以說明對VGG16和ResNet50的蒸餾是有效果的，MobileNet通過學(xué)習(xí)VGG16和ResNet50模型里的知識，獲得MobileNet本身一些所缺少的信息，從而提高了模型最終的準(zhǔn)確率，甚至超過了VGG16和RestNet50這2個教師模型。

從試驗結(jié)果可以看出，模型的識別結(jié)果與模型的網(wǎng)絡(luò)深度有關(guān)，當(dāng)教師網(wǎng)絡(luò)為ResNet50時學(xué)生模型MobileNet的網(wǎng)絡(luò)識別準(zhǔn)確率最高，這說明當(dāng)教師模型網(wǎng)絡(luò)深度越深對學(xué)生模型的影響越大，最終模型識別結(jié)果的準(zhǔn)確率越高。當(dāng)教師網(wǎng)絡(luò)為ResNet50時學(xué)生模型MobileNet的網(wǎng)絡(luò)識別準(zhǔn)確率為 98.3%。為了能看出通過知識蒸餾能夠給模型帶來多少提升，把學(xué)生模型MobileNet與教師模型VGG16和ResNet50的識別精確率和模型的參數(shù)量、模型所占的內(nèi)存和模型訓(xùn)練所用的時間這4個方面進(jìn)行對比。通過表4可以看出，在模型的參數(shù)量方面，VGG16模型的參數(shù)量是蒸餾后MobileNet 模型的100.8倍，教師模型ResNet50 的參數(shù)量是經(jīng)過蒸餾后MobileNet模型的20.9倍之多。

模型計算所帶來的參數(shù)量能夠直觀地看出模型的復(fù)雜程度，模型參數(shù)量的多少能夠直接影響模型本身是否能夠在計算力相對小的設(shè)備上進(jìn)行部署，參數(shù)量越多部署到算力小的設(shè)備上就越困難。在模型訓(xùn)練時間上可以看出，經(jīng)過學(xué)習(xí)蒸餾之后的學(xué)生模型MobileNet的收斂時間為20 h左右，在準(zhǔn)確率方面，蒸餾后MobileNet模型的準(zhǔn)確率為98.3%。

經(jīng)過知識蒸餾后的MobileNet模型與常規(guī)的深度卷積神經(jīng)網(wǎng)絡(luò)模型相比，蒸餾后的MobileNet模型可以在小幅提高準(zhǔn)確率的同時大大縮減模型的大小和訓(xùn)練模型的時間，從而加快模型的收斂速度。

2.2 特征圖可視化結(jié)果

通過對教師網(wǎng)絡(luò)卷積層進(jìn)行特征可視化，可以更好地理解模型的運行過程。從淺層到深層選擇卷積層進(jìn)行可視化，結(jié)果見圖4。神經(jīng)網(wǎng)絡(luò)的前面卷積層為淺層卷積層，后面的卷積層為深層卷積層，它們所關(guān)注的重點不同。每個小圖由不同卷積層可視化得到，它們按照從淺層到深層遞增的順序排序。圖像的形狀越來越不明顯，因為淺層卷積層提取的特征強調(diào)的是紋理、細(xì)節(jié)信息，物體的基本形狀能夠比較清晰地展現(xiàn)出來。隨著層數(shù)的增加，將會提取更多的抽象特征，通過更多的變換操作來更加完整地描述一個物體。相對而言，層數(shù)越深，提取的特征越具有代表性。通過對網(wǎng)絡(luò)的可視化[27]，可以更好地了解網(wǎng)絡(luò)對物體進(jìn)行識別時所著重關(guān)注的地方，圖像越亮的區(qū)域表示特征越明顯。

3 結(jié)論

研究針對神經(jīng)網(wǎng)絡(luò)訓(xùn)練中模型中龐大的模型體積和過長的模型的訓(xùn)練時間，提出使用知識蒸餾技術(shù)建立了識別5種不同小麥生育期的分類模型。主要結(jié)論如下：

小麥生育期識別的標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)模型VGG16、ResNet50和輕量化卷積神經(jīng)網(wǎng)絡(luò)模型MobileNet，對小麥生育期測試集樣本進(jìn)行預(yù)測，模型的平均準(zhǔn)確率分別為93.5%、94.9%、92.6%，表明了利用卷積神經(jīng)網(wǎng)絡(luò)在小麥生育期圖像上分類識別可行且高效。

當(dāng)ResNet50作為教師模型時，學(xué)生模型MobileNet的準(zhǔn)確率提升到了98.3%;然后使用小麥單個生育期的準(zhǔn)確率、模型的參數(shù)量、模型所占的內(nèi)存與模型訓(xùn)練所用時間4個指標(biāo)對訓(xùn)練好的學(xué)生模型MobileNet進(jìn)行評估。經(jīng)過蒸餾后的MobileNet模型的平均準(zhǔn)確率達(dá)到了96.1%，模型的參數(shù)量只有130多萬個，模型大小壓縮為僅19.7 MB，相比于ResNet50縮小了80.8%，模型的運行收斂時間只有20 h，約為教師模型的一半，具備較高的準(zhǔn)確性和實時性要求。

通過知識蒸餾可以使得一個小的模型準(zhǔn)確率接近大的模型的準(zhǔn)確率，使得小麥生育期識別模型參數(shù)量、模型大小和運行時間大大減少，便于在低算力設(shè)備部署運行，可以為田間小麥智慧化生產(chǎn)提供技術(shù)支撐。

參考文獻(xiàn)：

[1]趙廣才，常旭虹，王德梅，等. 小麥生產(chǎn)概況及其發(fā)展[J]. 作物雜志，2018（4）：1-7.

[2]和興華. 基于卷積神經(jīng)網(wǎng)絡(luò)的玉米冠層圖像分割與生育期鑒定方法[D]. 南昌：江西農(nóng)業(yè)大學(xué)，2018.

[3]陸 明，申雙和，王春艷，等. 基于圖像識別技術(shù)的夏玉米生育期識別方法初探[J]. 中國農(nóng)業(yè)氣象，2011，32（3）：423-429.

[4]烏玲瑛，徐 奐，蔡喨喨，等. 基于機器學(xué)習(xí)的水稻發(fā)育期預(yù)測模型構(gòu)建[J]. 揚州大學(xué)學(xué)報（農(nóng)業(yè)與生命科學(xué)版），2012，33（3）：44-50.

[5]胡錦濤，王苗苗，李 濤，等. 基于深度學(xué)習(xí)的棉花發(fā)育期自動觀測[J]. 安徽農(nóng)業(yè)科學(xué)，2019，47（11）：237-240，243.

[6]張明偉. 基于MODIS數(shù)據(jù)的作物物候期監(jiān)測及作物類型識別模式研究[D]. 武漢：華中農(nóng)業(yè)大學(xué)，2006.

[7]黃 青，李丹丹，陳仲新，等. 基于MODIS數(shù)據(jù)的冬小麥種植面積快速提取與長勢監(jiān)測[J]. 農(nóng)業(yè)機械學(xué)報，2012，43（7）：163-167.

[8]黎 煊，趙 建，高 云，等. 基于連續(xù)語音識別技術(shù)的豬連續(xù)咳嗽聲識別[J]. 農(nóng)業(yè)工程學(xué)報，2019，35（6）：174-180.

[9]鄭秋梅，謝換麗，王風(fēng)華，等. 一種基于局部三值模式的深度學(xué)習(xí)人臉識別算法[J]. 計算機與現(xiàn)代化，2018（2）：112-117.

[10]林相澤，張俊媛，朱賽華，等. 基于K-SVD和正交匹配追蹤稀疏表示的稻飛虱圖像分類方法[J]. 農(nóng)業(yè)工程學(xué)報，2019，35（19）：216-222.

[11]儲彬彬. 基于深度學(xué)習(xí)的人類行為分析技術(shù)的研究與實現(xiàn)[D]. 南京：東南大學(xué)，2017.

[12]占 超. 基于視頻對象和深度學(xué)習(xí)的異常行為分析系統(tǒng)設(shè)計和實現(xiàn)[D]. 北京：北京郵電大學(xué)，2019.

[13]汪傳建，趙慶展，馬永建，等. 基于卷積神經(jīng)網(wǎng)絡(luò)的無人機遙感農(nóng)作物分類[J]. 農(nóng)業(yè)機械學(xué)報，2019，50（11）：161-168.

[14]賈少鵬，高紅菊，杭 瀟. 基于深度學(xué)習(xí)的農(nóng)作物病蟲害圖像識別技術(shù)研究進(jìn)展[J]. 農(nóng)業(yè)機械學(xué)報，2019，50（增刊1）：313-317.

[15]黃 云，唐林波，李 震，等. 采用深度學(xué)習(xí)的遙感圖像花生種植區(qū)域分類技術(shù)研究[J]. 信號處理，2019，35（4）：617-622.

[16]王丹丹，何東健. 基于R-FCN深度卷積神經(jīng)網(wǎng)絡(luò)的機器人疏果前蘋果目標(biāo)的識別[J]. 農(nóng)業(yè)工程學(xué)報，2019，35（3）：156-163.

[17]羅 琪. 基于深度學(xué)習(xí)的水果圖像識別系統(tǒng)[J]. 農(nóng)業(yè)工程，2018，8（10）：31-34.

[18]宋曉倩，張學(xué)藝，張春梅，等. 基于深度遷移學(xué)習(xí)的釀酒葡萄種植信息提取[J]. 江蘇農(nóng)業(yè)學(xué)報，2020，36（3）：689-693.

[19]謝忠紅，徐煥良，黃秋桂，等. 基于高光譜圖像和深度學(xué)習(xí)的菠菜新鮮度檢測[J]. 農(nóng)業(yè)工程學(xué)報，2019，35（13）：277-284.

[20]Ma J C，Du K M，Zheng F X，et al. A recognition method for cucumber diseases using leaf symptom images based on deep convolutional neural network[J]. Computers and Electronics in Agriculture，2018，154：18-24.

[21]吳 茜. 基于圖像處理技術(shù)的棉花發(fā)育期自動觀測研究[D]. 武漢：華中科技大學(xué)，2013.

[22]余正泓. 基于圖像的玉米發(fā)育期自動觀測技術(shù)研究[D]. 武漢：華中科技大學(xué)，2014.

[23]吳蘭蘭. 基于數(shù)字圖像處理的玉米苗期田間雜草的識別研究[D]. 武漢：華中農(nóng)業(yè)大學(xué)，2010.

[24]Hinton G ，Vinyals O，Dean J. Distilling the knowledge in a neural network[EB/OL]. （2015-03-09）[2021-03-21]. https：//arxiv.org/pdf/1503.02531.pdf.

[25]Soudani A，Barhoumi W. An image-based segmentation recommender using crowdsourcing and transfer learning for skin lesion extraction[J]. Expert Systems with Applications，2019，118：400-410.

[26]Sandler M，Howard A，Zhu M L，et al. MobileNetV2：inverted residuals and linear bottlenecks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City，2018.

[27]Protas ，Bratti J D，Gaya J F O，et al. Visualization methods for image transformation convolutional neural networks[J]. IEEE Transactions on Neural Networks and Learning Systems，2019，30（7）：2231-2243.