張建華 趙洪凱 姜雷 韓應(yīng)欣 姜嬌陽 張海濤

(扎蘭屯職業(yè)學(xué)院信息工程系，內(nèi)蒙古 扎蘭屯 162650)

引言

民以食為天，農(nóng)業(yè)是國民經(jīng)濟(jì)的基礎(chǔ)，糧食生產(chǎn)是基礎(chǔ)的基礎(chǔ)。糧食事關(guān)國計民生，糧食穩(wěn)則人心穩(wěn)、社會穩(wěn)，糧食安全是國家安全的重要基礎(chǔ)。玉米是我國產(chǎn)量最大的糧食作物。根據(jù)國家統(tǒng)計局?jǐn)?shù)據(jù)公布2019年度我國的糧食產(chǎn)量是66384.00萬t，其中玉米產(chǎn)量是26077.00萬t，占比39.28%[1]。內(nèi)蒙古地區(qū)作為我國第3大玉米產(chǎn)地，其玉米產(chǎn)量占全區(qū)糧食產(chǎn)量的74%[2]，可見內(nèi)蒙古地區(qū)玉米產(chǎn)量在全國糧食產(chǎn)量中重要地位。而呼倫貝爾市的糧食產(chǎn)量中玉米更是占據(jù)了絕對的主導(dǎo)地位[3]。

玉米在我國的糧食生產(chǎn)中占有主導(dǎo)作用，是因?yàn)橛衩撞粌H是我國主要糧食作物同時也是非常重要的工業(yè)原料，在工業(yè)生產(chǎn)中也有廣泛應(yīng)用，如可以用于制造乙醇、氨基酸等各種化工原料。因此無論是從糧食安全角度還是從工業(yè)生產(chǎn)的角度，穩(wěn)定玉米的產(chǎn)量都有重要意義。然而，玉米病蟲害對其整個生長周期影響是巨大的，已成為影響我國玉米產(chǎn)量的主要原因[4,5]。

傳統(tǒng)發(fā)現(xiàn)病蟲害的方法是人工方法，通過農(nóng)業(yè)技術(shù)人員來發(fā)現(xiàn)和判別病害嚴(yán)重程度，該方法存在耗時、費(fèi)力的缺點(diǎn)。更可靠的方法是依靠實(shí)驗(yàn)室判別，雖然準(zhǔn)確率很高，但是需要經(jīng)過菌種培養(yǎng)過程，周期漫長，不適合及時診斷。因此，找到一種簡單有效的判別玉米病蟲害方法，對輔助玉米種植、提高產(chǎn)量具有重要研究價值。

從目前國內(nèi)外植物病蟲害識別研究來看，智能化的診斷方式正在逐步取代傳統(tǒng)人工方式，近年來人工智能識別技術(shù)在植物病蟲害的識別、診斷方面取得了顯著進(jìn)步。對常見的植物病蟲害，人工智能技術(shù)已經(jīng)具備較好的識別效果[6]。但是目前的病害檢測結(jié)果還基本停留在實(shí)驗(yàn)室探索階段，識別效果還有待進(jìn)一步的大田驗(yàn)證。在移動終端普及的今天，要想在手機(jī)等移動設(shè)備上實(shí)現(xiàn)病變有效檢測還有較長的路要走。

本研究計劃通過對扎蘭屯地區(qū)玉米葉片病蟲害樣本采集、自動識別的研究，找到一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的輕便的玉米葉片病蟲害識別方法。使用TensorFlowlite工具把模型部署至Android平臺，開發(fā)出能夠識別玉米葉部病蟲害的APP。為扎蘭屯地區(qū)玉米葉部病蟲害的快速識別、積極防治提供科學(xué)的方法和依據(jù)，對減少人工投入、促進(jìn)扎蘭屯地區(qū)農(nóng)業(yè)的發(fā)展有重要意義。

1 玉米葉部病蟲害樣本采集及模型訓(xùn)練

玉米葉片病蟲害識別的模型訓(xùn)練主要包括樣本采集、樣本分類、樣本裁剪、模型訓(xùn)練、模型優(yōu)化等幾個步驟。

1.1 玉米葉部病害公共數(shù)據(jù)集介紹

使用機(jī)器視覺和圖像分類的作物病蟲害分類算法中，需要大量的樣本數(shù)據(jù)進(jìn)行模型訓(xùn)練。數(shù)據(jù)集在人工智能、機(jī)器學(xué)習(xí)領(lǐng)域占有重要地位[7]，是機(jī)器具有“智能”的重要前提條件。在玉米葉片病蟲害的研究領(lǐng)域，也有了幾種公開可用的數(shù)據(jù)集，以下對3種典型的玉米葉部數(shù)據(jù)集加以簡要介紹。

田間玉米圖像數(shù)據(jù)集[8]是Wiesner-Hanks等在2015年建立的。該數(shù)據(jù)集是玉米北方葉枯病(NLB)的單一數(shù)據(jù)集。Plant Village數(shù)據(jù)集[9]是一個經(jīng)常被使用的、公開的植物病蟲害數(shù)據(jù)集，該數(shù)據(jù)集的數(shù)據(jù)記錄中包含54309幅農(nóng)作物圖像。大田作物病害識別研究圖像數(shù)據(jù)集[10]由中科院合肥智能機(jī)械研究所陳雷等建立。該數(shù)據(jù)集包括我國主要3種農(nóng)作物的15種病蟲害樣本，樣本數(shù)量有17624張。

公共數(shù)據(jù)集可以用來進(jìn)行模型的研究，但并不能滿足本研究的全部條件，原因有2方面：在扎蘭屯地區(qū)的病變種類公共數(shù)據(jù)集并不一定有，這樣就缺少了實(shí)用性的條件；某些病變的樣本比較少，訓(xùn)練出來的模型不夠準(zhǔn)確。鑒于以上原因本研究需要采集大量的樣本，建立自己的數(shù)據(jù)集。

1.2 自建玉米葉部病害數(shù)據(jù)集

1.2.1 數(shù)據(jù)采集

經(jīng)過多處實(shí)地勘察，最終選擇呼倫貝爾市農(nóng)業(yè)科學(xué)研究所的玉米種植基地作為采樣的基地。該基地有實(shí)驗(yàn)地113.33hm2有余，種植有多個品種的玉米50hm2，距離扎蘭屯市區(qū)約50km，交通比較方便，便于多品種樣本的采集。

7月末時玉米接近成熟，到了采樣時期。根據(jù)基地玉米的發(fā)病情況，選擇玉米大斑病(真菌病)、雙斑螢葉甲病變(玉米蟲害)以及玉米葉斑病[11](真菌病)3種主要病變進(jìn)行樣本的采集。為了使采樣盡可能接近將來手機(jī)APP使用拍照條件，采用一臺尼康D3100入門級單反相機(jī)，配18～55mm鏡頭，另外安排2人采用手機(jī)進(jìn)行樣本拍攝。

樣本拍攝時使用自然光照、垂直葉片拍攝的方式，單反相機(jī)采用固定較小光圈模式，手機(jī)采用自動模式。經(jīng)過4次采集，共采集原始樣本4516份，其中正常葉片500張。

1.2.2 數(shù)據(jù)處理

在進(jìn)行采樣前，通過網(wǎng)上學(xué)習(xí)及專家指導(dǎo)，對這3種玉米葉部病變有了基本識別能力。采樣后，依據(jù)對病變的認(rèn)知把病變樣本分成3類；請扎蘭屯職業(yè)學(xué)院農(nóng)學(xué)方面專家對分類好的圖片進(jìn)行審核，篩選掉不屬于這3種病變的樣本，有效保證原始數(shù)據(jù)的正確性。

為統(tǒng)一圖片形狀、去掉不必要的背景區(qū)域，進(jìn)行樣本圖片的裁剪工作。由于拍攝的樣本圖片形狀都是矩形的，為了將來訓(xùn)練需要，把圖片裁剪成正方形狀。在樣本圖片的裁剪過程中主要考慮以下因素：盡可能貼近將來手機(jī)拍照的真實(shí)場景，突出病變區(qū)域；盡量保留玉米葉子的基本特征，即葉子的邊緣和葉脈，實(shí)際裁剪中至少保留葉子一面的邊緣及葉脈；盡量不帶上其它玉米葉，尤其是玉米葉的葉脈部分；要考慮樣本圖片的多樣性，在病變?nèi)~的方向上以及病變的位置上多樣化一些。

裁剪后的樣本情況：玉米大斑病1172例、玉米葉斑病1529例、雙斑螢葉甲病1159例，正常樣本775例。整樣本圖片大小為256×256像素，用來進(jìn)行模型訓(xùn)練。

1.3 模型設(shè)計與訓(xùn)練

為了快速驗(yàn)證數(shù)據(jù)采集及樣本裁剪的效果，特使用Keras[12]進(jìn)行模型搭建。

1.3.1 模型訓(xùn)練的軟、硬件條件

模型訓(xùn)練采用Intel(R)Core(TM)i5-3210MCPU 2.50GHz，8GBRAM，無支持GPU加速的顯卡的筆記本電腦。軟件條件是Windows1064位操作系統(tǒng)，深度學(xué)習(xí)框架是TensorFlow2.0[13]+keras，python3.7，開發(fā)環(huán)境是JupyterNotebook[14]。

1.3.2 訓(xùn)練模型及結(jié)果

本研究綜合考慮Batch、Epoch、數(shù)據(jù)增強(qiáng)[15]、卷積核數(shù)量[16]等因素，經(jīng)過反復(fù)對比試驗(yàn)，在超參數(shù)中Batch的大小為24、訓(xùn)練次數(shù)為100輪，有數(shù)據(jù)增強(qiáng)的情況下，在訓(xùn)練集和測試集上的正確率分別到達(dá)97.2%和95.1%，達(dá)到了本研究所需要的正確率指標(biāo)。本模型輸入層的大小是256像素×256像素×3通道，輸出的結(jié)果是包含4個元素的張量，分別代表玉米大斑病、雙斑螢葉甲病及正常樣本的概率。模型各層簡要說明如表1所示，模型的結(jié)構(gòu)圖1所示，模型的正確率及損失率曲線如圖2所示。

表1 模型各層簡要說明

圖1 玉米葉部病蟲害識別網(wǎng)絡(luò)結(jié)構(gòu)

圖2 模型正確率及損失率曲線

1.4 模型的識別結(jié)果分析

為了了解本模型算法對哪些樣本的識別錯誤率比較高，識別錯誤的原因又是什么，即網(wǎng)絡(luò)是如何認(rèn)錯的，以便對本研究做進(jìn)一步的改進(jìn)，故使用CAM(Class Activation Mapping)技術(shù)對本模型識別結(jié)果進(jìn)行分析。

CAM是一個能夠可視化CNN的工具[17]，通過CAM后再生成的熱力圖可以直觀地看出為了達(dá)到正確分類的目的，CNN更側(cè)重于哪塊區(qū)域，圖像上的哪一部分對于最后的分類結(jié)果影響最大。本文使用的方法是梯度類別響應(yīng)圖(Grad-CAM)，不需要對原模型進(jìn)行修改，避免了重新訓(xùn)練模型的過程。CAM過程：挑選出模型在測試集上所有分類錯誤的圖片，再根據(jù)原始圖像和該圖像的熱圖對比分析，找出分類錯誤的原因。

測試集識別錯誤情況如表2所示，測試集錯誤識別為其它分類情況如表3所示。

表2 測試集識別錯誤數(shù)量情況表

表3 測試集錯誤識別為其它分類情況表

通過表2和表3,再結(jié)合CAM熱圖，對模型識別效果分析如下。

識別效果最好的是雙斑熒葉甲和葉斑病，識別效果最不理想反而是正常葉片，其次是大斑病葉片。

正常葉片分別被誤認(rèn)為雙斑熒葉甲葉片和大斑病葉片，大斑病分別被誤認(rèn)為雙斑熒葉甲葉片和葉斑病葉片。正常葉片識別錯誤熱圖如圖3所示，大斑病葉片識別錯誤熱圖如圖4所示。

圖3 正常葉片識別錯誤熱圖

圖4 大斑病葉片識別錯誤熱圖

正常葉片識別錯誤率高的原因分析：訓(xùn)練用樣本數(shù)量偏少，只有575例，和其它3種病變樣本在數(shù)量上差距明顯；正常樣本的葉片以外區(qū)域的特征相比較葉片本身特征更加突出一些，尤其是邊緣以外的亮點(diǎn)會被模型認(rèn)為是雙斑熒葉甲病，如圖3a、圖3e；而正常葉片的葉脈被部分會被誤認(rèn)為大斑病的長條狀病斑，如圖3c。

大斑病葉片識別錯誤率高的原因分析：大斑病的病變本身形狀比較長，在正方形裁剪時存在裁剪不完整的情況，如圖4c就是裁剪不完整；葉片邊緣高亮區(qū)域的影響，如圖4e；1種葉片上包含2種病變的干擾問題，如圖4g就屬于此類問題。

雙斑熒葉甲病變和葉斑病識別率高的原因分析：病變區(qū)域不大，病變邊緣清晰，特征比較明顯，便于裁剪后保留完整病變區(qū)域；形狀顏色比較統(tǒng)一，便于模型在訓(xùn)練數(shù)據(jù)量不大的情況下提高識別的準(zhǔn)確率。

針對以上模型識別結(jié)果的原因分析，在后續(xù)的樣本采集和圖片裁剪的過程中除了要加大樣本的采集數(shù)量外，還要有意識的避免干擾的發(fā)生，采集的過程中注意突出病變主體，盡量避免葉片邊緣存在高亮區(qū)域，裁剪的時候盡量保持病斑的完整性。

2 移動端APP開發(fā)

目前APP開發(fā)有2種方法可以選擇，基于客戶端/服務(wù)端的在線模式；完全的終端模式即離線模式。前者要實(shí)現(xiàn)病蟲害識別需要連接遠(yuǎn)程服務(wù)器上事先設(shè)計好的病蟲害識別程序?qū)颖緢D片進(jìn)行判斷，再返回給終端識別結(jié)果。后者為病蟲害圖片采集、預(yù)測、顯示都在終端進(jìn)行。前者對終端性能無特殊要求，后者則對終端有一定的性能要求。目前手機(jī)功能強(qiáng)大，性能優(yōu)異，一些大型的APP都能流暢運(yùn)行。但是考慮到有些偏遠(yuǎn)地區(qū)或其它環(huán)境因素造成手機(jī)網(wǎng)絡(luò)信號可能欠佳，因此本病害識別系統(tǒng)采用離線模式。玉米葉部病變識別APP開發(fā)過程如圖5所示。

圖5 玉米葉部病變識別APP的開發(fā)流程

2.1 模型轉(zhuǎn)換

使用TensorFlowlite[18]提供的tf.lite.TFLiteConverter. from_keras_model類將本研究的Keras模型(模型文件擴(kuò)展名為.h5)轉(zhuǎn)換為TensorFlow Lite模型格式(模型文件擴(kuò)展名為.tflite)。

在部署到Android設(shè)備的過程中，需要用到模型的輸入和輸出層的名字，可以使用使用TensorFlowlite提供的tf.lite.Interpreter類獲取這2個層的名字。

2.2 模型部署到Android系統(tǒng)

本文采用了Android studio 4.1.1[19]作為集成開發(fā)環(huán)境。把轉(zhuǎn)換后的.tflite模型文件拷貝到app/src/main/assets文件夾，再建立文本文件label_list.txt，用來做正確分類的對應(yīng)標(biāo)簽。assets目錄及類別標(biāo)簽如圖6所示。

圖6 assets目錄及類別標(biāo)簽

主要函數(shù)的基本介紹如下。編寫一個名字為TFLiteClassificationUtil的工具類[20]。有關(guān)TensorflowLite模型預(yù)測的相關(guān)基本操作都在該類里完成，如圖片預(yù)處理、加載模型、預(yù)測結(jié)果等。TFLiteClassificationUtil工具類的方法有以下5個。

2.2.1 構(gòu)造方法TFLiteClassificationUtil()

在該類的構(gòu)造方法中，通過參數(shù)傳遞過來的模型路徑來加載模型。在方法的加載過程中初始化基本配置信息，如GPU的相關(guān)配置。TensorFlow lite提供了tensorflow-lite-support庫，可以通過其中的ImageProcessor方法就能方便的編寫一個預(yù)處理函數(shù)，在預(yù)測之前使用這個函數(shù)對圖像進(jìn)行預(yù)處理，要注意的是此處的圖像預(yù)處理方式要和在訓(xùn)練的時候圖像預(yù)處理一樣的。否則就會出現(xiàn)在電腦上準(zhǔn)確率很高，在手機(jī)上準(zhǔn)確率很低的問題。

2.2.2 重載方法predictImage()

因?yàn)楸疚牟捎昧诉x擇現(xiàn)有圖片和實(shí)時拍照2種預(yù)測病害的方法，為了兼容這2種圖片預(yù)測方式，創(chuàng)建了2個重載方法，根據(jù)傳遞的參數(shù)不同來選擇使用方法，但都是通過調(diào)用predict()方法進(jìn)行預(yù)測的。

2.2.3 圖像預(yù)處理方法loadImage()

該方法首先獲得輸入圖像的長度(h)和寬度(w)值，根據(jù)w和h中較小的值對圖像進(jìn)行正方形居中裁剪；調(diào)用圖像縮放方法對圖像進(jìn)行縮放，返回符合模型要求的圖像尺寸，返回的圖像大小是256像素×256像素。

2.2.4 獲取概率最大的標(biāo)簽方法getMaxResult()

這個方法比較簡單，通過循環(huán)比較找到最大概率值，并返回其下標(biāo)。通過下標(biāo)就可以獲取概率最大的預(yù)測值標(biāo)簽。

2.2.5 執(zhí)行預(yù)測方法predict()

通過該方法得到輸入圖像的預(yù)測概率值，再查找標(biāo)簽文件找到對應(yīng)分類標(biāo)簽并返回預(yù)測概率、標(biāo)簽值、預(yù)測時間等信息。

2.3 識別效果展示及分析

玉米葉部病變識別APP開發(fā)完成，可以進(jìn)行基本功能的測試。因?yàn)槎緵]有實(shí)際玉米葉片可供測試，因此測試主要采用選擇圖片的形式進(jìn)行，對于實(shí)時識別的效果只能采用對著筆記本屏幕采集樣本圖片的形式進(jìn)行。測試用例采用經(jīng)過重新裁剪的樣本和部分原始樣本，并增加縮放、旋轉(zhuǎn)的變換，4種樣本每種選取20個。表4顯示了選擇圖片方式的預(yù)測情況。

由表4的預(yù)測結(jié)果顯示，選擇圖片的方式對4種樣本的識別準(zhǔn)確率分別為95%、95%、100%和85%。識別準(zhǔn)確率最好的是葉斑病達(dá)到100%，識別效果不佳是正常葉片只有85%?？梢钥闯鰧?種病變識別的準(zhǔn)確率都是很高的，對正常葉片的識別率偏低，基本與模型預(yù)測的結(jié)果相一致。另外，從識別正確時的平均概率來看，正常葉片也比較低。造成正常葉片識別率偏低原因應(yīng)該是該類樣本數(shù)量不足。從預(yù)測時間來看，平均預(yù)測時間在100ms以內(nèi)，速度還是很快的。

表4 選擇圖片方式預(yù)測情況表

對照屏幕實(shí)時識別的方式?jīng)]有辦法進(jìn)行大面積的測試，只是選擇少部分樣本進(jìn)行了簡單的測試，結(jié)果顯示模型對3種病變識別準(zhǔn)確率也能達(dá)到80%以上，預(yù)測時間200ms以下。這種測試方式對正常葉片的識別準(zhǔn)確率更低，只能達(dá)到50%上下。可能的原因是正常葉片特征相對3種病變不夠明顯，容易受到屏幕光線反光的影響。

經(jīng)過以上的功能測試，本APP基本能夠滿足病變識別要求，達(dá)到了本研究的目的。等到2022年暑期可以去玉米大田里進(jìn)行實(shí)地的測試，觀察在真實(shí)生產(chǎn)環(huán)境下該APP是否能滿足其功能需要。

3 小結(jié)

本文以內(nèi)蒙古地區(qū)玉米葉片的3種病蟲害為研究對象，通過數(shù)據(jù)采集、數(shù)據(jù)處理、卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練優(yōu)化、Android手機(jī)APP開發(fā)等過程，完成了一種用于玉米葉部病蟲害檢測的APP。從而實(shí)現(xiàn)了對Android平臺終端拍攝的玉米葉片病蟲害圖片進(jìn)行識別診斷。

本文給出的基于卷積神經(jīng)網(wǎng)絡(luò)的玉米葉部病蟲害檢測模型及APP，其創(chuàng)新點(diǎn)主要有以下幾點(diǎn)：本研究與內(nèi)蒙古地區(qū)玉米的生產(chǎn)實(shí)際相結(jié)合，將卷積網(wǎng)應(yīng)用到當(dāng)?shù)赜衩兹~部病蟲害的檢測領(lǐng)域，并且在當(dāng)?shù)剡M(jìn)行的樣本采集，對促進(jìn)內(nèi)蒙古地區(qū)玉米葉部病害的檢測智能化走向?qū)嶋H應(yīng)用具有較大的意義；采用了輕量化的模型設(shè)計思路，在較小規(guī)模的網(wǎng)絡(luò)上，通過引入批標(biāo)準(zhǔn)化層、優(yōu)化超參數(shù)，實(shí)現(xiàn)了較好的預(yù)測正確率和預(yù)測速度；開發(fā)了基于Android系統(tǒng)的APP，經(jīng)過測試，選擇圖片識別準(zhǔn)確率達(dá)到95%以上，實(shí)時預(yù)測也能達(dá)到較好的準(zhǔn)確率，實(shí)現(xiàn)了離線預(yù)測。

本研究的不足之處有2點(diǎn)：由于本文僅針對3種玉米葉部病蟲害共計4500余張圖片進(jìn)行分類，存在樣本數(shù)量不足、可預(yù)測病變數(shù)量不多的問題，要想走向應(yīng)用，還有大量的工作要做；對于玉米葉部同時發(fā)生2種以上病變的情況，本模型還不能處理，解決這個問題很有實(shí)際意義，這類病變的檢測也是今后的研究工作之一。

本研究的未來與展望：擴(kuò)大樣本采集數(shù)量，在未來2a進(jìn)行更多樣本采集工作，擴(kuò)充現(xiàn)有數(shù)據(jù)集；加強(qiáng)對圖像分類、識別新領(lǐng)域、新技術(shù)的研究，尤其要在多病變識別方面加強(qiáng)探索，把人工智能的前沿成果應(yīng)用到本項(xiàng)目的后續(xù)開發(fā)中；積極推進(jìn)本研究的實(shí)用化進(jìn)程，為服務(wù)地方經(jīng)濟(jì)做出積極探索；擴(kuò)充到其它農(nóng)作物，如大豆。