錢蓉 孔娟娟 朱靜波

摘要 為了實(shí)現(xiàn)自然場景下水稻害蟲實(shí)時精準(zhǔn)被識別，構(gòu)建基于VGG-16卷積神經(jīng)網(wǎng)絡(luò)的水稻害蟲智能識別模型。該模型采用VGG-16卷積神經(jīng)網(wǎng)絡(luò)為核心網(wǎng)絡(luò)結(jié)構(gòu)，根據(jù)水稻害蟲的個體特征和自然場景，對VGG-16網(wǎng)絡(luò)的卷積層局部調(diào)整，優(yōu)化主要模型參數(shù)，實(shí)現(xiàn)水稻害蟲的智能識別，其識別的平均準(zhǔn)確率是90.7%，實(shí)現(xiàn)對沙葉蟬、大螟、斑須蝽、點(diǎn)蜂緣蝽和白背飛虱的準(zhǔn)確識別。研究結(jié)果顯示，采用卷積神經(jīng)網(wǎng)絡(luò)技術(shù)可以實(shí)現(xiàn)自然場景下害蟲圖像的精準(zhǔn)識別，代替人工辨認(rèn)，提高水稻害蟲防治率，實(shí)現(xiàn)實(shí)時、精準(zhǔn)防治的目標(biāo)。

關(guān)鍵詞 水稻;害蟲;智能識別;VGG-16;卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號 S125 ?文獻(xiàn)標(biāo)識碼 A ?文章編號 0517-6611（2020）05-0235-04

doi：10.3969/j.issn.0517-6611.2020.05.066

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

Abstract In order to achieve realtime accurate recognition of rice pests in natural scenes， an intelligent rice pest recognition model based on VGG16 convolutional neural network was constructed. The model used the VGG16 convolutional neural network as the core network structure. According to the individual characteristics of rice pests and natural scenes， the convolutional layer of the VGG16 network was locally adjusted， the main model parameters were optimized， and intelligent recognition of rice pests was achieved. The average accuracy rate of recognition was 90.7%， which could ?accurately identify the leafhoppers， giant salamanders， spotted tadpoles， beetailed salamanders and whitebacked planthoppers. Research results showed that the use of convolutional neural network technology could ?achieve accurate recognition of pest images in natural scenes， instead of manual recognition to improve the pest control rate of rice， and to achieve the goal of realtime and accurate control.

Key words Rice;Insect pest;Intelligent recognition;VGG16;Convolutional neural network

水稻是我國重要的糧食作物，隨著我國人口的逐年增長，糧食的需求量不斷增大，因此，提高水稻產(chǎn)量成為影響國計民生的重要科研工作。在實(shí)際生產(chǎn)中，影響水稻產(chǎn)量的因素很多，害蟲的侵襲是主要影響因素之一，因此水稻害蟲及時有效防治迫在眉睫。傳統(tǒng)的水稻害蟲防護(hù)依靠人為查看和辨認(rèn)，這會造成辨認(rèn)錯誤或防治時效慢等不良后果，會導(dǎo)致水稻被侵害的面積巨大，既降低水稻產(chǎn)量，也帶來大量糧食作物含有農(nóng)藥殘留物的危害。因此，采用智能圖像識別技術(shù)，實(shí)現(xiàn)害蟲實(shí)時、準(zhǔn)確有效識別，有利于害蟲的高效精準(zhǔn)防治。

圖像智能識別技術(shù)[1-3]在農(nóng)業(yè)領(lǐng)域應(yīng)用較廣，研究人員在作物害蟲圖像智能識別方面已開始初步探索。張建華等[4]針對棉花受棉蚜、棉葉螨、棉盲蝽、斜紋夜蛾和煙粉虱等害蟲為害后葉片表面出現(xiàn)不同癥狀，提取色斑圖像和非色斑圖像的多個特征，并應(yīng)用徑向基支持向量機(jī)實(shí)現(xiàn)害蟲識別，棉花蟲害識別正確率達(dá)88.1%。Wang等[5]把人工神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)作用于圖像識別，構(gòu)建一個昆蟲標(biāo)本圖像智能識別系統(tǒng)，其識別準(zhǔn)確率達(dá)到93%。Bernardes等[6]使用小波變換能量特征提取和支持向量機(jī)的實(shí)際分類，分類的準(zhǔn)確率為89.5%。Xie等[7]提出了基于多任務(wù)稀疏表示與多核學(xué)習(xí)的害蟲圖像分類方法，將該方法用于24種農(nóng)田害蟲圖像的識別，準(zhǔn)確率達(dá)到90.3%。謝成軍等[8]提出了一種基于圖像編碼與空間金字塔模型相結(jié)合的農(nóng)田害蟲圖像表示與識別方法，通過35種害蟲的識別試驗，平均識別準(zhǔn)確率達(dá)到89.2%。楊國國等[9]把圖像顯著性檢測技術(shù)應(yīng)用到茶園害蟲識別中，對數(shù)字圖像進(jìn)行顯著性分析，實(shí)現(xiàn)在圖像中對害蟲進(jìn)行定位并完成自動分割，從而提高茶園害蟲識別準(zhǔn)確率，使茶園害蟲的識別率達(dá)到 91.5%。楊信延等[10]提出一種基于Canny邊緣檢測算子和Prewitt的分割方法，并結(jié)合SVM可實(shí)現(xiàn)對溫室粉虱和薊馬誘蟲板的識別，其平均識別準(zhǔn)確率達(dá)93.5%。

目前，在農(nóng)作害蟲圖像智能識別研究方面，多數(shù)研究成果聚焦于理論，鮮見報道考慮與實(shí)際應(yīng)用相結(jié)合。鑒于此，筆者瞄準(zhǔn)實(shí)際問題，以服務(wù)農(nóng)業(yè)為根本，積極探索害蟲圖像智能識別應(yīng)用研究。該研究以田間自然背景下害蟲圖像作為試驗數(shù)據(jù)集，基于VGG模型構(gòu)建智能識別系統(tǒng)，具有較高的實(shí)踐使用價值。

1 資料與方法

1.1 試驗環(huán)境

水稻害蟲圖像智能識別試驗在裝有4個NVIDIA Tesla P40 24 GB卡和2個Intel至強(qiáng) E5-2697v4處理器18核36線程服務(wù)器上完成，該服務(wù)器裝有Ubuntu 16.0操作系統(tǒng)、TensorFlow 1.0框架。

1.2 試驗數(shù)據(jù)

試驗選取的樣本圖像均在自然背景下地間田頭采集而得，為后期實(shí)際推廣應(yīng)用奠定基礎(chǔ)。試驗共選取水稻害蟲圖像5類，其中條沙葉蟬459幅、大螟349幅、斑須蝽419幅、點(diǎn)蜂緣蝽281幅、白背飛虱312幅，共1 820幅樣本圖像，選取每個類別的80%數(shù)據(jù)構(gòu)建訓(xùn)練集，剩余20%的數(shù)據(jù)構(gòu)成測試集，具體分布見表1。

研究采用弱監(jiān)督卷積神經(jīng)網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)圖像智能識別，要求人工標(biāo)注所有試驗樣本的類別信息。為了規(guī)范試驗數(shù)據(jù)集，需要對數(shù)據(jù)集作如下統(tǒng)一處理：

①在Anaconda平臺上對所有試驗數(shù)據(jù)作刪除重復(fù)樣本和刪除不清晰樣本等預(yù)處理。如圖1所示，分別是研究對象主體部分不可見和不清晰的樣本。

②采用LabelImg工具，人工標(biāo)注試驗數(shù)據(jù)集。如圖2所示，左圖是原始樣本，右圖是已標(biāo)注樣本。

③根據(jù)標(biāo)注文件，裁剪試驗數(shù)據(jù)集。根據(jù)左邊標(biāo)注信息，在matlab平臺上完成自動裁切工作，得到裁切后的樣本（圖3）。

④對裁剪后數(shù)據(jù)集進(jìn)行二次去重和清除臟數(shù)據(jù)的處理。

⑤根據(jù)4∶1的比例構(gòu)建試驗的訓(xùn)練集和測試集。

1.3 試驗方法

卷積神經(jīng)網(wǎng)絡(luò)是一種模擬人腦結(jié)構(gòu)的多層次非全連接的神經(jīng)網(wǎng)絡(luò)，具有強(qiáng)大的特征提取能力，通過有監(jiān)督的多層網(wǎng)絡(luò)學(xué)習(xí)，能夠直接從原始圖像中識別理解圖像內(nèi)容[11-12]。VGG-16是一個經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型，由Simonyan 等[13]在2014年提出，該網(wǎng)絡(luò)模型共經(jīng)歷13次卷積層、4次池化和3個全連接層，共16層，具有局部連接、權(quán)值共享、池化等特點(diǎn)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。輸入圖片尺寸變化規(guī)律是從224x224到112x112等，直到最后變成7x7。因此VGG-16結(jié)構(gòu)簡單而優(yōu)美，層次清晰，實(shí)現(xiàn)起來也很規(guī)整。VGG-16最大的特點(diǎn)是通過3×3濾波器的組合與堆疊，可提取輸入圖像包含的細(xì)小特征[14]。

試驗的輸入圖像尺寸是3個通道的224×224，采用VGG-16構(gòu)建可識別5種害蟲的智能識別模型，整過網(wǎng)絡(luò)模型分為卷積層、池化層、全連接層和分類層，其中卷積層共有5個卷積段，每個卷積段采用2或3個卷基層連續(xù)堆疊組成卷積序列，卷積過程中采用”SAME”模式，不會改變特征圖的分辨率;在池化層采用2×2池化窗口，步長為2，用于減小卷積后的特征圖像尺寸大小，也實(shí)現(xiàn)了模型的平移不變性;在全連接層由3個連續(xù)的全連接進(jìn)行組合，通道數(shù)分別為4 096、4 096、1 000個;最后，在分類層由具有1 000個標(biāo)簽的SoftMax分類器進(jìn)行分類輸出。

2 結(jié)果與分析

試驗采用準(zhǔn)確率為考核指標(biāo)，用Precision代表，計算方法如下：

Precision=TPTP+FP（1）

式中，TP 為正樣本又被預(yù)測為正樣本的個數(shù)，F(xiàn)P為負(fù)樣本被預(yù)測為正樣本的個數(shù)。

該試驗在網(wǎng)絡(luò)訓(xùn)練過程中重點(diǎn)優(yōu)化的參數(shù)包括：卷積核數(shù)量、學(xué)習(xí)率、epoch的數(shù)量和batchsize，卷積核大小確定為2×2，卷積核數(shù)量太大，會導(dǎo)致計算量過大，影響訓(xùn)練速度，數(shù)量太少，會丟失很多有用信息，降低樣本利用率;學(xué)習(xí)率對卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練影響較大，對于同一模型結(jié)構(gòu)在其他條件相同的情況下，設(shè)置不同的學(xué)習(xí)率，以此確定適合于模型訓(xùn)練較優(yōu)的學(xué)習(xí)率;batchsize的大小確定梯度下降的方向，取值恰當(dāng)，能提高內(nèi)存利用率，也能較快確定梯度下降方向，減少訓(xùn)練震蕩;把epoch的數(shù)量設(shè)為1，可以把1個完整的數(shù)據(jù)集傳遞給神經(jīng)網(wǎng)絡(luò)訓(xùn)練，因為試驗數(shù)據(jù)集的多樣性，需要選擇合適的epoch個數(shù)，不僅體現(xiàn)出試驗數(shù)據(jù)集的特點(diǎn)，也不會導(dǎo)致模型過擬合或欠擬合。該試驗訓(xùn)練中各項參數(shù)設(shè)置、準(zhǔn)確率如表2，最優(yōu)網(wǎng)絡(luò)模型的loss曲線如圖5所示，橫坐標(biāo)代表迭代次數(shù)，縱坐標(biāo)表示loss值，損失曲線已相對穩(wěn)定，未有較大震蕩。

3 討論

該研究結(jié)果表明，測試集準(zhǔn)確率最優(yōu)可達(dá)90.7%，與傳統(tǒng)識別方法相同，在相同的測試集上識別準(zhǔn)確率有較大提高。然而，害蟲樣本采集地環(huán)境較差，給田間實(shí)地采集工作帶來很多不利影響，致使各類別害蟲自然背景下圖像樣本的數(shù)量都很有限。因此，與在特定背景下害蟲樣本圖像智能識別的準(zhǔn)確率相比，該研究的識別準(zhǔn)確率略低，分析其原因是由于受樣本數(shù)量、自然背景復(fù)雜、害蟲體態(tài)多變性和害蟲顏色多樣性等因素影響，后續(xù)將針對存在的問題進(jìn)行深入研究，從而提高模型智能識別的準(zhǔn)確。

4 結(jié)論

該研究采用VGG-16模型構(gòu)建自然背景下水稻害蟲圖像智能識別系統(tǒng)，取得了較高的識別準(zhǔn)確率，說明用智能識別技術(shù)幫助農(nóng)民辨認(rèn)害蟲的設(shè)想有可行性。因該研究建立在自然背景下田間采集而得到的數(shù)據(jù)集上，樣本能貼近田間實(shí)況，不拘泥于實(shí)驗室的理想情況，研究成果具有很強(qiáng)的實(shí)踐意義，對水稻作物害蟲及時防治起到一定的指導(dǎo)作用，也證實(shí)了該研究成果有進(jìn)一步推廣應(yīng)用的價值。

參考文獻(xiàn)

[1]KRIZHEVSKY A，SUTSKEVER I，HINTON G E.ImageNet classification with Deep Convolutional Neural Networks[J].Advances in neural information processing systems，2012，25（2）：1106-1114.

[2]WANG J，YANG Y，MAO J H，et al.CNNRNN：A unified framework for multilabel image classification[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Las Vegas，NV，USA：IEEE，2016.

[3]DENG J，DONG W，SOCHER R，et al.ImageNet：A largescale hierarchical image database[C]// 2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition（CVPR 2009）.Miami，F(xiàn)lorida，USA：IEEE，2009.

[4]張建華，冀榮華，袁雪，等.基于徑向基支持向量機(jī)的棉花蟲害識別[J].農(nóng)業(yè)機(jī)械學(xué)報，2011，42（8）：178-183.

[5]WANG J N，LIN C T，JI L Q，et al.A new automatic identification system of insect images at the order level [J].Knowledgebased systems，2012，33：102-110.

[6]BERNARDES A A，ROGERI J G，OLIVEIRA R B，et al.Identification of foliar diseases in cotton crop[M]//TAVARES J M R S，NATAL JORGE R M.Topics in medical image processing & computational vision.Dordrecht：Springer，2013.

[7]XIE C J，ZHANG J，LI R，et al.Automatic classification for field crop insects via multiple-task sparse representation and multiple-kernel learning [J].Computers and electronics in agriculture，2015，119：123-132.

[8]謝成軍，李瑞，董偉，等.基于稀疏編碼金字塔模型的農(nóng)田害蟲圖像識別[J].農(nóng)業(yè)工程學(xué)報，2016，32（17）：144-151.

[9]楊國國，鮑一丹，劉子毅.基于圖像顯著性分析與卷積神經(jīng)網(wǎng)絡(luò)的茶園害蟲定位與識別[J].農(nóng)業(yè)工程學(xué)報，2017，33（6）：156-162.

[10]楊信廷，劉蒙蒙，許建平，等.自動監(jiān)測裝置用溫室粉虱和薊馬成蟲圖像分割識別算法[J].農(nóng)業(yè)工程學(xué)報，2018，34（1）：164-170.

[11]HINTON G E，SALAKHUTDINOV R R.Reducing the dimensionality of data with neural networks[J].Science，2006，313（5786）：504-507.

[12]ABDELHAMID O，MOHAMED A，JIANG H，et al.Convolutional neural networks for speech recognition[J].IEEE/ACM Transactions on Audio Speech & Language Processing，2014，22（10）：1533-1545.

[13]SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for largescale image recognition[R].2015.

[14]LIU H，LU J W，F(xiàn)ENG J J，et al.Groupaware deep feature learning for facial age estimation[J].Pattern recognition，2017，66：82-94.