陳恩會(huì) 褚姝頻 王煒 程大勇 李興東 趙銀娣

摘要：針對(duì)梨小食心蟲監(jiān)測(cè)調(diào)查中存在的人工分類計(jì)數(shù)費(fèi)時(shí)、費(fèi)力且誤差較大的問(wèn)題，基于RetinaNet深度學(xué)習(xí)目標(biāo)檢測(cè)模型，構(gòu)建了一種普適性更廣的梨小食心蟲智能識(shí)別計(jì)數(shù)方法。試驗(yàn)結(jié)果表明，RetinaNet目標(biāo)檢測(cè)模型對(duì)黏蟲板上梨小食心蟲的平均識(shí)別準(zhǔn)確率達(dá)95.93%，平均計(jì)數(shù)準(zhǔn)確率達(dá)95.62%，且該方法對(duì)拍攝條件要求低，普適性廣，優(yōu)于Faster R-CNN目標(biāo)檢測(cè)模型，完全可以在梨小食心蟲監(jiān)測(cè)調(diào)查中替代人工進(jìn)行分類計(jì)數(shù)。

關(guān)鍵詞：RetinaNet模型;梨小食心蟲;目標(biāo)檢測(cè);智能識(shí)別;計(jì)數(shù)

中圖分類號(hào)：TP391.4 文獻(xiàn)標(biāo)志碼： A

文章編號(hào)：1002-1302（2021）24-0205-04

收稿日期：2021-02-11

基金項(xiàng)目：徐州市重點(diǎn)研發(fā)計(jì)劃（編號(hào)：KC17055）。

作者簡(jiǎn)介：陳恩會(huì)（1979—），男，江蘇邳州人，碩士，高級(jí)農(nóng)藝師，主要從事植物病蟲害智能識(shí)別與防治研究。E-mail：enhui201@qq.com。

通信作者：趙銀娣，博士，副教授，主要從事遙感數(shù)據(jù)處理、模式識(shí)別研究。E-mail：zhaoyd@cumt.edu.cn。

梨小食心蟲[Grapholita molesta （Busck）]別稱梨小蛀果蛾、東方果蠹蛾，屬鱗翅目小卷葉蛾科，是我國(guó)發(fā)生最為嚴(yán)重的果樹食心蟲之一，可危害桃、梨、蘋果、櫻桃、杏等多種果樹，造成植株折梢、蛀果等危害，嚴(yán)重影響果品質(zhì)量和產(chǎn)量[1]。為了掌握梨小食心蟲發(fā)生動(dòng)態(tài)，目前生產(chǎn)上主要采取性信息素誘捕的方法進(jìn)行田間監(jiān)測(cè)，誘捕器以三角式、船型為主[2]。性信息素誘捕器內(nèi)捕獲的絕大多數(shù)都是梨小食心蟲，但也有少量的其他害蟲，在梨小食心蟲發(fā)生高峰期時(shí)，性信息素誘捕器中單張性黏蟲板上的總蟲量高達(dá)幾百頭，人工對(duì)這些害蟲進(jìn)行分類計(jì)數(shù)，費(fèi)時(shí)、費(fèi)力，而且誤差較大，難以滿足當(dāng)前生產(chǎn)實(shí)際需求。為解決這一問(wèn)題，近年來(lái)許多學(xué)者做了大量的研究。陳梅香等研究設(shè)計(jì)了1種基于性誘的梨小食心蟲自動(dòng)監(jiān)測(cè)裝置，該裝置對(duì)梨小食心蟲平均誘捕率達(dá)89.58%，并基于機(jī)器視覺(jué)的方法，構(gòu)建了害蟲自動(dòng)識(shí)別計(jì)數(shù)系統(tǒng)，平均識(shí)別計(jì)數(shù)準(zhǔn)確率達(dá)94.11%[3]。但由于該系統(tǒng)只能處理與之相配套的自動(dòng)監(jiān)測(cè)裝置拍攝的黏蟲板圖像，應(yīng)用范圍受一定限制。本研究擬利用深度學(xué)習(xí)技術(shù)，構(gòu)建一種普適性更廣的梨小食心蟲智能識(shí)別計(jì)數(shù)方法。

目前，基于深度學(xué)習(xí)模型的目標(biāo)檢測(cè)算法主要可以分成兩大類：第1類是二段式（Two-stage）檢測(cè)模型，如Fast R-CNN[4]、Faster R-CNN[5]、Mask R-CNN等，這類模型將目標(biāo)檢測(cè)問(wèn)題劃分為2個(gè)階段，首先進(jìn)行候選區(qū)域提取，然后再對(duì)候選區(qū)域分類，通常能取得較好的精度，但速度較慢。張銀松等對(duì)Faster R-CNN目標(biāo)檢測(cè)模型進(jìn)行了改進(jìn)，用于黏蟲板上微小昆蟲的識(shí)別，使用深度殘差網(wǎng)絡(luò)（ResNet-50）代替VGG16網(wǎng)絡(luò)，用Soft-NMS算法代替?zhèn)鹘y(tǒng)的非極大值抑制（NMS）算法，改進(jìn)后的模型對(duì)黏蟲板上昆蟲的識(shí)別準(zhǔn)確率提高了4.2%，計(jì)數(shù)的準(zhǔn)確率達(dá)90%以上[6]。陶震宇等為實(shí)現(xiàn)花生害蟲圖像的準(zhǔn)確分類，調(diào)整了Faster R-CNN目標(biāo)檢測(cè)模型中的ResNet-50網(wǎng)絡(luò)參數(shù)，調(diào)整后的網(wǎng)絡(luò)模型對(duì)花生上9種常見(jiàn)害蟲的綜合識(shí)別率達(dá)90.7%[7]。第2類是一段式（One-stage）目標(biāo)檢測(cè)模型，如YOLO（You Only Look Once）[8]、SSD（Single Shot MultiBox Detector）[9]等，這類模型因?yàn)椴恍枰M(jìn)行候選區(qū)域提取，直接產(chǎn)生目標(biāo)的類別概率和位置坐標(biāo)值，經(jīng)過(guò)單次檢測(cè)即可得到最終的檢測(cè)結(jié)果，所以速度比二段式檢測(cè)模型快，但精度不夠高。佘顥等針對(duì)目前主流的目標(biāo)檢測(cè)算法在蟲害監(jiān)控系統(tǒng)中識(shí)別速度慢、準(zhǔn)確度低的問(wèn)題，提出1種基于SSD模型的水稻害蟲識(shí)別方法，改進(jìn)后的SSD模型對(duì)水稻5種常見(jiàn)害蟲的平均識(shí)別準(zhǔn)確率達(dá)79.3%，比未改進(jìn)的Faster R-CNN VGG16網(wǎng)絡(luò)識(shí)別準(zhǔn)確率最高提升6.6%，識(shí)別速度最高提升8倍[10]。苗海委等研究提出1種基于SSD模型的儲(chǔ)糧害蟲圖像檢測(cè)算法，該算法針對(duì)黏蟲板圖像背景復(fù)雜、害蟲體積較小、姿態(tài)多樣的特點(diǎn)，改進(jìn)了SSD 的目標(biāo)框回歸策略、損失函數(shù)和特征提取網(wǎng)絡(luò)結(jié)構(gòu)，改進(jìn)后的SSD模型算法可有效檢測(cè)黏蟲板上的害蟲，檢測(cè)平均正確率達(dá)到81.36%[11]。

Lin等認(rèn)為，一段式模型檢測(cè)精度不高的原因主要是訓(xùn)練過(guò)程中正負(fù)樣本類別極度不平衡的問(wèn)題[12]，提出了一個(gè)新的損失函數(shù)（Focal Loss），該函數(shù)是1種改進(jìn)了的交叉熵（Cross-entropy，簡(jiǎn)稱CE）損失函數(shù)，通過(guò)在原有的交叉熵?fù)p失函數(shù)中乘上使易檢測(cè)目標(biāo)對(duì)模型訓(xùn)練貢獻(xiàn)削弱的指數(shù)式，成功地解決了在目標(biāo)檢測(cè)時(shí)，正負(fù)樣本區(qū)域極不平衡而目標(biāo)檢測(cè)損失值易被大批量負(fù)樣本所左右的問(wèn)題，并基于此設(shè)計(jì)了一個(gè)新的目標(biāo)檢測(cè)模型──RetinaNet。RetinaNet模型不僅擁有一段式目標(biāo)檢測(cè)模型的速度，也能達(dá)到二段式目標(biāo)檢測(cè)模型的準(zhǔn)確率，甚至超越了部分二段式的經(jīng)典網(wǎng)絡(luò)，因此，本研究使用RetinaNet目標(biāo)檢測(cè)模型開(kāi)展梨小食心蟲智能識(shí)別計(jì)數(shù)方法研究。

1 材料與方法

1.1 RetinaNet目標(biāo)檢測(cè)模型

RetinaNet目標(biāo)檢測(cè)模型的網(wǎng)絡(luò)結(jié)構(gòu)主要由特征提取網(wǎng)絡(luò)、特征金字塔網(wǎng)絡(luò)、分類+定位子網(wǎng)絡(luò)構(gòu)成，其結(jié)構(gòu)示意見(jiàn)圖1。

考慮到梨小食心蟲數(shù)量多、體積小的特點(diǎn)，本研究中RetinaNet目標(biāo)檢測(cè)模型的特征提取網(wǎng)絡(luò)使用ResNet50深度殘差網(wǎng)絡(luò)，ResNet50引入了殘差塊的設(shè)計(jì)，克服了由于網(wǎng)絡(luò)深度的增加而產(chǎn)生的學(xué)習(xí)率變低、準(zhǔn)確率無(wú)法有效提升的問(wèn)題。

1.2 數(shù)據(jù)采集和預(yù)處理

數(shù)據(jù)圖像的采集來(lái)自徐州市銅山區(qū)和新沂市的桃園，先使用船型性信息素誘捕器誘集梨小食心蟲，等誘捕器內(nèi)的黏蟲板黏滿梨小食心蟲后，再把黏蟲板拆下來(lái)，采用人工方式，使用普通相機(jī)或手機(jī)在自然環(huán)境下進(jìn)行田間拍照。由于深度學(xué)習(xí)需要大量的數(shù)據(jù)集，為了后期模型更好地訓(xùn)練，本研究對(duì)采集到的數(shù)據(jù)進(jìn)行增加噪音、剪切、旋轉(zhuǎn)、改變色差、扭曲等操作，對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)，將試驗(yàn)數(shù)據(jù)集擴(kuò)充至7 900幅圖像，每幅圖像大小為600×600像素。

然后，使用開(kāi)源的LabelImg圖像標(biāo)注工具，人工依次標(biāo)記每張圖像中梨小食心蟲的位置和類別，其他害蟲和雜物不做標(biāo)注，標(biāo)注情況見(jiàn)圖2。最后隨機(jī)選擇5 530幅圖像構(gòu)建訓(xùn)練集，1 580幅圖像作為驗(yàn)證集，其他剩余圖像作為測(cè)試集。

1.3 模型訓(xùn)練環(huán)境

本試驗(yàn)在Windows10操作系統(tǒng)上，采用Keras 2.0.3作為深度學(xué)習(xí)框架，以Tensorflow1.14為后端，使用圖形處理器（GPU）對(duì)訓(xùn)練過(guò)程進(jìn)行加速，加速庫(kù)為CUDA10.0和cudnn7.4，所使用的硬件配置為i7-9700k處理器和NVIDIA GeForce RTX 2070S的顯卡。

2 結(jié)果與分析

本試驗(yàn)在RetinaNet目標(biāo)檢測(cè)模型的基礎(chǔ)上，設(shè)置訓(xùn)練參數(shù)如下：最大訓(xùn)練輪次為20 次，每輪迭代1 000次，學(xué)習(xí)率0.000 01。使用Keras深度學(xué)習(xí)框架，經(jīng)過(guò)約6 h完成模型的訓(xùn)練，模型訓(xùn)練的損失曲線見(jiàn)圖3。從圖3可以看出，模型訓(xùn)練迭代到 20 000 次時(shí)，損失值基本收斂。

梨小食心蟲目標(biāo)識(shí)別結(jié)果以檢測(cè)框的形式標(biāo)注在圖片上，其中包括目標(biāo)類別標(biāo)記和分類概率（P），本研究的計(jì)數(shù)方法為設(shè)定閾值N，當(dāng)P>N時(shí)，認(rèn)為該目標(biāo)檢測(cè)準(zhǔn)確，此檢測(cè)框參與統(tǒng)計(jì)，當(dāng) P≤N 時(shí)，認(rèn)為該目標(biāo)檢測(cè)不準(zhǔn)確，此檢測(cè)框不參與統(tǒng)計(jì)。經(jīng)過(guò)反復(fù)對(duì)比發(fā)現(xiàn)，在本研究中當(dāng)閾值N設(shè)置為0.81時(shí)，檢測(cè)結(jié)果最接近實(shí)際情況。檢測(cè)結(jié)果見(jiàn)圖4和表1。Faster R-CNN模型對(duì)測(cè)試集中的梨小食心蟲平均識(shí)別準(zhǔn)確率為91.02%，平均計(jì)數(shù)準(zhǔn)確率為83.54%，在示例數(shù)據(jù)中識(shí)別出20頭梨小食心蟲，比人工計(jì)數(shù)少5頭。RetinaNet模型對(duì)測(cè)試集中的梨小食心蟲平均識(shí)別準(zhǔn)確率為95.93%，平均計(jì)數(shù)準(zhǔn)確率為95.62%，在示例數(shù)據(jù)中識(shí)別出26頭梨小食心蟲，比人工計(jì)數(shù)多1頭。從表1可以看出，RetinaNet模型的識(shí)別效果優(yōu)于Faster R-CNN模型。Faster R-CNN模型計(jì)數(shù)準(zhǔn)確率不高的原因主要在于漏檢，尤其是對(duì)圖像邊緣顯示不完整的梨小食心蟲的識(shí)別效果不好。RetinaNet模型很少出現(xiàn)漏檢的情況，計(jì)數(shù)準(zhǔn)確率也很高，但是存在一定概率的誤檢。

3 應(yīng)用效果

在實(shí)際應(yīng)用時(shí)，手機(jī)或照相機(jī)拍攝的整張梨小食心蟲黏蟲版的圖像尺寸較大，一般在2 000×2 000 像素以上，為了獲得最佳識(shí)別效果，本研究將原始大圖分割為若干個(gè)600×600像素的小圖，對(duì)于分割后高或?qū)挷蛔?00像素的部分，使用純白色填充至600像素，然后把小圖分別輸入RetinaNet模型進(jìn)行檢測(cè)，檢測(cè)后拼接還原成大圖。實(shí)際應(yīng)用中RetinaNet模型對(duì)2張黏蟲板圖像中梨小食心蟲的檢測(cè)結(jié)果見(jiàn)圖5，其識(shí)別和計(jì)數(shù)的平均準(zhǔn)確率為97.2%，平均召回率為94.5%，詳細(xì)統(tǒng)計(jì)結(jié)果見(jiàn)表2。

4 結(jié)論

本研究探討了RetinaNet深度學(xué)習(xí)目標(biāo)檢測(cè)模型對(duì)普通相機(jī)或手機(jī)在自然條件下拍攝的黏蟲板上梨小食心蟲的識(shí)別計(jì)數(shù)效果，并將該模型的識(shí)別計(jì)數(shù)結(jié)果與Faster R-CNN模型進(jìn)行了比較，試驗(yàn)結(jié)果表明，RetinaNet模型對(duì)黏蟲板上梨小食心蟲的識(shí)別計(jì)數(shù)準(zhǔn)確率較高，而且該方法對(duì)拍攝條件要求低，普適性廣，完全可以在梨小食心蟲監(jiān)測(cè)調(diào)查過(guò)程中替代人工進(jìn)行分類計(jì)數(shù)。當(dāng)然，RetinaNet模型在識(shí)別計(jì)數(shù)時(shí)仍然存在一定概率的誤檢和漏檢，后續(xù)研究將通過(guò)豐富樣本庫(kù)，適當(dāng)減少數(shù)據(jù)增強(qiáng)比例等方法對(duì)本模型進(jìn)行改進(jìn)。

參考文獻(xiàn)：

[1]范仁俊，劉中芳，陸俊姣，等. 我國(guó)梨小食心蟲綜合防治研究進(jìn)展[J]. 應(yīng)用昆蟲學(xué)報(bào)，2013，50（6）：1509-1513.

[2]王榮轅，劉廣勤，李佰峰，等. 性信息素誘捕器不同懸掛方式對(duì)梨小食心蟲誘殺效果[J]. 江蘇農(nóng)業(yè)科學(xué)，2021，49（6）：99-102.

[3]陳梅香，郭繼英，許建平，等. 梨小食心蟲自動(dòng)監(jiān)測(cè)識(shí)別計(jì)數(shù)系統(tǒng)研制[J]. 環(huán)境昆蟲學(xué)報(bào)，2018，40（5）：1164-1174.

[4]Girshick R. Fast R-CNN[C]//2015 IEEE International Conference on Computer Vision （ICCV）. Santiago：IEEE，2015：1440-1448.

[5]Ren S Q，He K M，Girshick R，et al. Faster R-CNN：towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）：1137-1149.

[6]張銀松，趙銀娣，袁慕策. 基于改進(jìn)Faster-RCNN模型的粘蟲板圖像昆蟲識(shí)別與計(jì)數(shù)[J]. 中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào)，2019，24（5）：115-122.

[7]陶震宇，孫素芬，羅長(zhǎng)壽. 基于Faster-RCNN的花生害蟲圖像識(shí)別研究[J]. 江蘇農(nóng)業(yè)科學(xué)，2019，47（12）：247-250.

[8]Redmon J，Divvala S，Girshick R，et al. You only look once：Unified，real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （ CVPR）. Las Vegas：IEEE，2016：779-788.

[9]Liu W，Anguelov D，Erhan D，et al. SSD：Single shot multibox detector[C]//European Conference on Computer Vision. Berlin：Springer，2016：21-37.

[10]佘 顥，吳 伶，單魯泉. 基于SSD網(wǎng)絡(luò)模型改進(jìn)的水稻害蟲識(shí)別方法[J]. 鄭州大學(xué)學(xué)報(bào)（理學(xué)版），2020，52（3）：49-54.

[11]苗海委，周慧玲. 基于深度學(xué)習(xí)的粘蟲板儲(chǔ)糧害蟲圖像檢測(cè)算法的研究[J]. 中國(guó)糧油學(xué)報(bào)，2019，34（12）：93-99.

[12]Lin T Y，Goyal P，Girshick R，et al. Focal Loss for Dense Object Detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，42（2）：318-327.