張耀麗，許寧，宋裕民，康建明，張國海，孟慶山

（1.255000 山東省 淄博市 山東理工大學(xué) 農(nóng)業(yè)工程與食品科學(xué)學(xué)院；2.250131 山東省 濟(jì)南市 山東省農(nóng)業(yè)機(jī)械科學(xué)研究院；3.252100 山東省 濟(jì)南市 山東交通學(xué)院 汽車工程學(xué)院）

0 引言

在果樹栽培管理中，蟲害是影響果實品質(zhì)的主要因素，嚴(yán)重影響果樹的整個生長過程。傳統(tǒng)果園蟲害識別往往是人工在作物已經(jīng)遭受蟲害并外觀發(fā)生變化時才能根據(jù)病理特征進(jìn)行判斷，而人工檢查經(jīng)常出現(xiàn)漏檢、錯檢、蟲害初期識別率較低的情況，費時費力[1]。因此，通過遠(yuǎn)程監(jiān)測系統(tǒng)實現(xiàn)自動識別蟲害對果園生產(chǎn)意義重大。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，國內(nèi)外學(xué)者開始研究將進(jìn)行目標(biāo)檢測的卷積神經(jīng)網(wǎng)絡(luò)模型引入蟲害識別中。魏楊等[2]提出了一種結(jié)合區(qū)域提取網(wǎng)絡(luò)和Fast R-CNN 模型的蟲害檢測方法，在已經(jīng)標(biāo)注標(biāo)簽的實際場景的農(nóng)業(yè)害蟲數(shù)據(jù)庫上進(jìn)行實驗與測試，平均識別準(zhǔn)確度為82.13%，雖然有效地提升了蟲害檢測的準(zhǔn)確度，但平均準(zhǔn)確度依舊有待提高。Liu 等[3]基于優(yōu)化YOLOv3 模型來識別番茄病蟲害，該方法可以直接輸入原始圖片，采用端到端的結(jié)構(gòu)，利用圖像金字塔優(yōu)化YOLOv3 模型的特征層，實現(xiàn)多尺度特征檢測，提高YOLOv3 模型的檢測精度和速度，準(zhǔn)確、快速地檢測番茄病蟲害的位置和類別。孫鈺等[4]使用改進(jìn)Faster R-CNN 目標(biāo)檢測模型對誘捕器捕捉的紅脂大小蠹進(jìn)行目標(biāo)檢測，簡化了檢測流程，減少了模型的計算量，加快了檢測速度，測試平均準(zhǔn)確率可以達(dá)到97.2%。

基于目前應(yīng)用于蟲害識別的目標(biāo)檢測模型，Mask R-CNN 模型在Faster R-CNN 的基礎(chǔ)上，添加了用來輸出分割預(yù)測的與原始分類、框回歸任務(wù)并列的Mask 回歸分支，不僅可以實現(xiàn)目標(biāo)像素級的檢測，還可以精確識別目標(biāo)物體的輪廓。但目前在梨園典型蟲害檢測識別領(lǐng)域的研究較少，因此本文提出了一種基于Mask R-CNN 模型的識別梨小食心蟲的方法，使用自建的梨小食心蟲數(shù)據(jù)庫來進(jìn)行模型的學(xué)習(xí)訓(xùn)練和測試，為果園蟲害識別和精準(zhǔn)防控提供支持。

1 Mask R-CNN 識別模型構(gòu)建

Mask R-CNN 是卷積神經(jīng)網(wǎng)絡(luò)中的目標(biāo)檢測模型，它在Faster R-CNN 模型的基礎(chǔ)上添加Mask 回歸分支后，可同步實現(xiàn)輸出分割預(yù)測、原始分類和框回歸任務(wù)[5]，它不僅可以實現(xiàn)目標(biāo)像素級的檢測，還可以精確地識別出目標(biāo)物體的輪廓，達(dá)到目標(biāo)分類、語義分割、實例分割等多種任務(wù)[6]，從而適用于對不同生長周期的蟲害精準(zhǔn)判斷。本文以Mask R-CNN 為基礎(chǔ)，識別系統(tǒng)架構(gòu)由特征提取模塊、候選區(qū)域生成模塊、目標(biāo)檢測模塊以及實例分割模塊4 部分組成，如圖1 所示。在Faster R-CNN模型基礎(chǔ)上優(yōu)化添加用以預(yù)測分割的Mask 回歸分支，如圖1 中虛線部分所示，將原來進(jìn)行2 次量化操作的RoI Pooling 層替換成使用線性插值算法的RoI Align 層，從而避免2 次量化操作產(chǎn)生的誤差，以便提升整個模型的性能和準(zhǔn)確性。另外添加并列的FCN 層，實現(xiàn)對輸入圖像的準(zhǔn)確分割，可以在有效檢測目標(biāo)的同時輸出高質(zhì)量的實例分割Mask。

圖1 Mask R-CNN 模型結(jié)構(gòu)圖Fig.1 Structure of Mask R-CNN model

2 數(shù)據(jù)集構(gòu)建

2.1 樣本采集

目前尚沒有公共的梨小食心蟲圖像數(shù)據(jù)庫，為了獲取足夠的訓(xùn)練樣本，采用固定式物聯(lián)網(wǎng)捕蟲裝置，可實現(xiàn)自動拍照、持續(xù)采集、遠(yuǎn)程獲取。該裝置使用性信息素誘捕器與光誘雙向誘捕成蟲，通過誘蟲燈吸引昆蟲，并采用性誘芯散發(fā)昆蟲性激素，從而捕獲特定昆蟲，如圖2 所示。昆蟲碰到撞擊板會掉落到接蟲漏斗內(nèi)，再掉落到殺蟲單元，被電死后落入下方的黏蟲板，當(dāng)黏蟲板累計到一定質(zhì)量后，得到信號的控制單元會自動拍攝昆蟲照片，通過WiFi 模塊將圖像信息傳遞到遠(yuǎn)程終端[7]。本項目在山東泰安市大河基地梨園放置捕蟲裝置1 臺，圖3 為黏蟲板捕捉到的梨小食心蟲。

圖2 物聯(lián)網(wǎng)自動拍攝捕蟲裝置Fig.2 IOT automatic filming insect trapping device

圖3 黏蟲板Fig.3 Sticky insect board

2.2 圖像預(yù)處理

一方面，模型進(jìn)行訓(xùn)練和識別需要大量的圖像樣本，由于蟲害發(fā)生具有季節(jié)性特點，一般采集的圖像樣本數(shù)量有限，因此需要使用數(shù)據(jù)增廣的方式增加樣本的豐富度。使用VOC 格式工具將采集到的圖像進(jìn)行隨機(jī)旋轉(zhuǎn)、幾何變換以及收縮變形和色彩抖動，經(jīng)過篩選后將圖像裁剪為512*512 像素的圖片并建立梨小食心蟲實驗數(shù)據(jù)集。

另一方面，樣本圖像多為彩色，包含大量RGB（紅綠藍(lán)）顏色信息的圖像會給識別模型造成巨大的計算量，為了快速計算，還需將彩色圖像采用加權(quán)平均值法對其進(jìn)行灰度化處理[8]，以便降低矩陣維數(shù)，大幅提高運(yùn)算速度，如圖4 所示?；叶然綖椋?/p>

圖4 灰度化處理后的圖片F(xiàn)ig.4 Grayscale processed image

2.3 目標(biāo)標(biāo)注

目標(biāo)標(biāo)注是深度學(xué)習(xí)訓(xùn)練的關(guān)鍵環(huán)節(jié)。本文使用Labelme 標(biāo)注工具對圖像進(jìn)行標(biāo)注，生成.json文件，從而形成樣本數(shù)據(jù)集。圖5（a）為使用邊界框標(biāo)注目標(biāo)，這種方法雖然簡單高效，但會框選住大量的無效多余信息，影響計算效率。圖5（b）為使用邊緣勾選的掩模方式標(biāo)注目標(biāo)，這種方法可以更精確地將目標(biāo)圖像從背景分割出來。梨小食心蟲外觀邊緣線條相對簡單，宜采用邊緣勾選的掩模方式標(biāo)注，標(biāo)注時仍應(yīng)注意盡可能沿外觀邊緣多點標(biāo)注，以減少標(biāo)注誤差。

圖5 人工標(biāo)注圖像方式的比較Fig.5 Comparison of manual annotation image methods

3 深度學(xué)習(xí)訓(xùn)練

在處理后的數(shù)據(jù)集中隨機(jī)選擇4 800 張作為訓(xùn)練集，1 200 張作為測試集，比例為8∶2。選擇多視角樣本圖像，以提高經(jīng)過訓(xùn)練的識別模型準(zhǔn)確度和通用性。最后舍棄一些人眼無法辨認(rèn)的圖像，避免在模型訓(xùn)練時給模型帶來誤導(dǎo)。

采用構(gòu)建的Mask R-CNN 模型，對訓(xùn)練參數(shù)進(jìn)行設(shè)置，各參數(shù)設(shè)置如表1 所示。

表1 實驗超參數(shù)設(shè)置Tab.1 Experimental hyperparameter settings

完成注冊數(shù)據(jù)集和配置文件設(shè)置后，開始數(shù)據(jù)集訓(xùn)練，訓(xùn)練過程中，log 日志、保存模型等均在tools/output 下，在測試過程中，log 日志會自動追加。Log 日志為：

1 訓(xùn)練：

2 python train.py --num-gpus 1

3 斷點續(xù)訓(xùn)：

4 python train.py --resume

5 測試：

6 將coco_my_val，指代的 val.json，變?yōu)閠est.json，即可，然后運(yùn)行

7 python train.py --eval-only

訓(xùn)練過程如圖6 所示。

圖6 數(shù)據(jù)集訓(xùn)練過程Fig.6 Dataset training process

模型訓(xùn)練的過程大約需要5 h，模型訓(xùn)練過程中得到的損失曲線如圖7 所示，可見模型訓(xùn)練迭代到20 000 次時，損失值基本收斂。

圖7 損失曲線Fig.7 Loss curve

4 識別結(jié)果與分析

4.1 識別結(jié)果評估

基于深度學(xué)習(xí)的智能識別結(jié)果評估有3 個重要指標(biāo)，分別是準(zhǔn)確率、召回率及平均精度[9]。準(zhǔn)確率是指識別正確的物體個數(shù)與識別物體總數(shù)的百分率比值，比值越大準(zhǔn)確率越高。平均精度是預(yù)測目標(biāo)位置以及類別的這一類算法的性能度量標(biāo)準(zhǔn)。召回率是驗證在所有正確的預(yù)測中預(yù)測為真的比例。其中有個關(guān)鍵參數(shù)是IoU 度量，聯(lián)合截距（IoU）度量的平均值用于量化實際掩碼與模型輸出之間的重疊百分比。IoU 度量測量目標(biāo)掩碼和預(yù)測掩碼之間的公共像素數(shù)除以2 個掩碼中存在的像素總數(shù)。交集由預(yù)測掩碼（B predict）和實際掩碼（B ground-truth）中的像素組成，而并集由預(yù)測和掩碼 real 中的所有像素組成。公式為：

為測試數(shù)據(jù)集中的每個圖像計算IoU 度量，然后取平均值。公式為：

對于最小選擇閾值，使用 IoU＞0.45 的值，經(jīng)過參考為IoU 指標(biāo)建立了接近 0.5 的可接受值。

式中：TP——預(yù)測梨小食心蟲的圖像，預(yù)測正確；FP——預(yù)測梨小食心蟲的圖像，預(yù)測錯誤；FN——將其他圖像識別為梨小食心蟲的圖像，預(yù)測結(jié)果錯誤；Pi——目標(biāo)類別i 的查準(zhǔn)率；Ri——目標(biāo)類別i 的查重率。

經(jīng)過計算得到：準(zhǔn)確率為0.9，召回分?jǐn)?shù)為0.9，平均精度為0.92。

4.2 對比實驗與分析

為了突出Mask R-CNN 在目標(biāo)檢測精確度上有更高的優(yōu)勢，本實驗還使用了同樣的數(shù)據(jù)集，以Faster R-CNN 為目標(biāo)檢測模型來識別梨小食心蟲，2 種模型的檢測結(jié)果對比如圖8 所示。針對1 200張測試集中的圖片中5 909只梨小食心蟲進(jìn)行識別，4 次識別結(jié)果對比如表2 所示。其中“未檢出”指的是圖8 中為梨小食心蟲但并未識別檢出的個數(shù)，“誤判”指不是梨小食心蟲但是識別為梨小食心蟲以及實際為梨小食心蟲但打分低于0.8 的個數(shù)[10]。

表2 檢測結(jié)果對比Tab.2 Comparison of test results

通過對比實驗的結(jié)果進(jìn)行分析，Mask R-CNN模型檢測結(jié)果中梨小食心蟲目標(biāo)識別結(jié)果以檢測框和實體分割的形式標(biāo)注在圖片上，F(xiàn)aster R-CNN模型檢測結(jié)果中梨小食心蟲目標(biāo)識別結(jié)果以檢測框形式標(biāo)注在圖片上，并且從圖8 中白框標(biāo)注的部分可以看出，F(xiàn)aster R-CNN模型難以識別邊緣不清晰、顯示不完整的梨小食心蟲圖像，而Mask R-CNN 較為準(zhǔn)確地提取出了梨小食心蟲的輪廓，出現(xiàn)漏檢、誤判的情況較少。在識別梨小食心蟲方面，F(xiàn)aster R-CNN 模型平均未檢出率6.6%，平均誤判率3.7%，平均準(zhǔn)確率89.6%；Mask R-CNN 的平均未檢出率0.3%，平均誤判率0.76%，具有更高的精確度，平均準(zhǔn)確度達(dá)98.87%，還可以通過對檢測目標(biāo)的實體分割進(jìn)行定位和分類。

圖8 檢測結(jié)果對比Fig.8 Comparison of test results

5 結(jié)論

（1）為提高果園蟲害識別的準(zhǔn)確率、穩(wěn)定性，本文提出了基于Mask R-CNN 目標(biāo)檢測模型的蟲害識別方法。該方法在Faster R-CNN 模型基礎(chǔ)上優(yōu)化添加用以預(yù)測分割的Mask 回歸分支，實現(xiàn)自動識別的同時輸出高質(zhì)量的實例分割Mask，使用數(shù)據(jù)增廣和掩模標(biāo)注等方法構(gòu)建數(shù)據(jù)集，深度學(xué)習(xí)訓(xùn)練后可有效提高梨小食心蟲等蟲害識別的準(zhǔn)確性。

（2）選擇常用的目標(biāo)檢測Faster R-CNN 模型與Mask R-CNN 模型進(jìn)行對比實驗，結(jié)果表明，本文提出的識別方法平均準(zhǔn)確率達(dá)到98.87%，比Faster R-CNN 模型高出9.3%，能夠?qū)嫘∈承南x進(jìn)行精確、穩(wěn)定、高效的識別，可為精確蟲害防治提供參考。