劉 震，紀(jì)明妹，郭志頂，黃素芳，趙忠祥，閆旭東，滕 霄，石 秘，岳明強(qiáng)，劉青松，徐玉鵬

（1.滄州市農(nóng)林科學(xué)院，河北 滄州 061001；2.河北恒華信息技術(shù)有限公司，石家莊 050000）

近年來(lái)，全球氣候惡化加快，環(huán)境條件變得愈發(fā)脆弱，農(nóng)作物蟲害的暴發(fā)呈上升趨勢(shì)。2020 年國(guó)家審議通過(guò)了《農(nóng)作物病蟲害防治條例》，是中國(guó)植物保護(hù)發(fā)展史上的里程碑，其中指出要全面提升重大病蟲害監(jiān)測(cè)預(yù)警和預(yù)防控制的能力［1-4］。因此，及時(shí)、準(zhǔn)確地識(shí)別農(nóng)作物蟲害并采取針對(duì)性防治措施是未來(lái)防治的發(fā)展方向。傳統(tǒng)識(shí)別方法依賴于個(gè)人經(jīng)驗(yàn)，專業(yè)性強(qiáng)、誤判率高且具有一定滯后性［5］，普通人員很難對(duì)害蟲種類做出準(zhǔn)確判斷，不能采取應(yīng)對(duì)措施以滿足前期防治的要求。隨著精準(zhǔn)農(nóng)業(yè)的興起，數(shù)字化信息技術(shù)為農(nóng)作物蟲害早期防治提供了新思路［6］，機(jī)器學(xué)習(xí)和圖像處理方法已經(jīng)被廣泛地應(yīng)用到農(nóng)業(yè)蟲害識(shí)別之中［7］。通過(guò)圖像識(shí)別技術(shù)替代傳統(tǒng)人工識(shí)別，克服了傳統(tǒng)識(shí)別方法的缺點(diǎn)，具有快速、準(zhǔn)確和及時(shí)等特點(diǎn)，能夠在蟲害暴發(fā)前為農(nóng)耕人員提供必要信息，便于及時(shí)采取針對(duì)性防治措施，控制其傳播發(fā)展，減少農(nóng)業(yè)損失［8，9］。

目前，中國(guó)在利用圖像識(shí)別技術(shù)進(jìn)行作物病蟲害檢測(cè)方面開展了一些研究。顧波等［10］設(shè)計(jì)了基于機(jī)器視覺的害蟲檢測(cè)系統(tǒng)，運(yùn)用機(jī)器視覺數(shù)學(xué)圖像處理和模式識(shí)別等技術(shù)實(shí)現(xiàn)對(duì)螻蛄、金龜子、甜菜夜蛾、小地老虎等農(nóng)田中常見害蟲的識(shí)別。李衡霞等［11］利用VGG16 網(wǎng)絡(luò)提取圖像特征，然后用Fast R-CNN 實(shí)現(xiàn)選框的分類和定位，最終完成對(duì)油菜害蟲的檢測(cè)識(shí)別。除此之外，一些學(xué)者研究發(fā)現(xiàn)，圖像識(shí)別技術(shù)在林業(yè)及果樹的蟲害防治工作中也起到了一定的效果［12-14］。

雖然圖像識(shí)別技術(shù)已經(jīng)相對(duì)成熟，但只有在害蟲肉眼清晰可見時(shí)才能取得比較好的識(shí)別效果。同時(shí)，數(shù)據(jù)識(shí)別缺乏標(biāo)準(zhǔn)化，難以保證檢測(cè)數(shù)據(jù)質(zhì)量。只有通過(guò)農(nóng)業(yè)部門系統(tǒng)部署的蟲害檢測(cè)識(shí)別系統(tǒng)，才能最大限度地進(jìn)行科學(xué)觀測(cè)和記錄。因此，按照農(nóng)業(yè)科技需求和發(fā)展目標(biāo)建立適宜的農(nóng)業(yè)害蟲圖像識(shí)別網(wǎng)絡(luò)對(duì)于保障糧食安全具有重要意義。

1 工作機(jī)制與訓(xùn)練樣例數(shù)據(jù)集分析

1.1 工作機(jī)制

河北省農(nóng)業(yè)害蟲圖像識(shí)別系統(tǒng)工作網(wǎng)絡(luò)主要分為兩個(gè)層面，分別是圖像數(shù)據(jù)存儲(chǔ)中心和圖像收集節(jié)點(diǎn)。圖像數(shù)據(jù)中心設(shè)立在滄州市農(nóng)林科學(xué)院三農(nóng)服務(wù)中心，圖像收集節(jié)點(diǎn)分布于各試驗(yàn)示范區(qū)，每個(gè)圖像收集節(jié)點(diǎn)可以通過(guò)手機(jī)App 收集系統(tǒng)將采集的樣例照片上傳至數(shù)據(jù)存儲(chǔ)中心。

數(shù)據(jù)存儲(chǔ)中心為害蟲圖像收集工作提供數(shù)據(jù)儲(chǔ)存和分析判斷功能。各數(shù)據(jù)采集節(jié)點(diǎn)通過(guò)App 將圖像數(shù)據(jù)采集后，通過(guò)移動(dòng)網(wǎng)絡(luò)上傳至圖像數(shù)據(jù)存儲(chǔ)中心，系統(tǒng)根據(jù)當(dāng)前數(shù)據(jù)庫(kù)內(nèi)數(shù)據(jù)分析得出識(shí)別結(jié)果。待相關(guān)領(lǐng)域?qū)＜彝ㄟ^(guò)數(shù)據(jù)存儲(chǔ)中心后臺(tái)系統(tǒng)對(duì)識(shí)別結(jié)果進(jìn)行質(zhì)量審核，確認(rèn)識(shí)別結(jié)果無(wú)誤后將其錄入數(shù)據(jù)庫(kù)。

1.2 訓(xùn)練樣例數(shù)據(jù)集分析

訓(xùn)練數(shù)據(jù)集的質(zhì)量和規(guī)模嚴(yán)重影響識(shí)別算法模型的有效性和訓(xùn)練結(jié)果的精度。數(shù)據(jù)樣例數(shù)量不足、數(shù)據(jù)集制作人員受專業(yè)知識(shí)不足的影響，容易造成數(shù)據(jù)集質(zhì)量參差不齊、質(zhì)量難以得到有效保障的問(wèn)題。通過(guò)對(duì)河北省滄州市歷年害蟲發(fā)生情況和圖像特征的分析，害蟲訓(xùn)練樣例數(shù)據(jù)集主要有以下幾個(gè)特點(diǎn)：數(shù)據(jù)集樣例數(shù)量多；害蟲特征提取難度大；數(shù)據(jù)集質(zhì)量要求高。為了確保圖像采集數(shù)量和分類數(shù)據(jù)集制作的高效、準(zhǔn)確，各階段參與人員針對(duì)每項(xiàng)重點(diǎn)任務(wù)編寫了技術(shù)操作手冊(cè)和成果要求說(shuō)明，并且針對(duì)野外圖像采集工作的特點(diǎn)開發(fā)了移動(dòng)端App。

2 害蟲圖像識(shí)別系統(tǒng)設(shè)計(jì)

2.1 工作流程

農(nóng)業(yè)害蟲圖像識(shí)別工作分為5 個(gè)階段（圖1），分別是害蟲圖像采集、害蟲分類標(biāo)識(shí)、機(jī)器學(xué)習(xí)訓(xùn)練、訓(xùn)練結(jié)果校驗(yàn)、識(shí)別服務(wù)發(fā)布。

圖1 農(nóng)業(yè)害蟲圖像識(shí)別工作流程

1）害蟲圖像采集階段。一方面利用移動(dòng)端圖像采集設(shè)備，依托滄州市農(nóng)林科學(xué)院提供技術(shù)服務(wù)的農(nóng)業(yè)種植企業(yè)和種植戶，在農(nóng)事作業(yè)現(xiàn)場(chǎng)采集害蟲圖片、背景作物、采集點(diǎn)位置、采集時(shí)間等信息，一并上報(bào)至系統(tǒng)后臺(tái)。另一方面利用網(wǎng)絡(luò)爬蟲技術(shù)，爬取互聯(lián)網(wǎng)害蟲圖像，豐富樣例數(shù)據(jù)集。

2）害蟲分類標(biāo)識(shí)階段。該階段將建立滄州市地區(qū)主要害蟲目錄庫(kù)，由植保專家對(duì)上一階段采集的害蟲圖片進(jìn)行特征提取、標(biāo)識(shí)、圖像增強(qiáng)等操作，完成各類樣例數(shù)據(jù)集的制作。

3）機(jī)器學(xué)習(xí)訓(xùn)練階段?；谌斯ぶ悄苌疃葘W(xué)習(xí)技術(shù)，使用各類害蟲數(shù)據(jù)集和圖片分類模型，開展機(jī)器學(xué)習(xí)，生成識(shí)別結(jié)果模型。

4）訓(xùn)練結(jié)果校驗(yàn)階段。人工智能開發(fā)人員和植保專家建立害蟲分類驗(yàn)證數(shù)據(jù)集，并對(duì)訓(xùn)練結(jié)果進(jìn)行結(jié)果校驗(yàn)。根據(jù)校驗(yàn)結(jié)果中存在不足，分別對(duì)識(shí)別模型參數(shù)和樣例數(shù)據(jù)集進(jìn)行優(yōu)化和補(bǔ)充，并重新發(fā)起機(jī)器學(xué)習(xí)，直至達(dá)到識(shí)別精度要求。

5）識(shí)別服務(wù)發(fā)布階段。當(dāng)植保專家評(píng)估害蟲分類訓(xùn)練結(jié)果達(dá)到精度要求后，更新識(shí)別模型服務(wù)庫(kù)，并與防治知識(shí)庫(kù)進(jìn)行數(shù)據(jù)匹配，向公眾提供害蟲圖像識(shí)別服務(wù)。

2.2 系統(tǒng)架構(gòu)

根據(jù)圖像采集與識(shí)別的工作機(jī)制和數(shù)據(jù)流程，農(nóng)業(yè)害蟲圖像識(shí)別樣例信息采集系統(tǒng)邏輯上可以分為4 個(gè)層次，其結(jié)構(gòu)層次自上而下可分為4 層，分別為用戶層、應(yīng)用層、數(shù)據(jù)層和設(shè)施層（圖2）。

圖2 害蟲識(shí)別系統(tǒng)架構(gòu)

2.2.1 用戶層 用戶層角色類型包括系統(tǒng)管理員、科研人員、數(shù)據(jù)填報(bào)人員三類，系統(tǒng)開放注冊(cè)功能，注冊(cè)用戶為種植戶角色。科研人員由系統(tǒng)管理員創(chuàng)建，系統(tǒng)管理員可以管理所有角色和用戶。

1）系統(tǒng)管理員。具有系統(tǒng)后臺(tái)所有數(shù)據(jù)的管理權(quán)限。主要負(fù)責(zé)用戶角色和權(quán)限的設(shè)定與管理、組織結(jié)構(gòu)、數(shù)據(jù)字典、數(shù)據(jù)備份的設(shè)置。

2）科研人員。該角色分為植保專家和昆蟲專家。植保專家主要針對(duì)防治辦法知識(shí)庫(kù)進(jìn)行管理，包括對(duì)害蟲屬性信息和防治辦法等信息的管理和維護(hù)，并且通過(guò)對(duì)所有上報(bào)信息的分析，動(dòng)態(tài)發(fā)布蟲情預(yù)警信息。專家主要對(duì)上報(bào)的害蟲圖像進(jìn)行分類，通過(guò)對(duì)圖像中的害蟲位置和特征進(jìn)行標(biāo)識(shí)，生成圖像識(shí)別數(shù)據(jù)集。

3）數(shù)據(jù)填報(bào)人員。數(shù)據(jù)填報(bào)人員主要由全省的種植戶組成，通過(guò)App，按照要求對(duì)害蟲進(jìn)行拍照上傳，并且上報(bào)現(xiàn)場(chǎng)位置信息、時(shí)間信息和環(huán)境信息。能夠查看歷史上報(bào)數(shù)據(jù)，同時(shí)可以在App 上獲取害蟲信息和防治辦法，并實(shí)時(shí)獲取由植保專家發(fā)布的蟲情預(yù)警信息。

2.2.2 應(yīng)用層 應(yīng)用層由移動(dòng)端采集App、害蟲防治辦法知識(shí)庫(kù)系統(tǒng)、農(nóng)業(yè)害蟲圖像識(shí)別系統(tǒng)組成。

1）害蟲圖像采集子系統(tǒng)。本模塊是采集系統(tǒng)的主要組成部分，數(shù)據(jù)填報(bào)人員使用該系統(tǒng)提供的移動(dòng)端圖像采集App 是對(duì)害蟲進(jìn)行拍攝并上傳數(shù)據(jù)，以實(shí)現(xiàn)圖像樣例收集功能。該系統(tǒng)除具有單獨(dú)對(duì)害蟲圖像進(jìn)行拍攝的功能外，還具有收集環(huán)境背景圖像、受害作物圖像等輔助功能，以便提高識(shí)別準(zhǔn)確率。利用開發(fā)服務(wù)對(duì)接，實(shí)現(xiàn)數(shù)據(jù)與其他系統(tǒng)間功能調(diào)用。比如對(duì)防治辦法知識(shí)庫(kù)系統(tǒng)進(jìn)行內(nèi)容查詢，接受蟲害預(yù)警信息等。

2）害蟲防治辦法知識(shí)庫(kù)系統(tǒng)。通過(guò)本系統(tǒng)可以實(shí)現(xiàn)對(duì)害蟲防治知識(shí)的準(zhǔn)確推送。系統(tǒng)管理員通過(guò)后臺(tái)系統(tǒng)對(duì)防治知識(shí)內(nèi)容進(jìn)行編輯，并推送至移動(dòng)端App，還可以根據(jù)推送內(nèi)容的重要程度選擇是否進(jìn)行置頂或熱門設(shè)置。同時(shí)，其他的相關(guān)農(nóng)業(yè)動(dòng)態(tài)信息和蟲害信息也可以在本系統(tǒng)中進(jìn)行實(shí)時(shí)發(fā)布。

3）農(nóng)業(yè)害蟲圖像識(shí)別系統(tǒng)。由植保、昆蟲等專業(yè)專家對(duì)采集的圖像中的害蟲進(jìn)行標(biāo)識(shí)分類，生成圖像數(shù)據(jù)集，并代入基于人工智能神經(jīng)網(wǎng)絡(luò)圖像分類模型，對(duì)模型進(jìn)行訓(xùn)練、驗(yàn)證，不斷優(yōu)化識(shí)別參數(shù)。

2.2.3 數(shù)據(jù)層 數(shù)據(jù)層是對(duì)系統(tǒng)中所有數(shù)據(jù)的邏輯抽象，包括害蟲的屬性數(shù)據(jù)、圖像數(shù)據(jù)、環(huán)境數(shù)據(jù)、空間位置數(shù)據(jù)、防治辦法、分類模型、數(shù)據(jù)字典、業(yè)務(wù)數(shù)據(jù)等。

害蟲屬性數(shù)據(jù)：指滄州市常見的農(nóng)業(yè)害蟲數(shù)據(jù)，字段包含名稱、別名、拉丁文名稱、種類所屬、形態(tài)特征、寄主、發(fā)生時(shí)間、發(fā)生部位、危害狀等。

害蟲圖像數(shù)據(jù)：指用于機(jī)器學(xué)習(xí)的數(shù)據(jù)集數(shù)據(jù)，包含數(shù)據(jù).csv 表與包含害蟲主要特征的圖片。

環(huán)境數(shù)據(jù)：該數(shù)據(jù)主要是記錄近幾年氣象環(huán)境數(shù)據(jù)，字段包含每天的溫度、光照輻射、降水量、風(fēng)力、風(fēng)向、濕度等。

空間位置數(shù)據(jù)：指害蟲圖像采集是所在的坐標(biāo)位置信息。

防治辦法（知識(shí)庫(kù)）：指植保專家整理編寫的各類害蟲防治技術(shù)操作步驟和用藥參數(shù)。

分類模型：指圖像分類訓(xùn)練生成的分類模型，包含Model文件和精度評(píng)估報(bào)告。

數(shù)據(jù)字典：指與表單中枚舉類型字段關(guān)聯(lián)的取值元素的集合，由管理員維護(hù)。字典不僅提高了填報(bào)效率，還約束了數(shù)據(jù)取值范圍和格式，一定程度上提高了數(shù)據(jù)質(zhì)量。

業(yè)務(wù)數(shù)據(jù)：是系統(tǒng)在運(yùn)行過(guò)程中得到的數(shù)據(jù)，如用戶信息、角色信息、日志信息等。

2.2.4 基礎(chǔ)設(shè)施層 基礎(chǔ)設(shè)施層為害蟲圖像識(shí)別工作順利完成和數(shù)據(jù)的持久化存儲(chǔ)提供保障，可分為硬件基礎(chǔ)設(shè)施和軟件基礎(chǔ)設(shè)施兩部分。硬件基礎(chǔ)設(shè)施主要指服務(wù)器、大容量的存儲(chǔ)設(shè)備、移動(dòng)終端設(shè)備、數(shù)碼相機(jī)等。軟件基礎(chǔ)設(shè)施主要包括操作系統(tǒng)和數(shù)據(jù)庫(kù)管理軟件等。

3 害蟲圖像識(shí)別系統(tǒng)構(gòu)建

農(nóng)業(yè)害蟲圖像識(shí)別系統(tǒng)采用了B/S（瀏覽器/服務(wù)器模式）結(jié)構(gòu)，基于Asp.NET Core MVC 架構(gòu)，開發(fā)語(yǔ)言為C#。系統(tǒng)框架采用MVC+EF+倉(cāng)儲(chǔ)模式，能夠有效降低代碼開發(fā)量，具有較強(qiáng)的擴(kuò)展性。數(shù)據(jù)庫(kù)采用SQL Server2019 R2，具有高性能、高可用性、高安全性等特點(diǎn)。 圖像識(shí)別系統(tǒng)采用殘差網(wǎng)絡(luò)ResNet-50、ResNet-101、ResNet-152 作為分類訓(xùn)練模型。

系統(tǒng)由一個(gè)應(yīng)用數(shù)據(jù)庫(kù)和三大功能模塊構(gòu)成，分別是移動(dòng)端圖像采集模塊、防治辦法知識(shí)庫(kù)模塊、圖像識(shí)別訓(xùn)練模塊。應(yīng)用數(shù)據(jù)庫(kù)部署于滄州市三農(nóng)服務(wù)中心，為各子系統(tǒng)提供數(shù)據(jù)存儲(chǔ)服務(wù)，主要存儲(chǔ)系統(tǒng)配置信息、用戶信息、專家?guī)煨畔?、防治辦法信息、圖像樣例信息、訓(xùn)練數(shù)據(jù)集信息、訓(xùn)練記錄信息、識(shí)別模型信息、接口信息、系統(tǒng)日志信息等。移動(dòng)端圖像采集App 使用對(duì)象為種植戶、系統(tǒng)運(yùn)維人員，系統(tǒng)兼容Android、H5，支持拍照上傳、位置信息上報(bào)、識(shí)別結(jié)果推送、防治辦法查詢等功能，是圖像識(shí)別系統(tǒng)的數(shù)據(jù)采集節(jié)點(diǎn)，其上報(bào)的數(shù)據(jù)成果對(duì)訓(xùn)練數(shù)據(jù)集的質(zhì)量有重要影響。防治辦法知識(shí)庫(kù)使用者為相關(guān)領(lǐng)域?qū)＜液头N植戶，系統(tǒng)提供害蟲防治信息錄入、編輯、圖像識(shí)別結(jié)果與防治辦法匹配以及滄州市蟲害發(fā)生情況評(píng)估、蟲害發(fā)生趨勢(shì)研判功能。是連接領(lǐng)域?qū)＜遗c種植戶的紐帶，也是整個(gè)系統(tǒng)平臺(tái)的大腦和決策機(jī)構(gòu)。害蟲圖像識(shí)別訓(xùn)練基于計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)技術(shù)，利用深度學(xué)習(xí)算法進(jìn)行圖像分類訓(xùn)練，其過(guò)程為代入圖像分類算法模型與參數(shù)，利用整理制作的數(shù)據(jù)集，開展機(jī)器學(xué)習(xí)訓(xùn)練，生成圖像分類結(jié)果模型，從而實(shí)現(xiàn)對(duì)害蟲圖像的自動(dòng)識(shí)別。

基于以上技術(shù)選型開發(fā)了農(nóng)業(yè)害蟲圖像識(shí)別樣例采集系統(tǒng)，如圖3 至圖7 所示。

圖3 采集記錄界面

圖7 移動(dòng)端害蟲圖像采集App

4 討論

圖4 害蟲分類管理界面

圖5 害蟲標(biāo)繪管理界面

圖6 訓(xùn)練任務(wù)管理界面

農(nóng)業(yè)技術(shù)與信息化技術(shù)結(jié)合是未來(lái)中國(guó)農(nóng)業(yè)的發(fā)展方向，兩者融合也是中國(guó)農(nóng)業(yè)生產(chǎn)智能化、現(xiàn)代化的關(guān)鍵之處。本研究從系統(tǒng)設(shè)計(jì)、系統(tǒng)架構(gòu)和數(shù)據(jù)流工作機(jī)制等角度對(duì)識(shí)別系統(tǒng)的邏輯層次進(jìn)行了闡述，剖析了河北省當(dāng)前建立農(nóng)業(yè)害蟲圖像識(shí)別樣例采集系統(tǒng)的實(shí)現(xiàn)過(guò)程。該方式相較于傳統(tǒng)識(shí)別方法具有以下優(yōu)勢(shì)：①利用手機(jī)端采集時(shí)可以由專業(yè)人員設(shè)計(jì)表單，使環(huán)境或圖像數(shù)據(jù)匯交時(shí)完成標(biāo)準(zhǔn)化，減少了后期數(shù)據(jù)清洗的工作量。②識(shí)別結(jié)果進(jìn)行機(jī)器學(xué)習(xí)前需要由相關(guān)領(lǐng)域的專家進(jìn)行鑒別后才能正式進(jìn)入數(shù)據(jù)庫(kù)，該機(jī)制保證了數(shù)據(jù)質(zhì)量。③系統(tǒng)管理員可以針對(duì)不同人群設(shè)計(jì)數(shù)據(jù)表單并生成填報(bào)頁(yè)面，使其可以面對(duì)不同的用戶群體，具有高度的靈活性。

當(dāng)前已完成農(nóng)業(yè)害蟲圖像識(shí)別系統(tǒng)部署及相關(guān)蟲害監(jiān)測(cè)數(shù)據(jù)的采集工作，并對(duì)蟲害特征圖斑標(biāo)繪后進(jìn)入機(jī)器學(xué)習(xí)階段。雖然開展了一些工作，但對(duì)于達(dá)到完全準(zhǔn)確識(shí)別農(nóng)業(yè)害蟲圖像還有距離。在下階段的工作中，將繼續(xù)擴(kuò)大農(nóng)業(yè)害蟲圖像樣例數(shù)據(jù)集容量，利用機(jī)器學(xué)習(xí)本地害蟲的圖像特征，為后期提高對(duì)蟲害的識(shí)別精度提供基礎(chǔ)。