王春桃 梁煒健 郭慶文 鐘浩 甘雨 肖德琴
摘要:農(nóng)業(yè)害蟲智能視覺檢測是實現(xiàn)蟲情自動實時監(jiān)測的重要技術(shù),首先介紹經(jīng)典機器學習技術(shù)在國內(nèi)外害蟲智能視覺檢測中的應用,然后整理以R-CNN、Fast R-CNN、Faster R-CNN、SSD和YOLO等深度學習技術(shù)為核心的新一代害蟲智能視覺檢測方法的研究進展。接著,剖析農(nóng)業(yè)害蟲智能視覺檢測方法在研究及實際應用中存在的問題,其中基于經(jīng)典機器學習的方法存在特征捕獲能力和檢測精度較低、資源消耗較大以及魯棒性較弱等問題;基于深度學習的方法比基于經(jīng)典機器學習的方法擁有更高檢測性能,但存在數(shù)據(jù)分布不同和目標較小時識別效果較差、檢測精度低和速度慢等問題。最后,針對基于深度學習的方法在農(nóng)業(yè)昆蟲數(shù)據(jù)庫的制作、數(shù)據(jù)分布偏移的魯棒性處理、深度特征學習、多場景應用4個方面對未來研究方向進行展望。
關(guān)鍵詞:蟲情監(jiān)測;計算機視覺;目標檢測;機器學習;深度學習
中圖分類號:TP391
文獻標識碼:A
文章編號:20955553 (2023) 070207
07
Review on computer-vision-based detection of agricultural pests
Wang Chuntao1, 2, 3, 4, Liang Weijian1, Guo Qingwen1, Zhong Hao1, Gan Yu1, Xiao Deqin1, 2, 3
(1. College of Mathematics and Informatics, South China Agricultural University, Guangzhou, 510642, China;
2. Key Laboratory of Smart Agricultural Technology in Tropical South China, Ministry of Agriculture and
Rural Affairs, Guangzhou, 510642, China; 3. Guangdong Provincial Key Laboratory of Agricultural Artificial
Intelligence (GDKL-AAI), Guangzhou, 510642, China; 4. Guangzhou Key Laboratory of
Intelligent Agriculture, Guangzhou, 510642, China)
Abstract: Vision-based detection of agricultural pests is an important technology for achieving automated and real-time monitoring of pest conditions. Firstly, this paper introduces the application of traditional machine learning techniques in the vision-based detection of pests in China and internationally. Then, this paper summarizes the research progress of the new generation of vision-based detection methods for pests, which are based on deep learning techniques such as R-CNN, Fast R-CNN, Faster R-CNN, SSD, and YOLO. Next, this paper analyzes the problems that exist in the research and practical applications of vision-based detection methods for agricultural pests. The traditional machine learning-based methods have problems such as low feature capture ability, detection accuracy, and robustness, as well as high resource consumption. The deep learning-based methods have higher detection performance than the traditional machine learning-based methods but have problems such as poor performance on small and differently distributed targets, low detection accuracy, and slow speed. Finally, this paper discusses possible research directions in the future for the vision-based detection of agricultural pests based on deep learning techniques, including the development of public resources for agricultural pest image data, robust handling for data distribution shifts, deep feature learning, and multi-scene applications.
Keywords: pest monitoring; computer vision; object detection; machine learning; deep learning
0 引言
我國作為農(nóng)業(yè)大國,氣候環(huán)境優(yōu)越,光熱水資源充足,特別適合種植業(yè)發(fā)展。以蔬菜產(chǎn)業(yè)為例,全國農(nóng)業(yè)技術(shù)推廣服務中心的統(tǒng)計數(shù)據(jù)顯示,截至2021年底,我國累計登記的蔬菜品種高達16 610個[1]。然而,優(yōu)越的氣候環(huán)境也為害蟲的生長繁殖提供了有利條件,連年頻發(fā)的農(nóng)業(yè)蟲害嚴重地影響了種植業(yè)的健康發(fā)展。因此,害蟲防控具有十分重要的意義。
針對保護地作物蟲害發(fā)生特點,我國主要的害蟲防控策略為“實時監(jiān)測、提前預防、壓前控后、多策并舉”,以減少蟲源基數(shù)技術(shù)為基礎,以釋放天敵和應用生物農(nóng)藥為主要手段,將害蟲危害損失控制在經(jīng)濟危害水平以下[2]。其中,實時監(jiān)測是害蟲防控的重要前提?,F(xiàn)階段我國大部分地區(qū)普遍采用人工方式進行蟲情監(jiān)測,先采用田間拍查、燈誘和粘蟲板誘捕等方式捕獲害蟲,再由植保專家根據(jù)害蟲特征進行視覺檢測,從而估計蟲源基數(shù)。然而人工方式勞動和時間成本日益增高,且我國基層農(nóng)技測報人員的逐年流失,傳統(tǒng)蟲情監(jiān)測面臨巨大威脅。為此,我國現(xiàn)代農(nóng)業(yè)需加快完善蟲情自動監(jiān)測基礎設施建設。
害蟲智能視覺檢測是除昆蟲雷達外實現(xiàn)蟲情自動監(jiān)測的一種重要技術(shù)手段,為方便相關(guān)科研人員和農(nóng)業(yè)工作者快速了解害蟲智能視覺檢測研究現(xiàn)狀,本文對該領域進行綜述。首先,本文介紹了經(jīng)典機器學習技術(shù)在國內(nèi)外害蟲智能視覺檢測中的研究現(xiàn)狀;然后,整理了以深度學習技術(shù)為核心的新一代害蟲智能視覺檢測方法的研究進展;接著,剖析了農(nóng)業(yè)害蟲智能視覺檢測方法在研究及實際應用中存在的問題;最后,針對基于深度學習的方法對未來研究方向進行了展望。
1 害蟲智能視覺檢測概述
害蟲智能視覺檢測由農(nóng)業(yè)物聯(lián)網(wǎng)和計算機視覺檢測構(gòu)成,其中計算機視覺檢測是實現(xiàn)害蟲智能視覺檢測的核心構(gòu)件。根據(jù)所采用的計算機視覺檢測技術(shù),常見的害蟲智能視覺檢測方法可分為兩類:基于經(jīng)典機器學習的方法和基于深度學習的方法。
在早期基于經(jīng)典機器學習的害蟲智能視覺檢測方法中,常用的評價指標有:平均識別準確率(Average Accuracy of Recognition,AAR)和平均計數(shù)準確率(Average Accuracy of Counting,AAC)。在基于深度學習的害蟲智能視覺檢測方法中,常用的評價指標則包括:查準率(Precision,P)、查全率(Recall,R)、平均精確度(Average Precision,AP)、平均精確度均值(mean of Average Precision,mAP)、調(diào)和均值(F-Measure,F(xiàn)1)和平均準確率(Average Accuracy,AA)。這些指標的具體定義可參閱文獻[3-4]。一般而言,上述評價指標值越高表明算法在給定數(shù)據(jù)集上的檢測效果越好。
2 基于經(jīng)典機器學習的害蟲智能視覺檢測
在2012年深度學習興起之前,研究人員主要基于經(jīng)典機器學習設計害蟲智能視覺檢測方法。這些方法大致可分為5類:基于支持向量機(Support Vector Machine,SVM)的方法、基于反向傳播(Back Propagation,BP)神經(jīng)網(wǎng)絡的方法、基于決策樹的方法、基于聚類的方法和基于連通域分析的方法。其中,前3類為有監(jiān)督學習,后2類為無監(jiān)督學習。這些方法的主要步驟歸納如下。
1)? 由農(nóng)技專家分析害蟲特征。
2)? 根據(jù)害蟲特征使用預處理技術(shù)初步定位害蟲區(qū)域并設計相應特征算子。
3)? 使用人工設計的特征算子提取圖中害蟲的特征向量。
4)? 基于特征向量用統(tǒng)計學習方法實現(xiàn)圖像害蟲智能視覺檢測。
2.1 基于支持向量機的方法
韓瑞珍[5]利用圖像分割和SVM結(jié)合終端設備搭建了基于物聯(lián)網(wǎng)的害蟲遠程檢測系統(tǒng)。Yao等[67]和楊國國[8]基于Haar特征和SVM等設計了中華稻蝗與稻飛虱檢測器。田冉等[9]和Rustia等[10]結(jié)合紅外傳感器和SVM圖像處理方法自動檢測果樹害蟲。肖德琴等[11]結(jié)合SIFT特征、邊緣檢測、視覺詞袋和SVM等自動統(tǒng)計出黃板圖像中各類蔬菜害蟲的數(shù)量,平均正確率達93%。
總體而言,支持向量機對小樣本非線性害蟲圖像數(shù)據(jù)具有良好泛化能力,在農(nóng)業(yè)害蟲智能視覺檢測中得到了較為廣泛的應用。然而,支持向量機需要消耗空間存儲訓練樣本和核矩陣,當數(shù)據(jù)量較大時面臨巨大挑戰(zhàn),支持向量機的核函數(shù)及其超參數(shù)設置也較難確定。
2.2 基于決策樹的方法
卜俊怡等[12]提出溫室番茄作物害蟲檢測方法,算法先基于誘蟲板圖像背景均勻化對圖中害蟲進行分割,然后以顏色特征、形狀特征和紋理特征等作為輸入,最后用隨機森林算法識別感興趣區(qū)域內(nèi)的害蟲種類。
決策樹是直觀運用概率分析的一種圖解法,便于理解和解釋,但是決策樹非常容易產(chǎn)生過擬合問題,并且簡單的if-then規(guī)則使得決策樹較難學習到數(shù)據(jù)特征間的復雜關(guān)系。
2.3 基于反向傳播神經(jīng)網(wǎng)絡的方法
鄒修國等[13]用灰度圖和大津閾值法對圖像進行預處理提取出稻飛虱的所在位置,隨后基于4種不變矩和BP神經(jīng)網(wǎng)絡對白背飛虱、褐飛虱和灰飛虱進行識別。李震等[14]提出實蠅成蟲圖像識別算法,用BP神經(jīng)網(wǎng)絡識別圖中橘小實蠅、南瓜實蠅和瓜實蠅,算法準確率達95.56%,單次識別平均耗時500ms。
該類方法一般能夠取得獲得良好檢測準確率,盡管反向傳播神經(jīng)網(wǎng)絡有點類似近年出現(xiàn)的深度學習卷積神經(jīng)網(wǎng)絡中的全連接層,但相比深度學習其局限性在于過度依賴人工設計特征提取器進行特征提取,還可能陷于局部最優(yōu)。
2.4 基于聚類的方法
李震等[15]利用K-means聚類檢測圖像中的柑橘紅蜘蛛,在試驗中算法不僅在高清害蟲圖像上取得了好成績,也在低清晰度圖像上獲得了88%的識別率,但是該方法消耗時間過長。王志彬等[16]提出了基于K-means聚類和橢圓擬合方法的白粉虱計數(shù)算法。
聚類方法原理簡單,不需要額外的訓練操作,運行簡單且效率高。但該類方法很難區(qū)分多類別害蟲,且K-means等聚類算法時間復雜度很高,對初始參數(shù)值的設置和離群點很敏感,當圖像背景較復雜時該類方法作用有限。
2.5 基于連通域分析的方法
李季等[17]利用圖像灰度處理和大津閾值法對黃色誘蟲板上的枸杞害蟲進行預處理,然后通過計算連通區(qū)域個數(shù)實現(xiàn)枸杞害蟲計數(shù)。
基于連通域分析的方法較簡單,但多數(shù)情況下只能用于計數(shù),而且無法處理復雜的多種類害蟲的應用場景。
基于經(jīng)典機器學習的害蟲智能視覺檢測步驟較為簡單,對運行環(huán)境要求不高。其涉及的預處理技術(shù)中,SIFT、HOG技術(shù)對遮擋、平移、旋轉(zhuǎn)、噪聲等較魯棒,適用于檢測作物中的害蟲,但對圖片清晰度要求較高;基于HSV顏色特征的技術(shù)不易受明度影響,可以提高圖像中害蟲與背景的對比度;基于LBP、Harr特征和紅外傳感器的技術(shù)對光照較魯棒,但是對遮擋比較敏感;基于FAST的技術(shù)速度較快,但是對圖像尺度、噪聲等較為敏感。
基于聚類的方法和基于連通域分析的方法屬于無監(jiān)督方法,這兩類方法較為簡單且運行效率較高,具有一定的可行效果;但這兩類方法多數(shù)只能用于分類和計數(shù),無法有效處理多種類害蟲圖片。相比之下,基于支持向量機、決策樹和反向傳播神經(jīng)網(wǎng)絡的方法屬于有監(jiān)督的方法,它們能夠有效識別多種類害蟲而被廣泛應用;其中支持向量機和反向傳播神經(jīng)網(wǎng)絡由于對害蟲圖像具有更好的泛化能力,因此比決策樹更受歡迎。
3 基于深度學習的害蟲智能視覺檢測
相比于經(jīng)典機器學習算法,深度學習中的卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network,CNN)具有自適應提取特征的優(yōu)勢。在CNN基礎上,研究人員拓展出諸多圖像分類和檢測網(wǎng)絡,如AlexNet[18]、VGG[19]、GoogLeNet[20]、ResNet[21]和EfficientNet[22]等可用于視覺識別,在ILSVRC數(shù)據(jù)集上的性能遠超經(jīng)典機器學習算法;R-CNN[23]、Fast R-CNN[24]、Faster R-CNN[25]、YOLO[26]和SSD[27]等可用于視覺檢測,在Pascal VOC和COCO等數(shù)據(jù)集上取得了突破性成績。鑒于CNN取得的巨大成功,研究人員開始基于CNN設計新一代害蟲智能視覺檢測方法,它們大致可分為兩類:以R-CNN、FastR-CNN、Faster R-CNN等為主要模塊的兩階段方法和以YOLO、SSD等為主要模塊的單階段方法,具體介紹如下。
3.1 兩階段方法
Liu等[28]和楊國國等[29]通過圖像顯著性獲取圖中害蟲位置,接著用AlexNet網(wǎng)絡對害蟲的種類進行識別,算法的mAP和AA指標超過90%。Jiao等[30]將無錨點區(qū)域建議網(wǎng)絡和Fast R-CNN相結(jié)合,實現(xiàn)了對圖像中24種害蟲的精準定位和精確分類。Dong等[31]基于Fast R-CNN提出CRA-Net網(wǎng)絡,顯著提高了對小目標害蟲的檢測能力。Wang等[32]改進了特征提取網(wǎng)絡并結(jié)合Fast R-CNN對21類害蟲進行檢測,R和mAP分別達到89%和78.7%。
Shen等[33]用Inception結(jié)合Faster R-CNN實現(xiàn)害蟲視覺檢測。肖德琴等[34]基于ResNet-101和Faster R-CNN檢測飛蛾與黃板蔬菜害蟲,mAP達到87.14%。Li等[35]基于FasterR-CNN對儲糧害蟲等微小害蟲進行檢測,mAP達到了95.2%。
研究人員也提出了其他兩階段害蟲智能視覺檢測方法,Li等[36]先用區(qū)域建議網(wǎng)絡和NMS生成感興趣區(qū)域,然后用深度網(wǎng)絡檢測感興趣區(qū)域中的害蟲,仿真實驗表明mAP達到了88.5%。Wang等[37]基于兩階段框架設計了一個級聯(lián)害蟲檢測模型,先通過上下文感知注意網(wǎng)絡對圖像進行粗分類,然后用CNN檢測圖中害蟲,實驗結(jié)果優(yōu)于先進的目標檢測方法。Liu等[38]通過改進特征提取網(wǎng)絡和分類回歸網(wǎng)絡提出一個新的兩階段害蟲檢測算法,在工業(yè)環(huán)境下mAP性能比Faster R-CNN高5.03%。
3.2 單階段方法
兩階段檢測方法檢測精度雖高,但其計算成本也相應較高,因此研究人員開始基于單階段方法研究害蟲智能視覺檢測方法。Ding等[39]基于全卷積CNN和滑動窗口提出多尺度害蟲檢測器,可用于檢測誘捕器上捕捉到的飛蛾并進而實現(xiàn)飛蛾計數(shù)。這類方法具有顯著的速度優(yōu)勢,但精度不如Faster R-CNN。后來出現(xiàn)的YOLO和SSD框架,都繼承了這類方法的速度優(yōu)勢,并不斷提升其檢測精度。
Partel等[40]開發(fā)出一款農(nóng)用摩托車自動捕獲亞洲柑橘木虱,接著用YOLOv1和YOLOv3檢測所拍攝圖像中的亞洲柑橘木虱。Chen等[41]和Zha等[42]設計了基于YOLOv4的害蟲檢測系統(tǒng),F(xiàn)1和mAP性能均超過了88%。Chen等[43]優(yōu)化了YOLOv3,并結(jié)合無人機實現(xiàn)了果園害蟲精準農(nóng)藥噴灑,不僅提高了作物產(chǎn)量,還減少了對環(huán)境的破壞。He等[44]基于改進的SSD提出了作物害蟲檢測方法。
兩階段和單階段方法的基本框架分別如圖1、圖2所示,兩種方法的最大區(qū)別在于是否包括生成區(qū)域建議的預處理步驟。兩階段方法識別精度較高但速度相對較慢,單階段方法可以實現(xiàn)端對端、單階段對害蟲進行檢測,極大地提高了運行速度,滿足了實時監(jiān)測的需求,但是檢測精度一般比兩階段方法低。
目前,科研人員普遍采用基于深度學習的害蟲智能視覺檢測方法,主要從特征提取網(wǎng)絡、候選框的選取、訓練策略等方面對現(xiàn)有方法進行改進。在特征提取網(wǎng)絡的選取上,兩階段方法會引入層數(shù)較深的網(wǎng)絡,如ResNet、DenseNet,這些網(wǎng)絡可以提取較高層的語義信息而不會出現(xiàn)梯度消失和梯度爆炸的問題,因此相比傳統(tǒng)的VGG、GooLeNet更受歡迎;而單階段方法則傾向于選擇輕量級網(wǎng)絡,如EfficientNet、MobileNet,便于在移動端上加速運行。而在候選框的選取上,大多數(shù)研究仍然采用基于NMS的方法,該方法原理簡單,但是運算效率和定位準確性還有待提高。在訓練策略方面,注意力機制逐漸得到應用,通過增強對空間、通道維度的關(guān)注來提升模型的檢測效果;一些研究還通過使用數(shù)據(jù)增強、特征融合、困難樣本挖掘等策略來學習豐富的語義特征和提高模型在多場景的檢測性能。
4 存在問題
雖然基于經(jīng)典機器學習的方法在害蟲智能視覺檢測上取得了不錯的效果,但依然存在著一些尚未解決的問題,具體如下。
1) 人工設計特征算子難以捕獲深層語義特征。不少研究人員基于Haar、HOG等人工特征設計了出了許多檢測模型,這些方法可以較好地描述淺層特征,提升了害蟲智能視覺檢測的效果。但在實際應用場景下,由于人工設計的特征算子魯棒性較差,常常會因為遮擋、光照、距離等因素導致難以提取到特征,且提取到的特征所包含的信息有限。
2)? 數(shù)據(jù)量大時無法滿足農(nóng)業(yè)生產(chǎn)需要。近年來,研究人員通過改進特征提取器、分類器等在害蟲智能視覺檢測上取得了不錯的進展,對數(shù)據(jù)量較少的害蟲數(shù)據(jù)集具有良好的檢測能力,但大部分是基于滑動窗口的區(qū)域選擇方式導致檢測效率低下,當害蟲數(shù)據(jù)量較大、類別較多時則顯示出計算能力的不足。因此,在時間消耗、內(nèi)存使用、檢測精度方面都面臨巨大挑戰(zhàn),無法滿足生產(chǎn)需要。
3) ?方法過于簡單易導致模型過擬合,且難以表達數(shù)據(jù)特征間的復雜關(guān)系。目前,雖然現(xiàn)有基于經(jīng)典機器學習方法較多計算量小、結(jié)構(gòu)簡單、容易實現(xiàn),但是這類方法學到的特征較難表達出復雜的關(guān)系。此外,由于訓練效果受到模型初始化參數(shù)的影響較大,容易出現(xiàn)過擬合現(xiàn)象。
相比基于經(jīng)典機器學習的方法,基于深度學習的害蟲智能視覺檢測方法擁有更高檢測性能。然而,基于深度學習的害蟲智能視覺檢測方法仍然存在一些尚未解決的問題。
1) 訓練數(shù)據(jù)和測試數(shù)據(jù)分布不同時效果不佳。目前,研究人員通過對現(xiàn)有基于深度學習方法的害蟲智能視覺檢測模型結(jié)構(gòu)和訓練策略進行改進和優(yōu)化,在速度、精度上均取得了較大的進展。但現(xiàn)有的研究普遍采用有監(jiān)督的學習方法,這類方法通常假設訓練數(shù)據(jù)和測試數(shù)據(jù)是獨立同分布的,然而現(xiàn)實中較難滿足該前提,如同類害蟲的不同圖片因拍攝角度等關(guān)系變得不同。此外,測試圖片里會出現(xiàn)與訓練圖片不同的新種類害蟲。
2)? 害蟲目標在圖像中占比小時較難識別。近幾年來,不少研究人員基于公開或者構(gòu)建的害蟲數(shù)據(jù)庫在害蟲智能視覺檢測方面取得了飛速的發(fā)展,現(xiàn)了害蟲細粒度的檢測。但多數(shù)情況下害蟲在圖像中的覆蓋面積較小,而且害蟲具有類間差異小而類內(nèi)差異大的特點,僅有少數(shù)局部辨別性區(qū)域有助于細粒度檢測,因此如何使模型以數(shù)據(jù)驅(qū)動方式從圖像原始稀疏特征中自適應學到關(guān)鍵知識仍是一大挑戰(zhàn)難題。此外,在自然環(huán)境中光照、模糊等復雜場景也會影響害蟲細粒度檢測的效果。
3)? 檢測精度和速度還有較大的提高空間。當前主流的基于深度學習的方法主要針對目標檢測公共數(shù)據(jù)集。對于農(nóng)業(yè)害蟲智能視覺檢測場景,由于蟲情是動態(tài)變化的,因此對檢測的實時性有較高的要求。此外,準確識別害蟲并定位其位置有助于采取措施,實現(xiàn)精準防控,以免影響更大的范圍。然而,隨著害蟲類別數(shù)和圖像分辨率的增加、圖像背景的復雜化,結(jié)構(gòu)簡單的網(wǎng)絡不足以對害蟲圖像中蘊含的信息進行有效表達,從而導致害蟲檢測精度較低,較深的網(wǎng)絡由于參數(shù)量的增加導致運行速度較慢,因此如何實現(xiàn)檢測精度和運行速度的最佳平衡是目前亟需解決地難題。
5 展望
與基于經(jīng)典機器學習的害蟲智能視覺檢測方法相比,基于深度學習的害蟲智能視覺檢測方法更具優(yōu)勢,未來在解決害蟲智能視覺檢測效果不佳、檢測精度較低、模型魯棒性較弱等問題上有著很大的潛力,具體可從以下4個方面進行考慮。
1)? 制作完備的昆蟲圖像數(shù)據(jù)庫。針對農(nóng)業(yè)昆蟲圖像采集困難的問題,根據(jù)農(nóng)業(yè)4.0模式對農(nóng)機裝備進行升級[45],如設計更適合在野外作業(yè)的智能機器人、采用高清攝像頭采集害蟲圖像等,以此促進擴充農(nóng)業(yè)昆蟲圖像資源,同時,對昆蟲圖像進行標注,建立相當規(guī)模的高質(zhì)量標注昆蟲數(shù)據(jù)庫;制定合理數(shù)據(jù)管理策略,鼓勵農(nóng)業(yè)昆蟲圖像公共資源的共享。
2)? 針對數(shù)據(jù)分布偏移進行魯棒性處理。對于測試圖像與訓練圖像里同類害蟲不相似的問題,需要研究分布外泛化技術(shù)[46]。而對于可能突然出現(xiàn)訓練集中未標注的新種類害蟲的問題,需研究對比學習、孿生網(wǎng)絡等開放世界視覺檢測技術(shù)[47]。
3)? 加強深度特征的學習。鑒于CNN等深度學習在多方面性能遠超經(jīng)典機器學習,應重點研究基于深度學習的害蟲智能視覺檢測方法。利用Vision Transformer等構(gòu)建更優(yōu)越的骨干網(wǎng)絡使模型更好地從害蟲圖像辨別性區(qū)域中學習關(guān)鍵知識,當數(shù)據(jù)量較少時優(yōu)先考慮基于遷移學習的檢測方法,在一個訓練好的初始參數(shù)上進行微調(diào),可以大大提高害蟲檢測模型的性能。
4) 優(yōu)化網(wǎng)絡,提高多場景檢測效果。為了更適應農(nóng)業(yè)場景下的害蟲檢測需求,可以采用現(xiàn)有的技術(shù)來優(yōu)化現(xiàn)有網(wǎng)絡。例如,可以通過參數(shù)共享的方式提升骨干網(wǎng)絡的處理效率,提升害蟲檢測運行速度;還可以采用數(shù)據(jù)增強技術(shù)來增加數(shù)據(jù)集的多樣性,從而提高模型的泛化能力;同時,利用特征融合技術(shù)更好地捕捉害蟲圖像中的關(guān)鍵信息,進一步提升害蟲檢測的精確度。
6 結(jié)語
隨著重大病蟲疫情監(jiān)測預警及防控服務體系覆蓋到村級,對實現(xiàn)自動化、數(shù)字化、智能化監(jiān)測預警和防控指導服務的需求越來越大,未來農(nóng)業(yè)害蟲智能視覺檢測將起重要作用。
參 考 文 獻
[1] 陳永寧, 周娜, 陳婕, 等. 我國蔬菜種業(yè)發(fā)展現(xiàn)狀、融資結(jié)構(gòu)及經(jīng)營績效研究[J]. 北方金融, 2023(2): 40-46.
[2] 中華人民共和國農(nóng)業(yè)農(nóng)村部. 2021年保護地蔬菜重要害蟲生物防治技術(shù)方案[EB/OL]. http://www.moa.gov.cn/gk/nszd_1/2021/202103/t20210311_6363457.htm, 2021-03-11.
[3] Liu L, Ouyang W, Wang X, et al. Deep learning for generic object detection: A survey [J]. International Journal of Computer Vision, 2020, 128(2): 261-318.
[4] 周志華. 機器學習[M]. 北京: 清華大學出版社, 2018.
[5] 韓瑞珍. 基于機器視覺的農(nóng)田害蟲快速檢測與識別研究[D]. 杭州: 浙江大學, 2014.
Han Ruizhen. Research on fast detection and identification of field pests based on machine vision [D]. Hangzhou: Zhejiang University, 2014.
[6] Yao Q, Xian D, Liu Q, et al. Automated counting of rice planthoppers in paddy fields based on image processing [J]. Journal of Integrative Agriculture, 2014, 13(8): 1736-1745.
[7] Yao Q, Chen G, Wang Z, et al. Automated detection and identification of white-backed planthoppers in paddy fields using image processing [J]. Journal of Integrative Agriculture, 2017, 16(7): 1547-1557.
[8] 楊國國. 基于機器視覺的中華稻蝗早期蝗蝻的識別和檢測研究[D]. 杭州: 浙江大學, 2017.
Yang Guoguo. The research of recognition and detection of oxya chinensis larva based on computer vision [D]. Hangzhou: Zhejiang University, 2017.
[9] 田冉, 陳梅香, 董大明, 等. 紅外傳感器與機器視覺融合的果樹害蟲識別及計數(shù)方法[J]. 農(nóng)業(yè)工程學報, 2016, 32(20): 195-201.
Tian Ran, Chen Meixiang, Dong Daming, et al. Identification and counting method of orchard pests based on fusion method of infrared sensor and machine vision [J]. Transactions of the Chinese Society of Agricultural Engineering, 2016, 32(20): 195-201.
[10] Rustia D J A, Lin C E, Chung J Y, et al. Application of an image and environmental sensor network for automated greenhouse insect pest monitoring [J]. Journal of Asia-Pacific Entomology, 2019, 23(1): 17-28.
[11] 肖德琴, 張玉康, 范梅紅, 等. 基于視覺感知的蔬菜害蟲誘捕計數(shù)算法[J]. 農(nóng)業(yè)機械學報, 2018, 49(3): 51-58.
Xiao Deqin, Zhang Yukang, Fan Meihong, et al. Vegetable pest counting algorithm based on visual perception [J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(3): 51-58.
[12] 卜俊怡, 孫國祥, 王迎旭, 等. 基于誘蟲板圖像的溫室番茄作物害蟲識別與監(jiān)測方法[J]. 南京農(nóng)業(yè)大學學報, 2021, 44(2): 373-383.
Bu Junyi, Sun Guoxiang, Wang Yingxu, et al.Identification and monitoring method of tomato crop pests in greenhouse based on trapping board image [J]. Journal of Nanjing Agricultural University, 2021, 44(2): 373-383.
[13] 鄒修國, 丁為民, 劉德營, 等. 基于4種不變矩和BP神經(jīng)網(wǎng)絡的稻飛虱分類[J]. 農(nóng)業(yè)工程學報, 2013, 29(18): 171-178.
Zou Xiuguo, Ding Weimin, Liu Deying, et al. Classification of rice planthopper based on invariant moments and BP neural network [J]. Transactions of the Chinese Society of Agricultural Engineering, 2013, 29(18): 171-178.
[14] 李震, 鄧忠易, 洪添勝, 等. 基于神經(jīng)網(wǎng)絡的實蠅成蟲圖像識別算法[J]. 農(nóng)業(yè)機械學報, 2017, 48(S1): 129-135.
Li Zhen, Deng Zhongyi, Hong Tiansheng, et al. Image recognition algorithm for fruit flies based on bp neural network [J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(S1): 129-135.
[15] 李震, 洪添勝, 曾祥業(yè), 等. 基于K-means聚類的柑橘紅蜘蛛圖像目標識別[J]. 農(nóng)業(yè)工程學報, 2012, 28(23): 147-153, 299.
Li Zhen, Hong Tiansheng, Zeng Xiangye, et al. Citrus red mite image target identification based on K-means clustering [J]. Transactions of the Chinese Society of Agricultural Engineering, 2012, 28(23): 147-153, 299.
[16] 王志彬, 王開義, 張水發(fā), 等. 基于K-means聚類和橢圓擬合方法的白粉虱計數(shù)算法[J]. 農(nóng)業(yè)工程學報, 2014, 30(1): 105-112.
Wang Zhibin, Wang Kaiyi, Zhang Shuifa, et al.Whiteflies counting with K-means clustering and ellipse fitting [J]. Transactions of the Chinese Society of Agricultural Engineering, 2014, 30(1): 105-112.
[17] 李季, 楊淑婷, 馬菁. 基于計算機視覺的枸杞蟲害計數(shù)方法研究[J]. 寧夏農(nóng)林科技, 2018, 59(10): 50-52.
Li Ji, Yang Shuting, Ma Jing. Counting method of wolfberry pests based on computer vision [J]. Ningxia Journal of Agriculture and Forestry Science and Technology, 2018, 59(10): 50-52.
[18] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks [C]. Curran Associates Inc. International Conference on Neural Information Processing Systems, 2012.
[19] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition [J]. arXiv Preprint, 2014: 1409.1556.
[20] Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions [C]. CVPR. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, 2015: 1-9.
[21] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition [C]. CVPR. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, 2016: 770-778.
[22] Tan M, Le Q V. EfficientNetV2: Smaller models and faster training [J]. ArXiv Preprint, 2021: 2104.00298v3.
[23] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation [C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014: 580-587.
[24] Girshick R. Fast R-CNN [C]. Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2015: 1440-1448.
[25] Ren S, He K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks [C]. Proceedings of Advances in Neural Information Processing Systems 2015, 2015: 91-99.
[26] Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection [C]. Proceedings of the 29th IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2015: 779-788.
[27] Liu W, Anguelov D, Erhan D, et al. SSD: Single shot multibox detector [C]. Proceedings Lecture Notes in Computer Science. Computer Vision-14th European Conference (ECCV 2016), 2016: 21-37.
[28] Liu Z, Gao J, Yang G, et al. Localization and classification of paddy field pests using a saliency map and deep convolutional neural network [J]. Scientific Reports, 2016, 6: 20410.
[29] 楊國國, 鮑一丹, 劉子毅. 基于圖像顯著性分析與卷積神經(jīng)網(wǎng)絡的茶園害蟲定位與識別[J]. 農(nóng)業(yè)工程學報, 2017, 33(6): 156-162.
Yang Guoguo, Bao Yidan, Liu Ziyi. Localization and recognition of pests in tea plantation based on image saliency analysis and convolutional neural network [J]. Transactions of the Chinese Society of Agricultural Engineering, 2017, 33(6): 156-162.
[30] Jiao L, Dong S, Zhang S, et al. AF-RCNN: An anchor-free convolutional neural network for multi-categories agricultural pest detection [J]. Computers and Electronics in Agriculture, 2020, 174: 105522.
[31] Dong S, Wang R, Liu K, et al. CRA-Net: A channel recalibration feature pyramid network for detecting small pests [J]. Computers and Electronics in Agriculture, 2021, 191: 106518.
[32] Wang R, Jiao L, Xie C, et al. S-RPN: Sampling-balanced region proposal network for small crop pest detection [J]. Computers and Electronics in Agriculture, 2021, 187: 106290.
[33] Shen Y, Zhou H, Li J, et al. Detection of stored-grain insects using deep learning [J]. Computers and Electronics in Agriculture, 2018, 145: 319-325.
[34] 肖德琴, 黃一桂, 張遠琴, 等. 基于改進Faster R-CNN的田間黃板害蟲檢測算法[J]. 農(nóng)業(yè)機械學報, 2021, 52(6): 242-251.
Xiao Deqin, Huang Yigui, Zhang Yuanqin, et al. Pest detection algorithm of yellow plate in field based on improved Faster R-CNN [J]. Transactions of the Chinese Society for agricultural Machinery, 2021, 52(6): 242-251.
[35] Li W, Wang D, Li M, et al. Field detection of tiny pests from sticky trap images using deep learning in agricultural greenhouse [J]. Computers and Electronics in Agriculture, 2021, 183: 106048.
[36] Li W, Chen P, Wang B, et al. Automatic localization and count of agricultural crop pests based on an improved deep learning pipeline [J]. Scientific Reports, 2019, 9: 7024-7033.
[37] Wang F, Wang R, Xie C, et al. Fusing multi-scale context-aware information representation for automatic in-field pest detection and recognition[J]. Computers and Electronics in Agriculture, 2020, 169: 105222.
[38] Liu L, Xie C, Wang R, et al. Deep learning based automatic multiclass wild pest monitoring approach using hybrid global and local activated features [J]. IEEE Transactions on Industrial Informatics, 2020, 17(11): 7589-7598.
[39] Ding W, Taylor G. Automatic moth detection from trap images for pest management [J]. Computers and Electronics in Agriculture, 2016, 123: 17-28.
[40] Partel V, Nunes L, Stansly P, et al. Automated vision-based system for monitoring Asian citrus psyllid in orchards utilizing artificial intelligence [J]. Computers and Electronics in Agriculture, 2019, 162: 328-336.
[41] Chen J, Lin W, Cheng H, et al. A smartphone-based application for scale pest detection using multiple-object detection methods [J]. Electronics, 2021, 10(4): 372.
[42] Zha M, Qian W, Yi W, et al. A lightweight YOLOv4-based forestry pest detection method using coordinate attention and feature fusion [J]. Entropy, 2021, 23(12): 1587.
[43] Chen C J, Huang YY, Li Y S, et al. Identification of fruit tree pests with deep learning on embedded drone to achieve accurate pesticide spraying [J]. IEEE Access, 2021, 9: 21986-21997.
[44] He Y, Zeng H, Fan Y, et al. Application of deep learning in integrated pest management: A real-time system for detection and diagnosis of oilseed rape pests [J]. Mobile Information Systems, 2019, 2019: 1-14.
[45] 吳麗芳. 基于智慧時代的農(nóng)業(yè)4.0模式及發(fā)展策略研究[J]. 農(nóng)業(yè)經(jīng)濟, 2021(5): 9-11.
[46] Shen Z, Liu J, He Y, et al. Towards out-of-distribution generalization: A survey [J]. arXiv Preprint, 2021: 2108.13624.
[47] Joseph K J, Khan S, Khan F S, et al. Towards open world object detection [C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021: 5830-5840.