陳衛(wèi)東, 王 瑩, 范冰冰, 劉 超, 李宛玉

(河南工業(yè)大學(xué)信息科學(xué)與工程學(xué)院1,鄭州 450001)

(河南工業(yè)大學(xué)糧油標(biāo)準(zhǔn)化研究所2, 鄭州 450001)

2021 年10 月31 日,中共中央辦公廳、國(guó)務(wù)院辦公廳印發(fā)《糧食節(jié)約行動(dòng)方案》,對(duì)進(jìn)一步保障國(guó)家糧食安全作出重大部署,成為提高糧食安全保障水平,堅(jiān)持開(kāi)源與節(jié)流并重、增產(chǎn)與減損并行的行動(dòng)指南[1]。儲(chǔ)糧害蟲(chóng)是造成糧食儲(chǔ)存環(huán)節(jié)損耗的主要原因之一,高效地檢測(cè)儲(chǔ)糧害蟲(chóng)的種類(lèi)和數(shù)量,已經(jīng)成為保障安全儲(chǔ)糧的一項(xiàng)重要任務(wù)[2]。經(jīng)過(guò)多年的發(fā)展,儲(chǔ)藏物害蟲(chóng)檢測(cè)已取得一定進(jìn)展。常見(jiàn)的方法包括聲測(cè)法、人工識(shí)別法、近紅外法、化學(xué)試劑法、圖像處理法等。其中,基于圖像處理的害蟲(chóng)檢測(cè)具有無(wú)污染、實(shí)時(shí)性好、效率高等優(yōu)勢(shì),受到眾多科研工作者的關(guān)注。

傳統(tǒng)的圖像處理方法(如支持向量機(jī)和反向 BP 神經(jīng)網(wǎng)絡(luò))往往無(wú)法達(dá)到令人滿(mǎn)意的效果[3],基于深度學(xué)習(xí)的圖像處理方法避免了手工設(shè)計(jì)糧蟲(chóng)特征的煩瑣步驟[4],可以自動(dòng)學(xué)習(xí)和泛化大量圖像數(shù)據(jù)的特征,對(duì)糧蟲(chóng)的特征向量進(jìn)行分類(lèi),快速識(shí)別不同儲(chǔ)糧害蟲(chóng)種類(lèi)。將深度學(xué)習(xí)模型應(yīng)用到儲(chǔ)糧害蟲(chóng)的小目標(biāo)檢測(cè)中,將會(huì)高效的檢測(cè)儲(chǔ)糧害蟲(chóng),減少經(jīng)濟(jì)損失,提升儲(chǔ)糧環(huán)境質(zhì)量[5,6]。

隨著深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)不斷優(yōu)化,基于卷積神經(jīng)網(wǎng)絡(luò)的儲(chǔ)糧害蟲(chóng)識(shí)別研究較傳統(tǒng)方式雖然具有識(shí)別準(zhǔn)確性高、適應(yīng)性好、學(xué)習(xí)能力強(qiáng)、可移植性能好等特點(diǎn)[7],但仍存在計(jì)算量較大、模型設(shè)計(jì)復(fù)雜、實(shí)時(shí)性一般等問(wèn)題。近年來(lái),不少學(xué)者對(duì)目標(biāo)檢測(cè)算法進(jìn)行改進(jìn),并取得了很好的效果。因此,本文借助前人學(xué)者的經(jīng)驗(yàn)對(duì)基于深度學(xué)習(xí)的儲(chǔ)糧害蟲(chóng)檢測(cè)研究進(jìn)行綜述,分別從儲(chǔ)糧害蟲(chóng)數(shù)據(jù)集的獲取與預(yù)處理、儲(chǔ)糧害蟲(chóng)目標(biāo)檢測(cè)算法研究、儲(chǔ)糧害蟲(chóng)檢測(cè)結(jié)果應(yīng)用研究進(jìn)展進(jìn)行介紹,并對(duì)以后的研究發(fā)展方向進(jìn)行預(yù)測(cè)。

1 儲(chǔ)糧害蟲(chóng)數(shù)據(jù)集的獲取與預(yù)處理

深度學(xué)習(xí)由CNN自動(dòng)提取儲(chǔ)糧害蟲(chóng)特征然后進(jìn)行預(yù)測(cè),而深度學(xué)習(xí)的關(guān)鍵是訓(xùn)練數(shù)據(jù),沒(méi)有數(shù)據(jù),機(jī)器無(wú)法訓(xùn)練學(xué)習(xí),進(jìn)而無(wú)法預(yù)測(cè)。因此,為保證儲(chǔ)糧害蟲(chóng)檢測(cè)的準(zhǔn)確率,高質(zhì)量的數(shù)據(jù)集是關(guān)鍵。制作數(shù)據(jù)集時(shí),主要分為數(shù)據(jù)獲取和數(shù)據(jù)預(yù)處理2個(gè)部分。

1.1 數(shù)據(jù)獲取

由于公開(kāi)的儲(chǔ)糧害蟲(chóng)數(shù)據(jù)集較少,研究者大多按照自己的需求,從拍攝方式、設(shè)備、環(huán)境、單張圖片中害蟲(chóng)的數(shù)量和種類(lèi),以及圖像的分辨率等方面入手獲取實(shí)驗(yàn)所需的數(shù)據(jù)集。

我國(guó)已經(jīng)記錄的儲(chǔ)糧害蟲(chóng)種類(lèi)很多,其中象甲科、長(zhǎng)蠹科、谷盜科、擬步甲科、鋸谷盜科、竊蠹科、麥蛾科、卷螟科等害蟲(chóng)比較常見(jiàn),且對(duì)糧食危害較大,常常被選為研究對(duì)象,建立糧蟲(chóng)數(shù)據(jù)集。害蟲(chóng)原始圖像可以從流行的搜索引擎、參考書(shū)上的照片、公開(kāi)數(shù)據(jù)集、實(shí)驗(yàn)室或者實(shí)地拍攝等多種方式獲取,通常選擇實(shí)驗(yàn)室或者實(shí)地拍攝。在拍攝時(shí),需要考慮拍攝設(shè)備(工業(yè)相機(jī)、一般智能手機(jī)、昆蟲(chóng)采集設(shè)備、監(jiān)控等)、拍攝環(huán)境(白紙/實(shí)際糧蟲(chóng)背景、不同時(shí)間段、不同天氣等)、每張圖像上儲(chǔ)糧害蟲(chóng)的數(shù)量和種類(lèi)(單個(gè)或者多個(gè)、一類(lèi)或多類(lèi)糧蟲(chóng)等)、圖像的數(shù)量、圖像的分辨率和拍攝方式(拍照片或者視頻截屏等)等因素。

Shen等[8,9]建立了儲(chǔ)糧害蟲(chóng)圖像數(shù)據(jù)集IDSGP,對(duì)6種儲(chǔ)糧害蟲(chóng)進(jìn)行識(shí)別,并人為標(biāo)記害蟲(chóng)種類(lèi)及坐標(biāo)。趙文君[10]從多種渠道搜集糧蟲(chóng)圖片建立數(shù)據(jù)集,選取常見(jiàn)6種儲(chǔ)糧害蟲(chóng),每個(gè)類(lèi)別100張。劉治財(cái)[11]在白板背景下對(duì)8種糧蟲(chóng)進(jìn)行拍攝,圖片上的糧蟲(chóng)平均密度約為14只/張。許德剛等[12]將糧蟲(chóng)夾出放置在實(shí)驗(yàn)平臺(tái)上,固定手機(jī),垂直平臺(tái)進(jìn)行拍攝,包括白板背景和實(shí)際儲(chǔ)糧背景。Li等[13]使用已建立的數(shù)據(jù)集,包含6屬10類(lèi)害蟲(chóng),拍攝時(shí)使用了2種設(shè)備。糧蟲(chóng)檢測(cè)數(shù)據(jù)集相關(guān)比較如表1所示。

表1 糧蟲(chóng)檢測(cè)數(shù)據(jù)集

1.2 數(shù)據(jù)預(yù)處理

預(yù)處理對(duì)于神經(jīng)網(wǎng)絡(luò)的有效性已經(jīng)在提高識(shí)別性能和學(xué)習(xí)效率等實(shí)驗(yàn)中得到證明[14]。數(shù)據(jù)預(yù)處理的目的就是讓數(shù)據(jù)更加符合網(wǎng)絡(luò)的需求,從廣義上來(lái)說(shuō),可以認(rèn)為是輸入特征網(wǎng)絡(luò)前的一切操作,包括對(duì)數(shù)據(jù)集分割、規(guī)整化處理、數(shù)據(jù)標(biāo)注、圖像增強(qiáng)(數(shù)據(jù)擴(kuò)充)等。

數(shù)據(jù)集不同的分割方式和分割比例可能會(huì)導(dǎo)致模型最終的結(jié)果出現(xiàn)差異,因此恰當(dāng)?shù)姆指钍鞘钟斜匾?。大多?shù)情況下,訓(xùn)練集,測(cè)試集的劃分比例在8∶2到7∶3之間。如果存在驗(yàn)證集,可按照合適的比例進(jìn)行分割。在進(jìn)入特征網(wǎng)絡(luò)之前,要把圖片的調(diào)整到相同尺寸,便于統(tǒng)一處理,通常將圖像像素resize到800以下,可以提高模型精度,提升收斂速度。數(shù)據(jù)標(biāo)注大都使用開(kāi)源軟件LabelImg軟件進(jìn)行人工標(biāo)注,每個(gè)糧蟲(chóng)目標(biāo)的大小、種類(lèi)、位置等各種信息都會(huì)被保存在xml格式文件中,最終生成標(biāo)準(zhǔn)的數(shù)據(jù)集。

因?yàn)閮?chǔ)糧害蟲(chóng)樣本數(shù)量較少,數(shù)據(jù)集需要人工拍攝進(jìn)行自制,常選用擴(kuò)充圖片的方式豐富數(shù)據(jù)集,增加樣本的多樣性,常用的包括空間幾何變換(翻轉(zhuǎn),移位,旋轉(zhuǎn),裁剪,變形,縮放等)、色彩變換(噪聲、模糊、隨機(jī)擦除[15]、顏色變換、填充等[16])等。這些方法雖然簡(jiǎn)捷易于實(shí)現(xiàn),但是也有一定的局限性,例如,空間幾何變換產(chǎn)生的圖像比較單一,不具備多樣性;有的檢測(cè)任務(wù)不適合做翻轉(zhuǎn)旋轉(zhuǎn)的操作;縮放會(huì)導(dǎo)致失真等。鑒于此,一種更有效的數(shù)據(jù)增強(qiáng)方式,即無(wú)監(jiān)督數(shù)據(jù)增強(qiáng)方式受到眾多科研工作者的關(guān)注,從沒(méi)有標(biāo)記的訓(xùn)練數(shù)據(jù)中推斷結(jié)論,產(chǎn)生新的高質(zhì)量樣本,為解決害蟲(chóng)訓(xùn)練樣本不足提供了新思路,其中最具代表性的為生成新數(shù)據(jù)和學(xué)習(xí)增強(qiáng)策略。Lu等[17]在進(jìn)行害蟲(chóng)識(shí)別時(shí),針對(duì)害蟲(chóng)圖像數(shù)據(jù)過(guò)少,提出了一種在圖像中合成蟲(chóng)害訓(xùn)練圖像并通過(guò)生成對(duì)抗網(wǎng)絡(luò)(GAN)增強(qiáng)蟲(chóng)害卷積神經(jīng)網(wǎng)絡(luò)(CNN)分類(lèi)器模型性能的方法,有效減少了工作量。Gandhi 等[18]使用生成對(duì)抗網(wǎng)絡(luò)擴(kuò)充數(shù)據(jù)集,并將擴(kuò)充的數(shù)據(jù)集饋送到訓(xùn)練的CNN模型中,該模型實(shí)現(xiàn)了92%的害蟲(chóng)分類(lèi)準(zhǔn)確率。糧蟲(chóng)圖片預(yù)處理比較如表2所示。

表2 糧蟲(chóng)圖片預(yù)處理

2 儲(chǔ)糧害蟲(chóng)目標(biāo)檢測(cè)算法研究

由于儲(chǔ)糧害蟲(chóng)為小目標(biāo),檢測(cè)時(shí)存在的問(wèn)題有:目標(biāo)尺寸過(guò)小,分辨率低,圖像模糊,可提取特征因素少;糧蟲(chóng)自身易聚集粘連,影響圖像識(shí)別效果;糧蟲(chóng)訓(xùn)練數(shù)據(jù)量較少,缺少大規(guī)模數(shù)據(jù)集的支持;糧蟲(chóng)在糧食表面等復(fù)雜環(huán)境,檢測(cè)易受干擾[25]等。因此要選擇合適的CNN 網(wǎng)絡(luò),才能更好地提取糧蟲(chóng)特征,提高模型的檢測(cè)精度。常用的骨干網(wǎng)絡(luò)有ResNet、GoogLeNet、VGGNet、DenseNet等[26-29],近年來(lái)學(xué)者不斷優(yōu)化網(wǎng)絡(luò)模型,改進(jìn)學(xué)習(xí)策略,出現(xiàn)了許多優(yōu)秀的網(wǎng)絡(luò)結(jié)構(gòu)。選取具有代表性的網(wǎng)絡(luò)進(jìn)行介紹(表3)。

表3 常用的卷積神經(jīng)網(wǎng)絡(luò)

目標(biāo)檢測(cè)算法主要分為兩類(lèi),基于區(qū)域建議的兩階段目標(biāo)檢測(cè)方法和基于回歸的單階段目標(biāo)檢測(cè)方法。最具代表性的兩階段目標(biāo)檢測(cè)算法主要是 RCNN 系列,單階段目標(biāo)檢測(cè)算法為YOLO系列,SSD系列等。無(wú)論是兩階段還是單階段目標(biāo)檢測(cè)算法,在糧蟲(chóng)小目標(biāo)檢測(cè)方面都存在著較大挑戰(zhàn),因此需要對(duì)檢測(cè)算法進(jìn)行優(yōu)化,提高檢測(cè)的準(zhǔn)確率。

2.1 Faster-RCNN目標(biāo)檢測(cè)算法優(yōu)化

RCNN系列網(wǎng)絡(luò)經(jīng)過(guò)多年發(fā)展,到Faster-RCNN時(shí)已經(jīng)形成了具體的兩階段檢測(cè)框架。Faster-RCNN結(jié)構(gòu)如圖 1所示。儲(chǔ)糧害蟲(chóng)圖像先通過(guò)主干網(wǎng)絡(luò)進(jìn)行特征提取,再將特征送入 RPN 獲得候選框;其次Feature map與提取的候選框進(jìn)行映射和ROI Pooling,不同候選框得到相同尺寸的特征層;最后再送入網(wǎng)絡(luò)進(jìn)行分類(lèi)和定位。

圖1 Faster-RCNN網(wǎng)絡(luò)模型結(jié)構(gòu)[62]

盡管Faster-RCNN性能較RCNN 系列網(wǎng)絡(luò)提升很多,但仍存在很多問(wèn)題:主干網(wǎng)絡(luò)不論使用VGGNet 還是ResNet ,其提取到的特征圖都是單層的,分辨率也比較小;區(qū)域生成網(wǎng)絡(luò)(RPN)生成的候選建議框與真實(shí)小目標(biāo)的定位之間存在偏差,造成漏檢[30]; Faster-RCNN 的原始ROI pooling 2次取整會(huì)降低準(zhǔn)確率;全連接層,參數(shù)量較大,計(jì)算耗費(fèi)時(shí)間等。因此Faster-RCNN 算法應(yīng)該從更好的CNN 特征,更精準(zhǔn)的RPN,更完善ROI 分類(lèi)和樣本后處理等方面進(jìn)行改進(jìn)。

沈馭風(fēng)[8]針對(duì)Faster-RCNN檢測(cè)糧蟲(chóng)時(shí)存在網(wǎng)絡(luò)訓(xùn)練較慢、耗費(fèi)顯存、準(zhǔn)確率較低的問(wèn)題,提出了一種改進(jìn)的 Inception 深度神經(jīng)網(wǎng)絡(luò),采用了Shortcut Connection 的方式,對(duì)小目標(biāo)更加敏感,同時(shí)使用 SVD 算法,精簡(jiǎn)了網(wǎng)絡(luò)模型。張銀松等[31]在Faster-RCNN的基礎(chǔ)上進(jìn)行改進(jìn),用深度殘差網(wǎng)絡(luò)(ResNet50)代替VGG16網(wǎng)絡(luò),Soft-NMS[32]算法代替?zhèn)鹘y(tǒng)的 NMS 算法,提高了模型識(shí)別和計(jì)數(shù)的準(zhǔn)確率。在張銀松[33]的研究中對(duì)模型進(jìn)行改進(jìn)時(shí),在 VGG16 網(wǎng)絡(luò)的基礎(chǔ)上引入 Top-Down 結(jié)構(gòu)進(jìn)行多層融合,使模型更好地檢測(cè)小目標(biāo),同時(shí)使用了 Soft-NMS算法,改進(jìn)后的模型識(shí)別精度較原來(lái)提高了 4.37%,但在速度上有所下降。

張?jiān)娪甑萚34]為解決糧蟲(chóng)檢測(cè)結(jié)果不精準(zhǔn)的問(wèn)題,提出了一種基于聚類(lèi)特征的區(qū)域提案網(wǎng)絡(luò),并采用多尺度的糧蟲(chóng)數(shù)據(jù)集進(jìn)行訓(xùn)練,優(yōu)化后的糧倉(cāng)害蟲(chóng)檢測(cè)模型能夠在糧倉(cāng)背景下檢測(cè)和識(shí)別糧蟲(chóng),并且獲得96.63%的mAP。Shi等[35]在Faster-RCNN的改進(jìn)模型上(R-FCN[36])繼續(xù)優(yōu)化,采用改進(jìn)的 DenseNet-121 + Soft-NMS,提高了檢測(cè)效率。李衡霞[37]利用 Faster-RCNN 檢測(cè)油菜蟲(chóng)害同樣存在準(zhǔn)確率低的問(wèn)題,將Conv3_3、Conv4_3 以及 Conv5_3 進(jìn)行多層特征融合,引入新的特征融合金字塔作為 RPN 的輸入,添加2組 32 × 32、64 × 64 錨點(diǎn)來(lái)增加錨框的數(shù)量,并再次引入難負(fù)樣本挖掘機(jī)制解決正負(fù)樣本失衡的問(wèn)題,提升了模型的檢測(cè)性能。

Jiao等[38]提出了一種AF-RCNN檢測(cè)模型,將無(wú)錨區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(AF-RCNN)和 Faster-RCNN進(jìn)行融合,選擇VGG 16 的Conv4_3和Conv5_3作為特征融合模塊,無(wú)錨區(qū)域建議網(wǎng)絡(luò)(AFRPN)以獲得害蟲(chóng)區(qū)域建議,改進(jìn)后的模型適用于精確和實(shí)時(shí)的智能害蟲(chóng)檢測(cè)。王露[20]利用 Faster-RCNN檢測(cè)糧蟲(chóng),通過(guò)增加上下文的金字塔池化 PPM模塊,有助于提升檢測(cè)性能,同時(shí)采用Focal loss損失函數(shù),使糧蟲(chóng)相似度高的問(wèn)題得到解決,對(duì)比未改進(jìn)的算法可發(fā)現(xiàn),改進(jìn)后的算法精度有了一定提升,同時(shí)避免了一些漏檢。

2.2 YOLO、SSD目標(biāo)檢測(cè)算法優(yōu)化

YOLO算法模型如圖2所示。它的核心思想是將整張圖輸入網(wǎng)絡(luò)中進(jìn)行特征提取,直接在輸出層回歸邊界框的類(lèi)別,檢測(cè)速度比Faster-RCNN提升很多。另外,因?yàn)閅OLO沒(méi)有進(jìn)行區(qū)域采樣,所以對(duì)全局信息有較好的表現(xiàn)。憑借高效且實(shí)用的檢測(cè)機(jī)制和網(wǎng)絡(luò)結(jié)構(gòu),YOLO算法在很多工程中應(yīng)用廣泛。

圖2 YOLO算法模型[63]

YOLO系列算法存在的問(wèn)題也不容忽視:損失函數(shù)設(shè)置不恰當(dāng),導(dǎo)致物體定位精準(zhǔn)性較差,影響檢測(cè)效果;框架設(shè)計(jì)對(duì)Bounding Boxes強(qiáng)加了空間約束,導(dǎo)致小目標(biāo)或鄰近物體檢測(cè)效果較差;在同一類(lèi)物體出現(xiàn)的新的不常見(jiàn)長(zhǎng)寬比泛化能力偏弱;YOLO算法召回率較低等。

SSD是目前的主流檢測(cè)框架之一,算法模型如圖3所示。它的設(shè)計(jì)思想是特征分層提取,并依此進(jìn)行邊框回歸和分類(lèi)。SSD同時(shí)結(jié)合了Faster-RCNN與YOLO的設(shè)計(jì)思想:借鑒YOLO的回歸模式,直接回歸出物體的類(lèi)別和位置[39],同時(shí)參考Faster-RCNN中的錨框設(shè)計(jì)機(jī)制[40],綜合性能有較大的提升。

圖3 SSD網(wǎng)絡(luò)模型結(jié)構(gòu)[64]

圖4 面向移動(dòng)終端的農(nóng)業(yè)害蟲(chóng)智能識(shí)別系統(tǒng)設(shè)計(jì)圖[57]

SSD目標(biāo)檢測(cè)算法優(yōu)勢(shì)明顯,缺點(diǎn)也顯而易見(jiàn):該算法損失函數(shù)的設(shè)計(jì)未考慮正負(fù)樣本不均衡所帶來(lái)的問(wèn)題[41],導(dǎo)致召回率較低,對(duì)小尺寸的目標(biāo)識(shí)別比較差;網(wǎng)絡(luò)特征學(xué)習(xí)能力不足,導(dǎo)致小目標(biāo)檢測(cè)精度不高;同時(shí)存在需要人工設(shè)置先驗(yàn)框的最大、最小值和寬高比,導(dǎo)致調(diào)試過(guò)程比較費(fèi)力等。

因此,單階段目標(biāo)檢測(cè)算法的優(yōu)化方向可以從損失函數(shù)loss(focal_loss、IoU_loss等)和網(wǎng)絡(luò)結(jié)構(gòu)(backbone、FPN、Attention等)2個(gè)大方向進(jìn)行優(yōu)化,還可以考慮anchor設(shè)置和分配的問(wèn)題,也是單階段目標(biāo)檢測(cè)算法能大幅度提升和改進(jìn)漲點(diǎn)的方向。

呂宗旺等[42]基于YOLOv3對(duì)算法進(jìn)行改進(jìn),利用 GIoU算法優(yōu)化損失函數(shù),并采用K-means算法對(duì)自制數(shù)據(jù)集進(jìn)行聚類(lèi),改進(jìn)后的模型檢測(cè)效果有很大的提升。孫妍[43]構(gòu)建了P-YOLOv4( Pets-YOLOv4 ) 算法模型,添加卷積塊注意力模塊(CBAM)[44]和空間金字塔池化( SPP ),專(zhuān)注對(duì)害蟲(chóng)特征的學(xué)習(xí),結(jié)合 Mish 激活函數(shù),并優(yōu)化先驗(yàn)框,mAP提升了5.41%。孫海燕等[4]設(shè)計(jì)了輕量化YOLOv4模型,用輕量級(jí)網(wǎng)絡(luò)(MobileNet)[45-47]替代主干網(wǎng)絡(luò),SPP模塊和PANet網(wǎng)絡(luò)相結(jié)合,然后添加CBAM注意力模型進(jìn)行特征提取融合,并再次引入Focal Loss優(yōu)化損失函數(shù),提升了模型的綜合性能。陳道懷等[48]利用YOLOv4算法進(jìn)行林業(yè)害蟲(chóng)檢測(cè),采用K-means 算法得到合適的錨框,然后基于DIoU- NMS(Distance-IoU-NMS)算法專(zhuān)注對(duì)害蟲(chóng)的計(jì)數(shù),其次在路徑聚合網(wǎng)絡(luò)(PANet) 結(jié)構(gòu)上增加特征融合和104×104層級(jí)特征檢測(cè)圖來(lái)增強(qiáng)對(duì)小目標(biāo)害蟲(chóng)的檢測(cè)效果,最后調(diào)整模型中的尺度特征圖組合,提升了檢測(cè)效率并精簡(jiǎn)了模型。Pang等[49]構(gòu)建F-D-YOLOv4-PEST檢測(cè)網(wǎng)絡(luò),引入遷移學(xué)習(xí)提高模型的性能,Mish函數(shù)用于特征提取,同時(shí)使用K-means 算法,在此基礎(chǔ)上使DIoU-NMS 算法替代 NMS, 將訓(xùn)練方法升級(jí)為2次微調(diào)訓(xùn)練,并增強(qiáng)訓(xùn)練數(shù)據(jù),改進(jìn)后的F-D-YOLOv4-PEST的mAP為92.86%,可以滿(mǎn)足實(shí)時(shí)檢測(cè)要求。

鄧壯來(lái)等[50]為了對(duì)糧蟲(chóng)進(jìn)行有效檢測(cè),設(shè)計(jì)了一種基于SSD算法的檢測(cè)模型,修改 VGG16網(wǎng)絡(luò),將網(wǎng)絡(luò)分支改為Conv4_3、Conv5_3、Conv6_2、Conv7_2、Conv8_2、Conv9_2 ,對(duì)模型結(jié)構(gòu)進(jìn)行輕量化,同時(shí)對(duì)損失函數(shù)進(jìn)行優(yōu)化,平衡了正負(fù)樣本,提高了訓(xùn)練效率。鐘良建[51]構(gòu)建KF-SSD算法,在網(wǎng)絡(luò)結(jié)構(gòu)上僅保留相對(duì)尺度在目標(biāo)范圍內(nèi)的預(yù)測(cè)特征圖38×38,19×19,10×10,設(shè)計(jì)特征融合結(jié)構(gòu),充分提取特征;先驗(yàn)框設(shè)計(jì)上采用兩種距離度量的 K-means 算法,設(shè)計(jì)適合當(dāng)前檢測(cè)目標(biāo)的先驗(yàn)框;后處理部分使用Soft-NMS算法取代 NMS 算法,有效改善了漏檢誤檢的情況。胡可柏[52]選取ResNet-34 作為骨干網(wǎng)絡(luò),并提出了一個(gè)循環(huán)注意力模塊來(lái)替換ResNet-34中每個(gè)階段的最后一個(gè)殘差模塊,提取了更加豐富的上下文信息。Lü等[53]提出了新的特征融合SSD網(wǎng)絡(luò)模型,使用自頂向下模塊融合Conv4和Conv5的輸出特性,并刪除不適用于小對(duì)象檢測(cè)的block11,同時(shí)使用 K-means 聚類(lèi)算法,提高了糧食害蟲(chóng)小目標(biāo)檢測(cè)的性能。

Faster-RCNN、YOLO、SSD算法優(yōu)化比較如表4所示。無(wú)論是Faster-RCNN還是YOLO,SSD原始的目標(biāo)檢測(cè)算法,檢測(cè)小目標(biāo)儲(chǔ)糧害蟲(chóng)時(shí)都會(huì)存在檢測(cè)效果較差的問(wèn)題,要提高檢測(cè)性能,都需要進(jìn)行一定的優(yōu)化。分析各個(gè)目標(biāo)檢測(cè)算法的網(wǎng)絡(luò)結(jié)構(gòu),都可以從主干網(wǎng)絡(luò)(backbone)、特征金字塔網(wǎng)絡(luò)(FPN)[54]、注意力機(jī)制(Attention)、損失函數(shù)(loss)等方向進(jìn)行改進(jìn),Faster-RCNN和SSD具有錨框設(shè)計(jì)機(jī)制需要考慮anchor設(shè)置和分配的問(wèn)題,Faster-RCNN的RPN和ROI也是可以?xún)?yōu)化的方向。優(yōu)化后基于Faster-RCNN的檢測(cè)模型算法準(zhǔn)確率較高,但是檢測(cè)速度有所下降,基于YOLO和SSD的目標(biāo)檢測(cè)算法模型綜合性能都有較大的提升,能夠進(jìn)行實(shí)時(shí)檢測(cè)。

表4 Faster-RCNN、YOLO 、SSD算法優(yōu)化比較

3 儲(chǔ)糧害蟲(chóng)檢測(cè)結(jié)果應(yīng)用研究進(jìn)展

及時(shí)準(zhǔn)確地識(shí)別儲(chǔ)糧害蟲(chóng)的最終目的就是對(duì)害蟲(chóng)進(jìn)行智能化監(jiān)測(cè)進(jìn)而準(zhǔn)確預(yù)警,做到科學(xué)防治,安全儲(chǔ)糧。研究人員基于互聯(lián)網(wǎng)平臺(tái)開(kāi)發(fā)害蟲(chóng)管理網(wǎng)站、手機(jī)App、微信小程序、公眾號(hào)等相關(guān)系統(tǒng),用戶(hù)可以通過(guò)電腦,手機(jī)應(yīng)用程序等多終端實(shí)現(xiàn)害蟲(chóng)信息的遠(yuǎn)程瀏覽查詢(xún),減輕了農(nóng)業(yè)相關(guān)人員的工作量,具有較高的實(shí)用性。

Zhong等[55]針對(duì)人工識(shí)別和計(jì)數(shù)飛行昆蟲(chóng)效率低下的問(wèn)題,設(shè)計(jì)完成了一種基于視覺(jué)的飛行昆蟲(chóng)計(jì)數(shù)和分類(lèi)系統(tǒng),將YOLO深度學(xué)習(xí)目標(biāo)檢測(cè)和支持向量機(jī)分類(lèi)器相結(jié)合,并將測(cè)試結(jié)果發(fā)送到農(nóng)業(yè)監(jiān)測(cè)服務(wù)平臺(tái),提供了高效準(zhǔn)確的識(shí)別數(shù)據(jù),為農(nóng)業(yè)工作者提供合適的防治措施。

羅強(qiáng)等[56]等提出了糧庫(kù)蟲(chóng)害實(shí)時(shí)監(jiān)測(cè)預(yù)警系統(tǒng) (RMPS),利用模型將檢測(cè)到的糧蟲(chóng)種類(lèi)和概率以Web服務(wù)的形式發(fā)布給手機(jī)客戶(hù)端, 達(dá)到實(shí)時(shí)監(jiān)測(cè)預(yù)警的目的。邵澤中等[57]設(shè)計(jì)了一個(gè)面向移動(dòng)終端的農(nóng)業(yè)害蟲(chóng)智能識(shí)別系統(tǒng),方便農(nóng)民或基層植保人員在系統(tǒng)的 Android 移動(dòng)終端(手機(jī)或 PAD)拍攝害蟲(chóng)圖像,實(shí)現(xiàn)對(duì)害蟲(chóng)的自動(dòng)識(shí)別,除此之外,系統(tǒng)還提供害蟲(chóng)地圖可視化和專(zhuān)家鑒定服務(wù),為防治工作提供了便利。害蟲(chóng)智能識(shí)別系統(tǒng)設(shè)計(jì)如圖 4 所示。

Yun 等[58]開(kāi)發(fā)了一種基于深度學(xué)習(xí)的害蟲(chóng)監(jiān)測(cè)系統(tǒng),同時(shí)得到智能手機(jī)應(yīng)用程序的幫助,有效的對(duì)害蟲(chóng)密度進(jìn)行自動(dòng)測(cè)量。鄧壯來(lái)[59]設(shè)計(jì)并實(shí)現(xiàn)了糧倉(cāng)害蟲(chóng)監(jiān)測(cè)系統(tǒng),對(duì)害蟲(chóng)進(jìn)行自動(dòng)檢測(cè),計(jì)數(shù)和預(yù)警等,檢測(cè)平均mAP 值達(dá)到82.11%,平均耗時(shí)3.53 s,系統(tǒng)整體性能較好。Chen 等[60]開(kāi)發(fā)了一種基于云平臺(tái)的智能害蟲(chóng)識(shí)別系統(tǒng),該系統(tǒng)采用物聯(lián)網(wǎng)技術(shù),通過(guò)Wi-Fi或4G網(wǎng)絡(luò)將訓(xùn)練后的模型上傳到云存儲(chǔ)平臺(tái),該平臺(tái)與Web界面和智能手機(jī)應(yīng)用程序相結(jié)合進(jìn)行實(shí)時(shí)檢測(cè),及時(shí)準(zhǔn)確地給用戶(hù)提供了幫助。

基于圖像處理的害蟲(chóng)監(jiān)測(cè)系統(tǒng)能夠?qū)οx(chóng)進(jìn)行智能測(cè)報(bào),提高了害蟲(chóng)監(jiān)測(cè)的效率,具有廣闊的應(yīng)用空間,但是也存在監(jiān)測(cè)時(shí)只能檢測(cè)到糧食表面的害蟲(chóng),而無(wú)法檢測(cè)到內(nèi)部害蟲(chóng)的問(wèn)題,未來(lái)智能化害蟲(chóng)監(jiān)測(cè)系統(tǒng)可重點(diǎn)從幾點(diǎn)考慮:監(jiān)測(cè)環(huán)境多變,如濕度、溫度、光照、二氧化碳濃度、微生物、儲(chǔ)藏物種類(lèi)等因素都會(huì)影響害蟲(chóng)檢測(cè)的準(zhǔn)確度,需建立害蟲(chóng)發(fā)生的多場(chǎng)耦合模型,根據(jù)耦合規(guī)律和模型,建立害蟲(chóng)的預(yù)測(cè)預(yù)警模型,基于機(jī)理驅(qū)動(dòng)和數(shù)據(jù)驅(qū)動(dòng)的人工智能識(shí)別系統(tǒng),以支撐檢測(cè)、預(yù)警、防治這一完整鏈條,做到及時(shí)發(fā)現(xiàn),合理防治[61];監(jiān)測(cè)系統(tǒng)是在理想實(shí)驗(yàn)室條件下設(shè)計(jì)完成的,是否能夠代表真實(shí)糧倉(cāng)的檢測(cè)結(jié)果,還需要進(jìn)一步驗(yàn)證完善;可進(jìn)一步擴(kuò)大害蟲(chóng)識(shí)別的種類(lèi),進(jìn)一步提高害蟲(chóng)監(jiān)測(cè)普適性。

4 總結(jié)與展望

相對(duì)于傳統(tǒng)的儲(chǔ)糧害蟲(chóng)檢測(cè)方法,基于深度學(xué)習(xí)的方法可自動(dòng)學(xué)習(xí)糧蟲(chóng)特征并快速識(shí)別分類(lèi),具有廣闊的發(fā)展前景。然而,在背景、光照等外界因素影響較大時(shí),存在難以獲得優(yōu)越的分類(lèi)性能,同時(shí)存在糧蟲(chóng)小目標(biāo)檢測(cè)效果較差的問(wèn)題。儲(chǔ)糧害蟲(chóng)檢測(cè)從學(xué)術(shù)研究向真實(shí)場(chǎng)景的農(nóng)業(yè)應(yīng)用過(guò)渡還需繼續(xù)研究,未來(lái)可以從幾個(gè)方面進(jìn)行優(yōu)化:豐富的儲(chǔ)糧害蟲(chóng)種類(lèi)、真實(shí)的背景、以及大量的害蟲(chóng)圖片數(shù)量是機(jī)器訓(xùn)練的基礎(chǔ);高效、快速的儲(chǔ)糧害蟲(chóng)圖像預(yù)處理技術(shù)是提升檢測(cè)精度的重要基礎(chǔ);可調(diào)整目標(biāo)檢測(cè)算法的主干網(wǎng)絡(luò)、特征金字塔函數(shù)、損失函數(shù)、網(wǎng)絡(luò)參數(shù)等使深度學(xué)習(xí)能更好的應(yīng)用到糧蟲(chóng)小目標(biāo)檢測(cè);可使用輕量化模型來(lái)解決深度學(xué)習(xí)模型復(fù)雜、計(jì)算量較大、進(jìn)行特征提取時(shí)耗費(fèi)大量硬件資源等問(wèn)題;便捷實(shí)用的糧蟲(chóng)實(shí)時(shí)監(jiān)測(cè)預(yù)警系統(tǒng)、識(shí)別網(wǎng)站等可以更好地為農(nóng)業(yè)相關(guān)人員服務(wù),保障儲(chǔ)糧安全。