喬珠峰 趙秋菊 郭建鑫 陳會(huì)娜 平陽(yáng) 趙繼春
摘要:為實(shí)現(xiàn)低成本、便捷、高效的草莓病害識(shí)別與檢測(cè),提升草莓種植與生產(chǎn)效益,在YOLOv5模型基礎(chǔ)上,引入高效通道注意力(Efficient Channel Attention,ECA)機(jī)制,研究構(gòu)建一種草莓病害識(shí)別模型,應(yīng)用嵌入式與軟件工程技術(shù)研發(fā)草莓病害識(shí)別終端設(shè)備。終端設(shè)備應(yīng)用系統(tǒng)由圖像采集、圖像檢測(cè)、檢測(cè)結(jié)果展示和數(shù)據(jù)傳輸?shù)饶K組成,實(shí)現(xiàn)草莓圖像實(shí)時(shí)采集和病害實(shí)時(shí)識(shí)別檢測(cè)等功能?;诓葺『z測(cè)數(shù)據(jù)集對(duì)系統(tǒng)開(kāi)展測(cè)試,結(jié)果表明,該系統(tǒng)可以有效識(shí)別草莓白粉菌果病、角斑病、葉斑病等病害。與YOLOv5相比,AP0.5∶0.95、AP0.5、AP0.75、APM、APL都有比較大幅度提升。系統(tǒng)具有高效、便捷、實(shí)時(shí)等優(yōu)點(diǎn),可廣泛應(yīng)用于草莓生產(chǎn)領(lǐng)域,從而有效提升草莓病害識(shí)別與檢測(cè)效率。
關(guān)鍵詞:草莓病害;YOLOv5;圖像檢測(cè);嵌入式;模型識(shí)別
中圖分類號(hào):S24? 文獻(xiàn)標(biāo)識(shí)碼:A? 文章編號(hào):2095-5553 (2024) 03-0205-07
Design of strawberry disease intelligent identification terminal based on improved YOLOv5
Qiao Zhufeng1, 2, Zhao Qiuju1, 2, Guo Jianxin1, 2, Chen Huina1, 2, Ping Yang1, 2, Zhao Jichun1, 2
(1. Beijing Academy of Agricultural and Forestry Sciences, Beijing, 100097, China;2. Research Center of Beijing Engineering Technology for Rural Remote Information Services, Beijing, 100097, China)
Abstract:
In order to achieve low-cost, convenient, and efficient identification and detection of strawberry diseases, and improve the efficiency of strawberry planting and production, based on YOLOv5 model, an efficient channel attention (ECA) mechanism was introduced to study and construct a strawberry disease recognition model. The embedded and software engineering technology was applied to develop and implement a strawberry disease recognition terminal device. The system consisted of modules such as image acquisition, image detection, display of detection results, and data transmission. The system realized real-time collection of strawberry images and disease identification and checking functions. The system was tested using Kaggles strawberry disease detection dataset, and the experimental results showed that the system could effectively identify diseases such as strawberry powdery mildew fruit, and strawberry corner spot, and leaf spot. And compared with YOLOv5, there is a significant improvement in AP0.5∶0.95、AP0.5、AP0.75、APM、APL. The system has the advantages of efficiency, convenience, and real-time online, which can be widely applied in the field of strawberry production, thereby effectively improving the efficiency of strawberry disease identification and detection.
Keywords:strawberry diseases; YOLOv5; image detection; embedded; model identification
0 引言
草莓種植生產(chǎn)中容易受到各種病害的影響,導(dǎo)致草莓果實(shí)品質(zhì)劣化和草莓產(chǎn)量的降低??焖?、準(zhǔn)確識(shí)別草莓病害,及時(shí)采取相關(guān)防治措施,可有效保障草莓的正常生長(zhǎng)。傳統(tǒng)病害防治方法主要依靠草莓研究專家肉眼觀察和監(jiān)測(cè),這需要專業(yè)人員一定時(shí)間內(nèi)對(duì)固定草莓種植土地進(jìn)行持續(xù)監(jiān)測(cè),人力資源耗費(fèi)較大,增加草莓種植成本。同時(shí),病害識(shí)別的時(shí)效性得不到保障,容易錯(cuò)過(guò)病害治理的最佳時(shí)機(jī)[1]。
隨著人工智能技術(shù)發(fā)展,在國(guó)內(nèi)外已有大量基于深度學(xué)習(xí)計(jì)算機(jī)視覺(jué)的病害自動(dòng)識(shí)別相關(guān)研究模型,如AlexNet[2]、VGGNet[3]、GoogLeNet[4]、ResNet[5]、DenseNet[6]、Faster R-CNN[7]等,在病害圖像識(shí)別上取得了較好的研究進(jìn)展。但是這些模型的參數(shù)較多、計(jì)算復(fù)雜度高,需要較多的計(jì)算和存儲(chǔ)資源,限制了模型在資源有限的嵌入式設(shè)備中的應(yīng)用。YOLO系列模型是將目標(biāo)檢測(cè)問(wèn)題轉(zhuǎn)換為回歸問(wèn)題,實(shí)現(xiàn)端到端的圖像目標(biāo)訓(xùn)練和檢測(cè)。模型本身具備良好的速度-精度的平衡,當(dāng)前在目標(biāo)檢測(cè)領(lǐng)域應(yīng)用效果比較理想。
在農(nóng)業(yè)圖像識(shí)別模型研究方面,研究者基于YOLOv5目標(biāo)檢測(cè)網(wǎng)絡(luò)方法開(kāi)展了探索性研究工作,如牛沖[8]提出改進(jìn)的分水嶺圖像分割和基于紋理統(tǒng)計(jì)特征的支持向量機(jī)方法,實(shí)現(xiàn)對(duì)草莓的病害特征提取,有效緩解綠色葉片重疊導(dǎo)致目標(biāo)與背景不易分割問(wèn)題。宋懷波等[9]構(gòu)建一種融合高效通道注意力(Efficient Channel Attention,ECA)機(jī)制的蘋果幼果檢測(cè)模型,模型針對(duì)檢測(cè)場(chǎng)景圖像不清晰問(wèn)題具有較好的魯棒性,模型的檢測(cè)精度較高且識(shí)別速度較快。郭輝等[10]提出一種在YOLOv5主干網(wǎng)絡(luò)和頸部網(wǎng)絡(luò)插入卷積塊的方法,檢測(cè)模型具有較好的準(zhǔn)確率。
YOLOv5具有模型尺寸相對(duì)較小、部署成本低、靈活性高、檢測(cè)速度快等優(yōu)點(diǎn)[1012],適合在移動(dòng)終端應(yīng)用。ECA注意力機(jī)制通過(guò)采用一維卷積方法高效實(shí)現(xiàn)局部跨通道信息交互,提取通道間的依賴關(guān)系[12]。避免降維,同時(shí)可有效捕獲跨通道交互信息,具有對(duì)網(wǎng)絡(luò)處理速度影響小的優(yōu)勢(shì),適合在嵌入式終端應(yīng)用。
鑒于YOLOv5網(wǎng)絡(luò)模型和ECA注意力機(jī)制在識(shí)別速度與部署規(guī)模上的優(yōu)勢(shì),本文融合兩種方法開(kāi)展草莓病蟲(chóng)害識(shí)別模型的研究。通過(guò)對(duì)圖像中草莓葉片和果實(shí)的目標(biāo)特征提取,構(gòu)建草莓果實(shí)和葉片的圖像特征模型,并實(shí)現(xiàn)草莓病害識(shí)別。以嵌入式開(kāi)發(fā)技術(shù)為基礎(chǔ),研發(fā)設(shè)計(jì)便攜式低功耗的草莓病害檢測(cè)終端設(shè)備,實(shí)現(xiàn)草莓圖像實(shí)時(shí)采集和草莓病害實(shí)時(shí)識(shí)別,節(jié)約草莓病害的檢測(cè)成本,提升檢測(cè)效率。
1 架構(gòu)設(shè)計(jì)
管理系統(tǒng)和模型訓(xùn)練模塊采用服務(wù)器軟件實(shí)現(xiàn),圖像采集和檢測(cè)模塊采用嵌入式技術(shù)實(shí)現(xiàn)。在模型訓(xùn)練設(shè)計(jì)方面,系統(tǒng)采用YOLOv5、自注意力機(jī)制和transform算法,通過(guò)標(biāo)注好的圖像樣本訓(xùn)練模型,再經(jīng)過(guò)量化評(píng)估生成C語(yǔ)言代碼代入嵌入式設(shè)備。嵌入式設(shè)備硬件采用低功耗設(shè)計(jì)[13],集成了基于硬件的卷積神經(jīng)網(wǎng)絡(luò)加速器,保障本系統(tǒng)具有硬件執(zhí)行神經(jīng)網(wǎng)絡(luò)的能力;配置了攝像頭、顯示屏、WIFI、存儲(chǔ)、電源、USB接口等模塊。嵌入式軟件主要是對(duì)攝像頭采集的圖像數(shù)據(jù)進(jìn)行實(shí)時(shí)解碼,調(diào)用訓(xùn)練好的模型進(jìn)行特征提取、圖像檢測(cè),從而識(shí)別草莓病害,保存和顯示圖像檢測(cè)結(jié)果。系統(tǒng)總體架構(gòu)如圖1所示。
2 硬件設(shè)計(jì)
終端設(shè)備采用低功耗設(shè)計(jì)方式,以雙核主控CPU為設(shè)計(jì)核心,提供了以超低功耗執(zhí)行神經(jīng)網(wǎng)絡(luò)的能力,集成的神經(jīng)網(wǎng)絡(luò)加速器可以執(zhí)行AI推理。終端設(shè)備包括主控模塊、攝像頭模塊、存儲(chǔ)模塊、WIFI、USB接口、數(shù)據(jù)存儲(chǔ)及電源等。
主控模塊采用Arm Cortex M4F,主頻為1.0 GHz,集成了神經(jīng)網(wǎng)絡(luò)加速器,可編程輸入圖像尺寸支持高達(dá)1 024像素×1 024像素,可編程網(wǎng)絡(luò)深度支持多達(dá)64層,可編程網(wǎng)絡(luò)通道寬度支持多達(dá)1 024個(gè)通道,安全性方面支持安全啟動(dòng)和AES 128/192/256硬件加速引擎。
存儲(chǔ)模塊采用DDR內(nèi)存、flash閃存、外接存儲(chǔ)組成三級(jí)存儲(chǔ)。內(nèi)存采用D2568ECMDPGJD芯片,總?cè)萘? GB,用于嵌入式系統(tǒng)運(yùn)行。flash閃存采用MT29F4G08ABADAWP芯片,總?cè)萘? GB,用于圖像識(shí)別軟件運(yùn)行。外接TF存儲(chǔ)卡總?cè)萘?4 GB,用于圖像存儲(chǔ)。TF卡接口硬件原理圖如圖2所示。
攝像頭模塊采用CMOS VGA圖像傳感器,具備隨機(jī)窗口讀取能力。系統(tǒng)硬件結(jié)構(gòu)簡(jiǎn)單,靈敏度高、噪聲低、成本低、可靠性高。
3 軟件設(shè)計(jì)
本系統(tǒng)軟件設(shè)計(jì)首先是收集草莓病害圖像素材并標(biāo)注素材圖像類別,然后采用YOLOv5、自注意力機(jī)制和transform等算法訓(xùn)練草莓病害識(shí)別模型;對(duì)訓(xùn)練好的模型進(jìn)行模型量化,提升實(shí)際應(yīng)用時(shí)模型的識(shí)別精度;再對(duì)模型進(jìn)行評(píng)估,檢驗(yàn)量化后的模型精度是否有丟失以及丟失多少;評(píng)估后模型識(shí)別精度在可接受范圍之內(nèi),對(duì)模型進(jìn)行轉(zhuǎn)換,生成嵌入式工程代碼;部署模型到嵌入式終端設(shè)備。
模型部署完成后,編寫攝像頭代碼以及TFT-LCD顯示等相關(guān)代碼。攝像頭實(shí)時(shí)采集環(huán)境圖像,然后使用圖像檢測(cè)模型計(jì)算,計(jì)算出采集的草莓病害圖像與事先訓(xùn)練的各種類別的草莓病害圖像的相似度,識(shí)別出相似度最高的草莓病害類別,顯示在TFT-LCD顯示屏上。軟件架構(gòu)圖如圖3所示。
3.1 YOLOv5模型
YOLOv5模型結(jié)構(gòu)[14]分為輸入端、特征提取層、特征融合層和預(yù)測(cè)輸出層組成。實(shí)際應(yīng)用中草莓病害圖像的大小、像素、亮度等不能滿足統(tǒng)一的標(biāo)準(zhǔn),模型在輸入端對(duì)輸入圖像進(jìn)行數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框、自適應(yīng)圖片縮放等處理。數(shù)據(jù)增強(qiáng)是對(duì)草莓病害圖像隨機(jī)增減亮度、對(duì)比度、飽和度、色調(diào)和隨機(jī)的縮放、裁剪、拼接,達(dá)到豐富了數(shù)據(jù)集和減小GPU負(fù)荷效果,流程如圖4所示。自適應(yīng)錨框能根據(jù)草莓圖像目標(biāo)標(biāo)簽自動(dòng)學(xué)習(xí)調(diào)整錨框尺寸,本文采用K均值聚類學(xué)習(xí)算法對(duì)自定義數(shù)據(jù)集分析獲得自適應(yīng)錨框。自適應(yīng)圖片縮放能方便地訓(xùn)練處理各種大小草莓圖像。
特征提取層主要實(shí)現(xiàn)草莓病害圖像特征提取,將提取到的草莓圖像信息提供給后面的網(wǎng)絡(luò)運(yùn)算。首先將草莓圖像的多個(gè)切片Concat起來(lái),然后順序送入CBS模塊和CSP1_X模塊中處理。CSP1_X模塊由CBS模塊、Resunit模塊、卷積層以及Concat組成。
特征融合層是連接特征提取層和預(yù)測(cè)輸出層的部分,可使網(wǎng)絡(luò)更好地利用特征提取層提取到的特征。主要采用特征金字塔(Feature Pyramid Networks,F(xiàn)PN)與路徑聚合網(wǎng)絡(luò)(Path Aggregation Network,PAN)結(jié)構(gòu),F(xiàn)PN采用的是自頂向下傳達(dá)強(qiáng)語(yǔ)義特征,PAN則采用的是自底向上傳達(dá)定位特征,二者融合實(shí)現(xiàn)提升檢測(cè)的性能。
預(yù)測(cè)輸出層利用提取到草莓病害圖像的特征預(yù)測(cè)草莓病害并輸出草莓病害分類結(jié)果信息。主要采用CIoU(Complete Intersection over Union)損失函數(shù)作為邊界框的損失函數(shù)LOSSCIoU,計(jì)算如式(1)所示。在目標(biāo)檢測(cè)后處理過(guò)程中,使用非極大值抑制(Non Maximum Suppression,NMS)來(lái)對(duì)多目標(biāo)框篩選,得出局部最大值,增強(qiáng)多目標(biāo)和遮擋目標(biāo)的檢測(cè)能力。
LOSSCIoU=S(B,Bgt)+D(B,Bgt)+V(B,Bgt)(1)
式中:S——預(yù)測(cè)框面積與真實(shí)框面積的交并比損失;D——預(yù)測(cè)框與真實(shí)框的中心點(diǎn)之間距離與最小閉包趨于的對(duì)角線距離的比值;V——用來(lái)度量長(zhǎng)寬比的相似性;B——預(yù)測(cè)框;Bgt——真實(shí)(Ground truth)框。
3.2 有效通道注意力模型
為合理利用有限的草莓病害圖像信息處理資源,集中關(guān)注圖像的特定部分,本文引入了有效的通道注意力模型(Efficient Channel Attention,ECA)模型[15],ECA是一種不降維的局部跨信道交互策略,采用自適應(yīng)一維卷積核。該策略使用一維卷積獲得不同通道之間的信息,并避免在學(xué)習(xí)通道注意力信息時(shí),縮減通道維度;具有只增加少量參數(shù),就可獲得比較明顯的性能增益作用。ECA模型結(jié)構(gòu)圖如圖5所示。
圖5中H為圖片高度,W為圖片寬度,C為圖像通道數(shù)。ECA首先通過(guò)全局平均池化(GAP)壓縮草莓病害圖像,將圖像每個(gè)通道的特征圖進(jìn)行平均池化,得到一個(gè)全局的特征向量,用來(lái)表示整張草莓病害圖像的上下文信息。獲得圖像聚合特征;再通過(guò)一維的大小為K的卷積核對(duì)全局特征向量進(jìn)行一維卷積操作,實(shí)現(xiàn)跨通道信息覆蓋,以學(xué)習(xí)到通道之間的關(guān)聯(lián)性。其中K由式(2)計(jì)算得到;再經(jīng)過(guò)Sigmoid激活函數(shù)得到圖像每個(gè)通道的權(quán)重系數(shù)。這些權(quán)重系數(shù)對(duì)每個(gè)通道的特征圖進(jìn)行加權(quán),以提高模型對(duì)草莓病害圖像中細(xì)節(jié)信息的提取能力;將圖像每個(gè)通道權(quán)重與未壓縮原始每個(gè)通道的特征圖對(duì)應(yīng)元素相乘,得到最終輸出特征圖。
K=φ(C)=log2Cγ+bγodd(2)
式中:todd——距離t最近的奇數(shù);C——圖像通道數(shù);γ、b——固定常數(shù),γ=2,b=1。
3.3 改進(jìn)YOLOv5檢測(cè)模型
本文在YOLOv5模型網(wǎng)絡(luò)的特征提取階段三次引入注意力機(jī)制ECA模塊[16, 17],構(gòu)建了改進(jìn)YOLOv5模型YOLOv5-ECA,模型的總體結(jié)構(gòu)如圖6所示。
其中,CBS模塊由一個(gè)卷積層Conv,一個(gè)Batch normalization層和一個(gè)Silu激活函數(shù)層組成;Resunit模塊是殘差網(wǎng)絡(luò)結(jié)構(gòu);CSP1_X模塊由CBL模塊、Resunit模塊以及卷積層、Concat組成;CSP2_X模塊由卷積層和X個(gè)Resunit模塊Concat組成;SPPF模塊采用1×1、5×5、9×9和13×13最大池化方式進(jìn)行多尺度特征融合。
3.4 評(píng)價(jià)指標(biāo)
1) ?模型準(zhǔn)確率。預(yù)測(cè)正確的樣本除以所有樣本所得百分比,表示模型預(yù)測(cè)正確的樣本所占比例[18]。具體定義如式(3)所示。
accuracy=TPTP+FP(3)
式中:accuracy——準(zhǔn)確率;TP——指正確預(yù)測(cè)數(shù);FP——指錯(cuò)誤預(yù)測(cè)數(shù)。
2) ?多類交叉熵?fù)p失。目標(biāo)檢測(cè)屬于一個(gè)多分類問(wèn)題,檢測(cè)模型采用多類交叉熵?fù)p失指標(biāo)計(jì)算損失[19]。假設(shè)預(yù)測(cè)目標(biāo)總共有n個(gè)類別,第一個(gè)樣本的真實(shí)類別為yi=(yi1,yi2,…,yin),預(yù)測(cè)值為yi′=(yi1′,yi2′,…yin′)。具體定義如式(4)所示。
crossentropy(y,y′)=-1m∑mi=1∑nj=1yij′logyij(4)
式中:m——樣本的數(shù)量;n——類別的數(shù)量。
3.5 嵌入式軟件設(shè)計(jì)
嵌入式軟件系統(tǒng)主要由控制模塊、拍照模塊、圖像檢測(cè)模塊三部分組成。實(shí)現(xiàn)了拍照、圖像存儲(chǔ)、圖像檢測(cè)和檢測(cè)結(jié)果展示等主要功能,其中圖像檢測(cè)由基于YOLOv5訓(xùn)練的圖像檢測(cè)模型實(shí)現(xiàn),該模塊已經(jīng)部署到嵌入式終端,軟件流程如圖7所示。
草莓病害識(shí)別軟件主要包括3個(gè)步驟:(1)草莓病害圖像采集和預(yù)處理。通過(guò)攝像頭采集草莓病害圖像。為滿足YOLOv5模型的輸入要求,將草莓病害圖像的尺寸調(diào)整為419×419,再將圖像分割成為3個(gè)不同尺度的網(wǎng)格狀。(2)草莓病害目標(biāo)定位,即判斷網(wǎng)格是否包含草莓病害目標(biāo)。先判斷每個(gè)網(wǎng)格中是否存在草莓病害目標(biāo)的中心點(diǎn)。如果存在,則進(jìn)一步預(yù)測(cè)以確定草莓病害的種類和精確位置。(3)草莓病害類別識(shí)別。在判斷出網(wǎng)格中包含草莓病害目標(biāo)后,使用圖像檢測(cè)模型對(duì)草莓病害圖像進(jìn)行特征提取,并使用全連接層預(yù)測(cè)得到草莓病害坐標(biāo)和類別概率。
4 試驗(yàn)與分析
4.1 試驗(yàn)方法
試驗(yàn)硬件環(huán)境CPU為Intel(R) Xeon(R) Silver 4316 CPU @ 2.30 GHz,內(nèi)存64 G,顯卡為GeForce RTX 3090 24 G顯存。軟件環(huán)境為Ubuntu 18.04 64位系統(tǒng),Python版本為Python3.10,軟件環(huán)境框架tensorflow2,使用CUDA11.1進(jìn)行并行計(jì)算。
在試驗(yàn)過(guò)程中,每一次迭代時(shí),隨機(jī)打亂訓(xùn)練集,從而使得每次訓(xùn)練的數(shù)據(jù)分布不固定。學(xué)習(xí)率初始值設(shè)為10-2,學(xué)習(xí)率的衰減率為0.94,批量大小設(shè)置為54,訓(xùn)練迭代次數(shù)為50,采用Adam優(yōu)化器。試驗(yàn)損失函數(shù)使用多類交叉熵?fù)p失,應(yīng)用Checkpoint方法保存訓(xùn)練過(guò)程中性能最好的模型。為防止網(wǎng)絡(luò)訓(xùn)練過(guò)程出現(xiàn)過(guò)擬合現(xiàn)象,在網(wǎng)絡(luò)的全連接層之前加入Dropout,設(shè)置失效神經(jīng)元的概率值為0.3。
4.2 試驗(yàn)數(shù)據(jù)
本文采用草莓疾病檢測(cè)數(shù)據(jù)集共有圖像數(shù)據(jù)2 900張,其中由白粉菌果病、角斑病、葉斑病、炭疽病、灰霉病、開(kāi)花枯萎病、白粉菌葉病七種病害構(gòu)成的草莓病害圖像數(shù)量為2 500張,另外增加了健康的草莓果實(shí)圖像數(shù)據(jù)200張和健康的草莓葉片圖像數(shù)據(jù)200張,目的是提升正常草莓與病害草莓圖像辨識(shí)度。
草莓病害數(shù)據(jù)集提供病害的特寫和病害的遠(yuǎn)景,圖像范圍包括病害的初始、中期和后期階段。每張圖片包含一種草莓病害信息。草莓?dāng)?shù)據(jù)集劃分成訓(xùn)練集、驗(yàn)證集和測(cè)試集,如表1所示。草莓病害數(shù)據(jù)集示例如圖8所示。
4.3 試驗(yàn)結(jié)果
4.3.1 準(zhǔn)確率和檢測(cè)損失
經(jīng)過(guò)多次綜合訓(xùn)練,比較選出相對(duì)最優(yōu)模型進(jìn)行準(zhǔn)確率測(cè)試,從圖9可知,迭代16次后,改進(jìn)的YOLOv5-ECA網(wǎng)絡(luò)模型在訓(xùn)練集上對(duì)草莓病害識(shí)別的準(zhǔn)確率趨于飽和,在驗(yàn)證集上對(duì)草莓病害識(shí)別的準(zhǔn)確率接近90%。
由圖10可知,迭代50次損失曲線中損失率逐步降低,并且收斂速度逐步加快;在第16次迭代后損失率趨于飽和,改進(jìn)的YOLOv5-ECA網(wǎng)絡(luò)模型在草莓病害數(shù)據(jù)集上具有較強(qiáng)的抗干擾能力和魯棒性。
由表2可知,在七種草莓病害測(cè)試集上測(cè)試結(jié)果存在差異,角斑病識(shí)別準(zhǔn)確率最高為84.35%,葉斑病識(shí)別準(zhǔn)確率最低為65.43%,平均準(zhǔn)確率為76.29%。通過(guò)對(duì)檢測(cè)結(jié)果數(shù)據(jù)分析得出:炭疽病、白粉菌果病、葉斑病檢測(cè)準(zhǔn)確率偏低,主要原因是這三種草莓病害是誤檢為灰霉病。白粉菌葉病檢測(cè)準(zhǔn)確率偏低,主要原因是誤檢為角斑病。測(cè)試結(jié)果表明,模型在訓(xùn)練集和驗(yàn)證集上準(zhǔn)確率相對(duì)比較高,但是該模型在測(cè)試集上的準(zhǔn)確率明顯低于訓(xùn)練集和驗(yàn)證集上的檢測(cè)結(jié)果,原因可能是訓(xùn)練數(shù)據(jù)過(guò)擬合以及圖像數(shù)據(jù)的數(shù)量不足,需降低模型復(fù)雜度以及調(diào)整dropout進(jìn)一步增加模型的泛化能力,同時(shí)需要在實(shí)際應(yīng)用中積累草莓病害圖像數(shù)量,增加訓(xùn)練數(shù)據(jù)體量。
4.3.2 基于COCO數(shù)據(jù)測(cè)試
采用CVAT對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注,獲取草莓病害圖像的COCO格式數(shù)據(jù)集。在COCO數(shù)據(jù)集上YOLOv5和YOLOv5-ECA測(cè)試評(píng)估獲得結(jié)果如表3所示。
其中,AP(average precision)是平均精度,IoU(Intersection over Union)表示圖像目標(biāo)預(yù)測(cè)框與實(shí)際框的交集和并集的比值。AP0.5∶0.95表示在不同IoU閾值(從0.5到0.95,步長(zhǎng)0.05),計(jì)算得到的AP集合的均值;AP0.5、AP0.75表示在IoU分別取0.5、0.75時(shí)的平均精度;AP,IoU表示在不同的交并比IoU閾值下的平均精度;AP,Area表示在S、M、L三個(gè)不同的目標(biāo)尺度上的測(cè)試結(jié)果,分別是APS、APM、APL;S表示小于242個(gè)像素的目標(biāo);M表示在242~1024個(gè)像素之間的目標(biāo);L表示大于1024像素的目標(biāo)。改進(jìn)的YOLOv5-ECA模型在AP0.5∶0.95、AP0.5、AP0.75、APM、APL上都有比較大幅度提升,分別提高了18.49%、6.38、19.48%、12.29%、47.04%。但是,在APS上降低的比較明顯,達(dá)到44.08%,考慮到重點(diǎn)設(shè)備采集圖片大小一般都大于242像素,所以APS的降低對(duì)模型應(yīng)用影響較小。
4.4 終端測(cè)試
將訓(xùn)練好的模型權(quán)重導(dǎo)入到嵌入式終端中,實(shí)現(xiàn)嵌入式終端對(duì)草莓病害檢測(cè)。用戶通過(guò)終端設(shè)備的病害識(shí)別界面可以實(shí)現(xiàn)從相冊(cè)選擇病害圖像、相機(jī)拍攝病害圖像進(jìn)行檢測(cè)。也可以通過(guò)圖像瀏覽查看已有的檢測(cè)結(jié)果。草莓各類病害檢測(cè)結(jié)果如圖11所示。
5 結(jié)論
1) ?應(yīng)用圖像檢測(cè)模型、嵌入式、軟件工程技術(shù)研發(fā)實(shí)現(xiàn)草莓病害識(shí)別系統(tǒng)。系統(tǒng)采用低功耗設(shè)計(jì),基于雙核Arm Cortex-M4F主控CPU為設(shè)計(jì)核心,支持硬件的神經(jīng)網(wǎng)絡(luò)加速器,支持基于WIFI的圖像傳輸和模型載入,實(shí)現(xiàn)便攜式手持的嵌入式草莓病害檢測(cè)。
2) ?構(gòu)建了YOLOv5與ECA網(wǎng)絡(luò)相融合的草莓病害檢測(cè)模型,可有效捕獲跨通道交互信息,具有對(duì)網(wǎng)絡(luò)處理速度的影響小的優(yōu)勢(shì)。試驗(yàn)結(jié)果表明,該系統(tǒng)可以有效識(shí)別草莓病害信息,測(cè)試集識(shí)別準(zhǔn)確率達(dá)76.29%,與僅采用YOLOv5相比,AP、AP0.5、AP0.75、APM、APL上都有較大提升,針對(duì)草莓病害圖像檢測(cè)效果相對(duì)比較理想。
3) ?終端應(yīng)用系統(tǒng)由圖像采集、圖像檢測(cè)、結(jié)果展示和數(shù)據(jù)傳輸?shù)饶K組成,實(shí)現(xiàn)草莓圖像實(shí)時(shí)采集和病害實(shí)時(shí)識(shí)別檢測(cè)等功能。實(shí)際應(yīng)用中設(shè)備運(yùn)行穩(wěn)定,可快速、便捷實(shí)現(xiàn)草莓病害檢測(cè),可有效降低草莓生產(chǎn)中病害檢測(cè)成本,具有廣闊的應(yīng)用前景。
參 考 文 獻(xiàn)
[1]郭文娟, 馮全, 李相周. 基于農(nóng)作物病害檢測(cè)與識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)模型研究進(jìn)展[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào), 2022, 43(10): 157-166.Guo Wenjuan, Feng Quan, Li Xiangzhou. Research progress of convolutional neural network model based on crop disease detection and recognition [J]. Journal of Chinese Agricultural Mechanization, 2022, 43(10): 157-166.
[2]Pydipati R, Burks T F, Lee W S. Identification of citrus disease using color texture features and discriminant analysis [J]. Computers and Electronics in Agriculture, 2006, 52: 49-59.
[3]Simonyan K, Zisserman A. Very deep convolutional networks for large scale image recognition [J]. ArXiv Preprint, 2014.
[4]Szegedy C, Liu W, Jia Y Q, et al. Going deeper with convolutions [C]. Computer Vision and Pattern Recognition, Boston, 2015: 1-9.
[5]He K M, Zhang X Y, Ren S O, et al. Deep residual leaning for image recognition [C]. Computer Vision and Pattem Recognition Las Vegas, 2016: 770-778.
[6]Huang G, Liu Z, MaatenL V D, et al. Densely connected convolutional networks [C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017.
[7]宋中山, 汪進(jìn), 鄭祿, 等. 基于二值化的Faster R-CNN柑橘病蟲(chóng)害識(shí)別研究[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào), 2022, 43(6):150-158.Song Zhongshan, Wang Jin, Zhen Lu, et al. Research on citrus pest identification based on Binary Faster R-CNN [J]. Journal of Chinese Agricultural Mechanization, 2022, 43(6): 150-158.
[8]牛沖. 基于圖像處理的草莓病害識(shí)別方法研究[D]. 太原: 太原理工大學(xué), 2016.Niu Chong. Research on recognition method of strawberry disease based on image processing [D]. Taiyuan: Taiyuan University of Technology, 2016.
[9]宋懷波, 馬寶玲, 尚鈺瑩, 等. 基于YOLO v7-ECA模型的蘋果幼果檢測(cè)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2023, 54(6): 233-242.Song Huaibo, Ma Baoling, Shang Yuying, et al. Detection of young apple fruits based on YOLO v7-ECA model [J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(6): 233-242.
[10]郭輝, 陳海洋, 高國(guó)民, 等. 基于YOLO v5m的紅花花冠目標(biāo)檢測(cè)與空間定位方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2023, 54(7): 272-281.Guo Hui, Chen Haiyang, Gao Guomin, et al. Safflower corolla object detection and spatial positioning methods based on YOLO v5m [J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(7): 272-281.
[11]邵延華, 張鐸, 楚紅雨, 等. 基于深度學(xué)習(xí)的YOLO目標(biāo)檢測(cè)綜述[J]. 電子與信息學(xué)報(bào), 2022, 44(10): 3697-3708.Shao Yanhua, Zhang Duo, Chu Hongyu, et al. A review of YOLO object detection based on deep learning [J]. Journal of Electronics & Information Technology, 2022, 44(10): 3697-3708.
[12]李成躍, 姚劍敏, 林志賢, 等. 基于改進(jìn)YOLO輕量化網(wǎng)絡(luò)的目標(biāo)檢測(cè)方法[J]. 激光與光電子學(xué)進(jìn)展, 2020, 57(14): 45-53.Li Chengyue, Yao Jianmin, Lin Zhixian, et al. Object detection method based on improved YOLO lightweight network [J]. Laser & Optoelectronics Progress, 2020, 57(14): 45-53.
[13]崔家華, 張?jiān)浦蓿?王爭(zhēng), 等. 面向嵌入式平臺(tái)的輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)[J]. 光學(xué)學(xué)報(bào), 2019, 39(4): 307-313.Cui Jiahua, Zhang Yunzhou, Wang Zheng, et al. Light-weight object detection networks for embedded platform [J]. Acta Optica Sinica, 2019, 39(4): 307-313.
[14]李建, 杜建強(qiáng), 朱彥陳, ?等. 基于Transformer的目標(biāo)檢測(cè)算法綜述[J]. 計(jì)算機(jī)工程與應(yīng)用, 2023, 59(10): 48-64.Li Jian, Du Jianqiang, Zhu Yanchen, et al. Survey of transformer-based object detection algorithms [J]. Computer Engineering and Applications, 2023, 59(10): 48-64.
[15]Wang Q L. Wu B G, Zhu P F, et al. ECA-Net: Efficient channel attention for deep convolutional neural networks [J]. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2020: 11531-11539.
[16]Zhu X K, Lyu S C, Wang X, et al. TPH-YOLOv5: Improved YOLOv5 based on transformer prediction head for object detection on drone-captured scenarios [C]. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) Workshops, 2021: 2778-2788.
[17]宋懷波, 李嶸, 王云飛, 等. 基于ECA-YOLO v5s網(wǎng)絡(luò)的重度遮擋肉牛目標(biāo)識(shí)別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2023, 54(3): 274-281.Song Haibo, Li Rong, Wang Yunfei, et al. Recognition method of heavily occluded beef cattle targets based on ECA-YOLO v5s [J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(3): 274-281.
[18]王江晴, 冀星, 莫海芳, 等. 基于輕量化VGG的植物病蟲(chóng)害識(shí)別[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào), 2022, 43(4): 25-31.Wang Jiangqing, Ji Xing, Mo Haifang, et al. Plant disease detection based on lightweight VGG [J]. Journal of Chinese Agricultural Mechanization, 2022,43(4):25-31.
[19]李書(shū)琴, 陳聰, 朱彤, 等. 基于輕量級(jí)殘差網(wǎng)絡(luò)的植物葉片病害識(shí)別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2022, 53(3): 243-250.Li Shuqin, Chen Cong, Zhu Tong, et al. Plant leaf disease identification based on lightweight residual network [J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(3): 243-250.
[20]李功, 趙巍, 劉鵬, 等. 一種用于目標(biāo)跟蹤邊界框回歸的光滑IoU損失[J]. 自動(dòng)化學(xué)報(bào), 2023, 49(2): 288-306.Li Gong, Zhao Wei, Liu Peng, et al. Smooth-IoU loss for bounding box regression in visual tracking [J]. Acta Automatica Sinica, 2023, 49(2): 288-306.
基金項(xiàng)目:農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)大數(shù)據(jù)重點(diǎn)實(shí)驗(yàn)室項(xiàng)目(NYNCBDSJ2022001);北京市數(shù)字農(nóng)業(yè)創(chuàng)新團(tuán)隊(duì)項(xiàng)目(BAIC10—2023);北京市農(nóng)林科學(xué)院改革與發(fā)展專項(xiàng)(GGFZSJS2023)
第一作者:?jiǎn)讨榉?,男?979年生,山西平遙人,碩士,副研究員;研究方向?yàn)檗r(nóng)業(yè)信息技術(shù)。E-mail: qiaozhufeng@126.com
通訊作者:趙繼春,男,1980年生,河北承德人,博士,正高級(jí)農(nóng)藝師;研究方向?yàn)檗r(nóng)業(yè)信息技術(shù)。E-mail: zhaojc@agri.ac.cn