宋懷波 馬寶玲 尚鈺瑩 溫毓晨 張姝瑾

(1.西北農(nóng)林科技大學(xué)機(jī)械與電子工程學(xué)院, 陜西楊凌 712100;2.農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)物聯(lián)網(wǎng)重點(diǎn)實(shí)驗(yàn)室, 陜西楊凌 712100)

0 引言

疏果前期蘋果幼果目標(biāo)識(shí)別對(duì)自動(dòng)化疏果、農(nóng)藥用量控制、智能化表型監(jiān)測(cè)以及果樹新品種選育具有重要意義。幼果期蘋果果色與葉片顏色相似、體積微小、分布密集,受光照影響,果實(shí)表面會(huì)出現(xiàn)高光、陰影等現(xiàn)象,果實(shí)葉片枝條相互重疊遮擋,導(dǎo)致果實(shí)識(shí)別難度增大[1-3]。深度卷積神經(jīng)網(wǎng)絡(luò)相較于傳統(tǒng)目標(biāo)檢測(cè)算法能夠?qū)Ω邔哟翁卣鬟M(jìn)行學(xué)習(xí),為此類目標(biāo)的有效檢測(cè)提供了必要借鑒[4-7]。

國(guó)內(nèi)外眾多研究已將深度卷積網(wǎng)絡(luò)作為果實(shí)目標(biāo)識(shí)別的主流算法,并在果實(shí)高效檢測(cè)方面取得較好結(jié)果[8-11]。為快速精準(zhǔn)實(shí)現(xiàn)冬棗果實(shí)的識(shí)別,劉天真等[12]在YOLO v3網(wǎng)絡(luò)模型中融入注意力機(jī)制,可有效提高特征圖的表現(xiàn)能力,相較于原始網(wǎng)絡(luò)模型,各項(xiàng)指標(biāo)有明顯提高。龍燕等[13]提出了一種改進(jìn)的FCOS網(wǎng)絡(luò)模型對(duì)自然環(huán)境下不同遮擋和密集程度的蘋果目標(biāo)進(jìn)行識(shí)別,改進(jìn)后的網(wǎng)絡(luò)模型檢測(cè)準(zhǔn)確率提升3.2個(gè)百分點(diǎn),mAP提升3.1個(gè)百分點(diǎn),試驗(yàn)表明,改進(jìn)后的FCOS網(wǎng)絡(luò)模型在蘋果檢測(cè)試驗(yàn)中具有更高的精度和魯棒性能。何斌等[14]提出了一種改進(jìn)的YOLO v5網(wǎng)絡(luò)模型進(jìn)行夜間番茄果實(shí)識(shí)別,夜間環(huán)境下,該網(wǎng)絡(luò)模型對(duì)綠色番茄果實(shí)和紅色番茄果實(shí)平均識(shí)別精度分別為96.2%和97.6%,能夠有效實(shí)現(xiàn)暗光下番茄果實(shí)的識(shí)別。為實(shí)現(xiàn)復(fù)雜環(huán)境下不同生長(zhǎng)階段果實(shí)的高效檢測(cè),趙輝等[15]提出了一種改進(jìn)的YOLO v3網(wǎng)絡(luò)模型對(duì)不同成熟度的蘋果果實(shí)進(jìn)行識(shí)別,網(wǎng)絡(luò)模型在測(cè)試集上的mAP為96.3%,F1值為91.8%,在原有網(wǎng)絡(luò)模型的基礎(chǔ)上兩項(xiàng)指標(biāo)各自提高3.8%。王立舒等[16]在YOLO v4-Tiny中融入卷積注意力模塊進(jìn)行不同通道間特征相關(guān)性的學(xué)習(xí),有效降低了復(fù)雜環(huán)境對(duì)藍(lán)莓目標(biāo)的干擾。試驗(yàn)結(jié)果表明,該網(wǎng)絡(luò)模型在藍(lán)莓果實(shí)嚴(yán)重遮擋與逆光場(chǎng)景中,mAP和準(zhǔn)確率均較優(yōu),可同時(shí)滿足識(shí)別精度與檢測(cè)速度的需求。為實(shí)現(xiàn)復(fù)雜環(huán)境下蘋果的高效準(zhǔn)確檢測(cè),王卓等[17]提出了一種輕量化YOLO v4-CA網(wǎng)絡(luò)模型,該網(wǎng)絡(luò)模型平均檢測(cè)精度為92.23%,嵌入式平臺(tái)上的檢測(cè)速度為15.11 f/s,與SSD和Faster R-CNN網(wǎng)絡(luò)對(duì)比,其精度和速度均有明顯提升。

針對(duì)疏果前期果實(shí)重疊遮擋嚴(yán)重且與背景顏色極為相似的難題,王丹丹等[2]提出了R-FCN蘋果幼果檢測(cè)網(wǎng)絡(luò),用28 662幅蘋果幼果圖像進(jìn)行網(wǎng)絡(luò)模型訓(xùn)練、驗(yàn)證和測(cè)試,最終網(wǎng)絡(luò)模型召回率為85.7%,準(zhǔn)確率為95.1%,誤識(shí)率為4.9%,單幅圖像平均處理時(shí)間為0.187 s,基本能夠?qū)崿F(xiàn)近景色小目標(biāo)識(shí)別。為進(jìn)一步提高蘋果幼果的檢測(cè)準(zhǔn)確率,宋懷波等[1]將擠壓激發(fā)塊和非局部塊兩種注意力機(jī)制融入YOLO v4網(wǎng)絡(luò)模型進(jìn)行蔬果前期微小蘋果果實(shí)的識(shí)別,采用3 000幅蘋果幼果圖像進(jìn)行網(wǎng)絡(luò)模型訓(xùn)練、驗(yàn)證和測(cè)試,最終該網(wǎng)絡(luò)模型在600幅測(cè)試集上的平均精度達(dá)96.9%。為改善蘋果幼果在光照不均和嚴(yán)重遮擋等干擾條件下造成的果實(shí)漏檢問題,JIANG等[18]提出了一種融合非局部注意力模塊和卷積塊注意力模塊的YOLO v4網(wǎng)絡(luò)模型,采用3 000幅低質(zhì)量幼果圖像進(jìn)行訓(xùn)練測(cè)試,測(cè)試集在高光、陰影、模糊、嚴(yán)重遮擋情況下的平均精度分別為98.0%、96.2%、97.0%、96.9%,表明該方法可實(shí)現(xiàn)復(fù)雜干擾下蘋果幼果的高效識(shí)別。

疏果前期幼果識(shí)別相關(guān)研究在高精度檢測(cè)方面雖已取得較好的結(jié)果,但仍然存在以下亟待解決的問題:①蘋果幼果檢測(cè)速度較慢,實(shí)時(shí)性檢測(cè)難度大。②蘋果幼果檢測(cè)模型較大、內(nèi)存開銷高、難以完成應(yīng)用端部署。③蘋果幼果在模糊、含噪、存在陰影以及嚴(yán)重遮擋情況下仍然無法實(shí)現(xiàn)高精度檢測(cè)。本文擬借鑒YOLO v7網(wǎng)絡(luò)模型在速度和精度上的雙重優(yōu)勢(shì),并通過融合ECA的方式,進(jìn)一步提升網(wǎng)絡(luò)模型對(duì)幼果特征的捕獲能力,以期在不明顯增加網(wǎng)絡(luò)深度和內(nèi)存開銷的情況下,實(shí)現(xiàn)蘋果幼果的高效準(zhǔn)確檢測(cè)。

1 材料與方法

1.1 數(shù)據(jù)集

1.1.1蘋果幼果圖像的采集與預(yù)處理

試驗(yàn)數(shù)據(jù)采集于西北農(nóng)林科技大學(xué)園藝學(xué)院實(shí)驗(yàn)站,試驗(yàn)對(duì)象包括秦冠、秦脆、紅富士、嘎啦等300多個(gè)品種,栽培方式為矮砧密植,行距3 m。數(shù)據(jù)采集時(shí)間為2020年5月中旬至6月上旬,此時(shí)果徑在48 mm以下,采集設(shè)備為iPhone 8Plus手機(jī),采集時(shí)間段為08:00—20:00,共采集3 654幅幼果圖像,格式為JPEG,分辨率為3 024像素×3 024像素。如圖1所示,拍攝方式為拍攝者垂直于地面站立,相距主干0.4～1.5 m手持手機(jī)設(shè)備在果樹行間兩側(cè)分別進(jìn)行拍攝。

圖1 采集方式Fig.1 Acquisition method

為保證樣本的多樣性,分別采集清晨、正午、傍晚不同時(shí)間段;多云轉(zhuǎn)晴、晴轉(zhuǎn)多云、晴不同天氣情況;順光、逆光不同光照條件;無遮擋、輕微遮擋、嚴(yán)重遮擋不同遮擋程度下的幼果圖像。圖2a～2d分別是在順光、逆光、順光強(qiáng)光直射、逆光強(qiáng)光直射下拍攝的幼果圖像,由4幅圖像對(duì)比可知,順光狀態(tài)下拍攝的圖像,依據(jù)顏色和形狀特征易于區(qū)分目標(biāo);逆光狀態(tài)下拍攝的圖像,整體偏暗,在幼果果色與背景顏色相似的情況下,易將幼果果實(shí)目標(biāo)漏檢錯(cuò)檢;順光強(qiáng)光直射圖像存在過曝,造成幼果目標(biāo)部分泛白;逆光強(qiáng)光直射圖像由于圖像欠曝,造成幼果目標(biāo)整體偏黑,欠曝過曝情況下所成圖像整體加強(qiáng)幼果果實(shí)目標(biāo)的識(shí)別難度。圖2e～2h分別展示了幼果果實(shí)目標(biāo)在自然場(chǎng)景下被相鄰果實(shí)、葉片、枝條、鐵絲等物體遮擋的現(xiàn)象。圖2i、2j為不同遮擋程度下的圖像,本研究設(shè)定蘋果幼果表面被遮擋未超過30%屬于輕微遮擋,被遮擋超過30%屬于嚴(yán)重遮擋。

圖2 不同光照和遮擋情況Fig.2 Different lighting and occlusion conditions

為增強(qiáng)算法魯棒性與泛化性,隨機(jī)選取600幅蘋果幼果圖像,隨機(jī)均分為2組,為2組圖像分別添加1%的椒鹽噪聲和5%的高斯噪聲,對(duì)添加噪聲后的圖像各自再次隨機(jī)均分為2組,任選其中1組對(duì)其進(jìn)行高斯濾波,最終得到300幅加噪圖像和300幅模糊圖像,分別模擬算法在遷移應(yīng)用時(shí)遇到的鏡頭不清、對(duì)焦不準(zhǔn)以及特殊天氣等情況。圖3a分別為添加1%椒鹽噪聲以及進(jìn)行高斯濾波的圖像,圖3b分別為添加5%高斯噪聲以及進(jìn)行高斯濾波的圖像。

圖3 不同加噪和模糊情況Fig.3 Different noise and blur conditions

1.1.2數(shù)據(jù)集制備

通過加噪濾波預(yù)處理后,3 654幅蘋果幼果圖像的具體信息如表1所示。

表1 數(shù)據(jù)集拍攝信息Tab.1 Dataset shooting information

利用LabelImg軟件進(jìn)行標(biāo)注,框選蘋果幼果果實(shí),標(biāo)注標(biāo)簽為“apple”,每幅圖像生成對(duì)應(yīng).xml文件。將標(biāo)注完畢的數(shù)據(jù)集按照訓(xùn)練集、驗(yàn)證集、測(cè)試集比例7∶1.5∶1.5進(jìn)行劃分,最終獲得2 557幅訓(xùn)練集圖像、547幅驗(yàn)證集圖像、550幅測(cè)試集圖像。如表2所示,將測(cè)試集圖像按照所設(shè)標(biāo)準(zhǔn)進(jìn)行分組,為網(wǎng)絡(luò)模型進(jìn)行分組測(cè)試做準(zhǔn)備,檢驗(yàn)網(wǎng)絡(luò)模型在各種干擾情況下的有效性。

表2 測(cè)試集圖像分組信息Tab.2 Test set image grouping information

1.2 方法

深度卷積網(wǎng)絡(luò)因其豐富的特征表現(xiàn)能力已廣泛應(yīng)用于各類圖像分類[19]、目標(biāo)檢測(cè)[20-23]、語義分割[24]等視覺任務(wù)中。為避免蘋果幼果產(chǎn)生冗余信息造成檢測(cè)效果不佳等情況,本研究分別引入擠壓激發(fā)(Squeeze-and-excitation, SE)注意力[25]、卷積塊注意力(Convolutional block attention module, CBAM)[26]、協(xié)調(diào)注意力(Coordinate attention, CA)[27]、ECA機(jī)制[28]對(duì)YOLO v7目標(biāo)檢測(cè)算法進(jìn)行了優(yōu)化試驗(yàn)。通過對(duì)比發(fā)現(xiàn),SE注意力機(jī)制與CBAM機(jī)制依賴通道相關(guān)性進(jìn)行特征校準(zhǔn),采用兩層全連接層捕獲所有通道間的相互依賴關(guān)系進(jìn)行顯式建模,不可避免地造成參數(shù)和計(jì)算量的增加以及維度的縮減;而CA機(jī)制更關(guān)注于強(qiáng)調(diào)位置信息捕獲目標(biāo)結(jié)構(gòu),針對(duì)復(fù)雜生長(zhǎng)環(huán)境下,生長(zhǎng)趨勢(shì)不可控且與背景顏色極其相近不易區(qū)分的蘋果幼果目標(biāo)而言,特征強(qiáng)調(diào)作用較弱。因此本研究利用ECA機(jī)制進(jìn)行YOLO v7網(wǎng)絡(luò)模型的改進(jìn)與優(yōu)化工作。

1.2.1ECA機(jī)制

ECA機(jī)制結(jié)構(gòu)如圖4所示,圖中H為輸入圖像的高度,W為輸入圖像的寬度,C為特征圖通道數(shù),其為避免SE注意力機(jī)制維度縮減,采用全局平均池化對(duì)每個(gè)通道中的特征圖進(jìn)行壓縮操作后,自適應(yīng)選擇卷積核大小為K的一維卷積替換兩層全連接層來決定跨通道信息交流的覆蓋范圍,最后與未壓縮的原始特征圖相乘,完成特征圖的重新校準(zhǔn),實(shí)現(xiàn)網(wǎng)絡(luò)選擇性強(qiáng)調(diào)重要特征、抑制無用特征。一維卷積核大小K與通道數(shù)C成正比映射關(guān)系,滿足

圖4 ECA結(jié)構(gòu)示意圖Fig.4 Schematic of ECA structure

(1)

式中,映射參數(shù)γ=2和b=1為按照文獻(xiàn)[28]取的經(jīng)驗(yàn)值。該網(wǎng)絡(luò)模型不降維的局部跨信道交互策略在只增加少量參數(shù),顯著降低網(wǎng)絡(luò)模型復(fù)雜度的同時(shí),獲得明顯的性能增益,是一種極輕的通道注意力機(jī)制。

ECA機(jī)制采用一維卷積,能夠有效避免全連接層降維帶來的副作用,并且其自適應(yīng)卷積核大小K通過交互相鄰?fù)ǖ佬畔⒖梢杂行Р东@蘋果幼果中易被忽略漏檢的小目標(biāo),通過跨通道式的信息交互,可在不明顯增加內(nèi)存開銷和網(wǎng)絡(luò)深度的情況下,避免蘋果幼果圖像中非目標(biāo)冗余特征的學(xué)習(xí),同時(shí)有效兼顧重要特征。將ECA機(jī)制融入YOLO v7網(wǎng)絡(luò)模型,可有效增強(qiáng)蘋果幼果的檢測(cè)性能。

1.2.2YOLO v7-ECA網(wǎng)絡(luò)模型構(gòu)建

YOLO v7網(wǎng)絡(luò)模型結(jié)構(gòu)主要分為Input、Backbone和Head 3部分[29],其網(wǎng)絡(luò)模型結(jié)構(gòu)如圖5所示。

圖5 YOLO v7-ECA網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.5 Schematic of YOLO v7-ECA network structure

Backbone部分引入高效層聚合網(wǎng)絡(luò)(Efficient layer aggregation networks, ELAN)模塊,其由兩個(gè)分支構(gòu)成,通過控制最短和最長(zhǎng)的梯度路徑,同時(shí)增強(qiáng)網(wǎng)絡(luò)的特征學(xué)習(xí)能力和魯棒性能;MP模塊將分別使用最大池化和卷積塊進(jìn)行下采樣的結(jié)果進(jìn)行疊加,在減少計(jì)算量的同時(shí)增大感受野,向后有效傳遞全局信息。Head部分主要由SPPCSPC模塊、MP模塊、ELAN-M模塊以及重參數(shù)化(Re-parameterized, REP)模塊構(gòu)成;SPPCSPC模塊中空間金字塔池化層采用1×1、5×5、9×9、13×13共4個(gè)不同尺度最大池化適應(yīng)不同分辨率圖,用以區(qū)分不同尺寸的目標(biāo)。網(wǎng)絡(luò)坐標(biāo)損失采用CIoU_Loss,其同時(shí)考慮到重疊面積、中心點(diǎn)距離和長(zhǎng)寬比3種幾何參數(shù)使預(yù)測(cè)框更加符合真實(shí)框;標(biāo)簽分配策略采用YOLO v5的跨網(wǎng)格搜索以及YOLOX的匹配策略。

如圖5所示,為在不明顯增加內(nèi)存開銷和網(wǎng)絡(luò)深度的情況下對(duì)蘋果幼果特征進(jìn)行有效學(xué)習(xí),本研究在YOLO v7網(wǎng)絡(luò)模型的3條重參數(shù)化路徑中插入極輕的ECA機(jī)制,在不降低通道維數(shù)的情況下,進(jìn)行相鄰?fù)ǖ谰植靠缤ǖ澜换?該方式既可通過強(qiáng)調(diào)蘋果幼果重要信息提高網(wǎng)絡(luò)模型識(shí)別效果,又能抑制冗余無用特征提高網(wǎng)絡(luò)模型效率。

1.3 試驗(yàn)平臺(tái)

試驗(yàn)在64位Windows 10操作系統(tǒng)下運(yùn)行,處理器為Intel(R) Xeon(R) CPU E5-1620 v4 @ 3.50 GHz,內(nèi)存為32 GB,顯示適配器為NVIDIA GeForce RTX 2080Ti,使用PyTorch框架、PyCharm編輯器、Python編程語言進(jìn)行網(wǎng)絡(luò)模型訓(xùn)練。

1.4 評(píng)價(jià)指標(biāo)

為驗(yàn)證網(wǎng)絡(luò)模型有效性,采用準(zhǔn)確率(Precision,P)、召回率(Recall,R)、F1值、平均精度均值(mAP)、模型權(quán)值文件大小、檢測(cè)時(shí)間6個(gè)指標(biāo)進(jìn)行評(píng)價(jià)。

2 結(jié)果與分析

2.1 試驗(yàn)結(jié)果

本試驗(yàn)共訓(xùn)練500輪次,每25輪次保存一個(gè)權(quán)重文件,mAP、R、P在前100輪次較為振蕩,之后持續(xù)上升并趨于飽和。并采用相同的數(shù)據(jù)集對(duì)Faster R-CNN、SSD、Scaled-YOLO v4、YOLO v5、YOLO v6、YOLO v7以及YOLO v7-ECA等7個(gè)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練測(cè)試,訓(xùn)練結(jié)果如表3所示。從網(wǎng)絡(luò)模型檢測(cè)精度角度,YOLO v7-ECA網(wǎng)絡(luò)模型mAP高于Faster R-CNN、SSD、Scaled-YOLO v4、YOLO v5、YOLO v6、YOLO v7網(wǎng)絡(luò)模型,其值分別提高15.5、4.6、1.6、1.8、3.0、1.8個(gè)百分點(diǎn);P分別提高49.7、0.9、18.5、1.2、0.9、1.0個(gè)百分點(diǎn);R相較于Faster R-CNN、SSD、YOLO v5、YOLO v6、YOLO v7網(wǎng)絡(luò)模型分別提高5.0、4.5、1.3、3.7、1.8個(gè)百分點(diǎn)。YOLO v7-ECA網(wǎng)絡(luò)模型整體漏檢率和錯(cuò)檢率較低,基本能夠達(dá)到蘋果幼果準(zhǔn)確檢測(cè)的要求。從網(wǎng)絡(luò)模型檢測(cè)速度角度,YOLO v7-ECA的最佳權(quán)值文件大小為71.3 MB,單幅圖像檢測(cè)時(shí)間為28.9 ms,與YOLO v7相比網(wǎng)絡(luò)模型大小和檢測(cè)速度基本未發(fā)生變化,能夠有效實(shí)現(xiàn)蘋果幼果的實(shí)時(shí)檢測(cè)和網(wǎng)絡(luò)模型的移植部署。

表3 網(wǎng)絡(luò)模型性能對(duì)比Tab.3 Network model performance comparison

YOLO v7-ECA網(wǎng)絡(luò)模型F1值為95.37%,優(yōu)于Faster R-CNN、SSD、Scaled-YOLO v4、YOLO v5、YOLO v6、YOLO v7網(wǎng)絡(luò)模型,其值分別提高33.53、2.81、9.16、1.26、2.38、1.43個(gè)百分點(diǎn),網(wǎng)絡(luò)模型整體較為穩(wěn)定。相較于Scaled-YOLO v4網(wǎng)絡(luò)模型通過堆疊模型大小,提高模型精度;YOLO v6網(wǎng)絡(luò)模型犧牲模型精度,降低模型大小;YOLO v7-ECA網(wǎng)絡(luò)模型在保持蘋果幼果高精度檢測(cè)的同時(shí)又能滿足實(shí)時(shí)檢測(cè)的要求。

2.2 注意力機(jī)制性能驗(yàn)證

為驗(yàn)證不同注意力機(jī)制對(duì)YOLO v7網(wǎng)絡(luò)模型的優(yōu)化效果,本試驗(yàn)同時(shí)構(gòu)建了SE、CBAM、CA、ECA網(wǎng)絡(luò)模型進(jìn)行蘋果幼果目標(biāo)檢測(cè)性能分析,如表4所示?？梢?YOLO v7-ECA網(wǎng)絡(luò)模型相較于其他4個(gè)網(wǎng)絡(luò)模型,權(quán)值文件大小無明顯增加;相較于YOLO v7、YOLO v7-SE、YOLO v7-CBAM、YOLO v7-CA F1值分別提高1.43、1.17、0.02、0.36個(gè)百分點(diǎn),網(wǎng)絡(luò)模型穩(wěn)定性能較強(qiáng);相較于YOLO v7 mAP、R、P分別提高1.8、1.8、1.0個(gè)百分點(diǎn),有效降低了網(wǎng)絡(luò)模型的錯(cuò)檢率和漏檢率。試驗(yàn)表明ECA機(jī)制能夠在不明顯增加權(quán)值的情況下,有效提高網(wǎng)絡(luò)模型檢測(cè)性能。

表4 注意力機(jī)制性能對(duì)比Tab.4 Performance comparison of attention mechanisms

2.3 討論

為測(cè)試網(wǎng)絡(luò)模型在不同干擾情況下蘋果幼果的檢測(cè)效果,本試驗(yàn)將測(cè)試集數(shù)據(jù)按照不同平滑程度、光照條件、遮擋情況分為3組,并分別輸入上述7個(gè)網(wǎng)絡(luò)模型中對(duì)3種情況下的網(wǎng)絡(luò)模型性能進(jìn)行測(cè)試。

2.3.1不同平滑程度檢測(cè)對(duì)比

分別選取75幅光滑和模糊加噪蘋果幼果圖像檢驗(yàn)上述7個(gè)網(wǎng)絡(luò)模型在目標(biāo)識(shí)別設(shè)備出現(xiàn)臟污、近距離聚焦不清、攝像機(jī)和鏡頭不匹配、光圈發(fā)生變化以及特殊天氣造成蘋果幼果圖像模糊不清問題的檢測(cè)效果。試驗(yàn)結(jié)果如表5所示,在圖像光滑情況下YOLO v7-ECA的P為94.5%,R為94.1%,mAP為97.3%,相較于其余6個(gè)網(wǎng)絡(luò)模型能夠?qū)崿F(xiàn)蘋果幼果高精度檢測(cè)。其中Faster R-CNN網(wǎng)絡(luò)模型P為54.1%,R為79.6%,mAP為71.5%,基本無法完成蘋果幼果高精度檢測(cè)任務(wù);在圖像模糊加噪情況下YOLO v7-ECA的mAP為91.1%,網(wǎng)絡(luò)模型依舊能夠準(zhǔn)確檢測(cè)蘋果幼果目標(biāo),相較于Faster R-CNN、SSD、Scaled-YOLO v4、YOLO v5、YOLO v6、YOLO v7網(wǎng)絡(luò)模型mAP分別提高26.3、21.0、5.4、8.0、11.5、8.9個(gè)百分點(diǎn),P分別提高42.7、0.4、14.1、1.5、0.7、1.3個(gè)百分點(diǎn),R分別提高10.1、11.2、3.9、6.0、6.1、6.9個(gè)百分點(diǎn),F1值分別提高27.19、7.08、8.50、4.20、3.94、4.67個(gè)百分點(diǎn),有效提高了網(wǎng)絡(luò)模型召回率,降低了蘋果幼果在模糊噪聲干擾下的漏檢率。

表5 不同平滑程度檢測(cè)結(jié)果Tab.5 Detection results of different smoothness degrees %

圖6為模糊加噪情況下蘋果幼果原始標(biāo)注圖像以及7種不同網(wǎng)絡(luò)模型檢測(cè)結(jié)果圖像。按照?qǐng)D6a所示原始標(biāo)注圖像,將檢測(cè)圖像中漏檢蘋果幼果目標(biāo)用白色框標(biāo)出,錯(cuò)檢蘋果幼果目標(biāo)用黃色框標(biāo)出。由圖6b～6g可得,Faster R-CNN、SSD、Scaled-YOLO v4、YOLO v5、YOLO v6、YOLO v7分別漏檢4、4、2、3、3、2個(gè)幼果果實(shí)目標(biāo);Faster R-CNN、Scaled-YOLO v4、YOLO v5、YOLO v7各錯(cuò)檢1個(gè)果實(shí)目標(biāo)。圖6h為YOLO v7-ECA模糊加噪情況下的檢測(cè)結(jié)果圖像,由圖可知YOLO v7-ECA網(wǎng)絡(luò)模型無漏檢錯(cuò)檢的情況。試驗(yàn)表明,YOLO v7-ECA網(wǎng)絡(luò)模型在蘋果幼果圖像模糊加噪情況下能夠完成高精度目標(biāo)檢測(cè)任務(wù)。

圖6 不同平滑程度檢測(cè)結(jié)果對(duì)比Fig.6 Comparison of detection results of different smoothness levels

2.3.2不同光照條件檢測(cè)對(duì)比

為實(shí)現(xiàn)全方位蘋果幼果果實(shí)檢測(cè),數(shù)據(jù)集拍攝從順光、逆光不同拍攝角度進(jìn)行,根據(jù)光線射入角度不同圖像呈現(xiàn)亮光狀態(tài)和陰影狀態(tài)。本試驗(yàn)各選取110幅亮光和陰影圖像輸入7個(gè)網(wǎng)絡(luò)模型對(duì)不同光照條件下的蘋果幼果進(jìn)行測(cè)試,試驗(yàn)結(jié)果如表6所示。

表6 不同光照條件檢測(cè)結(jié)果Tab.6 Detection results under different lighting conditions %

亮光狀態(tài)下YOLO v7-ECA的P為97.8%,R為96.7%,mAP為99%,整體檢測(cè)精度優(yōu)于其余6個(gè)網(wǎng)絡(luò)模型,其中Faster R-CNN網(wǎng)絡(luò)模型P為56.6%,R為89.1%,mAP為81.3%,P與mAP較低,完成蘋果幼果高精度檢測(cè)存在困難;陰影狀態(tài)下YOLO v7-ECA的mAP為97.5%,其值相較于Faster R-CNN、SSD、Scaled-YOLO v4、YOLO v5、YOLO v6、YOLO v7網(wǎng)絡(luò)模型分別提高14.8、8.8、2.1、2.4、5.4、2.5個(gè)百分點(diǎn),F1值分別提高21.51、2.60、10.49、1.53、3.23、2.56個(gè)百分點(diǎn),有效解決了背景偏暗情況下幼果不易檢測(cè)的難題。

圖7為陰影狀態(tài)下蘋果幼果原始標(biāo)注圖像以及7種不同網(wǎng)絡(luò)模型檢測(cè)圖像。由圖7b～7g可得,Faster R-CNN、SSD、Scaled-YOLO v4、YOLO v5、YOLO v6、YOLO v7分別漏檢5、5、4、4、4、5個(gè)幼果果實(shí)目標(biāo),YOLO v5錯(cuò)檢1個(gè)幼果果實(shí)目標(biāo)。由圖7h可得,YOLO v7-ECA網(wǎng)絡(luò)模型在整體圖像偏暗時(shí)無漏檢錯(cuò)檢的情況。試驗(yàn)表明,YOLO v7-ECA網(wǎng)絡(luò)模型在蘋果幼果圖像整體偏暗時(shí)依舊能夠?qū)崿F(xiàn)目標(biāo)果實(shí)的準(zhǔn)確檢測(cè)。

圖7 不同光照條件檢測(cè)結(jié)果對(duì)比Fig.7 Comparison of detection results of different lighting conditions

2.3.3不同遮擋情況檢測(cè)對(duì)比

為驗(yàn)證不同遮擋下的幼果檢測(cè)效果,本試驗(yàn)分別選取60幅無遮擋、輕微遮擋、嚴(yán)重遮擋圖像進(jìn)行測(cè)試,結(jié)果如表7所示。由表7可得,在無遮擋狀態(tài)下本網(wǎng)絡(luò)模型的P為98.3%,R為98.3%,mAP為99.6%,輕微遮擋狀態(tài)下本網(wǎng)絡(luò)模型的P為100%,R為99.3%,mAP為99.7%,整體檢測(cè)精度優(yōu)于其余6個(gè)網(wǎng)絡(luò)模型,SSD、Scaled-YOLO v4、YOLO v5、YOLO v6、YOLO v7網(wǎng)絡(luò)模型在蘋果幼果目標(biāo)無遮擋以及輕微遮擋時(shí)基本能夠?qū)崿F(xiàn)高精度檢測(cè),其中Faster R-CNN網(wǎng)絡(luò)模型在蘋果幼果目標(biāo)無遮擋以及輕微遮擋時(shí),犧牲P,提高R,網(wǎng)絡(luò)模型穩(wěn)定性較差,難以完成蘋果幼果高精度檢測(cè);嚴(yán)重遮擋情況下本網(wǎng)絡(luò)模型的mAP為98.6%,相較于Faster R-CNN、SSD、Scaled-YOLO v4、YOLO v5、YOLO v6、YOLO v7網(wǎng)絡(luò)模型分別提高21.7、13.7、2.3、2.4、4.8、2.2個(gè)百分點(diǎn),R分別提高10.0、9.6、0.8、1.9、4.2、3.4個(gè)百分點(diǎn),F1值分別提高28.29、3.50、6.45、0.96、1.36、1.36個(gè)百分點(diǎn),能夠在各種遮擋干擾下準(zhǔn)確識(shí)別出蘋果幼果目標(biāo)。

表7 不同遮擋情況檢測(cè)結(jié)果Tab.7 Detection results of different occlusion conditions %

圖8為嚴(yán)重遮擋狀態(tài)下蘋果幼果原始標(biāo)注圖像及其檢測(cè)結(jié)果。由圖8b～8g可得,Faster R-CNN、SSD、Scaled-YOLO v4、YOLO v5、YOLO v6、YOLO v7分別漏檢4、3、4、5、4、4個(gè)幼果果實(shí)目標(biāo),Faster R-CNN和Scaled-YOLO v4各錯(cuò)檢1個(gè)幼果果實(shí)目標(biāo)。由圖8h可得YOLO v7-ECA網(wǎng)絡(luò)模型在幼果果實(shí)受枝條和葉片遮擋嚴(yán)重的情況下依舊能夠準(zhǔn)確識(shí)別幼果,無果實(shí)目標(biāo)的漏檢錯(cuò)檢。試驗(yàn)表明,YOLO v7-ECA網(wǎng)絡(luò)模型在蘋果幼果遮擋嚴(yán)重時(shí)依舊能夠?qū)崿F(xiàn)目標(biāo)果實(shí)的準(zhǔn)確檢測(cè)。

圖8 不同遮擋情況檢測(cè)結(jié)果對(duì)比Fig.8 Comparison of detection results of different occlusion conditions

3 結(jié)論

(1)在YOLO v7網(wǎng)絡(luò)模型中插入極輕的ECA機(jī)制構(gòu)建了YOLO v7-ECA網(wǎng)絡(luò)模型進(jìn)行蘋果幼果的檢測(cè),將采集到的3 654幅幼果圖像輸入網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,獲得最優(yōu)網(wǎng)絡(luò)模型P為97.2%、R為93.6%、mAP為98.2%、F1值為95.37%,與Faster R-CNN、SSD、Scaled-YOLO v4、YOLO v5、YOLO v6、YOLO v7網(wǎng)路模型相比,其mAP分別提高15.5、4.6、1.6、1.8、3.0、1.8個(gè)百分點(diǎn),P分別提高49.7、0.9、18.5、1.2、0.9、1.0個(gè)百分點(diǎn),能夠準(zhǔn)確識(shí)別蘋果幼果目標(biāo)。

(2)由不同干擾情況下的對(duì)比試驗(yàn)可知,YOLO v7-ECA在蘋果幼果圖像模糊加噪、陰影以及嚴(yán)重遮擋情況下依舊能夠?qū)崿F(xiàn)果實(shí)目標(biāo)的準(zhǔn)確檢測(cè)。模糊加噪情況下mAP為91.9%,陰影情況下mAP為97.5%,嚴(yán)重遮擋情況下mAP為98.6%。

(3) YOLO v7-ECA網(wǎng)絡(luò)模型最佳權(quán)值文件大小為71.3 MB,單幅圖像檢測(cè)時(shí)間為28.9 ms,該網(wǎng)絡(luò)模型在保持較高精度的同時(shí)又能擁有較快的檢測(cè)速度,其網(wǎng)絡(luò)模型內(nèi)存消耗低,可進(jìn)一步實(shí)現(xiàn)網(wǎng)絡(luò)模型的遷移部署。