修春波 孫樂樂
(1.天津工業(yè)大學(xué)控制科學(xué)與工程學(xué)院,天津 300387;2.天津工業(yè)大學(xué)天津市電氣裝備智能控制重點實驗室,天津 300387)
農(nóng)業(yè)生產(chǎn)智能化技術(shù)的應(yīng)用可以有效提高生產(chǎn)效率、節(jié)約人工成本,在農(nóng)業(yè)生產(chǎn)中的多個領(lǐng)域得到廣泛應(yīng)用[1-3]。例如,采用深度學(xué)習(xí)技術(shù)可實現(xiàn)對馬鈴薯葉片病害情況的智能檢測[4]、病變的準(zhǔn)確分割[5]以及病害有效診斷[6],以此提高馬鈴薯種植生產(chǎn)效率。而馬鈴薯種植產(chǎn)業(yè)的首要環(huán)節(jié)是馬鈴薯的幼苗培育,馬鈴薯幼苗培育過程中的幼苗剪切操作由于工藝相對復(fù)雜,目前仍以人工操作為主,在幼苗剪切過程中容易出現(xiàn)細(xì)菌感染的情況,從而導(dǎo)致生產(chǎn)成本增加,且生產(chǎn)效率不高。如果采用自動育苗技術(shù)就能避免操作污染,提高育苗成活率,提高育苗栽培效率。馬鈴薯自動化育苗系統(tǒng)中的核心機構(gòu)為幼苗剪切裝置,可利用計算機視覺技術(shù)對馬鈴薯幼苗的葉芽進(jìn)行定位,從而確定剪切位置。由于葉芽在自然生長過程中大小、姿態(tài)具有隨機性,因此,相機所采集的圖像會出現(xiàn)葉芽與莖稈之間的遮擋情況。傳統(tǒng)的目標(biāo)識別與定位方法很難滿足實際工況場景的要求[7-9],目前鮮有技術(shù)成熟的馬鈴薯幼苗培育自動化系統(tǒng)應(yīng)用于實際生產(chǎn)中。
目前深度學(xué)習(xí)的快速發(fā)展為求解目標(biāo)識別與定位問題提供了新技術(shù)[10]。深度學(xué)習(xí)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)特征的自動選擇與提取,有效提高了特征提取的質(zhì)量和效率?;谀繕?biāo)識別與定位的原理,深度學(xué)習(xí)網(wǎng)絡(luò)大致可分為Two-stage和One-stage兩類檢測方法。Two-stage類檢測方法將目標(biāo)檢測過程分為2個階段,第1個階段在待檢測圖像中生成一系列樣本候選區(qū)域,第2個階段利用深度學(xué)習(xí)網(wǎng)絡(luò)對候選區(qū)域進(jìn)行分類識別,從而完成目標(biāo)檢測任務(wù)。Two-stage檢測方法的典型網(wǎng)絡(luò)有R-CNN網(wǎng)絡(luò)[11-12]、Fast R-CNN[13]、Faster R-CNN[14-16]等,這類方法通常具有較高的檢測精度,但也存在訓(xùn)練時間較長、檢測速度較慢等缺點。相比較而言,One-stage類檢測方法在目標(biāo)檢測過程中不需要產(chǎn)生候選框,而是將目標(biāo)邊框定位問題轉(zhuǎn)化為回歸問題進(jìn)行求解,典型的網(wǎng)絡(luò)有SSD[17-18]、YOLO系列[19-22]等網(wǎng)絡(luò),由于這類網(wǎng)絡(luò)能夠直接定位出目標(biāo)位置,因此通常具有較快的檢測速度,但目標(biāo)定位精度會受到一定的影響。在農(nóng)業(yè)生產(chǎn)中,基于深度學(xué)習(xí)的目標(biāo)檢測技術(shù)通常只能應(yīng)用于較大的水果目標(biāo)檢測識別中[23-24],而在馬鈴薯幼苗葉芽這類容易出現(xiàn)遮擋的復(fù)雜小目標(biāo)識別中應(yīng)用效果并不理想。
為了有效解決馬鈴薯幼苗的葉芽識別與定位問題,尤其提高對莖葉遮擋以及小葉芽目標(biāo)的識別準(zhǔn)確性,在YOLO v4網(wǎng)絡(luò)的基礎(chǔ)上,構(gòu)建改進(jìn)的目標(biāo)識別網(wǎng)絡(luò)。改進(jìn)的識別網(wǎng)絡(luò)通過使用基于深度可分離卷積的Res2Net模塊優(yōu)化特征提取部分的結(jié)構(gòu),利用擴張卷積構(gòu)建空間特征金字塔,實現(xiàn)各特征層輸出中特征圖的不同尺度感受野特征信息的有機融合,以豐富特征融合部分信息,從而保證網(wǎng)絡(luò)既具有一定的檢測速度,又具有較高的識別準(zhǔn)確性。
馬鈴薯自動育苗系統(tǒng)需要實現(xiàn)試管苗的傳送、試管苗裁剪等功能,在無塵、無菌、恒溫、恒濕的自動化生產(chǎn)車間中,能夠有效降低試管苗被細(xì)菌感染的風(fēng)險,提高育苗成活率。整個育苗生產(chǎn)工藝中,試管苗的自動剪切是核心技術(shù),為此,設(shè)計了馬鈴薯幼苗自動剪切樣機,如圖1所示。
馬鈴薯幼苗自動剪切樣機主要由剪切刀具、攝像頭、導(dǎo)軌、控制系統(tǒng)組成。其中攝像頭用于獲取馬鈴薯幼苗圖像,剪切刀具用于剪切馬鈴薯葉芽,導(dǎo)軌用于搭載刀具運動,控制系統(tǒng)用于控制導(dǎo)軌以及刀具運動。剪切平臺搭載具有剪切功能的刀具,待剪切試管苗由傳送機構(gòu)送至裁剪工位,利用攝像機采集試管苗圖像,采用基于深度學(xué)習(xí)的識別網(wǎng)絡(luò)實現(xiàn)葉芽識別與定位,機械運動平臺搭載刀具運動至剪切位置,利用氣動機構(gòu)驅(qū)動刀具實現(xiàn)幼苗剪切,待所有葉芽均完成剪切后,傳送機構(gòu)將其送出,完成剪切過程。
馬鈴薯自動剪切平臺利用培養(yǎng)液培育帶有葉芽的馬鈴薯單節(jié)莖段,生根發(fā)芽后再生成單株幼苗。在馬鈴薯育苗生產(chǎn)工藝中,要求各裁剪段至少保留一片葉芽,這樣才能確保試管苗成功繁殖。因此,葉芽位置的準(zhǔn)確識別與定位直接決定了育苗系統(tǒng)的生產(chǎn)效率及育苗成本。
為了實現(xiàn)葉芽的自動檢測,需要建立樣本數(shù)據(jù)集。圖像樣本采集于培養(yǎng)液中自主培育的冀張薯12號馬鈴薯幼苗。采用OV5640型攝像頭采集馬鈴薯幼苗圖像,圖像尺寸為2 592像素×1 944像素。將采集到的圖像分割為400幅單株幼苗樣本圖像,其中部分樣本如圖2所示。
由圖2可見,馬鈴薯幼苗由于自然生長導(dǎo)致葉芽形態(tài)各異、大小不一,且葉芽與稈莖之間存在遮擋,這對準(zhǔn)確識別葉芽位置造成了極大的困難。
為了提高識別的準(zhǔn)確性,采用圖像旋轉(zhuǎn)、亮度變化等數(shù)據(jù)增強技術(shù)將樣本圖像數(shù)量擴充至1 400幅,以此提高樣本的多樣性,改善識別網(wǎng)絡(luò)的泛化能力。部分?jǐn)?shù)據(jù)增強樣本圖像如圖3所示。
圖3 數(shù)據(jù)增強樣本圖像Fig.3 Data enhancement sample images
圖4 YOLO v4網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 Structure diagram of YOLO v4 network
使用LabelImg標(biāo)注軟件對樣本圖像中馬鈴薯葉芽位置進(jìn)行數(shù)據(jù)標(biāo)注,獲得樣本類別和坐標(biāo)信息,將數(shù)據(jù)樣本按照比例8∶1∶1劃分為訓(xùn)練集、驗證集和測試集。
YOLO v4網(wǎng)絡(luò)是YOLO系列網(wǎng)絡(luò)中性能較好的目標(biāo)檢測與識別網(wǎng)絡(luò),其主要結(jié)構(gòu)如圖4所示。
圖4中,YOLO v4網(wǎng)絡(luò)結(jié)構(gòu)主要包括特征提取(Backbone)、頸部特征融合(Neck)和檢測頭(Head)3部分。特征提取部分的CSPDarknet53由5個Resblock_body模塊組成,各Resblock_body模塊中包含不同數(shù)量的Residual Block結(jié)構(gòu),并且特征提取部分的最后一層特征層輸出中加入了SPP模塊,用來融合多尺度的感受野信息,從而分離出顯著的上下文特征;頸部的PANet[25]用于實現(xiàn)特征提取部分中的特征信息從深層到淺層、再從淺層到深層的雙向融合。檢測頭部分用于獲取3個尺度的輸出特征,并對目標(biāo)進(jìn)行檢測,獲得目標(biāo)的類別信息以及位置信息。
YOLO v4網(wǎng)絡(luò)在對大中型顯著分離的目標(biāo)識別過程中具有良好的識別性能,但由于馬鈴薯幼苗葉芽存在目標(biāo)小、遮擋嚴(yán)重等情況,因此直接利用YOLO v4網(wǎng)絡(luò)進(jìn)行馬鈴薯幼苗葉芽識別的性能并不理想,為此對YOLO v4網(wǎng)絡(luò)在獲得細(xì)粒度特征信息和準(zhǔn)確的位置信息兩方面進(jìn)行改進(jìn),使其適應(yīng)馬鈴薯幼苗葉芽的檢測識別。
2.2.1特征提取部分改進(jìn)
YOLO v4網(wǎng)絡(luò)中的Residual Block結(jié)構(gòu)借鑒了ResNet結(jié)構(gòu)的設(shè)計思想。ResNet結(jié)構(gòu)能夠有效避免因網(wǎng)絡(luò)深度增加而導(dǎo)致的梯度消失或退化問題。在利用YOLO v4網(wǎng)絡(luò)對馬鈴薯幼苗的葉芽進(jìn)行檢測識別的過程中,會出現(xiàn)一定數(shù)量的漏檢、錯檢等問題。在ResNet的基礎(chǔ)上提出的Res2Net結(jié)構(gòu)[26-27]利用分層的殘差連接,在增加每個網(wǎng)絡(luò)層的感受視野同時,能夠在細(xì)粒度層次上表示特征信息,從而能夠提取葉芽更多的細(xì)小特征信息,減少漏檢、錯檢的情況。ResNet及Res2Net結(jié)構(gòu)如圖5所示。
圖5 ResNet及Res2Net的結(jié)構(gòu)圖Fig.5 Structure diagrams of ResNet and Res2Net
ResNet主要由Shortcut和Mainconv兩部分組成。Shortcut部分利用恒等映射將輸入特征圖生成殘差邊,Mainconv作為特征提取部分由2個1×1卷積層和1個3×3卷積層組成,利用1×1卷積層對輸入特征圖通道進(jìn)行降維,利用3×3卷積層對降維后的特征圖進(jìn)行特征提取,再利用1×1卷積層將提取特征后的特征圖通道恢復(fù)到輸入特征圖的維度,以實現(xiàn)提取的特征信息與殘差邊特征信息的融合。
圖5b為Res2Net結(jié)構(gòu),其保留了ResNet中的2個1×1卷積層,對3×3卷積層進(jìn)行了改造。輸入特征圖經(jīng)過1×1卷積層降維后分成4個子特征圖,每個子特征圖表示為xi(i=1,2,3,4),其中子特征圖x1不進(jìn)行3×3卷積操作,直接進(jìn)行子特征圖輸出,將輸出特征圖記為y1,其他子特征圖xi(i=2,3,4)均進(jìn)行3×3卷積操作,記作Ki(i=2,3,4),將其輸出特征圖記作yi(i=2,3,4),子特征圖xi和前一個輸出特征圖yi-1相加后進(jìn)行3×3卷積操作,通過“Concat”操作對輸出的各部分特征圖yi進(jìn)行拼接操作。除y1外,每個輸出特征圖yi均融合其前一個輸出特征圖的特征信息,每個輸出特征圖的感受野得到增大的同時,各輸出特征圖利用“Concat”操作進(jìn)行拼接,也融合了葉芽多尺度的細(xì)粒度特征信息。
為了減少網(wǎng)絡(luò)的計算量,構(gòu)建了基于深度可分離卷積的Res2Net模塊,即將Res2Net模塊中的3×3卷積替換為深度可分離卷積。深度可分離卷積[28]由逐通道卷積和逐點卷積兩部分組成。圖6為輸入輸出通道數(shù)均為3的深度可分離卷積操作示意圖。
圖6 深度可分離卷積Fig.6 Depthwise separable convolution
圖6中,逐通道卷積對每個輸入通道的特征圖進(jìn)行3×3卷積操作,生成與輸入通道數(shù)相同的特征圖。逐點卷積對逐通道卷積生成的特征圖進(jìn)行1×1卷積操作,生成輸出特征圖。
對于傳統(tǒng)卷積操作,如果輸入通道數(shù)為N,輸出通道數(shù)為C,卷積核尺寸為K,則其計算量O1為
O1=K×K×N×C
(1)
而對于深度可分離卷積操作,其計算量O2為
O2=K×K×N+1×1×N×C
(2)
由此可見,當(dāng)K與C均不為1時,深度可分離卷積可以有效減少傳統(tǒng)卷積的計算量。
因此,為了降低葉芽檢測識別過程中的漏檢率和錯檢率,并減少網(wǎng)絡(luò)模型的計算參數(shù),采用深度可分離卷積替換Res2Net模塊中的3×3卷積,同時采用改進(jìn)后的Res2Net模塊替換CSPDarknet 53中的Residual Block結(jié)構(gòu),在細(xì)粒度層次上表示特征信息,獲得葉芽細(xì)小特征信息,從而提高葉芽識別的準(zhǔn)確性。
2.2.2D-SPP模塊嵌入設(shè)計
YOLO v4網(wǎng)絡(luò)在特征提取部分的最后一個特征層輸出中使用了SPP模塊[29],SPP模塊的結(jié)構(gòu)如圖7所示。
圖7 SPP模塊結(jié)構(gòu)圖Fig.7 Structure diagram of SPP module
圖7中,特征圖經(jīng)過卷積操作后分別進(jìn)行核尺寸為1×1、5×5、9×9、13×13的最大池化操作,然后通過“Concat”操作將池化操作后的特征圖進(jìn)行拼接,輸出通道數(shù)變?yōu)樵瓉硗ǖ罃?shù)的4倍。
SPP模塊可以獲得局部感受野以及近似全局感受野的特征信息,融合不同尺度感受野的特征信息,豐富特征圖的表達(dá)能力。但輸入的特征圖經(jīng)過SPP模塊最大池化操作會丟失目標(biāo)的位置信息,為此,采用擴張卷積[30]操作替換SPP模塊中的最大池化操作,在保持原感受野不變的情況下,確保目標(biāo)位置信息不丟失。
擴張卷積是在標(biāo)準(zhǔn)卷積核中注入空洞,增加了一個參數(shù)用來定義卷積的擴張率,即卷積核之間注入的空洞數(shù)量,在不增加卷積核數(shù)量的情況下可以獲得局部或者近似全局的感受野信息,以獲得更多的目標(biāo)位置信息??斩淳矸e核尺寸k*為
k*=(k-1)×r+1
(3)
式中k——擴張前卷積核尺寸
r——擴張率
為了能夠?qū)崿F(xiàn)擴張卷積操作,k的最小值為3。此外,根據(jù)特征圖尺寸選擇合適的擴張率能夠獲得近似全局的感受野。
所設(shè)計的基于擴張卷積的SPP模塊命名為D-SPP模塊,其結(jié)構(gòu)圖如圖8所示。
圖8 D-SPP模塊結(jié)構(gòu)圖Fig.8 Structure diagram of D-SPP module
圖8中,D-SPP模塊采用擴張率分別為r1=2、r2=4、r3=6的3×3擴張卷積操作替換了SPP模塊中的最大池化操作,可獲得5×5、9×9的局部感受野以及13×13的全局感受野。這樣,D-SPP模塊的感受野與原SPP模塊的感受野相同,并且避免了目標(biāo)位置信息的丟失。
由于YOLO v4特征提取部分輸出的3個不同深度的特征層中,淺層特征層的特征圖具有較少的語義信息,但目標(biāo)位置準(zhǔn)確,而深層特征層的特征圖具有較多的語義信息,但目標(biāo)位置不夠準(zhǔn)確。為此,將D-SPP模塊嵌入到52×52和26×26的特征圖所在特征層輸出中,融合不同感受野的目標(biāo)位置信息,以提高目標(biāo)定位的準(zhǔn)確性。
將擴張率分別為r1=8、r2=16、r3=24的D-SPP模塊嵌入到52×52的特征圖所在特征層的輸出中,可獲得17×17、33×33的局部感受野和49×49的近似全局感受野;將擴張率分別為r1=4、r2=8、r3=12的D-SPP模塊嵌入到26×26的特征圖所在特征層輸出中,可獲得9×9、17×17的局部感受野以及25×25的近似全局感受野。
D-SPP模塊在3個特征層輸出中的具體位置如圖9所示。
圖9 D-SPP模塊嵌入到網(wǎng)絡(luò)中的位置Fig.9 Location of D-SPP module in network
識別檢測網(wǎng)絡(luò)在服務(wù)器上完成離線訓(xùn)練,服務(wù)器處理器為Intel(R) Core(TM) i7-7820x CPU,顯卡型號為GeForce RTX 2080Ti 11GB,識別檢測網(wǎng)絡(luò)在線工作計算機處理器為Intel(R) Core(TM) i5-8300H CPU,顯卡型號為GeForce GTX 1050Ti 4GB,采用Python 3.6、Pytorch 1.4.0深度學(xué)習(xí)框架完成算法的設(shè)計。
采用本文方法對馬鈴薯幼苗葉芽進(jìn)行檢測識別,并與Faster R-CNN網(wǎng)絡(luò)、YOLO v3網(wǎng)絡(luò)以及YOLO v4網(wǎng)絡(luò)進(jìn)行對比分析。圖10給出了葉芽檢測與識別結(jié)果對比圖。
圖10 葉芽大小差異顯著情況下不同網(wǎng)絡(luò)的識別與定位結(jié)果Fig.10 Recognition and localization results of different networks under significant differences in leaf bud size
圖10中,待檢測的葉芽大小差異顯著。Faster R-CNN網(wǎng)絡(luò)可以識別與定位出所有的葉芽,但存在較多重復(fù)檢測的葉芽目標(biāo);YOLO v3網(wǎng)絡(luò)和YOLO v4網(wǎng)絡(luò)可以檢測出大部分葉芽位置,但右上側(cè)的小葉芽存在漏檢情況。本文所設(shè)計的識別網(wǎng)絡(luò)能夠準(zhǔn)確識別和定位出所有葉芽位置,同時無重復(fù)檢測,避免了小葉芽漏檢情況的發(fā)生。
圖11為稈莖遮擋情況下的葉芽識別定位結(jié)果。
圖11 葉芽稈莖遮擋情況下不同網(wǎng)絡(luò)的葉芽識別定位結(jié)果Fig.11 Recognition and localization results of different networks under leaf buds stem shading
圖11中,部分待檢測的葉芽存在嚴(yán)重的遮擋情況。Faster R-CNN網(wǎng)絡(luò)可以檢測識別出所有葉芽,但卻存在葉芽錯檢以及對遮擋葉芽重復(fù)檢測的情況;YOLO v3網(wǎng)絡(luò)與YOLO v4網(wǎng)絡(luò)對遮擋葉芽檢測均存在漏檢情況;本文所設(shè)計的識別網(wǎng)絡(luò)可以正確識別定位出所有葉芽位置,且對遮擋的葉芽檢測時無重復(fù)檢測和漏檢情況發(fā)生,有效提高了葉芽檢測的準(zhǔn)確率。
目標(biāo)檢測與識別中常用的性能評價指標(biāo)包括精確率(Precision,P)、召回率(Recall,R)、綜合評價指標(biāo)F1值以及目標(biāo)類別的平均精確率(Average precision,AP)。各網(wǎng)絡(luò)的性能指標(biāo)對比結(jié)果如表1所示。
表1 檢測網(wǎng)絡(luò)的性能指標(biāo)對比Tab.1 Comparison of performance metrics for detection networks
由表1可見,在馬鈴薯幼苗葉芽識別檢測中,YOLO v3、YOLO v4網(wǎng)絡(luò)在葉芽檢測中的性能與Faster R-CNN網(wǎng)絡(luò)相比有了較大的改善,但精確率和平均精確率仍較低。相比而言,本文方法的各項識別性能均為最優(yōu),其中,精確率比Faster R-CNN網(wǎng)絡(luò)提高了60.68%,比YOLO v3網(wǎng)絡(luò)提高了8.93%,比YOLO v4網(wǎng)絡(luò)提高了5.60%;召回率比Faster R-CNN網(wǎng)絡(luò)提高了5.94%,比YOLO v3網(wǎng)絡(luò)提高了17.65%,比YOLO v4網(wǎng)絡(luò)提高了4.97%;F1值比Faster R-CNN網(wǎng)絡(luò)提高了31.94%,比YOLO v3網(wǎng)絡(luò)提高了13.10%,比YOLO v4網(wǎng)絡(luò)提高了4.40%;平均精確率比Faster R-CNN網(wǎng)絡(luò)提高了16.09%,比YOLO v3網(wǎng)絡(luò)提高了10.10%,比YOLO v4網(wǎng)絡(luò)提高了3.54%。
本文方法的單次訓(xùn)練時間和單幀圖像檢測時間略高于YOLO v4、YOLO v3網(wǎng)絡(luò)。由于識別網(wǎng)絡(luò)采用離線訓(xùn)練、在線檢測的方式,因此訓(xùn)練時間的長短不影響網(wǎng)絡(luò)的應(yīng)用性能,而本文方法單幀圖像的檢測時間小于1 s,幼苗剪切系統(tǒng)允許的識別時間為1 s,因此,網(wǎng)絡(luò)的檢測速度仍能滿足幼苗在線剪切工藝的要求。
101 5mm 及以下 cN0 甲狀腺乳頭狀微小癌中央?yún)^(qū)淋巴結(jié)轉(zhuǎn)移規(guī)律及危險因素分析 于,王 強,查斯洛,饒文勝,張 偉,仇 明,單成祥
圖12 4種網(wǎng)絡(luò)的損失值變化曲線Fig.12 Loss value change curves of four network models
圖12為不同識別網(wǎng)絡(luò)的損失值變化曲線。圖12中,YOLO v3和YOLO v4網(wǎng)絡(luò)在前20個迭代周期損失值下降迅速,而在20個迭代周期之后損失值逐漸趨于收斂,本文方法在前15個迭代周期損失值下降迅速,F(xiàn)aster R-CNN網(wǎng)絡(luò)的損失值在0~6之間變化,其放大圖如圖13所示。
圖13 Faster R-CNN網(wǎng)絡(luò)的損失值變化曲線Fig.13 Loss value change curve of Faster R-CNN network
由圖13可知,F(xiàn)aster R-CNN網(wǎng)絡(luò)的損失值在訓(xùn)練過程的前50個迭代周期內(nèi)下降迅速,50個迭代周期后損失值趨于收斂。
由上述對比可見,本文識別網(wǎng)絡(luò)的損失值可在更少的訓(xùn)練周期內(nèi)趨于收斂。圖14為各檢測方法的精確率-召回率曲線。
圖14 不同網(wǎng)絡(luò)的精確率-召回率曲線Fig.14 Precision-recall curves of different networks
圖14中曲線與坐標(biāo)軸所圍面積為平均精確率。平均精確率越高,網(wǎng)絡(luò)對目標(biāo)類別的檢測性能越好,本文網(wǎng)絡(luò)的平均精確率大于其它3種網(wǎng)絡(luò),表明本文網(wǎng)絡(luò)對馬鈴薯葉芽檢測的性能優(yōu)于其它3種網(wǎng)絡(luò)。
由此可見,本文網(wǎng)絡(luò)利用基于深度可分離卷積的Res2Net模塊替換特征提取部分中的Residual Block結(jié)構(gòu),同時在特征提取部分的3個特征層輸出中嵌入D-SPP模塊,能夠有效提升網(wǎng)絡(luò)識別與定位精度。
由于本文方法在YOLO v4的基礎(chǔ)上采用了多個改進(jìn)策略,為了驗證所采用的各項改進(jìn)策略的有效性,設(shè)計了消融實驗進(jìn)行對比研究。
模型1為YOLO v4網(wǎng)絡(luò),模型2為將YOLO v4特征提取部分的Residual Block結(jié)構(gòu)替換為基于深度可分離卷積的Res2Net模塊后得到的網(wǎng)絡(luò)。模型3為將YOLO v4的13×13特征圖所在特征層輸出中的SPP模塊替換為D-SPP模塊,同時在26×26和52×52特征圖所在特征層輸出中嵌入D-SPP模塊后得到的網(wǎng)絡(luò)。模型4為本文網(wǎng)絡(luò)。各網(wǎng)絡(luò)模型均訓(xùn)練150個周期,所得到的損失值變化曲線如圖15所示。
圖15 消融實驗損失值變化曲線Fig.15 Loss value change curve of ablation experiment
圖15中,消融實驗各網(wǎng)絡(luò)模型在訓(xùn)練過程的前20個迭代周期內(nèi)損失值快速下降,之后逐漸趨于收斂。消融實驗的性能對比結(jié)果如表2所示,表中“√”表示在YOLO v4網(wǎng)絡(luò)中添加該模塊。
表2 消融實驗結(jié)果Tab.2 Results of ablation experiment
由表2可見,將特征提取部分中的Residual Block結(jié)構(gòu)替換為基于深度可分離卷積的Res2Net模塊,在細(xì)粒度層次上表示特征信息,能更好地提取葉芽的細(xì)小特征,精確率較YOLO v4網(wǎng)絡(luò)提高了1.54%,召回率較YOLO v4網(wǎng)絡(luò)提高了2.19%,F(xiàn)1值較YOLO v4網(wǎng)絡(luò)提高了1.10%,平均精確率較YOLO v4網(wǎng)絡(luò)提高了1.67%,有效改善了網(wǎng)絡(luò)對于小目標(biāo)的檢測性能。在3個特征層輸出中嵌入和替換D-SPP模塊,融合了局部以及近似全局的感受野的目標(biāo)位置信息,對葉芽的識別定位更加準(zhǔn)確,精確率較YOLO v4網(wǎng)絡(luò)提高了1.92%,召回率較YOLO v4網(wǎng)絡(luò)提高了3.45%,F(xiàn)1值較YOLO v4網(wǎng)絡(luò)提高了2.20%,平均精確率較YOLO v4網(wǎng)絡(luò)提高了1.62%,增加了網(wǎng)絡(luò)對馬鈴薯葉芽定位的準(zhǔn)確性。將上述兩種改進(jìn)方法同時融合到基準(zhǔn)網(wǎng)絡(luò)中,能夠進(jìn)一步提升馬鈴薯葉芽的識別與定位結(jié)果的準(zhǔn)確性,精確率較YOLO v4網(wǎng)絡(luò)提高了5.60%,召回率較YOLO v4網(wǎng)絡(luò)提高了4.97%,F(xiàn)1值較YOLO v4網(wǎng)絡(luò)提高了4.40%,平均精確率較YOLO v4網(wǎng)絡(luò)提升了3.54%,由此驗證了本文改進(jìn)策略的有效性。
(1)針對馬鈴薯幼苗葉芽形態(tài)各異、大小不一,存在葉莖遮擋與覆蓋等目標(biāo)檢測難題,結(jié)合基于深度可分離卷積的Res2Net模塊以及基于擴張卷積的D-SPP模塊,構(gòu)建了以YOLO v4網(wǎng)絡(luò)為基礎(chǔ)網(wǎng)絡(luò)的馬鈴薯幼苗葉芽檢測模型,用于實現(xiàn)馬鈴薯幼苗葉芽的有效識別,并采用消融實驗完成了改進(jìn)策略的有效性驗證分析。
(2)實驗結(jié)果表明,本文設(shè)計的識別網(wǎng)絡(luò)對馬鈴薯葉芽檢測的精確率為95.72%,召回率為94.91%,F(xiàn)1值為95%,平均精確率為96.03%。與Faster R-CNN、YOLO v3、YOLO v4網(wǎng)絡(luò)相比,本文方法對馬鈴薯葉芽檢測具有更好的識別和定位性能。
(3)本文所設(shè)計的網(wǎng)絡(luò)采用離線訓(xùn)練、在線檢測的工作方式,檢測識別速度滿足馬鈴薯自動化育苗剪切系統(tǒng)的工藝要求,能夠有效提高馬鈴薯育苗生產(chǎn)的工作效率。