亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于改進YOLO v5s的果園番茄采摘檢測方法

        2024-02-14 00:00:00楊國亮盛楊楊洪鑫芳余帥英張佳琦
        江蘇農(nóng)業(yè)科學 2024年24期

        摘要:針對復雜果園環(huán)境下,不同生長周期的番茄容易受葉片、藤蔓的遮擋,以及多果實之間相互遮擋進而導致的誤檢、漏檢、難檢問題,提出了一種基于改進YOLO v5s的番茄生長周期采摘實時檢測方法。首先,設(shè)計多尺度反向自適應(yīng)注意力模塊RAAM(Reversed Adaptive Attention Module),用于解決原模型連續(xù)下采樣丟失上下文信息的問題,并可以提升特征圖分辨率用于高層語義信息的加權(quán)融合。其次,在Neck中設(shè)計C3DS-ST(C3 DySnakeConv-Swin Transformer)模塊替換原有C3,增大局部區(qū)域坐標特征感知能力,適應(yīng)整體番茄結(jié)構(gòu)形狀特征。最后,設(shè)計新的邊框損失函數(shù)SWD_Loss,結(jié)合BiFormer注意力機制,使網(wǎng)絡(luò)更加關(guān)注敏感區(qū)域,提高模型對遮擋部分的漏檢率和多果實遮擋的檢測精度。試驗結(jié)果表明,改進后的模型在測試集上對番茄檢測平均精度達到93.7%,相比于原模型提升2.1%,對圖片中遮擋部分效果明顯改善。同時,檢測速度達到了50 幀/s,具有非常良好的應(yīng)用前景。

        關(guān)鍵詞:番茄檢測;自適應(yīng)RAAM模塊;C3DS-ST;SWD_Loss;BiFormer

        中圖分類號:TP391.41" 文獻標志碼:A

        文章編號:1002-1302(2024)24-0187-09

        收稿日期:2023-12-07

        基金項目:江西省教育廳科技計劃項目(編號:GJJ210861、GJJ200879)。

        作者簡介:楊國亮(1973—),男,江西宜春人,博士,教授,主要從事人工智能和模式識別研究。E-mail:ygliang30@126.com。

        通信作者:盛楊楊,碩士研究生,主要從事人工智能和模式識別研究。E-mail:syy505093@163.com。

        番茄是我國重要的蔬菜作物,其產(chǎn)量及需求量都相當巨大[1。番茄采摘目前仍以人工為主,工作強度大且成本高。果蔬采摘機器人也是近年來人工智能領(lǐng)域的熱門話題,我國也相繼開發(fā)出草莓、蘋果等農(nóng)業(yè)采摘機器人2-3。精準的識別和定位是順利采摘的前提,提高識別精度可有效減少未達到采摘標準的次數(shù),提升采摘機器人的工作效率。在實際采摘條件下,番茄生長條件復雜,存在著枝葉遮擋、大小果重疊等多種干擾因素。然而,對于未成熟番茄誤采摘會影響采摘效率,對成熟番茄不及時采摘會影響到果實品質(zhì)和經(jīng)濟效益。所以,提高番茄的識別精度和速度,對農(nóng)園采摘和果蔬實時運輸都有十分重要的意義。

        近年來隨著計算機視覺技術(shù)的發(fā)展,深度學習在農(nóng)業(yè)發(fā)展方面也隨之進步,并展示出巨大的優(yōu)越性[4-5。傳統(tǒng)的目標檢測算法可以分為2種:一種是one-stage目標檢測法,其檢測過程不產(chǎn)生候選框,直接輸出分類結(jié)果和定位信息,如YOLO、SSD等[6-7。此類模型大多參數(shù)量少,識別速度較快,可以便捷地部署到機器人攝像頭、智能手機等移動終端。王勇等針對不同成熟度蘋果改進YOLO v5,其檢測精度達到93.6%[8;Fan等針對夜間草莓誤摘、識別精度低,提出了一種結(jié)合暗通道增強改進YOLO v5算法[9。另一種是two-stage目標檢測法。該方法先對圖像計算出候選區(qū)域,然后再對候選框中的目標進行分類,如R-CNN、Faster R-CNN等[10。此類算法模型參數(shù)量大,識別速度較慢,無法滿足實際生產(chǎn)中實時性檢測的需求,但是識別準確率較高。張文靜等提出改進Faster R-CNN檢測算法,單樣本圖像處理時間為245 ms[11。岳有軍等提出改進的Cascade R-CNN網(wǎng)絡(luò),用于增強對成熟綠果番茄與其他不同成熟階段番茄的區(qū)分,識別精度達到97.75%[12。

        考慮到番茄生長環(huán)境復雜,需要對采摘新鮮度、品質(zhì)實時監(jiān)測等因素,所以在番茄目標檢測時要重視其精度和速度。而一步走算法能滿足實時性要求。本研究將基于YOLO v5s算法進行改進,在骨干網(wǎng)絡(luò)中融合多尺度反向自適應(yīng)注意力模塊RAAM,用于提升深層網(wǎng)絡(luò)中特征圖像分辨率使其更好地傳遞給后續(xù)網(wǎng)絡(luò),可有效提高網(wǎng)絡(luò)特征融合泛化能力;將頸部網(wǎng)絡(luò)原有結(jié)構(gòu) C3 替換為C3DS-ST模塊,完成對局部番茄遮擋特征的充分提取,通過坐標映射學習方法讓局部區(qū)域適應(yīng)整體番茄結(jié)構(gòu)特征,可有效解決自然果園中由于多種因素遮擋造成的像素少、輪廓紋理不充分等問題;并引入BiFormer注意力機制,改進邊框損失函數(shù)SWD加強對預測框的約束能力。研究結(jié)果表明改進后的模型不僅提升了檢測精度,還能有效解決生產(chǎn)實際中由于番茄果實扎堆密集、大小果不一、枝葉藤蔓遮擋產(chǎn)生的漏檢、難檢等問題。

        1 材料與方法

        1.1 數(shù)據(jù)集

        本試驗使用的番茄影像數(shù)據(jù)集主要來源于網(wǎng)絡(luò)公開數(shù)據(jù)集和大棚實地拍攝。為了符合番茄生長的真實環(huán)境和采摘遇到的實際問題,采集數(shù)據(jù)集時不僅關(guān)注了不同生長時期的各種圖像,例如成熟、未成熟、過熟、腐爛等多個狀態(tài),而且還對密集、遮擋等情況進行收集(圖1)。使用Labellmg工具對圖像標注時,盡可能將背景信息減少到最小,保證數(shù)據(jù)的準確性,還原實際生活中果園采摘的真實情況。經(jīng)過處理后,得到圖像3 251張,將數(shù)據(jù)集按照8 ∶2比例劃分,其中2 610張作為訓練集,641張作為測試集。

        1.2 YOLO v5s網(wǎng)絡(luò)模型

        YOLO v5s算法是由Ultralytics公司于2020年6月公開發(fā)布,主要包括輸入端、骨干網(wǎng)絡(luò)(Backbone)、頸部網(wǎng)絡(luò)(Neck)以及檢測層(Head)4個部分。輸入端通常由 Mosaic 數(shù)據(jù)增強、自適應(yīng)錨框計算、自適應(yīng)圖片縮放3部分組成。骨干網(wǎng)絡(luò)主要由卷積(Conv)、瓶頸(BottleneckCSP)、C3和空間金字塔(SPPF)構(gòu)成,負責對圖像從多方面提取特征。頸部網(wǎng)絡(luò)使用特征金字塔網(wǎng)絡(luò)(FPN)和金字塔注意力網(wǎng)絡(luò)(PANet),用于增強圖像特征的融合。檢測層包括GIoU_Loss損失函數(shù)和非極大值抑制(NMS)來進行分類預測。

        1.3 YOLO v5s改進模型

        針對YOLO v5s存在小目標、遮擋對象的漏檢誤檢問題,本研究對其模型進行了結(jié)構(gòu)改造,重新設(shè)計了RAAM、C3DS-ST等模塊,并將其用于果園番茄檢測,改進后模型如圖2所示。

        1.3.1 多尺度反向自適應(yīng)注意力模塊(RAAM)

        目前,多尺度特征融合已經(jīng)廣泛應(yīng)用于目標檢測任務(wù),用來提高多尺度目標的檢測性能和識別精度。其中,特征金字塔(feature pyramid network,F(xiàn)PN)是最常見的用于改善多層信息的特征融合網(wǎng)絡(luò)。但其最明顯的缺點就是過于關(guān)注底層信息提取和優(yōu)化,經(jīng)過多層卷積后隨著通道數(shù)減少會丟失大量值得關(guān)注的信息。為了緩解這一問題,Wang等提出了自適應(yīng)注意力模塊(adaptive attention module,AAM)[13。原文中當輸入圖像經(jīng)過多層卷積后生成了特征圖C5,它將作為輸入傳遞給AAM。首先,通過自適應(yīng)池化層(下采樣因子為αi)會獲得3個不同尺度的特征圖,然后將他們縮放到同一大?。–×W×H)進行拼接得到空間權(quán)值圖。其中,C、H、W分別表示特征圖通道數(shù)、高度以及寬度。最后將得到的空間權(quán)值圖與之前通道融合后的輸出特征圖進行矩陣乘法,將他們各自分離融合到C5特征圖,聚合特征得到最后輸出P5。雖然原作者提出的AAM模塊很大程度上緩解了由于特征通道數(shù)減少所造成的信息丟失問題,并通過自適應(yīng)池化層豐富了多尺度信息維度,但是由于是低維度提取,得到的3種特征圖包含了大量淺層信息,這會對后續(xù)網(wǎng)絡(luò)提取的信息造成特征重疊和干擾。因此,這個方案對常規(guī)對象檢測有所提升,但是對小目標、輪廓不清晰的遮擋部分并未產(chǎn)生良好的效果。因為這些目標本身在圖像中就已經(jīng)存在像素少、紋理缺失、模糊等問題,提取特征圖C1到C5過程中,網(wǎng)絡(luò)經(jīng)過連續(xù)下采樣提取到C5時輸出尺度已經(jīng)很小,繼續(xù)下采樣獲得的特征圖分辨率低、信息丟失嚴重。

        本研究參考Caballero等提出的方法對AAM模塊重新設(shè)計。Caballero等提出一種新的高效亞像素卷積(sub-pixel conv)網(wǎng)絡(luò)(圖3)[14,可以有效地將低分辨率圖像恢復到高分辨率,緩解低通濾波和下采樣造成的高頻信息丟失;并且加入雙層路由注意力機制(BiFormer Attention)對輸出特征圖進行加權(quán)融合,可以更好地提升網(wǎng)絡(luò)對敏感區(qū)域的關(guān)注,抑制上下層無效信息的干擾。因為亞像素卷積網(wǎng)絡(luò)是將不同尺度特征圖進行上采樣操作,剛好與AAM中下采樣池化相反,因此改進后的模塊稱為反向自適應(yīng)注意力模塊RAAM(Reversed Adaptive Attention Module),其模型結(jié)構(gòu)如圖4所示。

        首先由輸入C5通過亞像素卷積層上采樣(上采樣因子為βi)得到3組不同分辨率的特征圖(Feature map-i),特征圖尺寸(Ci,Hi,Wi)計算公式如下所示。經(jīng)過對比試驗當上采樣因子βi取(0.5,1.5,2)時效果最佳。

        Ci=Cβ2i;

        Hi=βi×H;

        Wi=βi×W;(1)

        3種不同尺度的特征圖再經(jīng)過1×1卷積將尺寸還原到(C×H×W),隨后沿通道維度進行拼接。然后引入BiFormer Attention模塊對有效信息進行增強,過濾冗余信息,最后分解成3個尺度都為(C×H×W)的特征圖與初始輸入C5進行矩陣相加得到最后的特征映射P5。新的RAAM模塊通過在網(wǎng)絡(luò)深層使用亞像素卷積網(wǎng)絡(luò)進行上采樣,可以有效解決因持續(xù)下采樣通道數(shù)減少,圖像中小目標以及局部遮擋區(qū)域像素點少產(chǎn)生的信息丟失、像素模糊等問題,生成高分辨率特征圖傳遞給后續(xù)網(wǎng)絡(luò)。

        1.3.2 C3DS-ST模塊

        Qi等提出了一種動態(tài)蛇形卷積(dynamic snake convolution,DSConv),通過自適應(yīng)聚焦細長和彎曲的局部結(jié)構(gòu)來準確捕捉毛細血管等管狀結(jié)構(gòu)的分割特征[15。在實際生長環(huán)境中番茄由于果實、枝葉遮擋從而導致漏檢,是因為這些目標局部結(jié)構(gòu)脆弱和全局形態(tài)缺失難以被模型所關(guān)注,其共同特征就是在圖像中所占的比例很小,像素組成有限且難以捕捉。因此,迫切需要增強對局部影像結(jié)構(gòu)的感知?;诖?,本研究設(shè)計 C3DS-ST 模塊用于解決這一問題,其結(jié)構(gòu)如圖5所示。其中,DSConv是一種可變形卷積核,能夠根據(jù)輸入的大量番茄特征映射學習變形,動態(tài)地感知番茄的幾何特征,更好地捕捉局部番茄的關(guān)鍵坐標特征,擴大自身感受野,以適應(yīng)實際環(huán)境中番茄形態(tài)多變的結(jié)構(gòu)(圖6)。

        其中對于標準二維卷積坐標為K,中心坐標為Ki=(xi,yi),膨脹系數(shù)為1的3×3的卷積核可以表示為:

        K=[(x-1,y-1),(x-1,y),…,(x+1,y+1)]。(2)

        采用圖6-a中的迭代策略,對每個待處理的目標依次觀察其位置。以坐標軸方向為例,K中每個網(wǎng)格具體坐標表示為:Ki±c=(xi±c,yi±c),其中c=(1,2,3,4)表示與中心網(wǎng)格坐標的水平距離,那么每個網(wǎng)格坐標Ki±c的選擇可以看作是對中心坐標Ki的一個累積過程。從中心位置Ki開始,下一步的位置取決于前一個網(wǎng)格的坐標,例如Ki+1與Ki相比,實際只增加了一個偏移量Δ={δ|δ[-1,1]},從而確保卷積符合線性結(jié)構(gòu)特征。圖6-b在x軸、y軸方向表示為:

        Ki±c=(xi+c,yi+c)=(xi+c,yi+∑i+ciΔy)

        (xi-c,yi-c)=(xi-c,yi+∑ii-cΔy);(3)

        Kj±c=(xj+c,yj+c)=(xj+∑j+cjΔx,yj+c)

        (xj-c,yj-c)=(xj+∑jj-cΔx,yi-c)。(4)

        因為偏移量Δ通常是小數(shù),所以雙線性插值可以表示為:

        K=KK′B(K′,K)·K′;(5)

        B(K,K′)=b(Kx,Kx′)·b(Ky,Ky′)。(6)

        式中:K表示分數(shù)階位置,K′枚舉了所有積分空間位置,B表示雙線性插值。從圖6-b中可以直觀地看到經(jīng)過C3DS-ST模塊,卷積可以覆蓋9×9的感受野范圍,更好地感知番茄遮擋區(qū)域的局部關(guān)鍵信息,以適應(yīng)整體番茄的形狀結(jié)構(gòu)特征。同時為增強不同成熟度番茄的紋理特征差異,提升模型泛化能力,引入Swin Transformer模型中的Swin Transformer Block模塊,該模塊在保留原C3融合殘差特征基礎(chǔ)上,可以進一步對輸入特征圖進行獨立窗口劃分,在各自窗口內(nèi)獨立計算以節(jié)省運算量,之后采用滑動劃分方式實現(xiàn)跨窗口之間的特征信息交換,可以增強不同成熟度番茄鄰域間像素的紋理特征交互能力。

        1.3.3 BiFormer注意力機制

        本研究在主干網(wǎng)絡(luò)末端引入雙層路由注意力機制(Bi-level routing attention transformer,BiFormer),其結(jié)構(gòu)如圖7所示。BiFormer是一種新的動態(tài)稀疏注意力,通過雙層路由可以靈活地為鍵值對(Key-value pairs,K-V)提供算力分配和內(nèi)容感知,動態(tài)查詢最相關(guān)K-V的一部分,過濾大量不相關(guān)的K-V從而提升計算效率。BiFormer注意力機制由4階段金字塔構(gòu)成,依次重疊使用連續(xù)變換特征,特征圖尺寸依次變?yōu)橹暗?2iH×12iW×2jC(i=2,3,4,5;j=0,1,2,3)。在每個BiFormer Block模塊中,BRA是核心構(gòu)建塊,其結(jié)構(gòu)如圖8所示。

        工作流程主要分3步實現(xiàn),第一步將輸入特征圖構(gòu)建成區(qū)域級有向圖,經(jīng)過變形操作(reshape)將二維特征圖(X∈RH×W×C )完成線性映射Q、K、V:

        Q=XrWq;(7)

        K=XrWk;(8)

        V=XrWv。(9)

        第二步通過有向圖找到區(qū)域與區(qū)域之間的參與關(guān)系,針對Q、K分別計算每個網(wǎng)格平均值得到Qr、Kr∈RS2×C,進行矩陣乘法獲得區(qū)域間親和力鄰接矩陣:

        Ar=Qr(Kr)T。(10)

        矩陣Ar中的每個元素用來度量2個區(qū)域之間的語義相關(guān)程度。然后對每行使用top-k操作得到一個路由索引矩陣來獲取每個區(qū)域與其他區(qū)域之間的前K個連接:

        Ir=toplndex(Ar)。(11)

        所以,Ir的第i行包含第i個區(qū)域最相關(guān)的k個索引。第三步對于區(qū)域i中的每個查詢標記,將根據(jù)索引向量Ir(i,1),Ir(i,2),…,Ir(i,k)實現(xiàn)對位于k個路由區(qū)域并集中的K-V進行關(guān)注。對于K-V的收集公式:

        Kg=gather(K,Ir);(12)

        Vg=gather(V,Ir)。(13)

        然后可以將注意力集中在收集到的K-V上:

        O=Attention(Q,Kg,Vg)+LCE(V)。(14)

        式中:LCE(V)表示局部區(qū)域上下文增強項,函數(shù)LCE(*)使用深度卷積參數(shù)化,內(nèi)核尺寸設(shè)為5。

        在COCO 2017數(shù)據(jù)集上,試驗結(jié)果表明BiFormer注意力機制與一系列主流算法相比,不僅降低了算法參數(shù)量,還可以保持與目前主流的Transformer一樣的精度水平,并在小目標檢測方面展現(xiàn)出非常好的性能[16。BiFormer的核心在于將特征圖提取為區(qū)域間有向圖路由,能夠分布優(yōu)化關(guān)聯(lián)內(nèi)容選取,不再花費大量內(nèi)存全局查詢K-V,而是更加精準地關(guān)注局部區(qū)域感受野,相較于大中目標檢測,它對小目標尺寸區(qū)域抓取能力更強,優(yōu)勢更大。

        1.3.4 改進邊框損失函數(shù)(SWD_Loss)

        YOLO v5s原始模型是采用二元交叉熵損失函數(shù)和Logits函數(shù)計算目標得分概率。但是當數(shù)據(jù)集中包含大量小目標、遮擋對象時,其預測框往往會出現(xiàn)在目標框內(nèi)部。Wang等提出一種新的度量方法稱為歸一化瓦瑟斯坦距離(normalized Wasserstein distance,NWD),可以有效提升對缺乏外觀信息的微小物體檢測精度以及對微相素物體定位偏差的敏感性,并且在微小物體(Al-TOD)數(shù)據(jù)集上取得了不錯效果[17。對于2個二維高斯分布μ1=N(m1,∑1)和μ2=N(m2,∑2),則它們之間的3階瓦瑟斯坦距離定義為:

        W22(μ1,μ2)=‖m1-m2‖22+Tr[∑1+∑2-2(∑1/22∑1∑1/22)1/2]。(15)

        可以簡化為:

        W22(μ1,μ2)=‖m1-m2‖22+‖∑1/21-∑1/22‖2F。(16)

        式中:‖·‖F(xiàn)表示弗羅貝尼烏斯范數(shù)(Frobenius norm)。對于真實框A=(cxα,cyα,wα,hα)和預測框B=(cxb,cyb,wb,hb),高斯分布Na和Nb進一步簡化為:

        W22(Na,Nb)=cxa,cya,wa2,ha2T,cxb,cyb,wb2,hb2T22。(17)

        因為W22(Na,Nb)是距離度量單位,最后歸一化得到NWD公式,其中C表示相關(guān)數(shù)據(jù)集的絕對平均尺寸:

        NWD(Na,Nb)=exp-W22(Na,Nb)C。(18)

        本研究借鑒其思想,在保留原邊框損失的情況下,融入一部分瓦瑟斯坦距離系數(shù)(θ),可以根據(jù)待測數(shù)據(jù)集樣本靈活控制系數(shù)θ,當數(shù)據(jù)集中常規(guī)對象居多,可以減小系數(shù)θ提高IoU占比;相反,如果有大量缺乏外觀信息的遮擋對象便可以增大系數(shù)θ提高對NWD占比。新的定位損失函數(shù)計算表達式如下所示,并將其命名為遮擋瓦瑟斯距離損失(shield Wasserstein distance,SWD_Loss)。針對本文數(shù)據(jù)集,實驗結(jié)果發(fā)現(xiàn),當θ取0.5時,可以為IoU提供一個最佳的靈敏度閾值,有效克服尺度敏感性和位置偏差平滑性,提高圖像中遮擋對象的漏檢率。

        SWD_Loss=(1-θ)×IoU+θ×NWD。(19)

        1.4 試驗環(huán)境

        本研究試驗環(huán)境配置見表1,參數(shù)設(shè)置見表2。此次試驗于2023年11月15號在江西理工大學電氣學院415實驗室完成。

        1.5 試驗評價指標

        本研究采用查準率P(precision)、召回率R(recall)、平均精度mAP(mean average precision)和FPS(每秒傳輸圖像幀數(shù))作為試驗的評價指標。計算表達式如下,其中計算均值平均精度時將IoU閾值設(shè)為0.5:

        P=TPTP+FP×100%;(20)

        R=TPTP+FN×100%;(21)

        AP=∫10P(R)dR;(22)

        mAP=1C∑Ci=1APi。(23)

        式中:TP表示預測為真的正樣本;FP表示預測為真實際為假的負樣本;FN表示預測為假的實際為真的正樣本;C表示類別數(shù),mAP是由單類別精度AP相加后求均值得到。

        2 試驗結(jié)果與分析

        2.1 消融試驗

        為了驗證改進后的YOLO v5s模型對番茄成長周期采摘檢測的有效性,設(shè)計了1組消融試驗。依次替換損失函數(shù)SWD,融入RAAM、C3DS-ST、注意力BiFormer,具體試驗結(jié)果如表3所示。其中“√”表示模型加入該模塊。從表3中可以看出,當各個模塊單獨使用時,模型準確率和召回率會有一定的波動,但是mAP均有所提升,說明了各個模塊均對提升網(wǎng)絡(luò)檢測性能有所幫助。當把優(yōu)化的4個模塊同時融入模型當中后,與原YOLO v5模型相比準確率、召回率和mAP分別提升了1.4、2.3、2.1百分點,效果較為明顯。其中,單獨加入多尺度反向自適應(yīng)注意力模塊(RAAM)時對網(wǎng)絡(luò)性能貢獻最大,由此可以驗證在該模塊提升特征圖分辨率后,對后續(xù)網(wǎng)絡(luò)的計算提供了很大幫助。綜上所述,本研究提出的改進方案是有效的。

        2.2 對比試驗

        此外,還選取幾種經(jīng)典檢測模型與改進YOLO v5s進行對比,其中包括SSD、Faster-RCNN、YOLO v3、YOLO v4-tiny,并采用相同數(shù)據(jù)集和試驗配置。由表4可知,改進的模型在均值平均精度和召回率上均高于其他算法,相比于YOLO v5s,分別提升了2.1、2.3百分點。雖然改進后的算法幀率有所下降,但是仍滿足實時檢測的要求。

        2.3 可視化分析

        為了更直觀地展示改進YOLO v5s模型的檢測性能,隨機從驗證集中挑取4張圖片與原先模型進行橫向?qū)Ρ?。其中,改進后的模型與原YOLO v5s模型均能完成正確檢測,但改進后的模型提供了更高的置信度,效果如圖9所示。另外,針對之前YOLO v5s模型對番茄果實之間、枝葉遮擋的漏檢問題,改進后的YOLO v5s算法能準確檢測出這些對象,并保證較高的置信度,效果如圖10所示。最后,為檢驗本研究模塊對特征圖丟失語義信息恢復問題,展示了RAAM模塊加入前后的特征圖以熱力圖可視化,試驗結(jié)果如圖11所示。經(jīng)過對比可以發(fā)現(xiàn),經(jīng)過RAAM恢復的高分辨率特征圖、全圖區(qū)域特征得到了膨脹,番茄遮擋區(qū)域色調(diào)更暖,這表示該層有效恢復了部分丟失特征,對捕捉遮擋對象的局部關(guān)鍵信息提供了一定幫助。

        3 討論與結(jié)論

        針對自然生長環(huán)境下番茄因果實、枝葉遮擋導致的誤檢、漏檢問題,本研究提出了基于改進 YOLO v5s 的番茄檢測模型。設(shè)計的多尺度反向自適應(yīng)注意力模塊(RAAM)提升了特征圖像分辨率,有效緩解了由于連續(xù)下采樣信息丟失的問題;設(shè)計新的C3DS-ST模塊替換頸部C3,可以有效學習遮擋部分的坐標特征,完善局部信息的提取;提出新的邊框損失函數(shù)SWD_Loss以及加入BiFormer注意力機制提升對敏感信息關(guān)注,過濾冗余信息提高計算效率。改進后的YOLO v5s模型與原算法相比,平均精度提升了2.1百分點,不僅提高了原所有類別的置信度,而且還能提升對遮擋對象的辨識度,有效解決了實際生產(chǎn)中的番茄誤檢、漏檢問題。雖然本模型一定程度上能夠滿足自然環(huán)境中機器人智能采摘番茄的需要,但是模型參數(shù)量有所增加。今后將通過引入模型剪枝和輕量化優(yōu)化參數(shù)體積,方便部署到移動設(shè)備終端,為農(nóng)業(yè)果蔬自動化采摘研究提供助力。

        參考文獻:

        [1]周 明,李常保. 我國番茄種業(yè)發(fā)展現(xiàn)狀及展望[J]. 蔬菜,2022(5):6-10.

        [2]潘肖楠,張 玥,耿寶龍,等. 蘋果采摘機器人的結(jié)構(gòu)設(shè)計與分析[J]. 中國設(shè)備工程,2023(18):38-40.

        [3]王焱清,湯 旸,楊光友. 面向機器人柑橘采摘的控制系統(tǒng)設(shè)計與試驗[J]. 中國農(nóng)機化學報,2023,44(9):146-153.

        [4]張 勤,龐月生,李 彬. 基于實例分割的番茄串視覺定位與采摘姿態(tài)估算方法[J]. 農(nóng)業(yè)機械學報,2023,54(10):205-215.

        [5]宋懷波,尚鈺瑩,何東健. 果實目標深度學習識別技術(shù)研究進展[J]. 農(nóng)業(yè)機械學報,2023,54(1):1-19.

        [6]Redmon J,Divvala S,Girshick R,et al. You only look once:unified,real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Las Vegas:IEEE,2016:779-788.

        [7]Liu W,Anguelov D,Erhan D,et al. SSD:single shot MultiBox detector[M]//Leibe B,Matas J,Sebe N,et al. Lecture notes in computer science. Cham:Springer International Publishing,2016:21-37.

        [8]王 勇,陶兆勝,石鑫宇,等. 基于改進YOLO v5s的不同成熟度蘋果目標檢測方法[J]. 南京農(nóng)業(yè)大學學報,2024,47(3):602-611.

        [9]Fan Y C,Zhang S Y,F(xiàn)eng K,et al. Strawberry maturity recognition algorithm combining dark channel enhancement and YOLO v5[J]. Sensors,2022,22(2):419.

        [10]Girshick R,Donahue J,Darrell T,et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus:IEEE,2014:580-587.

        [11]張文靜,趙性祥,丁睿柔,等. 基于Faster R-CNN算法的番茄識別檢測方法[J]. 山東農(nóng)業(yè)大學學報(自然科學版),2021,52(4):624-630.

        [12]岳有軍,孫碧玉,王紅君,等. 基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的番茄果實目標檢測[J]. 科學技術(shù)與工程,2021,21(6):2387-2391.

        [13]Wang J F,Chen Y,Dong Z K,et al. Improved YOLO v5 network for real-time multi-scale traffic sign detection[J]. Neural Computing and Applications,2023,35(10):7853-7865.

        [14]Shi W Z,Caballero J,Huszár F,et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas:IEEE,2016:1874-1883.

        [15]Qi Y L,He Y T,Qi X M,et al. Dynamic snake convolution based on topological geometric constraints for tubular structure segmentation[C]//2023 IEEE/CVF International Conference on Computer Vision (ICCV).Paris:IEEE,2023:6047-6056.

        [16]Zou P,Yang K J,Liang C. Improving real-timedetection of lightweight irregular driving behavior in YOLO v5[J]. Computer Engineering and Applications,2023,59(13):186-193.

        [17]Wang J W,Xu C,Yang W,et al. A normalized Gaussian Wasserstein distance for tiny object detection[EB/OL]. arXiv preprint,arXic:2110.13389(2021-10-16)[2023-10-10]. http://arxiv.org/abs/2110.13389v1.

        91乱码亚洲精品中文字幕| 有码精品一二区在线| 国内精品福利在线视频| 在线久草视频免费播放| 日韩在线永久免费播放| 国产va在线观看免费| 久久久久亚洲精品天堂| 日本一区中文字幕在线播放| 性人久久久久| 97久久精品亚洲中文字幕无码| 久久久久亚洲精品美女| 亚洲国内精品一区二区在线| 国产av在线观看久久| 无码人妻精品丰满熟妇区| 亚洲爆乳大丰满无码专区| 亚洲另类国产精品中文字幕| 国精产品一区一区二区三区mba| 亚洲精品92内射| 亚洲欧美一区二区三区国产精| 五十路一区二区中文字幕| 日韩av无码一区二区三区| 美丽的熟妇中文字幕| 亚洲精品国产不卡在线观看| 小池里奈第一部av在线观看| 日本真人做人试看60分钟| 最新国产日韩AV线| 亚洲视频在线视频在线视频| 精品国产一区二区三区不卡在线| 夜先锋av资源网站| 国产精品一区2区三区| 日韩人妖干女同二区三区| 国产综合精品| 国产nv精品你懂得| 男女男生精精品视频网站 | 亚洲视频一区二区久久久| 国产禁区一区二区三区| aaa级久久久精品无码片| WWW拍拍拍| 99久久99久久久精品蜜桃| 国产精品无码久久久久久久久久| 久久国产免费观看精品|