摘要：為實(shí)現(xiàn)柑橘果實(shí)的精準(zhǔn)快速識(shí)別，提出了一種改進(jìn)YOLOv8網(wǎng)絡(luò)模型。首先將YOLOv8網(wǎng)絡(luò)模型中的部分傳統(tǒng)卷積替換為ODConv全維動(dòng)態(tài)卷積，以增強(qiáng)YOLOv8網(wǎng)絡(luò)模型在復(fù)雜的自然環(huán)境下的適應(yīng)能力，然后將YOLOv8的CIoU損失函數(shù)替換為MPDIoU損失函數(shù)，解決了CIoU損失函數(shù)在特殊情況下退化的問題，接著通過消融試驗(yàn)，分別驗(yàn)證了ODConv全維動(dòng)態(tài)卷積與MPDIoU損失函數(shù)的有效性，改進(jìn)后YOLOv8n、YOLOv8s、YOLOv8m、YOLOv8l、YOLOv8x的平均識(shí)別精度mAP分別從86.40%、88.92%、88.97%、88.99%、89.11%提高至88.25%、89.32%、89.57%、89.90%、90.12%。試驗(yàn)結(jié)果表明，ODConv全維動(dòng)態(tài)卷積與MPDIoU損失函數(shù)能有效提高YOLOv8網(wǎng)絡(luò)模型在自然環(huán)境下的柑橘果實(shí)識(shí)別能力。

關(guān)鍵詞：柑橘果實(shí)識(shí)別；卷積神經(jīng)網(wǎng)絡(luò)；YOLOv8；ODConv全維動(dòng)態(tài)卷積；MPDIoU損失函數(shù)

中圖分類號(hào)：TP391.41；S666.1" " " " "文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：0439-8114（2024）08-0023-05

DOI：10.14088/j.cnki.issn0439-8114.2024.08.005 開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

Citrus fruit recognition in natural environment based on improved YOLOv8

YU Sheng-xin1， WEI Ying-ying1， FANG Hui1， LI Min1， CHAI Xiu-juan2， ZENG Zhi-kang1， QIN Ze-lin1

（1. Agricultural Science and Technology Information Research Institute of GAAS， Nanning" 530000， China； 2.Agricultural Information Institute of CAAS， Beijing" 100000， China）

Abstract： In order to achieve precise and fast identification of citrus fruits， an improved YOLOv8 was proposed. Firstly， certain traditional convolutions in the YOLOv8 were replaced with ODConv full-dimensional dynamic convolutions to enhance the model’s adaptability in complex natural environments. Subsequently， the CIoU loss function of YOLOv8 was substituted with the MPDIoU loss function to address the degradation issue of the CIoU loss function in specific scenarios. Furthermore， the effectiveness of ODConv full-dimensional dynamic convolutions and MPDIoU loss function was verified through a series of ablation experiments. The average recognition accuracy （mAP） of the improved models， YOLOv8n， YOLOv8s， YOLOv8m， YOLOv8l， and YOLOv8x， was increased from 86.40%， 88.92%， 88.97%， 88.99%， 89.11% to 88.25%， 89.32%， 89.57%， 89.90%， 90.12%， respectively. Experimental results demonstrated that ODConv full-dimensional dynamic convolutions and MPDIoU loss function significantly enhanced the citrus fruit identification capability of the YOLOv8 in natural environments.

Key words： citrus fruit recognition； convolutional neural network； YOLOv8； ODConv full-dimensional dynamic convolution； MPDIoU loss function

柑橘作為世界第一大類果樹，是中國南方栽培面積最廣、經(jīng)濟(jì)地位最重要的果樹［1］。截至2022年，中國柑橘種植面積已達(dá)303.35萬hm2，年產(chǎn)量達(dá)6 003.89萬t。隨著柑橘種植面積的不斷擴(kuò)大，產(chǎn)量的不斷提升，柑橘生產(chǎn)的人力成本也不斷攀升，其中柑橘的果實(shí)采摘過程所需人力成本最高，占總?cè)肆Τ杀镜?0%。隨著信息技術(shù)的高速發(fā)展和計(jì)算機(jī)硬件運(yùn)算能力的不斷提升，果實(shí)識(shí)別已經(jīng)成為計(jì)算機(jī)視覺技術(shù)的重要應(yīng)用之一。準(zhǔn)確快速的柑橘果實(shí)識(shí)別是實(shí)現(xiàn)柑橘果實(shí)智能采摘的重要前提，因此，研究柑橘果實(shí)識(shí)別算法具有非常重要的現(xiàn)實(shí)意義和經(jīng)濟(jì)價(jià)值。

傳統(tǒng)的果實(shí)識(shí)別算法主要根據(jù)不同果實(shí)的特征，設(shè)計(jì)不同的特征算子以實(shí)現(xiàn)果實(shí)和背景的區(qū)分，從而得到相應(yīng)果實(shí)區(qū)域的坐標(biāo)［2-5］，但這些傳統(tǒng)圖像處理算法均需要人工設(shè)計(jì)特征，因此面臨不同的田間環(huán)境需要設(shè)計(jì)不同的特征描述子，所以傳統(tǒng)圖像處理算法難以滿足實(shí)際生產(chǎn)的需求。隨著人工智能的快速發(fā)展，深度學(xué)習(xí)已經(jīng)成為目標(biāo)識(shí)別的一種重要技術(shù)，與傳統(tǒng)的目標(biāo)檢測(cè)算法相比，深度學(xué)習(xí)在圖像分類、目標(biāo)檢測(cè)和識(shí)別方面優(yōu)勢(shì)明顯［6］。近年來，F(xiàn)aster-RCNN、SSD、YOLO等高效率、高精度目標(biāo)算法的出現(xiàn)，為實(shí)現(xiàn)快速精準(zhǔn)的果實(shí)識(shí)別提供了更多的解決方案，并且在柑橘、獼猴桃、核桃、柚子等果實(shí)識(shí)別場(chǎng)景得到了應(yīng)用［7-16］。

盡管果實(shí)識(shí)別算法識(shí)別精度在不斷提高，但無法直接應(yīng)用于田間柑橘果實(shí)識(shí)別中，因此需要研究一種適用于柑橘的果實(shí)識(shí)別算法，以解決當(dāng)前柑橘果實(shí)識(shí)別算法在復(fù)雜田間環(huán)境下識(shí)別精度低的問題。為此，本研究基于YOLOv8網(wǎng)絡(luò)，引入ODConv全維動(dòng)態(tài)卷積，將YOLOv8中的部分傳統(tǒng)卷積替換為ODConv動(dòng)態(tài)卷積，同時(shí)將CIoU損失函數(shù)替換為MPDIoU損失函數(shù)，最后通過消融試驗(yàn)驗(yàn)證全維動(dòng)態(tài)卷積ODConv與MPDIoU損失函數(shù)在自然場(chǎng)景下柑橘果實(shí)識(shí)別的有效性。

1 改進(jìn)YOLOv8網(wǎng)絡(luò)模型

YOLOv8網(wǎng)絡(luò)模型與其相關(guān)組件結(jié)構(gòu)如圖1所示。對(duì)于輸入圖像，首先經(jīng)過網(wǎng)絡(luò)的Backbone部分進(jìn)行特征提取，然后經(jīng)過Head對(duì)提取到的特征進(jìn)行解碼，最后得到3個(gè)不同大小的輸出特征圖。

在原YOLOv8網(wǎng)絡(luò)模型中，所有卷積計(jì)算均采用靜態(tài)的傳統(tǒng)卷積，即通過一個(gè)靜態(tài)卷積核計(jì)算后得到輸出特征圖，其卷積核與輸入樣本無關(guān)，因此，當(dāng)遇到復(fù)雜多變的果實(shí)識(shí)別場(chǎng)景時(shí)，其特征提取能力會(huì)因場(chǎng)景的變化而下降，所以本研究引入全維動(dòng)態(tài)卷積ODConv對(duì)YOLOv8網(wǎng)絡(luò)進(jìn)行改進(jìn)，具體改進(jìn)方法如圖1中虛線所示，將傳統(tǒng)卷積Conv替換為ODConv全維動(dòng)態(tài)卷積。

1.1 全維動(dòng)態(tài)卷積ODConv

全維動(dòng)態(tài)卷積ODConv是一種多維的注意力機(jī)制，即通過多個(gè)維度對(duì)卷積核進(jìn)行加權(quán)，使得卷積權(quán)重能隨著輸入的變化而自動(dòng)調(diào)整，其結(jié)構(gòu)如圖2所示。圖2中，GAP表示全局平均池化，F(xiàn)C表示全連接層，ReLu、Sigmoid、Softmax表示3種激活函數(shù)，W表示卷積核。由圖2可知，輸入特征圖經(jīng)過全局平均池化與全連接層后，依次經(jīng)過4個(gè)全連接層，分別得到αs、αc、αf、αw 4個(gè)注意力向量，然后將卷積核W分別與αs、αc、αf、αw向量相乘后進(jìn)行加權(quán)，最后將輸入特征圖x與加權(quán)后的卷積核W進(jìn)行卷積，得到輸出特征圖y。由此可以看出，對(duì)于不同的輸入特征圖x，會(huì)得到不同的注意力向量αs、αc、αf、αw，相乘加權(quán)后，得到一個(gè)可隨輸入特征圖變化的動(dòng)態(tài)卷積核，從而使得該結(jié)構(gòu)相比傳統(tǒng)卷積具有更強(qiáng)的魯棒性，因此，更適用于復(fù)雜多變的田間環(huán)境中。

1.2 MPDIoU損失函數(shù)

IoU損失函數(shù)是卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的關(guān)鍵，通過最小化損失函數(shù)，將訓(xùn)練過程中出現(xiàn)的誤差以梯度的形式反向傳播到網(wǎng)絡(luò)的每一層中。因此，為了進(jìn)一步提高網(wǎng)絡(luò)性能，本研究將YOLOv8網(wǎng)絡(luò)的損失函數(shù)CIoU進(jìn)行改進(jìn)，CIoU損失函數(shù)的計(jì)算原理如式（1）-式（4）、圖3所示。

[CIoU=IoU-ρ2bprd，bgtc2+αυ]" " " （1）

[υ=4π2arctanwgthgt-arctanwprdhprd2]" " " （2）

[α=υ1-IoU+υ]" " " " " " （3）

[c2=C2w+C2h]" " " " nbsp; " （4）

式中，ρ2（bprd，bgt）為預(yù)測(cè)框中心點(diǎn)的距離，w和h分別表示檢測(cè)框的長(zhǎng)和寬，v為權(quán)重系數(shù)。

但CIoU函數(shù)在遇到圖4所示情況時(shí)，根據(jù)式（1）計(jì)算得到圖4a、圖4b的損失均等于0.75，即CIoU損失函數(shù)發(fā)生了退化，導(dǎo)致無法有效評(píng)價(jià)圖4a和圖4b中預(yù)測(cè)框的好壞，因此本研究采用MPDIoU作為損失函數(shù)，其計(jì)算原理如式（5）、圖5所示。

[MPDIoU=IoU-d21w2+h2-d22w2+h2]" " " （5）

式中，d1表示標(biāo)注框左上頂點(diǎn)與預(yù)測(cè)框的左上頂點(diǎn)間的距離，d2表示標(biāo)注框右下頂點(diǎn)與預(yù)測(cè)框右下頂點(diǎn)間的距離，w和h分別為圖像的寬度與高度，根據(jù)式（5）計(jì)算得到圖4a的損失為0.79，圖4b的損失為0.76，即圖4b預(yù)測(cè)框的損失小于圖4a預(yù)測(cè)框的損失，因此根據(jù)MPDIoU損失函數(shù)可以得出，圖4b的預(yù)測(cè)框優(yōu)于圖4a的預(yù)測(cè)框。

2 結(jié)果與分析

為驗(yàn)證改進(jìn)的可行性，本研究從南寧市某柑橘果園中采集了500張柑橘果實(shí)圖像，使用Labelme圖像標(biāo)注工具對(duì)圖像中柑橘果實(shí)目標(biāo)進(jìn)行標(biāo)注，并按8∶2的比例將上述圖像劃分訓(xùn)練集與測(cè)試集，標(biāo)注情況如圖6所示。

本研究所有試驗(yàn)均在Ubuntu 16.04.1系統(tǒng)上進(jìn)行，配置為Intel（R） Xeon（R） Silver 4214的8核CPU，主頻為2.20 GHz，內(nèi)存為16 GB，GPU為Tesla 12C，顯存為16 GB，使用Pytorch深度學(xué)習(xí)庫對(duì)模型進(jìn)行搭建，模型訓(xùn)練100個(gè)epoch，選用mAP作為模型識(shí)別精度的評(píng)價(jià)指標(biāo)。

試驗(yàn)分為兩步，首先驗(yàn)證YOLOv8模型在柑橘果實(shí)識(shí)別場(chǎng)景的有效性，分別采用當(dāng)前主流目標(biāo)檢測(cè)模型Faster RCNN、SSD、YOLOv7、YOLOv8對(duì)本文數(shù)據(jù)集進(jìn)行了試驗(yàn)。從表1可以看出，YOLOv8各模型在mAP、參數(shù)量、推理時(shí)間上優(yōu)于Faster RCNN、SSD、YOLOv7。

其次驗(yàn)證改進(jìn)的有效性，通過消融試驗(yàn)對(duì)ODConv與MPDIoU進(jìn)行試驗(yàn)驗(yàn)證。對(duì)比表2中綠色標(biāo)記部分可以看出，采用ODConv改進(jìn)后的模型比原模型的mAP均有提升，其中YOLOv8n的mAP提升1.63個(gè)百分點(diǎn)，YOLOv8s的mAP提升0.15個(gè)百分點(diǎn)，YOLOv8m的mAP提升0.16個(gè)百分點(diǎn)，YOLOv8l的mAP提升0.61個(gè)百分點(diǎn)，YOLOv8x的mAP提升0.61個(gè)百分點(diǎn)。對(duì)比表2中黃色標(biāo)記部分可以看出，采用MPDIoU改進(jìn)后的模型比原模型的mAP也均有提升，其中YOLOv8n的mAP提升1.31個(gè)百分點(diǎn)，YOLOv8s的mAP提升0.05個(gè)百分點(diǎn)，YOLOv8m的mAP提升0.07個(gè)百分點(diǎn)，YOLO v8l的mAP提升0.16個(gè)百分點(diǎn)，YOLOv8x的mAP提升0.42個(gè)百分點(diǎn)。對(duì)比表2中藍(lán)色標(biāo)記部分可以看出，同時(shí)采用ODConv與MPDIoU后，改進(jìn)后模型的mAP得到了進(jìn)一步提升，其中YOLOv8n的mAP提升1.85個(gè)百分點(diǎn)，YOLOv8s的mAP提升0.40個(gè)百分點(diǎn)，YOLOv8m的mAP提升0.60個(gè)百分點(diǎn)，YOLOv8l的mAP提升0.91個(gè)百分點(diǎn)，YOLOv8x的mAP提升1.01個(gè)百分點(diǎn)。

最后選取YOLOv8x與改進(jìn)后的YOLOv8x兩個(gè)模型對(duì)果實(shí)密集且存在遮擋的圖像進(jìn)行測(cè)試，結(jié)果如圖7所示。圖7中，白色標(biāo)注框?yàn)槁z目標(biāo)，可見漏檢目標(biāo)均為受枝葉遮擋的果實(shí)，其中YOLOv8x模型的漏檢數(shù)量共計(jì)11處，改進(jìn)YOLOv8x模型的漏檢數(shù)量共計(jì)兩處。

3 小結(jié)

本研究基于YOLOv8網(wǎng)絡(luò)模型，結(jié)合ODConv全維動(dòng)態(tài)卷積，對(duì)YOLOv8系列模型進(jìn)行了改進(jìn)，設(shè)計(jì)了改進(jìn)YOLOv8網(wǎng)絡(luò)模型，使模型獲得了隨輸入而動(dòng)態(tài)調(diào)整卷積權(quán)重的能力，從而使模型能更好地適應(yīng)復(fù)雜多變的田間環(huán)境。同時(shí)結(jié)合MPDIoU損失函數(shù)，使得改進(jìn)YOLOv8模型能夠更準(zhǔn)確地進(jìn)行邊界框的回歸，將YOLOv8n、YOLOv8s、YOLOv8m、YOLOv8l、YOLOv8x的mAP從86.40%、88.92%、88.97%、88.99%、89.11%提高至88.25%、89.32%、89.57%、89.90%、90.12%，驗(yàn)證了ODConv全維動(dòng)態(tài)卷積與MPDIoU損失函數(shù)的有效性。

參考文獻(xiàn)：

［1］ 郭文武，葉俊麗，鄧秀新.新中國果樹科學(xué)研究70年——柑橘［J］.果樹學(xué)報(bào)，2019，36（10）：1264-1272.

［2］ 覃 磊，孫開瓊，李詩高，等.基于RGB顏色相似度的成熟草莓圖像分割［J］.浙江農(nóng)業(yè)學(xué)報(bào)，2016，28（2）：330-337.

［3］ 馮俊惠，李志偉，戎有麗，等.基于改進(jìn)Hough圓變換算法的成熟番茄果實(shí)識(shí)別［J］.中國農(nóng)機(jī)化學(xué)報(bào)，2021，42（4）：190-196.

［4］ 崔永杰，蘇 帥，王霞霞，等.基于機(jī)器視覺的自然環(huán)境中獼猴桃識(shí)別與特征提取［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，44（5）：247-252.

［5］ KURTULMUS F，LEE W S，VARDAR A. Green citrus detection using ‘eigenfruit’， color and circular Gabor texture features under natural outdoor conditions［J］. Computers and electronics in agriculture， 2011， 78（2）：140-149.

［6］ 宋懷波，尚鈺瑩，何東健.果實(shí)目標(biāo)深度學(xué)習(xí)識(shí)別技術(shù)研究進(jìn)展［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2023，54（1）：1-19.

［7］ 熊俊濤，劉 振，湯林越，等.自然環(huán)境下綠色柑橘視覺檢測(cè)技術(shù)研究［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2018，49（4）：45-52.

［8］ 畢 松，高 峰，陳俊文，等.基于深度卷積神經(jīng)網(wǎng)絡(luò)的柑橘目標(biāo)識(shí)別方法［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50（5）：181-186.

［9］ 穆龍濤， 高宗斌，崔永杰，等.基于改進(jìn)AlexNet的廣域復(fù)雜環(huán)境下遮擋獼猴桃目標(biāo)識(shí)別［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50（10）：24-34.

［10］ 樊湘鵬，許 燕，周建平，等.基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的在體青皮核桃檢測(cè)方法［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52（9）：149-155，114.

［11］ 王鐵偉，趙 瑤，孫宇馨，等.基于數(shù)據(jù)平衡深度學(xué)習(xí)的不同成熟度冬棗識(shí)別［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51（S1）：457-463， 492.

［12］ 王昱潭，薛君蕊.改進(jìn)SSD的靈武長(zhǎng)棗圖像輕量化目標(biāo)檢測(cè)方法［J］.農(nóng)業(yè)工程學(xué)報(bào)，2021，37（19）：173-182.

［13］ 肖德琴，蔡家豪，林思聰， 等.基于IFSSD卷積神經(jīng)網(wǎng)絡(luò)的柚子采摘目標(biāo)檢測(cè)模型［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51（5）：28-35， 97.

［14］ 宋懷波，王亞男，王云飛， 等.基于YOLO v5s的自然場(chǎng)景油茶果識(shí)別方法［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2022，53（7）：234-242.

［15］ 高芳征，湯文俊，陳光明，等.基于改進(jìn)YOLOv3的復(fù)雜環(huán)境下西紅柿成熟果實(shí)快速識(shí)別［J］.中國農(nóng)機(jī)化學(xué)報(bào)，2023，44（8）：174-183.

［16］ 劉天真，滕桂法，苑迎春， 等.基于改進(jìn)YOLO v3的自然場(chǎng)景下冬棗果實(shí)識(shí)別方法［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52（5）：17-25.

基金項(xiàng)目：廣西創(chuàng)新驅(qū)動(dòng)發(fā)展專項(xiàng)資金項(xiàng)目（桂科AA22036002；桂科AA20108003）；廣西壯族自治區(qū)農(nóng)業(yè)科學(xué)院科技發(fā)展基金項(xiàng)目（桂農(nóng)科2023JZ09）；廣西壯族自治區(qū)農(nóng)業(yè)科學(xué)院穩(wěn)定資助科研團(tuán)隊(duì)基金項(xiàng)目（桂農(nóng)科2021YT077）

作者簡(jiǎn)介：余圣新（1994-），男，廣西蒙山人，工程師，碩士，主要從事農(nóng)業(yè)信息化、圖像識(shí)別的研究工作，（電話）18378816668（電子信箱）49134017@qq.com。